database | 香蕉与打火机

mysql MHA solutions

参考：https://code.google.com/p/mysql-master-ha/wiki/Overview

一、官网场景—— 一主多从

1.主要使用场景：提供master容灾，在master宕机之后，以最短的时间自动将slave提升为master。

工作方式：在master dead之后，自动选择一个slave（可以配置一个优先slave）接管master业务。并配置其他slave切换replication到新的master。

2.除此之外还有：在线master切换（0.5s-2s的不可写时间）。

二、难点——当然也就是MHA试图解决的问题

以下是手工打造时的难点，而MHA进行了解决。

1.选最新的slave接管master。

最新不好检查及选择。

2.其他不是最新的slave的一致性问题。

其他slave切换到新master，会丢失与原master的transaction，造成binary log event不一致。

手工检查binlog是一件很复杂且不易操作的事情。

三、官网wiki提供的其他各种solution

参考：https://code.google.com/p/mysql-master-ha/wiki/Other_HA_Solutions#Master,_one_candidate_master,_and_multiple_slaves

待续…

香蕉与打火机 2014年10月23日 database, mysql 0 Read more >

mysql MHA configuration

一、编写MHA配置文件

1.全局配置文件

编辑：/etc/masterha_default.cnf

[server default]
user=root
password=rootpass
ssh_user=root
master_binlog_dir= /var/lib/mysql
remote_workdir=/data/log/masterha
secondary_check_script= masterha_secondary_check -s remote_host1 -s remote_host2
ping_interval=3
master_ip_failover_script=/script/masterha/master_ip_failover
shutdown_script= /script/masterha/power_manager
report_script= /script/masterha/send_master_failover_mail

[server default]

user=root

password=rootpass

ssh_user=root

master_binlog_dir= /var/lib/mysql

remote_workdir=/data/log/masterha

secondary_check_script= masterha_secondary_check -s remote_host1 -s remote_host2

ping_interval=3

master_ip_failover_script=/script/masterha/master_ip_failover

shutdown_script= /script/masterha/power_manager

report_script= /script/masterha/send_master_failover_mail

2.应用配置文件

每个slaver的配置文件单独编写。而且需要为多个app单独编写配置文件，并在配置文件中使用不同的物理路径。

app1

[server default]
manager_workdir=/var/log/masterha/app1
manager_log=/var/log/masterha/app1/app1.log

[server1]
hostname=host1
candidate_master=1

[server2]
hostname=host2
candidate_master=1

[server3]
hostname=host3

[server4]
hostname=host4
no_master=1

[server default]

manager_workdir=/var/log/masterha/app1

manager_log=/var/log/masterha/app1/app1.log

[server1]

hostname=host1

candidate_master=1

[server2]

hostname=host2

candidate_master=1

[server3]

hostname=host3

[server4]

hostname=host4

no_master=1

app2

manager_host$ cat /etc/app2.cnf

[server default]
manager_workdir=/var/log/masterha/app2
manager_log=/var/log/masterha/app2/app2.log

[server1]
hostname=host11
candidate_master=1

[server2]
hostname=host12
candidate_master=1

[server3]
hostname=host13

[server4]
hostname=host14
no_master=1

manager_host$ cat /etc/app2.cnf

[server default]

manager_workdir=/var/log/masterha/app2

manager_log=/var/log/masterha/app2/app2.log

[server1]

hostname=host11

candidate_master=1

[server2]

hostname=host12

candidate_master=1

[server3]

hostname=host13

[server4]

hostname=host14

no_master=1

二、其他配置

参考：https://code.google.com/p/mysql-master-ha/wiki/Requirements

运行masterha_manager来检查配置是否有缺漏。

1.ssh 免密码登陆

ssh-copy-id testdb1 #testdb1没有加到host文件的话就直接ip
#本机自己也要这么干，否则检查失败

1 2	ssh-copy-id testdb1 #testdb1没有加到host文件的话就直接ip #本机自己也要这么干，否则检查失败

检查：

# masterha_check_ssh --conf=/etc/masterha/app1.cnf

#输出：

Wed Oct 22 14:03:55 2014 - [info] Reading default configuratoins from /etc/masterha_default.cnf..
Wed Oct 22 14:03:55 2014 - [info] Reading application default configurations from /etc/masterha/app1.cnf..
Wed Oct 22 14:03:55 2014 - [info] Reading server configurations from /etc/masterha/app1.cnf..
Wed Oct 22 14:03:55 2014 - [info] Starting SSH connection tests..
Wed Oct 22 14:03:56 2014 - [debug] 
Wed Oct 22 14:03:55 2014 - [debug] Connecting via SSH from root@testdb1(172.19.17.210:22) to root@testdb2(172.19.17.211:22)..
Wed Oct 22 14:03:55 2014 - [debug] ok.
Wed Oct 22 14:03:56 2014 - [debug] 
Wed Oct 22 14:03:56 2014 - [debug] Connecting via SSH from root@testdb2(172.19.17.211:22) to root@testdb1(172.19.17.210:22)..
Wed Oct 22 14:03:56 2014 - [debug] ok.
Wed Oct 22 14:03:56 2014 - [info] All SSH connection tests passed successfully.

# masterha_check_ssh --conf=/etc/masterha/app1.cnf

#输出：

Wed Oct 22 14:03:55 2014 - [info] Reading default configuratoins from /etc/masterha_default.cnf..

Wed Oct 22 14:03:55 2014 - [info] Reading application default configurations from /etc/masterha/app1.cnf..

Wed Oct 22 14:03:55 2014 - [info] Reading server configurations from /etc/masterha/app1.cnf..

Wed Oct 22 14:03:55 2014 - [info] Starting SSH connection tests..

Wed Oct 22 14:03:56 2014 - [debug]

Wed Oct 22 14:03:55 2014 - [debug] Connecting via SSH from root@testdb1(172.19.17.210:22) to root@testdb2(172.19.17.211:22)..

Wed Oct 22 14:03:55 2014 - [debug] ok.

Wed Oct 22 14:03:56 2014 - [debug]

Wed Oct 22 14:03:56 2014 - [debug] Connecting via SSH from root@testdb2(172.19.17.211:22) to root@testdb1(172.19.17.210:22)..

Wed Oct 22 14:03:56 2014 - [debug] ok.

Wed Oct 22 14:03:56 2014 - [info] All SSH connection tests passed successfully.

注： masterha_check_ssh 不加配置文件则会报错：

[root@testdb1 ~]# masterha_check_ssh 
--conf=<server_config_file> must be set.

1 2	[root@testdb1 ~]# masterha_check_ssh --conf=<server_config_file> must be set.

2.关闭自动清除relay log^[1]

关闭原因：By default, relay logs on slave servers are automatically removed if SQL threads have finished executing them. But such relay logs might still be needed for recovering other slaves.

^{什么是relay log： relay-log日志记录的是从服务器I/O线程将主服务器的二进制日志读取过来记录到从服务器本地文件，然后SQL线程会读取relay-log日志的内容并应用到从服务器。}

配置方法：

SET GLOBAL relay_log_purge=1

1	SET GLOBAL relay_log_purge=1

关闭之后要手工进行relay log文件的清理，使用Linux自己的cron。周期可以根据磁盘及文件保留期情况自行安排。

vim /etc/cron.d/purge_relay_logs

# purge relay logs at 5am
  0 5 * * * app /usr/bin/purge_relay_logs --user=root --password=PASSWORD --disable_relay_log_purge >> /var/log/masterha/purge_relay_logs.log 2>&1

vim /etc/cron.d/purge_relay_logs

# purge relay logs at 5am

0 5 * * * app /usr/bin/purge_relay_logs --user=root --password=PASSWORD --disable_relay_log_purge >> /var/log/masterha/purge_relay_logs.log 2>&1

三、测试使用

1.测试master 不存在

关闭master

service mysql stop

1	service mysql stop

可以查看日志：

tail -f /masterha/app1/manager.log

1	tail -f /masterha/app1/manager.log

登陆slave机

[root@testdb2 ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3983248
Server version: 5.6.19-67.0-log Percona Server (GPL), Release 67.0, Revision 618

Copyright (c) 2009-2014 Percona LLC and/or its affiliates
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> insert into test (id,value) values (4,44);
Query OK, 1 row affected (0.00 sec)

mysql> select * from test;
+----+-------+
| id | value |
+----+-------+
|  1 |    12 |
|  2 |    22 |
|  3 |    33 |
|  4 |    44 |
+----+-------+
4 rows in set (0.00 sec)

[root@testdb2 ~]# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 3983248

Server version: 5.6.19-67.0-log Percona Server (GPL), Release 67.0, Revision 618

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> insert into test (id,value) values (4,44);

Query OK, 1 row affected (0.00 sec)

mysql> select * from test;

+----+-------+

| id | value |

+----+-------+

| 1 | 12 |

| 2 | 22 |

| 3 | 33 |

| 4 | 44 |

+----+-------+

4 rows in set (0.00 sec)

可以代替master的功能接收数据。

2.重新启动原master

[root@testdb1 ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.6.19-67.0-log Percona Server (GPL), Release 67.0, Revision 618

Copyright (c) 2009-2014 Percona LLC and/or its affiliates
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from test;
+----+-------+
| id | value |
+----+-------+
|  1 |    12 |
|  2 |    22 |
|  3 |    33 |
+----+-------+
3 rows in set (0.00 sec)

mysql> exit

[root@testdb1 ~]# mysql -uroot -p

Enter password:

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 4

Server version: 5.6.19-67.0-log Percona Server (GPL), Release 67.0, Revision 618

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use test

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

mysql> select * from test;

+----+-------+

| id | value |

+----+-------+

| 1 | 12 |

| 2 | 22 |

| 3 | 33 |

+----+-------+

3 rows in set (0.00 sec)

mysql> exit

【注1】原master起来以后有个问题，就是其全局可写。如果这时有数据插进来，会造成新老master数据不一致。因此应该在重启原master后首先设置global read_only=1。然后将原master切为slave，从新master上同步所有数据。

【注2】同步数据时，原master会等到新master有一次数据操作时，统一将所有数据变化同步过来。这个时刻不是在配完slave后就完成，需等新master。

切换主从的blog：http://bananalighter.com/change-slaver2master/

参考：http://ylw6006.blog.51cto.com/470441/890360/

香蕉与打火机 2014年10月22日 database, mysql 0 Read more >

mysql MHA Install

一、MHA软件并没有实现主从复制的功能，所以：

1、可以用于现有系统

2、需要自己手动先把mysql的主从集群配起来

二、安装MHA

安装部分官方wiki：https://code.google.com/p/mysql-master-ha/wiki/Installation#Installation

1.安装MHA node（所有mysql server，包括master/slaver）

#这货是线程池连接数据库的插件
yum install perl-DBD-MySQL
#安装插件
rpm -ivh mha4mysql-node-0.54-0.el6.noarch.rpm

#这货是线程池连接数据库的插件

yum install perl-DBD-MySQL

#安装插件

rpm -ivh mha4mysql-node-0.54-0.el6.noarch.rpm

2.安装MHA Manager

参考：https://code.google.com/p/mysql-master-ha/wiki/Installation#Installing_MHA_Manager

MHA Manager提供了几个命令行管理工具，依赖于以下包（需要epel源）：

MHA Node package
DBD::mysql
Config::Tiny
Log::Dispatch
Parallel::ForkManager
Time::HiRes (included from Perl v5.7.3)

# Install dependent Perl modules
yum install perl-DBD-MySQL
yum install perl-Config-Tiny
yum install perl-Log-Dispatch
yum install perl-Parallel-ForkManager

# Install MHA Node, since MHA Manager uses some modules provided by MHA Node.
rpm -ivh mha4mysql-node-X.Y-0.noarch.rpm

# Finally you can install MHA Manager
rpm -ivh mha4mysql-manager-X.Y-0.noarch.rpm

# Install dependent Perl modules

yum install perl-DBD-MySQL

yum install perl-Config-Tiny

yum install perl-Log-Dispatch

yum install perl-Parallel-ForkManager

# Install MHA Node, since MHA Manager uses some modules provided by MHA Node.

rpm -ivh mha4mysql-node-X.Y-0.noarch.rpm

# Finally you can install MHA Manager

rpm -ivh mha4mysql-manager-X.Y-0.noarch.rpm

安装完毕，接下来就是HA的配置。

参考：

https://code.google.com/p/mysql-master-ha/

https://code.google.com/p/mysql-master-ha/wiki/Tutorial

香蕉与打火机 2014年10月20日 database, mysql 0 Read more >

【从大坑中爬出】mysql将slave转为master

一、查看日志应用状态

mysql> show processlist;
+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+
| Id | User | Host          | db    | Command     | Time | State                                                                 | Info             | Rows_sent | Rows_examined |
+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+
|  5 | root | localhost     | ifree | Sleep       | 2250 |                                                                       | NULL             |         0 |             0 |
| 17 | rep  | testdb2:41690 | NULL  | Binlog Dump | 2400 | Master has sent all binlog to slave; waiting for binlog to be updated | NULL             |         0 |             0 |
| 19 | root | localhost     | NULL  | Query       |    0 | init                                                                  | show processlist |         0 |             0 |
+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+
3 rows in set (0.00 sec)

mysql> show processlist;

+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+

+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+

| 5 | root | localhost | ifree | Sleep | 2250 | | NULL | 0 | 0 |

| 17 | rep | testdb2:41690 | NULL | Binlog Dump | 2400 | Master has sent all binlog to slave; waiting for binlog to be updated | NULL | 0 | 0 |

+----+------+---------------+-------+-------------+------+-----------------------------------------------------------------------+------------------+-----------+---------------+

3 rows in set (0.00 sec)

（其实我也没看懂。。。）

二、修改/etc/my.cnf（参考master配置，此处祭出师父blog，略）

http://debugo.com/mysql-5-6-master-slave/

三、停slave，关掉只读

1.停slave

mysql> stop slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)

1 2	mysql> stop slave; Query OK, 0 rows affected, 1 warning (0.00 sec)

2.关只读

mysql> set global read_only=0;
Query OK, 0 rows affected (0.00 sec)

1 2	mysql> set global read_only=0; Query OK, 0 rows affected (0.00 sec)

3.重置slave

mysql> reset slave;
Query OK, 0 rows affected (0.01 sec)

1 2	mysql> reset slave; Query OK, 0 rows affected (0.01 sec)

四、如果未生效则重启下mysql进程试试

参考：http://blog.itpub.net/758322/viewspace-714346

原文链接

香蕉与打火机 2014年10月8日 database, mysql 7 Read more >

oraclemysql简单不同

文档：http://www.360doc.com/content/09/0224/16/61497_2633143.shtml

重点：

oracle mysql用户方面的不同，在于oracle的用户是权限的集合，并且直接关联到其名下资源，而mysql的用户只是权限的集合。

oracle用户 = mysql用户 + 该用户名下数据库

oracle的database = 所有mysql用户 + 所有数据库

原文链接

香蕉与打火机 2014年9月29日 oracle 0 Read more >

oracle调整显示的数据行数

每次select总是显示成这样：

应该修改显示页面大小。

set pagesize 50;

1	set pagesize 50;

经过治疗，终于变成了这样：

原文链接

香蕉与打火机 2014年9月28日 oracle 0 Read more >

oracle数据库数据字典及动态性能视图

oracle官方：http://docs.oracle.com/cd/E11882_01/server.112/e40540/datadict.htm#CNCPT002

数据字典是只读的表和视图，动态性能视图在数据库运行时不断进行更新。

Overview of the Data Dictionary

数据字典提供数据库的管理元数据。包含以下信息：

所有schema object（模式对象注1）的定义，包含列的默认值及完整性约束。
schema object所分配及已使用的空间
为oracle用户分配的用户、特权、角色，用户的审计信息

数据字典是oracle数据库进行数据管理的主要部分。例如，oracle执行以下内容：

通过查询数据字典来获得用户、模式对象、存储结构
每当下达一次DDL（数据定义语言）声明，更新一次数据字典

数据字典存在数据库表中，可以使用sql访问。

数据字典定义

数据字典由以下类型的对象组成：

基本表

这些底层表存储数据库信息，只有数据库可以访问及修改这些表。一般用户不会访问这些表，因为数据格式化存储，并进行了加密

视图

这些视图将基本表中的数据解析为有用信息，例如用户，表名。这些视图包含基本表中所有对象的命名和描述。一些视图可以被所有用户访问，一些视图则只提供给管理员使用。

数据字典视图按照用户分组管理。通常来说，三组视图通过其前缀区分。每一组视图只提供给其对应的用户查看。如下表：

Prefix	User Access	Contents	Notes
`DBA_`	Database administrators	All objects	Some `DBA_` views have additional columns containing information useful to the administrator.
`ALL_`	All users	Objects to which user has privileges	Includes objects owned by user. These views obey the current set of enabled roles.
`USER_`	All users	Objects owned by user	Views with the prefix `USER_` usually exclude the column `OWNER`. This column is implied in the `USER_` views to be the user issuing the query.

不是所有的视图都包含前述三个用户组的数据。例如，数据字典只包含DBA_LOCK而不包含ALL_LOCK视图。

系统自带的DICTIONARY视图包括所有数据字典视图的名字和简短说明。例：

原文链接

香蕉与打火机 2014年9月26日 oracle 0 Read more >

Linux连接mysql报错Accessdenied for user

Linux连接mysql报错Accessdeniedforu

关键点：改密码。。。。

问题根源：安装mysql server后未设置管理员用户名密码。

转载原文：http://blog.csdn.net/love__coder/article/details/6937708

一、停原服务

service mysql stop

1	service mysql stop

二、mysqlsafe启动

mysqlsafe  --user=root --skip-grant-tables --skip-networking
#返回信息：
140828 08:35:49 mysqld_safe Logging to '/var/lib/mysql/hostname.err'.
140828 08:35:49 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql

mysqlsafe --user=root --skip-grant-tables --skip-networking

#返回信息：

140828 08:35:49 mysqld_safe Logging to '/var/lib/mysql/hostname.err'.

140828 08:35:49 mysqld_safe Starting mysqld daemon with databases from /var/lib/mysql

三、登陆&改密码

mysql -uroot mysql
mysql> update user set password=password('root') where user='root';
#返回信息：
Query OK, 4 rows affected (0.00 sec)
Rows matched: 4  Changed: 4  Warnings: 0