香蕉与打火机

Monthly Archive: 四月 2015

Linux的inode的理解

原文：http://www.cnblogs.com/itech/archive/2012/05/15/2502284.html

一、inode是什么？

理解inode，要从文件储存说起。
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。

 

操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。

 

文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为”索引节点”。

 

二、inode的内容
inode包含文件的元信息，具体来说有以下内容：
　　* 文件的字节数
　　* 文件拥有者的User ID
　　* 文件的Group ID
　　* 文件的读、写、执行权限
　　* 文件的时间戳，共有三个：ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上一次打开的时间。
　　* 链接数，即有多少文件名指向这个inode
　　* 文件数据block的位置

 

可以用stat命令，查看某个文件的inode信息：
stat example.txt
总之，除了文件名以外的所有文件信息，都存在inode之中。至于为什么没有文件名，下文会有详细解释。

 

三、inode的大小
inode也会消耗硬盘空间，所以硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是inode区（inode table），存放inode所包含的信息。
每个inode节点的大小，一般是128字节或256字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode table的大小就会达到128MB，占整块硬盘的12.8%。

 

查看每个硬盘分区的inode总数和已经使用的数量，可以使用df命令。
df -i
查看每个inode节点的大小，可以用如下命令：
sudo dumpe2fs -h /dev/hda | grep “Inode size”
由于每个文件都必须有一个inode，因此有可能发生inode已经用光，但是硬盘还未存满的情况。这时，就无法在硬盘上创建新文件。

 

四、inode号码
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。

 

这里值得重复一遍，Unix/Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称或者绰号。表面上，用户通过文件名，打开文件。实际上，系统内部这个过程分成三步：首先，系统找到这个文件名对应的inode号码；其次，通过inode号码，获取inode信息；最后，根据inode信息，找到文件数据所在的block，读出数据。

使用ls -i命令，可以看到文件名对应的inode号码：

ls -i example.txt

 

五、目录文件
Unix/Linux系统中，目录（directory）也是一种文件。打开目录，实际上就是打开目录文件。

 

目录文件的结构非常简单，就是一系列目录项（dirent）的列表。每个目录项，由两部分组成：所包含文件的文件名，以及该文件名对应的inode号码。

 

ls命令只列出目录文件中的所有文件名：
ls /etc
ls -i命令列出整个目录文件，即文件名和inode号码：
ls -i /etc
如果要查看文件的详细信息，就必须根据inode号码，访问inode节点，读取信息。ls -l命令列出文件的详细信息。
ls -l /etc

 

六、硬链接
一般情况下，文件名和inode号码是”一一对应”关系，每个inode号码对应一个文件名。但是，Unix/Linux系统允许，多个文件名指向同一个inode号码。这意味着，可以用不同的文件名访问同样的内容；对文件内容进行修改，会影响到所有文件名；但是，删除一个文件名，不影响另一个文件名的访问。这种情况就被称为”硬链接”（hard link）。

ln命令可以创建硬链接：

ln 源文件 目标文件
运行上面这条命令以后，源文件与目标文件的inode号码相同，都指向同一个inode。inode信息中有一项叫做”链接数”，记录指向该inode的文件名总数，这时就会增加1。反过来，删除一个文件名，就会使得inode节点中的”链接数”减1。当这个值减到0，表明没有文件名指向这个inode，系统就会回收这个inode号码，以及其所对应block区域。

 

这里顺便说一下目录文件的”链接数”。创建目录时，默认会生成两个目录项：”.”和”..”。前者的inode号码就是当前目录的inode号码，等同于当前目录的”硬链接”；后者的inode号码就是当前目录的父目录的inode号码，等同于父目录的”硬链接”。所以，任何一个目录的”硬链接”总数，总是等于2加上它的子目录总数（含隐藏目录）,这里的2是父目录对其的“硬链接”和当前目录下的”.硬链接“。

 

七、软链接
除了硬链接以外，还有一种特殊情况。文件A和文件B的inode号码虽然不一样，但是文件A的内容是文件B的路径。读取文件A时，系统会自动将访问者导向文件B。因此，无论打开哪一个文件，最终读取的都是文件B。这时，文件A就称为文件B的”软链接”（soft link）或者”符号链接（symbolic link）。

 

这意味着，文件A依赖于文件B而存在，如果删除了文件B，打开文件A就会报错：”No such file or directory”。这是软链接与硬链接最大的不同：文件A指向文件B的文件名，而不是文件B的inode号码，文件B的inode”链接数”不会因此发生变化。

 

ln -s命令可以创建软链接。
ln -s 源文文件或目录 目标文件或目录

 

八、inode的特殊作用
由于inode号码与文件名分离，这种机制导致了一些Unix/Linux系统特有的现象。
　　1. 有时，文件名包含特殊字符，无法正常删除。这时，直接删除inode节点，就能起到删除文件的作用。
　　2. 移动文件或重命名文件，只是改变文件名，不影响inode号码。
　　3. 打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。因此，通常来说，系统无法从inode号码得知文件名。
      第3点使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过inode号码，识别运行中的文件，不通过文件名。更新的时候，新版文件以同样的文件名，生成一个新的inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的inode则被回收。

 

九 实际问题

在一台配置较低的Linux服务器（内存、硬盘比较小）的/data分区内创建文件时，系统提示磁盘空间不足，用df -h命令查看了一下磁盘使用情况，发现/data分区只使用了66%，还有12G的剩余空间，按理说不会出现这种问题。 后来用df -i查看了一下/data分区的索引节点(inode)，发现已经用满(IUsed=100%)，导致系统无法创建新目录和文件。

 

 

查找原因：

/data/cache目录中存在数量非常多的小字节缓存文件，占用的Block不多，但是占用了大量的inode。

 

解决方案：
1、删除/data/cache目录中的部分文件，释放出/data分区的一部分inode。
2、用软连接将空闲分区/opt中的newcache目录连接到/data/cache，使用/opt分区的inode来缓解/data分区inode不足的问题：
ln -s /opt/newcache /data/cache

 

 

 

2015年4月27日 Linux 0 Read more >

【翻译】HBase 集群安装与配置

单机模式安装、启动 HBase

安装 HBase Master

安装HBase Master

 启动HBase Master服务

安装及启动HBase Thrift Server

安装HBase Thrift Server

启动HBase Thrift Server

安装配置HBase REST

安装HBase REST

配置REST端口（如果采用默认的60050则不需配置）

修改hbase-site.xml

启动HBase REST

安装至此，即可单机享用HBase。

HBase分布式安装配置

集群机器规划

按照以下规划安装对应的软件包

Node Name Master ZooKeeper RegionServer

hadoop01

yes

yes

no

hadoop02

backup

yes

yes

hadoop03

no

yes

yes

安装软件包命令

master

 region server

准备hadoop01

配置region server

编辑/etc/hbase/conf/regionservers，添加hadoop02、03.

配置hadoop02为backup master

新增文件/etc/hbase/conf/backup-masters，添加一行hadoop02

配置HBase为分布式模式

编辑/etc/hbase/conf/hbase-site.xml

配置zookeeper

在/etc/hbase/conf/hbase-site.xml添加参数

其中dataDir参数参考本机的/etc/zookeeper/conf/zoo.cfg。

在HDFS上创建/hbase目录

配置hadoop02、03

拷贝hadoop01配置文件到02、03

分别启动服务

在hadoop01、02启动hbase-master

在hadoop02、03启动hbase-regionserver

检查服务状态

在各服务器执行：jps

hadoop01：

hadoop02：

hadoop03：

参考

单机模式安装、启动 HBase：http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_standalone_start.html

HBase分布式安装配置：http://hbase.apache.org/book.html#_introduction

HBase分布式安装配置（伪分布式）:

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_pseudo_configure.html

 HBase分布式安装配置（伪分布式->集群）：

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_cluster_deploy.html

 

2015年4月9日 小云云 0 Read more >

【翻译】hbase installation

原文：（安装）http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_install.html

（BlockCache）http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/admin_hbase_blockcache_configure.html

Installing HBase（安装Hbase）

配置HBase（Configuration Settings for HBase）

使用hdfs的线程数参数（Using dfs.datanode.max.transfer.threads with HBase）

HDFS datanode有最大伺服文件数限制。该上限由dfs.datanode.max.transfer.threads参数控制。在加载HBase之前，确认已经在$HADOOP_HOME/conf/hdfs-site.xml文件中配置了该参数：

将配置文件发送到集群，并重启HDFS以生效。

否则会报与block相关的奇怪错误。

配置HBase的BlockCache（Configuring the HBase BlockCache）

扩展阅读：

堆内存与堆外内存：http://bananalighter.com/java-off-heap-on-heap/

块缓存１：http://www.cnblogs.com/panfeng412/archive/2012/09/24/hbase-block-cache-mechanism.html

块缓存２：http://punishzhou.iteye.com/blog/1277141

HBase提供了堆内存及堆外内存两种块缓存的实现。

堆内存：默认的堆内存块缓存实现是LruBlockCache（java）。桶缓存可以用堆内存，也可以用堆外内存。

结合：如果操作的数据超出堆容量，可以使用桶缓存作为堆内存LruBlockCache的二级缓存（L2 cache）。这个实现在CombinedBlockCache中有涉及。

 

 

 

 

 

 

 

 

 

2015年4月8日 小云云 0 Read more >

堆外内存（off-heap），堆内存（on-heap）

原文：http://www.infoq.com/cn/news/2014/12/external-memory-heap-memory/

一般情况下，Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响，跟堆的大小是成正比的。过大的堆会影响Java应用的性能。

对于这个问题，一种解决方案就是使用堆外内存（off-heap memory）。堆外内存意味着把内存对象分配在Java虚拟机的堆以外的内存，这些内存直接受操作系统管理（而不是虚拟机）。这样做的结果就是能保持一个较小的堆，以减少垃圾收集对应用的影响。

但是Java本身也在不断对堆内内存的实现方式做改进。两者各有什么优缺点？Vanilla Java博客作者Peter Lawrey撰写了一篇文章，在文中他对三种方式：用new来分配对象、对象池（object pool）和堆外内存，进行了详细的分析。

用new来分配对象内存是最基本的一种方式，Lawery提到：

在Java 5.0之前，分配对象的代价很大，以至于大家都使用内存池。但是从5.0开始，对象分配和垃圾回收变得快多了，研发人员发现了性能的提升，纷纷简化他们的代码，不再使用内存池，而直接用new来分配对象。从5.0开始，只有一些分配代价较大的对象，比如线程、套接字和数据库链接，用内存池才会有明显的性能提升。

对于内存池，Lawery认为它主要用于两类对象。第一类是生命周期较短，且结构简单的对象，在内存池中重复利用这些对象能增加CPU缓存的命中率，从而提高性能。第二种情况是加载含有大量重复对象的大片数据，此时使用内存池能减少垃圾回收的时间。对此，Lawery还以StringInterner为例进行了说明。

最后Lawery分析了堆外内存，它和内存池一样，也能缩短垃圾回收时间，但是它适用的对象和内存池完全相反。内存池往往适用于生命期较短的可变对象，而生命期中等或较长的对象，正是堆外内存要解决的。堆外内存有以下特点：

  • 对于大内存有良好的伸缩性
  • 对垃圾回收停顿的改善可以明显感觉到
  • 在进程间可以共享，减少虚拟机间的复制

Lawery还提到对外内存最重要的还不是它能改进性能，而是它的确定性。

当然堆外内存也有它自己的问题，最大的问题就是你的数据结构变得不那么直观，如果数据结构比较复杂，就要对它进行串行化（serialization），而串行化本身也会影响性能。另一个问题是由于你可以使用更大的内存，你可能开始担心虚拟内存（即硬盘）的速度对你的影响了。

Lawery还介绍了OpenHFT公司提供三个开源库：Chronicle Queue、Chronicle Map和Thread Affinity，这些库可以帮助开发人员使用堆外内存来保存数据。采用堆外内存有很多好处，同时也带来挑战，对堆外内存感兴趣的读者可以阅读Lawery的原文来了解更多信息。

2015年4月8日 java 0 Read more >

CentOS 修改字符集

查看可用字符集

修改

 查看当前字符集

 

 

2015年4月1日 Linux 0 Read more >

linux 端口管理（查看与关闭）

参考：http://linux.vbird.org/linux_server/0210network-secure.php#portlimit

查看端口情况

netstat

查看正在监听的端口

 

 查看输入输出端口（端口连接状态）

加了-l则将输出端口筛选掉了。

以下命令行输出均应为IP，这里全部替换为主机名。

 删除已连接或在监听的端口

新起一个ssh连接

从hadoop02机器ssh到hadoop01，观察hadoop01机器上的端口变化。

查看端口进程号（无关端口略）

 杀死端口号对应进程

查看登录机器的提示

 nmap

用法

直接引用鸟哥的用法文档：

 扫描某一主机打开的端口（仅TCP）

 查看主机打开的所有端口

扫描网段内的机器（机器多了略耗时）

本处隐去了原始IP，用192.168.1.*示意。

 

 

 

 

 

2015年4月1日 Linux 0 Read more >