编程语言

scala的foreach功能使用java的List类型问题

在对java的List类型使用scala的foreach时,idea报错。

scala的foreach使用java数据类型出错

经查,原来scala的foreach是不能用于java数据类型的。程序写的太low了,应该将java的底子完全舍弃,在建立数据类型的时候直接使用scala的数据类型,才能更好的使用scala的语言特性。

work around:

增加一句:

import scala.collection.JavaConversions._

不过还是建议直接用scala的数据类型吧。

参考链接:http://alvinalexander.com/scala/converting-java-collections-to-scala-list-map-array

使用sbt自动运行scala程序

sbt run

cd your-project-pwd

sbt ‘run-main your-main’ > out.txt

cron table

*6**** /usr/batch/test1

每天6点执行

test1脚本中即可添加sbt run的内容。

 

栗子:

#!/bin/sh
#
# ---------------------------------------------------------------------
# Auto parser install script.
# ---------------------------------------------------------------------
#


echo 'export RDB_PARSER_PROJECT_PATH=your-project-path' >> /etc/profile
. /etc/profile
echo ' * 1 * * * root $PWD/auto_parser_ff' >> /etc/crontab
echo ' * 7 * * * root $PWD/auto_parser_tf' >> /etc/crontab
echo ' * 14 * * * root $PWD/auto_parser_mf' >> /etc/crontab

 

 

JAVA_OPTS环境变量

参考链接:http://publib.boulder.ibm.com/wasce/V2.1.0/zh_CN/javaopts.html

初始堆大小
要指定 Java 虚拟机的初始堆大小,请在启动服务器之前,将下列选项包含在 JAVA_OPTS 环境变量中:

-XmsIm
其中 I 由初始堆大小替换(单位:MB)。
最大堆大小
要指定 Java 虚拟机的最大堆大小,请在服务器启动之前,在 JAVA_OPTS 环境变量中包含以下选项:

-XmxMm
其中 M 由最大堆大小替换(单位:MB)。
以大页面分配堆
要指定以大页面分配堆,请在启动服务器之前,将下列选项包含在 JAVA_OPTS 环境变量中:

-Xlp
指定以大页面分配堆。
启用代理服务器
请考虑服务器由防火墙保护的情况。服务器可能仍需要访问防火墙以外的站点,例如,使用管理控制台来访存并安装 JDBC 驱动程序。如果必须将服务器配置为使用代理服务器访问外部资源,请在启动服务器之前,将下列选项包含在 JAVA_OPTS 环境变量中:

-DproxySet=true
配置 Java 虚拟机以使用代理服务器。
-DproxyHost=host
其中 host 是运行代理服务器的主机。
-DproxyPort=port
其中 port 是代理服务器侦听的端口。
定制日志记录
如果希望对服务器中的日志记录进行更精密的控制,那么您可以指定自己的日志记录设置,并在启动服务器之前在 JAVA_OPTS 环境变量中提供单独的 log4j.xml 文件。以下选项将覆盖 \var\log 目录下的 XYZ-log4j.properties 文件中定义的设置。

-Dorg.apache.geronimo.log4jservice.configuration=filename
其中,filename 必须是标准的文件名,它是相对于服务器实例目录位置的。

 

堆外内存(off-heap),堆内存(on-heap)

原文:http://www.infoq.com/cn/news/2014/12/external-memory-heap-memory/

一般情况下,Java中分配的非空对象都是由Java虚拟机的垃圾收集器管理的,也称为堆内内存(on-heap memory)。虚拟机会定期对垃圾内存进行回收,在某些特定的时间点,它会进行一次彻底的回收(full gc)。彻底回收时,垃圾收集器会对所有分配的堆内内存进行完整的扫描,这意味着一个重要的事实——这样一次垃圾收集对Java应用造成的影响,跟堆的大小是成正比的。过大的堆会影响Java应用的性能。

对于这个问题,一种解决方案就是使用堆外内存(off-heap memory)。堆外内存意味着把内存对象分配在Java虚拟机的堆以外的内存,这些内存直接受操作系统管理(而不是虚拟机)。这样做的结果就是能保持一个较小的堆,以减少垃圾收集对应用的影响。

但是Java本身也在不断对堆内内存的实现方式做改进。两者各有什么优缺点?Vanilla Java博客作者Peter Lawrey撰写了一篇文章,在文中他对三种方式:用new来分配对象、对象池(object pool)和堆外内存,进行了详细的分析。

用new来分配对象内存是最基本的一种方式,Lawery提到:

在Java 5.0之前,分配对象的代价很大,以至于大家都使用内存池。但是从5.0开始,对象分配和垃圾回收变得快多了,研发人员发现了性能的提升,纷纷简化他们的代码,不再使用内存池,而直接用new来分配对象。从5.0开始,只有一些分配代价较大的对象,比如线程、套接字和数据库链接,用内存池才会有明显的性能提升。

对于内存池,Lawery认为它主要用于两类对象。第一类是生命周期较短,且结构简单的对象,在内存池中重复利用这些对象能增加CPU缓存的命中率,从而提高性能。第二种情况是加载含有大量重复对象的大片数据,此时使用内存池能减少垃圾回收的时间。对此,Lawery还以StringInterner为例进行了说明。

最后Lawery分析了堆外内存,它和内存池一样,也能缩短垃圾回收时间,但是它适用的对象和内存池完全相反。内存池往往适用于生命期较短的可变对象,而生命期中等或较长的对象,正是堆外内存要解决的。堆外内存有以下特点:

  • 对于大内存有良好的伸缩性
  • 对垃圾回收停顿的改善可以明显感觉到
  • 在进程间可以共享,减少虚拟机间的复制

Lawery还提到对外内存最重要的还不是它能改进性能,而是它的确定性。

当然堆外内存也有它自己的问题,最大的问题就是你的数据结构变得不那么直观,如果数据结构比较复杂,就要对它进行串行化(serialization),而串行化本身也会影响性能。另一个问题是由于你可以使用更大的内存,你可能开始担心虚拟内存(即硬盘)的速度对你的影响了。

Lawery还介绍了OpenHFT公司提供三个开源库:Chronicle QueueChronicle MapThread Affinity,这些库可以帮助开发人员使用堆外内存来保存数据。采用堆外内存有很多好处,同时也带来挑战,对堆外内存感兴趣的读者可以阅读Lawery的原文来了解更多信息。