2012 年文章归档
共 15 篇文章
hadoop的mapreduce作业中经常出现Java heap space解决方案
我在进行两个大表的join时,任务显示成功,但Hadoop出现以下异常: 报出错误如下: java.lang.RuntimeException:java.lang.reflect.InvocationTargetException at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:81) at org.apache.hadoop.io.WritableUtils.clone(WritableUtils.java:231) at com.***.***.ajoin.Exception.regro…
2012-12-18 16:31 · Hive
Hive 优化-限制用户误交大作业查询
最近有些同事些sql进行查询时,sql语句里不指定partition字段,这样直接造成hive生成Hadoop的MapReduce任务时查询的数据量巨大,从而影响整个集群的性能。经研究可以通过配置Hive参数来预防此类错误,从而达到优化的目的。 在hive-site.xml中添加以下配置: <property> <name>hive.mapred.mode</name> <value>strict</value> </property> 这样,在提交类似一下SQL(where中不指定partition条件)时,将会抛出错误而不执行该sql: hive> select *from access…
2012-12-16 12:18 · Hive
Hive 查询优化【引文】
一、join优化 Join查找操作的基本原则:应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段,位于 Join 操作符左边的表的内容会被加载进内存,将条目少的表放在左边,可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join,且所有参与join的表中其参与join的key都相同,则会将所有的join合并到一个mapred程序中。 案例: SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) 在一个m…
2012-12-16 11:18 · Hive
linux zip 命令详解
linux zip 命令详解 功能说明:压缩文件。 语 法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>] 补充说明:zip是个使用广泛的压缩程序,文件经它压缩后会另外产生具有".zip"扩展名的压缩文件。 参 数: -A 调整可执行的自动解压缩文件。 -b<工作目录> 指定暂时存放文件的目录。 -c 替每个被压缩的文件加上注释。 -d 从压缩文件内删除指定的文件。 -D 压缩文件内不建立目录名称。 -f …
2012-12-05 10:52 · Linux命令
Zookeeper集群安装部署
准备 1. 下载zookeeper,下载地址 http://www.apache.org/dyn/closer.cgi/zookeeper ,此处为zookeeper-3.3.2 2. 分别解压至zookeepr集群机器(一般为基数台机器)相应目录(此处为$ZOOKEEPER_HOME),集群为mem1,mem2,mem3(hosts对应)。 配置 1. 分别在zookeepr集群机器上配置$ZOOKEEPER_HOME/conf/zoo.cfg(默认是没有此文件的,可以由zoo_sample.cfg重命名来),配置如下 # The number of milliseconds of eac…
2012-10-09 11:57 · zookeeper
Hadoop的shell脚本分析
Hadoop的shell脚本分析 这些天一直学习hadoop,学习中也遇到了许多的问题,主要是对hadoop的shell脚本和hadoop的源码概念不够清楚,所以我就对hadoop的bin目录下的shell脚本进行了研究,有一些成果想记录下来。 脚本分析: bin=`dirname "$0"` bin=`cd "$bin"; pwd` if [ -e "$bin/../libexec/hadoop-config.sh" ]; then . "$bin"/../libexec/hadoop-config.sh else . "$bin/hadoop-config.sh" fi # start …
2012-09-17 17:57 · hadoop
单机版搭建hadoop环境图文解析
单机版搭建hadoop环境图文解析 安装过程: 一、安装Linux操作系统 二、在Ubuntu下创建hadoop用户组和用户 三、在Ubuntu下安装JDK 四、修改机器名 五、安装ssh服务 六、建立ssh无密码登录本机 七、安装hadoop 八、在单机上运行hadoop 一、安装Linux操作系统 略 二、在Ubuntu下创建hadoop用户组和用户 这里考虑的是以后涉及到hadoop应用时,专门用该用户操作。用户组名和用户名都设为:hadoop。可以理解为该hadoop用户是属于一个名为hadoop的用户组,这是linux操作系统的知识,如果不清楚可以查看linux相关的书籍。 1、创…
2012-09-17 17:31 · hadoop
MongoDB主从复制认证要点
1、主服务器和从服务器必须开启安全认证:--auth 2、主服务器和从服务器的admin数据库中必须有全局用户。 在MongoDB2.0.2版本测试时,从服务器的admin数据库中没有全局用户时也能进行复制,尽管admin中无用户,客户端连接此服务器不进行验证(即--auth参数失效),但从服务器的--auth必须指定。既然启用了--auth,就应该在从服务器的admin中增加一个用户。 3、主服务器的local数据库和从服务器的local数据均有名为repl且密码相同的用户名。 4、主服务器设置: mongod --port 10000 --dbpath datam --logpath l…
2012-07-31 20:06
Nginx启动出错 error while loading shared libraries:
root@localhost conf]# /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory 从错误看出是缺少lib文件导致,进一步查看下 [root@localhost conf]# ldd $(which /usr/local/nginx/sbin/nginx) linux-gate.so.1 => (0x0…
2012-07-12 17:19 · Nginx
Nginx完整配置说明
#用户 用户组 user www www; #工作进程,根据硬件调整,有人说几核cpu,就配几个,我觉得可以多一点 worker_processes 5; #错误日志 error_log logs/error.log; #pid文件位置 pid logs/nginx.pid; worker_rlimit_nofile 8192; events { #工作进程的最大连接数量,根据硬件调整,和前面工作进程配合起来用,尽量大,但是别把cpu跑到100%就行 worker_connections 4096; } http { include conf/mime.types; #反向代理配置,可以打开…
2012-07-12 17:18 · Nginx
大数据行业现6大潜力公司 Splunk上市受瞩目
比特网(ChinaByte)4月22日消息 据外电消息报道,美国软件公司Splunk周四在纳斯达克的首日交易令人印象深刻,该公司股价当日报收于35.48美元,与17美元的IPO(首次公开募股)发行价相比翻了一番。这引发了投资者对一直相对不起眼的大数据公司板块的关注。 该外电称,“大数据”基本上是一个包罗万象的术语,指的是收集和分析大量信息的能力,而这些信息涉及到人类生活的方方面面。过去数据分析可能需要昂贵的数据库和专业化的技术,Splunk使数据分析变得更为廉价和简单。 “大数据”日趋热门 无论是来自一般商业领域还是零售、医疗、气候等专门领域的大数据都可用来盈利,这种可能性让投资界感到兴奋。…
2012-04-25 21:44 · 前沿技术
Linux Ubuntu 10.10安装Macbuntu 10.10主题
Macbuntu 是一个用于 Ubuntu 的Mac主题包,通过其提供的 install.sh 脚本就可以把 Ubuntu 用一个命令打造成漂亮的 苹果 Mac 风格,并且Macbuntu 提供多样的风格调整。 当运行安装脚本时,Macbuntu 会自动安装 Compiz Extras 、Global Menu 、Docky 及 Ubuntu-Tweak 等软件,同时会自动配置好登录界面、MetaCity 、Compiz 特效、窗口主题、背景墙纸等等风格内容。另外,因为使用了 Global Menu 工具,所以变换后菜单风格也类似于 Mac ,软件的菜单是放置在 Top Panel 上的。 …
2012-03-31 18:28 · linux-Shell
文件传输命令PSCP的使用
详解使用pscp命令Linux文件上传与下载 PSCP是一个文件上传下载的命令,他是PUTTY的一个命令。有Window版本的也有Linux版本的。Windows下直接使用pscp.exe。Linux下安装putty就可以了。 pscp是putty安装包所带的远程文件传输工具,使用和Linux下scp命令相似,具体的使用方法如下: PSCP和SCP功能相同,在windows下使用,只有一个文件,建议将pscp.exe放到C:\WINDOWS\system32下面,这样就可以在任何地方调用了。语法与scp相同,下面是几个有用的options。 -p 拷贝文件的时候保留源文件建立的时间。 -q …
2012-03-30 15:41 · linux-Shell
Linux 下Mysql备份与恢复
公司项目用到了Mysql的备份与恢复操作 现把脚本程序做下笔记 Mysql备份与恢复 #!/bin/sh dir=/home/atj/data/tmp echo -------DB_Publish-------` if [ ! -e $dir ]; then mkdir -p $dir fi backup() { aip=$1 user=$2 pass=$3 db=$4 name=$5 file=$dir/$name.sql if [ ! -f $file ];then touch $file fi mysqldump -h$aip -u$user -p$pass $db > $file #…
2012-03-29 16:30 · linux-Shell
((ParameterizedType) getClass().getGenericSuperclass()).getActualTypeArguments()
getClass().getGenericSuperclass()返回表示此 Class 所表示的 实体(类、接口、基本类型或 void)的直接超类的 Type 然后将其转换ParameterizedType。。 getActualTypeArguments()返回表示此类型实际类型参数的 Type 对象的数组。 [0]就是这个数组中第一个了。。 简而言之就是获得超类的泛型参数的实际类型。。 比如 超类 public class GenericDAO<T> { private Class<T> entityClass; protected GenericDAO() { Type type =…
2012-02-29 10:54 · Java