2013 年文章归档
共 6 篇文章
Cloudera Hadoop CDH上安装R及RHadoop(rhdfs/rmr2/rhbase/RHive)
转自: http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html 前言:RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr、用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase。 一、系统及所需软件版本 服务器操作系统:CentOS 6.3 R语言版本:R-2.15…
2013-10-12 10:24 · hadoop
eclipse Exception Java heap space
一直都知道可以设置jvm heap大小,一直用eclipse写/调试java程序。一直用命令行or console加参数跑程序。现象:在eclipse的配置文件eclipse.ini中设置-vmargs -Xms500m -Xmx1024m,在eclipse中直接run 或者debug某些耗内存的程序时依然出现java.lang.OutOfMemoryError: Java Heap Space错误,即通常认为的内存不足,java虚拟机内存不够用。而在命令行加这些参数则有效果,不会出错。这说明一个问题,这些参数根本没有起作用。 今天需要在eclipse里调试程序,还没到需要调试的地方就hea…
2013-02-20 15:49 · bug
MRUnit测试教程
https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial
2013-02-19 19:31 · hadoop
MRUnit使用
MRUnit是一个用于测试mapreduce程序的java框架,它可以很方便地测试Mapper和rudecer程序 使用方法: 在maven中加入下面配置: <dependency> <groupId>org.apache.mrunit</groupId> <artifactId>mrunit</artifactId> <version>0.9.0-incubating</version> <classifier>hadoop2</classifier> </dependency> The MRUnit build process has changed to produce mrunit-…
2013-02-19 19:15 · hadoop
LINUX下单机安装HADOOP+HIVE手册
HADOOP篇 HADOOP安装 1.tar -zvxf hadoop-0.19.2.tar.gz 2.HADOOP的安装路径添加到环境文件/etc/profile中: export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2 export PATH=$HADOOP_HOME/bin:$PATH HADOOP配置 1.在$HADOOP/conf/hadoop-env.sh中配置JAVA环境 export JAVA_HOME=/home/hadoop/setup/jdk1.7.0_04 2.在$HADOOP/conf/hadoop-site.xml…
2013-02-17 14:07 · hadoop
【整理】MySQL引擎
【整理】MySQL引擎 MySQL数 据库引擎取决于MySQL在安装的时候是如何被编译的。要添加一个新的引擎,就必须重新编译MYSQL。在缺省情况下,MYSQL支持三个引擎:ISAM、MYISAM和HEAP。另外两种类型INNODB和BERKLEY(BDB),也常常可以使用。如果技术高超,还可以使用MySQL++ API自己做一个引擎。下面介绍几种数据库引擎: ISAM :ISAM是一个定义明确且历经时间考验的数据表格管理方法,它在设计之时就考虑到 数据库被查询的次数要远大于更新的次数。因此,ISAM执行读取操作的速度很快,而且不占用大量的内存和存储资源。ISAM的两个主要不足之处在于,它不…
2013-01-14 10:32 · 数据库