firemail

标题: Hive编程指南 笔记 [打印本页]

作者: java    时间: 2019-2-1 14:21
标题: Hive编程指南 笔记
本帖最后由 java 于 2019-2-1 17:36 编辑

Hive不支持OLTP(联机事务处理)所需的关键功能,而更接近成为一个OLAP(联机分析技术)工具.
如果要对大规模数据使用OLTP功能的话,应该选择使用一个NoSQL数据库,如:HBase(与Hadoop结合使用)及Cassandra,如果使用的是Amazon的EMR或EC2的话,可以使用DynamoDB.



常用命令
https://hadoop.apache.org/releases.html
wget http://mirror.bit.edu.cn/apache/ ... hadoop-3.2.0.tar.gz

curl -o http://mirror.bit.edu.cn/apache/ ... hadoop-3.2.0.tar.gz

tar -xzf hadoop-3.2.0.tar.gz
  1. echo "export HADOOP_HOME=$PWD/hadoop-3.2.0" >> $HOME/.bashrc
  2. echo "PATH=$PATH:$HADOOP_HOME/bin" >> $HOME/.bashrc
  3. . $HOME/.bashrc
复制代码
测试hadoop
hadoop dfs -ls
mkdir wc-in
echo "bla bla" > wc-in/a.txt
echo "bla wa wa" > wc-in/b.txt

hadoop jar $HADOOP_HOME/hadoop-3.2.0-examples.jar wordcount wc-in wc-out

cat  wc-out/*
hadoop dfs -cat wc-out/*
hadoop dfs -cat wc-out/* | more 或 head 或 tail
安装Hive
http://hive.apache.org/downloads.html
curl -o http://mirror.bit.edu.cn/apache/ ... ve-3.1.1-bin.tar.gz
tar -xzf apache-hive-3.1.1-bin.tar.gz
sudo mkdir -p /user/hive/warehouse
sudo chmod a+rwx /user/hive/warehouse
  1. echo "export HIVE_HOME=$PWD/hive-3.1.1" >> /etc/profile.d/hive.sh
  2. echo "PATH=$PATH:$HIVE_HOME/bin" >>  /etc/profile.d/hive.sh
  3. .  /etc/profile
复制代码





欢迎光临 firemail (http://firemail.wang:8088/) Powered by Discuz! X3