Blog
Spark开发踩坑记录
问题1：Initial job has not accepted any resources; ……
环境：在windows下Intellij直接启动spark app进行调试 分析：该异常可能由多种原因导致
23 Sep 2099
Comments
Read More »
org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null
在Mac OS Sierra本地搭了cdh版本spark 2.1.0.cloudera2和hadoop-2.6.0-cdh5.13.3，但一直报snappy错误：
26 Jul 2018
Comments
Read More »
hive安装问题
最近测试carbondata过程中需要在本地安装spark进行调试，公司新发了Mac Pro，总算不用在没有管理员权限的windows上做开发了。
但安装hive的时候明明已经按照官方wiki配好mysql driver，竟然还是一直报错找不到derby的driver，偶然间在网上看到hive配置文件是hive-site.xml，但我装的这个1.1.1版本下面只有hive-default.xml.
08 Dec 2016
Comments
Read More »
ZigZag压缩算法
参考1: http://blog.csdn.net/zgwangbo/article/details/51590186 参考2: http://www.cnblogs.com/en-heng/p/5570609.html byte[]转String再转回byte[]数据不一致问题是转换时字符集没有设置导致
14 Sep 2016
Comments
A test about option parameters in Scala function/class
scala> def test(a : String, b : Option[String]) { val x = a
| val y = b
| println("x is: " + x)
| println("y is: " + y)
| }
test: (a: String, b: Option[String])Unit
27 Jul 2016
Comments
Read More »