本地python打包环境 ubuntu16,python2.7

本地python打包环境 ubuntu16,python2.7

第一步

安装spark-2.2.0

下载地址https://archive.apache.org/dist/spark/spark-2.2.0/ -> spark-2.2.0-bin-hadoop2.7.tgz,解压到本地

我放到/opt/下

第二步

安装pip.注意版本 https://pypi.org/project/pip/9.0.1/#files

解压进入根目录执行

sudo python setup.py install

安装setuptools,注意版本https://pypi.org/project/setuptools/38.5.0/#files

解压进入根目录执行

sudo python setup.py install

第三步

下载源码 http://sc-git/xxxxxx 切换到开发python-1.0.1-dev分支

进入根目录执行

  • sudo python setup.py install

等待执行完毕,过程中会下载指定的包.查看/usr/local/lib/python2.7/dist-packages/下是否有sparkml_python开头, egg结尾的目录.

然后将源码graphicalmodeling中的代码拷贝到该目录下.最后正确的目录结构
/usr/local/lib/python2.7/dist-packages/
- sparkml_python...
- - graphicalmodeling
- - modeling
- test

最后

执行命令检查

  • sudo /opt/spark-2.2.0-bin-hadoop2.7/bin/spark-submit /usr/local/lib/python2.7/dist-packages/graphicalmodeling/test/console.py

发表评论

电子邮件地址不会被公开。