admin管理员组文章数量:1516870
一般,我都会在Eclipse中安装Scala插件,用Scala语言编写Spark程序,之后将程序导出为JAR文件,再复制到Spark平台上运行,因为XX原因,现在想尝试用python写Spark程序,于是在Windows+Pycharm的环境下搭建了相应的开发环境
首先,安装py4j(虽然其实我并不知道这是个什么东东,但是,因为没有安装它搞得一直出问题,所以啊。。。谨慎。。)
本来我最开始是打算这样安装py4j的
不过很可惜,安装不了,后来我直接这样了
结果就好了。。。
接着只要稍微配置下PyCharm就行了
找到python安装目录,之后找到site-packages文件夹,一般是这种路径:Python_Home\lib\site-packages,在该目录下新建pyspark.pth文件,像这样
pyspark.pth的内容为:
Spark安装目录\python\
重新打开PyCharm就搞定了,我之前没有重新打开,结果一直就显示不行
参考网址:http://wwwblogs/porco/p/4895421.html
版权声明:本文标题:Windows7+Pycharm搭建Spark的开发环境 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.betaflare.com/biancheng/1725012180a987125.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。


发表评论