彩票走势图

PyCharm大数据工具环境配置教程

翻译|使用教程|编辑:何跃|2022-01-24 16:14:26.750|阅读 326 次

概述:PyCharm是立项的大数据开发工具,在开始使用大数据工具之前,您需要安装必要的插件并配置与服务器的连接。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

安装必备插件

1. 无论你在PyCharm中做什么,你都要在一个项目中进行。所以,打开一个现有的项目(文件|打开)或创建一个新的项目(文件|新建|项目)。

2. 按Ctrl+Alt+S打开IDE设置,选择插件|市场。

3. 安装大数据工具插件。

4. 重启IDE。重启后,大数据工具标签出现在工具窗口的最右边一组。点击它,打开大数据工具窗口。

一旦在IDE中启用大数据工具支持,你可以配置与Zeppelin、Spark、Google Storage和S3服务器的连接。你可以使用配置文件和URI连接到HDFS、WebHDFS、AWS S3和本地驱动器。

配置服务器连接

1. 在大数据工具窗口中,点击添加连接并选择服务器类型。大数据工具连接对话框打开。

2. 在大数据工具连接对话框中,根据服务器类型指定以下参数:

文件系统:FS | 本地, FS | HDFS

存储器:AWS S3, Minio, Linode, Digital Open Spaces, GS, Azure, Yandex Object Storage

监测:Spark, Hadoop, Kafka

Notebooks:Zeppelin

本地数据

强制性参数:

  • 根路径:根目录的路径。
  • 名称:连接的名称,以区别于其他连接。


HDFS

强制性参数:

  • 根路径:目标服务器上根目录的路径。
  • 当连接成功建立后,Driver home path字段显示连接的目标IP地址,包括一个端口号。Example: hdfs://127.0.0.1:65224/.


Hadoop

强制性参数:

  • URL:目标服务器的路径。
  • 名称:连接的名称,以区别于其他连接。
以下是可选的设置:
  • 启用SSH。创建一个到远程主机的SSH通道。如果目标服务器在一个私人网络中,但与网络中的主机的SSH连接是可用的,那么它可能是有用的。
  • 选择复选框并指定一个SSH连接的配置(点击...创建一个新的SSH配置)。
  • 每个项目:选择只为当前项目启用这些连接设置。如果你想让这个连接在其他项目中可见,请取消选择。
  • 启用连接:如果你想限制使用这个连接,请取消选择。默认情况下,新创建的连接是启用的。
  • 启用HTTP基本认证:使用指定的用户名和密码进行HTTP认证的连接。
  • 启用HTTP代理:使用指定的主机、端口、用户名和密码,与HTTP代理连接。
  • HTTP代理:使用HTTP或SOCKS代理认证连接。选择你是否要使用IDEA HTTP代理设置或使用指定的主机名、端口、登录名和密码的自定义设置。

现在您已经与服务器建立了连接,可以开始使用开发环境了。但是,最好确保在特定服务器上执行所需的所有库和包都已安装并可用。

配置Notebook依赖

  • 从主菜单中,选择文件|项目结构。
  • 在项目结构对话框中,在项目设置的列表中选择模块。然后在模块列表中选择任何配置好的连接,双击系统依赖。
  • 检查添加的库的列表。点击列表,开始键入,搜索一个特定的库。

管理repositories

1. 要打开存储库设置,点击解释器工具栏上的新解释器。


你可以刷新版本库列表(Refresh),添加新版本库(New repository),以及删除所选版本库(Remove the selected repository)。

要添加一个新的资源库,点击新建资源库并填写资源库设置。
强制性参数:

  • Id:存储库的唯一名称
  • Url: 存储库的地址
可选参数:
  • 名称:访问版本库的用户名
  • 密码:访问版本库的密码
  • 主机:存储库所在的 HTTP 或 HTTPS 服务器
  • 端口:版本库服务器的端口
  • 姓名和密码:访问版本库服务器的用户凭证

标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn

文章转载自:

为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP