提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
原创|使用教程|编辑:我只采一朵|2017-06-30 14:33:14.000|阅读 110 次
概述:文将会对如何建立项目提供一些启发思路,以帮助你快速达到 在数据科学领域能有所产出 的境界。
# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>
现在有很多博文对复杂的机器学习算法和前沿的技术进行了展示,而这也促使数据科学家们慢慢变成了“社交控”()。但数据分析的基本内容究竟是什么样的?你应当怎样安排项目结构?你需要使用什么样的工具?等等诸如此类的问题却鲜有人问津。本文将会对如何建立项目提供一些启发思路,以帮助你快速达到 的境界。
项目的结构总是为了契合人们的需求而得到不断完善,这会导致在一个团队中出现不同的项目构架。如果你或者团队中的其他人能够及时发现项目结构的重要性,并且这个概念在团队中得到推广,那么,你无疑是幸运的。
多年前作者偶然发现了 网站。从那之后,作者便一直提倡身边的人使用规范的项目结构。最近, 发布了更为普适的 来构建项目结构。
而这些网站在项目构建方面的思路大致如下:
作者简略的项目结构如下所示:
example_project/ ├── data/ <- The original, immutable data dump. ├── figures/ <- Figures saved by notebooks and scripts. ├── notebooks/ <- Jupyter notebooks. ├── output/ <- Processed data, models, logs, etc. ├── exampleproject/ <- Python package with source code. │ └── __init__.py <-- Make the folder a package. └── process.py <-- Example module. ├── tests/ <- Tests for your Python package. └── test_process.py <-- Tests for process.py. ├── environment.yml <- Virtual environment definition. ├── README.md <- README with info of the project. └── setup.py <- Install and distribute your module.
你可以在 看到相关实例。
项目通常遵循另一种结构:
实际上,你选择什么样的项目结构并不重要,只要它能符合你的工作流程,你也能坚持使用它。你应该尝试去理解何为项目,从而选择满足要求的项目结构。
项目之间应当相互独立,你肯定不希望新的项目打乱了之前的工作成果。我们可以通过把不同项目的文件存储在不同的文件夹下实现独立性,但是不同项目之间也应当使用不同的 Python 环境。
虚拟环境依赖于不同的项目而相互独立,避免了包的冲突问题。每个虚拟环境都安装了特定版本的不同包。虚拟环境一中安装了版本为 1.11 的numpy库和版本为 0.18 的pandas库,而虚拟环境二中则仅仅安装了版本为 0.17 的pandas库。作者选取适用于数据科学的 管理虚拟环境(可在 看到选择它的原因)。
下列命令可以创建一个使用 Python 3.5 的新的 conda 虚拟环境,命名为 example_project:
$ conda install --name example_project python=3.5
激活虚拟环境( Windows 系统下将 source 省去):
$ source activate example_project
之后便可以安装所需的包了:
$ conda install pandas numpy jupyter scikit-learn
当你在不同的项目间跳转时,可以运行source deactivate命令取消激活,并激活新的项目虚拟环境。
一旦你熟练使用activate和deactivate命令,就会发现虚拟环境是一个很轻巧的工具来保证 Python 环境的独立。通过导出环境定义文件(例如,所有安装的包名和版本号),你的项目就很容易得到复现了。如果你想查看更多细节,可在 中看到。
每个项目都应该有自己的 Git 资源库。在每个项目创建一个资源库可以帮助你追踪每个项目的历史和解决在不同的项目间复杂的版本依赖问题。
又或者,你可以选择在一个资源库中包含多个项目,将所有内容存储在一个位置。这样做的缺点在于往往会因为合并冲突问题而告终(数据科学家通常并不能熟练使用 Git )。除了很多使用 Git 时出现的问题,这也会导致你的项目之间缺乏独立性。
创建 Git 资源库最简单的方法就是在你的 Git 远程主机托管服务(例如, 和 )上创建一个新的 Git 资源库,然后把它复制到本地:
$ git clone //github.com/hgrif/example-project.git
你可以在这个空文件夹下构建你的项目结构。
如果你按照这个步骤执行,并准备在一个新文件夹下创建一些文件了。那么,你首先还需要在电脑上对 git 资源库进行初始化:
$ git init
然后在你的远程主机上创建一个新的 git 资源库,得到它的链接,并运行下列命令:
$ git remote add origin //github.com/hgrif/example-project.git
该命令会添加链接为 //github.com/hgrif/example-project.git 的远程资源库,并命令为 origin 。你可能需要把现有的 master分支推送到origin上:
$ git push --set-upstream origin master
在你的项目目录下创建.gitignore文件可以避免将图或数据误填加进资源库中。作者一般使用 ,并且在文件中加入 data/、figures/ 和 output/ 文件夹,以便 Git 可以忽略它们。
既然 Git 已经设置好了,你就可以对核心内容使用git add和git commit命令了!
使用一些工具可以帮助你摆脱那些重复性工作。
Python 中的cookiecutter包可根据模板自动创建项目文件夹。你可以使用现有的模板,例如,或者 ,或是创建你自己新的模板。
使用虚拟环境最好的方法就是选用支持它们的编辑器,比如: 。你也可以使用 或者 去激活虚拟环境,并设置环境的变量,如果你cd定位到一个工作目录下的话。
对你的数据科学项目有一个良好的设置将会有助于同其他人协作,并且项目本身也会更容易复现。一个好的项目结构,一个虚拟环境和一个 git 资源库是每个数据科学项目的基石。
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn
本文探讨 SQL Server 中 NULL 和空值之间的区别,并讨论如何有效地处理它们。
Unity 是一款功能极其丰富的游戏引擎,允许开发人员将各种媒体集成到他们的项目中。但是,它缺少最令人兴奋的功能之一 - 将 Web 内容(例如 HTML、CSS 和 JavaScript)直接渲染到 3D 场景中的纹理上的能力。在本文中,我们将介绍如何使用 DotNetBrowser 在 Unity3D 中将 Web 内容渲染为纹理。
DevExpress v24.2帮助文档正式发布上线了,请按版本按需下载~
本教程将向您展示如何用MyEclipse构建一个Web项目,欢迎下载最新版IDE体验!
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@pclwef.cn
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢