Loading...
墨滴

yuanzhoulvpi

2021/06/05  阅读:55  主题:默认主题

数据处理的工具使用

工具使用分享

背景

现在主要干的事情就是处理数据,说一说主要用了哪一些工具,可以提升幸福感。

1. 安装python

python是真的好用,我也是从R转到python的,给人的感觉就是python的使用场景太广了,而且稳定性高,支持中文字符等内容,而且配置环境都很方便。已经很少用R了。遇到一些问题,python都能解决。

安装python也很方便,不管是window还是mac还是linux,只要能连接上anaocnda清华镜像就能快速的部署上,实在是非常方便。当然有时候anaconda清华镜像不稳定的话,那就换anaconda中科大镜像🤡。

2.写python

我一般写python都是在jupyter notebook里面写,当然这个jupyter notebookvscode里面的环境。没有用网页版本的jupyter notebook,主要是因为网页版的jupyter notebook没有代码智能提醒,或者没有vscode的提醒的好。现在的vscode做的非常好,可以随意切换conda环境,可以随便查看变量,可以查看高清的matplotlib图,可以做笔记,甚至你也可以连接远程的jupyter notebook环境。

vscodejupyter notebook的界面

随意切换jupyter notebook连接的后端。

每一个单元格都可以显示代码行号。

因为大部分人使用jupyter notebook就是为了写代码和写markdown,所以vscode在新建一个单元格的时候,都会显示:加一个代码单元格还是一个markdown单元格。

当然想要将jupyter notebook导出py文件,也是一键导出。

运行python

一般运行的都是jupyter notebook导出的python文件,但是我们大部分遇到的问题都是想让python一直运行,不停下来。那么大部分就是使用linux的nohup来吧python文件挂起来,或者使用crontab来让python定时运行。

数据库的连接

这个数据库一个是公司的adb,一个是自己本地的Postgres。连接这两个数据库使用的都是sqlalchemy。这个我之前都写过很多文章。当时在连接的过程中遇到很多问题,现在回过头来看,基本上不是什么问题。 感觉就是pandasPostgres联合使用真的是快乐到起飞🛫️ 芜湖~~~ 不知道公司的adb是驱动版本太低了还是怎么回事,就是很难用,没有Postgres好用,小弟只能无力吐槽。

具体更多文章可以看我的知乎专栏:python摸鱼自动化

数据库的使用

后面将会仔细介绍一系列内容,如何将python和最先进的开源数据库Postgres搭配起来,高校的完成大数据处理任务。

yuanzhoulvpi

2021/06/05  阅读:55  主题:默认主题

作者介绍

yuanzhoulvpi