python工具包推荐(怎么用)

python工具包推荐

首先我列出了最近一年内PyPI上下载量最高的Python包。咱们来看看这些包的作用，它们的之间的联系，以及为什么会如此盛行。
1.Urllib3
8.93亿次下载
Urllib3是Python的HTTP客户端，它供给了许多Python规范库没有的功用。
线程安全
连接池
客户端SSL/TLS验证
运用multipart编码进行文件上传
用于重传恳求并处理HTTP重定向的辅助功用
支撑gzip和deflate编码
支撑HTTP和SOCKS署理
虽然姓名叫做Urllib3，但它并不是Python自带的urllib2的后继版别。假如你想尽或许运用Python的中心功用（比方由于某些约束导致不能装置），那么能够看看urllib.request。
对于最终用户，我强烈推荐requests包（参阅列表中的第六项）。Urllib3之所以排名榜首是由于简直1200个软件包都依靠它，许多这些软件包也都在列表中名列前茅。
2.Six
7.32亿次下载
Six是Python2和Python3兼容性东西。该项意图意图是让代码能够一同在Python2和Python3上运转。
它供给了许多函数，掩盖了Python2和Python3之间的语法差异。最简单了解的比方便是six.print_。在Python3中，输出时需求运用print函数，而Python2中是运用不带括号的print。因而，运用six.print_能够一同支撑两种语言。
重点：
包的姓名six来自于2×3=6
相似的库还有future
假如想将代码转换成Python3（一同不再支撑Python2），能够看看2to3
虽然我了解该包如此盛行，但还是希望人们尽快抛弃Python2，特别是从2020年1月1日起官方现已不再支撑Python2了。
3.botocore,boto3,s3transfer,awscli
这几个项目放在一同说：
botocore：第3名，6.6亿次下载
s3transfer：第7名，5.84亿次下载
awscli：第17名，3.94亿次下载
boto3：第22名，3.29亿次下载
Botocore是AWS的底层接口。botocore是boto3（第22名）库的基础，后者能够让你拜访亚马逊的S3、EC2等服务。
Botocore也是AWS-CLI的基础，后者是AWS的命令行界面。
s3transfer（第七名）是用于办理S3传输的Python库。该库仍在开发中，它的主页仍然不主张运用，或许运用时至少要固定版别，由于即使在小版别号之间它的API也或许会发生变化。boto3、AWS-CLI和许多其他项目都依靠于s3transfer。
AWS相关的库的排名如此高，正说明晰AWS的服务是多么盛行。
4.Pip
6.27亿次下载
我猜许多人都知道并且喜欢pip（Python的包装置东西）。运用pip从PythonPackageIndex和其他库房（如本地镜像或包括私有软件的自界说库房等）装置软件包不费吹灰之力。
关于pip的趣事：
Pip的姓名是个递归界说：PipInstallsPackages
Pip十分简单运用。装置一个软件包只需求履行pipinstall<软件包名>。删去只需求履行pipuninstall<软件包名>。
Pip最大的好处便是它能够装置一系列包，一般会放在requirements.txt文件中。该文件还能够指定每个包的具体版别号。绝大多数Python项目都会包括这个文件。
与virtualenv（第57名）结合运用pip，能够创立可猜测的、独立的环境，而不会与体系自身的环境相互影响。
5.python-dateutil
6.17亿次下载
Python-dateutil模块为规范的datetime模块供给了强壮的功用扩展。一般的Pythondatetime无法做到的事情都能够运用python-dateutil完成。
用这个库能够完成许多十分酷的功用。我只举一个十分有用的比方：从日志文件中模糊解析日期字符串：
fromdateutil.parserimportparse
logline=INFO2020-01-01T00:00:01Happynewyear,human.
timestamp=parse(log_line,fuzzy=True)
print(timestamp)
#2020-01-0100:00:01
6.requests
6.11亿次下载
Requests根据下载量榜首的库urllib3。有了它，发送恳求变得极其简单。许多人对requests的喜欢超过了urllib3，因而requets的最终用户或许比urllib3还要多。后者更底层，一般作为其他项意图依靠出现。
下面的比方演示了requests有多么简单运用：
importrequests
r=requests.get(https://api.github.com/user,auth=(user,pass))
r.status_code
#200
r.headers[content-type]
#application/json;charset=utf8
r.encoding
#utf-8
r.text
#u{“type”:”User”…
r.json
#{udisk_usage:368627,uprivate_gists:484,…}
7.s3transfer
第3、7、17和22名相相互关，所以请拜见第3名的介绍。
8.Certifi
5.52亿次下载
近年来，简直一切网站都开端运用SSL，这一点能够从地址栏中的锁图标看出来，该图标的意思是网站是安全的、加密的，能够避免偷听。
加密根据SSL证书，SSL证书由可信的公司或非营利安排担任签发，如LetsEncrypt。这些安排会对运用它们的证书对签发的证书进行数字签名。
运用这些证书的揭露部分，浏览器就能够验证网站的签名，然后证明你拜访的是真实的网站，并且他人没有在偷听数据。
Python也能够做到同样的功用，这就需求用到certifi。它和Chrome、Firefox和Edge等Web浏览器中包括的根证书调集没有什么区别。
Certifi是一个根证书调集，这样Python代码就能够验证SSL证书的可信度。
许多项目都信任并依靠certifi，能够在这里看到这些项目。这也是为何该项目排名如此高的原因。
9.Idna
5.27亿次下载
根据PyPI的页面，idna供给“对于RFC5891中界说的IDNA协议（InternationalisedDomainNamesinApplications）的支撑”。
咱们来看看idna是什么意思：
IDNA是处理包括非ASCII字符的域名的规则。但原始的域名不是现已支撑非ASCII字符了吗？那么问题安在？
问题是许多应用程序（如Email客户端和Web浏览器等）并不支撑非ASCII字符。或许更具体地说，Email和HTTP协议并不支撑这些字符。
在许多国家这并不是问题，但像中国、俄罗斯、德国、印尼等国家就很不便利。因而，这些国家的一些聪明人联合起来提出了IDNA，也并非完全偶然。
IDNA的中心是两个函数：ToASCII和ToUnicode。ToASCCI会将国际化的Unicode域名转换成ASCII字符串，而ToUnicode会做相反的处理。在IDNA包中，这两个函数叫做idna.encode和idna.decode，拜见下面的比方：
importidna
idna.encode(ドメイン.テスト)
#bxn--eckwd4c7c.xn--zckzah
print(idna.decode(xn--eckwd4c7c.xn--zckzah))
#ドメイン.テスト
该编码的具体内容能够拜见RFC3490。
10.PyYAML
5.25亿次下载
YAML是一种数据序列化格局。它的规划目标是一同便利人类和机器阅览——人类很简单读懂，计算机解析也不难。
PyYAML是Python的YAM解析器和编码器，也便是说它能够读写YAML格局。它能够将任何Python目标编码为YAML：列表，字典，乃至类实例都能够。
Python供给了自己的配置办理器，但YAML供给的功用远胜于Python自带的ConfigParser（只能运用最基本的.ini文件）。
例如，YAML能存储任何数据类型：boolean，list，float等。ConfigParse的内部一切都保存为字符串。假如你要用ConfigParser来加载证书，就需求指明你需求的是整数：
config.getint(“section”,“my_int”)
config[“section”][“my_int”]
YAML还答应任意深度的嵌套，虽然并非每个项目都需求，但十分便利。
你能够自行决定运用哪一个，但许多项目都运用YAML作为配置文件，因而该项意图盛行度十分高。
11.pyasn1
5.12亿次下载
像IDNA相同，这个项意图描绘的信息量也十分大：
ASN.1类型和DER/BER/CER编码（X.208）的纯Python完成。
走运的是，咱们仍然能找到这个几十年之久的规范的许多资料。ASN.1是AbstractSyntaxNotationOne（抽象语法记法一）的缩写，是数据序列化的开山祖师。它来自于通讯行业。或许你知道protocolbuffer或许ApacheThrift吧？ASN.1正是它们的1984年版别。
ASN.1描绘了一种不同体系之间的跨平台的接口，能够经过该接口发送数据结构。
还记得第8名的certifi吗？ASN.1用于界说HTTPS协议以及许多其他加密体系中运用的证书的格局。ASN.1还广泛用于SNMP、LDAP、Kerberos、UMTS、LTE和VOIP等协议中。
它是个十分复杂的规范，人们现已发现某些完成充满了脆弱性。你能够看看Reddit上的这个关于ASN.1的讨论（https://www.reddit.com/r/programming/comments/1hf7ds/useful_old_technologies_asn1/）。
除非真实必要，不然我主张不要运用它。但由于许多地方都在运用该协议，因而许多包都依靠于它。
12.docutils
5.08亿次下载
Docutils是一个模块化体系，用于将纯文本文档转换成其他格局，如HTML、XML和LaTeX等。docutils能够读取reStructuredText格局（一种相似于MarkDown的简单阅览的格局）的纯文本文档。
我猜你必定听说过PEP文档，乃至或许阅览过。PEP文档是什么？
PEP的意思是PythonEnhancedProposal（Python增强提案）。PEP是一篇规划文档，用于给Python社区供给信息，或许为Python（或其处理器、环境）描绘一个新特性。PEP应该供给特性的准确的技术规范，并给出该特性的理由。
PEP文档便是运用固定的reStructuredText模板，然后经过docutils转换成漂亮的文档。
Sphinx的中心也运用了docutils。Sphinx用于创立文档项目。假如说docutils是一台机器，那么Sphinx便是一个工厂。它的最初规划意图是构建Python自身的文档，但许多其他项目也运用Sphinx来创立文档。
你必定度过readthedocs.org上的文档吧？那里的文档都是运用Sphinx和docutils创立的。
13.Chardet
5.01亿下载
你能够运用chardet模块来查看文件或数据流的字符集。在分析许多随机的文本时这个功用十分有用。但也能够用来判断远程下载的数据的字符串。
在装置chardet后，就能够运用命令行东西chardetect，运用办法如下：
chardetectsomefile.txt
somefile.txt:asciiwithconfidence1.0
也能够在程序中运用该库，拜见文档（https://chardet.readthedocs.io/en/latest/usage.html）。
Requests和许多其他包都依靠于chardet。我估计不会有太多人直接运用chardet，所以它的盛行度肯定是来自于这些依靠。
14.RSA
4.92亿次下载
Rsa是RSA的纯Python完成。它支撑如下功用：
加密和解密
签名和签名验证
根据PKCS#1version1.5生成秘钥
它能够作为Python库运用，也能够在命令行上运用。
RSA称号中的三个字母来自于三个人的姓：RonRivest，AdiShamir，和LeonardAdleman。他们于1977年发明晰该算法。
RSA是最早出现的一批公钥加密体系，广泛用于安全数据传输。这种加密体系包括两个秘钥：一个是公钥，一个是私钥。运用公钥加密数据，然后该数据只能用私钥进行解密。
RSA算法很慢。一般并不运用RSA算法直接加密用户数据，而是用它来加密对称加密体系中运用的同享秘钥，由于对称加密体系速度很快，适合用来加密许多数据。
下面代码演示了RSA的运用办法：
importrsa
#Bobcreatesakeypair:
(bob_pub,bob_priv)=rsa.newkeys(512)
#AliceecnryptsamessageforBob
#withhispublickey
crypto=rsa.encrypt(helloBob!,bob_pub)
#WhenBobgetsthemessage,he
#decryptsitwithhisprivatekey:
message=rsa.decrypt(crypto,bob_priv)
print(message.decode(utf8))
#helloBob!
假定Bob拥有私钥private，Alice就能确信只有Bob才能阅览该信息。
但Bob并不能确信Alice是信息的发送者，由于任何人都能够取得Bob的公钥。为了证明发送者的确是Alice，她能够运用自己的私钥对信息进行签名。Bob能够运用Alice的公钥对签名进行验证，来确保发送者的确是Alice。
许多其他包都依靠于rsa，如google-auth（第37名），oauthlib（第54名），awscli（第17名）。这个包并不会经常被直接运用，由于有许多更快、更原生的办法。
15.Jmespath
4.73亿次下载
在Python中运用JSON很简单，由于JSON能够完美地映射到Python的字典上。我认为这是最好的特性之一。
说实话我从来没听说过jmepath这个包，虽然我运用过许多JSON。我会运用json.loads然后手动从字典中读取数据，或许还得写几个循环。
JMESPath，读作“Jamespath”，能更简单地在Python中运用JSON。你能够用声明的方法界说怎样从JSON文档中读取数据。下面是一些最基本的比方：
importjmespath
#Getaspecificelement
d={“foo”:{“bar”:”baz”}}
print(jmespath.search(foo.bar,d))
#baz
#Usingawildcardtogetallnames
d={“foo”:{“bar”:[{“name”:”one”},{“name”:”two”}]}}
print(jmespath.search(foo.bar[*].name,d))
#[“one”,“two”]
这仅仅是它的冰山一角。更多用法拜见它的文档和PyPI主页。
16.Setuptools
4.01亿次下载
Setuptools是用来创立Python包的东西。
这个项意图文档很糟糕。文档并没有描绘它的功用，还包括死链接。真实的好文档在这里：https://packaging.python.org/，以及这篇文章中关于怎样创立Python包的教程：https://packaging.python.org/tutorials/packaging-projects/。
17.awscli
第3、7、17和22名相相互关，所以请拜见第3名的介绍。
18.pytz
3.94亿次下载
相似于第5名的dateutils，该库能够帮助你操作日期和时刻。处理时区很麻烦。走运的是，这个包能够让时区处理变得很简单。
关于时刻，我的经历是：在内部永久运用UTC，只有在需求发生招供阅览的输出时才转换成本地时刻。
下面是pytz的比方：
fromdatetimeimportdatetime
frompytzimporttimezone
amsterdam=timezone(Europe/Amsterdam)
ams_time=amsterdam.localize(datetime(2002,10,27,6,0,0))
print(ams_time)
#2002-10-2706:00:00+01:00
#ItwillalsoknowwhenitsSummerTime
#inAmsterdam(similartoDaylightSavingsTime):
ams_time=amsterdam.localize(datetime(2002,6,27,6,0,0))
print(ams_time)
#2002-06-2706:00:00+02:00
更多文档和比方能够拜见PyPI页面。
19.Futures
3.89亿次下载
从Python3.2开端，python开端供给concurrent.futures模块，能够帮你履行异步操作。futures包是该库的反向移植，所以它是用于Python2的。当时的Python3版别不需求该包，由于Python3自身就供给了该功用。
前面我说过，从2020年1月1日起官方现已停止支撑Python2。我希望下一年再做这个列表的时分，不再看到这个包排进前22名。
下面是futures包的基本用法：
fromconcurrent.futuresimportThreadPoolExecutor
fromtimeimportsleep
defreturn_after_5_secs(message):
sleep(5)
returnmessage
pool=ThreadPoolExecutor(3)
future=pool.submit(return_after_5_secs,
(“Helloworld”))
print(future.done)
#False
sleep(5)
print(future.done)
#True
print(future.result)
#HelloWorld
可见，咱们能够创立一个线程池，然后提交一个函数，让某个线程履行。一同，你的程序会继续在主线程上运转。这是完成并行履行的一种很简单的方法。
20.Colorama
3.70亿次下载
你能够运用Colorama在终端上增加色彩：
下面的示例演示了完成这个功用有多么简单：
fromcoloramaimportFore,Back,Style
print(Fore.RED+someredtext)
print(Back.GREEN+andwithagreenbackground)
print(Style.DIM+andindimtext)
print(Style.RESET_ALL)
print(backtonormalnow)
21.Simplejson
3.41亿次下载
Python自带的json模块有什么问题导致了这个包有如此高的排名？没有任何问题！实际上，Python的json便是simplejson。但simplejson有一些优点：
能在更多Python版别上运转
更新频率高于Python
一部分代码是用C编写的，运转得十分快
有时分你会看到脚本中这样写：
try:
importsimplejsonasjson
exceptImportError:
importjson
不过，除非确实需求一些规范库中没有的功用，我仍然会运用json。SImplejson或许比json快许多，由于它的一部分是用C完成的。可是除非你要处理几千个JSON文件，不然这点速度提高并不显着。此外还能够看看UltraJSON，这是个简直完全用C编写的包，应该速度更快。
22.boto3
第3、7、17和22名相相互关，所以请拜见第3名的介绍。
结束语
只写22个包很难，由于后面的许多包都是终端用户更倾向运用的包。
写这篇文章给了我一些启示：
许多排名靠前的包供给一些中心的功用，如处理时刻、配置文件、加密和规范化等。它们一般是其他项意图依靠。
最常见的运用场景便是连接。许多包供给的功用便是连接到服务器，或许支撑其他包连接服务器。
其他包是对Python的扩展，比方用于创立Python包的东西，创立文档的东西，创立版别兼容性的东西，等等。

python怎么用

01Web开发
Django和Flask等根据Python的Web结构最近在Web开发中十分盛行。
这些Web结构能够协助你用Python编写服务器端代码(后端代码)。这是在你的额服务器上运行的代码，而不是运行在用户设备和浏览器的代码(前端代码)。
1.为什么需求Web结构
由于用Web结构能够更容易地构建通用后端逻辑。这包括将不同的URL映射到Python代码块，处理数据库以及生成用户在浏览器中看到的HTML文件。
2.应该运用哪种PythonWeb结构
Django和Flask是最盛行的两种PythonWeb结构。假如你刚刚入门，我主张运用其间一种。
3.Django和Flask有什么差异
GarethDwyer关于这个问题有一篇出色的文章，在这儿我引用几段：
主要差异
Flask：能够完成简略、灵活和细致的操控。并能让你自己决议完成方法。
Django：供给了全面的体验：你能够获得管理面板、数据库接口、ORM(目标联系映射)以及开箱即用的运用程序和项目的目录结构。
怎么挑选
Flask：假如你重视的是经历和学习的机会，或许你想更多地操控运用哪些组件，比方你想运用哪些数据库以及怎么与其进行交互。
Django：假如你重视最终产品，或许你正在研究一个简略的运用，比方新闻网站、网店或博客，并且你希望有单一完成的方法。
换句话说，假如你是初学者，Flask或许是更好的挑选，由于它要把握的组件更少。此外，假如你想要更多的定制，那就选Flask。
根据我的数据工程师朋友JonathanTHo的说法，由于Flask的灵活性，在创建RESTAPI时，Flask比Django更合适。
另一方面，假如你想直接构建一些东西，Django或许会让你更快完成。
02数据科学
数据科学，这儿包括机器学习，数据剖析和数据可视化。
1.机器学习是什么
假定你想开发一个能够主动检测图片内容的程序。给出图1，你希望程序辨认这是一只狗。
640?wx_fmt=jpeg
▲图1
给出图2，希望程序能辨认这是一张桌子。
640?wx_fmt=jpeg
▲图2
你或许会说，我能够写一些代码来做到这点。例如，假如图片中有许多浅棕色像素，那么能够辨认是狗。
或许能够检测图片中的边际，假如有许多直的边际，那么就是桌子。
但这种方法很快就不好用了。假如图片中的狗不是棕色毛的怎么办？假如图片只显示桌子的圆形部分怎么办？
这儿就需求用到机器学习了。
机器学习经过完成算法，该算法能够主动检测输入中的模式。
例如，你将1000张狗的图片和1000张桌子的图片输入给机器学习算法，让它把握狗和桌子间的差异。那么当你给出新的图片让它辨认是狗仍是桌子时，它就能够进行判断。
这有点相似孩子学习新事物的方法。孩子是怎么学习认知狗或桌子的呢？就是经过大量的例子。
你不会清晰告知孩子：“假如某个毛茸茸的东西有浅棕色的毛发，那么就或许是狗。”
你会说，“这是狗，这也是狗。而这是桌子，那个也是桌子。“
机器学习算法的方法大致相同。
咱们能够将相同的想法运用于：
引荐系统：比方YouTube，亚马逊和Netflix
人脸辨认
语音辨认
以及其他运用。
你听过的抢手机器学习算法包括：
神经网络
深度学习
支撑向量机
随机森林
你能够运用上述任何算法来处理前面说到的图片标签问题。
2.将Python用于机器学习
有一些抢手的机器学习库和Python结构。其间两个最抢手的是scikit-learn和TensorFlow。
scikit-learn带有一些内置的抢手机器学习算法。
TensorFlow是一个低级库，能让你创建自定义机器学习算法。
假如你刚开始进行机器学习项目，我会主张你先从scikit-learn开始。假如你开始遇到效率问题，那么能够运用TensorFlow。
3.数据剖析和数据可视化
假定你在一家在线出售产品的公司作业。作为数据剖析师，你会制作这样的条形图。
640?wx_fmt=png
▲条形图1-用Python生成
从这张图中能够看到在某个周日，男性用户购买了400多件产品，女人用户购买了350件产品。
作为数据剖析师，对此你会提出一些或许的解说。显着的解说是，该产品在男性用户中更受欢迎。另一种是样本量太小，而这种差异是偶尔的。还或许呢是由于某种原因，男性往往在周日才购买该产品。
为了理解哪种解说是正确的，你能够制作另一个图。
640?wx_fmt=png
▲折线图1-用Python生成
不止看周日的数据，还要看到一周的数据。从这张图表中能够看出，在不同的日子里这种差异比较一致。
从这个剖析中你会得出结论：这种产品在男性中比在女人中更受欢迎。
但假如你看到像这样的图表呢？
640?wx_fmt=png
▲折线图2-用Python生成
那么，怎么解说周日的差异呢？
你或许会说，也许出于某种原因男性只在周日才会更多地购买这款产品。或许这仅仅偶然。
我在谷歌和微软作业时所做的数据剖析作业与这个例子十分相似，仅仅更杂乱一些。在谷歌时我运用Python进行剖析，而我在微软运用JavaScript。
在这两家公司我都运用SQL从数据库中提取数据。然后，我用Python和Matplotlib(在谷歌)或JavaScript和D3.js(在微软)来可视化和剖析这些数据。
4.运用Python进行数据剖析/可视化
进行数据可视化时，Matplotlib是十分抢手的库。
Matplotlib很棒，由于：
容易上手
seaborn等库是根据它的，学习Matplotlib能够协助你今后学习其他库。
5.怎么用Python学习数据剖析/可视化
你首先应该了解数据剖析和可视化的基础知识。在学习了数据剖析和可视化的基础知识之后，学习统计学基础知识也将会很有协助。
640?wx_fmt=jpeg
03脚本
什么是脚本？
脚本通常是指编写能够主动履行简略使命的小程序。
我曾经在日本的一家小型创业公司作业，公司有邮件支撑系统，这用来回复客户经过邮件发送给咱们的问题。
在那儿作业时，我的使命是核算包括关键字的邮件数量，以便剖析咱们收到的电子邮件。这能够手动完成，但我写了一个简略的脚本来主动履行此使命。
其时咱们运用了Ruby，但关于这类使命Python也是不错的挑选。Python合适这类使命，由于它语法简略，易于编写，并且进行测试也很快。
04其他用途
1.嵌入式运用
我不是这方面的专家，但我知道Python能够与RasberryPi一起用，在硬件爱好者中很盛行。
2.游戏开发
你能够用PyGame来开发游戏，但这并不是最受欢迎的游戏引擎。你能够用它来开发业余爱好项目，但假如你对游戏开发很认真，主张不要选它。
我主张运用Unity的C＃，这是最受欢迎的游戏引擎之一。它能让你为许多平台开发游戏，包括Mac、Windows、iOS和Android。
3.桌面运用
你能够用Python的Tkinter，但这并不是最抢手的挑选。Java，C＃和C++等语言似乎更受欢迎。
最近，一些公司也开始运用JavaScript来开发桌面运用程序。例如，Slack的桌面运用是Electron构建的。它能让你用JavaScript构建桌面运用程序。
就个人而言，假如我要开发桌面运用，我会挑选运用JavaScript。它能让你重新运用网络版别的一些代码。
当然，我并不是桌面运用的专家，所以假如你有不同的看法，谈论中告知我。
640?wx_fmt=jpeg
4.Python3仍是Python2
我会引荐Python3，由于它更新并且更受欢迎。
5.后端代码与前端代码的差异
假定你想开发相似Instagram的产品，那么你需求为想要支撑类型的设备创建前端代码。
你或许会用到：
面向iOS端的Swift
面向Android的Java
面向Web浏览器的JavaScript
每组代码将在每种类型的设备上运行。这类代码将决议运用的布局款式，点击按键的款式等。
但是，您还需求存储用户信息和相片的功能。你要将它们存储在服务器上，而不仅仅存储在用户的设备上，以便每个用户的重视者都能够检查其相片。
这时需求用到后端代码/服务器端代码。你需求编写后端代码来履行以下操作：
记录重视状况
紧缩相片，从而不占用太多存储空间
在发现功能中向每个用户引荐相片和新帐户
这是后端代码和前端代码之间的差异。