Python:使用Python开发时使用二进制存储库管理器的12个理由
在过去的几年里,软件开发已经从专注于内部编码发展到广泛使用二进制组件,例如免费的开源和商业库以及内部构建的专有库。自动化过程的工具的出现,如构建工具和CI服务器,进一步帮助激发了组件的使用,今天一个典型的软件项目将由更多的组装组件组成,而不是专有代码。虽然这在成本和代码质量方面有明显的好处,但它也带来了一些挑战:
- 如果远程存储库不可用,您如何访问组件?
- 如何优化耗时且网络密集的构建过程?
- 如何管理安全性并控制对组件的访问?
- 如何在整个组织中有效地共享组件?
- 当一个组件被别人下载后,你如何找到它?
- 如何围绕组件的使用实现自定义行为?
- 您如何确保遵守各种许可证要求?
- 您如何确保您的专有组件和下载的组件始终对您的团队可用?
所有这些问题的答案是Artifactory,一个二进制程序Repository Manager它的功能是作为一个单一的访问点来组织所有的二进制资源,包括专有库、远程工件和其他第三方资源,特别是PyPI。2022世界杯阿根廷预选赛赛程Artifactory完全支持pip和DistUtils等标准Python工具,可以透明地替换Python存储库,以应对这些挑战,并在使用Python和开源库进行开发时提高组织的生产力。
1.对远程工件的可靠和一致的访问
作为Python开发人员,远程存储库(如PyPI)是您经常需要的宝贵资源。2022世界杯阿根廷预选赛赛程但是如果这些资源出现问题或者网络出现问题,你该怎么办呢?2022世界杯阿根廷预选赛赛程
Artifactory是开发人员和外部资源之间的中介。2022世界杯阿根廷预选赛赛程作为一名开发人员,您的所有请求都指向Artifactory, Artifactory通过将远程工件缓存到本地,为您提供了对远程工件的快速和一致的访问远程存储库.虽然这听起来像是矛盾修饰法,但它实际上是有道理的。Artifactory上下文中的“远程存储库”指的是本地缓存,它是那些远程工件的代理。由于远程工件随时可以从本地网络的缓存中获得,因此您不受外部网络问题的影响,并且如果远程资源出现故障也不会受到影响。即使在远程资源完全不存在的极端情况下,已经下载到本地缓存的任何工件仍然对您可用。作为一名开发人员,您可以继续您的开发工作,并且您的构建不会受到网络问题或存储库故障的阻碍。

远程存储库
远程存储库充当在远程站点(如PyPI)上管理的存储库的缓存代理。根据控制缓存和代理行为的各种配置参数,在远程存储库中存储和更新构件。
2.减少网络流量并优化构建
由于您的大部分代码可能是组装而不是构建的,因此您希望确保从PyPI或其他Python资源下载的包的使用得到优化。2022世界杯阿根廷预选赛赛程两个(或200个)开发人员使用同一个包单独下载它是没有意义的。
除了可靠性之外,远程存储库的另一个好处是减少了联网。一旦下载了工件,组织中的所有其他开发人员就可以在本地使用它(从而减少了网络流量)。当然,这对单个开发人员来说都是透明的。一旦工件通过Artifactory访问,开发人员就可以继续做自己最擅长的事情,并将二进制管理留给Artifactory。
如果我们从构建脚本的角度来看网络流量,其好处是显而易见的。一个典型的项目可能依赖于来自外部资源的数十甚至数百个工件。2022世界杯阿根廷预选赛赛程对于构建这些项目的工具,所有远程工件必须对服务器环境可用。下载所有这些必需的构件可能会在网络上产生千兆字节的数据流量,这会花费大量的时间来延迟构建过程。通过在本地缓存远程构件,构建过程要快得多,并且需要的网络连接要少得多。

3.完全支持Docker
作为码头工人技术在不断发展,其使用也在不断增长。如果您还没有在您的组织中使用Docker,那么您很可能很快就会这样做。所以现在,除了管理Python包,您还需要管理Docker镜像.但不需要再安装和维护另一个工具。Artifactory是一个完全成熟的Docker存储库,支持所有Docker Registry api。这允许Docker客户端直接与Artifactory一起工作,为企业Docker用户提供了几个好处。
使用本地存储库,您可以分发和共享图像在您的组织内,使管理不同团队之间的图像容易。您甚至可以将您的Artifactory Docker存储库复制到Artifactory的远程实例中,以便与地理位置遥远的同事共享映像。
Artifactory提供细粒度访问控制为您组织的图像提供安全的“docker push”和“docker pull”有效的提供安全的私有Docker存储库超过Docker可信注册表提供的安全性。
使用Artifactory,而不是Docker Hub上的私有存储库,消除了与互联网连接相关的任何问题可靠和一致的访问图像.而Artifactory在高可用性配置您将获得业界无与伦比的Docker映像的系统稳定性和可用性。
Artifactory的智能搜索可以很容易地找到存储在系统中的任何Docker映像。对Docker注册API的全面支持支持使用Docker客户端进行基本搜索,但Artifactory提供的功能更多。内置搜索可以通过单击操作满足常见需求,自定义属性提供了满足各种特定需求的灵活性,Artifactory Query Language提供了一种简单的方法来制定复杂的查询,让您可以根据任何标准集找到图像。
无论您是已经开始使用Docker还是正在评估如何将其引入您的组织,一旦您使用Artifactory来管理您的Python包,您就已经涵盖了Docker映像。
4.与您的构建生态系统完全集成
虽然让开发人员轻松高效地访问二进制工件很重要,但对于可能每天多次运行构建的构建系统来说,这一点更为重要。
通过一组插件,Artifactory提供了与当今流行的CI系统(如Jenkins、Bamboo和TeamCity)的紧密集成。这些系统在创建构建时使用Artifactory提供构件并解析依赖项,并且还将其作为将构建输出部署到相应的本地存储库的目标。
通过Artifactory运行构建的主要好处之一是完全可复制的构建。Artifactory存储详尽的构建信息,包括特定的工件版本、模块、依赖项、系统属性、环境变量、用户信息、时间戳等等。有了这些信息,就很容易在任何时候忠实地再现构建。此外,使用内置的“Diff”工具,您可以比较构建,从而确切地知道从一个版本到另一个版本引入了哪些更改。当试图追踪特定版本中报告的错误时,这些功能是无价的。
Artifactory还简化了发布管理。一系列简单的设置配置了诸如分级、构建升级、VCS标记等,基本上自动化了发布管理过程。
但是,如果您使用的是基于云的CI系统,而您不能应用插件,会发生什么呢?在这种情况下,Artifactory直接为构建工具本身提供插件,这最终提供了相同级别的构建自动化。从本质上讲,由于Artifactory是平台无关的,它可以与组织内所有构建生态系统中的通用工具集成。最后,一旦您的构建实现自动化,Artifactory将根据组织的维护策略清理旧的构建,从而使您的系统免于混乱。

5.安全和访问控制
每个组织都需要实现安全策略,以便人们只能访问他们被授权使用的内部资源。2022世界杯阿根廷预选赛赛程但是如何控制组织中的人员从外部资源下载的内容呢?2022世界杯阿根廷预选赛赛程您如何首先控制访问哪些外部资源?2022世界杯阿根廷预选赛赛程然后,您如何控制组织中的人员将他们下载或正在处理的不同工件放在哪里?
Artifactory可以提供多个级别的安全性和访问控制。从限制完整的存储库到限制单个工件,从任何规模的组到单个开发人员。
作为第一道防线,Artifactory支持虚拟存储库.通过虚拟存储库,您可以确保开发人员只访问已批准的可靠第三方资源,如PyPI。2022世界杯阿根廷预选赛赛程对于更细粒度的访问控制,Artifactory允许您使用带有通配符的命名模式来定义下载的“排除”或“包含”。使用这种灵活的机制,您可以定义任何东西,从整个存储库排除在您的组织访问之外,到在存储库中包含单个工件,这可能对您的开发工作至关重要。一旦您决定了哪些内容可以下载到服务器上,您就可以定义哪些用户或用户组可以使用您可以配置的完整权限集访问它。除了控制工件的下载,您还可以使用权限进行完整的访问管理。您可以控制开发人员可以将工件部署到哪里,他们是否可以注释元数据,他们是否可以删除工件等等。如果您关心的是对服务器的访问,Artifactory提供了与最常见的访问协议(如LDAP、SAML、Crowd等)的完全集成。Artifactory中全面的安全性和访问控制功能通过确保开发人员只能访问他们被授权的存储库来帮助您管理开发过程。例如,您可以确保开发人员可以将发布目标部署到QA存储库中,但是只有经过授权的QA人员才能将其提升到“发布”存储库中,因为他们已经确保了发布候选版本符合所需的标准。
虚拟存储库
虚拟存储库封装了任意数量的本地和远程存储库,并将它们表示为从单个URL访问的统一存储库。它为您提供了一种管理开发人员访问哪些存储库的方法,因为您可以自由地混合、匹配和修改虚拟存储库中包含的实际存储库。您还可以通过定义底层存储库顺序来优化工件解析,这样Artifactory将首先查看本地存储库,然后查看远程存储库缓存,然后Artifactory将通过网络并直接从远程资源请求工件。对于开发者来说,这很简单。只需请求包,Artifactory将根据您组织的策略安全且最佳地访问它。
6.在整个组织中分发和共享工件
虽然您的大部分产品可能由组件组装而成,但您仍然希望充分利用您的专有代码。如果您创建了一个包,您希望能够轻松地与团队中的其他开发人员和整个组织共享它。
使用局部存储库Artifactory为您提供了一个存储内部二进制文件的中心位置。当所有团队都知道任何工件都可以从单个URL访问时,访问本地工件和管理不同团队之间的依赖关系就变得非常容易了。但是,如果您希望与组织中地理位置较远的同事共享包,该怎么办呢?
Artifactory支持将您的存储库复制到本地网络之外的Artifactory的另一个实例。复制的存储库会定期与它们的源自动同步,这样您的包就可以被世界各地的不同团队使用。
局部存储库
本地存储库是物理的、本地管理的存储库,您可以在其中部署构件。它们通常用于部署内部和外部版本以及开发构建,但它们也可以用于存储在公共存储库(如第三方商业组件)上不广泛可用的二进制文件。使用本地存储库,所有内部资源都可以从跨组织的单个访问点从一个公共URL获得。2022世界杯阿根廷预选赛赛程
7.使用构建号和自定义属性智能搜索二进制文件
考虑到系统中有大量的包,找到特定的包有时会变得相当复杂。
Artifactory通过UI和使用广泛的REST API为您提供灵活的搜索功能。您可以基于任何固有属性组合来查找包,例如名称、版本、时间戳、校验和和更多。Artifactory还提供了一些常见的内置搜索。例如,您可以向Artifactory询问任何包的“最新”版本,而不必指定特定的构建号。Artifactory知道如何比较任何存储库中包的所有不同版本,并提供可用的最新版本。Artifactory更进一步,允许您根据构建号搜索包,非常类似于在源代码控制系统中使用分配给源文件的版本标记。这个强大的特性使您能够根据构建号找到任何构建中的所有特定包。
但是智能搜索的全部功能来自Artifactory为您提供的自定义属性的灵活性,您可以将这些属性分配给包,然后在搜索中使用。例如,您可以定义一个属性来对构建工件的状态进行分类,以指示它们是否完成了QA。然后,在决定将哪些工件上传到生产环境时,您可以确保您的搜索只提供已被QA团队批准的二进制文件。有了所有这些功能,Artifactory灵活的智能搜索允许您使用几乎任何与您的工作流相关的规则集来搜索包。
Checksum-based搜索
Artifactory支持通过校验和搜索包的强大功能,这要归功于通过校验和存储文件的独特方法。即使包已被重命名、移动或甚至部署到组织外部,您也可以将其追溯到原始版本。只需通过校验和工具运行包(MD5和SHA1都支持),并在Artifactory中运行“校验和”搜索以检索原始版本。
8.用户插件
虽然Artifactory提供了一组广泛的特性来管理二进制资源,但它不可能满足不同组织可能有的所有需求。2022世界杯阿根廷预选赛赛程输入用户插件。
用户插件提供了一长串入口点,这些入口点有效地扩展了Artifactory REST API,提供了一种实现复杂行为的简单方法。这给了你极大的自由来支持工作流中的任何定制需求,包括调度任务、管理安全和身份验证、部署、构建集成和推广逻辑、维护和清理等等。为了保持简单,用户插件被编写为Groovy脚本,并有一个简单的DSL将它们作为闭包包装在扩展点内。插件可以随时更改和重新部署,甚至可以在您最喜欢的IDE中进行调试。
9.许可证遵从性和开放源代码治理
是否曾经因为某人突然意识到有一堆许可证要求你必须遵守而受阻?
Artifactory可以帮助防止这种情况的发生。在将任何包部署到您的存储库之后,Artifactory对您的工件和所有随后的依赖项执行许可检查,并提供有关所有许可需求的即时反馈。这可以让你提前做好准备,确保你在开发周期的早期就遵守规则,避免在你想要发布的“关键时刻”出现不必要的延迟。通过与Black Duck Code Center集成,您可以在管理通过Artifactory上传的所有二进制文件的同时,充分利用许可遵从性和开源治理特性。
10.系统稳定可靠,具有人工高可用性
二进制存储库管理器在包的管理中扮演着这样的中心角色,它可以成为组织的关键任务组件。任何停机时间都可能对您的生产力产生严重影响,您需要确保开发人员可以随时访问您的Python存储库。
Artifactory支持高可用性在同一局域网中使用2个或更多Artifactory服务器集群的网络配置。冗余网络体系结构意味着不存在单点故障,只要至少有一个Artifactory节点可以运行,系统就可以继续运行。这最大限度地延长了您的正常运行时间,并可以将其提高到“五个9”可用性的级别。此外,您的系统可以在不影响性能的情况下适应更大的负载突发。有了水平服务器可伸缩性,随着组织的增长,您可以轻松地增加容量以满足任何负载需求。最后,通过使用具有多个服务器的体系结构,Artifactory HA允许您在没有系统停机的情况下执行大多数维护任务。
高可用性系统
对于组织来说,被认为是关键任务的系统可以部署在高可用性配置中,以提高稳定性和可靠性。这是通过复制系统中的节点并将它们部署为冗余集群来实现的,以消除任何单个节点上的完全可靠性。在高可用性配置中,不存在单点故障。如果任何特定节点发生故障,系统将继续通过剩余的冗余节点对其用户无缝透明地运行,不会出现停机时间或整体系统性能下降。

11.维护和监控
生成的包的数量可以快速增长。如果没有适当的管理,您的系统很快就会被旧的和不相关的软件包堵塞。
Artifactory通过自动、定时的清理过程使您的系统保持有序和整洁。通过一些简单的设置,您可以安排任务来清理旧的构建和未使用的包。您可以设置限制并监视磁盘空间的使用情况,或者定义“监视”,以便在最关键的包发生更改时接收警报。通过广泛的REST API, Artifactory实际上可以支持您希望在组织脚本中实现的任何基于规则的清理协议。
12.所有二进制文件的通用端到端解决方案
没有一种工具或技术足以支持现代组织中的开发。有大量的打包格式、各种构建工具、不同的持续集成系统和其他技术用于构建灵活且可维护的软件开发生态系统。管理所有不同打包格式的二进制文件并与生态系统的所有移动部分集成可能成为维护的噩梦。
Artifactory从头开始设计,以适应任何开发生态系统。Artifactory独特地构建在基于校验和的存储上,支持任何存储库布局,因此可以为任何打包格式提供本机级别的支持。从本质上讲,无论您使用哪种打包格式,Artifactory都可以存储和管理二进制文件,并且对相应的打包客户端是透明的。客户端使用Artifactory的方式与使用本机存储库的方式完全相同。例如,如果你正在使用Docker, Artifactory代理Docker Hub(或任何其他公共Docker注册表),允许您在本地Docker存储库中存储和管理自己的映像,并透明地与Docker客户端一起工作。如果您正在使用Python, Artifactory代理PyPI(或任何其他公共Python存储库),允许您将自己的包存储在本地Python存储库中,并透明地与Python客户端pip一起工作。类似的还有Npm, Vagrant, NuGet, Ruby, Debian, YUM, Bower等等。
但是开发只是软件交付管道的一端。在一个包成为一个产品之前,它需要经历构建和集成的过程。市场上有许多构建和集成工具,但只有一种产品可以与它们全部兼容。通过一组插件,Artifactory提供了与当今流行的CI系统(如Jenkins、Bamboo和TeamCity)的紧密集成。这些系统在创建构建时使用Artifactory提供构件并解析依赖项,同时也作为部署构建输出的目标。为了支持您无法在其上应用插件的基于云的CI系统,Artifactory为您使用的构建工具(如Maven和Gradle)提供了插件,这些工具最终提供了相同级别的构建自动化。这就解决了开发和部署的问题,但是一旦软件准备好了,如何分发它呢?这就是Bintray的作用。
Bintray是JFrog的云下载中心,提供快速下载、细粒度访问控制、详细统计和日志以及广泛的REST API。从Artifactory推广发行版是一个点击一下或调用API的问题。像Artifactory一样,Bintray与包无关,可以与所有不同的包客户端无缝地工作,因此它可以完全集成到任何持续集成/持续交付生态系统中。
Artifactory是一个通用存储库。它是位于开发生态系统中心的单一工具,与所有不同的技术“对话”,提高生产力,减少维护工作并促进不同部分之间的自动化集成。Artifactory和Bintray共同构成了全自动软件分发管道的核心组件。
总结
本文展示了像Artifactory这样的二进制存储库管理器如何通过管理和优化对Python包的访问来提高组织的开发和DevOps团队的生产力。因为Artifactory对它管理的二进制类型是不可知的,所以它可以与任何Python包和存储库一起工作,几乎任何其他二进制格式,如rpm、RubyGems、NuGet等,以支持您的组织使用的不同平台,并在上传构建和下载工件时提供对所有二进制文件的集中控制。

