P2P镜像分发:Harbor+Dragonfly优化k8s集群镜像拉取速度(二)-天下标王

P2P镜像分发:Harbor+Dragonfly优化k8s集群镜像拉取速度(二)

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 本篇文章则分享在大规模的kubernetes集群中,通过Harbor与Dragonfly来优化镜像的拉取速度。

Dragonfly(蜻蜓)简介

项目地址:https://github.com/dragonflyoss/Dragonfly2

官方文档:  https://d7y.io/zh/docs/

         Dragonfly(蜻蜓)是一款开源的基于 P2P 的智能镜像和文件分发工具。它旨在提高大规模文件传输的效率和速率,最大限度地利用网络带宽。在应用分发、缓存分发、日志分发和镜像分发等领域被大规模使用。是由CNCF(云原生计算基金会)作为孵化级项目(阿里)。



1.1 Dragonfly的功能

  • 基于 P2P 的文件分发:通过利用 P2P 技术进行文件传输,它能最大限度地利用每个对等节点(Peer)的带宽资源,以提高下载效率,并节省大量跨机房带宽,尤其是昂贵的跨境带宽。
  • 非侵入式接入:Dragonfly 可无缝支持多种容器用于分发镜像。
  • 主机级别的限速:除了像许多其他下载工具针对当前下载任务的限速之外,Dragonfly 还支持针对整个机器的限速。
  • 高度一致性:Dragonfly 可确保所有下载的文件是一致的,即使用户不进行最终一致性校验。
  • 隔离异常节点:Dragonfly 会自动隔离异常节点来提高下载稳定性。
  • 生态:Harbor 可以基于 Dragonfly 进行镜像分发以及预热。镜像加速项目 Nydus 可以在容器运行时使用 Dragonfly 进行数据分发。

1.2 特性

目前,蜻蜓专注于:

  • 简单:定义明确的面向用户的API(HTTP),对所有容器引擎都是非侵入性的;
  • 高效:种子对等支持,基于P2P的文件分发,节省企业带宽;
  • 智能:主机级限速,主机检测智能流量控制;
  • 安全:阻止传输加密,HTTPS连接支持。

1.3 架构浅析

Dragonfly架构图

Manager组件

  • 用户管理:提供RBAC及用户态管理功能;
  • 维护P2P 集群关系:Manager管理整个P2P集群关系,保证Seed Peer集群和Scheduler集群为1:N的关系,并且选择最优Scheduler提供Dfdaemon使用;
  • 异步任务管理:提供统一异步任务管理,支持预热等功能;
  • 监控集群:监控整个P2P集群的运行状态,剔除异常节点;
  • 可视化UI:提供可视化管理界面,方便管理;

scheduler组件

  • 调度:基于Peer之间的网络、带宽流量等进行调度,组建有向无循环图为当前调度Peer寻找最优父节点;
  • 回源:通过当前Peer下载情况,若异常或无父节点则主动通知Peer回源;
  • 任务状态:维护Peer中下载的任务状态,主动推进其状态变更;
  • 下载任务优化:针对不同的下载任务进行优化处理,分为Tiny、Small、Normal类型;
  • 预热:实现镜像和对象存储的预热,文件同步任务分发。

Seed Peer组件

  Dfdaemon 打开种子对等模式可用作 P2P集群中的回源下载对等点, 这是整个集群中用于下载的根对等方。P2P客户端提供上传和下载功能。当集群内任务首次下载,Scheduler会触发Seed Peer回源。提供主动触发回源能力,可以作为P2P节点中的根节点。

Peer组件

  使用 dfdaemon 部署,基于 C/S 架构,提供命令下载工具, 以及提供任务下载功能的正在运行的守护程序。P2P客户端,提供上传和下载功能

Dfget

  客户端命令行下载工具,和Daemon之间为C/S模式。



docker部署Dragonfly

  Dragonfly支持docker-compose、Helm、源码三种安装方式

  因为Harbor是使用docker-compose部署的,所以本处也使用docker-compose部署Dragonfly。

2.1 拉取源码

$ yum install -y git
$ git clone https://github.com/dragonflyoss/Dragonfly2.git -b v2.0.9   #拉取v2.0.9版本的代码
$ cd ./Dragonfly2/deploy/docker-compose/
相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
13天前
|
存储 人工智能 弹性计算
NVIDIA NIM on ACK:优化生成式AI模型的部署与管理
本文结合NVIDIA NIM和阿里云容器服务,提出了基于ACK的完整服务化管理方案,用于优化生成式AI模型的部署和管理。
|
1月前
|
缓存 容灾 网络协议
ACK One多集群网关:实现高效容灾方案
ACK One多集群网关可以帮助您快速构建同城跨AZ多活容灾系统、混合云同城跨AZ多活容灾系统,以及异地容灾系统。
|
2月前
|
Kubernetes Ubuntu 网络安全
ubuntu使用kubeadm搭建k8s集群
通过以上步骤,您可以在 Ubuntu 系统上使用 kubeadm 成功搭建一个 Kubernetes 集群。本文详细介绍了从环境准备、安装 Kubernetes 组件、初始化集群到管理和使用集群的完整过程,希望对您有所帮助。在实际应用中,您可以根据具体需求调整配置,进一步优化集群性能和安全性。
156 12
|
2月前
|
Prometheus Kubernetes 监控
OpenAI故障复盘 - 阿里云容器服务与可观测产品如何保障大规模K8s集群稳定性
聚焦近日OpenAI的大规模K8s集群故障,介绍阿里云容器服务与可观测团队在大规模K8s场景下我们的建设与沉淀。以及分享对类似故障问题的应对方案:包括在K8s和Prometheus的高可用架构设计方面、事前事后的稳定性保障体系方面。
|
2月前
|
Kubernetes 网络协议 应用服务中间件
Kubernetes Ingress:灵活的集群外部网络访问的利器
《Kubernetes Ingress:集群外部访问的利器-打造灵活的集群网络》介绍了如何通过Ingress实现Kubernetes集群的外部访问。前提条件是已拥有Kubernetes集群并安装了kubectl工具。文章详细讲解了Ingress的基本组成(Ingress Controller和资源对象),选择合适的版本,以及具体的安装步骤,如下载配置文件、部署Nginx Ingress Controller等。此外,还提供了常见问题的解决方案,例如镜像下载失败的应对措施。最后,通过部署示例应用展示了Ingress的实际使用方法。
88 2
|
2月前
|
存储 Kubernetes 关系型数据库
阿里云ACK备份中心,K8s集群业务应用数据的一站式灾备方案
本文源自2024云栖大会苏雅诗的演讲,探讨了K8s集群业务为何需要灾备及其重要性。文中强调了集群与业务高可用配置对稳定性的重要性,并指出人为误操作等风险,建议实施周期性和特定情况下的灾备措施。针对容器化业务,提出了灾备的新特性与需求,包括工作负载为核心、云资源信息的备份,以及有状态应用的数据保护。介绍了ACK推出的备份中心解决方案,支持命名空间、标签、资源类型等维度的备份,并具备存储卷数据保护功能,能够满足GitOps流程企业的特定需求。此外,还详细描述了备份中心的使用流程、控制台展示、灾备难点及解决方案等内容,展示了备份中心如何有效应对K8s集群资源和存储卷数据的灾备挑战。
|
3月前
|
Kubernetes 监控 Cloud Native
Kubernetes集群的高可用性与伸缩性实践
Kubernetes集群的高可用性与伸缩性实践
103 1
|
4月前
|
JSON Kubernetes 容灾
ACK One应用分发上线:高效管理多集群应用
ACK One应用分发上线,主要介绍了新能力的使用场景
|
4月前
|
Kubernetes 持续交付 开发工具
ACK One GitOps:ApplicationSet UI简化多集群GitOps应用管理
ACK One GitOps新发布了多集群应用控制台,支持管理Argo CD ApplicationSet,提升大规模应用和集群的多集群GitOps应用分发管理体验。
|
4月前
|
Kubernetes Cloud Native 云计算
云原生之旅:Kubernetes 集群的搭建与实践
【8月更文挑战第67天】在云原生技术日益成为IT行业焦点的今天,掌握Kubernetes已成为每个软件工程师必备的技能。本文将通过浅显易懂的语言和实际代码示例,引导你从零开始搭建一个Kubernetes集群,并探索其核心概念。无论你是初学者还是希望巩固知识的开发者,这篇文章都将为你打开一扇通往云原生世界的大门。
171 17

热门文章

最新文章

相关内容推荐

网站优化的三种方法游戏行业网站优化营销运城网站排名优化公司怎么选域名有利于网站的优化尉氏鹤壁网站优化亲子阅读网站关键词优化策略嘉兴网站排名优化费用网站推广与网站优化实验网站做了301利于优化吗东莞优化网站排行榜武汉官网网站优化公司推广方式网站内容完善并优化官网网站快速排名优化铁岭网站设计优化仙桃网站优化多少钱上海网站优化好的有哪些南岸网站优化服务榆林网站优化效果在线网站优化多少钱网站优化标题怎么写好顺义网站建设排名优化坪地信息网站优化河南苏州网站优化湛江优化推广网站网站优化课程表图片水富网站优化方法网站百度优化排名邯郸企业网站优化报价皮革网站优化怎么做石家庄怎么优化网站南安市网站优化招商银川网站优化外包厦门湖里网站优化推广网站产品优化比选云速捷就选邯郸seo网站优化哪家好南京做网站优化的企业找黑客优化网站沈阳网站制作优化公司哪家好优化营销网站怎么做映射网站优化思路高州网站优化银川网站SEO优化开发优化网站汾阳网站如何做优化为什么优化总是网站首页江苏专业网站优化公司西宁seo优化网站忻州网站优化平台整站网站优化费用报价武汉网站制作内容优化南充优化网站价格高端网站优化托管南昌新建网站优化推广罗湖正规网站优化及营销方案苏州网站优化排名工具菜鸟可以优化网站吗网站图片优化方案日照加盟网站优化公司网站排名优化排名标准四川信息化网站优化耗材网站优化教程上排名推广seo德州加盟网站优化公司网站做优化认可x火17星网站的优化崇德甜柚网络流量宝 网站优化湖南整站网站推广优化义马网站优化排名天津测量网站优化设计娄底网站优化公司地产网站优化联系方式南阳哪里有seo网站优化推荐网站排名优化推荐鹏博资讯建网站及优化比较好的书籍吉林网站推广优化外包本溪网站优化电话seo如何开展网站优化工作一个公司多个网站做优化优化网站排名诀窍易速达新企业网站怎么优化沁阳网站推广优化价格网站优化实验原理番禺网站seo优化亳州网站搜索排名优化费用行业网站怎么做优化优化多久网站能上线深圳个人如何做网站推广优化泸州网站排名优化费用专业网站优化定制方案网站主题模拟关键词优化案例江西南昌百度网站优化杨浦区官网网站优化费用优势网站优化许昌新站网站优化建水网站优化价格济南有实力的传统行业网站优化坊子区淄博网站优化江苏高端网站优化商南县网站seo优化排名河南网站域名优化方案优化公司网站质云速捷声名杨浦区官网网站优化费用北海网站优化怎么做北京优化词网站哪些网站可以改优化沈阳珠宝行业网站优化技巧网站产品优化完善火2星看网站视频优化软件服务网站优化托管做一个网站怎么样优化做好网站优化要注意什么深圳百科网站优化的主要方法常州市优化网站推广厂家金山区360网站优化机构网站seo优化意义安仁网站优化网站建设优化阶段有哪些工作淄川网站优化关键词比较好的网站优化哪家专业怎样网站优化具体做什么的偃师优化建设网站永安市网站排名优化网站排名优化不上去信阳网站建设优化渠道电话广东门窗网站优化热线网站的优化员什么是优化型网站架构邳州优化型网站东莞网站优化电话广东网站关键字优化评价优化网站前端面试网站性能优化优化成功的网站网站做优化就找y火11星美评佛山seo网站关键词优化教程无锡玻璃钢格栅板网站优化扬州网站优化排名快速获取排名延庆企业网站优化推广厦门网站优化服务有哪些优化网站文章分享长春有实力的优化网站广东中山网站优化推广吉林价格低的电商网站优化机械网站优化团队萧山区网站优化服务php 网站seo优化网站域名优化06云刂速刂捷福州市福州网站优化哪家好肇庆seo网站优化怎么样平台网站优化互联网推广网站的优化分为什么意思怎么优化网站让百度扣钱武汉正规网站优化哪家便宜安阳关键词网站优化价格黄贝如何将网站优化湛江优化推广网站荆州区网站seo优化排名小企业网站优化优化网站核心关键词怎么优化seo网站外部优化包括重庆广电网站优化质量保障贵阳网站关键词优化网岳阳湖南网站优化公司哪家好井冈山网站seo优化有实力的企业网站优化哪家专业绵竹网站优化费用河南正规的网站seo优化搜索优化网站排名靠前网站 优化极限云速捷认定网站进行优化 优化实施方案乌苏百度网站优化海城网站优化推广郑州整站网站优化外包网站合同学习优化法律培训网站html页面优化成一行深圳服务网站优化广告新乡网站排名优化价格肇庆网站关键词排名优化哪家好网站seo优化客服晋城网站优化咨询鹤壁优化型网站建设福田独立外贸网站优化软件博乐网站seo优化哪家好怎么优化网站数据库白沙网站排名优化外包公司网站自然优化生成厂家电话网站优化个人技能明城网站优化培训宁津网站优化报价河南网站排名优化鞍山网站优化美声唱法入门网站怎么优化设计国内网站优化有用吗香港网站优化小程序推广怎么样三门峡网站建设优化推广公司来宾网站运营优化公司新建网站的前期优化公交车优化网站整个网站只优化一个词怎么样网站优化公司官网网站优化实验原理

合作伙伴

天下标王

龙岗网络公司
深圳网站优化
龙岗网站建设
坪山网站建设
百度标王推广
天下网标王
SEO优化按天计费
SEO按天计费系统