使用KubeFATE在部署联邦学习集群

news/2024/7/4 9:42:21

FATE(Federated AI Technology Enabler)是一个联邦学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和建模。但由于其系统的分布式特性,导致使用存在一定门槛。鉴于此,微众银行联合VMware一起开发了KubeFATE项目,致力于降低FATE的使用门槛和系统运维成本。
本文将首先分析FATE的整体架构,帮助读者理解各部件的作用;然后将展示如何从一台Linux机器开始,通过KubeFATE一步一步来搭建联邦学习的实验环境。

FATE整体架构

一个正常工作的FATE集群里面包含了若干组件,其中有些负责任务调度、有些负责存储,各个组件各司其职,联合起来一起完成任务。一个FATE集群所包含的组件如下图所示。
在这里插入图片描述

各个服务的功能描述如下:

服务 简绍
FATE Flow 该服务分为Client和Server两部分,其中Client部分由用户使用,用于向FATE集群提交联邦学习任务;FATE Flow Server是FATE集群对外提供服务的入口,同时它也负责调度、执行用户提交的任务请求和协调任务参与方
MySQL 与任务相关的一些元数据,如创建时间,状态都会存在MySQL中
EG

http://www.niftyadmin.cn/n/3615968.html

相关文章

[Javascript]js中所学知识点回顾总结

一、什么是Javascript javascript,它是一种基于对象和事件驱动的并具有相对安全性的客户端脚本语言。用于web客户端开发的脚本语言,常用来给html网页添加动态功能,如响应用户的各种操作。 javascript(以下简称js)由核心语法ECMAScript、浏览器…

shell脚本之sed使用----替换、变量、转义字符

sed替换的基本语法为: ----s后面跟的是分隔符,原字符串可使用.*这种正则表达式进行整行替换 sed s/原字符串/替换字符串/ 单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义,但是单引号”‘”是没有办法用反斜线”\”转义的,这时…

在Jenkins中将项目检出到子目录 (使用GIT)

Jenkins拉取源码是非常实用的操作,比如每天在跑自动化测试前,拉取Git远程仓库中最新的脚本至本地。那么Jenkins如何拉取Git远程仓库中指定分支至本地指定目录呢? 下面来看看具体的设置方法 Step1:Job源码管理中,选择…

使用GrowPart工具完成对LVM逻辑卷的在线热扩容

逻辑卷所在物理磁盘如果划分了分区,想要动态增加卷空间大小,有两种方式扩容逻辑卷。 方法一 新建一个分区,将新分区扩容至逻辑卷 # 思路如下: lsblk fdisk /dev/sdb n--》p--》回车--》回车--》回车--》w 创建PV,添加到VG,lv…

编程珠玑--粗略估算

粗略估算是《编程珠玑》中第七章提到的内容。 这篇文章将“粗略估算”看做是一项工程技术,是程序员必备的一项技能之一。 本人非常同意这个观点。粗略估算是一种把复杂的事情简单化的能力。我们对某个算法的时间复杂度和空间复杂度的估算就是基于这种估算的能力。如…

SpringBoot项目部署到外部Tomcat中的方法

SpringBoot项目部署到外部Tomcat中的方法 1. 特别说明 由于SpringBoot默认访问无需项目名,所以打包成war的SpringBoot项目也需要部署成不需要输入项目名的方式,否则资源无法访问,后面会给部署示例官方教程地址pom.xml调整 1.1 打包方式修改 &…

曲线拟合的线性最小二乘法

最小二乘法拟合 最小二乘法拟合解方程组方法多项式拟合 解方程组方法 栗子:最小二乘法求一个形如:​ 的经验公式。 x [19 25 31 38 44]; y [19.0 32.3 49.0 73.3 97.8]; ​ r [ones(5,1),x.^2]; ab r\y; x0 19:0.1:44; y0 ab(1) ab(2)*x0.^2; plo…

对象反序列化出现类型不匹配的情况(spring-boot-devtools)

目前在做springboot项目的shiro session redis共享功能。但是有一个对象我把它放到redis中之后再取出来就会出现类型不匹配的异常 AuthorizationUser user (AuthorizationUser) cache.getSuper(key); 异常信息: java.lang.ClassCastException: com.ch.evaluation.a…