Federated Machine Learning: Concept and Applications
Federated Machine Learning: Concept and Applications背景打破数据源之间的障碍是困难的,甚至是不可能的。大多数行业中,数据以孤岛形式存在。
各国都在加强保护数据安全和隐私的法律。这些法规的建立显然有助于建立一个更加文明的社会,但是也将对人工智能目前普遍使用数据交易程序提出新的挑战。
联邦学习概述联邦学习定义定义个数据拥有者${\mathcal{F}1,…,\mathcal{F}_N}他们都希望整合自己的数据{\mathcal{D}_1,…,\mathcal{D}_N}。一种传统的方法是将所有数据放在一起,即用\mathcal{D}={\mathcal{D}_1\cup,…,\cup\mathcal{D}_N}去训练模型\mathcal{M}{sum}。联邦系统是一个学习过程,在这个学习过程中,所有数据拥有者协同训练一个模型\mathcal{M}{FED}。在学习过程中,任何数据拥有者\mathcal{F}_i都不会将数据泄露给其他。另外,\mathcal{M}{FED}的性能应该与\mathcal{M}{sum}近似。定义模型\math ...
conda虚拟环境创建激活退出删除
conda虚拟环境安装、激活、关闭、删除常用指令12345#查看安装那些包conda list #查看当前存在的虚拟环境conda env list
虚拟环境相关指令123456789101112131415161718192021#创建虚拟环境conda create -n your_env_name python=X.X#激活虚拟环境#Linux:source activate your_env_name#Winactivate your_env_name#关闭虚拟环境#Linuxsource deactivate #Windeactivate#删除虚拟环境conda remove -n your_env_name#删除虚拟环境中的包conda remove --name your_env_name your_package_name
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment
数据缺失值处理
数据缺失值处理真实数据往往都不是理想的,有很多缺失值,对于缺失值,我们有三种方法进行处理。
处理方法1. 一种简单操作:删掉缺失值所在列除非该列缺少了大多数值,我们将该列完全删除,否则这种简单粗暴的方法会使模型丢失很多信息。
2. 更好的操作:填充我们可以有一些值在空白处进行填充。比如我们可以用每列的平均值进行填充。这种填充在多数情况下并不会特别准确,但是相比于第一种方法来说还是会提高模型的准确率的。
3.扩展填充填充值对于此类问题是一种标准的解决方案。但是我们插入的估计值可能高于或低于真实值。如果我们的模型用真实值来进行预测的话准确率会更高。
在这种方法中,我们先在空白处进行填充,之后我们再新建一列用来标记刚才填充的列中的数据是否为缺失值。
在某些情况下,这种方法会提高准确率,有些时候没有任何帮助。
代码导入数据1234567891011121314import pandas as pdfrom sklearn.model_selection import train_test_split# Load the datadata = pd.read_csv('XXX.csv ...
vscode中相对路径FileNotFoundError问题解决
关于Mac(M1)系统vscode中相对路径FileNotFoundError问题解决问题描述相对路径下有文件但是运行报错:FileNotFoundError:No such file or directory:XXX
问题解决进入vscode设置->输入terminal->选择python->勾选Execute In File Dir