PyTorch初学者指南：数据预处理
PyTorch初学者指南：数据预处理
文章目录
- PyTorch初学者指南：数据预处理
- 一、前言
- 二、读取数据集
- 三、处理缺失值
- 四、转换为张量格式
一、前言
这是我创建的编程算法竞赛学习小组频道，欢迎大家加入，共同进步！！！
我们为了运用深度学习来解决一些实际问题，经常要从预处理原始数据开始，而不是那些处理好的张量格式数据开始，原始数据一般都很大，所以人为的去检查效率很低，在Python中常用的数据分析工具就有pandas库，可以为我们提供高效的处理方式，而且pandas可以与张量兼容，所以我们就可以使用它来预处理我们的原始数据，并将原始数据转换为我们需要的张量格式数据，接下来我们将简要介绍其中的一些基础方法，更加复杂的方法我们将在后面的博客中学习。
二、读取数据集
我们可以首先人为的创建一个数据集，并将其存储在CSV文件中：
import os
os.makedirs(os.path.join('.', 'data'), exist_ok=True)
data_file = os.path.join('.', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price\n') # 列名
f.write('NA,Pave,127500\n') # 每一行表示一个数据样本
f.write('2,NA,106000\n')
f.write('4,NA,178100\n')
f.write('NA,NA,140000\n')
然后我们从我们创建的CSV文件中加载原始数据集，导入pandas库并调用read_csv函数，读取它：
import pandas as pd
data = pd.read_csv(data_file)
print(data)
NumRooms Alley Price
0 NaN Pave 127500
1 2.0 NaN 106000
2 4.0 NaN 178100
3 NaN NaN 140000
三、处理缺失值
对于上面的返回值我们发现里面有NaN值，也就是缺失值，为了处理缺失值，我们一般采用插值法和删除法来解决，其中插值法就是用一个替代值替换缺失值，而删除法就是直接忽略缺失值，不同的情境选择不同的方法，在这里我们需要使用插值法。
我们可以通过位置索引iloc方法，将data分成inputs和outputs，其中前者为data的前两列，后者是data的最后一列，对于inputs中缺少的数值，我们用同一列的均值替换NaN：
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)
NumRooms Alley
0 3.0 Pave
1 2.0 NaN
2 4.0 NaN
3 3.0 NaN
我们对于inputs中的类别值，我们可以将NaN视为一个类别，因为Alley列只接受两种类型的类别值Pave和NaN，pandas可以自动将此列转换为两列Alley_Pave和Alley_nan，Alley 类型为Pave 的行将 Alley_Pave的值设置为1，Alley_nan的值设置为0，缺少Alley类型的行会将Alley_Pave和Alley_nan的值分别设置为0和1。
inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)
NumRooms Alley_Pave Alley_nan
0 3.0 1 0
1 2.0 0 1
2 4.0 0 1
3 3.0 0 1
四、转换为张量格式
我接着上述操作，现在的inputs和outputs中所有条目都是数值类型了，我们现在可以将其转换为张量格式了，目前我们仅介绍如何转换为张量格式，后面还会介绍很多张量函数的进一步操作。
import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y
(tensor([[3., 1., 0.],
[2., 0., 1.],
[4., 0., 1.],
[3., 0., 1.]], dtype=torch.float64),
tensor([127500, 106000, 178100, 140000]))
在以上例子中，我们使用 pandas 包读取 CSV 数据集，对数据进行缺失值处理，并将数据转换为 PyTorch 的张量，后续我们还会学习更多复杂的操作。