学习使用 Python 从数据集中分割训练和测试数据

概括

本文教您如何将数据集划分为训练数据和测试数据，并将这种划分保存在 .pkl 文件中，这对于以有组织的方式训练和评估机器学习模型至关重要。该过程使用 sklearn 和 pickle 库，允许您在未来的项目中重用处理后的数据。本文是数据预处理系列教程的下一步。

主要涵盖主题：

• 在 google colab 上准备笔记本
• 将数据集划分为训练数据和测试数据
• 除法的python代码详细解释
• 使用 pickle 将分割保存到 .pkl 文件
• 保存处理后的数据以供将来使用的优点

重要：要阅读本文，请首先按照建议的顺序阅读以下文章。每篇文章都为您提供理解下一篇文章所需的基础，确保您了解到目前为止的整个工作流程。

第 1 条： 应用机器学习：分类模型入门指南

第 2 条： 探索机器学习中的分类：变量类型

第 3 条： 探索 google colab：您编写机器学习模型的盟友

第 4 条：在 google colab 上使用 python 探索数据：使用成人.csv 数据集的实用指南

第 5 条： 使用 labelencoder 和 onehotencoder 揭秘预测器、类划分和分类属性处理

第 6 条： 数据扩展：高效模型的基础

介绍

在本文中，您将学习如何将数据集划分为训练和测试，以及如何将划分保存在 .pkl 文件中。此过程对于确保用于训练模型的数据和用于评估其性能的数据之间的清晰分离至关重要。

在 google colab 中启动该流程

首先，访问此笔记本链接并选择文件 > 将副本保存到云端硬盘。请记住，每个新帖子都需要再次加载数据集 (adult.csv)（更多信息请参见上面的第 4 条），因为每个教程都会创建一个新笔记本，仅添加本文中介绍的必要代码，但该笔记本带有到目前为止生成的所有代码。笔记本的副本将保存在 google drive 的 colab notebooks 文件夹中，从而保持流程的有序性和连续性。

为什么将数据集分为训练和测试？

划分数据集是任何机器学习项目的基本步骤，因为它允许模型从部分数据中“学习”（训练），然后根据以前从未见过的新数据进行评估（测试）。这种做法对于衡量模型的泛化能力至关重要。为了方便监控，我们将使用以下变量：

• x_adult_training：训练预测变量
• x_adult_teste：测试预测变量
• y_adult_treinamento：训练目标变量
• y_adult_teste：测试目标变量

用于分割数据集的python代码

下面是执行训练数据和测试数据之间的分割的 python 代码：

from sklearn.model_selection import train_test_split

x_adult_treinamento, x_adult_teste, y_adult_treinamento, y_adult_teste = train_test_split(x_adult, y_adult, test_size=0.2, random_state=0)

# dados para o treinamento
x_adult_treinamento.shape, y_adult_treinamento.shape

# dados para o teste
x_adult_teste.shape, y_adult_teste.shape

下图显示了前面的代码及其执行后的输出。

代码解释：

train_test_split： sklearn 库中用于分割数据集的函数。
test_size=0.2:表示保留20%的数据用于测试，剩余80%用于训练。
random_state=0: 确保划分始终相同，为每次运行生成一致的结果。
shape： 检查分割后数据的形状，以确认分割是否正确。

将分割保存到 .pkl 文件

为了使工作更轻松并确保不同运行之间的一致性，我们将训练和测试变量保存在 .pkl 文件中。这使得可以在必要时重用数据，而无需再次进行划分。

使用pickle保存变量的代码：

import pickle
with open('adult.pkl', mode='wb') as fl:
  pickle.dump([X_adult_treinamento, y_adult_treinamento, X_adult_teste, y_adult_teste], fl)

要查看笔记本上的adult.pkl文件，只需单击左侧的文件夹图标，如下图所示。

代码解释：

pickle：用于序列化对象的 python 库，允许您在文件中保存复杂变量。
dump: 将变量保存在名为 adult.pkl 的文件中。将来会读取该文件来加载分为训练和测试的数据集，优化工作流程。

结论

在本文中，您学习了如何将数据集拆分为训练数据和测试数据并将其保存在 .pkl 文件中。此过程是机器学习项目的基础，可确保组织有序且高效的结构。在下一篇文章中，我们将介绍模型的创建，从朴素贝叶斯算法开始，使用adult.pkl文件继续开发。

我推荐的书

1.数据科学家实用统计
2. python计算简介
3. 2041：未来几十年人工智能将如何改变你的生活
4. python强化课程
5.理解算法。为程序员和其他好奇的人提供的图解指南
6. 人工智能——李开复
7. 人工智能简介 - 非技术方法 - tom taulli

新 kindle

我对今年推出的新款 kindle 进行了详细分析，强调了它们的主要创新和对数字阅读器的好处。请通过以下链接查看全文：数字阅读的迷人世界：拥有 kindle 的优势。

亚马逊 prime

加入 amazon prime 可享受一系列优势，包括无限制地观看数千部电影、连续剧和音乐，以及数百万种产品的免费送货和快速交付。会员还可享受prime video、prime music、prime reading等服务的专属优惠、抢先促销和福利，让购物娱乐体验更加便捷丰富。

如果您有兴趣，请通过以下链接进入：amazon prime，它帮助我继续推广人工智能和计算机编程。

以上就是学习使用 Python 从数据集中分割训练和测试数据的详细内容，更多请关注其它相关文章！