博客
关于我
Python数据分析入门(十一):数据合并
阅读量:633 次
发布时间:2019-03-14

本文共 2189 字,大约阅读时间需要 7 分钟。

数据合并(pd.merge)和数据拼接(pd.concat)是数据分析中常用的操作。它们各有特色,适用于不同的场景。以下是对这两个函数的详细说明以及使用示例。

一、数据合并(pd.merge)

1. 工作原理

pd.merge函数用于将两个或多个DataFrame按键值连接起来。这个函数类似于数据库中的JOIN操作。主要参数包括:

  • left、right:指定要合并的两个DataFrame。
  • how:指定合并的方式,默认为'inner',即保留交集。
  • on、left_on、right_on:指定连接的键。如果不指定,函数会自动查找交集的列名。
  • suffixes:指定重复列名时的后缀,避免冲突。默认是'_left'和'_right'。

2. 示例

import pandas as pd# 创建两个DataFrameleft = pd.DataFrame({    'key1': ['K0', 'K0', 'K1', 'K2'],    'key2': ['K0', 'K1', 'K0', 'K1'],    'A': ['A0', 'A1', 'A2', 'A3'],    'B': ['B0', 'B1', 'B2', 'B3']})right = pd.DataFrame({    'key1': ['K0', 'K1', 'K1', 'K2'],    'key2': ['K0', 'K0', 'K0', 'K0'],    'C': ['C0', 'C1', 'C2', 'C3'],    'D': ['D0', 'D1', 'D2', 'D3']})# 默认内连接result = pd.merge(left, right, on=['key1', 'key2'])print(result)

3. 合并方式

  • 内连接(默认):保留所有在左右数据框都存在的键的交集。
  • 外连接:保留所有在左右数据框中至少存在一个键的记录。
  • 左外连接:保留左数据框的全部键,右边补充未匹配的记录。
  • 右外连接:保留右数据框的全部键,左边补充未匹配的记录。
# 外连接示例result = pd.merge(left, right, how='outer', on=['key1', 'key2'])print(result)

4. 处理重复列名

为了避免列名冲突,可以使用suffixes参数指定后缀。

# 重复列名处理df_obj1 = pd.DataFrame({    'key': ['b', 'b', 'a', 'c', 'a', 'a', 'b'],    'data': np.random.randint(0, 10, 7)})df_obj2 = pd.DataFrame({    'key': ['a', 'b', 'd'],    'data': np.random.randint(0, 10, 3)})# 重新命名result = pd.merge(df_obj1, df_obj2, on='key', suffixes=('_left', '_right'))print(result)

二、数据拼接(pd.concat)

1. 工作原理

pd.concat函数用于沿轴方向将多个数据集合并到一个新的数据集。如果沿着行(轴=0)合并,会将两个数据集的行拼接;如果沿着列(轴=1)合并,会将两个数据集的列拼接。

2. 示例

import pandas as pdimport numpy as np# 创建两个DataFramedf1 = pd.DataFrame(np.arange(6).reshape(3, 2), index=['a', 'b', 'c'], columns=['one', 'two'])df2 = pd.DataFrame(np.arange(4).reshape(2, 2) + 5, index=['a', 'c'], columns=['three', 'four'])# 按默认行为(外连接,轴=0)result = pd.concat([df1, df2])print(result)

3. 合并方式

  • 轴=0:默认行为,沿行合并。
  • 轴=1:沿列合并。
  • join:指定连接方式,默认为'outer'。
  • 其它参数:如level用于处理索引层次结构,fileparse用于处理文件对象。

4. 示例

# 按列合并,并保留所有键result = pd.concat([df1, df2], axis=1, join='inner')print(result)

三、其他使用技巧

  • 按索引连接:可以使用left_index=Trueright_index=True结合on参数来按索引作为键。

    # 按索引连接result = pd.concat([df1, df2], left_index=True, right_index=True)print(result)
  • 自动名称处理:如果有多个数据集需要合并,自动处理列名冲突,确保数据不丢失。

四、总结

  • pd.merge适用于合并不同的数据集,根据键值连接。
  • pd.concat适用于拼接数据集,沿轴方向合并数据。

两者都是强大的工具,选择时需根据需求和数据结构来决定。

转载地址:http://zysoz.baihongyu.com/

你可能感兴趣的文章
MySQL中的count函数
查看>>
MySQL中的DB、DBMS、SQL
查看>>
MySQL中的DECIMAL类型:MYSQL_TYPE_DECIMAL与MYSQL_TYPE_NEWDECIMAL详解
查看>>
MySQL中的GROUP_CONCAT()函数详解与实战应用
查看>>
MySQL中的IO问题分析与优化
查看>>
MySQL中的ON DUPLICATE KEY UPDATE详解与应用
查看>>
mysql中的rbs,SharePoint RBS:即使启用了RBS,内容数据库也在不断增长
查看>>
mysql中的undo log、redo log 、binlog大致概要
查看>>
Mysql中的using
查看>>
MySQL中的关键字深入比较:UNION vs UNION ALL
查看>>
mysql中的四大运算符种类汇总20多项,用了三天三夜来整理的,还不赶快收藏
查看>>
mysql中的字段如何选择合适的数据类型呢?
查看>>
MySQL中的字符集陷阱:为何避免使用UTF-8
查看>>
mysql中的数据导入与导出
查看>>
MySQL中的时间函数
查看>>
mysql中的约束
查看>>
MySQL中的表是什么?
查看>>
mysql中穿件函数时候delimiter的用法
查看>>
Mysql中索引的分类、增删改查与存储引擎对应关系
查看>>
Mysql中索引的最左前缀原则图文剖析(全)
查看>>