开发者

python三种数据标准化方式

开发者 https://www.devze.com 2024-08-10 11:04 出处:网络 作者: DB_UP
目录python三种数据标准化1、Min-max 归一化2、Z-Score标准化3、小数定标规范化4、归一化和标准化的区别和联系5、使用情形:6、哪些模型必须归一化/标准化?总结python三种数据标准化
目录
  • python三种数据标准化
    • 1、Min-max 归一化
    • 2、Z-Score标准化
    • 3、小数定标规范化
    • 4、归一化和标准化的区别和联系
    • 5、使用情形:
    • 6、哪些模型必须归一化/标准化?
  • 总结

    python三种数据标准化

    数据变换是数据准备的重要环节,它通过数据平滑数据聚集数据概化规范化 等方式将数据转换成适用于数据挖掘的形式。

    常见的变换方法:

    • 1.数据平滑:去除数据中的噪声,将连续数据离散化。这里可以采用分箱、聚类和回归的方式进行数据平滑
    • 2.数据聚集:对数据进行汇总,在SQL中有一些聚集函数可以供我们操作(比如Max)反馈某个字段的数值最大值,Sum返回某个字段的数值总和;
    • 3.数据概化:将数据由较低的概念抽象成为较高的概念,减少数据复杂度,即用更高的概念替代更低的概念。比如说上海、杭州、深圳、北京可以概化为中国。
    • 4.数据规范化:使属性数据按比例缩放,这样就将原来的数值映射到一个新的特定区域中。常用的方法有最小一最大规范化、Z-score规范化、按小数定标规范化等;
    • 5.属性构造:构造出新的属性并添加到属性集中。这里会用到特征工程的知识,因为通过属性与属性的连接构造新的属性,其实就是特征工程。比如说,数据表中统计每个人的英语、语文和数学成绩,你可以构造一个“总和“这个属性,来作为新属性。这样“总和这个属性就可以用到后续的数据挖掘计算中。

    在这些变换方法中,最简单易用的就是对数据进行规范化处理。下面我来给你讲下如何对数据进行规范化处理。

    1、编程客栈Min-max 归一化

    Min-max规范化方法是将原始数据变换到[0,1]的空间中。

    用公式表示就是:

    新数值=(原数值-极小值)/(极大值-极小值)。

    2、Z-Score标准化

    我们定义:

    新数值=(原数值一均值)/标准差。

    3、小数定标规范化

    小数定标规范化就是通过移动小数点的位置来进行规范化。

    小数点移动多少位取决于属性A的取值中的最大绝对值。

    举个例子:

    • 比如属性A的取值范围是-999到88,那么最大绝对值为999,小数点就会移动3位,即新数值=原数值/1000。
    • 那么A的取值范围就被规范化为-0.999到0.088。

    Python的SciKit-Learn库使用

    • Min-max 规范化
    from sklearn import preprocessing 
    import numpy as np
    #初始化数据,每一行表示一个样本,每一列表示一个特征
    x=np.array([[0.,-3.,1.],
                [3.,1.,2.],
                [0.,1.,-1.]])
    #将数据进行[0,1]规范化
    min_max_scaler=preprocessing.MinMaxScaler()
    minmax_x=min_max_scaler.fit_trawww.devze.comnsform(x)
    print (minmax_x)
    • Z-Score规范化
    from sklearn import preprocessing python
    import numpy as np
    #初始化数据
    x=np.array([[0.,-3.,1.],
                [3.,1.,2.],
                [0.,1.,-1.]])
    #将数据进行Z-Score规范化
    scaled_x=preprocessing.scale(x)
    print (scaled_x)
    • 小数定标规范化
    from sklearn import preprocessing 
    pythonimport numpy as np
    #初始化数据
    x=np.array([[0.,-3.,1.],
                [3.,1.,2.],
                [0.,1.,-1.]])
    #小数定标规范化
    j=np.ceil(np.log10(np.max(abs(x)))
    scaled_x=X/(10**j)
    print (scaled_x)

    4、归一化和标准化的区别和联系

    区别:

    • 归一化是将样本的特征值转换到同一量纲下把数据映射到[0,1]或者[a,b]区间内,仅由变量的极值决定,因此区间放缩法是归一化的一种。
    • 标准化是依照特征矩阵的列处理数据,其通过求z-s编程客栈core的方法,转换为标准正态分布,和整体样本分布相关,每个样本点都能对标准化产生影响。
    • 归一化会改变数据的原始距离,分布,信息;
    • 标准化一般不会。

    联系:

    • 它们的相同点在于都能取消由于量纲不同引起的误差;
    • 都是一种线性变换,都是对向量X按照比例压缩再进行平移。

    5、使用情形:

    什么时候用归一化?什么时候用标准化?

    (1)如果对输出结果范围有要求,用归一化。

    (2)如果数据较为稳定,不存在极端的最大最小值,用归一化。

    (3)如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值的影响。

    6、哪些模型必须归一化/标准化?

    • ①SVM
    • ②KNN
    • ③神经网络
    • ④PCA等

    总结

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程客栈(www.devze.com)。

    0

    精彩评论

    暂无评论...
    验证码 换一张
    取 消

    关注公众号