跳转到内容

斜坡函数

维基百科,自由的百科全书
斜坡函数的图

斜坡函数是一个一元英语Unary function实函数,因此其图形类似斜坡,故得其名,斜坡函数有许多不同的定义方式,例如“负值时为0,其他值的输出等于输入”。斜坡函数的斜率以及斜坡的位置也可以调整,此条目中的斜坡函数是单位斜坡函数(斜坡斜率为1,从0的位置开始)。

机器学习中,常会称斜坡函数为ReLU激活函数[1][2],或是线性整流函数,类似电子工程中的半波整流器。若用在统计学似然函数,会称为Tobit模型英语tobit model

斜坡函数在数学以及工程上有许多的应用,依使用的情境不同,也有不同的名称。也有不少类似斜坡函数的函数。

定义

斜坡函数()可以用许多的解析方式来定义。以下是一些定义:

  • 单位阶跃函数和其本身的卷积
  • 单位阶跃函数的积分

解析性质

非零性质

此函数在整个定义域中的值都是非负值,因此其绝对值都是其自身。

导数

斜坡函数的导数为单位阶跃函数

傅里叶变换

斜坡函数的傅里叶变换如下

其中狄拉克δ函数(在此公式中,有出现其微分项)

拉普拉斯变换

斜坡函数的傅里叶变换如下

单边的拉普拉斯变换定义如下:

代数性质

迭代不变性

斜坡函数的每个迭代函数都是其自身:
.

  • 证明:
    .

此处应用到非零性质

参考资料

  1. ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. (原始内容存档于2024-07-05). 
  2. ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021]. (原始内容存档于2024-08-24) (英语).