0 引言

神经网络是在现代生物学研究人脑组织成果的基础上提出来的, 用来模拟人类大脑神经网络的结构和行为。近年来, 随着神经科学的快速发展, 各个科学门类的空前进步, 以及智能化的不断普及, 发展新型计算机和人工智能新途径已经被迫切需要, 因此, 全球性的神经网络研究热潮得以兴起。迄今为止, 神经网络模型的种类相当丰富, 已经发展到近40种。其中最常见的神经网络有反向传播(back propagation, BP)神经网络、径向基函数神经网络、Hopfield网络以及卷积神经网络(convolutional neural network, CNN)等。在这些神经网络模型中, RBF神经网络以其网络设计采用原理化方法, 结构简单并且具有坚实的数学基础等多种优点而广泛应用于图像处理、语音识别、模式识别、雷达原点定位、医疗诊断等领域。由于RBF神经网络具有良好的分类能力因此主要运用在分类问题中, 如文献[1]提出将RBF神经网络用于遥感影像分类中, 通过在网络结构设计上使RBF层与输出层的节点数都等于所要分类的类别数, 用Kohonen聚类算法确定RBF中心的时候, 用训练样本的均值作为初始中心, 并在求取RBF宽度时进行了改进, 以避免内存溢出。所设计的RBF神经网络分类模型具有结构简单、算法简洁的优点。文献[2]中提出了一种基于遗传算法优化的RBF神经网络故障诊断方法, 此诊断方法首先利用小波包分解的方法对传感器电路的各种故障数据进行特征提取, 再将所得的特征向量输入到遗传算法优化的RBF神经网络进行故障诊断。经过MATLAB仿真, 此故障诊断方法不仅对传感器故障进行准确分类, 而且提高了BP神经网络的收敛性。

RBF神经网络虽然已获得广泛应用, 但是对于一些特殊的分类场景的研究如单调分类场景, 仍然比较缺乏。现实生活中存在着大量的有序关系及优先关系, 例如消费者选购商品时根据商品的价格和质量做决定; 投资者按照股票或债券的増值空间与风险等级选择股票或债券; 还有诸如对风险用户等级的评定及对学生综合水平的排序等问题。在这些情况中, 决策任务的条件属性和决策属性之间存在序的关系, 就是说数据库中条件属性和决策属性的取值是有顺序的, 且他们之间具有如下单调性约束:当一个对象的所有条件属性上的取值都不比另一个对象差时, 它的决策也不会比另一个对象的决策差, 这就是单调分类任务^[3-4]。这些年, 随着对分类任务的研究, 一般的分类问题已经取得了较好的分类准确率, 但是这些任务中很少考虑序的关系, 因此可能得到不一致的决策规则, 这就需要研究者深入研究基于输入和输出变量之间的单调关系的先验知识, 即从大量的、不完全的、有噪声的数据中通过算法搜索隐藏于其中的知识, 从而提取出潜在的有用信息^[5]。在单调分类问题中, 单调约束先验知识的发现对分类器的改进非常重要。但一般的神经网络算法未考虑过此类问题。因此, 建立合适的数学模型充分利用数据中存在的单调约束知识, 对单调分类领域的发展具有一定的意义。针对单调分类任务的特点, 研究相应的既具有传统神经网络算法优点又能适应单调分类任务的单调RBF神经网络是非常必要的。因而, 考虑到单调分类场景数据的先验知识, 需要在RBF神经网络的学习中充分利用单调约束来充分提升网络分类模型的分类性能。

基于上述分析, 本研究提出了一种新的用于分类的单调径向基函数神经网络模型。该模型添加了关于单调性的先验知识, 并以基于训练数据的偏序的不等式形式表示出来。由于加入单调约束到RBF神经网络模型的优化目标函数, 使得在解决相应的二次规划问题时可能会导致凸性损失, 针对此, 目标函数中引入了Tikhonov正则化方法来确保模型参数解的唯一性与有界性^[6-8]。最终的模型被叫作单调RBF神经网络模型。对于提出的新方法, 在多组单调分类数据上进行了性能评估, 试验分析表明所提出的方法要优于一般的RBF神经网络模型。本研究主要贡献可概括如下:(1)在RBF神经网络上添加单调约束先验知识, 提出新的单调RBF神经网络模型; (2)进一步采用Tikhonov正则化方法确保单调RBF神经网络模型解的唯一性与有界性; (3)通过对比试验验证本研究所提出的方法的有效性。

1 相关工作 1.1 单调性、单调数据集与单调惩罚度量函数

在数据挖掘应用中存在如下单调数据场景:如果一个样本点的属性值高于另一个样本点, 那么它的输出值也会相应大于另一个样本, 也就是说存在一个在输入与输出变量之间的单调关系, 增加输入变量的值那么输出变量的值也很有可能会增加。不失一般性, 在本研究中只讨论递增的例子, 在数学上来说, 单调性可以被定义为如下。

定义1(单调性)  设f(x) : Rⁿ→ R, 一个偏序关系≤被定义在输入空间Rⁿ, 一个线性关系被定义在空间R。如果满足下面的条件, 那么f就是单调的:

$ \mathit{\boldsymbol{x}} \le \mathit{\boldsymbol{x'}} \Rightarrow f\left( \mathit{\boldsymbol{x}} \right) \le f\left( {\mathit{\boldsymbol{x'}}} \right),\;\;\;\forall \mathit{\boldsymbol{x}},\mathit{\boldsymbol{x'}}。$

本研究以一个比较直观的方式在输入空间Rⁿ定义偏序关系, 形如x= (x₁, x₂, …, x_n)以及x′=(x′₁, x′₂, …, x′_n), x≤x′当且仅当x_i≤x′_i对于i=1, …, n都成立。如果一个函数是单调的就说它具有单调属性。

定义2(单调数据集)  对一个数据集$\mathfrak{I}$= {(x_i, y_i)|i=1, 2, …, n}, 当x_i≤x_j$ \Rightarrow $ y_i≤y_j则认为这对数据点(x_i, y_i)和(x_j, y_j)不违背单调性。

定义3 (单调惩罚度量函数)  根据定义1对于数据集$\mathfrak{I}$= {(x_i, y_i)|i=1, 2, …, n}以及学习过程中产生的假设g : Rⁿ→ R使其近似于f, 那么设目标函数f : Rⁿ→ R中x_i对应的取值为y_i。根据文献[9-10], 某些数据对其先验知识是形如x≤x′f(x)≤ f(x′)这种不等式形式的, 可以增加目标函数的单调性。与这个数据对有关的单调先验知识的误差表示为

$ \xi \left( {\mathit{\boldsymbol{x}},\mathit{\boldsymbol{x'}}} \right) = \left\{ {\begin{array}{*{20}{c}} {g\left( \mathit{\boldsymbol{x}} \right) - g\left( {\mathit{\boldsymbol{x'}}} \right)}&{g\left( \mathit{\boldsymbol{x}} \right) > g\left( {\mathit{\boldsymbol{x'}}} \right)}\\ 0&{g\left( \mathit{\boldsymbol{x}} \right) \ge g\left( {\mathit{\boldsymbol{x'}}} \right)} \end{array}} \right.。$

(1)

对于一个有单调先验知识的问题, 随机给定一些数据对, 定义Λ={(x_i, x_i)|x_i≤x_i, i=1, …, M}, 其中x_i和x_i存在单调关系, x_i中的下划线表示x_i的决策函数值不比x_i得决策函数值大, 分类器的预测结果应该尽可能满足单调约束f(x_i)≤ f(x_i), i=1, …, M。即与单调先验知识有关的误差应该尽可能小, 因此根据式(1), 需要最小化ξ(x_i, x_i), i=1, …, M。为此通过一个比较常见的方法来最小化惩罚函数

$ {E_M} = \sum\limits_{i = 1}^M {{\beta _i}\xi \left( {\underline {{\mathit{\boldsymbol{x}}_i}} ,{{\mathit{\boldsymbol{\bar x}}}_i}} \right)} , $

(2)

式中, β_i都是一个常量或者变量的非负数^[11]。

1.2 RBF神经网络

RBF神经网络, 是由J.Moody和C.Darken在20世纪80年代末提出的一种前馈型神经网络^[12]。由于它模拟了人脑中局部调整、相互覆盖接收域的神经网络结构, 它是一种局部逼近网络, 能以任意精度逼近任意连续函数, 收敛速度快^[13]。它还有很强的非线性拟合能力, 可映射任意复杂的非线性关系, 而且学习规则简单, 便于计算机实现。

RBF神经网络网络是一种三层前向网络, 即输入层、隐含层和输出层, 经典的RBF神经网络训练过程主要分为两步:第一步是采用聚类^[14-16]等方法构造初始化的网络模型; 第二步是参数训练。通常, 一个具有n个输入值、m个隐藏节点以及一个输出值的RBF神经网络结构如图 1所示^[17]。输入层由信号源节点组成, 每个输入神经元对应于输入向量的元素并且完全连接到m个隐藏层神经元, 每个隐藏层神经元也完全连接到输出神经元, 输出层对输入模式做出响应, 由于输入到输出的映射是非线性的, 而隐含层空间到输出空间的映射是线性的, 从而可以大大加快学习速度并避免局部极小问题。

RBF神经网络最常用的基函数是高斯函数, 即对于任意的输入向量x_i ∈ Rⁿ(Rⁿ为输入样本集), 有

$ \begin{array}{l} y\left( {{\mathit{\boldsymbol{x}}_i}} \right) = \sum\limits_{j = 1}^N {{w_j}\mathit{\Phi }\left( {\left\| {{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{c}}_j}} \right\|} \right)} ,\\ i = 1,2, \cdots ,N,j = 1,2, \cdots ,M。\end{array} $

(3)

式中：y(x_i)表示第i个输入神经元连接第j个隐藏层节点的输出; w_j表示隐含层到输出层的连接权值; c_j ∈ Rⁿ, j=1, 2, …M, 为隐含层的第j个节点的中心; Φ即为径向基函数, 也就是是高斯函数, ‖· ‖在这里表示欧几里得范数。为了便于理论性分析, 可将函数表示为

$ \mathit{\Phi }\left( {\left\| {{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{c}}_j}} \right\|} \right) = \exp \left( { - {{\left\| {{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{c}}_j}} \right\|}^2}/{\delta _j}} \right), $

(4)

式中δ_j为宽度。

隐含层节点通过基函数执行一种非线性变化, 将输入空间映射到一个新的空间, 输出层则在这个新的空间实现线性加权组合^[18]。此处的权值w_j为可调参数。由此可见, 从总体上看, 网络由输入到输出的映射是非线性的, 而网络输出对可调参数而言却又是线性的。这样网络的权值就可由线性方程直接解出, 从而大大加快学习速度并避免局部极小问题^[19]。它的优点在于能够逼近任意的非线性函数, 可以处理系统内难以解析的规律性, 具有良好的泛化能力, 并有很快的学习收敛速度, 并已成功应用于图像处理、非线性函数逼近、模式识别、数据分类等方面^[20]。

径向基神经网络作为前馈神经网络的一种, 数据x从输入到输出经过了某种映射Φ, 最后得到一个输出y, 这种映射关系可以简化为

$ y = f\left( \mathit{\boldsymbol{x}} \right) = \mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{x}}_g}, $

(5)

式中:P_g即式(4)中的连接权值w_j表示的向量; x_g表示输入向量x经过映射函数Φ映射过后的值。

2 单调RBF神经网络

基于1.2节径向基神经网络学习方法, 本研究引入单调约束的先验知识, 提出单调RBF神经网络训练新的优化目标函数, 从而得到具体的单调RBF神经网络学习算法。

2.1 单调RBF神经网络模型构建

(1) 优化目标函数的构建

对于径向基神经网络, 由1.2节可知其决策函数为y(x)= sign[p_g^Tx_g]。如果数据集是单调的, 那么单调性可以被表示为下面的不等式:

$ \mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{\underline x}} _g} \le \mathit{\boldsymbol{p}}_g^{\rm{T}}{{\mathit{\boldsymbol{\bar x}}}_g},\;\;\;\;\;\forall {\mathit{\boldsymbol{\underline x}} _g} \le {{\mathit{\boldsymbol{\bar x}}}_g}。$

(6)

给定一组虚拟的例子或者观察数据点对, 可以得到基于上述不等式的单调约束。为了表示方便, 将这组观察到的单调约束表示为

$ \mathit{\Lambda } = \left\{ {\left( {{{\mathit{\boldsymbol{\underline x}} }_i},{{\mathit{\boldsymbol{\bar x}}}_i}} \right)\left| {\forall {{\mathit{\boldsymbol{\underline x}} }_i}} \right.,{{\mathit{\boldsymbol{\bar x}}}_i},\mathit{\boldsymbol{i}} = 1, \cdots ,\mathit{\boldsymbol{M}}} \right\}, $

(7)

式中每对(x_i, x_i)代表相应的约束p_g^Tx_g≤ p_g^Tx_g。

增加单调约束关系到RBF神经网络中, 可以构建如下的单调RBF神经网络模型

$ \begin{array}{l} \mathop {\min }\limits_{{p_g}} \;\;\;\;\frac{1}{2}\left( {\mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{p}}_g}} \right) + \frac{1}{{\tau N}}\sum\limits_{i = 1}^N {{\xi _i}} - \frac{1}{\tau }\varepsilon \\ {\rm{s}}.{\rm{t}}.\;\;{y_i}.\left( {\mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{x}}_{gi}}} \right) > \varepsilon - {\xi _i},\\ \;\;\;\;\;{\xi _i} > 0,\varepsilon > 0,i = 1, \cdots ,N,\\ \;\;\;\;\;\mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{\underline x}} _{gi}} \le \mathit{\boldsymbol{p}}_g^{\rm{T}}{{\mathit{\boldsymbol{\bar x}}}_{gi}},\forall {\mathit{\boldsymbol{\underline x}} _i} \le {{\mathit{\boldsymbol{\bar x}}}_i},\;\;i = 1, \cdots ,M。\end{array} $

(8)

(2) 优化求解

基于优化理论, 式(8)的拉格朗日函数可表示为

$ \begin{array}{l} L\left( {{\mathit{\boldsymbol{p}}_g},{\xi _i},\varepsilon ,\lambda ,\phi ,\delta ,\alpha } \right) = \frac{1}{2}\left( {\mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{p}}_g}} \right) + \\ \;\;\;\;\;\;\;\;\;\;\;\frac{1}{{N\tau }}\sum\limits_{i = 1}^N {{\xi _i} - \frac{1}{\tau }\varepsilon } + \sum\limits_{i = 1}^N {{\lambda _i}\left( {\varepsilon - {\xi _i} - {y_i}\left( {\mathit{\boldsymbol{p}}_g^{\rm{T}}{\mathit{\boldsymbol{x}}_{gi}}} \right)} \right)} - \\ \;\;\;\;\;\;\;\;\;\;\;\sum\limits_{i = 1}^N {{\phi _i}{\xi _i} - \delta \varepsilon } + \sum\limits_{i = 1}^N {{\alpha _i}\left( {\mathit{\boldsymbol{p}}_g^{\rm{T}}{{\mathit{\boldsymbol{\underline x}} }_{gi}} - \mathit{\boldsymbol{p}}_g^{\rm{T}}{{\mathit{\boldsymbol{\bar x}}}_{gi}}} \right)} 。\end{array} $

(9)

通过拉格朗日函数对p_g, ξ_i, ε取极值, 得到

$ \left\{ \begin{array}{l} \frac{{\partial L}}{{\partial {\mathit{\boldsymbol{p}}_g}}} = 0 \to {\mathit{\boldsymbol{p}}_g} = \sum\limits_{i = 1}^N {{\lambda _i}{y_i}{\mathit{\boldsymbol{x}}_{gi}}} - \sum\limits_{i = 1}^N {{\alpha _i}\left( {{{\mathit{\boldsymbol{\underline x}} }_{gi}} - {{\mathit{\boldsymbol{\bar x}}}_{gi}}} \right)} \\ \frac{{\partial L}}{{\partial \xi }} = 0 \to {\lambda _i} = \frac{1}{{N\tau }} - {\phi _i}\\ \frac{{\partial L}}{{\partial \varepsilon }} = 0 \to \delta = \sum\limits_{i = 1}^N {{\lambda _i}} - \frac{1}{\tau } \end{array} \right.。$

(10)

将式(10)带入到(9)中, 就可得到原问题的对偶问题:

$ \begin{array}{l} \mathop {\max }\limits_{\lambda ,\alpha } : - \frac{1}{2}\sum\limits_{k = 1}^N {\sum\limits_{l = 1}^N {{\lambda _k}{\lambda _l}{y_k}{y_l}\mathit{\boldsymbol{x}}_{gk}^{\rm{T}}{\mathit{\boldsymbol{x}}_{gl}}} } - \\ \;\;\;\;\;\;\;\;\frac{1}{2}\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^M {{\alpha _i}{\alpha _j}{{\left( {{{\mathit{\boldsymbol{\underline x}} }_{gi}} - {{\mathit{\boldsymbol{\bar x}}}_{gi}}} \right)}^{\rm{T}}}\left( {{{\mathit{\boldsymbol{\underline x}} }_{gj}} - {{\mathit{\boldsymbol{\bar x}}}_{gj}}} \right)} } - \\ \;\;\;\;\;\;\;\;\frac{1}{2}\sum\limits_{k = 1}^N {\sum\limits_{i = 1}^M {{\lambda _k}{y_k}{\alpha _i}{{\left( {{{\mathit{\boldsymbol{\bar x}} }_{gi}} - {{\mathit{\boldsymbol{\underline x}}}_{gi}}} \right)}^{\rm{T}}}{\mathit{\boldsymbol{x}}_{gk}}} } - \\ \;\;\;\;\;\;\;\;\frac{1}{2}\sum\limits_{k = 1}^N {\sum\limits_{i = 1}^M {{\lambda _k}{y_k}{\alpha _i}\mathit{\boldsymbol{x}}_{gk}^{\rm{T}}{{\left( {{{\mathit{\boldsymbol{\bar x}}}_{gi}} - {{\mathit{\boldsymbol{\underline x}} }_{gi}}} \right)}}} } \\ {\rm{s}}.{\rm{t}}.\;\;\lambda \in \left[ {0,\frac{1}{{N\tau }}} \right],\\ \;\;\;\;\;\;\sum\limits_{i = 1}^N {{\lambda _i}} \ge \frac{1}{\tau },\\ \;\;\;\;\;\;{\alpha _i} \ge 0\forall i = 1, \cdots ,M。\end{array} $

(11)

由于λ_i ∈ $\left[{0, \frac{1}{{N\tau }}} \right]$, 约束$\sum\limits_{i = 1}^N {{\lambda _i} \ge \frac{1}{\tau }} $可以简化为$\sum\limits_{i = 1}^N {{\lambda _i} = \frac{1}{\tau }} $。

通过求解对偶问题的最优解λ^*和α^*, 根据式(10)即可得原问题的最优解P_g。

(3) Tikhonov正则化项

式(11)可表示成如下的矩阵形式

$ \begin{array}{l} \mathop {\max }\limits_{\lambda ,\alpha } : - \frac{1}{2}\left[ {{\mathit{\boldsymbol{\lambda }}^{\rm{T}}},{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}} \right]\mathit{\boldsymbol{G}}\left[ {\begin{array}{*{20}{c}} \lambda \\ \alpha \end{array}} \right]\\ {\rm{s}}.{\rm{t}}.\;\;\lambda \in \left[ {0,\frac{1}{{N\tau }}} \right],\\ \;\;\;\;\;\;\sum\limits_{i = 1}^N {{\lambda _i}} = \frac{1}{\tau },\\ \;\;\;\;\;\;{\alpha _i} \ge 0\;\;\;\;\forall i = 1, \cdots ,M, \end{array} $

(12)

其中, $\mathit{\boldsymbol{G = }}\left[{\begin{array}{*{20}{c}} {{\mathit{\boldsymbol{G}}^{11}}}&{{\mathit{\boldsymbol{G}}^{12}}}\\ {{\mathit{\boldsymbol{G}}^{21}}}&{{\mathit{\boldsymbol{G}}^{22}}} \end{array}} \right]$为Hessian矩阵, 并且四个子矩阵分别为

$ \left\{ \begin{array}{l} \mathit{\boldsymbol{G}}_{k,l}^{11} = {y_k}{y_l}\mathit{\boldsymbol{x}}_{gk}^{\rm{T}}{\mathit{\boldsymbol{x}}_{gl}}\\ \;\;\;k,l = 1,2, \cdots ,N\\ \mathit{\boldsymbol{G}}_{k,i}^{12} = {y_k}\left( {{{\mathit{\boldsymbol{\bar x}}}_{gi}} - {{\mathit{\boldsymbol{\underline x}} }_{gi}}} \right)\\ \;\;\;k = 1,2, \cdots ,N\\ \;\;\;i = 1,2, \cdots ,M\\ {\mathit{\boldsymbol{G}}^{21}} = {\left( {{\mathit{\boldsymbol{G}}^{12}}} \right)^{\rm{T}}}\\ \mathit{\boldsymbol{G}}_{i,j}^{22} = {\left( {{{\mathit{\boldsymbol{\bar x}}}_{gi}} - {{\mathit{\boldsymbol{\underline x}} }_{gi}}} \right)^{\rm{T}}}\left( {{{\mathit{\boldsymbol{\bar x}}}_{gi}} - {{\mathit{\boldsymbol{\underline x}} }_{gi}}} \right)\\ \;\;\;\;i,j = 1, \cdots ,M \end{array} \right.。$

(13)

如果G矩阵是半正定的, 优化目标具全局最优解。如果是正定的, 那么最优解是唯一的全局最优解。

为了避免问题求解时出现欠正定情况, 可在目标函数中引入Tikhonov正则化项, 此时优化目标函数可修正为

$ \begin{array}{l} \mathop {\max }\limits_{\lambda ,\alpha } : - \frac{1}{2}\left[ {{\mathit{\boldsymbol{\lambda }}^{\rm{T}}},{\mathit{\boldsymbol{\alpha }}^{\rm{T}}}} \right]\left( {\mathit{\boldsymbol{G}} + \delta \mathit{\boldsymbol{I}}} \right)\left[ {\begin{array}{*{20}{c}} \lambda \\ \alpha \end{array}} \right]\\ {\rm{s}}.{\rm{t}}.\;\;\lambda \in \left[ {0,\frac{1}{{N\tau }}} \right],\\ \;\;\;\;\;\;\sum\limits_{i = 1}^N {{\lambda _i}} = \frac{1}{\tau },\\ \;\;\;\;\;\;{\alpha _i} \ge 0\;\;\;\;\forall i = 1, \cdots ,M, \end{array} $

(14)

式中: I是单位矩阵。如果δ选取合适的话, 那么式(14)中的二次规划问题将是一个凸二次规划问题并且具有全局最优解。通过使用不同的数据集对式(13)的单调RBF神经网络模型进行验证, 结果表明, 二次规划问题可能是一个不适定问题, 此时矩阵G包含一个非常小的负特征值。针对此, 本研究将惩罚项δ设置成G的最小负特征值的绝对值的两倍。按此方法, 式(14)中的二次规划问题将能保证是正定的。

2.2 单调约束构建

对于任意的输入向量对x₁≤x₂, 要使其满足单调性, 那么相应的预测类别y₁和y₂应满足条件y₁≤y₂。本研究对x进行了相应的处理使其转化为x_g, 再让它满足约束p_g^Tx_g1≤ p_g^Tx_g2。但是如何确定一组单调约束对并实现一般的单调性仍然是一个开放的问题。文献[21]中通过训练数据中连续的点对形成序回归问题的约束。

本研究采用了一个比较直观的方法用来构建单调约束对。对于数据$\mathfrak{I}$={(x_k, y_k)|k=1, 2, …, N}平均划分每个属性的范围, 然后通过网格算法确定约束对的个数。算法步骤如下:

步骤1  计算z = (z₁, z₂, …, z_n)和z= (z₁, z₂, …, z_n), 其中z_l=max x_{k, l}, z_l=min x_{k, l}, l=1, 2, …, n。

步骤2  对每个区间[z_l, z_l], l=1, 2, …, n进行等间隔划分, 即z_l=t_{l, 0}, …, t_{l, i}, …, t_{l, M}=z_l. l=1, …, n。

步骤3  定义x_i=(x_{i, 1}, x_{i, 2}, …, x_{i, n}), x_i=(x_{i, 1}, x_{i, 2}, …, x_{i, n}), 其中x_il=t_{l, i-1}, x_il=t_{l, i}, i=1, …, M, l=1, …, n。M为约束对的个数。

步骤4  构建单调约束不等式p_g^Tx_gi≤ p_g^Tx_gi。

2.3 单调RBF神经网络学习算法

基于上文所提出的单调RBF神经网络学习算法的原理与模型的构造过程, 下面给出其详细的算法描述。

算法  单调RBF神经网络学习算法

阶段1:数据处理阶段

步骤1:设置神经网络的个数M, 惩罚项系数τ以及人工调节的标量参数h; 选取用于单调分类场景的数据集。

阶段2:构建单调RBF神经网络模型

步骤2:设置单调约束对的个数Ms; 构建1.2节介绍的RBF神经网络模型, 利用交叉验证法得到当前模型的测试数据集。

步骤3:在RBF神经网络模型上添加单调约束, 构建式(8)所示的单调RBF神经网络模型的目标函数。

步骤4:对式(8)所示的目标函数进行优化求解得到原问题的对偶问题。

步骤5:在优化后的目标函数中引入Tikhonov正则化项, 将目标函数修正为式(14)得到单调分类的RBF神经网络模型。

3 试验设计与结果 3.1 试验设计

为了确保试验的公正性, 本研究所有试验的试验环境为:MATLAB编程环境, 电脑配置为:windows系统, 3.30 GHz的Intel(R) Core(TM) i5-4590 CPU, 16 GB内存。

3.1.1 试验数据集

试验选取了UCI数据库中具有一定单调性的10个真实数据集, 数据集的细节被概括在表 1中。

3.1.2 参数设计

本研究算法所涉及的参数会影响模型的性能。针对此本研究对于惩罚项系数τ与人工调节的标量h等参数, 采用了网格搜索和交叉验证结合的方法进行寻优。过程如下:首先对于每个待优化的参数, 给定一个寻优范围(具体范围见表 2), 然后利用交叉验证的方式计算特定参数下所训练模型的性能, 最终把取得最优性能的参数作为最终的参数。特别地, 为了便于找到较优的参数, 表 2在一个较大的范围内设置了参数寻优范围。本研究试验中采用了5倍交叉验证法, 即把数据集划分为5份, 每次选取1份数据作为测试集, 其余4份作为训练集。对于本研究试验所采用的比较算法和所涉及的相应超参数的搜索网格如表 2所示。

3.2 试验结果与分析

本研究采取的对比算法有第1节中介绍的基于模糊C均值的径向基函数(fuzzy c-means radial basis function, FCM-RBF)神经网络算法和Matlab工具箱中精确的RBF神经网络(简称Newrbe-RBF)以及文献[5]中介绍的单调算法(regularized monotonic fuzzy support vector mchine, RMC-FSVM)。各个算法的分类精度如表 3所示。

本研究的方法与其他RBF算法以及单调算法相比较的试验结果如表 3所示。从表 3中可以看出:

(1) 本次试验选取了7个单调数据集, 均在本研究提出的算法中获得最优的分类性能, 在其他单调方法中获得较好的分类性能, 并且几个数据集均有较好的稳定性。

(2) 对于不同的单调数据集对, RBF神经网络模型添加了单调约束后其分类性能要明显优于没有添加单调性约束的模型。其他单调模型RMC-FSVM也优于本研究应用的非单调模型, 但是仍然次于本研究的提出的改进算法MC-RBF。同时, 由于不同的分类方法对于不同的数据集有不同的最优模型, 所以对模型准确率的评估在有些数据集上相差很大, 在有些数据集上相差不大。

(3) 对于同一个数据集, 单调RBF神经网络模型得到的准确率要明显高于一般的RBF神经网络模型。例如, 对于数据集Hepatitis, 在MC-RBF的准确率比Matlab工具箱中精确的RBF神经网络高达10%, 提升非常明显。相对于其他几个算法也同样获得较好的准确率。

综上所述, 在处理单调分类问题时, 考虑数据中类和属性之间的单调关系可以有效提高分类器在单调数据集上的分类性能。

4 结语

本研究提出了一个单调RBF神经网络模型用于单调分类场景, 通过在经典的RBF神经网络模型上添加关于单调约束的先验知识并以基于训练数据的偏序的不等式形式表示出来, 然后引入了Tikhonov正则化方法来确保模型参数解的唯一性与有界性。将改模型应用到8个单调数据集中, 结果表明在单调分类问题中, 本研究提出的方法优于经典的RBF神经网络模型以及Matlab工具箱中的RBF神经网络。

本研究所构建的单调约束对是通过输入数据集中一些随机选取的子集中的最小值与最大值来确定的, 它的缺点是不能完全反应整体的单调性。使用一个更系统的方法来构造单调约束将是以后展开的工作。另外, 在实践中, 数据采集过程很容易收到不同干扰, 因此, 数据可能不完全遵循先验知识的特点, 比如本研究的单调性。后面还可以拟研究数据违反单调性是如何影响学习过程的, 通过添加不同水平的噪声来模拟不同程度的违反单调性的情况。