0 引言

数字半色调,也称为图像空间抖动,是一种将一幅连续色调的图像先进行二值化处理,再用这些黑白二色的点来表示各个等级灰度的技术^[1]。数字半色调技术已广泛应用于传真、打印、印刷、显示设备及数字图像的压缩存储等领域。较常用的数字半色调方法包括有序抖动法^[2]、误差分散法^[3]、点分散法^[4-6]、直接二值搜索法^[7]、蓝噪声模板法^[4]、绿噪声半调法^[8]等。分析现有的半色调技术可知,不同半色调技术应用于多级图像时将产生具有各自不同特性的半色调图像^[9],如周期性、点分布、点分散性、点相关性等。由于这些特性的存在,当通用型逆半调技术用于某种半色调图像的重建时,将缺少相关半调模式信息,所以很难获得半色调图像的最优重建。

目前对数字半色调图像分类的方法较少,最早对半色调图像分类进行研究的是CHANG P C^[10],其提出一维自相关函数的半色调图像特征提取方法,采用BP神经网络对半色调图像纹理特征^[11]进行分类。该方法针对某些特殊的图像能达到100％的分类效率,但是适用的图像类别较少。LIU Y F^[9] 等针对4种类型的半色调图像,利用支持区域和最小均方(least mean square,LMS)算法识别半色调图像类型,然后采用不同的逆半色调技术重建最优原始图像^[12-14]。然后,针对9 种半色调图像,采用LMS对半色调图像频谱进行特征建模,并利用朴素贝叶斯方法进行分类^[15],取得了较好的分类效果。文志强等提出有监督流行上的半色调图像分类方法,采用3个方向的像素自相关特征和同或运算来描述纹理特征,利用图像分块的思想获取纹理特征^[13];梁永峰等提出统计矩阵描述子对误差分散类半色调图像进行分类^[16]。上述文献方法对于6种常用的误差分散法分类效果不是很好。也可根据同样，采用姚莉的评价方法得到的判定结果不好^[17]。表 1列出了常用的6种误差分散法。图 1显示了使用6种误差分散法产生的Lena(256×256)半色调图像(其子图从左至右、从上至下对应表 1中的序号)。图 1中,只有(b)中的纹理稍微明显,其余纹理都很不明显,难以区分,所以误差分散半色调图像的纹理特征提取有一定的难度。

局部二值化模式(local binary pattern,LBP)是近年来提出的一种特征提取方法。最初由OJALA T等为了辅助性度量图像的局部对比度而提出,是一种灰度范围内的纹理度量^[18]。因LBP对光照、旋转等变换具有较好的鲁棒性、计算简便高效、 能有效描述 局部纹理特征及便于与其它描述符复合使用等优点^[19],LBP广泛应用于纹理图像检索、纹理分类、目标跟踪和人脸识别等领域[20-26]。

在LBP基础上,结合半色调图像特点,提出一种像素相似性描述子方法。先将图像中各像素8邻域与中心像素值进行比较,再将8邻域对应值存放在8个矩阵中,最后求各矩阵之间的相似性,获得相似性邻域统计量,作为图像的纹理特征向量。提出的方法在一幅图像中有7~28个特征值,比LBP的8邻域中产生的256个特征值少。试验结果表明,提出方法的特征维数低且其分类性能好。

1 LBP方法

图 2为基于二值图像LBP特征的计算过程。如图 2所示,LBP算子以3×3邻域定义窗口,中心像素值设为g_c,其余邻域定义为g₁,g₂,…,g₈。LBP的思想是将8邻域g₁,g₂,…,g₈分别与中心像素值g_c进行比较,若大于g_c为1,否则为0。连接周围8个像素点的值得到一个8位二进制数,将这个二进制数的值转为十进制作为中心像素点的灰度值,计算公式如式(1)所示。图 2中LBP值的范围与所选取的邻域相关,3×3窗口LBP值的范围为[0,255]。最后,统计LBP值的个数并归一化后作为图像的特征值。

$LBP\left( {{x}_{c}},{{y}_{c}} \right)=\sum\limits_{i=1}^{8}{s\left( {{g}_{i}}-{{g}_{c}} \right){{2}^{i}}},$

(1)

其中,s(x)为二值函数,定义如式(2)所示:

$s(x)=\left\{ \begin{align} & 1,x>\text{ }0; \\ & 0,其他。 \\ \end{align} \right.$

(2)

LBP算法描述为

Step 1 输入图像f;

Step 2 以某一像素g_c为中心像素,g₁,g₂,…,g₈为其余8个像素点的灰度值,将g₁,g₂,…,g₈依次与g_c的灰度值进行式(1)和(2)运算;

Step 3 统计LBP(x_c,y_c)相同值的个数并归一化,即图像纹理特征。

2 邻域相似性描述子

LBP是一种局部信息特征提取方法,反映每个像素与周围像素的关系,对于纹理特征比较明显的图像分类效果较好。但在误差分散类半色调图像的纹理特征不明显,图像较难区分,所以分类效果并不理想。对LBP进行改进,提出邻域相似性描述子(neighborhood similarity descriptor,NSD)对误差分散类半色调图像纹理特征进行描述。

既考虑局部信息也考虑全局信息,将图像的相似性作为特征,如图 3所示。以3×3窗口为例,g_c为中心像素值,g₁,g₂,g₃,g₄,g₅,g₆,g₇,g₈为邻域像素,C₁,C₂,C₃,C₄,C₅,C₆,C₇,C₈为用于存放邻域像素的矩阵,称为邻域矩阵。首先将中心像素值与邻域像素值进行如式(3)运算。其中,s(x)为二值函数如式(2)所示,若邻域像素值比中心像素值大记为1,否则记为0。例如,若g₁大于g_c则g_1c为1,若g₁小于或等于g_c则g_1c为0。再将g_1c,g_2c,g_3c,g_4c,g_5c,g_6c,g_7c,g_8c分别存放在8个邻域矩阵C₁,C₂,C₃,C₄,C₅,C₆,C₇,C₈中,即g_1c存放在C₁中,g_2c存放在C₂中,以此类推,g_8c存放在C₈中。最后将矩阵C₁,…,C₈相互之间求相似性矩阵如式(4)所示。

${{g}_{ic}}=s\left( {{g}_{i}}-{{g}_{c}} \right)\text{ }\left( i=1,2,\ldots ,8 \right)。$

(3)

将图像中的值进行式(3)和(2)运算之后,可知图像少了两行和两列,比如原图像为256×256,运算之后大小为254×254。其原因可由图 3解释。当3×3窗口移动到边界时,可知上下左右两行两列的边界值信息运算后将置于矩阵C_i中,所以图像进行式(2)和(3)运算后少了两行和两列。

${{M}_{ij}}\left( x,y \right)={{C}_{i}}\left( x,y \right)\circ \text{ }{{C}_{j}}\left( x,y \right),$

(4)

其中,i,j=1,2,…,8(i≠j);$\circ $ 表示两像素之间的运算符,这里表示异或运算。M_ij为相似性矩阵,表示C_i与C_j之间的相似性。计算矩阵之间相似性方法为将C_i与C_j对应位置的元素进行异或运算,保存于M_ij中。异或运算存在4种情况(1 0),(0 1),(1 1),(0 0)。当为(1 0)和(0 1)两种情况进行运算时值为1,否则为0。比如:(C_i(x,y)=1,C_j(x,y)=0)或(C_i(x,y)=0,C_j(x,y)=1)时,进行相似性计算后M_ij(x,y)=1,否则M_ij(x,y)=0。由于两矩阵对应像素值进行异或运算,所以矩阵C_i与C_j求出的M_ij和矩阵C_j和C_i求出的M_ji是相同的,即无位置先后顺序,所以i≠j。

归一化方法如式(5)所示,

${{m}_{ij}}=\frac{\sum\limits_{ii=0}^{M\times N-1}{{{I}_{ij}}\left( ii \right)}}{M\times N},$

(5)

其中,I_ij(ii)=M_ij(x,y),即I_ij(ii)为M_ij矩阵的像素值,I_ij(ii)=1或0。M,N为图像宽、高。统计M_ij(x,y)中1的个数与图像所有像素的比作为m_ij,将任意两矩阵(已有的除外)进行式(4)与(5)运算后合成特征向量

${{R}_{n}}=\{{{m}_{ij}}\}\left( i=1,\cdots ,n,j=1,2,\cdots ,8\left( i\ne j \right) \right),$

(6)

其中,R_n由m_ij组成的集合,比如R₁=｛m₁₂,m₁₃,m₁₄,m₁₅,m₁₆,m₁₇,m₁₈｝,R₂=｛m₁₂,m₁₃,m₁₄,m₁₅,m₁₆,m₁₇,m₁₈,m₂₃,m₂₄,m₂₅,m₂₆,m₂₇,m₂₈｝,所以由此可推出特征值的个数k_n为nj-(1+n)n/2。由此,k₁=7,k₂=13,k₃=18,k₄=22,k₅=25,k₆=27,k₇=28。由此可知,提取图像的特征值个数不多,但其特征值包含的图像信息权重较大。正因为误差分散类半色调图像很相似,所以将相似性作为特征值最具代表性。提出的方法不仅考虑了图像的局部信息,而且还兼顾了全局信息。

提出的NSD算法描述如下:

Step 1 输入半色调图像f;

Step 2 以某一像素g_c为中心像素,以g₁,g₂,…,g₈为其余8个像素点的灰度值,将g₁,g₂,…,g₈依次与g_c的灰度值进行公式(2)和(3)运算保存至邻域矩阵C₁,C₂,C₃,C₄,C₅,C₆,C₇,C₈中;

Step 3 进行式(4)运算求出特征值M_ij;

Step 4 进行式(5)与(6)运算,即获得纹理特征向量R_n。

3 试验 3.1 试验环境

本试验在Windows 7操作系统环境下进行,采用VC6.0结合OpenCV 1.0 及MATLAB 7.11进行编程。误差分散类图像由VC6.0结合OpenCV 1.0产生,特征值的提取使用MATLAB 7.11生成。通过对半色调方法产生的6种误差分散类图像库中,每一类随机取出1 000副图像通过NSD算法提取特征向量R_n。从1000个特征向量中随机抽取600个作为训练样本,剩余400个作为测试样本进行分类。

为验证提出方法的有效性,采用BP神经网络对纹理特征进行分类,通过分类精度测试方法的性能。

3.2 试验结果

为验证提出方法的有效性,选取不同的样本运行M次分类程序(取M=15),计算平均分类正确率r_v的总平均分类正确率R_ave如式(9)所示,将第i次运行的6类平均分类正确率记为r_vi。由于针对6类误差分散类进行分类,所以类别数为6。R_ave作为分类器性能的度量标准,R_ave越大说明分类器性能越好。其中,0≤r_v≤100％,r_vmin≤R_ave≤r_vmax。

${{r}_{j}}=\frac{{{n}_{j}}-{{m}_{j}}}{{{n}_{j}}}\times 100%,$

(7)

${{r}_{v}}=\frac{1}{N}\sum\limits_{j=1}^{N}{{{r}_{j}}},$

(8)

${{R}_{ave}}=\frac{1}{M}\sum\limits_{i=1}^{M}{{{r}_{vi}}}。$

(9)

为验证性能的有效性,将其他类似方法与本研究提出的方法都在相同图像库中进行试验比较。类似方法有:LBP、灰度共生矩阵(gray level co-occurrence matrix,GLCM)、像素相关算子(pixel correlation operator,PCO)、自相关函数(autocorrelation function,AF)、像素相关算子与旋转不变的局部二值化模式相结合(LBP+PCO,LPCO)、LMS、Gabor,具体描述如表 2所示。计算时间比较如表 3所示。

分析表 3可知,本研究提出方法的R_ave最高,LPCO方法的计算时间最少。主要原因是:常用的6种误差分散类半色调图像的纹理特征不明显,LMS+Bayes和AF方法都很难做出正确的判决;GLCM通过计算灰度的特征,如角二阶矩、对比度、相关度、熵等值作为图像的特征值。这些特征从不同方面反应了图像的一些特性,比如图像的灰度分布均匀程度、纹理的均匀性、图像清晰度、纹理粒度、纹理的沟纹深浅等。半色调图像的纹理差别不明显,所以这些特性的区别也不明显,并且计算这些特征值比较耗时。GLCM的分类效果也不太明显;LBP在应用于半色调图像特征提取时,由于半色调图像只有0和1二值,当中心像素值为1时,8邻域都为0,只有当中心像素值为0时,才会有1~255的像素值存在,所以在二值化图像中直接使用LBP方法具有局限性。若图像中1的像素值比较多,则图像的分类性能将会降低很多。PCO仅考虑像素之间的相关性,当L取值越大时,漏掉的信息越多,分类性能会降低。LPCO比PCO分类性能更好,因为LBP考虑了中心像素的8邻域,再结合PCO运算,该方法比PCO涉及到的像素相关性更多,所以LPCO性能比PCO和LBP更好一些。Gabor虽然兼顾局部和全局特征,但效果很不明显,主要原因是Gabor增强边缘信息,而半色调图像的边缘信息基本是一致的。因此,提出方法更有利于提高半色调图像分类的性能。

将本研究提出方法与LBP方法进行更详细地比较。同样,本试验在同一图像库中进行,都采用BP神经网络进行分类。本研究提出方法采用半径为1,邻域个数为8提取特征与现有5种LBP方法比较,如表 4所示。第一种方法:使用传统的LBP对半色调图像进行建模,其中半径为1,邻域个数为8,特征值有2⁸个,记为LBP_(8,1)。第二种方法:使用均匀LBP对半色调图像进行建模,其半径为1,邻域个数为8,记为LBP_-u_(8,1)。在LBP二进制数中,0到1和1到0的跳变总数不超过两次。在局部纹理描述上取得了较好的描述效果,因为即使采样半径与周围像素点个数不同但其各种模式占据了图像中所有模式的绝大部分(50％～95％),经过LBP_-u_(8,1)后,特征向量包含59个特征值。第三种方法:使用均匀旋转不变LBP对半色调图像进行建模,其半径为1,邻域个数为8,记为LBP_-riu_(8,1)。经过LBP_-riu_(8,1)后,特征向量包含有10个特征值。第四种方法:使用均匀旋转不变LBP对半色调图像进行建模,其半径为2,邻域个数为16,记为LBP_-riu_(16,2)。经过LBP_-riu_(16,2)后,特征向量包含18个特征值。第五种方法:使用均匀旋转不变LBP对半色调图像进行建模,其半径为3,邻域个数为24,记为LBP_-riu_(24,3)。经过LBP_-riu_(24,3)后,特征向量包含26个特征值。

表 4为各种LBP算法的R_ave和计算时间比较。由表 4可知,LBP_-riu_(8,1)计算时间最少,其原因是特征值最少,只有10个,其分类性能不佳。LBP_(8,1)特征值最多达256个,但用于误差分散类半色调图像的分类性能并不好。由此表明,提出方法比LBP更好一些。

试验中,式(4)中求矩阵的相似性采用异或运算,也可采用同或运算。两种运算的试验比较如表 5所示。分析表 5可知,异或的效果优于同或,且单幅图像计算时间较少。主要原因是,误差分散类半色调图像只有0和1二值,纹理特征不明显。将8个邻域值与中心像素值进行比较时,若中心像素值为1,则8个邻域值都为0;只有当中心像素值为0时,8个邻域值才保持不变,所以在求两矩阵的相似性时,实际是求8邻域值之间的相似性。异或运算更具代表性,而同或运算会导致相似矩阵中的0个数增多,因而同或运算产生的统计个数增大,计算时间也会增加。故实验中采用异或运算。

3.3 试验验证

提出算法式(4)中图像的特征值是通过计算两矩阵的相似性获得,下面将研究特征值与分类性能的关系。不同k_n值下的R_ave和计算时间如表 6所示。k_n分别取k₁=7,k₂=13,k₃=18,k₄=22,k₅=25,k₆=27,k₇=28。

分析表 6可知,k₄的分类效果最好,分类精度高达97.167％。开始随着特征值的增多,R_ave增大;但在k₄后,随着特征值增多,R_ave下降。算法的计算时间随着特征值的增多而增加。

按常理应该是正确分类精度随着特征值增多而增大,但表 6情况不然,现对表 6结论进行试验研究。

试验中,用邻域矩阵C_i分别与其他7个矩阵求相似性,共7个相似性特征值,以此来构造特征向量。8个矩阵可构造8个特征向量,称为相似性特征向量,分别用m_1j,m_2j,…,m_8j表示。分别以这些特征向量作为分类器的输入来获取分类正确率,其结果如表 7所示。

表 7表明,不同的相似性特征向量将导致不同的R_ave和不同的计算时间。m_3j分类效果最好,计算时间较少,验证了表 6中k₄的效果最好,而不是特征值最多效果最好。所以在本研究提出方法中,应先获取以每个矩阵C_i为主矩阵与其他矩阵的相似性作为特征向量的分类准确度,选择分类准确度高的特征向量R_n作为最终特征向量而计算平均分类准确度,这样既提高分类精度,也减少时间开销。通过上述方法获得的相似性特征向量具有较大的差异,图 5给出了6种误差分散类半色调图像的C_i(对应图 1由左至右由上至下)。由图 5可知,6种类型的M₂,M₄,M₅和M₇纹理比较明显,即与其他矩阵的差异较大,所以这4个矩阵作为相似性特征时正确分类率比较低,这也解释了表 6中R_ave并不是随着特征维数越大分类精度越高的现象。

4 结语

针对误差分散类半色调图像的分类问题,对半色调图像特征本研究方法进行了研究,提出一种像素相似性描述子方法。由于考虑了局部和全局信息,所以提出方法能提高分类精度。另外,利用邻域矩阵之间的相似性特征向量可降低特征维数,特征维数为7～28。试验表明,在现所选取的样本中特征维数为22时,正确分类精度可高达97.167％,计算时间为0.1634s;当特征维数为7时,正确分类精度能达到91.667％,计算时间为0.0993s。大量的试验比较和分析表明本研究提出的方法是有效的。本研究提出方法的不足之处在于具体的特征维数与所采集的样本有关,但与前人提出的特征提取方法相比,从128维降低到了最多28维,减少了内存,在实际的特征提取应用中具有重要的意义与价值。本研究提出方法的方法提高了分类的准确性并降低了维度,但实际上半色调图像分类研究还需要进一步研究。今后对于不同图像库将下选取一种更有效的确定半色调图像特征维数的方法进行研究。