基于深度机器学习模型的信道译码算法研究

作者：胡超超

来源：《中国新通信》 2018年第15期

【摘要】 基于深度学习的方法在拥有了强大计算性能的GPU、先进的模型训练方法和网络结构之后，在图像处理、机器翻译以及语音识别等领域中取得极为重大的进展。本文尝试将深度学习的方法应用到通信领域，并对通信中的编码、解码问题进行研究与探讨。

【关键词】 深度学习 机器学习 编解码

一、神经网络译码概述

McCulloch 和Pitts 在分析、总结神经元基本特性的基础上，率先提出用神经元的数学模型来解决问题[1]。但是值到反向传播算法[2] 出现之后，才使神经网络有了具体的应用场景。1、Hopfield 网络。Hopfield 网络是一种早期的神经网络形式，类似于采用最大似然译码线性分组纠错码：错误的码字将收敛到Hopfield 网络最为接近的稳定状态，也即Hopfield 网络所代表最为可能的码字。最大似然译码的一种实现方式是：计算一个码字与全部码字之间的相关性。对于长度为k 的码字，译码复杂度为O(2^k)。2、前馈神经网络。由于Hopfield 网络存储容量低，随后被可以在噪声输入模式和码字之间进行适当映射的前馈神经网络替代。上世纪90年代，围绕使用神经网络来解码出现了众多思路。诸如：用输出结点来代表码字的比特位，也可以用一个输出结点来代码一个码字；对于汉明编码，另外一种变形是将汉明编码输入到神经网络，并且通过这种方式来寻找最可能出现错误的模式。3、深度神经网络。由于神经网络标准训练方式的，神经网络的层数、每层网络神经元的个数都不能太大，从而不适合训练较长码字。传统的神经网络译码器在译码分组码和卷积码的性能都没有取得很大的突破。在2006 年，一种无监督的逐层预训练加上梯度下降的训练方式引起了神经网络的复兴，因为这种方式使得神经网络模型深度可更深。机器学习领域取得的新进展并没有完全应用到译码这一方向，因此本文后续内容将论证这些新进展应用到译码的可行性。

二、深度机器学习译码理论

深度学习理论在《Deep Learning》中有详细论述。为了描述的完整性和更好地介绍使用神经网络来进行信道编码和译码，文章将会简要解释其中的主要思路和概念。神经网络由许多相互连接的神经元组成。一个神经元会将与它连接的权重相加，也可以选择再加一个偏置值，相加的结果再通过一个非线性的激活函数。例如这个激活函数可以是sigmoid或者ReLU：

如果各层神经元之间的没有相互反馈的连接，就称这样的神经网络为前向神经网络，因为神经元的输出没有作用到输入。对于神经网络的每层i，有ni 个输入、mi 个输出；v作为神经网络的输入、w 作为神经网络的输出，输入- 输出的映射可以定义为以下的链式方程：

其中L 表示神经网络的层数。神经网络的目标是：寻找训练过程中未出现过的输入与其相互匹配的输出。

三、深度机器学习译码结构

在本文的研究中，使用神经网络来译码有噪音的码字。在发送处，长度为k 的码字被编码为长度为N 的码字；在接收处，接收的是有噪音的码字，而译码器的任务就是根据有噪音的码字来译出相应的原始码字。相比于迭代译码，神经网络译码时每个码字只需经过每层网络一次。

而这一译码方案在模型参数确定之后，就使译码过程时延更短。在机器学习领域，获取有标签的训练集是极其花费时间的工作。然而使用深度机器学习译码是极为特殊的，因为在确定待译码字的结构之后，码字可由人为产生，省去了标记数据的环节。因而译码网络有足够的码字来充分训练模型参数。此外，对于一个给定的输入，通过神经网络的输出也是已知的。为了实验的简便起见，使用了二进制相移模块和增加了加性高斯白噪声的信道，其他信道采用不加噪声直连的方式。

四、实验设计

为了使训练集足够小，模型采用附加调制层和噪音层的形式来扩展神经网络。这些附加层没有额外可训练参数，只模拟信号传输过程中产生的噪声，并将该值传输到结点下一层。附加层的出现，使模型不用保存相同码字的不同噪音版本，而只需利用无噪音版本的码字来进行后续操作。因此，

结论：为了验证深度机器学习译码的可行性，实验对比：

(1) 在相同模型结构的条件下，深度机器学习解码结构性编码，如ldpc 码，比解码随机码性能要好。说明深度机器学习译码模型能够从训练集中得到ldpc 码的结构性信息；(2) 在模型结构整体连接关系相同的条件下，更深的译码网络层次具有更好的译码性能；(3) 在相同模型结构的条件下，部署在Tensorflow 的GPU 版本比CPU 版本的训练速度更为迅速，说明模型在数据并行的训练条件下能够得到更快的收敛速度。

(4) 在模型译码之前加入MMSE 层可以提升译码准确率。