互音讯量I(xi,l  离散连串信道及其容量

互音信(Mutual
Information)是胸襟五个事件集合之间的相关性(mutual
dependence)。

第3章信道与信道容量

平均互音讯量定义:

l  信道的数学模型及其分类

图片 1

l  离散单个标志信道及其容量

互信息量I(xi;yj)在协同概率空间P(XY)中的总结平均值。 平均互消息I(X;Y)打败了互音讯量I(xi;yj)的随机性,成为一个确定的量。

l  离散连串信道及其容量

平均互音信量的情理意义

l  连续信道及其容量

 图片 2

 

1) 观望者站在输出端:

一.信道的数学模型

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示接到变量Y后,对自由变量X如故存在的不确定度。代表了在信道中损失的音信。

1.        信道

H(X) —X的先验不确定度/无条件熵。

新闻传输的媒人或通道

I(X;Y)—收到Y前后关于X的不确定度缩短的量。从Y得到的关于X的平分信息量。

图片 3

 

2.        信道的要紧问题

2)观望者站在输入端:

a)        信道的建模:其总括特性的叙说

H(Y/X)—噪声熵。表示发出随机变量X后, 对自由变量Y依旧存在的平分不确定度。假若信道中不设有任何噪声, 发送端和接收端必存在确定的对应关系, 发出X后必能确定相应的Y, 而现在不可能一心确定相应的Y, 这肯定是由信道噪声所引起的。

b)        信道传输信息的能力及其总括

I(Y;X) —发出X前后关于Y的先验不确定度减弱的量.

c)        有噪信道中能不可以促成可靠才传输?怎么落实?

 

3.        信道输入输出个数

3)观望者站在通信系统总体立场上:

单用户、多用户

H(XY)—联合熵.表示输入任意变量X, 经信道传输到达信宿, 输出随机变量Y。即收,发双方通信后,整个系统还是存在的不确定度.

4.        输入端和出口端关系

I(X;Y) —通信前后整整系统不确定度缩短量。在通信前把X和Y看成多少个相互独立的随机变量, 整个系统的先验不确定度为X和Y的一块儿熵H(X)+H(Y); 通信后把信道两端出现X和Y看成是由信道的传递总括特性联系起来的, 具有一定总括关联关系的五个随机变量, 这时整个系统的后验不确定度由H(XY)描述。

无反馈、有反馈

上述二种不同的角度注脚: 从一个风波得到另一个轩然大波的平均互消息需要消除不确定度,一旦消除了不确定度,就得到了音信。

5.        噪声序列

 

随机差错、突发差错

平均互信息量的属性

6.        输入输出事件的时日特性和聚众的特点

① 对称性

a)        离散信道:输入、输出的年华、幅度上都离散

I(X;Y)= I(Y;X)

b)        连续信道:幅度连续,时间离散

由Y提取到的有关X的消息量与从X中领到到的关于Y的音信量是同一的。 I(X;Y)和 I(Y;X)只是观望者的立场不同。

c)        半连续:输入和输出一个离散一个连接

② 非负性

d)        波形信道:输入和出口都是接二连三随机信号,时间总是,幅度连续

I(X;Y)≥0

7.        信道参数与时间的涉及

平均互信息量不是从三个具体音信出发, 而是从随机变量X和Y的共同体角度出发, 并在平均意义上考察问题, 所以平均互消息量不会出现负值。

恒参、随参

或者说从一个风波提取关于另一个风波的音信, 最坏的气象是0, 不会由于知道了一个事件,反而使另一个事变的不确定度扩张。

8.        按信道接入情势分

③ 极值性

a)        多元过渡信道

I(X;Y)≤H(X)

b)        广播信道

I(Y;X)≤H(Y)

9.        依据信道的记得特性

从一个轩然大波提取关于另一个轩然大波的音信量, 至多是另一个事件的熵那么多, 不会超越另一个事变我所含的信息量。

a)        无记念信道:信道输出仅与眼前的输入有关

当X和Y是逐一对应涉及时: I(X;Y)=H(X), 这时H(X/Y)=0。从一个风波可以充分得到有关另一个轩然大波的音讯, 从平均意义上的话, 代表信源的新闻量可全体经过信道。

b)        有记念信道:信道输出不仅与如今输入有关,还与过去的输入有关

当X和Y相互独立即: H(X/Y) =H(X),
I(Y;X)=0。 从一个事变无法博取另一个风波的此外音讯,这等效于信道中断的情状。

10.    信道参数

④ 凸函数性

1)        输入矢量X=(x1,x2,…,xi,…), 

平均互信息量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

xi∈A={a1,a2,…,an}

若固定信道,调整信源, 则平均互信息量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

2)        输出矢量Y=(y1,y2,…,yi,…),

若固定信源,调整信道, 则平均互音信量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

yj∈B={b1,b2,…,bm}

平均互音讯量I(X;Y)是输入信源概率分布p(xi)的上凸函数(concave function; or
convext cap function)。

3)        信道参数

平均互新闻量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数(convext function; or
convext cup function)。

a)        输入输出之间的总括看重关系p(Y/X)

⑤ 数据处理定理

图片 4

串联信道

b)        信道转移概率

在有些实在通信系统中, 平日出现串联信道。例如微波中继接力通信就是一种串联信道.

4)        本章介绍

信宿收到数额后再拓展多少处理, 数据处理系统可看作一种信道, 它与前边传输数据的信道构成串联信道。

a)        无搅扰信道

数码处理定理:当音讯经过一体系处理后,随着电脑数目标充实,输入新闻与出口音讯之间的平分互新闻量趋于变小。即

b)        有搅扰无记念信道

I(X;Z)≤I(X;Y)

c)        有搅和有回忆信道

I(X;Z)≤I(Y;Z)

二.信道

中间倘若Y条件下X和Z相互独立。

1. 无打扰信道

两级串联信道输入与出口音讯之间的平分互音讯量既不会超越第Ⅰ级信道输入与出口信息之间的平均互音讯量,也不会领先第Ⅱ级信道输入与出口信息之间的平均互音信量。

信道中不设有任意苦恼或者擅自苦恼很小可以略去不计,信道的输出信号Y与输入信号X之间有确定的关联Y=f(X)。已知X后,确知Y,此时,转移概率为

当对信号/数据/音讯进行一体系处理时, 每处理一回, 就有可能损失一部分音信, 也就是说数据处理会把信号/数据/信息成为更使得的情势, 可是绝不会成立出新的消息。这就是所谓的音信不增原理。

图片 5

当已用某种模式赢得Y后, 不管咋样对Y举办拍卖, 所获得的信息不会抢先I(X;Y)。每处理几回, 只会使信息量缩小, 至多不变。也就是说在此外音信流通序列中, 最后拿到的音讯量,至多是信源提供的信息。一旦在某一历程中丢掉了一些音讯, 未来的系统不管如何处理, 如若不可以接触到丢失消息的输入端, 就无法再回复已不见的新闻。

2. 有搅扰无回想信道

(1).概念

信道中设有任意搅扰,输出符号与输入符号之间无规定的应和关系,不过,信道中任一时刻的出口符号仅总结依赖于对应时刻的输入符号

图片 6

无记念:每个输出只与当下输入之间有转移概率关系,与此外非该时刻的输入、输出都无关

题材简化

不需要矢量格局,只需分析单个符号的变换概率p(yj/xi)即可

(2).种类

1)        二进制离散信道BSC

图片 7

输出比特仅与对应时刻的一个输入比特有关,与原先的输入比特无关

图片 8

2)        离散无记念信道DMC(Discrete memoryless channel)

对擅自N长的输入、输出连串,有

图片 9

在任啥时候刻信道的出口只与此时的信道输入有关,而与往日的输入无关

还满足

 图片 10

即,转移概率不随时间变化,祥和的或恒参

DMC的转换概率矩阵

图片 11

3)        离散输入、连续输出信道

点滴的、离散的输入符号集X∈{a1,a2,…,an},输出未经量化,实轴上的任意值Y∈{-∞,
∞}

离散时间无回想信道,其特色由离散输入X、连续输出Y、一组条件概率密度函数PY(y/X=ai)决定。

特例:

加性高斯白噪声AWGN信道Y=X+G

G:白噪声,(0,σ2)

当X=ai给定后,Y是一个均值为ai,方差为σ2的高斯随机变量

4)        波形信道

信道的输入输出:取值连续的一维随机过程{x(t)}和{y(t)},带宽受限fm
、寓目时间受限tB

离散化,L=2*fm* tB

时刻离散、取值连续的安澜随机系列X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

波形信道→多维连续信道

多维连续信道转移密度函数

   pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)

图片 12

Ø  考虑AWGN信道

y(t)=x(t)+n(t) 信号和噪音相互独立

   pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)

图片 13

信道的转换概率密度函数=噪声的概率密度函数

图片 14

Ø 
表明:条件熵Hc(Y/X)是由噪声引起的,等于噪声熵Hc(n),所以它被称呼噪声熵。

Ø  紧要探究加性、高斯白噪信道

3. 有搅和有记念信道

1)        实际信道

2)        处理困难

3)        处理措施

4)        将以及很强的L个符号当矢量符号,各矢量符号间作为无记念

5)        将转移概率p(Y/X)看成马克ov链的花样,回忆有限

特例:二进制对称信道BSC

图片 15

信道的互信息量:

 图片 16

二元对称信道的平分互音信为 

图片 17                    

分析:

a)        固定信道时的平分互音信

当信道固定,即p为一个恒定常数时,可得出I(X;Y)是信源分布的上凸函数

图片 18

对于固定的信道,输入符号集X的概率分布不同时,在接收端平均每个符号所得到的信息量就不同

当输入符号为等概率分布时,平均互消息量I(X;Y)为最大值,这时,接收每个符号所拿到的新闻量最大。

这是钻探信道容量的根底

b)       固定信源分布时的平均互音讯

当固定信源的概率分布时,则平均互音讯I(X;Y)是信道特性p的下凸函数

图片 19

当二元信源固定后,改变信道特性p可拿到不同的平分互音讯 I

p=0.5时,I(X;Y)=0。即在信道输出端拿到的信息最小,这象征信源的音信全体损失在信道中,这是一种最差的信道,其噪音最大

这是信息率失真论的根基

信道容量

l  信道的信息传输率

n  R=I(X;Y)=H(X)-H(X/Y)  比特/符号

l  信息传输速率

信道在单位时间内平均传输的信息量定义为音讯传输速率

Rt=I(X;Y)/t  比特/秒

l  信道容量

图片 20

n  I(X;Y)的尺度极大值

n  单位:比特/符号(bits/symbol或bits/channel use)

l  C的含义

对此一个固定的信道,总存在一种信源概率分布,使传输每一个标记平均拿到的信息量,即平均互信息I(X;Y)最大,而相应的概率分布p(x)称为一级输入分布

信道容量C仅与信道的总括特性有关,即与信道传递概率矩阵有关,而与信源分布无关

平均互音信I(X;Y)在数值统计上显现为输入分布p(x)的上凸函数,所以存在一个使某一特定信道的音讯量达到极大值信道容量C的信源。

信道容量表征信道传送音讯的最大能力。实际中信道传送的音讯量必须低于信道容量,否则在传递过程校官会并发错误。

l  两种卓殊的信道

图片 21

无噪无损信道

• XY次第对应

• C=maxI(X;Y)=log n

无噪有损信道

• 三个输入变成一个输出:

• C=maxI(X;Y)=maxH(Y)

有噪无损信道

• 一个输入对应多少个出口

• C=maxI(X;Y)=maxH(X)

 

l  对称DMC信道的C

对称DMC信道定义

输入对称

假诺转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称

出口对称

万一转移概率矩阵P的每一列都是首先列的交换(包含同样元素),称该矩阵是出口对称

对称的DMC信道:输入、输出都对称