Теория информации

Таблица 1.1 Таблица значений функции η(p)= -p log 2 p p -p log 2 p p -p log 2 p p -p log 2 p p -p log 2 p 0,01 0,0664 0,26 0,5053 0,51 0,4954 0,76 0,3009 0,02 0,1128 0,27 0,5100 0,52 0,4906 0,77 0,2903 0,03 0,1518 0,28 0,5142 0,53 0,4854 0,78 0,2796 0,04 0,1858 0,29 0,5179 0,54 0,4800 0,79 0,2687 0,05 0,2161 0,30 0,5211 0,55 0,4744 0,80 0,2575 0,06 0,2435 0,31 0,5238 0,56 0,4685 0,81 0,2462 0,07 0,2696 0,32 0,5260 0,57 0,4623 0,82 0,2348 0,08 0,2915 0,33 0,5278 0,58 0,4558 0,83 0,2231 0,09 0,3126 0,34 0,5292 0,59 0,4491 0,84 0,2112 0,10 0,3322 0,35 0,5301 0,60 0,4422 0,85 0,1992 0,11 0,3503 0,36 0,5306 0,61 0,4350 0,86 0,1871 0,12 0,3671 0,37 0,5307 0,62 0,4276 0,87 0,1748 0,13 0,3826 0,38 0,5304 0,63 0,4199 0,88 0,1623 0,14 0,3971 0,39 0,5298 0,64 0,4121 0,89 0,1496 0,15 0,4105 0,40 0,5288 0,65 0,4040 0,90 0,1368 0,16 0,4230 0,41 0,5274 0,66 0,3957 0,91 0,1238 0,17 0,4346 0,42 0,5256 0,67 0,3871 0,92 0,1107 0,18 0,4453 0,43 0,5236 0,68 0,3784 0,93 0,0974 0,19 0,4552 0,44 0,5210 0,69 0,3694 0,94 0,0839 0,20 0,4644 0,45 0,5184 0,70 0,3602 0,95 0,0703 0,21 0,4728 0,46 0,5153 0,71 0,3508 0,96 0,0765 0,22 0,4806 0,47 0,5120 0,72 0,3412 0,97 0,0426 0,23 0,4877 0,48 0,5083 0,73 0,3314 0,98 0,0286 0,24 0,4941 0,49 0,5043 0,74 0,3215 0,99 0,0144 0,25 0,5000 0,50 0,5000 0,75 0,3113 1.1.2.1. Энтропия сложной системы Ранее мы рассмотрели одну систему, а как быть, если имеем дело со сложной системой, представляющей собой соединение нескольких простых систем. Например , пусть имеется сложная система, состоящая из двух систем X и Y : X=(x 1 , …x i , …, x n ) и Y=(y 1… ,y j , … y m ). Чему будет равняться энтропия сложной системы H(x,y)? При этом могут быть две ситуации. Системы X и Y могут быть независимыми или зависимыми.