Pitanje iz entropije

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Da li bi neko mogao da mi objasni zasto je u prvom iskazu entropija veca nego u drugom

H(0,2;0,2;0,2;0,2;0,2) = - 0,2/0,301 · (5 · log0,2) =
-0,664 · (-3,495) = 2,321

H(0,2;0,2;0,2;0,1;0,3) = 1,3926 + (-0,1/0,301 · log0,1 - 0,3/0,301 · log0,3) = 1,3926 + (- 0,332 · (-1) - 0,997 · (-0,5229) )= 1,3926 + 0,332 + 0,521 = 2,2456



Unpred hvala svima

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

heheh pogledas i vidis
Pa mozda zato sto ti u drugom primeru nemaju svi elementi istu verovatnocu pojavljivanja, a vrednost logaritama vece verovatnoce daje manji broj nego logaritam manje verovatnoce.
sta ti je u stvari log0.1? ako me pamcenje dobro sluzi to je log(1/10)=(log1-log10) pa cim imas vecu verovatnocu manji ti je logaritam.

A iz manje entropije ti sledi da imas vise redudantnih bitova u drugom primeru.

jesam li omasila temu?
ili postoji mozda bolje objasnjenje?

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Hvala svaka pomoc je dobro dosla

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

1. Logaritam osnove 2

da bi to izracunao moras znati da izracunas logaritme osnove 2 posto se oni koriste u teroji informacija. ovo je zato sto se informacija meri u kolicini bitova a oni mogu da imaju 2 stanja. dakle log_2 je:

log_2(x) = ln(x)/ln(2) (gde je log_2 logaritam baze 2, a ln prirodni logaritam)

2. Entropija

entropija je mera za kolicinu informacija koju neka poruka nosi i racuna se po sledecoj formuli:

H(1/n, 1/n, ..., 1/n) = - sum(1/n * log_2(1/n))

1/n su verovatnoce pojavljivanja odedjenog signala u poruci. kada se to sve primeni na tvoj problem dobijes sledece vrednosti:

a)
H(0,2;0,2;0,2;0,2;0,2) = -5 * (0.2 * log_2(0.2))
= -5 * (0.2 * -2.3219) =
= 2.3219

b)
H(0,2;0,2;0,2;0,1;0,3) = -(3 * 0.2 * log_2(0.2) +
+ 0.1 * log_2(0.1) + 0.3 * log_2(0.3)) =
= -(-1.3932 - 0.3322 - 5211) =
= 2.2464