Pitanje iz entropije

Pitanje iz entropije

offline
  • Pridružio: 01 Mar 2005
  • Poruke: 172
  • Gde živiš: MUNZE KONZA AL'ZA LOMA

Da li bi neko mogao da mi objasni zasto je u prvom iskazu entropija veca nego u drugom

H(0,2;0,2;0,2;0,2;0,2) = - 0,2/0,301 · (5 · log0,2) =
-0,664 · (-3,495) = 2,321

H(0,2;0,2;0,2;0,1;0,3) = 1,3926 + (-0,1/0,301 · log0,1 - 0,3/0,301 · log0,3) = 1,3926 + (- 0,332 · (-1) - 0,997 · (-0,5229) )= 1,3926 + 0,332 + 0,521 = 2,2456



Unpred hvala svima



Registruj se da bi učestvovao u diskusiji. Registrovanim korisnicima se NE prikazuju reklame unutar poruka.
offline
  • Blshka 
  • Zaslužni građanin
  • Pridružio: 23 Maj 2003
  • Poruke: 590

heheh pogledas i vidis Smile
Pa mozda zato sto ti u drugom primeru nemaju svi elementi istu verovatnocu pojavljivanja, a vrednost logaritama vece verovatnoce daje manji broj nego logaritam manje verovatnoce.
sta ti je u stvari log0.1? ako me pamcenje dobro sluzi to je log(1/10)=(log1-log10) pa cim imas vecu verovatnocu manji ti je logaritam.

A iz manje entropije ti sledi da imas vise redudantnih bitova u drugom primeru. Wink

jesam li omasila temu?
ili postoji mozda bolje objasnjenje? Very Happy



offline
  • Pridružio: 01 Mar 2005
  • Poruke: 172
  • Gde živiš: MUNZE KONZA AL'ZA LOMA

Hvala svaka pomoc je dobro dosla

offline
  • Pridružio: 07 Mar 2004
  • Poruke: 34

1. Logaritam osnove 2

da bi to izracunao moras znati da izracunas logaritme osnove 2 posto se oni koriste u teroji informacija. ovo je zato sto se informacija meri u kolicini bitova a oni mogu da imaju 2 stanja. dakle log_2 je:

log_2(x) = ln(x)/ln(2) (gde je log_2 logaritam baze 2, a ln prirodni logaritam)

2. Entropija

entropija je mera za kolicinu informacija koju neka poruka nosi i racuna se po sledecoj formuli:

H(1/n, 1/n, ..., 1/n) = - sum(1/n * log_2(1/n))

1/n su verovatnoce pojavljivanja odedjenog signala u poruci. kada se to sve primeni na tvoj problem dobijes sledece vrednosti:

a)
H(0,2;0,2;0,2;0,2;0,2) = -5 * (0.2 * log_2(0.2))
= -5 * (0.2 * -2.3219) =
= 2.3219

b)
H(0,2;0,2;0,2;0,1;0,3) = -(3 * 0.2 * log_2(0.2) +
+ 0.1 * log_2(0.1) + 0.3 * log_2(0.3)) =
= -(-1.3932 - 0.3322 - 5211) =
= 2.2464

Ko je trenutno na forumu
 

Ukupno su 491 korisnika na forumu :: 9 registrovanih, 0 sakrivenih i 482 gosta   ::   [ Administrator ] [ Supermoderator ] [ Moderator ] :: Detaljnije

Najviše korisnika na forumu ikad bilo je 3466 - dana 01 Jun 2021 17:07

Korisnici koji su trenutno na forumu:
Korisnici trenutno na forumu: A.R.Chafee.Jr., bato, Djole, kos milorad, novator, ozzy, Toni, Trpe Grozni, W123