Pitanje iz entropije

Pitanje iz entropije

offline
  • Pridružio: 01 Mar 2005
  • Poruke: 172
  • Gde živiš: MUNZE KONZA AL'ZA LOMA

Da li bi neko mogao da mi objasni zasto je u prvom iskazu entropija veca nego u drugom

H(0,2;0,2;0,2;0,2;0,2) = - 0,2/0,301 · (5 · log0,2) =
-0,664 · (-3,495) = 2,321

H(0,2;0,2;0,2;0,1;0,3) = 1,3926 + (-0,1/0,301 · log0,1 - 0,3/0,301 · log0,3) = 1,3926 + (- 0,332 · (-1) - 0,997 · (-0,5229) )= 1,3926 + 0,332 + 0,521 = 2,2456



Unpred hvala svima



Registruj se da bi učestvovao u diskusiji. Registrovanim korisnicima se NE prikazuju reklame unutar poruka.
offline
  • Blshka 
  • Zaslužni građanin
  • Pridružio: 23 Maj 2003
  • Poruke: 590

heheh pogledas i vidis Smile
Pa mozda zato sto ti u drugom primeru nemaju svi elementi istu verovatnocu pojavljivanja, a vrednost logaritama vece verovatnoce daje manji broj nego logaritam manje verovatnoce.
sta ti je u stvari log0.1? ako me pamcenje dobro sluzi to je log(1/10)=(log1-log10) pa cim imas vecu verovatnocu manji ti je logaritam.

A iz manje entropije ti sledi da imas vise redudantnih bitova u drugom primeru. Wink

jesam li omasila temu?
ili postoji mozda bolje objasnjenje? Very Happy



offline
  • Pridružio: 01 Mar 2005
  • Poruke: 172
  • Gde živiš: MUNZE KONZA AL'ZA LOMA

Hvala svaka pomoc je dobro dosla

offline
  • Pridružio: 07 Mar 2004
  • Poruke: 34

1. Logaritam osnove 2

da bi to izracunao moras znati da izracunas logaritme osnove 2 posto se oni koriste u teroji informacija. ovo je zato sto se informacija meri u kolicini bitova a oni mogu da imaju 2 stanja. dakle log_2 je:

log_2(x) = ln(x)/ln(2) (gde je log_2 logaritam baze 2, a ln prirodni logaritam)

2. Entropija

entropija je mera za kolicinu informacija koju neka poruka nosi i racuna se po sledecoj formuli:

H(1/n, 1/n, ..., 1/n) = - sum(1/n * log_2(1/n))

1/n su verovatnoce pojavljivanja odedjenog signala u poruci. kada se to sve primeni na tvoj problem dobijes sledece vrednosti:

a)
H(0,2;0,2;0,2;0,2;0,2) = -5 * (0.2 * log_2(0.2))
= -5 * (0.2 * -2.3219) =
= 2.3219

b)
H(0,2;0,2;0,2;0,1;0,3) = -(3 * 0.2 * log_2(0.2) +
+ 0.1 * log_2(0.1) + 0.3 * log_2(0.3)) =
= -(-1.3932 - 0.3322 - 5211) =
= 2.2464

Ko je trenutno na forumu
 

Ukupno su 1152 korisnika na forumu :: 81 registrovanih, 8 sakrivenih i 1063 gosta   ::   [ Administrator ] [ Supermoderator ] [ Moderator ] :: Detaljnije

Najviše korisnika na forumu ikad bilo je 3466 - dana 01 Jun 2021 17:07

Korisnici koji su trenutno na forumu:
Korisnici trenutno na forumu: 357magnum, A.R.Chafee.Jr., AF-1, airsuba, AleksSE, alkatraz080, amonsrb, aramis s, bigfoot, brundo65, Bubili, Buda Baba, cavatina, cikadeda, crnogorac, Dejan84, Djokislav, Doca, Dukelander, Džordžino, ekozelj, geo.dule, Georgius, GORDI, GreenMan, ivan1973, Japidson, kokodakalo, Kotorac82, krlebgd77, kybonacci, ljuba, LUDI, mercedesamg, mikki jons, milimoj, Milos ZA, MiroslavD, mrav pesadinac, mushroom, nemkea71, nenad81, ofbeyond, pein, Petarvu, Pikac-47, pirke96, promajauglavi, raptorsi, repac, Ripanjac, RobinHood12, Rocker, Rogan33, ruso, sakota79, saxone, shone34, Simon simonović, slonic_tonic, Snorks, solic, sovanova95, Srle993, Srpska zauvjek, stegonosa, Stoilkovic, t84dar, tanakadzo, tmanda323, trajkoni018, uruk, vathra, VJ, Vlajman1957, vukovi, Wrangler, Yonesky, YugoSlav, zicko.spacek, Živković