ML/ML
์ ๋ณด์ด๋ก ํบ์๋ณด๊ธฐ
1. ์ ๋ณด์ด๋ก ์ด๋? ์ถ์์ ์ธ '์ ๋ณด'๋ผ๋ ๊ฐ๋
์ ์ ๋ํํ๊ณ ์ ๋ณด์ ์ ์ฅ๊ณผ ํต์ ์ ์ฐ๊ตฌํ๋ ๋ถ์ผ 2. ์ฌ๊ฑด x ์ ์ ๋ณด๋ ์ฌ๊ฑด์ด ์ผ์ด๋ ํ๋ฅ P(x) ์ ์ํด ๊ฒฐ์ 3. Entropy ์ํธ๋กํผ๋ ํน์ ํ๋ฅ ๋ถํฌ๋ฅผ ๋ฐ๋ฅด๋ ์ฌ๊ฑด๋ค์ ์ ๋ณด๋์ ๊ธฐ๋๊ฐ์ด๋ค. ์ด์ฐํ๋ฅ ๋ณ์ X๊ฐ x1โ,x2โ,โฆ,xnโ ์ค ํ๋์ ๊ฐ์ ๊ฐ์ง๋ค๊ณ ๊ฐ์ ๊ธฐ๋๊ฐ์์ ๋ถ๋ถ์ ํ๋ฅ ๋์ ์ ๋ณด๋์ ๋ฃ์ ์์ 1 : ๊ณต์ ๊บผ๋ผ ๋ ์ํธ๋กํผ๋ฅผ ๊ณ์ฐํด๋ณด์ ์ํธ๋กํผ = ๋ฌด์ง์ = ๋ถํ์ค์ฑ ๊ณต์ ์ข
๋ฅ๊ฐ ๋ค์ํ ๋ ์ํธ๋กํผ๊ฐ ๋ ๋๋ค ์์ 2: ๊ณต ์๊น์ ๋ ๊ฐ์ง๋ก ๊ณ ์ , ์ ๋น์จ์ ๋ค๋ฅด๊ฒ ํ์ ๋ ์ํธ๋กํผ๋? ํ๋ฅ ๋ณ์๊ฐ ๊ฐ์ง ์ ์๋ ๊ฐ์ง์๊ฐ ๊ฐ์ ๋, ์ฌ๊ฑด์ ํ๋ฅ ์ด ๊ท ๋ฑํ ์๋ก ์ํธ๋กํผ ๊ฐ์ ์ฆ๊ฐํ๋ค. ๋์ ์ด ์๋ฉด ๋์ฌ ํ๋ฅ 50%, ๋ท๋ฉด ๋์ฌ ํ๋ฅ 5..
