backpropagation 1

[EECS 498-007] Lecture 06. Backpropagation

์•„ ์‹ญ.. ์ง„์‹ฌ์œผ๋กœ ํ™”๋‚˜๋Š” ์ˆœ๊ฐ„์ด์•ผ 3์ผ๋™์•ˆ ์—ด~ ์‹ฌํžˆ ์ด๋ฒˆ ๊ฐ•์˜๋ฅผ ์“ฐ๊ตฌ์žˆ์—‡์–ด ์ง„์งœ ๊ฐ•์˜ 10๋ถ„ ๋‚จ์•˜๋Š”๋ฐ ๊ฑฐ์˜ ๋‹ค ์ป๋Š”๋ฐ ๋ฌด์Šจ ์ค„์ฃผ๋ฆฌ ์˜์‹œ์ง€๋งˆ๋ƒฅ ์งฑ ๊ธธ์—ˆ๋Š”๋ฐ ์™€์ดํŒŒ์ด ์ด์Šˆ๋กœ ๊ทธ๋ƒฅ ๋ฟ…! ํ•˜๊ณ  ์‚ฌ๋ผ์กŒ์–ด.... ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์‹œ ์“ฐ๋Š” ์ด ๋งˆ์Œ ์•Œ์•„? ๋ฐœํ‘œ๊ฐ•์˜๋ผ์„œ ์—ด์‹ฌํžˆ ํ–ˆ๋Š”๋ฐ... ๊ทธ๋Ÿผ์—๋„ ํ•ด์•ผ์ง€ ์–ด์ฉŒ๊ฒ ์–ด.. ์—๋„ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค . ์ €๋ฒˆ ์‹œ๊ฐ„ ๊ฐ•์˜์—์„œ ๋งˆ์ง€๋ง‰์— ๋˜์ง„ ๋ฌผ์Œํ‘œ๊ฐ€ ์žˆ์—ˆ๋‹ค. ์‹ค์ œ๋กœ gradient๋ฅผ ์–ด๋–ป๊ฒŒ ๊ณ„์‚ฐํ• ๋ž˜? ๊ธฐ์šธ๊ธฐ ์–ด๋–ป๊ฒŒ ๊ณ„์‚ฐํ• ๋ž˜? ์ด๋ฒˆ ๊ฐ•์˜์—์„œ๋Š” gradient๋ฅผ ๊ตฌํ•˜๋Š” ๋ฐฉ๋ฒ•! ์ด ํ•ต์‹ฌ์ด ๋  ๊ฒƒ์ด๋‹ค. ์ฒซ๋ฒˆ์งธ๋กœ ๋‹จ์ˆœํ•˜๊ฒŒ ์ œ์‹œํ•œ ๋ฐฉ๋ฒ•์€ 1) ์†์œผ๋กœ ๊ตฌํ•ด๋ณด๊ธฐ! ์ข…์ด์— ๊ตฌํ•ด๋ณด๊ธฐ! ํ•˜๋ฉด ํ•จ ์ด๊ฒ ์ง€... ํ•˜์ง€๋งŒ ์ด๊ฒƒ์€ ๋งŽ์€ ๋ฌธ์ œ์ ์„ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค. ๋จผ์ € ๋งค์šฐ ๋งŽ์€ ์—ฐ์‚ฐ๋Ÿ‰์„ ํฌํ•จํ•˜๊ณ  ์žˆ๋‹ค.. ๋งŽ์€ ์ข…์ด๊ฐ€ ํ•„์š”..

EECS 498-007 2024.01.21