EECS 498-007 3

[EECS 498-007] Lecture 12. Recurrent Neural Networks

11๊ฐ• ์ž ์‹œ skipํ›„ 12๋กœ ๋Œ์•„์˜จ ๋‚˜ ๊ธ€๊ตฌ 12๊ฐ•์€ ๋˜ ๋‚˜์˜ ๋ฐœํ‘œ ์ˆœ์„œ์•ผ ์—์ด๋ถ€ํ„ฐ ์ œํŠธ๊นŒ์ง€ ๋‚ฏ๋‚ฑ์ด ํŒŒํ—ค์ฒ˜๋ณผ๊ฒŒ ํœ˜๋‚ญ์‹œ์— ๋จน์œผ๋ฉด์„œ ๋„ทํ”Œ ๋ณผ ์ƒ๊ฐ์œผ๋กœ ์ง‘๊ฐ€๋ คํ–ˆ๋Š”๋ฐ ... ๋‚˜ ์›จ ์œ™๋ฐฉ์ด๋ƒ ๋Œ€์ถฉ ์—ด์‹ฌํžˆ ๋นก๊ณตํ•˜๊ณ  ์ง‘๊ฐˆ๊ฒŒ ํžˆํžˆ ์•„์ง„์งœ๋ฏธ์ณฃ๋ƒ? ์™œ์ž๊พธ ์–ต๊นŒํ•˜์ง€ ๋ฐœํ‘œ๋‚  ๋ธ”๋กœ๊ทธ๋งŒ ์ž๊พธ ์ด๋†ˆ์ƒ‰ํ‚ค๊ฐ€ ์ €์žฅ์•ˆํ•ด์ฃผ๊ณ  ํ†ต์œผ๋กœ ๋“คํŠ€ํ•œ๋‹ค๊ณ  ์ง„์งœ ์–ด์ œ ํ•˜๋ฃจ๋ฅผ ๊ฐˆ์•„๋„ฃ์€ ๋‚˜์˜ 50ํŽ˜์ด์ง€๊ฐ€ ์—†์–ด์ก‹์–ด................................. ์‚ด๊ณ ์‹ญ์ง€์•ˆ์•„................... ์ด๋ฒˆ ๊ฐ•์€ ํ”ํžˆ RNN์ด๋ผ๊ณ  ๋งํ•˜๋Š”! Recurrent Neural Networks์— ๋Œ€ํ•ด์„œ ๋‹ค๋ฃจ์–ด ๋ณผ ๊ฒƒ ์ž…๋‹ˆ๋‹ค. ๋จผ์ € ์ง€์ง€์ง€๋‚œ๊ฐ•์˜์—์„œ pytorch์—์„œ TPUs๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์—†๊ณ  mobile์šฉ์œผ๋กœ ๊ฐœ๋ฐœํ•˜๊ธฐ ์–ด๋ ต๋‹ค๋Š” ์ ์„ ๋‹จ์ ์œผ๋กœ ์–ธ๊ธ‰ํ–ˆ์—ˆ๋‹ค..

EECS 498-007 2024.02.03

[EECS 498-007] Lecture 08. CNN Architectures

๋˜ 8๊ฐ•์œผ๋กœ ๋Œ์•„์˜จ ๋‚˜.. ํ™€์ˆ˜๊ฐ•์„ ์‹œ๋Ÿฌํ•˜๋Š” ๊ฒŒ ๋ถ„๋ช…ํ•จ ์งฑ์กธ๋ฆฐ ์•„์นจ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜๋ ค๋Š”๋ฐ ๋‚ ์”จ๊ฐ€ ์ธ๊ฐ„์ ์œผ๋กœ ๋„ˆ๋ฌด์ถฅ๋‹ค ๊ทธ์น˜ ๋ฏธํ‹ด๊ฒƒ๊ฐ™์•  ๋ชฉ๋„๋ฆฌํ•˜๊ณ  ๊ท€๋„๋ฆฌํ•˜๊ณ  ๋‹ค๋…€๋ผ! ๋”ฐ์ˆฉ๊ฒŒ ํ•˜๊ธฐ ์ด๋ฒˆ ์‹œ๊ฐ„์€ ์”จ์—”์—” ์•„ํ‚คํ…์ณ! ImageNet challenge๋Š” ๋Œ€๊ทœ๋ชจ ์ด๋ฏธ์ง€ ๋ฐ์ดํ„ฐ์…‹์„ ํ™œ์šฉํ•˜์—ฌ ๊ฐ์ฒด ์ธ์‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜ ์„ฑ๋Šฅ์„ ํ‰๊ฐ€ํ•˜๋Š” ๋Œ€ํšŒ ์ค‘ ํ•˜๋‚˜์ด๋‹ค. 2010๋…„๋ถ€ํ„ฐ ์‹œ์ž‘๋œ ๋Œ€ํšŒ์ธ๋ฐ ์ด ๋Œ€ํšŒ๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ์ˆ ์˜ ๋ฐœ์ „๊ณผ ํ•จ๊ป˜ ์ปดํ“จํ‹ฐ๋น„์ „ ๋ถ„์•ผ์—์„œ ์ค‘์š”ํ•œ ์—ญํ• ์„ ํ–ˆ๋‹ค. ์ด๋•Œ 2012๋…„์— ๋“ฑ์žฅํ•œ AlexNet์ด๋ผ๋Š” ๋”ฅ๋Ÿฌ๋‹ ๊ธฐ๋ฐ˜์˜ ๋ชจ๋ธ์ด ์ฒ˜์Œ์œผ๋กœ ์šฐ์Šน์„ ํ•˜๋ฉด์„œ ํ˜๋ช…์„ ์ผ์œผ์ผฐ๋‹ค. AlexNet์ด ๋ญ”๋ฐ! AlexNet์€ 227 x 227 ํ”ฝ์…€์˜ ์ด๋ฏธ์ง€๋ฅผ input์œผ๋กœ ์‚ฌ์šฉ 5๊ฐœ์˜ Convolution layers์™€ 3๊ฐœ์˜ Fully Connected..

EECS 498-007 2024.01.24

[EECS 498-007] Lecture 06. Backpropagation

์•„ ์‹ญ.. ์ง„์‹ฌ์œผ๋กœ ํ™”๋‚˜๋Š” ์ˆœ๊ฐ„์ด์•ผ 3์ผ๋™์•ˆ ์—ด~ ์‹ฌํžˆ ์ด๋ฒˆ ๊ฐ•์˜๋ฅผ ์“ฐ๊ตฌ์žˆ์—‡์–ด ์ง„์งœ ๊ฐ•์˜ 10๋ถ„ ๋‚จ์•˜๋Š”๋ฐ ๊ฑฐ์˜ ๋‹ค ์ป๋Š”๋ฐ ๋ฌด์Šจ ์ค„์ฃผ๋ฆฌ ์˜์‹œ์ง€๋งˆ๋ƒฅ ์งฑ ๊ธธ์—ˆ๋Š”๋ฐ ์™€์ดํŒŒ์ด ์ด์Šˆ๋กœ ๊ทธ๋ƒฅ ๋ฟ…! ํ•˜๊ณ  ์‚ฌ๋ผ์กŒ์–ด.... ์ฒ˜์Œ๋ถ€ํ„ฐ ๋‹ค์‹œ ์“ฐ๋Š” ์ด ๋งˆ์Œ ์•Œ์•„? ๋ฐœํ‘œ๊ฐ•์˜๋ผ์„œ ์—ด์‹ฌํžˆ ํ–ˆ๋Š”๋ฐ... ๊ทธ๋Ÿผ์—๋„ ํ•ด์•ผ์ง€ ์–ด์ฉŒ๊ฒ ์–ด.. ์—๋„ ํ•œ๊ณ„๊ฐ€ ์žˆ๋‹ค . ์ €๋ฒˆ ์‹œ๊ฐ„ ๊ฐ•์˜์—์„œ ๋งˆ์ง€๋ง‰์— ๋˜์ง„ ๋ฌผ์Œํ‘œ๊ฐ€ ์žˆ์—ˆ๋‹ค. ์‹ค์ œ๋กœ gradient๋ฅผ ์–ด๋–ป๊ฒŒ ๊ณ„์‚ฐํ• ๋ž˜? ๊ธฐ์šธ๊ธฐ ์–ด๋–ป๊ฒŒ ๊ณ„์‚ฐํ• ๋ž˜? ์ด๋ฒˆ ๊ฐ•์˜์—์„œ๋Š” gradient๋ฅผ ๊ตฌํ•˜๋Š” ๋ฐฉ๋ฒ•! ์ด ํ•ต์‹ฌ์ด ๋  ๊ฒƒ์ด๋‹ค. ์ฒซ๋ฒˆ์งธ๋กœ ๋‹จ์ˆœํ•˜๊ฒŒ ์ œ์‹œํ•œ ๋ฐฉ๋ฒ•์€ 1) ์†์œผ๋กœ ๊ตฌํ•ด๋ณด๊ธฐ! ์ข…์ด์— ๊ตฌํ•ด๋ณด๊ธฐ! ํ•˜๋ฉด ํ•จ ์ด๊ฒ ์ง€... ํ•˜์ง€๋งŒ ์ด๊ฒƒ์€ ๋งŽ์€ ๋ฌธ์ œ์ ์„ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค. ๋จผ์ € ๋งค์šฐ ๋งŽ์€ ์—ฐ์‚ฐ๋Ÿ‰์„ ํฌํ•จํ•˜๊ณ  ์žˆ๋‹ค.. ๋งŽ์€ ์ข…์ด๊ฐ€ ํ•„์š”..

EECS 498-007 2024.01.21