EECS 498-007 13

[EECS 498-007] Lecture 07. Convolutional Networks

5, 6강 포스팅 완료 못 했는데 7강을 시작하는 나야. 이것도 쓰는데 한참 걸리겠지 모 나른한 토요일.. 하루종일 띵가띵가 놀다가 저녁 8시에 무인카페 온 여성 그치만 푸욱 쉰 것 같아서 행복해 각박한 세상 쉬면서 살ㅈ ㅏ. 지난 강의에서 문제점을 제기하며 마무리가 되었다. 지금까지 공간적 구조가 있던 이미지를 flatten하여 하나의 열벡터로 만들어 처리를 했다. 하지만 이 과정에서 spatial structure가 사라지게 되는 문제점이 있었다. 이번 포스팅에선! 공간적 구조를 처리할 수 있는 Convolutional Networks가 핵심이랍니다. Convoulutional Network는 기존에 우리가 알던 위의 2개 fully-connected layers와 activation function..

EECS 498-007 2024.04.04

[EECS 498-007] Lecture 16. Detection and Segmentation

나애 발표 강의 16강이당 마지막 cs 발표! 열심히 하고픈데 광양인 이슈로 공부를 못 하것다 어뜩해! 그래두 해야지.. 파이팅... 지난 포스팅에서 object detection에 대해서 이야기 했었다. 단일 RGB 이미지를 입력으로 받아 해당 이미지에 나타난 모든 객체에 대한 bounding box와 각 상자에 대한 카테고리 레이블을 출력해야 했다. 이어서 요번 포스팅도 OD에 대해서 다루고, Segemetation에 대해서도 다룰 예정이다. 먼저 object detection이 딥러닝에 얼마나 중요한 역할을 하는지! 를 알아보자. 이는 2007년부터 2015년 까지의 객체 검출에 대한 진전을 나타내는 그래프이다. 여기서 y축은 pascal VOC라는 특정 객체 검출 데이터 셋의 성능을 나타내고, 사..

EECS 498-007 2024.02.27

[EECS 497-998] Lecture 15. Object Detection

오늘은 오디! 오브젝트 디텍션이당 어쩌다보니 광양이긴한데.. 이사하고 나니까 온 몸이 아푸긴한데 화이팅! 지금까지 우리는 기본적으로 이미지 분류 문제들을 위주로 다루었다. input image를 CNN 모델에 넣어 이미지가 고양이인지, 차인지, 강아지인지 등과 같은 카테고리 라벨을 얻었다. 하지만 컴퓨터비전 분야에는 더 다양한 task가 많은데, 이번 강의에서는 이미지상 객체의 공간적 존재 여부를 식별하는 다양한 방법에 대해 알아볼 것이다. 고전적인 image classfication task처럼 각 이미지의 픽셀별로 테고리 라벨을 붙이는 것이 아닌 주어진 이미지에 대한 카테고리 라벨을 구하는 것이다. 그 중에서도 Object Detection, 객체 탐지라는 작업에 대해 다루어 볼 것이다. 이는 컴퓨터..

EECS 498-007 2024.02.26

[EECS 498-007] Lecture 14. Visualizing and Understanding

나른한 금요일 오후 에 시작하는 14강! 오늘 환승연ㅇㅐ 나오는 날이잔아! 행복한 마음으로 공부하구 오티 리허설두 하구 코딩 테스트두 보구 집가서 쉬어야징 (환연보면서) 요번 포스팅은 신경망 내부를 들여다보고 데이터가 train한 것이 무엇인지 시각화하여 살펴보는 내용에 관한 글이다. 지금까지 우리는 다양한 유형의 데이터를 처리하기 위해 신경망 모델을 구축하는 방법을 배웠다. CNN, RNN 이나 Transformer를 사용하여 처리를 할 수 있다. 하지만! 우리가 시각 인식 작업을 위해 신경망을 훈련시킨 후 이 신경망이 무엇을 학습했는 지 어떻게 알 수 있을까? 에 대한 의문을 가질 수 있다. 우리가 신경망 내부를 엿볼 수 있다면, 서로 다른 특성이나 레이어가 어떤 것을 찾고 있는지 알게되면! 왜 실패..

EECS 498-007 2024.02.18

[EECS 498-007] Lecture 13-2. Attention

안뇽 어텐션 투얌 오늘도 언제나처럼 공ㅈ부하러 왓어 그런데 오늘 시오니 생일이야 인생의 절반이상을 같이 축하해주는 중. 올해도 어김업시 생일추카한다 ㅋㅋ 빨리쓰고 나갈게..... 요번 포스팅에선 transformer에 대해 다룰 예정이랍니다. 이전 글에서 Attention is all you need 논문을 언급했었다. 해당 논문에서는 self-attention만을 사용한 새로운 primitive block type인 transformer block을 제시하였는데, Transformer 동작하는 과정을 보면, 먼저 Input sequence vector로 x1, x2, x3, x4 까지 받는다. 전체 vector에 대해 mulity head self-attention을 동작시키고, 셀프 어텐션 연산 후에..

EECS 498-007 2024.02.12

[EECS 498-007] Lecture 13-1. Attention

오늘은 어텐션이야 뉴진스 어텐션 아님... 성공적인(?) RNN 발표를 마친 나! 요번 스터디는 못 들어갈 것 같지만 히히 설 날 이슈! 집은 가야지 행복하다 기다리구기다릭던... 그래두 어텐션 열시미 들어보께 ㅎㅇㅌ! (미친듯이 많이자서 컨디션 굿) 저번시간에 우리는 seq2seq를 언급했었다. input과 output이 위와 같이 있고 영어를 스페인어로 해석한다고 한다면, Encoder 과정을 거친 후에는 위와 같이 2가지를 얻을 수 있다. initial decoder state s0 Context vector c : 보통은 ht를 그대로 사용함! 다음은 Decoder 과정이다. [START]토큰과 [END]라는 토큰을 통해 시작과 끝을 정하는데, s2의 경우만 보면 이전의 hidden state인 ..

EECS 498-007 2024.02.11

[EECS 498-007] Lecture 12. Recurrent Neural Networks

11강 잠시 skip후 12로 돌아온 나 글구 12강은 또 나의 발표 순서야 에이부터 제트까지 낯낱이 파헤처볼게 휘낭시에 먹으면서 넷플 볼 생각으로 집가려했는데 ... 나 웨 윙방이냐 대충 열심히 빡공하고 집갈게 히히 아진짜미쳣냐? 왜자꾸 억까하지 발표날 블로그만 자꾸 이놈색키가 저장안해주고 통으로 들튀한다고 진짜 어제 하루를 갈아넣은 나의 50페이지가 없어졋어................................. 살고십지안아................... 이번 강은 흔히 RNN이라고 말하는! Recurrent Neural Networks에 대해서 다루어 볼 것 입니다. 먼저 지지지난강의에서 pytorch에서 TPUs를 사용할 수 없고 mobile용으로 개발하기 어렵다는 점을 단점으로 언급했었다..

EECS 498-007 2024.02.03

[EECS 498-007] Lecture 10. Training Neural Networks I

어김없이 찾아오는 ~ 그런데 벌써 금요일이야 거짓말 같애 시간이 아주 매섭게 훅훅 지나간다 날씨도 살짝쿵 풀린 것 같지? 초코송이 먹구십다 오늘은 신경망을 실제로 훈련하는 방법! 에 대해 알아볼테다. 섹션을 둘로 나누어 진행할텐데, 이번 포스팅에서도 첫번째에 해당하는 One time setup에 관해 다룰 것이다. 다음 포스팅에서는 11강인 2, 3에 대해서 써볼게요. [Activation Functions] 활성화 함수는 인공신경망에서 중요한 구성 요소로, 모델에 nonlinearity를 부여하는 역할을 한다. 기본적으로 활성화함수가 이전 layer의 입력들의 가중 합에 작용한 후 결과를 다음 layer로 전달해주는데, 이런 활성화 함수가 존재하지 않으면 네트워크가 단일 선형 레이어가 되어 처리 능력이..

EECS 498-007 2024.01.29

[EECS 498-007] Lecture 09. Hardware and Software

점심먹고 레전드 졸린 스타트 뭐 난 만날 졸리고 각박하고 춥대 (사실인걸 어케) 그렇지만 오늘 좋은 점을 꼽자면.. 오전부터 짱 많이 웃ㅇ엇고.. 얼큰만둣국 맛있엇구 5시간 숙면에 비해 나름 카페인 없어도 될 정도야 화이팅해보자구 포스팅 완료할 수 있을까? 히히 이번 강의는 하드웨어와 쏘프트웨어! - Hardware 컴퓨터 내부 본체를 살펴보면 CPU와 GPU를 만나볼 수 있다. CPU (Central Processing Unit) 일반적인 컴퓨팅 작업을 수행 -> 운영처제, 응용 프로그램 실행, 파일 관리 등 적은 수의 코어를 가지고 있으며 코어 각각이 독립적으로 명령어를 처리하는 구조 다양한 애플리케이션에 사용되며 단일 쓰레드 성능이 중요한 작업에 적합 GPU (Graphics Processing U..

EECS 498-007 2024.01.25

[EECS 498-007] Lecture 08. CNN Architectures

또 8강으로 돌아온 나.. 홀수강을 시러하는 게 분명함 짱졸린 아침부터 시작하려는데 날씨가 인간적으로 너무춥다 그치 미틴것같애 목도리하고 귀도리하고 다녀라! 따숩게 하기 이번 시간은 씨엔엔 아키텍쳐! ImageNet challenge는 대규모 이미지 데이터셋을 활용하여 객체 인식 알고리즘 성능을 평가하는 대회 중 하나이다. 2010년부터 시작된 대회인데 이 대회는 딥러닝 기술의 발전과 함께 컴퓨티비전 분야에서 중요한 역할을 했다. 이때 2012년에 등장한 AlexNet이라는 딥러닝 기반의 모델이 처음으로 우승을 하면서 혁명을 일으켰다. AlexNet이 뭔데! AlexNet은 227 x 227 픽셀의 이미지를 input으로 사용 5개의 Convolution layers와 3개의 Fully Connected..

EECS 498-007 2024.01.24