y-unique☼

뭔가 속시원하게 이해하기 어려웠던 논문 열린 결말 같은 결론.. 내 언어로 풀어서 이해하면 자칫 오개념이 될 것 같았던 논문.. 새벽 세 시에 리뷰해봅니다... AbstractDNN이 매우 큼에도 불구하고 성공적인 DNN은 train과 test의 성능 차이가 매우 작다.이 말은 일반화 오류가 작다고 표현일반화: 보지 않은 새로운 data에서도 잘 작동하는 것⇒ 일반화 오류가 작다는 건 모델이 단순히 크기만 커서가 아니라 그 안에 존재하는 모델의 feature와 학습하는 방법이 성능 차이를 줄이는데에 기여한다!위와 같은 접근법, 전통적인 접근법 (feature 학습이나 정규화)는 large NN의 일반화 성능을 충분히 설명하지 못한다는 걸 실험적으로 보여줌sota ResNet for image classi..

노션에 정리했던 것 주섬주섬 주어오기 오늘은 CLIP 당첨오개념이있을수있음을주의!행복한 하루 되십쇼Abstract이전에는 사전에 정의된 고정된 객체 카테고리를 예측하도록 훈련이러한 형태의 supervision(지도학습)의 경우 other visual concept을 지정하려면 (language) 추가적인 레이블이 지정된 데이터가 필요→ 반면, 이미지와 관련된 raw text로 부터 직접 학습하자?⇒ 추가적인 데이터셋을 활용하지 않고도 특정 task를 위해 추가적인 데이터셋으로 학습한 기존 모델들과 견줄만한 성능이 나온다! Introduction and Motivating Worknlp 분야에서 raw text를 이용하여 사전학습하는 방법이 계속 연구되고 있음masked language modeling →..

진짜진짜 오랜만에 돌아온 논문리뷰 ViT를 가지고 왔습니당 정확하지 않으며 제 생각이 많이 들어간 글이라는 점.. 인지하시고~설 연휴 직전이걸랑요새복많입니다. Abstractnlp에서 transformer가 자리를 잡는 동안 cv에선 한계가 있었음cnn 구조를 가져가면서 attention을 적용하거나 전체 구조는 유지해야만 했음저자는 pure transformer에 직접적으로 Image patch를 붙여 image classification을 수행하도록 함많은 양의 데이터로 pre-trained 되었거나 imageNet 등의 인식 벤치마크로 trnasfered 한 경우 sota 달성대체로 fewer computational resourcesIntroductionCNN architecture with se..

1. AWS Learner Lab을 통해 EC2 서버를 구동시키고, SSH로 접근kmu-ai-platform-hw2로 하여 인스턴스 생성SSH로 접근하기 위해 저번 과제에서 생성해놓은 키 페어 선택하기아래 명령어를 통해 ssh 접근을 진행한다.ssh -i "kmu-ai-platform.pem" ubuntu@54.185.71.76성공적으로 인스턴스 생성 완료2. EC2 서버에 Jupyter Notebook 설치아래 명령어를 통해 가상환경을 생성하기 위한 python3.10-venv 를 설치해준다sudo apt update sudo apt install python3.10-venv설치가 완료된 후, 가상환경을 생성해준다.다음 아래 명령어를 통해 notebook 모듈을 설치해준다.pip install note..

깊이 우선 탐색 (DFS, Depth-First Search)최대한 깊이 내려간 뒤, 더 이상 갈 곳이 없을 경우 옆으로 이동루트 노드(혹은 다른 임의의 노드)에서 시작해서 다음 분기(branch)로 넘어가기 전에해당 분기를 완벽하게 탐색하는 방식 1. 모든 노드를 방문하고자 하는 경우에 이 방법을 선택함2. 깊이 우선 탐색(DFS)이 너비 우선 탐색(BFS)보다좀 더 간단3. 검색 속도 자체는 너비 우선 탐색(BFS)에 비해서느림  너비 우선 탐색 (BFS, Breadth-First Search)최대한 넓게 이동한 다음, 더 이상 갈 수 없을 때 아래로 이동  루트 노드(혹은 다른 임의의 노드)에서 시작해서인접한 노드를 먼저탐색하는 방법으로,시작 정점으로부터 가까운 정점을 먼저 방문하고 멀리 떨어져 있..

문제 정하기현재 솔루션은 뭐지?목표 달성 여부를 어떻게 평가할래?만들어진 솔루션 어떻게 사용할래?유사한게 존재하나?활용 가능한가?데이터 수집 및 라벨링고려할 점.어떤 데이터를 얼마나 가지고 있어?데이터 접근에 권한이 있어?private상업용오픈 데이터데이터 접근 제어 및 모니터링 어케할그야?데이터 용량 크면 어떻게 한 곳에 수집할거야?데이터 관찰많은 데이터가 필요하단 말이야 그래서 feature와 target을 추출해야해feature: 모델 생성 시 관측 가능한 값 (X)target: 관측 가능한 값으로 부터 예측하고자 하는 상태 값(Y)데이터 저장추출 했으면 저장해야하그든데이터 크기와 목적에 맞는 데이터 저장소를 정해aws에서는 다음과 같은 저장소를 제공함S3 : 저장 용량 제한 없음FSx : HPC에..

오랜만에 돌아온 모각코!백엔드 공부하면서(?) sql을 복습하고자 잠시 정리해보는 시간을 가졌다.  내장 함수상수나 속성 이름을 입력 값으로 받아 단일 값으로 결과 반환.모든 내장 함수는 최초에 선언될 때 유효한 입력 값을 받아야 함.숫자 함수ABS: 절댓값ROUND: 반올림고객별 평균 주문 금액을 백 원 단위로 반올림한 값SELECT custid "고객번호", ROUND(SUM(saleprice)/COUNT(*), -2) "평균금액" FROM Orders GROUP BY custid;문자함수REPLACE : 문자열 함수를 치환도서 제목에 야구가 포함된 도서를 농구로 변경한 후 도서 목록을 보여라SELECT bookid, REPLACE(bookname, '야구', '농구') bookname, publis..

처음 써보는 논문 리뷰 포스팅! 논문을 읽은 나의 견해! 를 남긴다기보다는 (남기면좋겠지) 어떤 내용인지! 무엇을 말하고자 하는지! 를 살펴보고~ 가능하다면 느낀점들도 적어보려고 합니다. 포스팅된 논문리뷰 글들은 아마 대부분! [EECS 498-007/598-005] 강의에서 언급되거나 레포로 걸려있는 것들 입니당. 첫번째 논문 Vaswani et al, “Attention is all you need”, NeurIPS 2017 은 13강 Attention 강의에서 등장한다. Abstract Sequence model은 복잡한 순환 또는 CNN을 기반으로 하며, 이는 encoder와 decoder를 포함하고 있다. 성능이 우수한 모델들은 attention 매커니즘을 통한 encoder와 decoder를 ..

5, 6강 포스팅 완료 못 했는데 7강을 시작하는 나야. 이것도 쓰는데 한참 걸리겠지 모 나른한 토요일.. 하루종일 띵가띵가 놀다가 저녁 8시에 무인카페 온 여성 그치만 푸욱 쉰 것 같아서 행복해 각박한 세상 쉬면서 살ㅈ ㅏ. 지난 강의에서 문제점을 제기하며 마무리가 되었다. 지금까지 공간적 구조가 있던 이미지를 flatten하여 하나의 열벡터로 만들어 처리를 했다. 하지만 이 과정에서 spatial structure가 사라지게 되는 문제점이 있었다. 이번 포스팅에선! 공간적 구조를 처리할 수 있는 Convolutional Networks가 핵심이랍니다. Convoulutional Network는 기존에 우리가 알던 위의 2개 fully-connected layers와 activation function..

돌아온 모각코 5주차 오늘의 주제는 inductive bias다. 논문을 읽다보면 자주(?) 보이는 친구인데 정확히 어떤 것을 의미하는지 파헤쳐보쟝 [Inductive bias] inductive bias는 기계 학습에서 모델이 데이터로부터 학습할 때 특정한 가정이나 선호를 가지는 경향을 의미한다. 이것은 모델이 어떤 가정이나 가중치를 선택하는 데 도움을 주는 일종의 가이드라인? 제약? 으로 작용하게 된다. 일반화의 오류에 대해서 생각해보자. 일반적으로 모델이 갖는 일반화의 오류는 불안정하다는 것과 겉으로만 그럴싸 해보이는 것으로 나뉜다. 모델이 주어진 데이터에 대해서 잘 일반화한 것인지, 혹은 주어진 데이터에만 잘 맞게 된 것인지 모르기때문에 발생하는 것이다. Models are brittle : 데이..