y-unique☼

Abstract 기존의 4 족 로봇 학습은 language interaction과 visual autonomous perception을 분리하여 학습→ 구조는 단순화되지만 시너지 효과가 떨어짐이러한 한계를 극복하기 위해서 VLA를 제안여기서는visuial information과 instruction을 tightly 하게 통합!실행가능한 action을 생성하기 위해서perception과 planning, decision-making을 효과적으로 통합함중요한 건fine-grained한 instruction과 visual perception 정보를 align 하는 것datasetQUAdruped Robot Dataset인지, 탐색, 전신조작 등의 대규모 멀티태스크 데이터셋 IntroductionQUAR-VA명..

→ 로봇 정책을 코드로 생성하는 개념적 프레임워크 제안Introlaguage grounding의 중요성언어접지로봇이 언어를 사용하려면 물리적 세계와 연결되고 단어, 지각, 행동사이의 다리를 놓는 어떤 연결고리가 필요하다ex) 사과를 책상에 올려라에서 사과 와 책상, 올려놓다의 의미를 물리적 세계에서 연결할 줄 알아야함기존 방법의 한계classic어휘 분석을 통해서 의미론적 표현을 추출 → 학습되지 않은 명령어를 처리하는데 어려움을 겪음[object: 사과], [action: 옮기기], [direction: 오른쪽].unseen instruction에 대해ㅓ 처리하는데 어려움end to end 방법언어에서 행동까지 end to end로 학습의미를 추출하는 중간 단계없이실제 로봇에서 방대한 양의 학습 데이터..

뭔가 속시원하게 이해하기 어려웠던 논문 열린 결말 같은 결론.. 내 언어로 풀어서 이해하면 자칫 오개념이 될 것 같았던 논문.. 새벽 세 시에 리뷰해봅니다... AbstractDNN이 매우 큼에도 불구하고 성공적인 DNN은 train과 test의 성능 차이가 매우 작다.이 말은 일반화 오류가 작다고 표현일반화: 보지 않은 새로운 data에서도 잘 작동하는 것⇒ 일반화 오류가 작다는 건 모델이 단순히 크기만 커서가 아니라 그 안에 존재하는 모델의 feature와 학습하는 방법이 성능 차이를 줄이는데에 기여한다!위와 같은 접근법, 전통적인 접근법 (feature 학습이나 정규화)는 large NN의 일반화 성능을 충분히 설명하지 못한다는 걸 실험적으로 보여줌sota ResNet for image classi..

노션에 정리했던 것 주섬주섬 주어오기 오늘은 CLIP 당첨오개념이있을수있음을주의!행복한 하루 되십쇼Abstract이전에는 사전에 정의된 고정된 객체 카테고리를 예측하도록 훈련이러한 형태의 supervision(지도학습)의 경우 other visual concept을 지정하려면 (language) 추가적인 레이블이 지정된 데이터가 필요→ 반면, 이미지와 관련된 raw text로 부터 직접 학습하자?⇒ 추가적인 데이터셋을 활용하지 않고도 특정 task를 위해 추가적인 데이터셋으로 학습한 기존 모델들과 견줄만한 성능이 나온다! Introduction and Motivating Worknlp 분야에서 raw text를 이용하여 사전학습하는 방법이 계속 연구되고 있음masked language modeling →..

진짜진짜 오랜만에 돌아온 논문리뷰 ViT를 가지고 왔습니당 정확하지 않으며 제 생각이 많이 들어간 글이라는 점.. 인지하시고~설 연휴 직전이걸랑요새복많입니다. Abstractnlp에서 transformer가 자리를 잡는 동안 cv에선 한계가 있었음cnn 구조를 가져가면서 attention을 적용하거나 전체 구조는 유지해야만 했음저자는 pure transformer에 직접적으로 Image patch를 붙여 image classification을 수행하도록 함많은 양의 데이터로 pre-trained 되었거나 imageNet 등의 인식 벤치마크로 trnasfered 한 경우 sota 달성대체로 fewer computational resourcesIntroductionCNN architecture with se..

1. AWS Learner Lab을 통해 EC2 서버를 구동시키고, SSH로 접근kmu-ai-platform-hw2로 하여 인스턴스 생성SSH로 접근하기 위해 저번 과제에서 생성해놓은 키 페어 선택하기아래 명령어를 통해 ssh 접근을 진행한다.ssh -i "kmu-ai-platform.pem" ubuntu@54.185.71.76성공적으로 인스턴스 생성 완료2. EC2 서버에 Jupyter Notebook 설치아래 명령어를 통해 가상환경을 생성하기 위한 python3.10-venv 를 설치해준다sudo apt update sudo apt install python3.10-venv설치가 완료된 후, 가상환경을 생성해준다.다음 아래 명령어를 통해 notebook 모듈을 설치해준다.pip install note..

깊이 우선 탐색 (DFS, Depth-First Search)최대한 깊이 내려간 뒤, 더 이상 갈 곳이 없을 경우 옆으로 이동루트 노드(혹은 다른 임의의 노드)에서 시작해서 다음 분기(branch)로 넘어가기 전에해당 분기를 완벽하게 탐색하는 방식 1. 모든 노드를 방문하고자 하는 경우에 이 방법을 선택함2. 깊이 우선 탐색(DFS)이 너비 우선 탐색(BFS)보다좀 더 간단3. 검색 속도 자체는 너비 우선 탐색(BFS)에 비해서느림  너비 우선 탐색 (BFS, Breadth-First Search)최대한 넓게 이동한 다음, 더 이상 갈 수 없을 때 아래로 이동  루트 노드(혹은 다른 임의의 노드)에서 시작해서인접한 노드를 먼저탐색하는 방법으로,시작 정점으로부터 가까운 정점을 먼저 방문하고 멀리 떨어져 있..

문제 정하기현재 솔루션은 뭐지?목표 달성 여부를 어떻게 평가할래?만들어진 솔루션 어떻게 사용할래?유사한게 존재하나?활용 가능한가?데이터 수집 및 라벨링고려할 점.어떤 데이터를 얼마나 가지고 있어?데이터 접근에 권한이 있어?private상업용오픈 데이터데이터 접근 제어 및 모니터링 어케할그야?데이터 용량 크면 어떻게 한 곳에 수집할거야?데이터 관찰많은 데이터가 필요하단 말이야 그래서 feature와 target을 추출해야해feature: 모델 생성 시 관측 가능한 값 (X)target: 관측 가능한 값으로 부터 예측하고자 하는 상태 값(Y)데이터 저장추출 했으면 저장해야하그든데이터 크기와 목적에 맞는 데이터 저장소를 정해aws에서는 다음과 같은 저장소를 제공함S3 : 저장 용량 제한 없음FSx : HPC에..

오랜만에 돌아온 모각코!백엔드 공부하면서(?) sql을 복습하고자 잠시 정리해보는 시간을 가졌다.  내장 함수상수나 속성 이름을 입력 값으로 받아 단일 값으로 결과 반환.모든 내장 함수는 최초에 선언될 때 유효한 입력 값을 받아야 함.숫자 함수ABS: 절댓값ROUND: 반올림고객별 평균 주문 금액을 백 원 단위로 반올림한 값SELECT custid "고객번호", ROUND(SUM(saleprice)/COUNT(*), -2) "평균금액" FROM Orders GROUP BY custid;문자함수REPLACE : 문자열 함수를 치환도서 제목에 야구가 포함된 도서를 농구로 변경한 후 도서 목록을 보여라SELECT bookid, REPLACE(bookname, '야구', '농구') bookname, publis..

처음 써보는 논문 리뷰 포스팅! 논문을 읽은 나의 견해! 를 남긴다기보다는 (남기면좋겠지) 어떤 내용인지! 무엇을 말하고자 하는지! 를 살펴보고~ 가능하다면 느낀점들도 적어보려고 합니다. 포스팅된 논문리뷰 글들은 아마 대부분! [EECS 498-007/598-005] 강의에서 언급되거나 레포로 걸려있는 것들 입니당. 첫번째 논문 Vaswani et al, “Attention is all you need”, NeurIPS 2017 은 13강 Attention 강의에서 등장한다. Abstract Sequence model은 복잡한 순환 또는 CNN을 기반으로 하며, 이는 encoder와 decoder를 포함하고 있다. 성능이 우수한 모델들은 attention 매커니즘을 통한 encoder와 decoder를 ..