애옹스는 컴퓨터가 알고싶어

머신러닝- ground-truth: "우리가 정한 정답" 즉, 모델이 우리가 원하는 답으로 예측해주길 바라는 답.- label: "정답" 즉, 사람이 정답이라고 인정한 데이터머 근데 일반적인 상황에서는 두개 혼용해서 쓰거나 맥락에 따라 써도 괜춘한듯 딥러닝   # 클래스를 분류하는 최적의 직선 찾아나가기  - x -(fw(.))-> y 이 때 fw(.)를 찾는 것이 딥러닝이라고 할 수 있음w: 파라미터의 가중치.이 때 함수의 구조와 복잡도를 정하는 것이 모델링 과정어떤 네트워크 아키텍쳐(VGG, ResNet)를 사용할 것인지, 몇 개의 층을 사용할 것인지, activation 함수(ReLU나 sigmoid)로는 무엇을 사용할 것인지-주어진 입력(x)에 대해 원하는 출력(y)이 나오도록 모델 파라미터 값을..

- 고급 파인튜닝 위해서, 내 데이터를 쓰기 위해서 꼭 알아야하는 dataset library 다루기https://wikidocs.net/166816 1. 만일 자신의 데이터셋이 허브에 없다면?우리는 이제 [Hugging Face Hub](https://huggingface.co/datasets)를 사용하여 데이터셋을 다운로드하는 방법을 알고 있지만, 일반적으로는 노트…wikidocs.net Datasets library가 지원하는 loading script 로컬에서 데이터셋 로딩하기예제 데이터: SQuAD-it datasetgithub에서 다운받아주기!wget https://github.com/crux82/squad-it/raw/master/SQuAD_it-train.json.gz!wget https:..

hugging face NLP course pt3. Fine-tuning a pretrained model: https://huggingface.co/learn/nlp-course/chapter3/1?fw=ptwikidocs 번역본: https://wikidocs.net/1668001. 데이터 처리 작업허브에서 데이터셋 로딩Huggingface -> datasets 라이브러리에서 오픈소스 데이터셋 자유롭게 다운가능 (구조화된 raw text dataset)fine-tuning 위해서는 raw text -> batch 형태로 변경해야 함  * 지나치게 큰 데이터 한 번에 학습X, batch라는 소규모 데이터로 변경하여 모델에게 학습하기datasets 라이브러리: Hub에서 데이터셋 다운로드 & 임시저장(c..

Transformers 라이브러리 특징- 사용 용이성- 유연성: 모든 모델이 pytorch의 nn.Module, tensorflow의 tf.keras.Model 클래스로 표현- 단순성: 라이브러리의 추상화 거의 없음. All in one file Pipeline 내부 실행 과정 알아보기1. 전처리(Preprocessing)Tokenizer 이용 전처리* Tokenizer입력을 토큰이라고 부르는 단어나 하위 단어, 또는 심볼(예-구두점)로 분할각 토큰을 하나의 정수에 매핑모델에 유용할 수 있는 부가적인 입력 추가모든 전처리는 모델이 사전학습될 때와 동일한 방식으로 수행되어야 함 -> 사용하고자 하는 모델의 checkpoint 이름을 사용해 연결된 tokenizer를 불러와야 함.  * Transformer..

참고: https://huggingface.co/docs/transformers/indexhttps://wikidocs.net/166785 어쨌건 저쨌건 지금 가장 간편하게 머신러닝을 학습할 수 있는 TransformersHuggingface의 튜토리얼을 먼저 따라해보자 챕터 1강은 Transformers가 뭔지, 어떤 모델인지, 간단하게 알아보기 파이프라인(pipeline() 함수: 전처리 & 후처리 모델과 연결) - 말 그대로 파이프라인, 특정 모델과 동작에 필요한 전&후처리 단계를 연결해, 빠르고 편하게 이해할 수 있는 답변 얻기- sentiment analysis task로 pipeline 객체를 만들고, classifier에 입력했더니 자동으로 모델 가져와서 태스크 수행하였음 * 파이프라인에 텍..

- 프로세스: 운영체제가 자원을 할당하는 단위- 컴퓨터 메모리에서 하나의 프로세스가 실행되는 동안 할당되는 가상의 메모리 공간- 서로 격리되어있어, 한 프로세스의 작업이 다른 프로세스에 영향X- 메모리를 관리하기 위해 공간들을 관리하는 구조 (프로세스 주소 공간)- 프로세스 영역은 가상 메모리 주소 공간으로써, 각 세그먼트는 특정한 목적을 가지고 있습니다. 이러한 구조는 메모리를 효율적으로 사용하고 프로세스 간의 격리를 제공하여 안정성과 보안을 강화합니다. 프로세스 간의 통신이 필요한 경우에는 명시적인 메커니즘을 사용하여 데이터를 교환하게 됩니다.  - Text Segment(Code segment): 프로그램의 명령어들이 저장되는 공간입니다. CPU는 여기에 저장된 명령어들을 실행- Data Segm..

파이썬 타입 어노테이션 공부하다가 나온 개념 정적 프로그래밍 언어 (Static Programming Language):변수의 자료형이 컴파일 시간에 결정되고, 컴파일러가 컴파일 시에 변수의 자료형을 확인합니다.프로그램 실행 전에 컴파일러가 코드를 번역하고, 실행 파일을 생성합니다.C 언어는 대표적인 정적 프로그래밍 언어로, 변수의 자료형을 미리 선언하고, 컴파일 시간에 변수의 메모리 할당이 이루어집니다.Java도 정적 프로그래밍 언어 (int a = 3) 동적 프로그래밍 언어 (Dynamic Programming Language):변수의 자료형이 런타임(실행 시간)에 결정되고, 인터프리터가 코드를 실행하는 동안 변수의 자료형을 확인합니다.프로그램 실행 중에 인터프리터가 코드를 해석하고 실행합니다.Pyt..

Coding Convention: 프로그래밍에 있어서의 '규칙'. 가이드라인 모음. 파이썬: PEP8이 대표적. 참조: https://velog.io/@rex/%EC%BD%94%EB%93%9C-%EC%9E%91%EC%84%B1-%EA%B7%9C%EC%B9%99%EB%93%A4-Coding-Conventions 코드 작성 규칙들 (Coding Conventions)여기까지 오느라 고생했어! 지금까지 배웠던 것들은 모두 프로그래밍의 기본중의 기본이야. 이런 기초적인 지식을 배웠으니 이제부터는 본격적으로 개발이라는걸 해봐야겠지?!그 전에 지켜줘velog.io # Naming Convention 네이밍 컨벤션이름짓기에 있어서의 규칙. 변수 이름, 타입, 함수 등 식별자에 사용되는 문자열을 선택하기 위한 여러가지..

참고: https://wikidocs.net/16071 상속(Inheritance)class Parent: ...내용...class Child(Parent): ...내용...Parent class를 상속받는 Child class를 선언그러면 자식클래스에서 부모클래스의 속성, 메소드를 기재하지 않아도 포함됨부모 클래스 확장하기부모 클래스에 새 메소드 추가 새로운 attribute 추가기존 메소드 재정의: 매개변수를 같게 주는 경우Method Overriding 자식클래스 내에서 부모클래스 호출하기그럴때는 super() 라는 키워드를 사용하면 자식클래스 내에서 코드에서도 부모클래스를 호출할 수 있습니다. # 오버라이딩 vs. 오버로딩- Overriding: 상속 시 상위 클래스에서 정의한 메소드를..

[HTML] - tags & attributes: 가장 기본적인 뼈대를 만드는 태그들과 속성들은 기본적으로 알아두기. - Semantic Web: 의미있는 태그 - HTML4까지는 div 태그 활용해 제작했으나, 이제는 header, aside, main 등 의미 있는 태그 사용해 컨테이너 만들어야 함.    - 직관적 > 유지보수 편리, 검색엔진 노출 가능성 높음, 접근성 좋아짐 (화상 키보드 입력 등) [CSS]- Layout (float, flex, grid), transition/animation,   - flex, grid: 정렬 (어느 페이지에서 꼬치 식으로 컨테이너들을 정렬하는 예시를 봤던 것 같다)- Responsive Web(반응형 웹): 화면 해상도에 따라 가로폭/배치를 변경해 가독성을..