분류 전체보기

문제 17609번: 회문 각 문자열이 회문인지, 유사 회문인지, 둘 모두 해당되지 않는지를 판단하여 회문이면 0, 유사 회문이면 1, 둘 모두 아니면 2를 순서대로 한 줄에 하나씩 출력한다. www.acmicpc.net 코드 My answer import sys input=sys.stdin.readline def main(s): def check(substring): return substring == substring[::-1] for i in range(len(s) // 2): if s[i] != s[len(s) - 1 - i]: substring_left = s[:i] + s[i + 1:] substring_right = s[:len(s) - 1 - i] + s[len(s) - i:] if chec..

이번에는 PyTorch를 이용하여 DNN 구조를 구현하는 것을 데이터를 불러오는 것부터 하나하나 실습해 보도록 할 것이다. 0. Environmet setting 나는 Python 3.9.0, Cuda=11.7, PyTorch=2.0.0 환경에서 실습을 진행하였다. 딥러닝 NVIDIA GPU / cuda 사용하기 1. CUDA 설치 아래 링크에서 본인의 그래픽 카드에 맞는 NVIDIA 드라이버 다운로드.(나: RTX 3060TI) Download the latest official NVIDIA drivers Download the latest official NVIDIA drivers www.nvidia.com 2. CUDA Toolkit 설치 아래 changsroad.tistory.com 1. 사전세팅..

이번 글에서는 딥러닝의 발전에 크게 기여한 모델들에 대하여 간단하게만 알아볼 것이다. 1. LeNet-5 1998년 Yann LeCun에 의해 제안된 LeNet-5 모델은 손글씨 숫자를 인식하기 위해 설계된 최초의 합성곱 신경망 구조이다. 2. ILSVRC Mnist 데이터 셋에 대하여 모델들이 성능이 뛰어나자 새로운 데이터 셋을 생성하였다. ILSVRC: ImageNet Large Scale Visual Recognition Challenge라고 부르며, 수백만 개의 이미지로 구성된 데이터베이스로, 각 이미지는 라벨이 붙어 있어 다양한 컴퓨터 비전 연구에서 사용된다. ImageNet 자체는 거대한 이미지 데이터베이스이며, ILSVRC는 이 데이터셋을 이용해 2010~2017년에 개최된 대회로, 여러 비..

0. BERT 등장 BERT는 Google의 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 논문에서 처음 제안된 모델로, 이전의 Transformer의 인코더 기반의 언어 모델이다. 우선 unlabeld data로부터 pre-train을 진행한 후, 전이학습을 하는 모델이며, 하나의 output layer을 pre-trained BERT에 추가하여 다양한 NLP task에서 SOTA를 달성하였다. 기존의 사전학습된 벡터 표현을 이용하는 방법은 크게 2가지가 존재하였다. 0-1. feature based approach 대표적으로 ELMo가 있으며, pre-trained representations를 하나의 ..

오늘은 생성 모델 GPT에 대한 강의를 정리해 보도록 하겠다. 0. GPT 등장 GPT 모델은 2018년에 OpenAI에서 "Improving Language Understanding by Generative Pre-Training"이라는 논문에서 처음 등장하였다. 일반적으로 자연어처리에서 특정 작업을 진행하기 위한 데이터셋이 부족하기 때문에 기존에도 unsupervised learning이나, semi-supervised learning 같이 라벨이 없는 비정형 텍스트를 사용하는 방법들이 계속 제안되었었다. 또한 ELMo 같이 LM을 기반으로 사전학습을 거친 모델들이 좋은 성능을 보인다는 것이 알려져 있었다. 그러나 RNN기반의 모델들은 구조적 한계가 있었다. 그래서 GPT는 Transformer이 등..

오늘은 다양한 LLM 모델들을 로컬에서 사용할 수 있는 ollama를 설치해보고자 한다. 또한 웹 UI로도 실행시킬 수 있어 로컬 Chat gpt처럼 사용할 수 있다! 우선 Linux와 Mac은 쉽게 설치해서 사용할 수 있는데 windows 버전은 아직 공개되지 않았다고 한다. 그러나 window에서 WSL(Windows System for Linux) 기능을 이용하여 윈도우에서 리눅스 환경을 실행할 수 있어 ollama를 사용할 수 있다. 1. WSL 기능 활성화 우선 제어판에 들어가서, `Windows 기능 켜기/끄기`를 검색한다. (혹은 제어판->프로그램 및 기능) 이후, `Linux용 Windows 하위 시스템`과 `가상 머신 플랫폼`을 활성화 시켜주고 pc를 재부팅해준다. 다음으로 power s..