본문 바로가기

inistory

Visits

Today

Yesterday

Recent Posts

Popular Posts

Recent Comments

분류 전체보기

[Colab] RuntimeError: CUDA out of memory.

TIL/Colab [Colab] RuntimeError: CUDA out of memory. 문제 상황 !python run_clm_no_trainer.py \\ --dataset_name wikitext \\ --dataset_config_name wikitext-2-raw-v1 \\ --model_name_or_path gpt2 \\ --output_dir /tmp/test-clm gpt2 를 돌리던 와중에 에러 발생 해결방법 배치사이즈를 줄여보자 --per_device_train_batch_size 2 References https://github.com/huggingface/transformers/issues/8721

[Colab] Mecab name 'Tagger' is not defined

TIL/Colab [Colab] Mecab name 'Tagger' is not defined !apt-get update !apt-get install g++ openjdk-8-jdk !pip3 install konlpy JPype1-py3 !bash

Programming/Tensorflow Tensorflow 버전확인 ipython >> import tensorflow as tf >> print(tf.__version__) References https://aalto.tistory.com/5

[Ubuntu] Ubuntu 버전 확인

TIL/Linux [Ubuntu] Ubuntu 버전 확인 lsb_release -a References https://www.delftstack.com/ko/howto/linux/how-to-check-the-version-of-ubuntu/

[MacOS] Error: homebrew-core is a shallow clone

TIL/MacOS [MacOS] Error: homebrew-core is a shallow clone 문제 brew update 2020년 10월 부터 HomeBrew가 더이상 Shallow clone을 생성하지 않기 때문에 발생하는 에러 해결방법 git -C /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core fetch --unshallow git -C /usr/local/Homebrew/Library/Taps/homebrew/homebrew-cask fetch --unshallow References https://somjang.tistory.com/entry/MacOS-X-homebrew-core-is-a-shallow-clone-Error-해결-방법

Attention Mechanism이란?

ML/NLP Attention Mechanism이란? 1. Sequence-to-sequence(Seq2seq) 시퀀스를 다른 시퀀스로! : 어떤 시퀀스를 입력받으면 그 시퀀스를 다른 시퀀스를 변환시키는 모델링 Encoder: 뭔가를 이해하는 모델 Decoder: 뭔가를 생성하는 모델 인코더가 입력받고 내용을 이해하고 만든 결과를 만든 결과가 Context vector(개발자가 사이즈를 지정) 컨텍스트 백터를 입력받아서 디코더가 문장을 생성 문제: 입력의 길이가 길어도 고정된 사이즈의 context 벡터를 사용해야함 -> 인코더에 들어가는 내용이 많으면 전부 컨텍스트 벡터에 저장하기 불가 전부 이해한다음에 한번에 컨텍스트 벡터를 만들어내는 것은 비효율적! 그러지말고 한 단어, 토큰을 볼 때마다 컨텍스트 벡터를 만들어서 주면, 디코더가 보고나서 중요한 것만 ..

TIL/LaTeX Latex 기호 정리 $$x = 3$$ x = 3 그대로 쓰면 된다 $$x_i$$ x_i 언더바 사용 $$x^3$$ x^3 제곱 : ^ 사용 $$\sum x_iw_i$$ \sum x_iw_i sigma : \sum 으로 입력. (역슬래쉬) → 수학기호에서 특수문자는 역슬래쉬로 입력한다. $$E(X) = \sum^n_{i=1}(x_i \times p_i) = \int^\infty_{-\infty}{x f(x) dx}$$ E(X) = \sum^n_{i=1}(x_i \times p_i) = \int^\infty_{-\infty}{x f(x) dx} 시그마: \sum 시그마 범위: ^n_{i=1} X: \times 적분 기호: \int 무한대: infin 적분 범위(-무한대 ~ 무한대) : ^\infin_{-\infin} $$y=f..

TIL/Linux [Ubuntu] AttributeError: 'tuple' object has no attribute 'shape' import tensorflow as tf tf.compat.v1.disable_eager_execution() experimental_run_tf_function=False 케라스 버전 문제 위의 코드를 추가해주면 된다.

이전 1 ··· 6 7 8 9 10 11 12 ··· 24 다음

티스토리툴바