[Colab] RuntimeError: CUDA out of memory.

문제 상황

!python run_clm_no_trainer.py \\
    --dataset_name wikitext \\
    --dataset_config_name wikitext-2-raw-v1 \\
    --model_name_or_path gpt2 \\
    --output_dir /tmp/test-clm

gpt2 를 돌리던 와중에 에러 발생

해결방법

배치사이즈를 줄여보자

--per_device_train_batch_size 2 

References

https://github.com/huggingface/transformers/issues/8721