huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks... To disable this warning, you can either:

huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks... To disable this warning, you can either:

 

이 경고는 Huggingface tokenizers 라이브러리에서 병렬 처리가 이미 사용된 후 프로세스가 포크될 때 발생합니다. 이는 잠재적인 데드락을 방지하기 위한 안전 조치입니다. 이 경고를 비활성화하려면 아래 코드를 추가해 주세요 !

 

import os
os.environ["TOKENIZERS_PARALLELISM"] = "false"