본문 바로가기

분류 전체보기544

bert를 활용한 문장 분류(bert classification), BertForSequenceClassification transformer 패키지에 BertForSequenceClassification를 활용한 분류기 코드 입니다. 샘플데이터는 nsmc 데이터를 사용하였습니다. txt 확장자를 가지며, 아래 그림과 같이 tab으로 분류 되고, 문장에 대한 컬럼이름이 "document" 라벨에 대한 컬럼이름이 "label" 이면, 본 코드 활용이 가능합니다. [요약] 제가 작성한 함수에 대한 설명과 각 함수의 위계 입니다. level 1 level 2 level 3 내용 run preprocess - 데이터 불러오기 -> 스페셜 토큰 추가 -> 분절화(토큰화)->패딩->마스팅 과정을 거치는 함수 입니다. - 토큰에 대한 아이디, 마스킹, 라벨 값을 리턴합니다. load_data - data 폴더 안에 tab으로 분류된 t.. 2023. 4. 25.
requirements.txt 패키지 설치하기 requirements.txt 패키지 설치하기 github에서 코드를 받아 사용할 때 패키지 설치를 위해 requirements.txt 파일을 제공하는 경우가 많습니다. 터미널에서 "pip install -r requirements.txt" 를 입력하면, requirements.txt 내 패키지를 모두 설치할 수 있습니다. pip install -r requirements.txt 2023. 4. 25.
gpt가 소개하는 데이터 분석 프로그래밍 언어와 파이썬의 장단점 데이터 분석 프로그래밍 언어 종류와 설명 Python 데이터 분석에 가장 인기 있는 언어 중 하나로, 뛰어난 라이브러리와 패키지(NumPy, pandas, Matplotlib, Seaborn, SciPy 등) 덕분에 데이터 처리, 시각화, 통계 분석, 머신 러닝 등의 작업에 적합합니다. R 통계 분석과 그래픽에 특화된 프로그래밍 언어로, 데이터 분석가와 통계학자들에게 인기가 많습니다. R은 ggplot2, dplyr, tidyr 등 다양한 패키지를 통해 데이터 전처리, 시각화 및 모델링을 지원합니다. SQL (Structured Query Language) 데이터베이스에서 데이터를 검색, 추가, 수정 및 관리하는 데 사용되는 표준 질의 언어입니다. 대부분의 데이터 분석가는 데이터를 추출하고 조작하는 데 .. 2023. 4. 25.
터미널에서 바로 연산 하기 터미널에서 바로 연산 하기 expr 숫자 연산기호 숫자 (숫자와 연산기호 사이에 반드시 공백이 들어가야 하네요.) ### 225 빼기 184 expr 225 - 184 # 41 ### 55 더하기 45 expr 55 + 45 # 100 ### 4 나누기 2 expr 4 / 2 # 2 [주의] 곱셈은 아래와 같이 입력해야 합니다. [참고] 숫자와 연산기호 사이에 공백이 안들어가면 문자 그대로 출력되네요 expr 2+2 # 2+2 let 명령어 활용 ### 225 빼기 184 let z=225+184 echo $z # 41 ### 55 더하기 45 let z=55 + 45 echo $z # 100 #### 2 곱하기 2 let z=2*2 echo $z # 4 ### 4 나누기 2 let z=4/2 echo .. 2023. 4. 25.
터미널에서 txt 파일 바로 보기 : head, tail 제일 첫번째 줄부터 미리보기 head filename.txt head 명령어를 사용한 예시 제일 아래줄 부터 미리보기 tail filename.txt tail 명령어를 사용한 예시 2023. 4. 25.
python argparse True False(action="store_true") argparser를 활용한 True / False 반환 하기 : action="store_true" use_GPU 변수에 True 혹은 False 를 담는 argparse 코드는 아래와 같습니다. import argparse parser = argparse.ArgumentParser() parser.add_argument("--use_GPU", action="store_true") # use_GPU를 사용하면 true를 저장한다로 해석합니다. args = parser.parse_args() if args.use_GPU == False: print(args.use_GPU) else: print(args.use_GPU) 실행 방법은 아래와 같습니다. # 터미널에 아래와 같이 입려하면 use_GPU 인자를 사.. 2023. 4. 24.

티스토리툴바