NLP AI

Transformers

문장을 이해하는 AI — 감정분석 · 유사도 · 요약 · 번역

CLICK TO OPEN

문장 유사도 비교

문장 임베딩 & 코사인 유사도

SentenceTransformer로 문장을 고정 차원 벡터(임베딩)로 변환 → 두 벡터 사잇각의 코사인값으로 의미 유사도 수치화. 단어가 달라도 의미가 같으면 1에 가까움

설치 명령어

pip install sentence-transformers   # 문장 임베딩 전용 패키지 → 모델 로더 + 유사도 유틸 일체

전체 코드

# 1. 라이브러리 불러오기
from sentence_transformers import SentenceTransformer, util
# SentenceTransformer → 사전 학습 임베딩 모델 로더 클래스
# util               → 코사인 유사도·검색 등 보조 함수 묶음

# 2. 사전 학습 모델 로드
# (왜) 임베딩 모델을 직접 학습하려면 대용량 코퍼스·GPU·수일이 필요 → HF에 공개된 가중치 재사용
# (어떻게) 최초 호출 시 ~/.cache/torch/sentence_transformers/ 에 다운로드 후 재사용
model = SentenceTransformer("all-MiniLM-L6-v2")
"""
all-MiniLM-L6-v2 모델 설명
 - 경량 6레이어 트랜스포머, 384차원 벡터 출력
 - 영어 문장을 의미 공간에 매핑 (방향이 곧 의미)
 - 특징
   1. 빠른 연산 속도 (CPU·모바일 가능)
   2. 의미 보존력 우수 (어순 변화에 강건)
   3. 검색·추천·중복 탐지·클러스터링에 표준 모델
"""

# 3. 비교할 두 문장 정의
# 의미상 완전히 다른 문장 예시 → 낮은 유사도 기대
# sen1 = "The cat is sleeping on the sofa"
# sen2 = "Tomorrow, I have a math exam at school"

# 어순만 다르고 의미가 같은 문장 → 높은 유사도 기대
sen1 = "He is reading a book in the library"
sen2 = "He is at the library reading a book"

# 4. 문장 → 숫자 좌표로 바꾸기 (인코딩)
# (쉽게) 문장 한 개를 숫자 384개로 표현 → 의미가 비슷하면 숫자 묶음도 비슷한 모양
# 컴퓨터는 글자보다 숫자를 잘 이해 → 비교·계산하려면 먼저 숫자로 변환 필수
emb1 = model.encode(sen1, convert_to_tensor=True)  # 결과를 Tensor(파이토치 숫자 상자)로 받기
emb2 = model.encode(sen2, convert_to_tensor=True)
# emb1 모양 = 숫자 384개짜리 리스트 (문장 하나 = 384차원 공간의 점 하나)

# 5. 두 좌표가 얼마나 같은 방향인지 측정 (코사인 유사도)
# (쉽게) 두 화살표 사이 각도만 봄 → 0도면 1(똑같음), 90도면 0(무관), 180도면 -1(반대)
# 화살표 길이는 무시, 방향만 비교 → 문장 길이 영향 없음
cos_sim = util.pytorch_cos_sim(emb1, emb2)
# 값 범위 해석
#  -1 : 완전히 반대 의미
#   0 : 의미 무관
#   1 : 완전히 동일 의미

# 6. 결과 출력
# .item() → 0차원 Tensor를 파이썬 float 으로 변환 → f-string 포매팅 가능
print(f"두 문장의 유사도 : {cos_sim.item():.4f}")  # 예) 두 문장의 유사도 : 0.9421

용어 사전

임베딩 (Embedding) — 문장·단어를 숫자 좌표로 바꾸는 마법. 의미가 비슷하면 좌표도 가까움
예) "강아지"와 "개"는 가까운 점, "강아지"와 "비행기"는 멀리 떨어진 점

벡터 (Vector) — 숫자를 일렬로 늘어놓은 한 줄. 줄 하나 = 점 하나
· [3] → 1차원 (숫자선 위 한 점)
· [3, 5] → 2차원 (지도 위 동쪽 3걸음·북쪽 5걸음 지점)
· [3, 5, 2] → 3차원 (방 안 가로3·세로5·높이2 위치)
· [0.2, -0.7, …, 0.1] (384개) → 384차원 (의미 공간 점 하나)
그래프 화살표 = 원점에서 그 점까지 그은 선

코퍼스 (Corpus) — AI가 공부한 책더미. 인터넷·위키·뉴스·소설 수십억 문장 모아놓은 학습용 텍스트 창고
예) 사람이 책 많이 읽고 똑똑해지듯 AI도 코퍼스 읽고 언어 배움

토크나이즈 (Tokenize) — 문장을 작은 조각으로 쪼개기. 컴퓨터는 문장 통째보다 조각 단위로 인식
예) "I love cats" → ["I", "love", "cats"] (단어 3조각). 한국어는 "사과를먹다" → ["사과", "를", "먹다"]

트랜스포머 (Transformer) — 2017년 구글이 발표한 AI 두뇌 구조. 문장 속 단어들이 서로 누구를 가리키는지 한꺼번에 살핌
예) "나는 사과를 먹었다 그것은 맛있었다" → "그것"이 "사과" 가리킴을 자동 파악. ChatGPT·번역기·이미지 생성 AI 모두 이 구조 기반

Tensor (텐서) — 벡터를 N차원으로 확장한 그릇. PyTorch 데이터 형식
· 0차원 = 숫자 한 개 (스칼라) 5
· 1차원 = 벡터 [1, 2, 3] (줄)
· 2차원 = 행렬 [[1,2],[3,4]] (엑셀 시트)
· 3차원 = [[[..],[..]],[[..],[..]]] (큐브, 주사위 쌓기)
핵심: 벡터 = 1차원 텐서. 텐서는 벡터의 큰 형제. GPU로 일괄 계산 가능

벡터 시각화 (문장 = 공간의 점)

실제는 384차원이라 그릴 수 없어 2차원으로 단순화. 두 점에서 원점(0,0)으로 그은 화살표 사이 각도가 작을수록 의미가 비슷함

비슷한 문장 → 유사도 ≈ 0.94

"He is reading a book in the library"
"He is at the library reading a book"

다른 문장 → 유사도 ≈ 0.12

"The cat is sleeping on the sofa"
"Tomorrow, I have a math exam at school"

감정 분석

감정 분석 Sentiment Analysis

영어 문장 입력 → POSITIVE(긍정) · NEGATIVE(부정) 판별 + 신뢰도(0~1) 반환. 리뷰·SNS 평판 분석에 활용

전체 코드

from transformers import pipeline  # 핵심 진입점 → 태스크명만으로 모델·토크나이저 자동 결합

# 1. 감정 분석 파이프라인 생성
# (왜) 모델 로드 + 토크나이저 + 후처리 단계를 매번 직접 짜기 번거로움 → 한 줄로 묶기
# (어떻게) 태스크명 "sentiment-analysis" → HF 검증 기본 모델(distilbert-sst2) 자동 다운로드
classifier = pipeline("sentiment-analysis")  # 최초 1회 ~/.cache 저장 → 이후 즉시 로드

# 2. 분석할 문장 입력 → 추론 실행
# 내부 흐름: 문자열 → 토크나이즈(단어 조각화) → 모델 forward → softmax → 라벨·점수 산출
text = "I'm feeling really great today"
results = classifier(text)  # 반환 형태: [{'label': str, 'score': float}] 리스트

# 3. 결과 확인 (results[0] = 첫 입력에 대한 결과 dict)
print(f"감정 분석 결과 : {results[0]['label']}")    # 'label' 키 → 'POSITIVE' 또는 'NEGATIVE' 두 값
# → POSITIVE
print(f"감정 분석 점수 : {results[0]['score']:.4f}")  # 'score' 키 → 0~1 확률, :.4f 로 소수 4자리 포맷
# → 0.9998  (1에 가까울수록 모델 확신도 높음)

결과 해석

• label — POSITIVE(긍정) · NEGATIVE(부정) 두 값
• score — 0~1 확률값, 1에 가까울수록 확신
• 부정 예시 "I'm having a hard time today" → NEGATIVE
• 한계 — 영어 전용, 중립·복합 감정 표현 미지원 (기본 모델 기준)

용어 사전

Forward (모델 forward) — 입력 넣어 출력 받는 한 번의 통과 = 추론(inference)

Softmax (소프트맥스) — 모델이 뽑은 날숫자 묶음을 0~1 확률값으로 변환하는 함수. 모든 값 합 = 1 (= 100%)
· 큰 값은 더 키우고, 작은 값은 더 줄임 → "이게 정답이다" 강조
· 예) 모델 원본 출력 [2.0, 1.0, 0.1] → softmax → [0.66, 0.24, 0.10] (합 1)
· 감정 분석 점수 0.9998도 softmax 통과한 확률값. 그래서 "확신도"로 읽기 가능

텍스트 생성

텍스트 생성 — GPT-2

입력 문장을 시드로 받아 뒤 단어를 한 토큰씩 예측·이어붙임 → 자동 글짓기 (영어 전용)

전체 코드

from transformers import pipeline  # 태스크명만으로 모델·토크나이저 자동 결합

# 1. 텍스트 생성 파이프라인 생성
# (왜) GPT-2는 디코더 전용 LM → 다음 토큰 확률 분포 출력. 토크나이저·샘플링 직접 짜기 번거로움 → pipeline 한 줄로 묶기
generator = pipeline("text-generation", model="gpt2")  # 최초 1회 모델(~500MB) 다운로드 후 캐시

# 2. 시드 문장 입력 (이어 쓸 첫 부분)
answer = input("생성 문장을 입력해주세요 : ")

# 3. 생성 실행 → 토큰 단위로 max_new_tokens만큼 예측
# (왜) max_new_tokens 미설정 시 무한 생성 위험 → 길이 제한 필수
result = generator(
    answer,
    max_new_tokens=50,       # 추가 생성할 토큰 수 → 길수록 추론 시간 ↑
    num_return_sequences=1,  # 반환 문장 개수 → 2 이상이면 후보 비교 가능
    truncation=True          # 입력이 모델 최대 길이 초과 시 자르기
)

# 4. 결과 출력 (반환은 [{'generated_text': str}] 리스트)
print(result[0]["generated_text"])

주요 옵션

• max_new_tokens — 생성 토큰 상한 (1 토큰 ≈ 영어 4글자)
• num_return_sequences — 동일 입력에 대한 후보 개수
• truncation — 1024 토큰 초과 입력 잘라내기
• 한계 — GPT-2 = 한국어 약함, 사실성 미보장

영문 요약

영문 요약 — T5-small

긴 영어 단락 → 핵심 문장 추출·재작성 (입력 영어 → 출력 영어). 인코더-디코더 구조

전체 코드

from transformers import pipeline

# 1. 요약 파이프라인 생성
# (왜) T5는 "task prefix + 입력 → 출력" 형태로 학습된 다목적 모델 → pipeline이 "summarize: " 접두사 자동 부착
summarizer = pipeline("summarization", model="t5-small")  # 약 240MB 경량 버전

# 2. 요약할 원문 (영어 단락)
text = """A special 25th anniversary edition of the extraordinary
international bestseller... Santiago's journey teaches us about
the essential wisdom of listening to our hearts..."""

# 3. 요약 실행 (길이 옵션 지정)
# (왜) 기본값은 모델마다 다름 → 명시 지정해야 결과 길이 예측 가능
summary = summarizer(
    text,
    min_length=20,   # 최소 토큰 수 → 너무 짧은 요약 방지
    max_length=60,   # 최대 토큰 수 → 길이 폭주 방지
    do_sample=False  # 결정적(greedy) 생성 → 매번 동일 결과
)  # 반환: [{'summary_text': str}] 리스트

# 4. 결과 텍스트 추출 → 출력
sum_text = summary[0]['summary_text']  # 첫 결과의 'summary_text' 키 → 요약 문자열
print(f"요약된 문장 : {sum_text}")

모델 특징

• T5 — Text-To-Text Transfer Transformer, 모든 NLP를 "텍스트 → 텍스트" 변환으로 통일
• min_length / max_length — summarizer(text, min_length=20, max_length=60) 형태로 호출 시 지정 (토큰 단위)
• 한계 — 영어 전용 (한국어 입력 시 품질 저하)

용어 사전

인코더 (Encoder) — 입력 문장을 받아 의미 벡터(문맥 표현)로 압축하는 부분
· 단어 하나하나가 아닌 문장 전체의 뜻을 숫자 묶음으로 요약
· 예: "고양이가 매트 위에 있다" → [0.3, -1.2, 0.8, ...] (수백 차원 벡터)
· 역할 = "원문 이해" 단계

디코더 (Decoder) — 인코더가 만든 숫자 벡터를 다시 글자(문장)로 변환하는 부분
· 인코더 = "글자 → 숫자", 디코더 = "숫자 → 글자" (반대 방향)
· 한 글자(토큰)씩 차례대로 만들어 이어붙임 → 새 문장 완성
· 인코더-디코더 결합 = 번역·요약·질의응답에 적합 (T5, BART, mT5 계열)

Task Prefix (태스크 접두사) — 모델에게 "이번엔 무슨 일 시킬게" 알려주는 머리말
· 비유: 같은 직원에게 일 시킬 때 "요약해줘:" / "번역해줘:" 라고 앞에 한 마디 붙이는 것
· T5는 학습 때부터 "summarize: 원문..." "translate English to Korean: ..." 형태로 배움 → 접두사가 곧 작업 지시
· 한 모델로 요약·번역·분류 다 가능한 비결 = 접두사만 바꾸면 됨
· 우리가 pipeline("summarization", ...) 호출하면 라이브러리가 "summarize: "를 자동으로 앞에 붙여줌 → 직접 안 써도 됨

한국어 번역

요약 + 한국어 번역 — GoogleTranslator

T5 요약 결과(영어)를 구글 번역 API로 한국어 변환 → 영어 모델 한계 보완 파이프라인

설치 명령어

pip install deep-translator   # 구글·DeepL 등 번역 API 래퍼 → 토큰 없이 영어↔한국어 변환

전체 코드

# 1. 라이브러리 불러오기
from transformers import pipeline          # 요약 모델 호출용
from deep_translator import GoogleTranslator  # 구글 번역 래퍼 → API 키 불필요

# 2. 영어 → 한국어 번역 함수 정의
# (왜) 매번 source·target 지정 반복 번거로움 → 함수로 감싸 한 줄 호출
def trans_en_to_ko(sentence):
    """
    주어진 영어 문장을 한국어로 번역하는 함수
    """
    translated_sen = GoogleTranslator(source='en', target='ko').translate(sentence)  # source 출발 / target 도착 언어 → 구글 서버 요청 → 한국어 문자열 반환
    return translated_sen

# 3. 요약 파이프라인 생성
# (왜) 토크나이저·모델·후처리 직접 짜기 번거로움 → "summarization" 한 줄로 결합
summarizer = pipeline(
    "summarization",
    model="t5-small"   # 약 240MB 경량 영어 요약 모델
)

# 4. 요약할 영어 원문 (긴 단락)
text = """
A special 25th anniversary edition of the extraordinary international bestseller, including a new Foreword by Paulo Coelho.
Combining magic, mysticism, wisdom and wonder into an inspiring tale of self-discovery, The Alchemist has become a modern classic, selling millions of copies around the world and transforming the lives of countless readers across generations.
Paulo Coelho's masterpiece tells the mystical story of Santiago, an Andalusian shepherd boy who yearns to travel in search of a worldly treasure. His quest will lead him to riches far different-and far more satisfying-than he ever imagined. Santiago's journey teaches us about the essential wisdom of listening to our hearts, of recognizing opportunity and learning to read the omens strewn along life's path, and, most importantly, to follow our dreams.
"""

# 5. 요약문 생성 (T5 인코더가 문맥 압축 → 디코더가 짧은 문장 생성)
summary = summarizer(text)  # 반환: [{'summary_text': str}] 리스트

# 6. 요약문 텍스트 추출
sum_text = summary[0]["summary_text"]  # 첫 결과의 'summary_text' 키 → 요약 문자열

# 7. 영어 요약문 출력
print(f"### 요약된 영어 문장 : {sum_text} ###")

# 8. 요약문 → 한국어 번역
# (왜) T5는 영어만 잘함 → 결과를 한국어로 옮기려면 외부 번역기 결합 필수
# kr_sum_text = GoogleTranslator(source='en', target='ko').translate(sum_text)   # ← 함수 안 쓰는 1줄 버전 (동일 동작)
kr_sum_text = trans_en_to_ko(sum_text)  # 함수 호출 → 가독성 ↑, 재사용 ↑

# 9. 한국어 번역문 출력
print(f"### 번역된 한국어 문장 : {kr_sum_text} ###")

코드 구조 한눈에

• 1~2 — 라이브러리 import (transformers + deep_translator)
• 3 — trans_en_to_ko() 번역 함수 정의 (docstring 포함)
• 4~5 — T5 요약 파이프라인 생성 + 원문 준비
• 6~8 — 요약 실행 → 영어 결과 추출 · 출력
• 9~11 — 영어 요약 → 한국어 번역 · 출력

파이프라인 흐름

• 원문(영) → T5 요약 → 요약(영) → GoogleTranslator → 요약(한)
• 장점 — 무료, API 키 불필요, 다국어 지원
• 한계 — 인터넷 필수, 호출량 과다 시 차단 가능, 번역 품질은 구글 의존

🐣 브론즈