5. 자료를 밖으로 보내지 않기
이 트랙을 마치면
자료를 외부 사업자에게 보내지 않고 LLM 을 쓰는 방법을 고르고 구축할 수 있습니다.
내 컴퓨터에서 모델을 돌리는 방법과 그 대가입니다.
차시 6개
-
1정말 "유출"인가
'전송'과 '학습 이용'을 나눠 말하고, 무엇이 설정으로 바뀌는지 구분합니다.
-
2네 가지 길과 그 대가
자료 민감도·품질 요구·운영 여력 세 축으로 방식을 고릅니다.
-
3내 컴퓨터에서 모델 돌리기
LM Studio 로 로컬 모델 서버를 띄우고 상태를 확인합니다.
-
4주소 한 줄만 바꾸면 된다
패키지를 바꾸지 않고 주소만 돌려 LangGraph 를 로컬 모델에 붙입니다.
-
5정말 안 나가는지 눈으로 보기
세 가지를 관찰하고, 각 관찰이 확인하지 못하는 것까지 함께 말합니다.
-
6로컬로 옮길 때 치르는 값
로컬 전환에서 무엇을 얻고 무엇을 내주는지 계산합니다.
이 트랙에서 처음 나오는 용어
본문에서 점선이 그어진 낱말에 마우스를 올리면 같은 뜻이 뜹니다. 키보드로는 탭 키로 옮겨 가면 됩니다.
| 용어 | 뜻 |
|---|---|
| OpenAI 호환 | OpenAI 와 같은 형식으로 요청을 받는다는 뜻 |
| base_url | 요청을 보낼 서버 주소 |
| loopback | 자기 자신만 접속할 수 있는 주소. 127.0.0.1 |
| 추론 토큰 | 모델이 답을 내기 전 속으로 생각하며 쓰는 분량 |
| 가중치 | 학습으로 정해진 모델의 수치 뭉치. 모델 파일 |
| 공급망 | 남이 만든 패키지·모델이 내게 오기까지의 경로 |
| 엔드포인트 | 요청을 받는 주소와 경로 |