<aside> 💡 LMStudio 소개 ollama와 같이 외부 다양한 오픈소스 llm을 로컬에 개별 설치하고 로컬 서버로 운영할 수 있도록 도와주는 툴이다. ollama와 다른 점은 기본 인터페이스가 CLI가 아닌 GUI로 제공되고 있다는 점이다

AnythingLLM 소개 유사한 서비스로는 streamlit이나 chainlit이 있는데, 차이점은 코딩 작업 없이 LMStudio와 ollama 뿐만아니라 다양한 개별 모델들의 클라이언트 인터페이스를 구성할 수 있도록 도와주는 툴이다 *로컬기반이고 외부url 배포를 위해서는 유료 멤버십이 필요하다

대략적인 사용 순서

1. LMStudio( 또는 ollama) 설치, 원하는 모델 다운로드, 로컬 서버 구동
2. AnythingLLM 설치, 구동 중인 로컬 서버 정보 등록, 대화 생성, 컨텍스트 문서 추가, 이용

</aside>

LMStudio

👾 LM Studio - Discover and run LLMs locally

이용 예)

→ 모델 설치, 리스트라엘의 경우 Q값이 5이상을 권장한다

→ 모델을 테스트하고 시스템 자원에 대한 현황을 파악할 수 있는 GUI를 제공

→ 로컬 서버를 운영할 수 있는 기능과 GUI 제공

AnythingLLM

Download AnythingLLM for Desktop

모델 선택

→ 모델( LMStudio) 선택 후, 서버 정보* 입력 *서버 정보 : LMStudio의 로컬 서버 실행해서 정보 얻기

그 밖에 임베딩엔진과 백터db 선택하기

로컬 서버로 실행한 결과, 첫 접속시 기본적인 이용 가이드가 제공된다

좌측 워크스페이스를 선택해서 채팅을 시작할 수 있다. 사용 예를 보면 답변을 잘하지 못한다. 이는 단순히 성능의 문제가 아니라 컨텍스트가 없기 때문이다.

대화의 컨텍스트를 맞추기 위해, 대화 창에 관련 문서를 먼저 업로드하자

대화 중간에 문서를 추가하려면 왼쪽 버튼을 클릭한다

1)url 또는 파일을 업로드하면 2)위에 목록이 추가되고 일부 항목을 선택하면 3)오른쪽 영역(대화 워크스페이스 이름)으로 이동하고 4)임베딩 버튼을 누르면 해당 데이터가 워크스페이스에 적용된다

컨텍스트 설정 전과 달리 정상적인 답을 해주고 있다

답변 내용이 url 또는 문서를 참조하고 있는 경우, 참조 경로를 추가적으로 제공해준다