LLocalSearch라는 새로운 오픈 소스를 알게 되어 바로 찾아 지지고 볶아봤다! 왜냐면,,이전에도 포스팅했던 바 있는 Perplexity를 클론할 수 있었기 때문이었다. 테마까지 동일한 인터페이스를 제공하고 ollama에 설치된 기본적인 LLM 목록 중 하나를 선택해서 chat UI기반 검색 기능을 제공한다.
역시 가장 매력적인 부분은 OpenAI 또는 Google API 키가 필요 없이도 원할하게 동작한다는 점이다. 더불어 GPU도 권장은 하지만 필수는 아니라는 점에서 실질적인 상용화 측면에서도 여러모로 많은 인사이트를 얻을 수 있었다. 참고로하부 구조는 두 개의 Chain*( 개인적으로 Agent로 해석된다)*으로 구성되어 있다.
https://github.com/nilsherzig/LLocalSearch/issues/17
이 과정에서 SearXNG이라는 무료 메타 검색엔진을 알게 되었다. SearXNG은 무려..75개의 온라인 검색 인스턴스를 통해 그 결과를 취합하는 엔진인데 사용자를 추적되거나 프로파일링되지 않는 메타 검색 엔진이다. 그래도 불안하다면 ㅎㅎ, 온라인 익명성을 위해 Tor를 통해 SearXNG를 사용할 수도 있다.
https://github.com/dosyago/DownloadNet
uwsgi — Searx Documentation (Searx-1.1.0.tex)
참고로 메타검색엔진이란?
메타검색 엔진(또는 검색 애그리게이터)은 웹 검색 엔진의 데이터를 사용하여 자체 결과를 생성하는 온라인 정보 검색 도구입니다. [1][2] 메타검색 엔진은 사용자로부터 입력을 받아 즉시 검색 엔진[3]에 쿼리 하여 결과를 제공합니다. 충분한 데이터가 수집되고 순위가 매겨져 사용자에게 표시됩니다.
스팸과 같은 문제는 결과의 정확성과 정밀도를 떨어뜨립니다.[4] 융합 과정은 메타검색 엔진의 엔지니어링을 개선하는 것을 목표로 합니다. [5]
메타검색 엔진의 예로는 온라인 여행사 및 제공업체 웹사이트의 검색 결과를 집계하는 Sky scanner와 Kayak.com, 인터넷 검색 엔진의 결과를 집계하는 무료 오픈 소스 검색 엔진인 Searx 등이 있습니다.
출처 : 위키피디아