Jan.ai는 간단하게 집에서
ChatGPT4를 비롯한 LLM들을
로컬에서 설치해 사용하거나
혹은 API를 통해 편하게 사용할 수 있게 해주는데

위 링크를 통해 들어간 뒤
Download for Windows를 눌러
다운로드 받은 다음 파일 눌러 설치해주고

설치가 완료된 후에는
각종 모델을 CPU로 돌리기에는
좀 느리기 때문에

왼쪽 하단의 설정 누르고
Advanced Settings를 누른 뒤
GPU Acceleration을 선택해주자

다음은 OpenAI ChatGPT를 사용할 경우
CPU / GPU는 아무 의미가 없고
모델에서 ChatGPT 선택한 다음
API Key만 넣어주면 끝이지만

로컬에서 LLM을 돌려보고 싶으면

모델을 선택한 뒤
Explorer The Hub를 눌러주고

이후 모델을 선택한 후
다운로드 받고 사용해주면 되는데
속도는 GPU 성능이 좋아야 빠르고

채팅 시 퀄리티는
ChatGPT에 비하면 많이 부족하고
한글 답변도 제대로 하지 못하는 수준이라
질문은 반드시 영어로만 해줘야 한다