ollama

Published by onesixx on

  1. Ollama Docker 컨테이너 생성:
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 
              --name ollama ollama/ollama
docker run컨테이너 생성&실행
-d 컨테이너를 백그라운드에서 실행detached mode
–gpus all컨테이너에서 GPU를 사용할 수 있도록 설정
-v
ollama:/root/.ollama
“볼륨(volume)”을 설정
Docker 볼륨(ollama)을 컨테이너의 /root/.ollama 디렉토리에 마운트
-p
11111:11434
호스트의 포트 11111를
컨테이너 내부포트 11434에 매핑
port forwarding
–name
ollama
컨테이너 이름을 지정
ollama/ollamaDocker Hub에 있는 이미지 이름

다른 Docker 컨테이너에서 Ollama 사용

docker run -it --network container:ollama your-image

기존의 Docker 컨테이너(sixxos)에서 ollama를 사용하려면

docker exec -it sixxos /bin/bash
docker exec미 실행 중인 컨테이너에서 명령을 실행하는 도구
-it터미널에서 상호작용을 가능
/bin/bash컨테이너 내부에서 Bash 쉘을 실행
docker run -d --gpus all -v ollama-data:/root/.ollama --name sixxos sixxos-image

docker run -d --gpus all --name sixxos sixxos-image

Categories: AI

onesixx

Blog Owner

Subscribe
Notify of
guest

0 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x