담비와시작하는머신러닝

보안 정책이나 네트워크 제한으로 Docker Hub에 접근할 수 없는 환경에서 Docker 컨테이너를 운영해야 하는 경우가 있습니다. 금융권, 공공기관, 폐쇄망 기업 등이 대표적입니다.인터넷이 되는 환경에서 이미지를 내려받아 오프라인 환경으로 옮겨 설치하는 방법을 정리했습니다. 1. 오프라인 설치가 필요한 상황외부 네트워크 접근 금지 (금융권, 공공기관)내부망만 사용 가능한 폐쇄망 환경인터넷 연결이 불가능한 원격 현장Docker Hub 또는 사내 레지스트리 장애서버 교체, 재해 복구용 이미지 백업 2. 기본 개념Docker는 이미지를 파일로 내보내고 파일에서 불러오는 기능을 제공합니다. 핵심 명령어:명령어용도docker save이미지를 tar 파일로 저장docker loadtar 파일에서 이미지 불..

들어가며ChatGPT, Claude, Gemini... 클라우드 기반 LLM이 세상을 바꾸고 있지만, 여전히 해결해야 할 문제가 있습니다. 데이터 프라이버시, 네트워크 의존성, API 비용이 바로 그것입니다. 회사 내부 문서로 질문하고 싶은데, 외부 서버에 데이터를 보내도 될까요? 매월 수백만 원의 API 요금은 부담스럽지 않나요?Ollama는 이런 문제를 해결합니다. 내 컴퓨터, 내 서버에서 LLM을 직접 실행할 수 있게 해주는 오픈소스 프로젝트입니다.Ollama란?Ollama는 로컬 환경에서 대규모 언어 모델(LLM)을 쉽게 실행하고 관리할 수 있게 해주는 오픈소스 도구입니다. llama.cpp를 기반으로 하며, 복잡한 컴파일 과정 없이 단 몇 줄의 명령어로 모델을 다운로드하고 실행할 수 있습니다.핵..

1. Docker란 무엇인가? Docker는 애플리케이션을 컨테이너라는 표준화된 유닛으로 패키징하여, 어디서나 일관되게 실행할 수 있게 해주는 오픈소스 컨테이너화 플랫폼입니다. "Build once, Run anywhere"라는 철학 아래, 개발 환경과 프로덕션 환경 간의 차이로 인한 문제를 근본적으로 해결합니다.2. 핵심 개념 이해하기2.1 컨테이너 (Container)컨테이너는 애플리케이션과 그 실행에 필요한 모든 것을 하나로 묶은 독립적인 실행 환경입니다.┌─────────────────────────────────────┐│ Container ││ ┌───────────────────────────────┐ ││ │ Application..

개요대규모 언어 모델(LLM) 서빙을 위한 추론 서버들이 빠르게 발전하고 있습니다. 이 글에서는 가장 인기 있는 솔루션인 vLLM, TensorRT-LLM, SGLang을 비교하고, 기존 Triton Inference Server와의 차이점도 알아봅니다. 1. vLLM (PagedAttention 기반) 특징PagedAttention기존 방식: max_seq_len=2048로 설정하면 실제 100토큰만 생성해도 2048토큰 분량 메모리 할당 (80% 낭비)vLLM: 실제 사용한 만큼만 메모리 할당 → 동일 GPU로 4배 더 많은 요청 동시 처리Continuous Batching기존 Static Batching: 8개 요청 중 가장 긴 요청(30초) 끝날 때까지 전체 대기vLLM: 요청 완료 즉시 새 ..

Hugging FaceAI 모델, 데이터셋, 데모를 호스팅하는 플랫폼입니다. GitHub가 코드를 공유한다면, Hugging Face는 AI 모델을 공유합니다.허깅페이스에는 같은 모델처럼 보여도 실제로는 형식, 용도, 최적화 방식이 달라 여러 버전으로 존재합니다.모델이 여러 버전으로 존재하는 이유1. 원본 모델 vs 변환본형식설명pytorch_model.bin, model.safetensors원본 가중치ggufllama.cpp용 변환awq, gptq, exl2양자화된 버전onnx, tensorrt, openvino특정 추론 엔진용모델 내용은 비슷해도 실행 환경이 다릅니다. 2. 정밀도 차이정밀도특징FP16 / BF16 / FP32정확도 높음, 용량 큼INT8 / INT4 / 4bit / 8bit가볍고..

1. 개요PostgreSQL 18 Docker 이미지부터 데이터 저장 방식이 변경되었습니다. 기존 방식 그대로 Docker Compose를 구성하면 컨테이너가 무한 재시작되는 문제가 발생할 수 있습니다. 이 글에서는 변경 사항을 분석하고, 실제 겪은 트러블슈팅 사례를 공유합니다.2. PostgreSQL 데이터 디렉토리 표준2.1 PostgreSQL 공식 문서의 데이터 디렉토리 구조PostgreSQL 공식 문서에 따르면, 데이터 디렉토리(PGDATA)는 다음과 같은 구조를 가집니다:$PGDATA/├── base/ # 데이터베이스 파일├── global/ # 공유 시스템 테이블├── pg_commit_ts/ # 커밋 타임스탬..

Triton Inference ServerNVIDIA가 개발한 오픈소스 딥러닝 모델 서빙 플랫폼으로, 학습된 AI 모델을 실제 서비스 환경에서 효율적으로 배포하고 운영할 수 있도록 설계되었습니다.개요Triton Inference Server는 다양한 딥러닝 프레임워크를 지원하며, NVIDIA GPU 환경에서 최적화된 성능을 제공합니다. 하나의 서버에서 여러 모델을 동시에 서빙할 수 있고, 동적 배칭을 통해 처리량을 최적화합니다.주요 특징다중 프레임워크 지원하나의 서버에서 여러 딥러닝 프레임워크를 동시에 지원합니다.백엔드확장자설명TensorRT.planNVIDIA GPU 최적화 엔진ONNX.onnx프레임워크 독립 포맷PyTorch.pt, .pthTorchScript 모델TensorFlowSavedModel..

Error while fetching extensions. XHR timeout: undefinedms.   이 에러는 VS Code에서 확장 프로그램을 설치하거나 업데이트하려고 할 때 발생할 수 있는 일반적인 네트워크 관련 오류이다. 주로 인터넷 연결 문제, 프록시 설정, 방화벽 또는 보안 소프트웨어에 의해 발생하는데, 최근 업데이트 이후에 발생하는 경우, 몇 가지 해결 방법을 시도해 볼 수 있음. 당장 급하면 근본적인 해결책은 아니지만 바로 5번 방법 시도 추천   1. 인터넷 연결 확인안정적인 네트워크에 연결되어 있는지 확인하고, 다른 웹사이트에 정상적으로 접속할 수 있는지 테스트.  2. VS Code 재시작VS Code를 완전히 종료한 후 다시 실행.  3. 방화벽 및 보안 소프트웨어 설정 확인..

자신의 컴퓨터에 있는 로컬 브랜치(local branch)와 서버에 있는 원격 브랜치(remote branch) 관리 시 필요한 주요 명령어들을 알아보자. 확인현재 작업 브랜치 확인git branch수시로 현재 작업 브랜치 확인하는 습관을 들이면 좋다.작업 브랜치 변경git checkout [이동할 브랜치 이름] 조회로컬 브랜치 목록 조회git branch -a원격 브랜치 목록 조회git branch -r 업데이트원격 브랜치 업데이트git remote update원격 브랜치 로컬로 가져오기git checkout -t [가져올 원격 브랜치 이름]-t 는 tracking 옵션이다. 에러가 뜨면 -f 옵션을 추가해 강제로 가지고 올 수 있다. 위 방법을 사용하면 로컬 브랜치 이름이 가져올 원격 브랜치 이름과 ..

Dimension Reduction(차원 축소) * 차원(dimensionality) = 독립변수(입력변수)의 수 불필요한 변수의 사용 시 1. 모델의 과적합(overfitting) 현상 2. 계산 비용 증가 3. 시각화의 어려움 머신러닝에서 정확도 감소를 최소화하면서 차원 축소하는 것이 중요 Curse of Dimensionality (차원의 저주) 차원이 커질수록 해당 공간(space)을 표현하데 필요한 데이터가 기하급수적으로 많아지는 현상 > cost 증가 차원 증가 > 데이터 밀집도 감소 > 데이터 포인트 간의 거리 멀어짐 > 패턴 발견 어려움 > 모델 정확도 감소 Feature Selection vs Feature Extraction - 장단점 Feature Selection(변수 선택) 장점 ..