허깅페이스 인 액션

허깅페이스는 AI가 확대되면서, 많이 듣게되는 사이트 입니다.

최근에 엔비디아가 허깅페이스를 약 17조 6,000억 원에 인수계약을 하였고, 승인을 2027 상반기 예상됩니다.

 

그러면 어떠한 기술 및 서비스이기에 그렇게 큰 금액을 지불하면서 인수를 하려고 한는 것일까요?

매닝 출판사의 in action 시리즈의 책이 번역서로 출간되었습니다.

이 책을 통해서 허깅페이스의 기본부터 무엇을 할수 있고, 어떻게 활용할수 있는지 살펴보려고 합니다.

 

 

책의 후반부에는 아래의 사항을 다루는 고급주제를 다룹니다.

• 랭체인(LangChain) 프레임워크를 사용하여 나만의 LLM 기반 애플리케이션 구축하기
• 랭플로우(Langflow)로 LLM 기반 애플리케이션을 시각적으로 프로토타이핑하기
• GPT4All 등 OpenAI의 생성형 사전 학습 변환기(GPT) 모델 대안 탐색하기
• 데이터 프라이버시를 침해하지 않고 LLM 기반 애플리케이션 개발하기
• 검색 엔진과 코드 인터프리터 같은 도구를 통합하는 에이전트 만들기
• 모델 컨텍스트 프로토콜(MCP)을 사용하여 AI 어시스턴트를 외부 데이터 소스에 연결하기

 

■ 허깅페이스란?

· 오픈소스 머신러닝 모델을 구축하고, 학습하고, 배포하는 문화를 장려하는 AI커뮤니티입니다.

자연어 처리, 컴퓨터 비전 작업, 오디오 처리 작업등 여러 문제 영역에 최신화된 최신 모델을 제공합니다.

추가로 머신러닝 도구 뿐만 아니라, 사전 학습된 모델과 데이터셋을 호스팅하는 플랫폼도 운영합니다.

 

허깅페이스의 다양한 모델을 살펴봅니다.

https://huggingface.co/models

Models – Hugging Face

 

 

 

· 실습환경은 아나콘다 설치 후, python기반으로 conda active HuggingFaceBook으로 환경 구성을 시작합니다.

아나콘다 환경에서 주피터 환경으로 진행합니다. 처음 보는 화면에서 실습을 잘 따라할수 있도록 화면이 잘 구성되어 있습니다.

 

요즘은 AI를 통한 바이브 코딩 및 결과가 바로 나오는것에 익숙하기는 하지만, 우리는 동작원리를 잘 알고 필요한 모델을 선택할수 있는

능력을 배우고 학습해야 합니다. 그런 점에서, 트랜스포머 아키텍처에 대해서 3장에서 이론을 설명해주고 있습니다. 

인코더, 디코더의 개념 및 토큰화의 개념을 알아봅니다.

 

허깅페이스가 개발한 트랜스포머 라이브러리는 최신의 트랜스포머 기반 모델을 더 쉽게 활용해봅니다.

너무 많은 모델이 있는데, 어떠한 모델을 선택해서 고민할 부분이 많습니다. 책을 통해서 비전을 이용할때는 겸험을 하게 되는것이

좋습니다 .https://huggingface.co/facebook/detr-resnet-50

facebook/detr-resnet-50 · Hugging Face

 

이미지 분류 및 나이 분류를 위한 두가지 샘플 모델들도 사용합니다.

 

 

■ 허깅페이스 데이터셋 탐색, 토큰화, 시각화

최신의 오픈소스 머신러닝 모델을 개발, 훈련, 배포하는 AI플랫폼입니다. 

훈련된 모델을 위한 허브를 제공하는 것 이외에도 다양한 사용가능한 데이터셋을 호스팅합니다.

https://huggingface.co/datasets

Datasets – Hugging Face

 

 

· 사전 학습된 모델 파인 튜닝과 멀티모달 모델 작업

파인 튜닝은 도메인별 데이터로 모델을 훈련시켜 더 특화된 작업에 적응시키고 성능을 향상시키는 과정입니다.

이 부분에서 허깅페이스를 통해서 활용해보고, 이미지, 텍스트와 같은 멀티모달 탐색을 통해서 다양한 유형의 데이터를 결합하여

더 복잡한 작업을 수행하는 실습을 합니다.

파인튜닝에 대해서 실습을 어떻게 할수 있을지 아무런 준비가 없으면 수행하기 어렵습니다.

머신러닝 기법으로 이미 큰 데이터셋으로 부터 일반적인 패턴을 학습한 사전 학습된 모델을 더 작고 도메인에 특화된 데이터셋으로

추가 훈련에서 얻은 지식을 활용해서서 더 작은 데이터 작업에 특화된 작은 계산을 잘 수행할수 있게 하는 작업입니다.

 

허깅 페이스에서 제공하는 다양한 클래스를 사용하면서 실습합니다.

Trainer, Training Arguments 클래스등 python코드를 통해서  작성합니다.

 

 

 

· 랭체인과 라마인덱스를 사용한 LLM기반 어플리케이션 구추

우리는 LLM구성시  랭체인 프레임워크를 많이 사용합니다. LLM모델은 라마를 사용하여서 어플리케이션 구성을

구축해봅니다.