생성AI와 관련해서 강의를 할 때 많이 받는 질문 중 하나가 '내 자료가 학습되는가?', '우리 조직의 문서를 올리는 것이 걱정된다' 등과 같은 정보보안 문제입니다. 생성AI를 강의하기 위해 사용하 챗지피티, 제미나이를 사용하는데요, 이런 서비스는 모두 남의 회사 서버를 빌려 사용하는 것이기에 입력된 문장이나 파일은 모두 '그 회사 서버'에 업로드됩니다. 이러한 사용 패턴 때문에 보안에 심각한 문제가 일어날 만한 자료는 업로드하지 말라고 당부를 합니다.
그런데이러한 것을 해결하려면 고사양의 컴퓨터를 세팅한 후 오픈소스 모델을 돌리고, 채팅 인터페이스도 따로 구현하거나 범용 채팅형 소프트웨어(예, anything llm, lm studio, jan 등)를 연동해야 하는 등 기술적인 대응 없이는 쉽게 사용하기 어렵습니다. 범용 채팅형 소프트웨어에 gpt-4o, claude-3.5-sonnet 같은 모델을 연결하는 것도 결국 남의 뇌를 빌려 사용하는 것이니 정보보안의 위험은 동일합니다.
엔비디아가 CES에서 공개한 제품을 보면 이런 우려도 곧 없어지지 않을까 기대해 볼 수 있습니다. 성능이 어느 정도인지는 제품이 나오고 다양한 사례를 파악해 보아야 알 수 있겠죠.
사용하는 파라미터 개수가 많다고 해서 반드시 성능이 좋다고 볼 수는 없습니다. 최종 사용자가 느끼는 사용자경험은 다양한 튜팅을 통해 조정을 해야 좋아질 수 있습니다. 이러한 튜닝은 LLM 서비스들이 잘 해온 분야이니 단순 비교는 크게 의미는 없을 수 있습니다. 그럼에도 불구하고 정보보안을 강화할 수 있는 선택지가 생겼다는 부분에서는 큰 의미가 있다고 생각합니다.
이 제품이 어느 정도 성능을 가지고 있는지 챗지피티에게 정리해 보라고 한 표를 아래와 같이 정리해 보았습니다.
| 모델 이름 | 파라미터 개수 | 비고 |
|---|---|---|
| NVIDIA GB10 Superchip (DIGITS) | 최대 2000억 (단일 장치 기준) | 연결 시 최대 4050억 파라미터 실행 |
| GPT-4 | 약 1700억 | OpenAI의 대규모 언어 모델 |
| GPT-3.5 | 약 1750억 | GPT-4 이전 모델 |
| LLaMA 2 | 70억, 130억, 650억 (모델별) | Meta의 연구용 언어 모델 |
| PaLM 2 | 최대 5400억 | Google의 언어 모델 |
| Claude 2 | 약 1500억 | Anthropic의 최신 언어 모델 |
<원문>
NVIDIA의 새로운 AI 슈퍼컴퓨터 프로젝트 DIGITS: 개인 연구 및 개발의 혁신
<요약>
- NVIDIA Project DIGITS: AI 연구자, 데이터 과학자, 학생을 대상으로 개인 AI 슈퍼컴퓨터 제공. Grace Blackwell 플랫폼 기반.
- GB10 Superchip: 1페타플롭의 AI 컴퓨팅 성능. 최신 Blackwell GPU와 NVIDIA Grace CPU로 구성. 전력 효율성과 강력한 성능 제공.
- 사용 편리성: 데스크톱에서 대형 AI 모델(최대 2000억 파라미터) 실행 가능. 클라우드 또는 데이터 센터로 원활히 확장 가능.
- 소프트웨어 생태계: NVIDIA NeMo, RAPIDS, PyTorch, Python 등 다양한 AI 개발 도구 및 프레임워크 지원. NVIDIA AI Enterprise 라이선스로 기업 환경에서도 안정적 운영 가능.
- 출시 및 가격: 2025년 5월 출시 예정. 가격은 $3,000부터 시작.
<교수학습과 에듀테크 관점에서 생각해 볼 점>
- AI 연구와 교육에 필요한 고성능 컴퓨팅 자원을 개인화함으로써 학습 접근성이 확대될 가능성이 있음.
- 프로젝트 DIGITS가 학생 및 개발자들에게 AI 프로토타이핑과 실험 환경을 제공하여 AI 기술 습득 속도를 가속화할 전망.
- 그러나 가격과 전력 소모 문제로 인해 저소득층 및 저개발 지역의 접근성이 제한될 수 있음. 이를 위한 보조 정책 또는 프로그램 필요.
※ 본 내용은 생성AI를 사용하여 요약했습니다. 요약이 부족할 수 있으니 세부 내용은 출처의 원본을 참고하세요.
세상 돌아가는 이야기, 에듀테크 업계 돌아가는 이야기를 커넥트온 스터디에서 함께 나누어 보아요.
