소규모 비즈니스의 AI 준비 — 데이터, API, 그리고 지금 해야 할 것들

안녕하세요, yeonghyeon입니다. 15년간 소프트웨어를 만들어 온 개발자입니다.

요즘 AI가 모든 문제를 해결해 줄 것처럼 이야기되고 있습니다. 하지만 현장에서 보면, 아직 디지털 전환조차 이루어지지 않은 팀들이 많습니다. 이런 팀들에게 "AI를 도입하세요"라고 말하는 것은 운전면허도 없는 사람에게 자동차를 사라고 하는 것과 같습니다.

오늘은 과대광고를 걷어내고, 소규모 비즈니스가 AI 시대에 실제로 준비해야 할 것이 무엇인지 이야기해 보겠습니다.

현재 AI란 무엇인가

먼저 AI가 지금 어디까지 와 있는지 정확히 이해할 필요가 있습니다.

현재 우리가 사용하는 AI(대규모 언어 모델, LLM)는 수많은 텍스트와 이미지를 학습하여 자연어를 이해하고 응답할 수 있는 수준에 도달했습니다. 여기서 "이해"라는 표현에 주목해 주십시오. AI의 이해는 확률에 근거합니다.

쉽게 말하면 이렇습니다. "오늘 날씨가 ___"이라는 빈칸이 있을 때, AI는 학습한 수많은 문장에서 이 빈칸에 들어갈 가장 적합한 단어를 확률적으로 선택합니다. "좋다", "흐리다", "덥다" 같은 단어가 높은 확률로 후보에 오르고, "보라색이다"는 낮은 확률로 밀려납니다.

몇 가지 예시를 들어 보겠습니다.

• 번역: "감사합니다"를 영어로 바꿔 달라고 하면, AI는 수많은 번역 데이터에서 "Thank you"가 가장 높은 확률의 대응이라는 것을 찾아냅니다. 이것은 우리가 외국어를 배울 때 반복 학습을 통해 단어를 연결하는 것과 크게 다르지 않습니다.
• 요약: 긴 문서를 주고 요약을 요청하면, AI는 문장의 중요도를 확률적으로 판단하여 핵심만 추려냅니다. 마치 경험 많은 비서가 보고서의 핵심을 골라내는 것과 비슷합니다.
• 질문 응답: "서울의 인구는?"이라고 물으면, 학습 데이터에서 서울과 인구가 함께 등장하는 맥락을 찾아 가장 확률 높은 답을 생성합니다.

흥미로운 점은, 이 방식이 인간의 사고와 크게 다르지 않다는 것입니다. 우리도 자신이 알고 있는 지식을 기반으로 새로운 정보에 대한 판단을 합니다. 다만, AI는 학습 데이터에 없는 내용에 대해서도 그럴듯한 답을 만들어내는 경우가 있습니다. 이것을 환각(Hallucination)이라고 합니다.

예를 들어, "2030년 노벨 물리학상 수상자는 누구야?"라고 물어보면 어떻게 될까요? 아직 일어나지 않은 일이지만, AI는 확률적으로 그럴듯한 이름과 업적을 조합하여 마치 실제 사실인 것처럼 답변할 수 있습니다. 학습 데이터에 정답이 없을 때, 가장 높은 확률의 조합을 만들어내기 때문입니다.

이러한 한계를 이해하는 것이 AI를 활용하는 첫 번째 단계입니다.

AI가 아직 잘 못하는 것들

일관성 — 항상 같은 결과를 내는 것

AI의 가장 큰 한계 중 하나는 같은 질문에 항상 같은 답을 내지 못한다는 것입니다. 확률 기반이기 때문입니다.

일상적인 대화에서는 이것이 문제가 되지 않습니다. 하지만 비즈니스에서는 이야기가 다릅니다.

예를 들어 보겠습니다. 3월 매출 데이터를 주고 "반품을 제외하고, 할인 적용 전 원가 기준으로 마진율을 계산해 줘"라고 세 번 물어보면, 세 번 모두 다른 답이 나올 수 있습니다. 첫 번째는 23.5%, 두 번째는 24.1%, 세 번째는 22.8%. 조건이 복잡해질수록 AI는 계산 과정에서 다른 해석을 하게 되고, 결과도 달라집니다.

인보이스 금액, 재고 수량, 세금 계산처럼 정확히 같은 결과가 필요한 영역에서는 이것이 중요한 문제가 됩니다. 거래처에 보내는 청구서 금액이 매번 달라진다면 신뢰를 잃게 됩니다.

해결책: 도구와 AI의 협업

그렇다면 방법이 없을까요? 있습니다.

핵심 아이디어는 이렇습니다. 항상 같은 결과를 내는 도구가 있고, AI가 그 도구를 사용할 수 있다면 어떨까요?

계산기는 1+1을 물어보면 언제나 2를 답합니다. 데이터베이스에 "3월 매출 합계"를 질의하면 언제나 같은 숫자가 나옵니다. 이런 도구들은 항상 일관된 결과를 보장합니다.

여기에 AI의 강점을 결합하면 좋은 시너지가 만들어집니다. 인간의 다양한 요구를 AI가 이해하고, 적합한 도구를 선택하여 실행하는 것입니다. 입력(인간의 요구)은 다양하지만, 출력(도구의 결과)은 항상 일관됩니다.

이것이 바로 현재 AI 업계에서 "에이전트(Agent)"라고 부르는 개념입니다. AI가 단순히 대화하는 것을 넘어서, 도구를 사용하여 실제 작업을 수행하는 것입니다. 이를 가능하게 하는 기술 중 하나가 MCP(Model Context Protocol)입니다. MCP는 AI가 외부 도구와 소통하는 표준 방식이라고 이해하시면 됩니다.

기억의 한계

AI의 또 다른 한계는 기억할 수 있는 범위가 제한적이라는 것입니다.

비유하자면, 매번 이전 회의 내용을 잊고 오는 컨설턴트와 비슷합니다. 현재 회의에서 주어진 정보만으로 판단하기 때문에, 과거의 맥락을 놓칠 수 있습니다.

예를 들어, AI에게 "우리 회사 홈페이지를 만들어 줘"라고 요청한다고 가정해 보겠습니다. 처음 결과물을 만들어내기까지는 어느 정도 가능합니다. 하지만 몇 달 뒤 "회원 가입 기능을 추가하고, 기존 주문 페이지와 연동해 줘"라고 요청하면 문제가 생깁니다. AI는 처음에 홈페이지를 어떤 구조로 만들었는지, 중간에 어떤 수정이 있었는지 전체 맥락을 기억하지 못합니다. 현재 보이는 일부 정보만으로 판단하기 때문에, 기존 구조와 맞지 않는 결과를 만들어낼 수 있습니다.

이 문제를 완화하는 방법이 있습니다.

• 소규모 팀: AI가 이해하기 쉽도록 중간중간 문서화를 잘 해두는 것입니다. 프로젝트의 구조, 결정의 이유, 변경 이력 등을 텍스트로 남겨두면 AI가 맥락을 더 정확하게 파악할 수 있습니다.
• 규모 있는 팀: RAG(검색 증강 생성)와 같은 기술을 활용할 수 있습니다. 쉽게 말하면, 회사의 내부 문서를 AI 전용 도서관처럼 만들어서 AI가 필요할 때 찾아볼 수 있게 하는 기술입니다. 다만, 이 방식은 적지 않은 비용이 들기 때문에 어느 정도 규모가 갖춰진 후에 검토하는 것이 현실적입니다.

작은 팀이 할 수 있는 일

AI에 대해 알아보았으니, 이제 작은 팀에서 실제로 할 수 있는 일을 생각해 보겠습니다.

인류 역사를 바꾼 혁명들을 떠올려 보겠습니다. 농업혁명이 일어났을 때, 모든 사람이 새로운 농기구를 발명한 것은 아니었습니다. 대부분의 사람들은 새로운 도구를 사용하는 법을 배워서 생산성을 높였습니다.

자동차가 처음 나왔을 때도 마찬가지입니다. 자본과 기술력이 있는 회사들은 자동차 제조 사업에 뛰어들었습니다. 하지만 더 많은 기업과 개인들은 운전을 배워서 활용했습니다. 물류 회사는 마차 대신 트럭을, 의사는 왕진에 자동차를, 상인들은 더 넓은 지역에 물건을 팔 수 있게 되었습니다.

지금 AI 시대도 별반 다르지 않습니다. 대규모 자본을 가진 회사들은 AI 모델을 직접 만들고 있습니다. 하지만 대부분의 비즈니스에게 중요한 것은 AI를 만드는 것이 아니라, AI를 잘 활용할 수 있도록 준비하는 것입니다.

그렇다면 구체적으로 무엇을 준비해야 할까요? 크게 두 가지입니다. 도구와 데이터입니다.

도구를 준비하면 AI가 여러분의 업무를 직접 도울 수 있게 됩니다. 데이터를 준비하면 AI가 정확한 판단을 내릴 수 있게 됩니다. 이 두 가지가 갖춰져야 AI는 비로소 여러분의 비즈니스를 이해하고 실질적인 도움을 줄 수 있습니다.

도구 관점에서의 준비

여러분이 중세 시대의 대장장이라고 상상해 보십시오. 농사에 쓰일 농기구를 만드는 기술은 있지만, 이를 만들 재료와 도구가 없다면 어떻게 될까요? 아무리 뛰어난 기술이 있어도 결과물을 만들어낼 수 없습니다.

AI도 마찬가지입니다. 아무리 뛰어난 AI라도, 여러분의 비즈니스 데이터에 접근하고 활용할 수 있는 도구가 없으면 제대로 된 도움을 줄 수 없습니다.

좋은 소식이 있습니다. 이미 많은 서비스들이 AI와의 통합을 시작했습니다. 여러분이 자주 사용하는 Claude, ChatGPT, Gemini 등에는 이미 Notion, Google Drive, Gmail 같은 서비스가 연결되어 있습니다. AI에게 "지난주 회의록을 요약해 줘"라고 말하면, AI가 직접 Notion에서 회의록을 찾아 요약해 줄 수 있습니다. 캘린더에 일정을 추가하거나, 이메일 초안을 작성하는 것도 AI 안에서 가능합니다.

이것이 어떻게 가능할까요? 답은 각 서비스가 자신의 기능을 AI가 알 수 있는 형태로 제공하고 있기 때문입니다. 현재 이를 위해 가장 많이 사용되는 기술이 MCP입니다. 이것도 API와 비슷한 역할을 합니다. API가 "특정 기능을 호출하는 창구"라면, MCP는 "AI가 어떤 도구든 찾아서 사용할 수 있게 해주는 표준 규약"입니다. AI는 자연어를 이해하기 때문에, 화면을 보고 클릭하는 것(UI)보다 텍스트 기반 도구(API)를 사용하는 것이 훨씬 능숙합니다.

여기서 핵심적인 질문이 나옵니다. 여러분의 비즈니스도 이 통합에 참여할 준비가 되어 있습니까?

이를 위해 반드시 필요한 것이 정제된 데이터와 API입니다. AI가 정확한 판단을 내리고 일관된 결과를 낼 수 있으려면, 비즈니스의 특정 영역에서는 반드시 일관성이 보장되는 시스템이 있어야 합니다. 규칙적이고 잘 정제된 데이터, 그리고 이를 활용할 수 있는 API가 바로 그 시스템입니다.

물론, 현재 AI 기술은 이보다 훨씬 높은 수준에 있습니다. 하지만 자동차가 처음 나왔을 때 모두가 자동차를 살 수 없었듯이, 모두가 최신 AI 기술을 바로 사용하기에는 비용이 많이 들고, 그럴 필요도 없습니다.

엑셀로 시작해도 좋습니다. 하지만 엑셀로 관리하기 어려울 정도로 데이터가 늘어나고 성장세가 보인다면, 그때 데이터베이스와 API 도입을 검토해야 합니다. 이것도 비용이 드는 일이기 때문에 작게 실험해 보고 결정하는 것이 좋습니다.

정리하면, 디지털 전환이 아직 이루어지지 않은 소규모 팀에게는 성장과 AI 도입 사이에 반드시 거쳐야 할 과정이 있습니다. 데이터를 정리하고, AI가 사용할 수 있는 도구를 준비하는 것입니다.

데이터 관점에서의 준비

데이터 준비는 크게 두 부분으로 나눌 수 있습니다. 첫 번째는 비즈니스의 대상을 데이터화하는 것이고, 두 번째는 비즈니스의 정의와 흐름을 문서화하는 것입니다.

비즈니스를 데이터로 만들기

데이터화의 중요성은 몇 번을 강조해도 지나치지 않습니다.

여러분이 거대한 물류 창고의 관리자라고 상상해 보십시오. 다양한 종류의 물건을 보관하고 출고해야 한다면, 당연히 찾기 쉽도록 보관하는 방법을 먼저 생각해야 합니다. 물건마다 라벨을 붙이고, 종류별로 선반을 나누고, 위치를 기록해 두어야 합니다.

비즈니스 데이터도 같습니다. 구체적인 예시를 들어 보겠습니다.

여러분이 와인 판매자라고 가정합니다. 와인의 종류, 가격, 재고를 관리하는 것은 어렵지 않습니다. 하지만 비즈니스가 성장해서 와인과 어울리는 치즈도 함께 팔게 되었다면? 여기에 와인잔, 디캔터 같은 액세서리까지 추가된다면? 상품이 늘어날수록 체계적인 데이터 관리가 필수가 됩니다.

더 중요한 것은, 나중에 그동안의 판매 데이터를 기반으로 새로운 상품을 추가할지, 잘 안 팔리는 상품을 제거할지 같은 비즈니스 의사결정을 해야 하기 때문입니다.

이를 데이터로 표현하면 생각보다 간단합니다. 조금 생소한 용어일 수 있지만, JSON이라는 형식으로 나타내면 다음과 같습니다.

{
  "orderId": "ORD-2026-0412",
  "customer": "김민수",
  "address": "서울시 강남구 ...",
  "items": [
    { "category": "와인", "name": "샤토 마고 2020", "price": 89000 },
    { "category": "치즈", "name": "브리 치즈", "price": 15000 }
  ],
  "totalPrice": 104000,
  "saleDate": "2026-04-12"
}

위의 JSON 데이터를 사람이 보기 쉽게 엑셀로 변환하면 이런 모습이 됩니다.

주문번호	고객	카테고리	상품명	가격	판매일
ORD-2026-0412	김민수	와인	샤토 마고 2020	89,000	2026-04-12
ORD-2026-0412	김민수	치즈	브리 치즈	15,000	2026-04-12

결국 같은 정보입니다. JSON은 컴퓨터(그리고 AI)가 다루기 쉬운 형식이고, 엑셀은 사람이 보기 쉬운 형식입니다. 이렇게 데이터가 구조화되어 있으면, 카테고리별 매출, 월별 판매 추이, 인기 상품 순위 같은 분석이 가능해집니다. 단순한 예시이지만, 이 정도 준비조차 되어 있지 않은 곳이 생각보다 많습니다.

AI 이전 시대에는 이런 데이터 구조를 설계하는 것 자체가 전문 지식을 필요로 했습니다. 하지만 지금은 AI와 대화하면서 여러분의 비즈니스에 맞는 데이터 구조를 함께 만들어 나갈 수 있습니다. "우리는 와인과 치즈를 판매하는데, 주문 데이터를 어떻게 정리하면 좋을까?"라고 물어보면 됩니다.

비즈니스 로직 문서화

두 번째는 비즈니스의 전반적인 내용을 AI가 이해하기 쉽게 정리하는 것입니다.

여러분이 식당을 운영한다고 가정해 보겠습니다. 작은 규모의 식당이라면 사장님이 모든 메뉴의 레시피를 알고 계실 것입니다. 하지만 규모가 커지면 레시피를 정량화하여 매뉴얼로 만들어 두어야 합니다. 핵심 셰프가 그만둔다고 식당이 멈추면 안 되지 않겠습니까? 피치 못할 사정으로 식당을 매각해야 할 때도 매뉴얼이 잘 되어 있어야 합니다. 이것을 우리는 시스템이라고 합니다.

같은 관점에서, AI 시대에 비즈니스가 성장하고 AI와의 통합을 준비해야 할 때, 이 문서들은 AI가 학습하기에 좋은 기반이 됩니다.

핵심 아이디어는 책의 목차와 같습니다. 크게 카테고리를 나누고, 그 아래에서 세분화하고, 이를 반복하며 자세한 내용을 문서로 만듭니다.

예시: 와인 판매 비즈니스 문서 구조

• 주문 처리
  • 신규 주문 접수 절차
  • 결제 확인 및 처리
  • 재고 차감 규칙
• 배송
  • 포장 기준 (와인/치즈 별도)
  • 배송 업체별 연동 방식
  • 반품/교환 절차
• 고객 관리
  • 등급별 혜택
  • 문의 응대 가이드

이 구조는 아직 AI를 학습시키지 않은 상태에서도 AI와 논의하기에 좋습니다. "우리 비즈니스 문서를 보고 주문 처리 과정에서 개선할 점을 찾아줘"라고 요청할 수 있습니다. 나중에 본격적인 AI 통합이 필요할 때는 이 문서들이 학습 데이터로 활용됩니다.

문서화에 사용하는 도구는 Notion, 옵시디언, 워드, 엑셀 등 무엇이든 괜찮습니다. 중요한 것은 도구가 아니라, 비즈니스 지식을 텍스트로 남기는 습관입니다.

AI 통합을 상상해봅시다

여기까지 이해가 되셨다면, 큰 맥락에서 AI 통합이 어떤 모습일지 단계별로 상상해 보겠습니다.

시작과 성장 단계

비즈니스 데이터가 구조화되어 있고, API도 갖추어진 상황을 떠올려 보십시오.

• 파트너와의 비즈니스 데이터는 API를 통해 주고받고, 안전하게 보관됩니다.
• 새로운 데이터 연동이 필요하면, AI와 대화하여 데이터 구조와 API를 빠르게 만들어낼 수 있습니다.
• 데이터가 꾸준히 쌓이니, 매출 추이나 고객 행동 같은 통계와 데이터 분석도 가능합니다.

이 과정은 생각보다 오래 걸리지 않습니다. 예를 들어, 3Min API는 이런 시작 단계를 지원하기 위해 만들어졌습니다. AI가 이해할 수 있도록 MCP 도구로 기능을 제공하고 있기 때문에, Claude에 연결하여 대화하면 어떻게 시작해야 하는지 안내받을 수 있습니다.

본격적인 성장 단계

폭발적인 성장의 기미가 보인다면, 본격적으로 자체 시스템 구축을 검토해야 합니다.

이때 지금까지 준비해 두었던 것들이 빛을 발합니다. 구조화된 데이터는 새 시스템의 데이터베이스 설계 기반이 되고, API 연동 경험은 시스템 간 통합 설계에 활용되며, 문서화된 비즈니스 로직은 요구사항 정의서 역할을 합니다.

예를 들어, 그동안 API로 주문 데이터를 수집해 왔다면, 자체 시스템 구축 시 이 데이터 구조를 그대로 가져가서 ERP나 CRM과 연동할 수 있습니다. 비즈니스 문서가 잘 정리되어 있다면, AI에게 "이 문서를 기반으로 주문 처리 시스템을 설계해 줘"라고 요청하는 것도 가능합니다.

준비 없이 시작하면 몇 달이 걸릴 작업이, 준비가 되어 있으면 몇 주로 단축됩니다. AI가 여러분의 데이터 구조와 비즈니스 문서를 참고하여, 시스템 설계와 구현을 함께 진행할 수 있기 때문입니다.

정리

AI 시대에 소규모 비즈니스가 준비해야 할 것은 생각보다 거창하지 않습니다.

1. 데이터를 구조화하십시오. 엑셀이든 데이터베이스든, 비즈니스 정보를 체계적으로 정리하는 것이 첫걸음입니다.
2. 비즈니스를 문서화하십시오. 여러분의 비즈니스가 어떻게 돌아가는지 텍스트로 남겨두면, 이것이 AI와 협업하는 기반이 됩니다.
3. 도구와 연결을 준비하십시오. 성장에 맞춰 API를 갖추면, AI가 여러분의 비즈니스와 자연스럽게 통합될 수 있습니다.

자동차가 세상을 바꾸었을 때, 가장 큰 혜택을 받은 것은 자동차를 만든 사람이 아니라 가장 먼저 운전을 배운 사람이었습니다. AI 시대도 마찬가지입니다. 지금 할 수 있는 작은 준비가, 나중에 큰 차이를 만들어낼 것입니다.