您的数据值得一个计划 — 关于存储、格式与成长的思考
大家好,我是 Chae-won。
上次我分享了 3Min API 是如何起步的——那些电话、重复的构建、散落的数据。今天我想聊聊在设计这个服务时,我们花最多时间思考的事情。
数据。
不是像仪表板或实时警报这些看得到的功能,而是安静但构成一切基础的东西——你的数据如何被结构化、存储,以及最终如何被使用。因为如果在早期就弄错这个部分,后面的一切都会变得更困难。
每家公司存储数据的方式都不同
我们很早就注意到一件事:我们合作的每家企业,整理信息的方式都不一样。物流公司可能用 tracking_number(跟踪号码)、origin(出发地)、destination(目的地)和 weight(重量)这些字段来追踪货运。电商则关注 order_id(订单编号)、product_name(商品名称)、quantity(数量)和 price(价格)。
即使是同一行业的两家公司,也几乎不会使用完全相同的结构。他们的数据库——所有信息存放的系统——各自有自己的「结构描述(schema)」。你可以把 schema 想成是一份蓝图:它定义了什么样的数据放在哪里、哪些是必填的、应该是什么格式。
因此,当要通过 API 进行集成时,第一个问题永远是:「我们如何就数据格式达成共识?」
JSON:共通语言
这就是 JSON 登场的地方。如果你之前没听过这个词,别担心——从现在起你会经常听到它,所以值得先了解一下。
JSON 是「JavaScript Object Notation」的缩写。尽管名字中有 JavaScript,但它跟写程序代码无关。它只是一种简单的方式来书写结构化数据,人类和计算机都能读懂。
它长这样:
{
"company": "日出物流",
"order_id": "ORD-20260301",
"items": 12,
"delivered": true
}
就这样。大括号、左边是键(key)、右边是值(value)。它轻量、灵活,而且——最重要的是——它已经成为 API 的通用标准。当两个系统在网络上互相通信时,它们很可能就是在用 JSON 交谈。
我们选择 JSON 作为 3Min API 的核心数据格式,正是因为这种普遍性。你的合作伙伴用 JSON 发送数据,我们用 JSON 存储,当你之后下载记录时,你也会拿到 JSON。不需要转换层,不需要为格式转换而头疼。
如果要早点熟悉一个技术概念,就是这个。随着你的业务成长并与更多合作伙伴集成,API 和 JSON 会一次又一次地出现。
等等——可以直接存储 JSON 吗?
好问题。答案是可以的。有些数据库被设计成可以直接存储 JSON,不需要先强制转换成严格的行列格式。这类数据库通常被称为「文档数据库」或「NoSQL 数据库」——MongoDB 大概是最知名的例子。
这基本上就是 3Min API 底层的运作方式。当数据到达你的端点时,我们会将整个 JSON 负载以灵活的文档格式存储。这意味着你不需要事先定义一个具有固定字段的传统数据库表格。你只需描述你期望接收的数据形状,剩下的我们来处理。
但它不是万能的
老实说——以 JSON 格式存储数据并不适合所有情况。
优点:设置速度快得令人难以置信。你可以在几分钟内开始接收数据。如果你的合作伙伴新增了一个字段,你不需要重建任何东西就能适应。它天生就是灵活的。
缺点:同样的灵活性如果不小心,也可能成为问题。具有严格 schema 的传统数据库有一个内建优势——它们强制保持一致性。每笔记录看起来都一样,这使得搜索、排序和分析数据变得简单直接。
使用灵活格式时,如果你太频繁地更改数据结构,最终每笔记录看起来都会略有不同。有些有 5 个字段,有些有 8 个。有些用 order_date,有些用 date_ordered。随着时间推移,这种不一致会让你的数据越来越难处理——特别是当你之后想要分析它的时候。
实用建议:上线前做好计划
这就是为什么我们强烈建议在进入正式环境之前,充分利用沙盒环境。
当你第一次创建端点时,花时间与你的合作伙伴讨论数据结构。来回传送测试数据,确保字段名称、类型和整体形状对双方都合理。沙盒的存在正是为此——它是一个安全的空间,没有任何东西是永久的,犯错也不需要任何成本。
当双方都确信格式正确后,再部署到正式环境。那里才是真实数据流动的地方。
如果未来你的数据格式需要大幅更改呢?不要修改现有的端点。创建一个新的。端点数量没有限制,所以你可以根据业务需要自由创建。这样,你的历史数据保持干净和一致,而新格式则有一个全新的开始。
更大的格局:你的数据是商业资产
这里是所有事情串联在一起的地方。
每一次通过 3Min API 的 API 调用都是一笔真实商业交易的记录——一笔下单的订单、一次请求的出货、一个确认的预约。随着时间推移,这些记录累积成有价值的东西:一个述说你业务故事的数据集。
这就是我们为什么打造了归档功能。你可以将数据下载为 JSONL 文件——每行一笔 JSON 记录——然后按照你需要的方式使用。
你能用它做什么?比你想象的更多:
- 在 Excel 或 Google Sheets 中打开,快速浏览概要
- 载入 BI 工具(如 Metabase、Redash 或 Google Looker Studio)来创建仪表板
- 提供给 AI 助手,用自然语言提问
- 交给数据分析师或顾问公司进行专业分析
目标不仅是存储数据——而是将它转化为洞察。哪些产品卖得最快?哪些合作伙伴送来最多订单?是否有可以提前规划的季节性模式?
当你根据真实数据而非直觉做决策时,你的业务将在更坚实的基础上成长。改善表现不佳的部分,加倍投入表现良好的部分。当重大决策来临时——拓展新市场、增加人员、投资新工具——你会有数据来支持。
这就是我们希望每个使用 3Min API 的团队都能达到的。不仅仅是一条将数据从 A 点搬到 B 点的管道,而是一个帮助你理解和发展业务的基础。