cdxy.me
Cyber Security / Data Science / Trading

公众号原文(排版会友好一点):https://mp.weixin.qq.com/s/oXHcoLE5WkEer24mz7BqUg

一、API经济

速度之争

我们正处于智能时代的浪潮中,数据与算力成为生产材料,云计算、大规模分布式、SOA架构与IoT基础设施蓬勃发展。在如今快节奏的经济环境下,成功依赖于适应变化持续创新而非固守疆土,速度是决定公司成败的重要因素——比竞争对手更快将新产品推向市场、更快占领用户、更快营造网络效应、更快形成品牌及生态壁垒是决胜关键。

这对软件研发的时间成本提出了极高的要求。区别于造火箭与造芯片的“尖端科技”,软件研发工作大部分是“应用技术”,是在一种相对固定的资源和限制能力条件下来完成新项目需求的能力。然而,在秒级deliver价值的应用场景中,新的反馈疯狂涌入,业务要加快改进速度来适应新的市场和消费需求。在此背景下,企业必须考虑研发效能。

产品是进化出来的,不是规划出来的。 微信的每个版本之间没有任何的计划,往往是上一个版本已经发布了,才开始想下个版本该做什么。 ——张小龙 《微信背后的产品观》

为提升交付能力,敏捷迭代与DevOps应运而生,软件系统研发流程从流水线作业演化为组件并发生产再集成的形式,随着后端应用组件的解耦以及SOA架构的普及,API逐步成为连接各应用组件的事实标准。

API无处不在

从技术角度来讲,API(应用程序接口)是一种应用程序间通信的规范,连接了不同地域、不同编程语言、不同厂商所研发的软件,让数据可以跨应用自由流动。 万物互联时代,我们把一个复杂应用系统比作生命体,数据是血液,API就是承载血液流动的“血管”。从IaaS到PaaS、SaaS,从PC到手机APP再到各种IoT设备,API在软件世界中无处不在。

据API解决方案厂商postman统计,2021年度全球API数量增长为39%,API访问量增长56%。我们的行业调研显示,高度数字化场景下(如互联网一线企业)的API增速在70%-120%之间,头部企业API绝对数量已达到数十万级。

API经济

API的价值体系在“供需连”的“连”上。一般而言,通过API进行上下游业务功能集成的商业交易,就被称为“API经济”。Gartner API技术成熟度曲线表明,API经济催生的新兴技术已落地或将在2-5年内落地。

API让企业摆脱研发压力,更快完成商业化

软件开发者已经改变传统基于项目的思维——从全部项目靠自己转为建立允许IT创建可重复利用的成果的思维模式,它便于组织内的开发团队更广泛的共享这些成果。同时,API化使企业能够建立在外部软件能力的基础上构建自己的应用,而无需事事亲力亲为。

Shopify是一家坐标位于加拿大,服务于全球电商的SaaS龙头,为电商企业提供建站、并营销宣传、在线支付、物流、金融、客流量数据分析等一站式服务。 通过API集成与低代码研发,个人可以在Shopify上快速的建立起任何一个想要的电商网站,并可以将商品销售到全球。Shopify平台提供包括网站安全、页面设计、销售数据统计等等在内的全方位API,用户不需要花费精力在软件以及网络编程上,只需专注于销售核心业务。同时,通过良好的API和应用商店,Shopify为商户提供了大量实用的App功能插件,这些API能够帮助用户实现批量订单管理、批量库存管理、安全支付、邮件营销、SNS营销、SEO、高阶数据分析等应用。

Shopify通过API连接了产业链的各个角色,其自身由“建站系统”转化为整合了线上市场、社交媒体、独立站和线下超市的一站式产品推广和客户关系管理系统。通过Shopify,企业可以在数日时间内构建自己的电商平台并上架商品进行市场化营销,而无需承担繁重的IT研发成本。

API为软件世界建立连接,提供数据流动性

API的本质是一种无处不在的服务,是以低成本实现数据流通的方式,连接场景与供应商,使数据价值最大化输出,推进跨企业、跨行业甚至跨领域的合作,使得这些信息化孤岛能够有机结合迸发出新的生命力。

举个例子,当我们在微信上支付话费、叫外卖、购物时,背后实际上就是电信公司、外卖服务平台和电商平台对微信开放了相关的API接口。

某银行App中集成的第三方生活服务:

Zapier是美国的一家SaaS软件公司,提供无代码集成平台,通过API实现了3000余种App的逻辑编排,使不同App之间能够同步数据和执行动作,将API的连接性发挥到极致,解决了企业软件集成的效率问题。类似的工作流API集成还有飞书捷径、云效等。

Zapper的API工作流集成:

API商业模式

API的普及带来了新的商业模式,Open API允许公司将API作为直接交付物输出自身能力。站在应用商的角度上来看,API经济的好处是集成替代自主研发,可以让产品快速落地。站在API服务商角度来看,数据或者软件能变现不需要销售人员,只需要交付API接口就好了。

  • API是数据价值/软件能力的显性交付物,是商品
  • API本质是能力租用的SaaS模式

在API经济下,我们SaaS中的Service分为两种情况:对人的Service=API+UI,对机器的Service则直接以API进行交付,二者都以API的调用量执行按量付费模式。

从API的生产者角度,有分析称Salesforce的50%收入来自于API,Expedia和eBay两家公司的API收入占比分别是90%和60%。于此同时,市场已经出现以API交易、API租用为核心业务的平台厂商,以及以API集成商。

RapidAPI API交易市场:

API First研发理念

API First:defining and designing APIs and underlying schema before developing dependent APIs, applications, or integrations.API First:defining and designing APIs and underlying schema before developing dependent APIs, applications, or integrations.

API First本质上是先做好API设计,再并发编码的一种高效团队协同方式。从笔者的互联网大厂和创业公司的coding工作经历来看,API First的思想已被广泛采用。

以前端后端两个team合作为例,传统的研发流程:

  1. 后端开发实现逻辑
  2. 后端抽象出API来给前端开发调用
  3. 前端基于后端提供好的API进行开发测试

API First研发流程:

  1. 前后端商量好API格式,将API基于Mock的形式提供出来
  2. 前端根据Mock好的API进行开发,后端同时去实现定义好的API(并行)

API First研发流程:

API基础设施生态

API平台(解决方案)厂商、APM厂商,研发效能厂商、云厂商、安全厂商与新一代API网关厂商构成了API基础设施生态。多年前我曾被一个同事推荐在Chrome中安装过一个专门用来调试API的插件,这个插件就是Postman。如今Postman通过API工具及解决方案连接了开发者、小型团队、企业、公共API网络,构建出自己的增长飞轮,于今年Postman完成D轮融资2.25亿美元,领跑API安全生态。

Postman:API Platform Landscape

二、API安全

API安全成为焦点

API作为数据传输的通道,从攻防角度来看,攻击者的目标是企业数据,在主机安全/网络安全日趋成熟的情况下,与其穿透层层内网窃取数据本身(数据库),不如攻破数据的传输管道(API)来的方便。随着API的普及,攻击者可以通过API后端应用漏洞、未授权访问、越权漏洞直接攻击API窃取数据。由于API的高速发展以及业务增速和安全的不对位,导致近两年来API安全问题导致的数据泄露事件频发。

Postman在超过28000位API研发人员的调查结果显示,企业对于API集成方案的考虑因素中,安全性位于首位,与性能并重。

API的攻击面

由于行业对API安全的认识仍处于早期,多以OWASP来解释产品能力易于客户理解。OWASP API Security Top 10所描绘的API安全风险如下:

API Security TOP 10(2019)
API1: Broken Object Level Authorization API1: 失效的对象级授权
API2: Broken User Authentication API2: 失效的用户认证
API3: Excessive Data Exposure API3: 过度的数据暴露
API4: Lack of Resources & Rate Limiting API4: 资源缺失 & 速率限制
API5: Broken Function Level Authorization API5: 功能级别授权已损坏
API6: Mass Assignment API6: 批量分配
API7: Security Misconfiguration API7: 安全性错误配置
API8: Injection API8: 注入
API9: Improper Assets Management API9: 资产管理不当
API10: Insufficient Logging & Monitoring API10: 日志和监控不足

深入细节不难发现这些风险大部分仅停留在合规层面,缺少对实战中API风险的深入论述。

笔者将API攻击面分为以下几种:

  1. API基础设施漏洞:API生态中的基础设施如API管理平台、API网关、云服务等自身安全漏洞导致的攻击事件。
  2. API后端应用漏洞:由于API的功能仍需要编码实现,因此API仍然受到传统应用安全领域中各种代码库、中间件、供应链等攻击威胁。
  3. API业务设计问题:常见于鉴权逻辑、隔离逻辑不当导致的API被外部爬取、未授权访问导致的数据泄露。在业务系统复杂之后单个API的权限管理看似无风险,但组合起来形成调用链可能导致整体的权限绕过问题。
  4. API风控:开放给内部员工、外部开发者、第三方合作伙伴的API可能出现人为的滥用问题以及权限凭证(access key/token)泄露之后的授权拖取数据行为。

API安全做什么

作为API安全领域创业者,笔者当下所理解的API安全即为API的全生命周期防护,即围绕API的“设计、开发、运行、下线”等不同阶段建立API全生命周期安全解决方案,解决企业API漏洞入侵、API数据泄露两大问题。

API安全技术上的挑战这里举两个例子:

在传统安全领域里,自动化漏洞扫描一向为企业青睐,也是绝大部分安全工程师入门的必经之路。做用于业务代码上线前的安全审计环境中,其提供的价值为以极高的ROI自动化低成本的发现代码中/应用中的安全漏洞。API的研发流程为自动化漏洞扫描提出了新的挑战:

  1. 传统漏扫基于已有的主机/软件漏洞库,可以通过端口扫描/web爬虫的方式黑盒直接探测漏洞,而API大部分是自研的,路径是研发自定义的,黑盒难以发现API,这里需要采集API流量重放或者和API管理平台集成已获取企业自定义的API通信参数。
  2. API场景存在大量的鉴权、越权、编码、加密问题,用传统web攻击的思路进行黑盒测试无疑收效甚微,目前的fuzz工具针对API场景存在以下能力缺失:基于复杂协议的解码(协议级解码+参数级解码)的参数污染、基于API访问顺序(调用链)的fuzz、基于认证状态的越权漏洞检测。

在运行时安全防护阶段,以流量审计方案落地的API威胁检测类产品,一方面要面对多种复杂的API协议解码问题,随之而来的是解码带来的设备性能问题;另一方面还要有API基础设施漏洞特征、行为特征的积累。

Postman调研结果:主流API协议的应用情况

API安全厂商现状

API作为新经济背景下的“商品”和“资产”,一路高歌猛进的同时也必定带来广泛的安全需求。另一方面,API作为万物互联时代数据流动的载体,属于横跨各个架构与应用的“IT基础设施”,在此背景下IAM厂商、WAF厂商、APM厂商、云厂商都可以结合自身素质找到在安全赛道的切入点。笔者年初调研API安全厂商时只做了5家产品分析,一年内陆续已有20余家该方向的创新企业进入视线。

API运行时安全

专注于API安全赛道的创新企业大多以“API运行时安全”进行切入,提供威胁监测与防护方案(类似API的WAF与IDS),这无疑是从企业API安全建设从0到1过程中ROI最高的点。Salt Security作为API安全赛道代表,于2019 RSAC创新沙盒冠军,21年获得70M C轮融资,触及独角兽门槛。

API与数据安全

随着GDPR、CCPA和国内数据安全法的出现,企业数据安全合规需求呼之欲出。一些API厂商加入了API数据识别与泄露保护的功能,如今安全产品提AI已经成了一个必不可少的行为,事实上参考BigID之类数据安全厂商的实体识别checklist来看,绝大部分通过规则+校验算法可以解决。AI在API隐私识别以及API异常检测上的效果,免不了要面对高误报问题,具体效果可以通过场景化打磨不断优化。

API与风控

主流WAF厂商已经加入对swagger等API协议格式的支持,另一方面,部分厂商正在尝试风控角度的威胁防护。风控与漏洞攻防的差异在于,漏洞防御可以基于流量侧单包报文特征,而风控需要采集行为数据并应用「智能化」的算法解决方案。在任何串行设备中,我们必须面对「智能」与「性能」的冲突,或者说计算成本和安全效果之间的冲突。在API高并发量、毫秒级延时的要求下,复杂算法如机器学习等难以串行落地,业务场景中可以采用旁路计算、多层流量过滤机制、设备联动来缓解。于此同时,威胁情报厂商通过黑灰产情报数据赋能API风控场景的案例也逐渐出现。

API与安全左移

今年国内ISC大会的参展情况来看,IAST无疑是大热的方向,随着安全行业发展成熟,主机、网络节点布满了安全产品“抓手”之后,大量创新企业借“安全左移”的概念向coding流程中的设计、研发阶段进军。所谓“安全左移”其实是一种“上医治未病”的思想,在应用上线前的coding与CI阶段就带上安全防护,在此环节中的黑白盒API漏洞测试、API代码级保护与防御技术也是“左移”的一部分。如前文所述,代码级黑白盒测试存在技术难点,效果有待验证,此外部署形态对业务侵入性较强,难免有定制化问题,这对创新企业来讲是风险和机会并存的双刃剑。

总体来看,API安全属于早期阶段,早期尝鲜用户得到落地实践,初创公司成长迅猛,但仍然需要穿越PMF的鸿沟。笔者相信,安全产业必将跟随IT基础设施的变革趋势,在这个以十年计的IT基础设施发展周期里,我们是长期主义者。

REF

  • https://www.postman.com/use-cases/api-first-development/
  • https://www.postman.com/state-of-api/the-future-of-apis/#the-future-of-apis
  • https://www.gartner.com/en/documents/4004085-hype-cycle-for-apis-and-business-ecosystems-2021
  • https://twitter.com/TheMarkONeill/status/1420753075376168965/photo/1
  • https://www.cio.com/article/3218155/how-the-api-economy-is-igniting-a-cultural-shift-in-businesses.html
  • https://zh.shopify.com/free-trial/3-steps
  • https://zapier.com/how-it-works
  • https://rapidapi.com/hub