原来 iPhone 也是 AI 手机？详解 iOS 隐藏功能之 AI 修图（01 消除篇）

本文共 1800 字，预计阅读时间 10 分钟

复制下面的网址到 Safari，下载模型：

https://www.icloud.com.cn/iclouddrive/009f24Yad4Ijw9JJ69pmecn4Q#realisticVision_V51_8bit

太阳一、写在前面

随着魅族、Oppo 等手机厂商宣布“All in AI”，“AI 手机”这个概念甚嚣尘上。在笔者看来，“AI 手机”并不是新鲜事：以 iPhone 为例，它在硬件层面的“AI 化”可以追溯到搭载“神经引擎”的 A11 芯片，这为本地运行 AI 算法提供了基础。

以往的 AI 功能，比如文本预测、照片抠图，都处于不愠不火的状态，而大模型与 AIGC 的出现则彻底引爆了大众对 AI 的关注度。

OPPO 发布会截图

尴尬的是，手机羸弱的性能与大模型八字不合，而 chatGPT、文心一言等 AI 服务在任何联网设备上都能免费、快速地调用。这让“AI 手机”变成了伪命题，大家实际使用的，其实是“AI 浏览器”。

免费的在线 AIGC 服务

不过，“AI 生成图片”这一细分领域仍存在缺口。Adobe 的 FireFly、美图秀秀的 AI 修图都是付费服务，而去除照片中的杂物、改变照片比例等功能，恰恰是手机用户日常用得到的。于是，手机厂商们凭借“免费 AI 修图”这张牌，成功从 AI 浪潮中分得一杯羹。

在线 AI 修图服务的定价

基于 AIGC 的修图功能可分为 5 大方向：

- 消除：生成被杂物遮住的部分

- 扩图：生成照片边界外的部分

- 改图：在照片上叠加新内容

- 超分：补全照片的细节

- 创作：根据用户需求，直接生成一张照片

目前，小米、Oppo、Vivo 都推出了消除、扩图的功能，而也许会让你意外的是，iPhone 支持全部五项功能，甚至是在本地完成的。上面这些示例图片，均由我手中的 iPhone 15 Pro Max 一键生成。

考虑到篇幅，本文只介绍在 iPhone 上实现“AI 消除”的操作方法。我会将全部 AI 修图功能做成一个系列，供感兴趣的家友们按需取阅。

太阳二、苹果 CoreML 与 Draw Things 软件简介

一言蔽之，iPhone 的生图功能是由 Stable Diffusion (SD) 驱动的。这个大模型和苹果没什么关系，它是慕尼黑大学、Runway 公司，以及众多“炼丹师”共同努力的成果。

苹果的贡献在于，它通过优化原生 AI 框架 CoreML，让几乎所有 SD 模型（包括最新的 Stable Cascade）都能在 A14 及之后的苹果芯片上全量、快速、节能的运行。

做一个简单对比：（SD1.5 基准模型，20步，512 x 512 尺寸）

- 利用 Termux 在手机上硬跑模型，生成一张图片需要十几分钟；

- 高通宣称，8Gen2 在 Qualcomm AI 框架下，生成一张图仅需 15 秒，但尚无实物；

- 实机测试中，A14 生图耗时也为 15 秒，而与它同期的芯片是 865；

- 时至今日，A17 Pro 生图耗时仅需 7 秒，完全满足日用水平。

请注意，我们实际使用的 SD 模型远比基准模型复杂，因此从 A14 到 A17 Pro 的速度翻倍是非常关键的。不过老 iPhone 用户也无需担心，我们只需降低些图像质量，耗时不会和 A17 Pro 差太多。

与云端的修图模型相比，本地、开源的 SD 有很多好处：

- 无内容限制，不会出现“无法修改”的报错；

- 无使用限制，老机型也能安装，功能不阉割；

- 高度定制化，漫画、油画等风格都不在话下。

云端服务对图片内容有严格限制

如今，App Store 上已有很多调用了 CoreML 和 SD 的文生图 App，如果要选一个最好的，我强烈推荐 Draw Things 这个客户端。

UI 精致、完全免费这些优点我不想多说，Draw Things 的厉害之处在于，它的“无限画布”将上面提到的 5 大 AI 修图功能整合到一起，用户只需导入一次照片，就能完成所有操作。

Draw Things 是一个全平台软件

初次接触 SD 的家友可能对 Draw Things 玲琅满目的参数、按钮感到不知所措。别担心，SD 的工作原理其实很简单：

1. 首先，你需要下载一个 SD 模型 (Checkpoint)，并导入 Draw Things 中。本教程聚焦手机摄影的后期修图，故推荐 Realistic Vision 这个主打写实风格的模型。下载链接在本文开头；

2. 有了模型，Draw Things 就有了“生图”的能力。但为了“修图”，我们还需要用到控制插件 (ControlNet)。这些插件直接在 App 内的菜单中选择、下载即可。本文用到的插件为 Inpainting (SD v1.x, ControlNet 1.1)；

3. 万事俱备，只欠咒语。对于“消除”而言，我们无需提示词，模型就能“猜出”被杂物遮住的内容，相当方便。而我们需要调节的参数也不多：

- 基础 - 图像大小 (Size) = 512 x 512

- 基础 - 步数 (Step) = 8

- 基础 - 文本指导 (CFG Scale) = 7

- 高级 - 采样器 (Sampler) = DPM++ 2M Krass

- 其余参数维持默认即可

太阳三、3 步完成 AI 消除

Draw Things 有两种导入照片的方法。在 App 底部，点击“相机”图标，你就能在相册中选择照片。我个人更喜欢从相册拖拽照片到 Draw Things ，这能省去翻相册的过程。

第一步：缩放

用双指捏合的方式，将需要去除的“杂物”移动到“画布”的范围内。请注意，不要让画布内只有杂物，你必须确保杂物周围有完整的“场景”，AI 才能推理出杂物背后的内容；

第二步：框选

点击 App 底部的“橡皮擦”图标，进入“自由绘制”模式。擦除杂物时，不要忘记把杂物的阴影、倒影等也囊括进去；

第三步：生成

点击“生成”按钮，等待 20 秒左右，AI 消除完成。就是这么简单。点击 App 右上角的“下载”图标，你可以将修好的照片保存到相册。

至此，如果你想继续修下一张图片，回到相册即可。如果你对 AI 生成的图片不满意，你可以让它再生成一次，直到满意为止。点击 App 底部的“时钟”图标，进入历史记录，选择生成前、已框选的照片，就可以再次生成了。

接下来，我将简单对比一下 iPhone 本地修图与安卓手机云端修图的效果。其中的素材源自 B 站、微博的数码测评。请注意，AI 修图的成片一次一个样，示例中的修图质量不代表最高质量：

太阳四、进阶技巧

AI 是会出错的。我们得不到想要的图像，往往是参数输入不对，而不是模型能力不足。比如下图这辆汽车，多个品牌的云端修图没能消除汽车，反倒是换了一辆：

此时，开源的 SD 就有优势了。你只需微调 Draw Things 中的参数，就能让 AI 改正错误。比如上述“没能消除、反而新增”的问题，SD 也时有发生：

- 如图，我想消除沙发左侧的玩偶；

- 但我生成多次，只能得到一个新的玩偶；

- 此时，如果你将画面缩小些，AI 就会知道，你不是想要新玩偶，而是想消除玩偶。

但是，如果照片中的杂物占据了很大面积，我们没有缩小照片的余地，那该怎么办？我总结了下面几种应对方法：

- 将杂物分成多个部分，生成多次来消除；

- 调整画布的长宽比，让更多原始照片能进入画框；

- 轻度使用提示词，告诉 AI 你希望生成什么内容。

太阳五、小结

手机厂商如何对接 AIGC 是一个很难回答的问题。坦率地讲，AI 开发和手机开发根本就不在一个赛道上，手机厂商“All in AI”等同于业务转型。想要“手机硬件、AI 软件”两手抓，最终结果多半是研发能力跟不上，产品永远没法和行业龙头看齐。

在 OpenAI 一骑绝尘的格局中，别说是手机厂商，就算是谷歌这样的老牌 AI 劲旅也不敢拍着胸脯说：“我提供的 AIGC 效果更好”。因此，瞄准 OpenAI 闭源、保守的劣势，在大模型的“自定义”方面下功夫，是一条更现实的开发路线。

在“图片生成”的细分领域里，仍在开发阶段的 Stable Diffusion 3 才有与 OpenAI 的 DALL-E3 一战之力。但 DALL-E3 一会儿“提示词违规”，一会儿“系统繁忙”，实际体验上 SD 更符合用户需求。而这，也是手机厂商的机会。

无论是对接开源大模型，还是自己制定一套“客制化”大模型方案，只要用户能从“手机大模型”里获得比云端更自由、比电脑更省事的体验，那“手机 + AIGC”就有立足之地。