WWDC16

照片和相机

iOS 摄影功能改进

人们喜欢用 iPhone 拍照。实际上,它是全世界广受欢迎的相机,而摄影类 app 能够强化这一体验。探索新的 AVFoundation Capture API,它们可以用来拍摄实况照片、从相机提取 RAW 图像数据以及拍摄广色域照片。

AVCapturePhotoOutput - 高级知识

本讲座是“讲座 501:iOS 摄影功能改进”的延续,将详细介绍 AVFoundation 中新增的强大 AVCapturePhotoOutput API 的场景监控和资源管理功能。

WWDC17

照片和相机

在 iPhone 摄影中获取景深

iPhone 7 Plus 上的人像模式展现了摄影中景深的力量。在 iOS 11 中,您的 app 现在也可以使用驱动这项功能的景深数据。了解如何利用景深来为创意图像带来新的可能。更深刻地理解高级景深概念,并学习如何从相机获取流媒体和静态图像景深数据。

WWDC19

照片和相机

iOS 多相机拍摄简介

现在可以通过 iOS 13 上的 AVCapture,从 iPhone XS、iPhone XS Max、iPhone XR 和最新的 iPad Pro 上的多个摄像头同时拍摄照片和视频。也可以配置设备上的多个麦克风来打造捕捉到的声音。了解如何利用这些强大的功能来为您的相机 app 增添富有创意的新功能,比如画中画和空间音频等。更深入地了解可能影响 app 设计的性能注意事项。

照片分割蒙版简介

iOS 12 上使用人像模式拍摄的照片包含一个嵌入式人像分割蒙版,这样可以轻松地打造背景替换等富有创意的视觉效果。iOS 13 利用设备端机器学习来为拍摄的所有照片提供新的分割蒙版。了解您可从 AVCapture 和 Core Image 获得的新语义分割蒙版,以便分离人物的头发、皮肤和牙齿。您的 app 现能通过单独使用其中任一蒙版或结合使用所有蒙版,提供大量的照片编辑控制功能。

相机拍摄和照片分割功能改进

AVCapture API 中新增的强大功能可让您同时从多个相机拍摄照片和视频。照片现在可以从语义分割中获益,您可以借助这项功能来分离照片中的头发、皮肤和牙齿。了解如何利用这些增强功能来创建出色的相机 app,并轻松实现惊艳的照片效果。

WWDC21

照片和相机

使用视频格式拍摄高质量照片

通过使用 AVCapture API,您的 app 可以充分利用 iPhone 强大的相机系统。了解如何为您的用例选择最合适的照片或视频格式,同时权衡照片质量和成像速度。探究一些强大的新算法,如果您在 app 中使用视频格式,这些算法可以帮助您显著提高照片质量。要了解有关 AVCapture 改进情况的更多信息,另请务必观看“摄像头捕捉新功能”视频。

探索使用 VideoToolbox 的低延迟视频编码

支持低延迟编码器已成为视频应用开发过程的重要部分。探究 VideoToolbox 如何支持低延迟 H.264 硬件编码,以最小化端到端延迟,达到新的性能水平,实现极佳的实时通信和高质量的视频播放。

相机拍摄的新功能

了解如何在控制中心中与 Video Effects 交互,包括 Center Stage、Portrait 模式和 Mic 模式。我们将展示如何检测何时为您的 app 启用了这些功能,并探索采用自定义界面以便可从您的 app 控制它们的方式。了解如何启用 10 位 HDR 视频捕捉,并利用最小焦距报告功能,改进视频捕捉体验。探索针对 IOSurface 压缩和提供优异的摄像头捕捉性能的支持。为了解关于摄像头捕捉的更多信息,我们还建议观看 WWDC21 的“捕捉使用视频格式的高质量照片”。

音频和视频

AVFoundation 的新功能

探索 AVFoundation、Apple 框架用于检查、播放和创作视听内容的最新更新。我们将探索如何使用 AVFoundation 查询视听资源属性,使用定时元数据进一步定制您的自定义视频作品,并创作字幕文件。

WWDC22

照片和相机

集成连续互通相机至您的 macOS App 中

了解如何借助连续互通相机,在任何 Mac App 中将 iPhone 设置为外部相机。不管您是在开发视频会议软件,或是在打造以创新方式使用相机的体验,您都将学习到如何利用自动相机切换来优化您的 App。我们还将探索如何识别用户偏好和系统偏好相机,带您了解从 iPhone 视频流捕捉高分辨率优质照片的 API,以及更多内容。要进一步了解相机拍摄,请随后观看 WWDC22 的“了解 iOS 相机拍摄的改进”。

了解 iOS 相机拍摄的改进:深度、聚焦和多任务处理

探索如何利用 App 中的高级相机拍摄功能。我们将介绍如何使用激光雷达扫描仪创建照片和视频效果,并执行准确的深度测量。了解您的 App 如何利用相机的画中画或多任务处理,并在相机拍摄期间控制面部自动聚焦和自动曝光等。我们还将分享使用多个视频输出的策略,让您在捕捉优质视频输出的同时优化实时预览。如需了解有关相机拍摄功能的概述,请观看 WWDC21 的“相机拍摄的新功能”。

利用 RoomPlan 创建参数 3D 空间扫描

RoomPlan 可以帮助您的 App 快速为空间创建简易版参数 3D 扫描。了解如何利用此 API 轻松添加空间扫描体验。我们还将介绍如何采用此 API,探索 3D 参数输出,并分享最佳实践以帮助您在每次扫描时得到理想的结果。

在您的 App 中添加“实时文本”交互

学习如何在您的 App 中添加对静态照片或暂停视频帧的“实时文本”支持。我们将分享如何在 iOS、iPadOS 或 macOS 的任何图像视图中轻松启用文本交互、翻译、数据检测和二维码扫描。我们还将讨论如何控制交互类型,管理补充界面,并解决潜在的手势冲突。要进一步了解如何捕捉实时摄像头源中检测到的数据并与其进行交互,请观看 WWDC22 的“利用 VisionKit 捕捉机器可读的代码和文本”。

探索 PhotoKit 的变更记录

PhotoKit 可以帮助您构建丰富的以照片为中心的功能。了解如何借助 PhotoKit 中的最新 API 轻松追踪对图片素材的变更。我们将介绍 PHPhotoLibrary 变更记录 API 并演示如何在每次启动时保留变更令牌,以帮助您的 App 识别用户照片图库新增和删除的内容,以及对照片图库的更新。要进一步了解照片图库集成,请务必观看 WWDC22 的“照片挑选器的新增内容”和 WWDC21 的“优化 App 中的照片访问”。

音频和视频

借助 Core Image、Metal 和 SwiftUI 显示 EDR 内容

探索如何借助基于 Core Image 的多平台 SwiftUI App 在扩展动态范围 (EDR) 中进行渲染,并为其提供支持。我们将简要介绍使用 ViewRepresentable 向 MTKView 显示 CIImages 的最佳实践。我们还将分享启用 EDR 渲染的简单步骤,并探索 150 多种支持 EDR 的内置 CIFilter 中的一部分。

利用 AVFoundation 和 Metal 在 EDR 中显示 HDR 视频

了解如何利用 AVFoundation 和 Metal 来构建高效的 EDR 管道。跟着我们一起学习如何使用 AVPlayer 显示具有 EDR 的 HDR 视频,在 App 视图中添加播放功能,使用 Metal 进行渲染,以及使用 Core Image 或自定义 Metal 着色器添加视频效果,如抠像或颜色管理等。无论您在开发游戏还是专业 App,我们都将帮助您确定要使用哪些框架,分享选择传输、颜色空间和像素缓冲区格式的最佳实践。

探索 iOS 上的 EDR

EDR 是 Apple 的高动态范围表示和渲染管道。探索如何借助 App 中的 EDR 渲染 HDR 内容,并在 iPhone 和 iPad 上充分挖掘 HDR 显示屏的动态范围功能。我们将介绍如何利用 iOS 上的原生 EDR API,提供最佳实践以帮助您确定使用 HDR 的正确时机,以及分享有关色调映射和 HDR 内容渲染的技巧。我们还将讨论参考模式,重点说明它会如何提供参考响应以启用颜色关键型工作流程,如调色、编辑和内容审核等。

构建更快速响应的媒体 App

了解如何利用 AVFoundation 让用户专注于您的媒体 App 的内容,而不用盯着加载动画长时间等待。我们将介绍如何在您的 App 中提供响应快速且运行流畅的界面,帮助您创建丰富的音视频复合内容、加载音视频素材以及制作媒体缩略图。学习如何在您的 App 的主线程上执行这些操作并同时并行运行 I/O 处理,探索如何在加载自定义存储等数据时实现一流的播放性能。为能更好地理解此讲座,我们建议您先观看 WWDC21 的“AVFoundation 的新功能”。

WWDC23

照片和相机

打造更流畅的相机体验

了解 AVCapture 和 PhotoKit 如何帮助你打造响应更快、更令人愉悦的 App。了解相机捕捉过程,以及延迟照片处理如何帮助创建最佳质量的照片。我们将向你展示零快门延迟如何利用 Time Travel 来捕捉完美的动作照片,深入介绍构建响应式捕获流程,并分享如何利用视频特效 API 来识别触发实时视频效果的预定义手势。

在 iPadOS App 中支持外部摄像头

了解如何使用 AVFoundation 捕获类在 iPadOS App 中发现并连接到外部摄像头。我们将向你展示如何旋转来自外部和内置摄像头的视频、支持具有 USB-C 端口的外部麦克风以及执行音频路由。探索电话支持、优化回声消除的调整以及外部摄像头采用的最佳实践。

在你的 App 中支持 HDR 图像

了解如何在你的 App 中识别、加载、显示和创建高动态范围(HDR)静态图像。探索常见的 HDR 概念,了解 ISO 规范的最新更新。了解如何使用 SwiftUI 和 UIKit 识别和显示 HDR 图像,如何从 ProRAW 和 RAW 捕获中创建 HDR 图像并在 CALayer 中显示。我们还将带你了解 CoreGraphics 对 ISO HDR 的支持,并分享采用 HDR 技术的最佳实践。

将照片选择器嵌入你的 App 中

了解如何简单、安全、可靠地访问 App 中的照片库。了解如何开始使用嵌入式选择器并探索选项菜单和高动态范围静态图像支持。我们还将向你展示如何利用 UI 自定义选项来帮助选择器融入你现有的界面。

音频和视频

在你的 App 中支持电影效果模式的视频

了解电影效果相机 API 如何帮助你的 App 处理在相机 App 中拍摄的电影效果模式视频。我们将分享电影效果模式视频的基础知识,包括对焦决策层级,向你展示如何在 App 中使用和更新对焦决策,并帮助你保存和加载这些更改。

WWDC24

照片和相机

打造出色的锁定屏幕相机拍摄体验

了解 LockedCameraCapture API 如何帮你将拍摄应用程序最有用的信息直接整合到锁定屏幕。研究这个 API 的特性和功能,了解如何开始构建拍摄扩展,并探索此扩展在设备锁定时的运行情况。

音频和视频

利用 HDR 为 App 打造动态图像体验

探索如何在 App 中完成 HDR 图像的读写操作,以及处理 HDR 内容。探究新增的受支持 HDR 图像格式,以及多种显示 HDR 图像的先进方法。了解 HDR 内容可以如何与你的用户界面实现共存,以及为 App 添加 HDR 图像支持时有哪些注意事项。

探索 AVFoundation 中的媒体性能指标

探索如何利用新的媒体性能 API 来监测、分析并改进用户体验。了解如何使用不同的 AVMetricEvents 来监测音视频播放器在 HLS 素材方面的性能,并学习如何利用这些指标来理解播放器性能问题,以及进行相关分类。