三星新闻编辑室分享了 Exynos 移动处理器 (SoC) 中图形处理单元 (GPU) 和图像信号处理器 (ISP) 的重要性。在与七位 IP 开发负责人会面之前，三星新闻编辑室首先会见了负责系统 LSI 业务系统级芯片 (SoC) 设计的 SoC 开发负责人兼执行副总裁 Mingoo Kim。（本文是系列文章的第一部分，后面将持续关注其他IP模块。）
Kim首先解释了SoC概念背后的根本原因，其中各种功能都集成在一个芯片中。 “当芯片被分割时，很难完全管理它们的功耗。”Kim 说。“当每个功能单独消耗功率时，电池效率也会降低。此外，带宽限制和传输时间延迟会影响芯片之间的数据传输，从而导致性能下降。”对于智能手机来说，消耗最少的电量非常重要，因为与台式电脑不同，智能手机不是持续供电的。
“由于全面的功率控制，SoC具有很高的效率。而且作为单芯片，它在智能手机中占用的空间也更少。”Kim 解释道。 “当所有功能都由单个芯片执行时，性能会显着提高。”现代手机不仅仅是简单地发送和接收电话和短信，而且已经发展到可以执行多种高级功能，包括拍摄视频、手机游戏和金融服务。比拇指指甲还小的 SoC 在实现这一目标方面发挥了重要作用。
由于 SoC 是当今存在的所有主要信息技术类型的缩影，Kim 将其描述为“系统半导体之花”。 “SoC 不是一个容易工作的领域，但它是一个乐观的领域，任何工程师都渴望成为其中的一员。”Kim 说。 “SoC在未来行业的作用将是无限的，比如元宇宙、自动驾驶和6G。”
三星将继续专注于开发专有 IP，包括 GPU、NPU、ISP、调制解调器、RF 等。三星力争在芯片设计上更进一步，成为平台解决方案公司。 “凭借我们在 SoC 方面的竞争力，我们的目标是让 Exynos 被公认为最好的移动处理器品牌，”Kim 说。 “通过这个专题系列，我们希望与更多人分享 SoC 的作用和重要性，Exynos 的特点和优势，以及它的发展方向。”
扩展移动游戏的可能性：GPU 提供更强大的图形计算能力
一般来说，图形处理需要大规模的计算，如果并行处理，速度更快，效率更高。但是，中央处理单元 (CPU) 的结构专门用于快速串行处理。因此，由于 CPU 的这种恒定计算性能，使用 CPU 进行图形处理会导致计算延迟。比如玩游戏时，由于在显示器上渲染图形导致触摸输入延迟，您的角色可能无法避开敌人的攻击。
为了解决这些问题，GPU 应运而生。在出现 GPU 之前，CPU 负责一切。GPU 被认为是为了提高效率，作为经常使用的图像计算的加速器。简而言之，CPU就像一个通用计算器，而GPU是一个专门从事图形处理的大型并行计算器。这就是 GPU 的由来，它是图形处理的关键组件之一。它接收来自 CPU 的命令，并在监视器上显示对象的形状、位置、颜色和纹理。
Exynos 2200 配备的 Xclipse 920 是三星与 AMD 联合开发的第一款移动 GPU，AMD 是一家总部位于美国的全球公司，专门生产用于 PC 和游戏机的 GPU 等半导体产品。 “Xclipse”这个名字是Exynos的“X”和“eclipse”这个词的组合。这个名字代表了三星的目标，即超越手机游戏的极限，将性能发挥到主机游戏的水平，从而迎来一个新的时代——游戏时代。
为此，三星与 AMD 合作开发了一款用于移动设备的高能效、控制台级 GPU。 AMD 的 GPU 专为 PC 或游戏机设计，这意味着它们必须重新设计以适应移动环境。具体来说，除了管理散热外，它还经过重新设计以适应相对有限的移动内存带宽。 “基于我们从开发移动 SoC 中获得的丰富的低功耗设计知识，我们能够在第一代产品中成功实现能效和小型化，”负责 GPU 的移动处理器设计专家、副总裁 Sungboem Park 说。“我们专注于用于最小化发热技术，因为移动设备没有像游戏机那样的风扇，同时还保持性能，使框架不会滞后。”
GPU 在 Exynos 中的主要作用是在 2D 智能手机屏幕上的 3D 虚拟空间中显示对象，这一作用在移动设备上玩图形要求高的游戏时尤其重要。特别是，Xclipse 920 是第一款支持硬件加速光线追踪 (RT) 的移动 GPU。光线追踪是一种通过模拟从 3D 物体反射的光线来产生逼真的照明效果的技术。通过硬件而非软件加速，Xclipse 920 能够更快地执行实时计算。此外，可变速率着色 (VRS) 技术根据屏幕上物体的颜色、阴影、运动和其他变量的变化调整 GPU 计算量，以减少 GPU 的负载。
▲Xclipse 920自带硬件支持光线追踪（RT）技术，通过模拟3D物体反射的光线产生逼真的灯光效果。随着游戏用户数量的增长和图形的精细化，GPU的发展方向变得越来越重要。这包括将性能水平提高到高性能控制台的水平，同时降低电池消耗。通过改进这两个关键领域，用户能够在移动设备上体验与在控制台上体验类似的高保真图形。“总的来说，在图形技术方面，移动设备往往比游戏机落后大约五年左右，但是，通过与 AMD 的合作，我们能够在 Exynos 2200 移动处理器中快速整合最新的游戏机技术。”Park 说。 “SoC 将应用于 Galaxy S22，我们计划通过与 AMD 密切合作，继续实现 RDNA 系列中的其他功能。”
当被问及移动 GPU 的未来发展方向时，Park 回答说：“随着智能手机的性能整体上得到增强，确实很难创造出足以让消费者注意到的性能优势。从现在开始，旗舰智能手机用户购买最新款智能手机的原因很可能取决于游戏性能。这意味着决定智能手机游戏性能的GPU进一步发展的可能性很高。”
他还预测，移动 GPU 在 AR 和 VR 领域也将变得更加重要。 “对于 AR，GPU 需要配备在眼镜等轻量级设备中，因此低功耗设计非常重要，”Park 说。“VR 领域对性能的要求要高得多，因为需要立即渲染整个可见的虚拟世界。因此，我们需要满足各种开发要求，同时还要以比目前更快的速度生成更逼真的图像。因此，移动 GPU 的发展至关重要，并将拥有无限的应用。”他强调说。
提升拍照性能满意度：ISP 提供更自然、更生动的图像
ISP 校正从图像传感器获得的原始数据，并将照片或视频创建为用户喜欢的形式。 ISP 还纠正了相机模块的潜在物理限制——由光学系统和图像传感器组成——插值红色、绿色和蓝色 (R/G/B) 并消除噪声。此外，它还进行后期处理，例如调整视频的亮度和强调细节区域。简单来说，就是通过微调和后期处理，ISP生成用户最想要的图片或视频。
手机摄像头ISP处理全流程在早期的智能手机型号中，ISP 作为单独的芯片配备。然而，由于市场需求，集成式ISP很快成为常态。 “起初，我们与海外研究机构合作，开发可用于数码相机的高性能 ISP。”一直在视频处理领域工作的多媒体开发团队项目负责人 (PL) Jongseong Choi说。“因此，我们的第一个嵌入式 ISP 解决方案被用于 Galaxy S4 的主摄像头。”自 2012 年以来，Exynos 移动处理器通过 ISP 的内部化，为智能手机摄像头视频图像质量的大幅提升做出了贡献，实现了数码单反 (DSLR) 摄像头级别的性能。”
多媒体开发组项目负责人Jongseong Choi，在视频处理领域工作20多年。借助高性能 ISP，消费者能够享受更高的视频图像质量以及更快的处理速度。 “很难用具体的数字来解释一张照片有多棒，因为拍照是主观的，但我们正在进行各种研究，例如使用深度学习和 ISP 调整技术进行视频评估，以创建自然清晰的照片和视频。”Choi 解释说。此外，ISP还决定了连拍中的速度，负责对高分辨率照片和视频的快速处理。
最新 Exynos 配备的高性能 ISP 可处理高达 2 亿像素。最多支持七个图像传感器，并且可以同时处理来自最多四个图像传感器的视频和图像。还包括通过结合语义分割技术，在 NPU 的帮助下识别正在捕获的场景，为每个元素应用不同参数的能力，例如天空、灌木、皮肤等。 AI 功能可检测并标记人脸，并根据人脸坐标调整视频的亮度、焦点和颜色。
使用语义分割的内容感知图像处理示例当被问及 ISP 的未来发展方向时，Choi 回答说，发展将集中在保持低功耗使用和提高视频图像质量上。 “图像传感器传输的数据由 ISP 实时处理，但数据量呈指数级增长。”Choi 说。 “因此，将数据写入内存并稍后检索数据会消耗大量功耗。然而，Exynos 中的 ISP 旨在将数据仅保存在内存中一次，从而最大限度地降低功耗。”他强调说。
“视频时代的到来比预期的要快，因此，我们将专注于提高视频图像质量。”Choi说。 “特别是，我们正在努力通过提高视频图像质量来提高我们的竞争力，即使是在黑暗、弱光环境中拍摄的视频图像质量也是如此。”
