财新传媒 财新传媒

阅读:0
听报道

 在过去几年的移动行业里,对基准测试(benchmarks)的不当使用和错误理解逐渐增多。这些基准测试只为用户生成了一个简单的分数,就被用来量化终端性能,代表用户体验。这种现象正影响着芯片制造商和设计商,以及手机制造商所做的各种决策。

但问题是,个别基准测试和“跑”出来的分数,并不能准确反映用户使用终端时的真实体验。也就是说,这些数字与终端及终端制造商带来的用户体验并没有直接的相关性,但遗憾的是,媒体及评测方却会使用这些分数,并由此给消费者带来误导。当然,这可能并不是故意的误导,而是因为大家都对这些分数缺乏正确的理解,也没有进一步的深究。

这些基准测试和使用它们进行评测的人,其实也助涨了“八核迷思”的传播。这些“跑分工具不考虑电池续航时间、操作系统、应用程序以及实际的使用场景,而仅仅测试整个系统在理论上的最佳表现,其中许多测试还单纯将所有内核加载到最大频率运行,而实际情况是除了“跑分之外,手机并不会这样进行日常工作。因此,这些基准测试在业界被认为是无法准确代表用户体验的“不准确或者不合适的基准测试”。但最终,正是这些“不准确或者不合适的基准测试”引发了关于内核数量的竞争,错误地代表了智能手机的使用体验和性能。

 

“这事与我何关?”

你或许会问,“这事与我何关?”回顾一下微处理器或SoC的价格曲线你将会发现,它们的性能与价格是呈正比的,而消费者也十分关注这一点。像华为、联发科、高通或三星电子这样的芯片制造商,很可能会因此随波逐流,为了在这些不合适的基准测试中不落下风,而给处理器增加核心。

 

安兔兔和Geekbench是最常用的被误解或被不当使用的基准测试

根据我的个人经验,以及与许多业内专家的沟通,我们的普遍共识是,安兔兔和Geekbench是最常用的、也是最被误解的两个测试软件。终端制造商和评测机构/个人通常使用安兔兔和Geekbench来量化智能手机的性能,以便与其他终端的表现进行对比。

这些“跑分结果的问题在于,它们并未测试智能手机作为一个完整系统的实际性能,而仅仅是测试处理器的某些组件,或系统的某些部分。在个别使用场景中,这些“跑分或许能反映CPU的部分功能,但并不能有效代表整体系统的性能或体验。

 

错误使用基准测试将把行业引向错误的方向

正是由于这些不准确的、被误解的“跑分的出现、使用和宣传智能手机制造商和芯片供应商们开始投入时间和工程研发资源,确保它们的产品在这些测试中不落下风。

除此之外,为了让“跑分更高,供应商们也在进行各种性能改进,增加CPU内核就是其中之一。这也加剧了八核迷思的蔓延

 

CPU内核并不能代表智能手机的整体体验和性能

过去几年,业界的关注点集中在如何将移动终端的性能量化并推向消费者。这也最终导致了“八核迷思”的产生,并将随着更多SoC供应商的随波逐流演变为“十核迷思”。归根结底,智能手机是一个异构计算平台,拥有许多针对不同目的的不同类型的内核。只关注一种类型的内核,并将其宣传成整体性能的代表,是有误导性的。

我们开始意识到,“跑分一定程度上是引发对内核数量狂热追逐的“罪魁祸首”。我也开始指出“跑分带来的诸多问题,以及使用这种潜在的误导性营销手段可能带来的问题。

最近,Moor Insights & Strategy收集了一些全球最大智能手机制造商的旗舰机型,并在禁用部分CPU内核的前提下进行对比测试,以此证明多核在很多使用场景下对整体系统的表现影响甚少。我们使用了业界领先的FuturemarkBasemarkSofica等基准测试,并将其与实际应用测试相结合,证明少于八个、甚至六个内核对性能的影响都微乎其微。 

如果你希望阅读报告并了解详细结果,请单击这里

 

那么,我们需要做什么?

- 基准测试应该反映实际使用情况

- 不依赖单个基准测试的结果

- 对量产终端进行测试

- 基于应用的基准测试是最为可靠的

- 基准测试(标准)要透明

- 并且应该有延续性

 

评测机构或个人需要使用一整套能最佳体现实际使用情况的基准测试。这意味着,基准测试应该:

- 在3D基准测试中使用实际的游戏引擎,如3DMark

- 能最好地反映实际应用情况,如Basemark X

- 能调用或测试真实应用,如PCMark.

 

至少要确认的是,基准测试结果必须能够反映实际使用体验。我相信在未来,业界将可以通过联盟主导的形式,在这方面做到更好。

 

如欲了解更多相关信息,欢迎您联系:patrickmoorhead@sina.com。

 

话题:



0

推荐

Patrick Moorhead

Patrick Moorhead

130篇文章 1次访问 63天前更新

市场研究公司Moor Insights & Strategy创始人,总裁,首席分析师。研究领域包括软件定义数据中心和物联网行业(IoT)。同时,他也是客户端计算和半导体领域的资深专家。Moorhead的分析观点屡屡被各大媒体引用,影响力持续位于全球科技行业分析师前列。他还是《福布斯》和《CIO》杂志的撰稿人。Moorhead拥有25年以上的行业经验,在创立Moor Insights & Strategy之前,他曾就职于AMD公司及康柏电脑公司,领导产品管理、业务战略规划及营销等工作。

文章