为什么产品经理需要对算法做测评呢

在人工智能已经成熟商业化的今天，我们的生活被各种算法层层渗透，越来越多的产品无论是出于降本增效的目的，还是出于PR宣传的目的，都开始应用算法。

面对算法的应用，产品经理要应对的一个重要难题，就是对算法效果进行测评，尤其是面对一个新算法能力，测评会更加棘手。

为什么产品经理需要对算法做测评呢？

对于自研算法，仅有算法研究员自测的实验室指标是不够的，业务产品需要通过自己的测评来判断算法是否达到商用标准，同时也能与实验室指标形成对比，可以给算法研究员作为重要参考；对于外采算法，仅有供应商提供的算法精度报告也是不够的，我们更需要对多家供应商的算法做测评，再结合价格、售后服务等因素综合决定采购合作的供应商。

按照本文提供的框架，你可以“快速”完成对一个“新”算法的测评。

二、算法测评的基本原则

在进入测评框架的讲述前，要先明确算法测评的四个基本原则，非常重要！

原则1：算法能力一致

面对横向比较多个算法优劣的测评，必须保证待测评算法是解决同种问题或提供同种功能的。

原则2：样本用例一致

同一个算法，在不同样本测试集上的指标表现是存在差异的，所以无论我们的测评是横向比较多家算法，还是纵向比较一家算法的多个迭代版本，都必须保证采用的样本测试集和测试用例保持完全一致，这样得出的指标数值才有可比较的意义。

如果A算法用a测试集，B算法用b测试集，这样得出的指标数值是没有可比较性的，因为测试集不同。

原则3：执行方式一致

测评算法的所有操作方式和环境必须保证完全一致。

原则4：评价指标一致

针对同种算法的测评，必须采用计算公式或统计口径完全一致的指标体系。

三、算法测评，拢共分几步

1. 第1步：明确算法的能力范围

面对一个新算法能力，首先要准确划定这个算法的能力范围和边界。

所谓能力范围和边界，就是这个算法能做什么不能做什么，这一点和业务需求是强相关的；所以明确算法能力范围，其实就是梳理业务对算法的需求，需求梳理完毕，算法能力范围也就清晰明了了。

业务对算法的需求通常可来自于三个方面，一是政策法规、二是客户需要、三是竞品分析；这里需要提示一点，如果想做到“快速”，就必须在满足业务需求的前提下，将能力范围最小化。

例如在笔者负责的业务中，需要对用户上传的身份证照片中的文字信息进行提取，同时还需要判断该身份证是原件/复印件/翻拍件。

通过对业务需求的梳理，我们已经得出了最小化的算法能力范围——身份证光学字符识别、身份证原件类型识别。

在市场上成熟的OCR算法厂商中，提供的能力不仅仅是上述两种，还包括证件反光提示、证件真伪判断等等，但基于最小化原则，我们不需要追求全面测评，只需要关注业务需要的能力。