基于路径的分析,解决方案及实际应用案例等方面

日期:2020-06-30 13:10:07   来源:互联网   编辑:小狐   阅读人数:85

基于路径的分析,解决方案及实际应用案例等方面(图1)

出品 智东西公开课

导读:

图普科技产品和零售线负责人黄雅去年9月曾在智东西公开课进行了计算机视觉应用合辑第四讲的直播讲解,主题为《基于ReID的顾客热区分析及线下商超应用》

在本次讲解中,黄雅老师从计算机视觉给零售行业带来的变化入手,介绍了图普在零售场景下的ReID和行人追踪方法,最后从ReID的难点、解决方案及实际应用案例等方面,进行了深入讲解。

1、零售行业的变化带来的机遇与

3、REID技术实现顾客热区的难点及解决思路

4、如何利用顾客热区优化线下商超

零售行业的变化带来的机遇与

基于路径的分析,解决方案及实际应用案例等方面(图2)

从顶层来讲,新零售以人为核心,通过一些数字化技术重构人、货、场。这三要素以客户体验的升级为向导,基于数据实现精细化,最后把做得更好。基于相关技术,能够做出很多类似于老客户提醒、客流统计、客户画像、店内互动、商品的率分析、商品陈列和品类组合、库存的优化、热力图分析、顾客的行为分析以及顾客轨迹追踪等,产生出一系列的赋能效果。看到上图右上角是在客户场景里做的一个真实的顾客追踪与轨迹分析的例子,接下来是基于人、货、场的赋能技术,对存量的门店进行划分,给出很多合理化的建议,这都对传统零售有很大的帮助。

在一个具体的分析场景里,把顾客从过店,到进店浏览商品,到上手试穿产生购买意愿,以及离店整个行为,通过数字化技术串联起来。在这样的整体体验和转换漏斗里,每个节点都可以精细化的分析顾客行为与意愿,推出相应的改造和优化,达到提升整个零售业绩的目的。这里面包括了一系列的定制化服务体验的提升、商品的品类组合和柔性的供应链、分析的提效以及数据资产的相关沉淀。

顾客热力技术是基于区域绩效和员工绩效的场的分析,在区域分析里面它的本质是场的价值,上面叠加商品和陈列的价值,在叠加流量的价值,让三个层面的价值最大化,这样可以让达到最高的情况,比如不同区域里的流量转换的价值是完全不同的,但在真实情况下,往往场、商品和流量的价值是没有办法洞察和完全匹配的,所以基于区域分析的技术,实际本质希望通过这些数据的洞察,给零售商、品牌商一个很高频化的能力,让三个维度的价值都能够最大化的叠加在一起。简单说就是最好的位置,放最好的商品,用最好的陈列吸引最好的流量,达到最高的额。

图普ReID技术的实践演化之路

首先主要从两个方面开展,第一个是ReID技术,它是为每个检测到的行人分配正确的ID,我们在Market1501集上已经取得了非常好的成绩,业界平均水平在92%左右,我们取得了97.5%/96%(Rank-1/mAP)的成绩。第二个是基于行人重识别技术做的行人追踪,不仅了包括单摄像头的追踪,也有多摄像头的追踪,在跨越不同摄像头之间的追踪跟识别,也取得了较好的成绩。

基于路径的分析,解决方案及实际应用案例等方面(图3)

行人重识别的流程可以拆分为三部分,第一阶段是本地化检测,包括行人检测、姿态预测;第二阶段是识别,行人的ID识别,根据特征做属性的识别和聚类;第三阶段是不同ID之间的追踪。行人重识别简单来说是一个搜索问题,它是在一个很大的行人特征库里面去查询一个感兴趣的人,把它聚到一起。检测是用深度学习技术去抽取检测到的行人,把人的特征抽取出来,进行相似度比较,最后判断这一系列的特征是否为同一个人。

基于前面的行人检测与行人重识别技术,行人追踪本身是一个关联性的问题,把单一摄像头下的不同帧和多摄像头下的不同帧通过统一的ID关联起来,在特征技术里面会投入两个先验认知去提升效能,一个是我们预期大部分人行走速度不会很快,那在两个相邻的正中间,检测框在物理位置上会比较接近,这是一种空间的近似。第二个是行人在运行中不太可能频繁的改变方向,所以我们可以做用线性的运动模型,比如用卡尔曼滤波去模拟一个人的活动、动作预测,这在一个人被遮挡时非常有用。

除了之前的行人检测、行人重识别、行人追踪之外,也会针对人身体的关键帧进行姿态层面的识别。因为有了关键帧,即使没有脸部特征,也可以知道人的眼睛、肩膀、腰、手臂的大致位置,以决定它的方向和朝向性信息。那具备这样的超长信息之后,很多时候是可以预判两个人的某个部位之间的相关距离,这些相关距离对于双方的关系的判断,或者某些物体拿起的判断会有很大的帮助。

行人重识别也就是跨摄像头追踪,同一个人从进店到各个位置,被遮挡,它整条路径都被追踪起来,之后给它一个统一的ID,其实通过行人特征进行停留时长的预判,才是零售场景里面顾客停留时长判断的正确方式,而不是用人脸,因为人脸摄像头在布置时很难达到客户移动到哪个位置都有相应的覆盖,所以用人脸计算在购物的某个阶段里的时长是不够准确的。

基于路径的分析,解决方案及实际应用案例等方面(图4)

模型的应用还包括户外选址,使用追踪来获得行人的轨迹,应用进一步的分析性别、年龄等。ReID最常规的应用是热力图技术,通过追踪热力特征把顾客、店员区分出来,在场地里面投影。我们针对于行人身份的风格,实际上可以组合多种技术,包括识别追踪以及区分导购和顾客。根据姿态识别和朝向,决定身体特征相关的位置和距离,同时基于人脸摄像头,比如收银台上或柜台上人脸摄像头的抓拍,将这三者进行关联,实际上可以比较精准的分析出导购在岗、离岗的时间,以及服务的深度,包括服务的时长、服务的质量,这些都可以通过导购与顾客之间的交互时间、关键位置的距离的远近来做初步预判,而且能达到较好的准确度。

前面都是行人技术的直接应用,下面是行人技术去辅助做人脸识别,大家知道因为光照遮挡和角度的情况,会有一些人脸没办法被算法进行聚类,这些人如果丢失掉,会影响整体客流量的精准统计,所以会引入Video-Face技术,通过半生的身体特征去追踪聚类,把那些人脸信息没法识别的客户也精准识别出来,这些客户和人脸识别出来的客户进行并集,实现店内的完整的数据。

前面介绍了大致的时间路径,这里面有很多相关问题,第一个是遮挡和误解;第二个是行人姿态的差异很大;第三个是一个极端照明条件下会影响模型的稳健性。

图普ReID技术的实践演化之路

基于路径的分析,解决方案及实际应用案例等方面(图5)

第一个问题就是密集人群的遮挡,在大型商超里经常可以看到,如上图左边所示是沃尔玛,可以看到有大量的遮挡,包括人跟人之间的遮挡,人和物之间的遮挡。右边几个女孩子在一起去拍照,中间女孩子把她的手从左边一个女孩子那边伸出,实际上在传统的处理检测时,如果标注中间那个女孩子,会引入到大量的左边黑人女孩的特征,会影响程序本身的健康性,所以对这类型方法的解决方案,首先约定一些标注技术,比如我们通过红框标出核心的特征点,丢弃其他部分,同时也会通过检测模型、人工标注的迭代交互,不断提高模型的承载能力。

基于路径的分析,解决方案及实际应用案例等方面(图6)

第二个问题是多角度,左图的上面一部分是人工标注集,在这里面是有标注错误的,很多的衣服上的颜色图案不一样,明显是两个人。但因为特别像,所以把它合并到一起。下面是公开数据集里面的一些错误,也看到其实是两个人,这里面有很多问题,一个是细粒度识别问题,就是两个形态很相似的人可能是因为身上衣服,比如白色T恤衫只有图案上的差异,或者鞋子上面有没有蝴蝶结之类;第二个是最常见的光线问题,在不同的室内、室外,不同的光线下造成的差异;第三个问题是遮挡,遮挡是无时无刻不在发生的;第四个问题是图像大小调整后的尺寸变化。

基于路径的分析,解决方案及实际应用案例等方面(图7)

上图左边是多角度与图片拉伸的问题,这个人在同一个场景,同一个摄像头,在同一个时间上面,因为摄像头不是垂直向下的,它是有一个斜角。在这个环境下,即使同一个人在相同的时间里,角度变化会造成检测框的长、宽会有巨大的差异,需要用一些规划技术把它拉到同样的长框里面去处理,这样就给算法带来很大的。中间是行人特征的细微变化,看到左边的女生查了头发,戴着眼镜,之后散着头发,没带眼镜,其实是她们是一个人,但是这种差异也会对模型造成困扰。最右边是不同的人,他们的衣服颜色、穿着都是极度相似的,那怎么去处理?对于这些问题,首先是不断去堆积数据提升程序的鲁棒性。接下来通过一些综合因素,比如朝向分析、关键点,细粒度分类的方法来提升模型的处理能力。

下面是行人重识别常用的优化方法,首先是数据准备,在人工标注下不断的优化、清洗数据的质量。

第二是会通过数据增强技术,比如说排重、增加随机的高斯模糊、擦除、背景分割与替换,以防止某些干扰性因素造成模型过拟合。

第三是用ResNet做全局特征提取,把特征去分不同的层,去进行聚合。

第四是成本优化,比如模型蒸馏的方法,因为我们会运行一些轻量级的网络,但轻量级网络的性能不够强,需要通过一个重量级的网络不断进行迭代训练,来提升整体的效能。

因为抽取了身体特征,理论上是可以分析顾客的属性,基于ReID技术,可以做年龄、性别识别,还包括朝向、包包、鞋子,帽子的一系列分析。相较于人脸识别,存在很大的困难,首先以中性着装识别难度大;第二是包包的遮挡,颜色的相似,很难分辨它与衣服上图案的差别;第三个是年龄,年龄最大问题是在零售场景里面,数据是有聚合效应的,幼龄段和老年段的数据是明显不足的,很容易造成模型的过拟合的问题。同时,出于成本层面考虑,在训练时是通过一个训练模型去提取不同的特征,不同特征的训练,梯度的深度在不同时间是不一样,这会造成模型会对某类型的属性分析的特别到位,但是对于其他特征效果会比较差。

基于路径的分析,解决方案及实际应用案例等方面(图8)

基于路径的分析,解决方案及实际应用案例等方面(图9)

接着为年龄问题,行人重识别的特征里最核心的除了性别之外就是年龄,因为中国的零售已经发展到品牌精准匹配年龄的阶段,甚至很多头部的零售企业已经能做到在不同的店型中,甚至在不同店的区域里都匹配不同的年龄。

我们可以看下左边的图是一个3C店里面,他的年龄是集中在20~40岁之间,他是比较聚焦的,在低龄段里面是基本上没有的。右边这张图是一个运动品牌,可以看到它是有点符合正态分布的,但是它的年龄段是偏年轻。

基于差异性,怎么样在模型中让它去很好的支撑,同时也面临数据收集的问题,可以看到高龄段跟低龄段在所有的学界集或公开集里都很难找到,而且年龄有一个很严重的问题,就是它的人为因素太大,大家都知道人工智能是人工+智能,由人先通过标注来教模型,让模型知道这个人是多少岁,是什么颜值,他是谁?这样有时不同人根据经验判断有不同的标注,会显着造成模型的过拟合的现象。解决方案就是在一个特定年龄段里,根据正态分布的情况,给不同年龄段去释放一个概率,假设在21~25岁的年龄段里面标注这个人,我们会根据正态分布在先给出一个概率,可能他是5岁的概率很低,他可能是在22岁或30岁这个年龄段里概率高些,这样我们会在里面增加一个人为的影响因素去训练它。

实际上并不是让所有的品牌、门店、客户都用一个模型,我们可以组合不同模型,比如运动品牌偏年轻,它的模型对于年轻的准确度就会更好一点,或者还有一部分是壮年类的产品为核心,那么我们会把这部分的模型换上去,这个过程是动态可以设置的。

基于路径的分析,解决方案及实际应用案例等方面(图10)

上图是行人追踪的一些问题,它主体是一个遮挡的问题,看下左边有很多种遮挡,遮挡首先关系不同,有人和人之间的遮挡,人和物体之间的遮挡,还有可能是同一个摄像头在人的移动的不同视角下的变化,这导致了检测的突变及漏框。我们回顾下整个过程是先要检测出人,再给每个人分一个ID,把相似的ID全部都关联在一起,整个流程再把这些ID的特征抽取出来,识别出一些属性。在这个过程中,检测对于物体的误判是比较好解决的。解决方案是通过标注失败案例,对模型进行增强的重复训练。对于说其他问题,首先还是会用这些数据增加模型的鲁棒性,所以数据是非常重要的。第二会通过时间和空间的关系去预测,因为人跟物体的遮挡是一个固定的,但如果说能够知道多个人在一起,就能判断遮挡是人或物体,甚至如果知道它的朝向信息,可以在这里面去叠加很多的时间、空间算法去解决相互关系的问题,即使模型本身不够强大去判断这个人,也可以通过这种增补的方法,把整个流程串联起来。

基于路径的分析,解决方案及实际应用案例等方面(图11)

上图是行人追踪的完整解决方案,左边看到是一个容易场景,在容易场景里面可以把增率降的很低,即使如此也可以通过关键点、时空的叠加,把效果做到很好的状态,这是一个成本考量。

右边的话是一个真实场景,它是深圳罗湖口岸过境的画面,过境时候人很多,遮挡很严重,穿行速度很快,对于情况没有特别好的解决方案。首先,很好的模型是必须的,其次是把这个流完整图像都传递过来,通过大量的抽帧找到人物之间遮挡,把不好的图片都给去掉,捕捉到一个非常好的姿态,对它进行计算,同样也要运用到对于这个人的相关性,时空跟周边人的关系的一些叠加算法,去最终反映出这个人的轨迹。基于这几个技术的叠加,最终看到的效果还是非常理想的。

我们都希望有一个通用的模型,在每个场景里都能很好的去解决问题。但事实上只能在一些特定的场景里,通过数据增强叠加和其他的算法方式去提升整体的效果,而在其他地方会表现得非常的普通。从这个角度上来看,这是现在人工智能领域的一些困境,我们只有聚焦才能在某些点上做的好,但我们很希望在未来能有更通用的模型去解决所遇到的各种问题。

如何利用顾客热区优化线下商超

基于路径的分析,解决方案及实际应用案例等方面(图12)

上图是基于行人追踪技术做的单店单摄像头下的轨迹追踪,可以看下地上有很多黄色的线,这些线是在一段时间内整个场内移动的顾客,他排除了所有的干扰因素,包括方向性信息和他们最多走的一个路线,颜色的深浅决定了这个人数的多少,方向就是他们要走的路径。基于路径的分析,零售商可以很容易看出他的陈列和动线设计,可以容易看出顾客实际上走的路线符不符合他的预期,可以辅助他们尽快对店内进行调整。

基于路径的分析,解决方案及实际应用案例等方面(图13)

接着看下访客分布和停留时长分布的差异,上图是在真实超市里的不同的区域。首先,本质上不同区域里的客户密度会有差异,但停留时长可以看到左上角的图,在L型的折叠区域里面人次最多的,它呈现出一个极大的热力图,但是在左边右上的地方,基于时长来分析,那个区域并不是停留时间最长的,反而靠右边一点的区域是更长的,这些细节的差异可以方便零售商去很精细化的调优商品陈列、组合,改善相关的业绩。

基于路径的分析,解决方案及实际应用案例等方面(图14)

实际上在零售实践里面,原有品类的位置轻微的陈列改变,都会对额造成一个立竿见影的变化,更别说是针对到店的客群的画像去做精细化匹配,这里面的想象空间是非常大的。我们可以简单看下,前面的这种朝向热力图的上面这张图是正常的,他的精品的客户是有400多位,平均停留时长是在十几秒钟,男女比例明显看到女性的比例会更高,因为是个促销区,女性肯定是更喜欢待在这个地方的,包括一系列的年龄分布。

但是下面还有一个聚焦模式,针对于大的区域可以象征到任何一个方格一个宽度里面有多少人,我们可以看到下面这张图明显只有两个人,它平均停留时间会很长,它基本到了半分钟,男女比例可能是趋于均衡,因为数字非常的小,所以会呈现出一半的情况,但是基于聚焦模式的这种双向切换的理解和调优,就能达到一个非常精细的程度。

基于路径的分析,解决方案及实际应用案例等方面(图15)

下面是场的效率和商品效率的一个匹配,在店里面有多条通道,有主有次,在不同的通道里面,可以看左边这个图,浅色的柱子是精品的客流,它是通过ReID去排除去计算的,可以明显看到A通道是一个主通道,他直接对着门,所以它的人是最多的,看一下它的情况,红色的是的绝对值数字,它也是最高的。

但我们发现对于客流的转换上来讲,它却不是最高的,大概就是15个点左右,我们发现通道c通道的客流不是很多,甚至排在倒数,但是它的率却非常高,这个现象在零售门店里面是很普遍的。针对这个案例,我们做过研究,由于这个地方是商品的价值比较高,利润各方面都很好,同时它有两台美容仪,基本上顾客到这个位置上经过一个体验之后,对商品有一个更深刻的认识,所以率会偏高一点,基于这样的情况,我们是否能够做出相应的调整来充分释放这个位置或者说这种模式的商业价值。

基于路径的分析,解决方案及实际应用案例等方面(图16)

下面是场的效率和商品效率的一个匹配,在店里面有多条通道,有主有次,在不同的通道里面,可以看左边这个图,浅色的柱子是精品的客流,它是通过ReID去排除去计算的,可以明显看到A通道是一个主通道,他直接对着门,所以它的人是最多的,看一下它的情况,红色的是的绝对值数字,它也是最高的。

但我们发现对于客流的转换上来讲,它却不是最高的,大概就是15个点左右,我们发现通道c通道的客流不是很多,甚至排在倒数,但是它的率却非常高,这个现象在零售门店里面是很普遍的。针对这个案例,我们做过研究,由于这个地方是商品的价值比较高,利润各方面都很好,同时它有两台美容仪,基本上顾客到这个位置上经过一个体验之后,对商品有一个更深刻的认识,所以率会偏高一点,基于这样的情况,我们是否能够做出相应的调整来充分释放这个位置或者说这种模式的商业价值。

基于路径的分析,解决方案及实际应用案例等方面(图17)

下面是选址的一个真实应用场景,我们上图的左下角,周边经停了很多人全部都被精准的抓取识别出来,不眠不休,不分白天黑夜,完成这样一个工作,以前这些工作全部是由人完成的,而且现在还会有很多人在做这样的工作,来帮助推动占GDP将近百分之四五十的零售行业。

把人脸技术与姿态技术相关联,用来分析员工在岗、离岗、接待效率,这在实际场景中效果也非常好。最后是我们实践的头部客户,有OPPO手机、名创优品、有赞、爱回收,还有一些优秀的运动品牌像李宁,还有像天虹这样的一些集团,可以说现在的行人重识别技术相较于人脸识别技术在零售的成熟度还是偏低的,所以,许多头部客户愿意尝试,愿意去用我们的技术,我们才能够不断的优化、迭代。

本文相关词条概念解析:

行人

行人:路上行走的人;参加同业商行的商人;走过的人。一复姓春秋郑有行人子羽。---见《慎子》。“行人”也是我国古代一官名。行人司置“司正”及左右“司副”,下有“行人”若干,以进士充任,掌管捧节奉使之事,凡颁诏、册封、抚谕、征聘诸事皆归其掌握。汉景帝中六年(前144年),改名“大行令”,武帝太初元年(前104年),更名“大鸿胪”,属官有行人、译官、别火三令、丞。第七十五条行人横过机动车道,应当从行人过街设施通过;没有行人过街设施的,应当从人行横道通过;没有人行横道的,应当观察来往车辆的情况,确认安全后通过,不得在车辆临近时突然加速横穿或者中途倒退、折返。

网友评论
相关阅读
看到这里提醒大家,使用微信这功能一定要注意

看到这里提醒大家,使用微信这功能一定要注意

文章开篇先问大家一个问题:当你收到3000元,又退回3000

于汉超去申花,首秀破门导演4-0胜利,搭档1人成国内最强双翼

于汉超去申花,首秀破门导演4-0胜利,搭档1人成国内最强双翼

北京时间7月11日,据申花俱乐部官博报道,热身赛中,申花以4

什么情况,加上威少和哈登迟迟没有前往奥兰多,火箭主帅德安东尼已经有点着急了,威少也有最新动态

什么情况,加上威少和哈登迟迟没有前往奥兰多,火箭主帅德安东尼已经有点着急了,威少也有最新动态

北京时间7月12日,距离NBA复赛还剩19天,大部分参赛的球

重庆队之前因为0外援,面对着无外援队,被看作是降级的热门球队

重庆队之前因为0外援,面对着无外援队,被看作是降级的热门球队

北京时间7月12日,重庆斯威队的4名外援登机将回归,目前只差

看到这里提醒大家,微信此前推出了亲属卡功能

看到这里提醒大家,微信此前推出了亲属卡功能

文章开篇先问大家一个问题:当你收到3000元,又退回3000

美媒给出榜单,本赛季得分进步最大的五位新星出炉,这令快船非常心碎

美媒给出榜单,本赛季得分进步最大的五位新星出炉,这令快船非常心碎

NBA每年都会有很多年轻球员崛起,本赛季至今为止,又有哪些年

网信办约谈学而思网校APP负责人究竟怎么回事?网信办约谈学而思网校APP负责人具体情况

网信办约谈学而思网校APP负责人究竟怎么回事?网信办约谈学而思网校APP负责人具体情况

学而思网校、跟谁学、松鼠AI等针对疫情推出教学解决方案多知网

店长回应保护遭熟人下药女顾客究竟什么情况?店长回应保护遭熟人下药女顾客事件始末

店长回应保护遭熟人下药女顾客究竟什么情况?店长回应保护遭熟人下药女顾客事件始末

海底捞员工厕所偷拍女顾客!回应:涉事员工已辞退近日,一女顾客

深度,所以他有了越来越多的助攻,他也是基本上是这样的踢法

深度,所以他有了越来越多的助攻,他也是基本上是这样的踢法

篮球场上控球后卫的重要性是能够串联起球队,他的重要的工作就是

宁静说自己变母了真相是什么?宁静说自己变母了时间过程详解

宁静说自己变母了真相是什么?宁静说自己变母了时间过程详解

母起来的宁静,袁立都怕了宁静又犯倔,放豪言“姐玩得起”,不惧