快捷搜索:  as

以后不用学习拍照技术了实时在线AI构图模型VP

媒介

一年一度的人机交互领域国际顶级会议 ACM CHI 将于 5 月 4 号在英国格拉斯哥举行,我的一篇文章 SmartEye: Assisting Instant Photo Taking via Integrating User Preference with Deep View Proposal Network 被会议接管,并得到了最佳论文提名奖。(本文盼望从思路上回忆自己产出这篇论文的历程,更多的描述了一个以用户为中间的人机交互(HCI)领域的科研成果的形成历程,本文用到了谋略机视觉和机械进修的相关措施,但并非一个技巧文章,假如有技巧方面的问题迎接留言和我联系)

念头

当我们看到好看的风景,有趣的小器械,适口的菜肴,可爱的小狗,我们爱好取出兜里的手机拍一张照。然则对着同样的景物,有的人拍的很好看有的人拍的不那么好看,这此中的缘故原由是什么?是构图的差别,构图在很大年夜程度上抉择了一张照片的美学质量。然则构图并非一件轻易的事,很多非专业的人无法掌握构图的技术,是以我们盘算使用技巧赞助人们更好的去对比片进行构图。

专业和非专业的照相者拍摄出来的照片效果大相径庭

现有问题:现在有很多赞助人们构图的算法,不过存在着一个很关键的问题便是实时性不敷强,必要先摄影,然后再离线处置惩罚,这样会带来两个问题,一个是会必要额外的存储和光阴,另一个是离线算法是基于已经拍好的照片的,会极大年夜受限于这张照片,在摄影时移着手机的历程中好的构图很轻易被错过。

办理规划:我们使用了一个基于百万级图片练习出来的深度进修模型 View Proposal Network(VPN)来赞助构图[1],这是我们这篇文章的相助者魏子钧博士颁发在 CVPR 2018 中的一篇文章。VPN 具有 state-of-the-art 的体现,以及具有很好的实时性(基于 One-stage object detection),可以达到 75fps。其感化可以简单的描述为:输入一张照片,基于图片裁剪的要领(对原图进行各类 aspect ratio,size…… 的裁剪),天生一系列构图候选(Composition candidate),并且对每一个构图候选进行打分,按照从高到低的顺序输出。

构图保举收集(View Proposal Network)流程图

VPN 的效果图(给定一张照片,可以给出一系列保举构图)。

只有算法还不敷,还必要搭配更友好的交互要领:

然则仅仅有了一个实时的深度进修模型还不敷,我们必要让这个算法能够友好的为用户所应用,利用到摄影场景中去,这样才是真正的赞助人们进行摄影构图。

我们将 VPN 封装为后真个算法,设计了一个 APP 来让算法真正实用,同时设计了友好新颖的用户界面和富厚的功能和特点来连接用户和深度进修模型。

用户界面图:(a)用户应用 SmartEye(b)主要用户界面(c)功能和手势支持图

界面整体分为两个部分,上面是一个视图区,下面是一个缩略图列表,视图区就像是一个通俗的摄影取景区域,有三个功能,一个是用于实时的展示 SmartViewfinder(下面会先容)的保举,一个是可以放大年夜显示下方的缩略图,还有一个是作为用户选定构图之后的一个预览窗口,下方的缩略图列表显示着由 VPN 保举的各类比例的构图保举,可以阁下滑动来切换和查看各类各样的构图。

我们还设计了几种强大年夜的功能支持:

SmartViewfinder。当我们移着手机时,基于实时的相机镜头捕捉到的图像,SV 实时的供给构图保举,在视图区展示最好的一个,在缩略图列表中寄放着其他的。

SmartViewfinder 实时构图保举

SmartScore。为当前镜头进行实时的打分,显示在视图区的最上方,镜头一旦移动或者镜头中的景物一旦变更,分数就会跟着做出改变,假如当前构图质量很高,视图区的边框会变为绿色,反之血色,用来实时的提醒用户给用户反馈。

SmartScore 赞助镜头自动打分

因显示视频数量限定,Demo视频可浏览:

http://v.qq.com/x/page/i0884109zj4.html

SmartZoom。一个智能的缩放功能,可以赞助用户自动的缩放到一个最相宜的尺度,这个功能旨在让缩放操作变得更轻易,由于人们老是一不小心就缩放过了。

SmartZoom 实现智能缩放

除此之外我们还供给了一些其他的功能,比如自定义保举数,用户可以自己选择在缩略图列表中展示的保举书,自由裁剪,在系统给出的构图保举根基上,用户假如有一些不知足,可以在此根基上拖动裁剪框,再次进行裁剪界限的调剂。APP 还供给了富厚的手势来触发和切换这些功能,比如阁下滑来浏览 SmartViewfinder,手指高低滑动来进行 SmartZoom 缩放,长按来激活 SmartScore。

好不好用?

我们找了一些人来应用这个 APP,网络了大年夜家的反映。大年夜家都对这个 APP 持有积极的见地,然则一些用户也提出了意见,“为什么我爱好的构图排在了后面”、“假如这张构图能够轻细向左靠一点就好了”、“只管我可以经由过程裁剪加以调剂,然则我盼望系统能直接保举给我我想要的”。

我们也发清楚明了一些问题,VPN 按照得分上下顺序保举,然则在很多环境下,用户并没有选择排在第一位的构图,我们简单的做了一个实验,固定 VPN 保举的数量为 5,约请了 16 个被试(被试环境在后面论述)进行了摄影,每小我拍摄 10 张照片,我们记录了每张照片着末用户选择的是第几张,结果如图所示:

16 个被试拍摄 10 张照片的历程中,不合位置的选择人次(No.1 代表构图候选列表中的第一个,以此类推,Freely cut 代表用户没有选择保举构图而是自己进行了裁剪)

可以发明只管第一位的数量有很多,然则第二位到第五位也同样不少,还有一些用户选择了自己裁剪。

新的问题:用户偏好的存在(本文核心)

于是我们遴选了 10 张照片,每张照片由 VPN 天生 5 个保举构图,然后打乱顺序,让 16 个介入者分手遴选最爱好的构图,我们对结果做了可视化的阐发,获得了一个发明,同样一张照片,不合用户最爱好的构图要领(裁剪区域)有所不合,比如下面的这个图中,为了轻易看清,我们可视化了 3 位用户最爱好的构图要领,可以看到是不一样的。

对付某一张照片三个用户最爱好的构图的边框并不相同

然后我们在每张图片上绘制了 16 个用户最爱好的构图中间点散播的 heatmap,可以发明并非所有的人都爱好同样的构图。这个发明十分明确和易于理解,由于一千小我眼中有一千个哈姆雷特,每小我的审美标准都不合,构图相对而言是一个主不雅性十分强的义务(并不类似于谋略机视觉中其他目标检测义务),而 VPN 只是经由过程众包数据进修到了一个通用的审美标准,以是我们觉得有需要将用户的小我偏好斟酌进保举算法中。

两张照片中不合用户最爱好的构图的中间点组成的 heatmap

若何斟酌用户偏好?

这个问题是我们这片论文的一个难点。我们的第一个斟酌十分直接,便是从数据启程,VPN 既然能够天生不合的构图,并且给它们打分,那我们就改造一下 VPN,让它能够把用户的偏好也进修进去。我们考试测验了一些措施来调剂 VPN,包括 retrain 和 fine-tune,然则都由于数据量的问题以掉败了却了,由于我们很难经由过程少量的带有用户偏好的数据来调剂一个已经练习好的深度进修模型。

既然直接改动 VPN 并不轻易,我们斟酌加入一个模块,能够斟酌用户的偏好,这个模块必要做到可以针对一张构图天生一个打分,这样就可以用这个新的打分来调剂一个构图终极的得分,从而调剂模型终极的输出顺序。我们称这个模块为 Preference 模块(P-Module),我们对 P-Module 有一些要求,一是能够准确的对用户偏好进行建模,而且对噪声要有必然鲁棒性;二是在分数猜测方面十分高效;三是 P-Module 要对照小巧,可以用小量的数据来练习和更新,代表着用户偏好的图片越多,P 模块就理论上越能够斟酌用户的偏好。

敲定了上述需求,P-Module 可以视为一个机械进修中的回归问题,我们可以经由过程设计特性来对用户偏好建模。

若何对偏好建模?

我们起先,直不雅上感觉既然用户的选择滥觞于 VPN 的各类各样构图保举,不合的构图之间最显着的差别是什么呀?是大年夜小、位置、长宽比之类的啊,我们为何不能从这些方面入手,简简单单就可以 model 用户偏好,岂不美哉?事实操作发明根本不怎么 work。

简单的特性不收效,那么我们就设计更繁杂更有力的美学特性呗,于是我们经由过程涉猎相关的用户偏好建模文献,以及照相、美学相关的文章,从中罗致了大年夜量履历,设计出了一个繁杂的 feature set,又做了一系列特性选择,然则发明效果并没有多么抱负,以致在一些 test set 上还不如一开始最简单的十来维特性有效。

那该怎么办?用户偏好为什么这么难以 model?我不禁问自己,总说要对偏好进行建模,那在构图这个义务中,用户偏好到底是什么啊?

经历了短暂的愁闷期,我忽然清醒,既然你要钻研用户偏好,为何从用户中来,到用户中去呢?于是我深入群众,去探究用户偏好是什么的问题。

我们进行了一些前期的 User Study 事情(在 User Study 部分会有具体描述),网络了一大年夜波用户反馈意见,进行了细致的收拾和归纳,获得了许许多多有用的建议(在我的论文中进行了归纳和收拾,为了节约篇幅这里不做描述),并且基于用户的这些建讲和之前调研的一些照相、构图、美学方面的常识我们设计并选择了 4 类 32 维特性,分手是基于几何学的、基于显明区域的、基于构图规则的、基于摄影的。

设计的 4 类 32 维特性

此中提取显明区域的效果如下

图片的显明区域(由一个椭圆困绕)

(这里必要提一句的是:我们并不是说这些特性是最好用的,相反,我们盼望其他人或者我在接下来的事情里可以经由过程设计新的 feature vector 从而得到更好的结果。构建能够为我们的义务供给异常好的机能并且可以有效谋略的特性集仍旧是一个有趣的开放性问题。)

特性设计完了,到底有没有用呢?我们进行了具体的实验得出结论——特性显明性和相关性都对照强,这个问题留在着末的 User Study 中论述,我们接下来要评论争论的是构建模型。

若何构建 P-Module?

首先我们要确定模型种别,斟酌到用户在应用我们的 APP 时,从 N 个构图保举中选择最知足的一个点击 “摄影” 按钮,然后保存到本地相册,这是一个最自然不过的打 0/1 标签的历程(当选择的是正样本,其他的被随机选择为负样本,避免样本不均衡问题),以是我们暂定了 LogisticRegression 作为我们的打分模型(将 1 的概率映射为分数),而且在网络的数据中(用户实验部分将要描述)跑了一下结果,发明作为一个 score model,各项指标照样蛮不错的。

给定一个构图  来自一张照片  , 我们提取了它的特性  并且把它送进 LR 模型获得了一个标准化的用户偏好得分。

LR 的简单性使得 P-Module 对噪声鲁棒、易于在线交互式的更新、以及高效的猜测得分。

若何将 P-Module 和 VPN 进行结合?

我们依据了一个基于影象的算法(这个算法基于用户以前的打分来猜测现在的分数)把 VPN 打分和 P-Module 打分结合了起来。更详细的,我们动态的调剂了对付一张构图  ,VPN 的打分  和 P-Module 的打分  的权重:

此中  是一个置信度(confidence score),用来描述当前照片  和用户以前选择过的构图有多么相似。我们基于一个假设:假如一个相似的图片已经作为常识(练习样本)被 P-Module 进修过了,我们有来由信托终极的得分应该更依附于 P-Module 的打分。是以,我们经由过程谋略当前照片与已处置惩罚过的照片的构图间隔来谋略置信度。当前照片与已有照片越相似,置信度越高,P-Module 的打分在终极打分中占的比重就越大年夜。

置信度的谋略公式如下:

此中  是两个构图的特性向量  之间的欧氏间隔。  是一个超参数来节制  的变异率。在本文事情中,我们固定  。值得一提的是,置信度可以简单的描述为当前算法做出的保举是更多依附于 VPN 照样更多依附于 P-Module,也便是用户小我偏好,我们将置信度显示在 APP 的界面中,并且进行实时的更新,在之后的用户实验中也证实:在这种主不雅性较强的,用户可能不是十分信托 AI 算法的义务中,假如给用户展示一个“当前算法有若干依附于你”,能让用户在查看算法给出的保举时,加倍轻易做出选择和感觉被尊重,也会让用户感觉系统加倍人道化。

为了直不雅表述两张照片(构图)的相似性,我们对不合照片(构图)的特性向量进行了 PCA 降维。

不合照片(构图)的特性向量在二维空间上的散播

算法整体流程

到此为止,我们的算法部分完全形成了,让我们再一路回首一下算法的流程。

本文算法的整体流程,基于学到的用户偏好,P-Module 调剂 VPN 给出的保举,同时用户新的选择也会反偏激往来交往更新 P-Module

给定一张照片,算法流程如下:

VPN 给出构图建议

针对 VPN 给出的所有保举构图,P-Module 谋略用户偏好得分

经由过程插值算法动态的调剂二者的权重,获得终极的得分,然后从高到低排序,展示给用户

用户从构图候选中选择一个最爱好的,这个当选择的构图也会作为正样本继承更新 P-Module

全部算法交互式地、徐徐地进修到用户偏好,这项技巧属于交互式机械进修(interactive Machine Learning)的范畴。

至此,全部系统可以用下面的这么一张图来表示其核心内涵。

(a)左上角是一张输入照片,View Proposal Network(VPN)会保举一组多样化的构图(如右上图所示); P-Module 根据所进修的用户偏好实时调剂建议(如下图所示);(b)SmartEye 以交互要领慢慢进修用户偏好:当用户在屏幕底部选择他们爱好的构图时,P-Module 会随之更新。 是以系统会徐徐掌握用户偏好。

用户实验

来到了人机交互领域钻研中相称紧张的一个部分——用户实验(User Study)。

我们支配了两个用户实验来商量如下三个问题:

1) 构图义务的个性化偏好建模中什么特性对照紧张;

2) P-Module 是否赞助模型更好地吻合用户的选择;

3) 用户应用 SmartEye 时的用户体验若何。

我们找了 16 个介入者(在人机交互学科中成为被试),此中有 8 位男性 8 位女性,有 8 位在照相方面没有根基,标为 P1-P8,有 8 位具有必然的照相根基,此中 5 位是大年夜学照相协会的,标为 P9-P13,还有 3 位专业是美术和影视专业的,标为 P14-P16。他们匀称具有 4.13 年的照相(摄影)履历。

Study 1 Effectiveness of P-Module

为了商量 P-Module 的有效性,我们设计了两个义务。

Task1:从 VPN 的保举构图打分

目的:看看该设计什么样的特性,顺便网络带标注的数据。

这个义务也是最根基的一个义务,涉及到特性的设计,我们在前面已有提到,在这进一步具体阐明。

我们首先随机网络了一个数据集 PhotoSetA,此中包孕 50 张照片,以涵盖人们平日拍摄的各类日常照片。然后,我们要求每位介入者供献他们拍摄的 100 张照片以形成 PhotoSetB(包括 16 位介入者拍摄的统共 1600 张照片)。这两个数据集中的照片在内容,样式和宽高比等方面不做任何限定。

我们用 VPN 处置惩罚了 PhotoSetA 和 PhotoSetB 中的所有照片,每张照片都有 5 个保举的构图。对付每个介入者,我们给了他 / 她 150 张照片(50 张来自 PhotoSetA,100 张来自 PhotoSetB 中自己拍摄的)以进行评分,我们网络了 12000 张(16 张介入者 ×150 张照片 ×5 张构图)带有主不雅评分的照片。我们还要求每位介入者填写调盘考卷并就一些问题进行了采访。对付介入者刚刚打分的一些照片,我们问了被试一些问题:

a) 你在进行构图选择时斟酌了哪些身分?

b) 你为什么爱好这一个(构图)?

c) 你觉得你选择的这一个比其他的好在哪?

从中得到了很多有代价的看法,这也赞助我们设计了前面提到的 feature vector。

Task1 流程图

必要阐明的是,16 个被试所标注的图片数据将用来分手为这 16 小我练习自己的 P-Module 用于 Task2。

Task2:从不合的算法保举的构图中进行遴选

目的:我们想要商量 P-Module 是否有用,是否 outperform 了其他算法。

我们经由过程具有寻衅性的用户实验证清楚明了 SmartEye 所保举的构图的质量,为此我们额外网络了 50 张不相助风和内容的照片。

对付每张照片,我们选择了不合模型天生的前 5 种构图,让介入者选择最精品图(第 1 名)。我们的实验所用到的模型如下:1)带有 P-Module 的 VPN;2)VPN; 3)基于显明区域检测和面部检测的算法,表示为 Sal + Face。 Sal + Face 的事情道理如下:给出一张照片,Sal + Face 谋略其明显性图并检测面部,然后谋略明显性得分和面部得分之和,遴选具有最高得分的 5 种构图要领保举给用户。我们混杂了不合模型的输出(去掉落顺序对结果的影响)并将它们展示给 16 个介入者。我们要求他们在每张照片中选择他们爱好的构图。实验结果在 Results 部分展示。

Task2 流程图

Study 2: Usability of SmartEye

Task 3: 在手机上应用不合的算法进行摄影

目的:商量在实际情况下,交融了 P-Module 的 SmartEye 是否好用

我们在 Android 设备上支配了以下系统:1)搭载了 P-Module 和 VPN 的 SmartEye,2)只有 VPN 的 SmartEye,3)搭载了 Sal + Face 的 APP。我们还加入了 Android 原生相机,作为非构图保举系统的参考。

我们向导介入者若何应用我们的系统,并鼓励他们在开始此义务之前考试测验所有功能。我们随机分配了不合系统应用的顺序来打消影响。介入者被要求应用每个系统拍摄至少 30 张照片。然后他们被要求填写一个 post-task questionnaire。 此义务后调盘考卷包孕对被测试的算法的见地,偏好建模的效果以及对 SmartEye 中可用的支持功能的见地。

Task4:应用 SmartEye 一个月

目的:商量 SmartEye 是否可以跟着用户越多应用,效果有越高的提升

在此义务中,我们让每个介入者继续应用 SmartEye 一个月。每位介入者天天必须应用 SmartEye 拍摄至少 5 张照片。拍摄照片的内容和风格不受限定,这意味着用户可以随意率性应用 SmartEye,只要他们天天拍摄 5 张照片。

在月尾,我们网络了用户们在这一个月内保存下来的构图,并钻研了 P-Module 跟着光阴增长的进步环境。

实验结果

Study 1

根据义务 1 中 16 位介入者的构图选择数据,我们谋略了用户得分与 32D 特性之间的 Spearman 和 Pearson 相关系数。相关性如下图所示。可以看到,不合介入者的相关性有所不合。险些每个介入者都关注基于几何的特性和基于明显性的特性。同样有趣的是,有必然照相根基的用户彷佛更关注基于明显性和基于构图规则的特性,而其他人可能更多地依附于几何和基于照片的特性。特性相关性的差异也反应了介入者之间构图偏好的差异。

介入者偏好的特性相关阐发。每个直方图列的上方(浅色)表示 Pearson 相关系数,下方(深色)表示 Spearman 相关系数。大年夜多半特性与用户偏好明显(p<0.05)相关。总体而言,所提出的特性与用户偏好具有很好的相关性。另请留意,不合介入者的偏好与所提取的特性有不合的相关性,显示了用户偏好的差异性。

我们还评估了系统建议的第一张构图正好是用户最爱好构图的比率。我们将此度量表示为 Top 1 selection rate。下图显示了基于义务 2 中网络的介入者数据的 VPN,P-Module 和 Sal + Face 的对照。我们可以看到 P-Module 在每个用户的构图选择数据上体现优于 VPN,总体而言,它大年夜幅度的逾越了其他 Baseline。基于成对 t 查验,我们发明结果很显着:将 VPN 与 P-Module 进行对照,T 值为 - 7.229,p <.001; 将 VPN 与 Sal + Face 进行对照,T 值为 11.597,p <.001; 对照 P-Module 和 Sal + Face,T 值为 16.318,p <.001。我们还谋略了三个模型的标准误差值,如下图所示。

VPN,P 模块和 Sal + Face 在每个用户的 Top 1 selection rate 的对照。 P-Module 在很大年夜程度上优于 VPN 和 Sal + Face 算法。带有 P-Module 的 VPN 和纯 VPN 之间的差距证清楚明了建模用户偏好的好处。

Study 2

我们网络了义务 4 中各个介入者 30 天内的摄影构图选择,并鄙人图中他们天天的匀称 Top 1 selection rate。值得留意的是,总体来说,带有 P-Module 的 SmartEye 的 Top 1 selection rate 在光阴尺度上徐徐前进。它注解 SmartEye 能够模拟用户偏好并经由过程网络更多的用户选择数据来改进自身。在第 6 天和第 15 天,机能略有下降。我们推想这些下降可能是因为用户偏好会随光阴在某一天有所改变。照片构图义务与用户的主不雅判断亲昵关联,在某些光阴范围内可能发生局手下降。查询造访更为经久的影响可能是一项有趣的未来事情。

30 天内所有介入者每一天的匀称 top 1 selection rate

别的,下图展示了在 30 天里每周的 4 种类型的特性和遴选出来的两个用户(P11 和 P5)构图偏好之间相关系数的变更。这个结果和 Task1 中的结果合营阐清楚明了不合的用户可能依附于不合的构图身分。它还注解一些用户可能会跟着光阴的推移小我喜爱也会有所变更。同时,它有力的证清楚明了为主不雅义务建模用户偏好的需要性。

两个介入者在四周光阴内偏好环境。这也注解了一些用户的小我偏好会随光阴改变

Feedback from Interviews and Questionnaires

在这部分我们收拾和网络了大年夜量用户的反馈意见,并进行了归纳,为节约篇幅不做描述。

Preliminary and Post-Task Questionnaires

我们的实验前问卷和实验后问卷基于 5 分制,此中 5 分对应强烈批准,1 分对应强烈不合意。 下图中的 Q1-Q8 验证了自动构图和个性化构图保举算法的有效性。Q9-Q20 显示了关于本文提出的算法和设计的系统得到的相关用户反馈。总体而言,用户对本文提出的 SmartEye 表达了相称积极的立场。

调盘考卷和用户访谈结果

评论争论

启迪

我们从中进修到了一些履历教训,以进一步改良具有个性化偏好建模的自动构图系统的用户体验。我们信托这些履历也适用于试图将个性化偏好纳入主不雅义务的其他系统。

建模个性化偏好对付主不雅义务很紧张。根据访谈,我们发明介入者可以从系统从历史数据中进修习气和偏好的历程中获益。

我们最好向用户显示系统若何 or 为何提出建议,而不是让系统成为 “黑匣子”。在我们的采访中,我们发明 Smart Score 的得分以及置信度值获得了很多积极的反馈; 它赞助用户完成构图义务,并使系统加倍透明和靠得住。在更多细节中显示“系统为什么这么觉得” 是这方面可能的未来偏向。

未来事情

钻研更 general 的构图保举模型。我们的事情基于 VPN,并经由过程集成 P-Module 改良用户体验。请留意,VPN 并非一个自动构图的完美算法。经由过程采纳更好的构图保举模型,SmartEye 可以进一步提升其机能。

应用协作过滤扩展到多个用户。我们的偏好进修事情中的 P-Module 针对单个用户进行了更新; 是以,该保举仅基于他 / 她自己的构图历史。开拓算法和交互技巧以在许多用户之间共享进修结果并以协作要领使用它们也是有趣的。

保举手机镜头的移动偏向。在摄影时实时地保举手机移动偏向彷佛是我们的算法的直接扩展,但我们发明它在实践中异常具有寻衅性:首先,由于一个图像可能有多个好的建议,当系统给出移动建议,然则用户跟着唆使移动镜头后,发明获得的构图不是自己想要的时刻,它可能会侵害用户体验;第二,系统必须跟踪,平滑和记录运动历史,以猜测下一个偏向;第三,更丝滑的保举移动偏向(不让用户有延迟感),可能对系统相应光阴有更高的要求,办理它也可能是有趣的未来事情。

解释有关模型决策的更多信息。VPN 是一种数据驱动模型,可直接从人类数据中进修构图常识。只管我们故意网络了种种图像数据用于构图,但很难包管我们现有的保举模型斟酌到了光照、聚焦等照相学身分。经由过程察看模型的输出,我们推想 VPN 已经隐含地斟酌了这些方面。然则,在数据驱动模型的输出中,很难懂确地显示哪个方面有多大年夜程度的供献。为了明确地 model 其他方面的构图身分,我们可以在模型的输出之后附加模块,这些模块特定于这些方面,终究许多这些方面的现成模型已经取得了不错的机能。

结论

我们钻研了照片构图中的用户偏好建模的观点,并且实现了一个新颖的系统,该系统可以徐徐且交互式地进修用户对比片构图的偏好。

同时,我们已经证明,在构图义务中,不合用户之间的偏好是不合的,以致每小我的偏好也可能随光阴而变更,这进一步注解了将用户偏好进修利用于当前系统的需要性。 此外,我们将 P-Module 和 VPN 集成到一个交互式的实时的移动系统 SmartEye 中,具有新颖的界面和一系列实用功能,如实时智能取景器,智能分数和智能变焦。我们的用户钻研证清楚明了 SmartEye 的有效性:我们已经证实 SmartEye 优于其他构图算法,系统支持的交互功能很有赞助,用户对 SmartEye 整体十分知足。

您可能还会对下面的文章感兴趣: