视频 | NeurIPS 2019分享:华为诺亚方舟提出基于少量数据的神经网络模型压缩技术_样本

机器之心发布 在 NeurIPS 2019正式召开以前,机器之心精心策划了 NeurIPS 2019 专题,包括线上分享、论文解读、现场报道等内容。11月21日,第一期分享已经圆满结束。本文介绍的是「

鑫悦棋牌机器之心发布

在 NeurIPS 2019正式召开以前,机器之心精心策划了 NeurIPS 2019 专题,包括线上分享、论文解读、现场报道等内容。11月21日,第一期分享已经圆满结束。本文介绍的是「神经网络模型压缩技术 」,这是华为诺亚方舟实验室联合北大和悉尼大学联合提出的一种理论,只需要2%的数据就可以实现云端 NN 模型压缩 。

在上周四的第二期分享中,华为诺亚方舟实验室研究员许奕星为大家详细解读了大会接收的这篇 Spotlight 论文《Positive-Unlabeled Compression on the Cloud》。

鑫悦棋牌以下是本期视频回顾:

华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《Positive-Unlabeled Compression on the Cloud》,提出了基于少量样本的云端网络压缩技术,ResNet-18网络在 CIFAR-10 和 ImageNet 上分别达到了 93.75% 和 86.00% 的准确率(分别使用2% 和 10% 的原始数据集),该论文已被 NeurIPS2019 接收。

论文地址:https://arxiv.org/pdf/1909.09757.pdf

鑫悦棋牌研究背景

深度卷积网络(CNN)被广泛应用于诸多 CV 领域的实际任务中(例如,图片分类、物体检测、语义分割等)。然而,为了保证性能,神经网络通常是过参数化的,因此会存在大量的冗余参数、为了将 NN 直接应用于小型化移动设备例如手机、相机、摄像头等,通常需要使用压缩算法对过参数化的原神经网络进行压缩和加速。

传统的NN 压缩算法通常需要完整的训练集来得到性能优异的压缩网络,然而在提供云端模型压缩时,上传这些原始训练集通常非常耗时。例如,用户上传一个 95MB 大小的 ResNet-50 只需几秒至几分钟,但上传 120GB 完整原训练集 ImageNet 则需要数小时甚至数天,从而极大伤害用户体验。

为了解决这个问题,我们提出了一种基于少样本的云端网络压缩技术,如图1。我们利用用户上传的少量样本以及云上存在的大量未标注数据,通过正类与未标注学习 方法从未标注样本中挑选出和用户上传的数据属于同类别的数据,之后,使用改进的稳健性知识蒸馏方法对网络进行压缩。

实验表明,论文中的算法能够在使用非常少量原始训练数据的情况下,达到和使用全部样本的压缩算法类似的准确率。

图1:本方法结构框架

使用PU分类器挑选数据

由于传输速度的限制,或基于隐私的原因,实际中我们通常只能够得到少量的训练样本,传统的NN 压缩方法在这种情况下没办法得到高性能的压缩网络。因此,本文提出了云端模型压缩方案,利用云端海量无标签数据,使用 PU 分类器从中挑选出和用户上传少量样本属于相同类别的样本,以便于网络的压缩。

(责任编辑:鑫悦棋牌)

本文地址:http://www.designedbylara.com/kuangquanshichang/2020/0908/4.html

上一篇:浑身“肌肉”!4K投影竟满鑫悦棋牌身黑科技,大片观感爽到爆炸......_视频
下一篇:国庆节鑫悦棋牌给孩子一个礼物 2000元以内学生手机推荐

类似文章

国庆节鑫悦棋牌给孩子一个礼物 2000元以内学生手机推荐

国庆节鑫悦棋牌给孩子一个礼物 2000元以内学生手机推荐

十一假期即将来临,会有不少家长为自己孩子买一个手机,毕竟现在不比以往,手机已经成了必备品。鑫悦棋牌十一假期即将来临,会有不少家长为自己孩子买一个手机,毕竟现在不比...

浑身“肌肉”!4K投影竟满鑫悦棋牌身黑科技,大片观感爽到爆炸......_视频

浑身“肌肉”!4K投影竟满鑫悦棋牌身黑科技,大片观感爽到爆炸......_视频

在今年,极果君身边想买投影机的朋友越来越多,认为宅在家就是要享受,一个投影机,搭配上一整套的音响,旁边放上点小零食,那简直就是人生巅峰。 但是这几年,投影机的市场越...

在线评论

您的电子邮件地址不会被公开。
* 为必填内容