首页 > 数据可视化 > chinavis2018参会总结2:数据可视分析挑战赛
2018
08-14

chinavis2018参会总结2:数据可视分析挑战赛

自2015年起,chinavis的挑战赛大都在每年6月进行,参赛时间跨度1个月。本来我今年组队就想参加,但因为婚姻大事和学生毕设等诸多原因,6月实在无暇参与,甚为遗憾。 所以本人今年参加chinavis2018的一个重要目的,就是参加360杯数据可视分析挑战赛的报告会,为明年自己组织队伍参加挑战赛做准备。

7月26日下午的chinavis “360杯”数据可视分析挑战赛专场,包含如下几个环节:首先是赵颖老师介绍本届挑战赛整体情况。然后360企业安全可视化实验室的工作人人员介绍了《题目设计背后的故事》,百度echarts团队的工作人员介绍了《echart开源之路》。接下来获一等奖和单项奖的团队上台做报告。最后是合影留念环节。关于会议现场的情况,挑战赛的出资方和组织者360企业安全可视化实验室在他们的微信公众号上发了好几篇文章,“360杯”ChinaVis挑战赛落幕 百支队伍创历史之最ChinaVis 2018 360杯挑战赛题目设计背后的故事,图文并茂内容很全,有兴趣的朋友可以浏览一下这些文章。我主要谈谈我的感想。

感想一,无论是学生还是老师,都值得参加挑战赛。

可视分析的研究者在工作中往往有两大难题:要么是缺乏应用背景,使得研究流于表面;要么是有专项研究,然而缺乏对比。chinavis 360杯数据可视分析挑战赛,提供了研究者往往所缺乏的应用背景,并且有数据源、基准答案,非常适合可视分析的入门与进阶实践,并通过与同行交流共同提高。如果获得奖项,在学术会议上亦有presentation、poster、 panel discussion的机会,对进行学术交流也有很好的意义。比如chinavis的会议主席之一的赵颖老师,也是从做国际会议VAST2013挑战赛开始进阶网络安全可视化领域的,经过五年耕耘,如今已有论文被国际顶级会议VIS2018接收。

对于参赛学生而言,参加此类活动,对于锻炼实践能力提高技术水平有很大的帮助,尤其是缺少项目经验的本科生。如能获得名次,意味着得到了专家认可,可以给简历里加上浓墨重彩的一笔,对于学生找工作很有帮助,比如可以去360等大公司实习。

chinavis数据可视分析挑战赛一直是360公司出资举办的,故而大多数年份都有网络安全相关的题目。这些题目相对于chinavis挑战赛的模仿对象VAST Challenge而言,数据量和难度都要小一些,同时也没有语言隔阂。这正适合我国普通高校的学生参加。

感想二,挑战赛竞争压力变大,同时获奖的社会认可程度也变得更高。

chinavis 360杯数据可视分析挑战赛到现在已经举行了4届,每届提交作品的队伍分别是14、29、44、86个,呈不断上升趋势。每届的获奖率是71%、55%、59%、33.7%,呈不断下降趋势。另一方面是企业代表队数量不断上升。随着chinavis影响力的不断提升,我估计明年参赛队伍还会更多,获奖率还会更低,不过对应的含金量则会更高。不过至少在目前阶段,chinavis挑战赛的难度和竞争压力还是比VAST Challenge要小。

感想三,异构数据分析将成为主要研究方向。

从挑战赛题目和数据的变化情况来看,一方面是题目的数据量不断增长,另一方面数据类型越变越复杂。在2015-2917年,题目的数据集通常都是同一类型。比如2016年挑战一就是网络监控流量数据,挑战2就是邮件数据。但是2018年,题目的数据集变成了包括网络监控、邮件、打卡数据等等多种类型,模式向VSAT Chanllenge靠拢。按照这种趋势,搞不好下届挑战赛就要跟VSAT Chanllenge一样,要新闻数据、地理数据、网络监控数据一起来了。因此,异构数据整合、数据关联分析等将成为可视分析中的重点。从一类数据中找线索,到另一类数据中找印证的“探案”模式可能成为主流。

感想四,基于web的dashboard界面成为主流。

2015年、2016年挑战赛,各获奖队伍的可视化成品普遍是多个小案例的集合,每个小案例就事论事,使用工具也各不相同,缺乏统一性。而从2017年起,几个获奖作品再也不是小案例的集合,而都是dashboard式的web综合分析界面。这意味着竞争已不局限于采用各种工具解题的层次,还在于构造专家系统的工程化水平。所谓dashboard,一般译作仪表板,顾名思义就是把很多可视化图例整合起来,商业智能领域很早就用这种模式展示关键业务指标以帮助商业决策。现今很多可视化系统,都是这种dashboard风格的Intergrated View(集成式视图),将多个可视化图形通过交互实现联动。现在使用VUEjs、angularjs之类的web前端框架配合bootstrap主题完成web版的dashboard并不难,本科生经过工程化训练也完全做得了。作为一个web前端多年从业者,我个人认为这是前端技术不断进步普及的必然结果。以后结合各种交互模式的dashboard界面,将成为这一类挑战赛的准入门槛。

2018年挑战赛一等奖作品,东北师范大学徐少斌团队,张慧杰教授指导。典型的dashboard式集成可视化界面,界面美观度相当高,具有相当高的工程化水准。

2018年挑战赛一等奖作品。重庆大学晏雁代表队,胡海波副教授指导。也是dashboard式集成可视化界面,按分析内容和数据源分为组织结构、工作模式、流量分析、异常威胁四个子视图,子页面间以共同的导航图(就是中间的旭日图)作为联系。界面美观度相当高也是相当高,子页面采用共同联系图的方式值得参考。

2018年挑战赛一等奖作品,中国科学院信息工程研究所,陈明毅代表队。还是dashboard式集成可视化界面,分为概览、部门和个人三个子视图。跟重庆大学晏雁代表队的作品相比,子视图的切分方式是由概览到细节。此外配色与众不同。

感想五,echarts大放异彩,python一统天下,webGL初现端倪

从历年挑战赛各队伍采用技术工具的演进情况来看,百度的Echarts一路走高,终于在今年成为最受欢迎的技术。D3在蝉联三届冠军后,今年跌倒第四。Echarts和D3的区别,就像是造房子时需要窗户,可以选择echarts牌的定制铝合金窗,也可以选择用D3牌的造窗工具自己打造性化的窗户。而且Echarts在文档完整性、社区活跃度、中文化、学习难度上具有优势。D3的主要是优势在于,能更加灵活地创建独特的交互式图表。显而易见的是,在挑战赛有限的比赛时间中,以Echarts为代表的可视化图表套件,可以更便捷高效地搭建系统,并得到中上的效果。而定制化的可视化图表虽好,可如果没有足够的时间打磨,效果还不如可视化图表套件。目前大多数参赛队伍都是高校师生,把有限的时间用于呈现和解释数据已经竭尽所能,能定制新颖高效的可视化图表者凤毛麟角。所以对于技术的掌握,要早布局,早投入,才能避免“待到用时方恨少”的情况。当然我还是很看好Echarts国产精品开源软件的,如果Echarts能在可定制性上继续发展,将大大降低学习难度,提高开发效率。

然后在数据分析工具的选择上,python是当仁不让的首选。Python这门计算机语言的功能是全方面的:不仅可以做数据统计,前期的数据源整理,数据处理,后期的聚类、数据挖掘算法,乃至搭建web服务器,机器学习,深度学习,Python均可胜任。Python本身学习成本低,并且支持调用庞大的第三方库,令其有高度的可扩展性。与之相比,Excel和tableau一般只用作简单数据处理和数据查看,gephi只用作网络结构图形和生成。在适用性、广度和深度上都不如Python。

最后,webGL技术初现端倪。webGL技术是在web页面上通过调用GPU实现复杂图形效果的功能。因为上手难度较大,因而并没有被普遍应用。不过今年挑战赛上的研究所和企业单位的参赛作品中,还是有一些这方面的应用案例的,并且效果惊艳。当然,想用这一类技术,前期投入不可能小,需要的技术积累比用D3还是要大的多。

视觉效果奖作品。中国铁道科学研究院集团有限公司、东软集团牛牛工作室共同组成的团队,用three.js做的可以在2D和3D之间转换的旭日图(上图右下),效果惊艳。

 

感想六,抬头仰望天空,又看见四个字“机器学习”。

近几年的计算机类学术会议,都少不了要谈论“机器学习”、“人工智能”,chinavis当然也不例外。本来数据可视化和机器学习就都是数据科学领域的孪生兄弟,在解决数据分析问题时同时采用也是应有之意。在挑战赛中,许多代表队都使用了一些机器学习的方法来处理原始数据。通常是构建特征向量,生成训练集,使用决策树、神经网络等机器学习方法进行处理。应用场景包括数据清洗、模式识别、关联分析、异常检测/分类、聚类等。可以说,现今搞可视分析竞赛,不掌握点机器学习的知识可不行。

各代表队在分析数据过程中所采用的一些方法

 

感想七,新颖性是拉开评分的突破点

挑战赛通信评审采取分项打分形式,每位评审专家要对所评作品从分析质量(解答题目预设
问题的准确性,占总分数的30%)、可视化设计(20%)、交互设计(20%)、新颖性(10%)、可扩展性(10%)和文档质量(10%) 6 个方面做出量化评价, 5分制评分, 1 分为最差, 5 分为最好。

从评分上来看,大部分的代表队文档质量、分析质量得分都较高,可视化设计得分尚可。这 反映了参赛者都能认真地理解题目需求和努力地分析数据,并较好地解答了题目预设问题。能拉开差距的主要是交互设计、新颖性和可扩展性。但如何提高这三点呢?我想主要有以下几种方案:

  • 一是用D3\webGL\Echarts开发一个具有创新性的可视化设计方案。可以是经典方案的衍生,例如集成式、叠加式、重载式、嵌入式的复合视图。这个较为容易实现。
  • 二是提出新颖的交互方法。一般而言交互方法需要结合可视化设计的进行优化,利用VR,AR技术和移动设备等进行创新效果可能更好,不过也更需要时间和金钱投入。这个实现难度中等。
  • 三是新算法,包括可视化效果优化、计算效率优化、数据处理优化等方面。这个实现难度较高,因为需要日常的大量积累,毕竟有这个功夫论文都写一篇了。

技术创意奖作品,中国科学院计算机网络信息中心团队。使用VR眼镜Hololens和ipad作为交互设备,改变了传统的形象展示方式和交互形式,为沉浸式可视化分析提出了一种可行方案。

感想八,参考往年优秀作品是参与挑战赛的第一步

chinavis官网上把历年的挑战赛的题目、数据、获奖作品都保留着(2018年的获奖作品截至发文前还未上传),可以直接下载。对自己英语有信心的同学也可以参考国际大会IEEE VAST Challenge的获奖作品,作品库见:http://www.cs.umd.edu/hcil/varepository/。 关于近三年挑战赛相关信息请参看文档“数据可视分析挑战赛三年回顾”。另外我们还可以从艺术可视化中寻找美学感悟,寻找提升可视化新颖性、美观性、交互性的创新方法。具体参考“异彩纷呈!艺术可视化成大会亮点”。

感想九,勤于交流,胆儿要肥

每年开学术会议,只要是我感兴趣的,我都是坐第一排。第一排一般只有几个大佬在座,其他座位都空着呢。坐了并没什么好羞涩的,相反能拍到更好的照片,还能跟大佬聊天,更有助于锻炼书生的薄脸皮。要做挑战赛肯定会遇到各种问题,到时候少不了要请教人。三人行必有我师,何况现场有那么多同行,不论对方是大佬还是学生,都值得请教,一般而言是跟大佬请教宏观思路,跟学生请教具体方法。当然也有年轻人懂得特多的。闻道有先后,术业有专攻,如是而已。


留下一个回复

你的email不会被公开。