人工智能的时代已悄然来临，无论你是自然语言处理高手还是文本挖掘领域的大拿，无论你是深居忘我的技术咖还是满怀激情的产品控，在“魔镜杯”都可以一展拳脚。
“魔镜杯”赛事已连续举办了两届，第三届也如期而至。在前两届风控算法大赛和数据应用大赛之后，本届赛事将是一场与未来的对话，挑战你的算法实力！拍拍贷此次提供智能客服聊天机器人真实数据，以自然语言处理和文本挖掘技术为主要探索对象。我们邀请优秀的你，利用这些资源开发一种算法，提高智能客服的识别能力和服务质量。
智能客服聊天机器人场景中，待客户提出问题后，往往需要先计算客户提出问题与知识库问题的相似度，进而定位最相似问题，再对问题给出答案。本次比赛的题目便是问题相似度算法设计。
赛制介绍
本次比赛分为三个阶段：初赛、复赛、决赛
初赛：北京时间 2018/06/10 00:00:00 - 2018/07/09 23:59:59, 30天
初赛阶段比赛开放报名，开放组队。参赛队伍经过实名认证之后可通过比赛平台下载数据，本地调试算法，在线提交结果。每队每天可以提交5次结果，以30%测试数据量的计算得分排名，并以每队最优成绩排名，排行榜实时显示最新结果。
复赛：北京时间2018/07/10 00:00:00 - 2018/07/16 23:59:59, 7天
初赛排行榜前30%团队进入复赛。复赛期间关闭报名，关闭组队。参赛队伍通过比赛平台下载数据，本地调试算法，在线提交结果。每队每天可以提交1次结果，以全部测试数据量的计算得分排名，并以每队最优成绩排名，排行榜实时显示最新结果。
决赛：北京时间2018/07/24, 1天
决赛将以现场答辩会的形式进行，邀请复赛排名前十的队伍进行现场答辩，晋级决赛团队需提前准备答辩材料，包括答辩PPT、参赛总结、算法核心代码。决赛评委会综合考虑客观成绩和现场答辩给出最终名次。
参赛对象：
大赛面向全社会开放，国内外高等院校、科研院所、互联网企业等均可报名参赛，组队上限5人。
注：1）大赛组织机构单位中涉及题目编写、数据接触的人员禁止参赛；2）主办方员工参赛，可参与排名，但不参与评奖及领取奖金。
比赛作品说明：
参赛作品的知识产权归参赛作者所有。组委会有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览及下载、展览（含巡展）等活动项目。
参赛作品必须保证原创性，不违反任何中华人民共和国的有关法律，不侵犯任何第三方知识产权或者其他权利；一经发现或经权利人提出并查证，组委会将取消其比赛成绩并进行严肃处理。
参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证。
参赛选手需要自行检查提交作品的正确性，确认无误后再进行提交，组委会不负责对比赛作品进行更改和调整。
组委会权责说明：
主办方享有优先购买参赛选手优秀作品的权利。
组委会保留对比赛规则进行调整修改的权利，并拥有对大赛规则的最终解释权。
组委会拥有比赛作弊行为的判定权利和处置权利。
组委会保留修改比赛作品的提交截止日期和路演日期的权利，组委会有权在特殊条件下暂停或终止比赛。
若出现不可控因素，组委会保留调整比赛各阶段入选团队数量的权利，以及调整奖项设置的权利。
对影响比赛组织及比赛公平性的参赛团队，组委会保留收回或拒绝授予其奖项的权利。
若因故出现数据更新、评审代码更新、作弊检查等原因组委会有权对参赛结果进行重新测评并更新排行榜。
组委会有权将参赛作品、作品相关、参赛团队信息用于宣传品、相关出版物、指定及授权媒体发布、官方网站浏览及下载、展览（含巡展）等活动项目。
参赛团队在比赛过程中若被要求提交个人身份信息，组委会承诺个人信息仅用于赛事数据授权与颁奖，对其中所有涉及个人隐私的内容予以保密。
反作弊机制：
参赛者禁止注册多账户报名比赛，经发现将取消比赛成绩并严肃处理。
参赛者禁止在指定考核技术能力的范围外利用规则漏洞或技术漏洞等不良途径提高成绩排名，经发现将取消比赛成绩并严肃处理。
参赛者禁止在比赛中抄袭他人作品，经发现将取消比赛成绩并严肃处理。
可以接触到赛题相关数据的人员的比赛作品将不计入最终排行榜参与评奖。
指导单位：
联合主办方：
合作院校：
加群交流：
比赛选手交流官方QQ群：716424192
数据集描述：
为保护用户隐私并保证比赛的公平公正，所有原始文本信息都被编码成单字ID序列和词语ID序列。单字包含单个汉字、英文字母、标点及空格等；词语包含切词后的中文词语、英文单词、标点及空格等。单字ID和词语ID存在于两个不同的命名空间，即词语中的单字词或者标点，和单字中的相同字符及相同标点不一定有同一个ID。其中，单字序列以L开头，词语序列以W开头。
char_embed.txt和word_embed.txt分别是单字级别的300维的embedding向量及词语级别的300维的embedding向量，均由google word2vec训练得到。 每个文件的第一列分别表示单字的ID和词语的ID，其余的300列记录对应的字向量和词向量。
question.csv中包含了训练集和测试集中所出现的所有问题，以及他们对应的单字序列和词语序列；整个文件包含3列，分别是问题的唯一编号（qid，以Q开头），对应的词语序列（chars）和单字序列（words）。
训练数据：
train.csv文件包含3列，分别是标签（label，表示问题1和问题2是否表示相同的意思，1表示相同，0表示不同），问题1的编号（q1）和问题2的编号（q2）。本文件中出现的所有问题编号均在question.csv中出现过。
比赛要求参赛选手预测测试数据中的每一对问题是否是同一个意思。
测试数据：
test.csv用来打分并决定最后的比赛排名。文件包含2列，问题1编号（q1）和问题2编号（q2）。本文件中出现的所有问题编号均在question.txt中出现过。
数据使用说明：
参赛选手不得在未经组委会授权情况下将比赛数据作为其他用途使用
参赛选手不可以使用外部公开数据
评分标准
参赛团队需要基于训练集数据构建预测模型，使用模型计算测试集的评分，本次比赛的评价标准为logloss，logloss分数越低越好。
示例代码（python）：
奖励机制
本次大赛总奖池高达10万美金（以人民币65万元计），其中：
冠军：1支队伍，奖金26万元，颁发获奖证书
亚军：2支队伍，每队奖金10万元，颁发获奖证书
季军：3支队伍，每队奖金5万元，颁发获奖证书
极客奖：4支队伍，每队奖金1万元，颁发获奖证书
每周福利奖：
初赛4周，每周1中午12点（节假日顺延），按规则抽奖（拍拍贷周边/校招实习直通卡等）；
第1周（6月19日）中奖规则：榜单第1名和第11名（拍拍贷11周年庆！）；
第2周（6月25日）中奖规则：榜单第1名和第X名，X=本周（0618-0624）美股最后一个交易日，拍拍贷（PPDF）收盘价后两位小数（如果是00，则给第100名）；
第3周（7月2日）中奖规则：榜单第1名和第X名，X=俄罗斯时间6月30日和7月1日世界杯三场八分之一决赛（C1D2，A1B2，B1A2）全场总进球数，包括90分钟（含补时），加时赛以及点球大战。
第4周（7月9日）中奖规则：榜单第1名和第X名，X=杨超越三个字笔画数之和（31）
官方QQ群内公布获奖名单和奖品。（群号：716424192，回复地址之后会在十个工作日后邮寄奖品）
评委介绍
宗成庆
中国科学院自动化研究所研究员、博士生导师
主要从事自然语言处理、机器翻译、人机对话系统和文本数据挖掘等相关领域的研究，主持国家自然科学基金项目、“863”计划项目和支撑计划项目等10余项，国家重点研发计划重点专项首席科学家，发表论文200余篇，出版学术专著和译著各一部。2013年当选国际计算语言学委员会（ICCL）委员，目前担任亚洲自然语言处理学会（AFNLP）候任主席、中国中文信息学会副理事长。他是学术期刊ACM TALLIP副主编、《自动化学报》副主编、IEEE Intelligent Systems、Machine Translation和JCST的编委。担任国际一流学术会议ACL-IJCNLP’2015程序委员会主席、IJCAI’2017、IJCAI-ECAI’2018和AAAI’2019领域主席、COLING’2010组委会主席及IJCNLP’2017大会主席等。2012年获国务院颁发的政府特殊津贴，2014年获中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖，2015年获国家科技进步奖二等奖，2017年被授予北京市优秀教师荣誉称号。
万小军
北京大学计算机科学技术研究所教授、博士生导师，语言计算与互联网挖掘研究室负责人
主要研究方向为自然语言处理与文本挖掘，研究兴趣包括自动文摘与文本生成、情感分析与语义计算等。担任计算语言学顶级国际期刊Computational Linguistics编委，TACL常务评审，多次担任NLP与AI领域一流国际会议领域主席或高级程序委员，包括ACL、NAACL、EMNLP、IJCAI、IJCNLP等。荣获北京市科技新星、教育部新世纪人才、吴文俊人工智能技术发明奖、ACL2017杰出论文、CCF NLPCC青年新锐奖等多项荣誉或奖励。
黄萱菁
复旦大学计算机学院教授、博士生导师
主要从事人工智能、自然语言处理和信息检索研究。兼任中国中文信息学会常务理事，社会媒体专委会副主任。她已经在SIGIR, IEEE TKDE, ACL, ICML, IJCAI, AAAI, SCIS, CIKM, ISWC, EMNLP, WSDM和COLING等多个高水平国际学术期刊和会议上发表了近百篇论文，负责的多个科研项目受到国家自然科学基金、科技部、教育部、上海市科委的支持。近年来担任2014年ACM 信息与知识管理会议竞赛主席，2015年ACM 互联网搜索与数据挖掘会议组织者，2015年社会媒体处理大会程序委员会副主席，2016年全国计算语言学会议程序委员会副主席，2017年国际自然语言处理与中文计算程序委员会主席等学术职务。
张敏
清华大学计算机科学与技术系副教授、博士生导师，智能技术与系统国家重点实验中心实验室副主任、网络与媒体技术教育部-微软重点实验室副主任。
主要研究领域为个性化推荐、信息检索、用户建模。发表100多篇学术论文，包括JIR、IJCAI、SIGIR、WWW、WSDM等重要的国际期刊和会议，引用指数H-index 27。已获授权专利12项。主持国家自然科学基金以及国际和国内企业合作项目多项。参加相关领域著名国际标准评测TREC，连续多年取得多项任务第一名。在NTCIR国际著名评测上组织INTENT（意图挖掘）任务。担任重要国际期刊TOIS编委，国际会议SIGIR 2018 短文程序共主席、WSDM 2017和AIRS 2017程序委员会共主席、WSDM 2019 研讨会主席等。获得2016年北京市科学技术一等奖。
陈文亮
苏州大学计算机科学与技术学院教授、博士生导师，苏州大学人类语言技术研究所副所长
主要研究领域包含语言分析、推荐系统、信息抽取、知识图谱。目前主要专注于建设基础语言分析平台和构建知识图谱。在研主持江苏省高校自然科学研究重大项目一项、国家自然科学基金一项，大型产业项目一项。近年来在国内外主要期刊杂志和学术会议上发表三十多篇学术论文，包括AI/NLP领域国际主要学术会议如ACL、AAAI、IJCAI、EMNLP、COLING等，国际顶级杂志如ACM/IEEE 杂志、Artificial Intelligence Journal等。曾在国际主要学术会议IJCNLP-2013和COLING-2014上作讲习报告（Tutorial）。曾担任IALP-2015、IJCNLP-2017、CCKS-2017程序委员会主席或领域主席，多次担任AI/NLP领域顶级会议如IJCAI、AAAI、ACL等程序委员会委员。
Q1： 测试数据（test.csv）是否全部记录计入成绩？
A：为了防止刷分，测试数据存在一部分无效记录，无效记录不计入成绩，剩下的有效记录在初赛中30%计入排行榜，复赛中100%计入排行榜。
Q2：拍拍贷内部员工是否可以参赛？
A：拍拍贷内部员工中“非题目编写、数据接触人员”可以参加比赛排名，但不进入决赛，不参与评奖及领取奖金。
Q3：魔镜杯竞赛平台账户体系和拍拍贷账户体系是否有关联？
A：两者相互独立。
Q4：我是非大陆用户，没有大陆手机号和身份证，怎么注册参赛？
A：抱歉，网站暂不支持邮箱注册和非大陆用户等，因为要实名认证。如需注册参赛，建议暂时借一个方便联系到您本人的国内手机号和身份证注册，并在网站内绑定您的真实邮箱。如果您能进决赛，后续会有工作人员跟您核对信息，修改为您真实身份。给您带来的不便还请谅解！
Q5：数据是否去除了停用词和标点符号？
A：数据在脱敏时并未去除停用词和标点符号。
Q6： 决赛答辩评委的评判标准是什么？
A：a. 初赛和复赛成绩排名依据客观成绩logloss；
b. 在复赛进决赛的期间，原则上复赛排名前十的队伍会自动晋级决赛，晋级团队需提前准备算法代码、运行方法和程序流程说明。赛题组会对选手代码进行审核，审核点包括但不限于是否违反比赛的“反作弊机制”，是否可以完整复现复赛客观成绩结果等。如果有选手放弃审核或是审核不通过，则决赛入围名额顺延；
c. 决赛将以现场答辩会的形式进行，晋级选手需提前准备答辩材料，答辩材料格式要求会提前发给晋级选手，答辩中的解决方案应与复赛审核中提交的程序流程完全一致。决赛会以赛题组聘请的NLP专家评委会评分为最终成绩，评委会考察的重点是“各位选手的解决方案是否可以在真实客服机器人场景下改善/提升问题相似度的准确度”，考察点包括但不限于模型客观评分、模型创新性、模型复杂度、模型有效性、模型鲁棒性以及运行效率等, 其中复赛的模型客观评分logloss占比70%，现场答辩占比30%。如果出现答辩中解决方案与复赛审核中提交的程序流程不一致的情况，则会扣分。
更多问题欢迎入群交流：
比赛选手交流官方QQ群：716424192
本次比赛的提交文件格式为csv或csv压缩后的zip文件，文件内容为一列，既每组问题pair是否相似的概率值（probability），问题pair顺序与test数据集顺序一致，样例如下：
| 比赛阶段 | 文件名称 | 提交时间 | 评审状态/得分 |
|---|