twitter发表的nlp论文

twitter发表的nlp论文

27岁华裔小伙一战成名！搞出美国新冠最准预测模型，一人干翻专业机构

年仅27岁的他，被彭博评价为“新冠病毒数据超级明星”。

为什么？

凭一己之力，仅用一周时间打造的新冠预测模型，准确度方面碾压那些数十亿美元、数十年经验加持的专业机构。

他就是Youyang Gu，拥有 MIT 电气工程和计算机科学硕士学位，以及数学学位。

但值得注意的是，他在医学和流行病学等方面却是一个小白。

他的模型，甚至被著名数据科学家、fast.ai创始人Jeremy Howard高度评价道：

唯一看起来合理的模型。

他是唯一一个真正查看数据，并且做得正确的人。

不仅如此，他的模型还被美国疾控中心采用。

到底是个怎样的预测模型？

时间点要追溯到去年年初。

当时疫情已然在全球蔓延开来，于是公众试图用建模的方式，来预测接下来疫情会带来的影响。

大多数的目光都将希望投向了2家专业机构打造的预测系统——伦敦帝国理工学院、总部位于西雅图的健康指标与评估研究所（IHME）。

但2家机构给出的预测结果却是天差地别：

伦敦帝国理工学院：到夏天，美国因新冠病毒而死亡的人数将达到200万。

IHME：预计到8月，死亡人数将达到6万。

（后来的事实证明，死亡人数是16万。）

2家专业机构给出的预测数据，差距为何能够如此之大？

这就让当时年仅26岁的Youyang Gu引起了注意。

虽然他没有任何医学或流行病方面的经验，但他坚信，数据预测在此时会派上大用场。

于是，大约在4月中旬，Youyang Gu便在家里仅花了一周时间，打造出了自己的预测器，以及一个可以显示相关信息的网站。

但Gu在这个过程中所用到的方法，并不是说有多么的高级，相反，恰恰是比较简单的那种。

他首先考虑的是新冠病毒检测数、住院人数和其他因素之间的关系，但在这个过程中，Gu却发现各个州和联邦政府所提供的数据是存在不一致的现象。

此时，问题就来了——什么样的数据才是靠谱的？

Gu认为，最靠谱的数据，似乎就是每天的死亡人数：

其他的模型用到了很多数据源，但我决定用过去的死亡人数，来预测未来的死亡人数。

至于这样做的原因，Gu给出的解释是“将它作为唯一的输入，有助于在噪音中过滤信号”。

那么，预测结果如何？

可以说是相当的精准了。

在模型刚刚完成时，他预测在5月9日，美国将有8万人死亡，当天的实际死亡人数为79926。

而同样来自IHME的预测数据却是“2020年一整年的死亡人数将不超过8万”。

Gu还预测在5月18日，死亡人数将达到9万；5月27日，死亡人数将达到10万。

事实证明，他的这两次预测再次“押中”！

除了精准数字的预测外，Gu基于许多州从封锁状态逐步转变开放状态，预测将出现第二波大规模感染和死亡。

而在Gu发出这样的预测当天，特朗普所发表的言论却是“IHME所预测的6万死亡人数表明，疫情很快将结束”……

或许正是因为Gu的模型预测之精准，越来越多人开始关注他的作品。

在Twitter上，Gu不仅@了各路记者，还给流行病学专家发邮件，让他们核实自己的数据。

去年4月底，华盛顿大学著名生物学家Carl Bergstrom便在Twitter上发布了Gu的模型。

不久之后，美国疾病控制和预防中心，也在其新冠预测网站上发布了Gu的数据。

不仅如此，随着疫情的发展，身为中国移民的Gu，还参与了由美国专家团队组织的定期会议，每个人都想更好的改善他的模型。

他的网站访问量也呈现出爆炸式增长，每天都有数百万人来看他的数据。

通常情况下，Gu的模型所预测的数据，基本在几周后便会达到，与实际的死亡人数非常接近。

随着类似的预测模型逐渐增多，阿默斯特马萨诸塞大学生物统计学和流行病学系的副教授Nicholas Reich，便统计了50个这样的模型：

Gu的模型一直位居前列。

但到了去年11月，Gu却做出了令人意外的一个决定——结束他的预测任务。

对此，Reich这样评价道：

Youyang Gu是一个非常谦卑的人，他看到其他人的模型也做得很好，便觉得自己的工作已经完成了。

而在Gu决定停止项目的前一个月，他预测11月1日死亡人数将达到231000人，而实际人数为230995人。

但IHME的Chris Murray认为：

Gu使用的机器学习方法，在短期预测方面的效果比较良好，但不太理解“大局中发生了什么”。

对此，Gu没有针对模型的评价做出回应，相反，他这样表态：

我非常感谢 Chris Murray 医生和他的团队所做的工作；没有他们，我就不会有今天的成就。

在休息了一段时间之后，Gu重新投入到了这份事业当中。

这一次，他要做的预测是“美国有多少人感染了新冠病毒”、“疫苗推出的速度有多快”、“美国可能何时（如果可能的话）达到群体免疫”等。

他的预测表明，到今年6月，大约61%的美国人口应该获得某种形式的免疫力——无论是疫苗还是因过去的感染。

Gu一直希望能够找到一份能对社会产生巨大影响的工作，同时避免政治、偏见以及大型机构有时会带来的负担。他认为：

在这个领域，有很多缺点可以通过我这种背景的人来改善。

谁是Youyang Gu？

Youyang Gu出身于美国华裔移民家庭，在伊利诺伊州和加州长大。

Gu从小喜欢数学和科学，直到高中毕业时，才真正接触计算机科学。而他能够进入这个行业得益于他的父亲，因为他的父亲是一名计算机从业者。

Gu本科和硕士都在MIT就读，在那里他获得了计算机科学与数学双学士学位，以及计算机科学的硕士学位。

毕业后他继续在MIT著名的CSAIL实验室的NLP组进行了一年的研究，同年在EMNLP 2016上发表了论文。

这也是他第一次接触大数据，并由此建立统计模型对数据进行预测。

不过他没有因此继续学术研究，而是进入产业界。从MIT离开后，他加入了金融行业，为高频交易系统编写算法。

在那里，他的数据建模能力得到了进一步磨练，因为在金融交易中，数据必须非常定量并尽可能地准确。

之后，他又进入了体育界，继续进行大数据方面的研究。这也为他提供了丰富的跨学科经验，使他能够成功应对新地领域，懂得如何更加准确地建模。

用他自己的话来说，他的专长是使用机器学习来理解数据，将信号与噪声分离并做出准确的预测。

在建立新冠死亡模型时，他起初考虑了确诊数量、住院数量和其他因素之间的关系。然后他发现各州和联邦政府报告的数据不一致，最可靠的数字是每天的死亡人数。

Gu认为，如果输入数据质量很低，那么数据越多，输出的性能就越差。

在一周的时间里，他就根据死亡数据便建立了一个简单模型，并将预测网站上线。

从去年4月以来，Gu已经自愿在这个项目中投入了几千个小时，而且是无偿的。

在接受医学网站Medscape主编Eric Topol采访时，Gu表示自己现在全职投入到新冠预测网站上，没有兼职、没有收入，他靠着过去的积蓄生活。

然而就是这样一个公益的项目却遭到了一些Twitter网友非议，但是他还是坚持了下来。

从12月开始，covid19-projections.com接受网友的捐赠帮助，现在已经完成了5万美元的筹款目标。

除了感染人数外，Gu的新冠网站又有了一个新的功能。从去年12月起，covid19-projections.com开始跟踪和模拟疫苗接种情况以及群体免疫的途径。

这个月，Gu又将“群体免疫”改成了“恢复常态”，因为他的模型预测表明，美国不太可能在2021年达到理论上的群体免疫。

未来的路怎么走？疫情结束后，Gu的职业规划如何？

他说现在还为时过早，虽然他现在的工作是预测疫情发展，但是他很难预测自己3个月或1年后要做什么。

因为这项工作，世界各地的高校和企业已经向他抛出了橄榄枝。

从别人发布的文章来看，大概介绍了美国一位华裔小伙用了没多久的时间建立了一个新冠死亡人数预测模型，他的厉害之处就是在于能准确击败了巨资建模这么个事。

推荐下NLP领域内最重要的8篇论文吧（依据学术范标准评价体系得出的8篇名单）： 一、Deep contextualized word representations 摘要：We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy). Our word vectors are learned functions of the internal states of a deep bidirectional language model (biLM), which is pre-trained on a large text corpus. We show that these representations can be easily added to existing models and significantly improve the state of the art across six challenging NLP problems, including question answering, textual entailment and sentiment analysis. We also present an analysis showing that exposing the deep internals of the pre-trained network is crucial, allowing downstream models to mix different types of semi-supervision signals. 全文链接： Deep contextualized word representations——学术范 二、Glove: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： Glove: Global Vectors for Word Representation——学术范 三、SQuAD: 100,000+ Questions for Machine Comprehension of Text 摘要：We present the Stanford Question Answering Dataset (SQuAD), a new reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is a segment of text from the corresponding reading passage. We analyze the dataset to understand the types of reasoning required to answer the questions, leaning heavily on dependency and constituency trees. We build a strong logistic regression model, which achieves an F1 score of 51.0%, a significant improvement over a simple baseline (20%). However, human performance (86.8%) is much higher, indicating that the dataset presents a good challenge problem for future research. The dataset is freely available at this https URL 全文链接： SQuAD: 100,000+ Questions for Machine Comprehension of Text——学术范 四、GloVe: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： GloVe: Global Vectors for Word Representation——学术范 五、Sequence to Sequence Learning with Neural Networks 摘要：Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our method uses a multilayered Long Short-Term Memory (LSTM) to map the input sequence to a vector of a fixed dimensionality, and then another deep LSTM to decode the target sequence from the vector. Our main result is that on an English to French translation task from the WMT-14 dataset, the translations produced by the LSTM achieve a BLEU score of 34.8 on the entire test set, where the LSTM's BLEU score was penalized on out-of-vocabulary words. Additionally, the LSTM did not have difficulty on long sentences. For comparison, a phrase-based SMT system achieves a BLEU score of 33.3 on the same dataset. When we used the LSTM to rerank the 1000 hypotheses produced by the aforementioned SMT system, its BLEU score increases to 36.5, which is close to the previous state of the art. The LSTM also learned sensible phrase and sentence representations that are sensitive to word order and are relatively invariant to the active and the passive voice. Finally, we found that reversing the order of the words in all source sentences (but not target sentences) improved the LSTM's performance markedly, because doing so introduced many short term dependencies between the source and the target sentence which made the optimization problem easier.  全文链接： Sequence to Sequence Learning with Neural Networks——学术范 六、The Stanford CoreNLP Natural Language Processing Toolkit 摘要：We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage. 全文链接： The Stanford CoreNLP Natural Language Processing Toolkit——学术范 七、Distributed Representations of Words and Phrases and their Compositionality 摘要：The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible. 全文链接： Distributed Representations of Words and Phrases and their Compositionality——学术范 八、Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 摘要：Semantic word spaces have been very useful but cannot express the meaning of longer phrases in a principled way. Further progress towards understanding compositionality in tasks such as sentiment detection requires richer supervised training and evaluation resources and more powerful models of composition. To remedy this, we introduce a Sentiment Treebank. It includes fine grained sentiment labels for 215,154 phrases in the parse trees of 11,855 sentences and presents new challenges for sentiment compositionality. To address them, we introduce the Recursive Neural Tensor Network. When trained on the new treebank, this model outperforms all previous methods on several metrics. It pushes the state of the art in single sentence positive/negative classification from 80% up to 85.4%. The accuracy of predicting fine-grained sentiment labels for all phrases reaches 80.7%, an improvement of 9.7% over bag of features baselines. Lastly, it is the only model that can accurately capture the effects of negation and its scope at various tree levels for both positive and negative phrases.  全文链接： Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank——学术范 希望可以对大家有帮助， 学术范 是一个新上线的一站式学术讨论社区，在这里，有海量的计算机外文文献资源与研究领域最新信息、好用的文献阅读及管理工具，更有无数志同道合的同学以及学术科研工作者与你一起，展开热烈且高质量的学术讨论！快来加入我们吧！

美国疾病控制和预防中心在其新冠预测网站上发布了他的数据。不仅如此，随着疫情的发展，身为中国移民的他，还参与了由美国专家团队组织的定期会议，每个人都想更好的改善他的模型 他的网站访问量也呈现出爆炸式增长，每天都有数百万人的数据。

论文发表在Twitter上

今天的干货就是为大家介绍几个实用的抄袭率检测网站，同学们可以边写论文，边检测自己的抄袭率哦。TurnitinTurnitin是使用率最高的查重系统，大多数英国院校都使用这个系统，学生登陆学校网站之后可以将自己的论文上传到系统里，进行检测。对于可不可以重复检测，不同的学校规定不同。学校老师使用的Turnitin的权限是论文检测后，会被系统收录，第二次再检测同一篇文章就会被算作抄袭。不同学校、不同专业学科之间，重复率也不能一概而论，请咨询学校、老师或者学长学姐。一般来说低于10%比较稳妥，但是有的学校对重复率有要求，过低也不符合要求，简直了。Turnitin根据颜色表明重复率，蓝色表明similarity为0，绿色表明0-24%，黄色表明25%-49%，橙色表明50%-74%，红色表明75%-100%，Plagiarisma这个网站既可以直接搜索文字(支持190多个语言)，可以针对某个网页查询，也可以上传文件查询。不过对于文字来说，通过 Google 查询的选项只提供给注册用户。Plagspotter这个主页的画风在众多类似诈网站的论文查重网站中，算的上一股子清流了。不仅可以查询一个网页，还可以使用他们的 Batch Search feature 查询整个网站。即使是免费用户，也不用担心查询结果被限制哟~~服务还包括每日自动监控你的内容并给出百分比数据等。主页下面还有详细的介绍搜索查询的原理。Grammarly一流的在线免费校对+剽窃检查工具。而且它有还一个浏览器扩展程序，不管你是在Twitter Facebook或是其它地方都能帮你检查语法和拼写错误。只需要你注册一个Grammarly account ，你就可以随时随地登陆账号上传你的文章或是修改已经储存在上面的文章。特别是 VocabularyEnhancement（提高词汇量）和 Plagiarism checker （剽窃检查）这两个功能很强大，而且基本都免费。PolishMyWriting只要把写好的文章或是段落粘贴在上面的文本框，系统就会自动识别里面的语法错误和拼写错误。所有的拼写错误都会用红色标记出来，语法错误会用绿色帮你标记出来，最最重要的是PolishMyWriting还会贴心地用蓝色字体给出写作建议，简直不能更好用！检测抄袭率的网站虽然有很多，但是结果通常都会有所偏差，不能作为依赖工具，只能作为借鉴。同时，这些网站上的检测结果也不涵盖学生提交过的作业，也就是说如果你的论文和你其他同学交的论文很相似是不会被检测到的哦，但是老师可以在turnitin里看到。所以，如果学校的turnitin能够查看抄袭率的话还是建议使用turnitin。

两个英文论文网站，需要把你的关键字翻译成英文输入才能查找，找到的也都是英文的，你可以借助壹品优刊看看，能不能找到你合适的就看你自己了

首先，将论文发表在《科学网》个人学术之页，然后再把该页的网址进行粘贴，只需要在哥德巴赫猜想网页上留下网址即可。

facebook发表的nlp论文

量子位 出品 | 公众号 QbitAI

2018，仍是AI领域激动人心的一年。

这一年成为NLP研究的分水岭，各种突破接连不断；CV领域同样精彩纷呈，与四年前相比GAN生成的假脸逼真到让人不敢相信；新工具、新框架的出现，也让这个领域的明天特别让人期待……近日，Analytics Vidhya发布了一份2018人工智能技术总结与2019趋势预测报告，原文作者PRANAV DAR。量子位在保留这个报告架构的基础上，对内容进行了重新编辑和补充。这份报告总结和梳理了全年主要AI技术领域的重大进展，同时也给出了相关的资源地址，以便大家更好的使用、查询。报告共涉及了五个主要部分：

下面，我们就逐一来盘点和展望，嘿喂狗~

2018年在NLP 历史 上的特殊地位，已经毋庸置疑。

这份报告认为，这一年正是NLP的分水岭。2018年里，NLP领域的突破接连不断：ULMFiT、ELMo、最近大热的BERT……

迁移学习成了NLP进展的重要推动力。从一个预训练模型开始，不断去适应新的数据，带来了无尽的潜力，甚至有“NLP领域的ImageNet时代已经到来”一说。

正是这篇论文，打响了今年NLP迁移学习狂欢的第一枪。论文两名作者一是Fast.ai创始人Jeremy Howard，在迁移学习上经验丰富；一是自然语言处理方向的博士生Sebastian Ruder，他的NLP博客几乎所有同行都在读。两个人的专长综合起来，就有了ULMFiT。想要搞定一项NLP任务，不再需要从0开始训练模型，拿来ULMFiT，用少量数据微调一下，它就可以在新任务上实现更好的性能。

他们的方法，在六项文本分类任务上超越了之前最先进的模型。详细的说明可以读他们的论文：网站上放出了训练脚本、模型等：

这个名字，当然不是指《芝麻街》里那个角色，而是“语言模型的词嵌入”，出自艾伦人工智能研究院和华盛顿大学的论文Deep contextualized word representations，NLP顶会NAACL HLT 2018的优秀论文之一。

ELMo用语言模型（language model）来获取词嵌入，同时也把词语所处句、段的语境考虑进来。

这种语境化的词语表示，能够体现一个词在语法语义用法上的复杂特征，也能体现它在不同语境下如何变化。

当然，ELMo也在试验中展示出了强大功效。把ELMo用到已有的NLP模型上，能够带来各种任务上的性能提升。比如在机器问答数据集SQuAD上，用ELMo能让此前最厉害的模型成绩在提高4.7个百分点。

这里有ELMo的更多介绍和资源：

它由Google推出，全称是 B idirectional E ncoder R epresentations from T ransformers，意思是来自Transformer的双向编码器表示，也是一种预训练语言表示的方法。从性能上来看，没有哪个模型能与BERT一战。它在11项NLP任务上都取得了最顶尖成绩，到现在，SQuAD 2.0前10名只有一个不是BERT变体：

如果你还没有读过BERT的论文，真的应该在2018年结束前补完这一课：另外，Google官方开源了训练代码和预训练模型：如果你是PyTorch党，也不怕。这里还有官方推荐的PyTorch重实现和转换脚本：

BERT之后，NLP圈在2018年还能收获什么惊喜？答案是，一款新工具。

就在上周末，Facebook开源了自家工程师们一直在用的NLP建模框架PyText。这个框架，每天要为Facebook旗下各种应用处理超过10亿次NLP任务，是一个工业级的工具包。

（Facebook开源新NLP框架：简化部署流程，大规模应用也OK）

PyText基于PyTorch，能够加速从研究到应用的进度，从模型的研究到完整实施只需要几天时间。框架里还包含了一些预训练模型，可以直接拿来处理文本分类、序列标注等任务。

想试试？开源地址在此：

它能主动打电话给美发店、餐馆预约服务，全程流畅交流，简直以假乱真。Google董事长John Hennessy后来称之为“非凡的突破”，还说：“在预约领域，这个AI已经通过了图灵测试。”Duplex在多轮对话中表现出的理解能力、合成语音的自然程度，都是NLP目前水平的体现。如果你还没看过它的视频……

NLP在2019年会怎么样？我们借用一下ULMFiT作者Sebastian Ruder的展望：

今年9月，当搭载BigGAN的双盲评审中的ICLR 2019论文现身，行家们就沸腾了： 简直看不出这是GAN自己生成的 。

在计算机图像研究史上，BigGAN的效果比前人进步了一大截。比如在ImageNet上进行128×128分辨率的训练后，它的Inception Score（IS）得分166.3，是之前最佳得分52.52分 3倍 。

除了搞定128×128小图之外，BigGAN还能直接在256×256、512×512的ImageNet数据上训练，生成更让人信服的样本。

在论文中研究人员揭秘，BigGAN的惊人效果背后，真的付出了金钱的代价，最多要用512个TPU训练，费用可达11万美元，合人民币76万元。

不止是模型参数多，训练规模也是有GAN以来最大的。它的参数是前人的2-4倍，批次大小是前人的8倍。

研究论文：

前前后后，Fast.ai团队只用了16个AWS云实例，每个实例搭载8块英伟达V100 GPU，结果比Google用TPU Pod在斯坦福DAWNBench测试上达到的速度还要快40%。这样拔群的成绩，成本价只需要 40美元 ，Fast.ai在博客中将其称作人人可实现。

相关地址： Fast.ai博客介绍：

今年8月，英伟达和MIT的研究团队高出一个 超逼真 高清视频生成AI。

只要一幅动态的语义地图，就可获得和真实世界几乎一模一样的视频。换句话说，只要把你心中的场景勾勒出来，无需实拍，电影级的视频就可以自动P出来：

除了街景，人脸也可生成：

这背后的vid2vid技术，是一种在生成对抗性学习框架下的新方法：精心设计的生成器和鉴别器架构，再加上时空对抗目标。

这种方法可以在分割蒙版、素描草图、人体姿势等多种输入格式上，实现高分辨率、逼真、时间相干的视频效果。

好消息，vid2vid现已被英伟达开源。

研究论文：

GitHub地址

相关地址

相关地址

扇形面积 S = (1/2)αR^2, 当 α 减少 30', dα = -0.5° = -π/360, dS = (1/2)R^2dα = -(1/2)100^2 · π/360 = -43.63 平方厘米扇形面积减少约 43.63 平方厘米；当 R 增加 1 厘米, dR = 1 dS = αRdR = 100 · 1 · 60π/180 = 104.72 平方厘米扇形面积增加约 104.72 平方厘米。

第一问：角度减少30分，即减小整圆面积的1/720*π*100*100约等于13.9平方厘米第二问：R增加1cm，即增加的面积等于现整圆面积-原整圆面积再*1/6=（π*101*101-π100*100）/6约等于105.2平方厘米

faceboo发表的nlp论文

大家都知道，AI (神经网络) 连加减法这样的简单算术都做不好：可现在，AI已经懂得微积分，把魔爪伸向你最爱的高数了。 它不光会求不定积分：还能解常微分方程：一阶二阶都可以。这是Facebook发表的新模型，1秒给出的答案，超越了Mathematica和Matlab这两只付费数学软件30秒的成绩。 团队说，这是Seq2Seq和Transformer搭配食用的结果。 用自然语言处理 (NLP) 的方法来理解数学，果然行得通。 这项成果，已经在推特上获得了1700赞。许多小伙伴表示惊奇，比如： “感谢你们！在我原本的想象中，这完全是不可能的！”而且，据说算法很快就要开源了：到时候让付费软件怎么办？巨大数据集的生成姿势要训练模型做微积分题目，最重要的前提就是要有大大大的数据集。 这里有，积分数据集和常微分方程数据集的制造方法：函数，和它的积分首先，就是要做出“一个函数&它的微分”这样的数据对。团队用了三种方法： 第一种是正向生成 (Fwd) ，指生成随机函数 (最多n个运算符) ，再用现成的工具求积分。把工具求不出的函数扔掉。 第二种是反向生成 (Bwd) ，指生成随机函数，再对函数求导。填补了第一种方法收集不到的一些函数，因为就算工具求不出积分，也一定可以求导。 第三种是用了分部积分的反向生成 (Ibp) 。前面的反向生成有个问题，就是不太可能覆盖到f(x)=x3sin(x)的积分： F(x)=-x3cos(x)+3x2sin(x)+6xcos(x)-6sin(x) 因为这个函数太长了，随机生成很难做到。 另外，反向生成的产物，大多会是函数的积分比函数要短，正向生成则相反。 为了解决这个问题，团队用了分部积分：生成两个随机函数F和G，分别算出导数f和g。 如果fG已经出现在前两种方法得到的训练集里，它的积分就是已知，可以用来求出Fg： ∫Fg=FG-∫fG 反过来也可以，如果Fg已经在训练集里，就用它的积分求出fG。 每求出一个新函数的积分，就把它加入训练集。 如果fG和Fg都不在训练集里，就重新生成一对F和G。 如此一来，不借助外部的积分工具，也能轻松得到x10sin(x)这样的函数了。一阶常微分方程，和它的解从一个二元函数F(x,y)说起。 有个方程F(x,y)=c，可对y求解得到y=f(x,c)。就是说有一个二元函数f，对任意x和c都满足：再对x求导，就得到一个微分方程：fc表示从x到f(x,c)的映射，也就是这个微分方程的解。 这样，对于任何的常数c，fc都是一阶微分方程的解。 把fc替换回y，就有了整洁的微分方程：这样一来，想做出“一阶常微分方程&解”的成对数据集，只要生成一个f(x,c)，对c有解的那种，再找出它满足的微分方程F就可以了，比如：二阶常微分方程，和它的解二阶的原理，是从一阶那里扩展来的，只要把f(x,c)变成f(x,c1,c2) ，对c2有解。 微分方程F要满足：把它对x求导，会得到：fc1,c2表示，从x到f(x,c1,c2)的映射。 如果这个方程对c1有解，就可以推出另外一个三元函数G，它对任意x都满足：再对x求导，就会得到：最后，整理出清爽的微分方程：它的解就是fc1,c2。 至于生成过程，举个例子：现在，求积分和求解微分方程两个训练集都有了。那么问题也来了，AI要怎么理解这些复杂的式子，然后学会求解方法呢？将数学视作自然语言积分方程和微分方程，都可以视作将一个表达式转换为另一个表达式，研究人员认为，这是机器翻译的一个特殊实例，可以用NLP的方法来解决。 第一步，是将数学表达式以树的形式表示。 运算符和函数为内部节点，数字、常数和变量等为叶子节点。 比如 3x^2 + cos(2x) - 1 就可以表示为：再举一个复杂一点的例子，这样一个偏微分表达式：用树的形式表示，就是：采用树的形式，就能消除运算顺序的歧义，照顾优先级和关联性，并且省去了括号。在没有空格、标点符号、多余的括号这样的无意义符号的情况下，不同的表达式会生成不同的树。表达式和树之间是一一对应的。 第二步，引入seq2seq模型。 seq2seq模型具有两种重要特性： 输入和输出序列都可以具有任意长度，并且长度可以不同。 输入序列和输出序列中的字词不需要一一对应。 因此，seq2seq模型非常适合求解微积分的问题。 使用seq2seq模型生成树，首先，要将树映射到序列。 使用前缀表示法，将每个父节点写在其子节点之前，从左至右列出。 比如 2 + 3 * (5 + 2)，表示为树是：表示为序列就是 [+ 2 * 3 + 5 2]。 树和前缀序列之间也是一一映射的。 第三步，生成随机表达式。 要创建训练数据，就需要生成随机数学表达式。前文已经介绍了数据集的生成策略，这里着重讲一下生成随机表达式的算法。 使用n个内部节点对表达式进行统一采样并非易事。比如递归这样的方法，就会倾向于生成深树而非宽树，偏左树而非偏右树，实际上是无法以相同的概率生成不同种类的树的。 所以，以随机二叉树为例，具体的方法是：从一个空的根节点开始，在每一步中确定下一个内部节点在空节点中的位置。重复进行直到所有内部节点都被分配为止。不过，在通常情况下，数学表达式树不一定是二叉树，内部节点可能只有1个子节点。如此，就要考虑根节点和下一内部节点参数数量的二维概率分布，记作 L(e,n)。接下来，就是对随机树进行采样，从可能的运算符和整数、变量、常量列表中随机选择内部节点及叶子节点来对树进行“装饰”。 最后，计算表达式的数量。 经由前面的步骤，可以看出，表达式实际上是由一组有限的变量、常量、整数和一系列运算符组成的。 于是，问题可以概括成： 最多包含n个内部节点的树 一组p1个一元运算符（如cos，sin，exp，log） 一组p2个二进制运算符（如+，-，×，pow） 一组L个叶子值，其中包含变量（如x，y，z），常量（如e，π），整数（如 {-10，…，10}） 如果p1 = 0，则表达式用二叉树表示。 这样，具有n个内部节点的二叉树恰好具有n + 1个叶子节点。每个节点和叶子可以分别取p1和L个不同的值。 具有n个二进制运算符的表达式数量就可以表示为：如果p1 > 0，表达式数量则为：可以观察到，叶子节点和二元运算符的数量会明显影响问题空间的大小。△不同数目运算符和叶子节点的表达式数量胜过商业软件实验中，研究人员训练seq2seq模型预测给定问题的解决方案。采用的模型，是8个注意力头（attention head），6层，512维的Transformer模型。 研究人员在一个拥有5000个方程的数据集中，对模型求解微积分方程的准确率进行了评估。 结果表明，对于微分方程，波束搜索解码能大大提高模型的准确率。而与最先进的商业科学计算软件相比，新模型不仅更快，准确率也更高。在包含500个方程的测试集上，商业软件中表现最好的是Mathematica。 比如，在一阶微分方程中，与使用贪婪搜索解码算法（集束大小为1）的新模型相比，Mathematica不落下风，但新方法通常1秒以内就能解完方程，Mathematica的解题时间要长的多（限制时间30s，若超过30s则视作没有得到解）。而当新方法进行大小为50的波束搜索时，模型准确率就从81.2%提升到了97%，远胜于Mathematica（77.2%） 并且，在某一些Mathematica和Matlab无力解决的问题上，新模型都给出了有效解。△商业科学计算软件没有找到解的方程邀请AI参加IMO这个会解微积分的AI一登场，就吸引了众多网友的目光，引发热烈讨论。网友们纷纷称赞：鹅妹子嘤。 有网友这样说道： 这篇论文超级有趣的地方在于，它有可能解决复杂度比积分要高得高得高得多的问题。还有网友认为，这项研究太酷了，该模型能够归纳和整合一些sympy无法实现的功能。不过，也有网友认为，在与Mathematica的对比上，研究人员的实验设定显得不够严谨。 默认设置下，Mathematica是在复数域中进行计算的，这会增加其操作的难度。但作者把包含复数系数的表达式视作“无效”。所以他们在使用Mathematica的时候将设置调整为实数域了？我很好奇Mathematica是否可以解决该系统无法解决的问题。 30s的限制时间对于计算机代数系统有点武断了。但总之，面对越来越机智的AI，已经有人发起了挑战赛，邀请AI挑战IMO金牌。Facebook AI研究院出品 这篇论文有两位共同一作。 Guillaume Lample，来自法国布雷斯特，是Facebook AI研究院、皮埃尔和玛丽·居里大学在读博士。他曾于巴黎综合理工学院和CMU分别获得数学与计算机科学和人工智能硕士学位。 2014年进入Facebook实习。 Franois Charton，Facebook AI研究院的客座企业家（Visiting entrepreneur），主要研究方向是数学和因果关系。传送门 ————编辑 ∑Gemini来源：新浪科技

2 月 17 日，Rob Yeung 博士发表。17 条评论

Facebook 推特 领英

什么是自然语言处理？ 神经语言程序设计 (NLP) 是一种教练方法，由 Richard Bandler、John Grinder 和 Frank Pucelik 在 1970 年代设计。然而，许多循证科学家和心理学家对 NLP 持强烈批评态度，有些人甚至将其添加到所谓的“不可信疗法”列表中。

NLP 创建后，其思想主要以易于阅读的书籍和培训计划的形式传播，旨在帮助人们实现变革和成功。甚至自助作家 Tony Robbins 最初也开始教人们 NLP 技术，直到 1980 年代后期的一场诉讼（由 NLP 共同创造者理查德·班德勒（Richard Bandler）提起）。在庭外和解中，罗宾斯同意为罗宾斯在 NLP 认证的每个人向 NLP 协会支付 200 美元。和解后不久，罗宾斯停止了 NLP 技术的培训，而是创建了自己的方法，他称之为神经联想条件反射 (NAC)。

为什么 NLP 如此有争议？ 在心理治疗中，有许多所谓的大师创造了自己的治疗技术。其中一些所谓的专家以一种愤世嫉俗的观点创造了自己的方法——出售疗法以赚钱。这些自称为专家的其他人可能认为他们真的做得很好——即使没有任何科学证据支持他们的说法。

2006 年，一组研究人员进行了一项调查，要求 101 名心理 健康 专业人士对数十种所谓的心理疗法的可信度进行评分。研究人员由约翰诺克罗斯领导，他从罗德岛大学获得临床心理学博士学位。在进行调查时，他是费城斯克兰顿大学的心理学教授。

诺克罗斯和他的团队要求专家（主要由美国心理学会的研究员以及心理 健康 学术期刊的现任和前任编辑）以 1 的等级对各种假设的疗法进行评分（因为“完全没有信誉”） ) 到 5（对于“肯定名誉扫地”）。例如，有一种叫做天使疗法的东西，从业者用它来治疗精神和行为障碍。天使疗法的评分为 4.98 - 非常不可信。用于治疗精神或行为障碍的前世疗法评分为 4.92。

NLP 的评分为 3.87。事实上，它被评为比其他疗法更不可信，例如治疗阴茎嫉妒的心理疗法（其得分略低，为 3.52）。甚至用于治疗精神和行为障碍的针灸也获得了 3.49 的更有利（即不那么不可信）的评分。

悉尼大学研究员 Anthony Grant 指出，许多研究人员“认为 NLP 不是基于证据的（即几乎没有同行评审的证据表明 NLP 确实有效。然后另一方可能会回应说，从业者知道它有效，因为他们已经亲眼目睹了 NLP 客户的重大变化。”

据推测，即使是使用天使疗法和前世疗法的从业者也相信他们通过他们的方法亲眼目睹了重大变化。然而，有些人可能会争辩说，没有 证据的 单纯 信念 实际上可能更好地被视为妄想。

NLP 从业者接受了多少培训？ 许多商业上可用的程序表示，它们可以在大约 12 到 15 天内证明人们成为 NLP 的大师级从业者。但是，考虑到英国和美国的大多数咨询或临床心理学家需要三到五年的时间才能获得资格和认证。

NLP 的现代心理学观点是什么？ 研究人员和合格的心理学家大多谴责 NLP。在 2019 年发表在 International Coaching Psychology Review 上的 一篇论文中，一组专家写道：“有许多 NLP 的批评者，他们将 NLP 视为一种伪科学、流行心理学甚至是邪教，没有任何证据证明其有效性。”

根据他们自己对 NLP 主题的 90 篇文章的调查，他们得出结论：“总而言之，没有实证研究为仅基于 NLP 工具和技术的辅导有效性提供证据。”

这很重要。他们没有发现只有少数科学研究支持 NLP。他们发现 没有 纸- 零 ， 小人物 ， 而不是一个 。

举一个例子，考虑由赫特福德大学心理学教授理查德·怀斯曼领导的一系列调查。NLP 认为，人们的眼球运动可以表明他们的精神状态，甚至在他们撒谎的时候。然而，怀斯曼及其同事收集的数据使他们得出结论：“三项研究的结果未能支持 NLP 的主张。”

在最近的另一篇学术论文中，亨利商学院的研究人员乔纳森·帕斯莫尔 (Jonathan Passmore) 和塔蒂亚娜·罗森 (Tatiana Rowson) 回顾了 NLP 的科学并得出结论：“我们毫不犹豫地认为教练心理学家和那些对循证教练感兴趣的人忽略 NLP 是明智之举品牌支持存在明确证据基础的模型、方法和技术。”

一个由托马斯WITKOWSKI独立检讨使用较强的语言，批评NLP“完全从科学借款或表达式提到它，没有任何科学意义的。它的名字已经可以看出——神经语言编程——这是一种残酷的欺。在神经元层面，它没有提供任何解释，它与学术语言学或编程没有任何共同之处。” 在论文的结尾，他总结道：“NLP 代表伪科学垃圾，应该永远封存起来。”

如果不是 NLP，那还有什么？ 英国国民 健康 服务 (NHS) 指出，以认知行为疗法 (CBT) 为基础的自助书籍、应用程序和课程可能会有用。例如，NHS 网站推荐了一些可以免费访问的应用程序和在线工具。在书籍方面，NHS 网站建议：“检查一本书是否由具有丰富经验并在专业机构（例如英国心理学会）注册的顾问或治疗师撰写。”

扇形面积 S = (1/2)αR^2, 当 α 减少 30', dα = -0.5° = -π/360, dS = (1/2)R^2dα = -(1/2)100^2 · π/360 = -43.63 平方厘米扇形面积减少约 43.63 平方厘米；当 R 增加 1 厘米, dR = 1 dS = αRdR = 100 · 1 · 60π/180 = 104.72 平方厘米扇形面积增加约 104.72 平方厘米。

nlp发论文

推荐下NLP领域内最重要的8篇论文吧（依据学术范标准评价体系得出的8篇名单）： 一、Deep contextualized word representations 摘要：We introduce a new type of deep contextualized word representation that models both (1) complex characteristics of word use (e.g., syntax and semantics), and (2) how these uses vary across linguistic contexts (i.e., to model polysemy). Our word vectors are learned functions of the internal states of a deep bidirectional language model (biLM), which is pre-trained on a large text corpus. We show that these representations can be easily added to existing models and significantly improve the state of the art across six challenging NLP problems, including question answering, textual entailment and sentiment analysis. We also present an analysis showing that exposing the deep internals of the pre-trained network is crucial, allowing downstream models to mix different types of semi-supervision signals. 全文链接： Deep contextualized word representations——学术范 二、Glove: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： Glove: Global Vectors for Word Representation——学术范 三、SQuAD: 100,000+ Questions for Machine Comprehension of Text 摘要：We present the Stanford Question Answering Dataset (SQuAD), a new reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is a segment of text from the corresponding reading passage. We analyze the dataset to understand the types of reasoning required to answer the questions, leaning heavily on dependency and constituency trees. We build a strong logistic regression model, which achieves an F1 score of 51.0%, a significant improvement over a simple baseline (20%). However, human performance (86.8%) is much higher, indicating that the dataset presents a good challenge problem for future research. The dataset is freely available at this https URL 全文链接： SQuAD: 100,000+ Questions for Machine Comprehension of Text——学术范 四、GloVe: Global Vectors for Word Representation 摘要：Recent methods for learning vector space representations of words have succeeded in capturing fine-grained semantic and syntactic regularities using vector arithmetic, but the origin of these regularities has remained opaque. We analyze and make explicit the model properties needed for such regularities to emerge in word vectors. The result is a new global logbilinear regression model that combines the advantages of the two major model families in the literature: global matrix factorization and local context window methods. Our model efficiently leverages statistical information by training only on the nonzero elements in a word-word cooccurrence matrix, rather than on the entire sparse matrix or on individual context windows in a large corpus. The model produces a vector space with meaningful substructure, as evidenced by its performance of 75% on a recent word analogy task. It also outperforms related models on similarity tasks and named entity recognition. 全文链接： GloVe: Global Vectors for Word Representation——学术范 五、Sequence to Sequence Learning with Neural Networks 摘要：Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this paper, we present a general end-to-end approach to sequence learning that makes minimal assumptions on the sequence structure. Our method uses a multilayered Long Short-Term Memory (LSTM) to map the input sequence to a vector of a fixed dimensionality, and then another deep LSTM to decode the target sequence from the vector. Our main result is that on an English to French translation task from the WMT-14 dataset, the translations produced by the LSTM achieve a BLEU score of 34.8 on the entire test set, where the LSTM's BLEU score was penalized on out-of-vocabulary words. Additionally, the LSTM did not have difficulty on long sentences. For comparison, a phrase-based SMT system achieves a BLEU score of 33.3 on the same dataset. When we used the LSTM to rerank the 1000 hypotheses produced by the aforementioned SMT system, its BLEU score increases to 36.5, which is close to the previous state of the art. The LSTM also learned sensible phrase and sentence representations that are sensitive to word order and are relatively invariant to the active and the passive voice. Finally, we found that reversing the order of the words in all source sentences (but not target sentences) improved the LSTM's performance markedly, because doing so introduced many short term dependencies between the source and the target sentence which made the optimization problem easier.  全文链接： Sequence to Sequence Learning with Neural Networks——学术范 六、The Stanford CoreNLP Natural Language Processing Toolkit 摘要：We describe the design and use of the Stanford CoreNLP toolkit, an extensible pipeline that provides core natural language analysis. This toolkit is quite widely used, both in the research NLP community and also among commercial and government users of open source NLP technology. We suggest that this follows from a simple, approachable design, straightforward interfaces, the inclusion of robust and good quality analysis components, and not requiring use of a large amount of associated baggage. 全文链接： The Stanford CoreNLP Natural Language Processing Toolkit——学术范 七、Distributed Representations of Words and Phrases and their Compositionality 摘要：The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible. 全文链接： Distributed Representations of Words and Phrases and their Compositionality——学术范 八、Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank 摘要：Semantic word spaces have been very useful but cannot express the meaning of longer phrases in a principled way. Further progress towards understanding compositionality in tasks such as sentiment detection requires richer supervised training and evaluation resources and more powerful models of composition. To remedy this, we introduce a Sentiment Treebank. It includes fine grained sentiment labels for 215,154 phrases in the parse trees of 11,855 sentences and presents new challenges for sentiment compositionality. To address them, we introduce the Recursive Neural Tensor Network. When trained on the new treebank, this model outperforms all previous methods on several metrics. It pushes the state of the art in single sentence positive/negative classification from 80% up to 85.4%. The accuracy of predicting fine-grained sentiment labels for all phrases reaches 80.7%, an improvement of 9.7% over bag of features baselines. Lastly, it is the only model that can accurately capture the effects of negation and its scope at various tree levels for both positive and negative phrases.  全文链接： Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank——学术范 希望可以对大家有帮助， 学术范 是一个新上线的一站式学术讨论社区，在这里，有海量的计算机外文文献资源与研究领域最新信息、好用的文献阅读及管理工具，更有无数志同道合的同学以及学术科研工作者与你一起，展开热烈且高质量的学术讨论！快来加入我们吧！

两篇都好发。opencv主要以实践和应用为主，同时需要研究成果可以指导应用。NLP是算法中最有挑战性的，因为在CV中，视频可以分割为一帧一帧的图像，像素点是有限的，这很适合计算机去解析。