谷歌三大论文发表在何处

谷歌三大论文发表在何处

因为，Google是大数据鼻祖。很多人提起大数据，必然会想起Google 的“三驾马车”（也称谷歌三宝）：GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山，它激发了大数据技术开源时代的到来，百花齐放，争相斗艳，成就了Hadoop的辉煌十载。尤其是近年来，大数据技术的发展，不论是技术的迭代，还是生态圈的繁荣，都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰，到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星，再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来，跌宕起伏，波澜壮阔，俨然一副绵绵不断的辉煌画卷。

大部分论文都在期刊上发表,CN期刊。

少数的是发表到国外的期刊,或者直接是在杂志的官网上线,比如SCI。对于大多数人来说,发表CN期刊就可以了。

期刊，定期出版的刊物。如周刊、旬刊、半月刊、月刊、季刊、半年刊、年刊等。由依法设立的期刊出版单位出版刊物。期刊出版单位出版期刊，必须经新闻出版总署批准，持有国内统一连续出版物号，领取《期刊出版许可证》。

广义上分类

从广义上来讲，期刊的分类，可以分为非正式期刊和正式期刊两种。非正式期刊是指通过行政部门审核领取“内部报刊准印证”作为行业内部交流的期刊(一般只限行业内交流不公开发行)，但也是合法期刊的一种，一般正式期刊都经历过非正式期刊过程。

正式期刊是由国家新闻出版署与国家科委在商定的数额内审批，并编入“国内统一刊号”，办刊申请比较严格，要有一定的办刊实力，正式期刊有独立的办刊方针。

“国内统一刊号”是“国内统一连续出版物号”的简称，即“CN号”，它是新闻出版行政部门分配给连续出版物的代号。“国际刊号”是“国际标准连续出版物号”的简称，即“ISSN号”，我国大部分期刊都配有“ISSN号”。

此外，正像报纸一样，期刊也可以不同的角度分类。有多少个角度就有多少种分类的结果，角度太多则流于繁琐。一般从以下三个角度进行分类：

按学科分类

以《中国图书馆图书分类法.期刊分类表》为代表，将期刊分为五个基本部类：

(1)思想(2)哲学(3)社会科学(4)自然科学(5)综合性刊物。在基本部类中，又分为若干大类，如社会科学分为社会科学总论、政治、军事、经济、文化、科学、教育、体育、语言、文字、文学、艺术、历史、地理。

按内容分类

以《中国大百科全书》新闻出版卷为代表，将期刊分为四大类：

(1)一般期刊，强调知识性与趣味性，读者面广，如我国的《人民画报》、《大众电影》，美国的《时代》、《读者文摘》等;

(2)学术期刊，主要刊载学术论文、研究报告、评论等文章，以专业工作者为主要对象;

(3)行业期刊，主要报道各行各业的产品、市场行情、经营管理进展与动态，如中国的《摩托车信息》、《家具》、日本的《办公室设备与产品》等;

(4)检索期刊，如我国的《全国报刊索引》、《全国新书目》，美国的《化学文摘》等。

按学术地位分类

可分为核心期刊和非核心期刊（通常所说的普刊）两大类。

关于核心期刊

核心期刊，是指在某一学科领域(或若干领域)中最能反映该学科的学术水平，信息量大，利用率高，受到普遍重视的权威性期刊。

国内没办法直接上谷歌的网站 你可以搜索下载个E9代理加速器 这样就能上Google下载东西了

职称论文三大网站是知网、万方、维普。

1、中国知网

知网一般是中国知网。知网是国家知识基础设施的概念，由世界银行于1998年提出。CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目。由清华大学、清华同方发起，始建于1999年6月。

提供CNKI源数据库、外文类、工业类、农业类、医药卫生类、经济类和教育类多种数据库。其中综合性数据库为中国期刊全文数据库、中国博士学位论文数据库、中国优秀硕士学位论文全文数据库、中国重要报纸全文数据库和中国重要会议文论全文数据库。每个数据库都提供初级检索、高级检索和专业检索三种检索功能。高级检索功能最常用。

2、万方

万方数据库是由万方数据公司开发的，涵盖期刊、会议纪要、论文、学术成果、学术会议论文的大型网络数据库；也是和中国知网齐名的中国专业的学术数据库。

其开发公司——万方数据股份有限公司是国内第一家以信息服务为核心的股份制高新技术企业，是在互联网领域，集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务商。万方期刊集纳了理、工、农、医、人文五大类70多个类目共7600种科技类期刊全文。

3、维普网

维普网，建立于2000年。经过多年的商业运营，维普网已经成为全球著名的中文专业信息服务网站。网站陆续建立了与谷歌学术搜索频道、百度文库、百度百科的战略合作关系。

网站遥遥领先数字出版行业发展水平，数次名列中国出版业网站百强，并在中国图书馆业、情报业网站排名中名列前茅。

谷歌三大论文发表在哪

因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。

等会让他赶紧染发剂对人体

国内没办法直接上谷歌的网站 你可以搜索下载个E9代理加速器 这样就能上Google下载东西了

谷歌三大论文的发表

目录方法1：提交（重复提交）论文1、让同事或者教授来审阅你的研究论文。2、根据审稿人的建议修改论文。3、根据所选期刊的要求准备好你的稿件。4、当你觉得论文准备好了，就提交吧。5、当你得到期刊的最初回复时，不要惊慌。6、将审稿人的意见视为建设性的批评。7、继续努力直到成功发表论文。方法2：选择正确的期刊提交论文1、熟悉市面上所有可能接受你论文的期刊。2、选择最适合你的研究论文的期刊。3、留意期刊的发行量或者曝光度。方法3：强化你提交的论文1、你的论文应该有清晰的论点。2、缩小关注范围。3、写一篇出色的摘要。在同行评审的期刊上发表研究论文是学术界的一项重要活动。它可以让你与其他学者建立联系，让你的名字和作品流传开来，并且进一步完善你的想法和研究。发表论文并不容易，但你可以通过提交一份技术上合理、有创意但又直截了当的研究报告来提高胜算。找一本适合你研究主题和写作风格的学术期刊也很重要，这样你就可以根据它的标准来调整你的研究论文，增加发表的机会，获得更广泛的认可。方法1：提交（重复提交）论文1、让同事或者教授来审阅你的研究论文。他们应该对你论文的语法、拼写错误、错字、表达是否清晰和简洁进行修改。他们还应该验证你写的内容。研究论文需要提出一个重要和明确的问题，应该切题，易于理解，并且适合目标受众。让两三个人检查你的论文。至少应该有一个人不是论文主题方面的专家，他们身为“局外人的观点”可能会非常有价值，因为不是所有的评论者都是有关方面的专家。2、根据审稿人的建议修改论文。在最终提交研究论文之前，你很可能要拟好几次草稿。努力使你的论文表达清晰、吸引人和易于理解。这将大大增加被发表的机会。3、根据所选期刊的要求准备好你的稿件。确保研究论文的格式，符合期刊的标准。大多数期刊都会提供一个名为“投稿须知”或者“作者指南”的文档，提供关于排版、字体和长度的说明，还会告诉你如何提交论文，并且会提供审核流程的详细信息。科学期刊上的文章往往需要遵循特定的格式，比如摘要、介绍、方法、研究成果、讨论、结论、致谢和参考。艺术和人文学科论文的要求通常没有那么严格。4、当你觉得论文准备好了，就提交吧。去期刊网站上的作者指南（或者类似的文档）看看对方的投稿要求。一旦你确信你的论文符合所有的标准，就可以通过适当的渠道提交论文了。有些期刊允许在线提交，有些则更倾向于纸质版。一次只能向一份期刊投稿。根据需要，按照列表一个一个地投。在线提交时，使用你的大学电子邮箱。这样能够将你与学术机构联系起来，为你的论文增添可信度。5、当你得到期刊的最初回复时，不要惊慌。很少有第一次提交的文章能立即得到同行评审期刊的“接受”回复。如果你的论文被接受了，去庆祝吧！如果没有，就冷静地处理你收到的回复。收到的回复可能是下列之一：接受但需要修正：根据评审人员提供的反馈，只需要进行少量的调整。修改并重新提交：在考虑出版之前需要更多实质性的修改（如上所述），但是期刊仍然对你的研究非常感兴趣。拒绝并重新提交：这篇文章目前还不适合考虑，但是实质性的修改和重新调整可能会改变这个结果。拒绝：这篇论文现在和以后都不适合发表在这份期刊上，但这并不意味着它不适用于其他期刊。6、将审稿人的意见视为建设性的批评。很多时候，你会被要求根据几位（通常是三位）匿名审稿人和编辑提供的评论修改论文，然后重新提交。仔细研究他们的批评，并做出必要的改变。不要过分重视原始版本。相反，要懂得变通，根据收到的反馈重新修改论文。运用你的研究和写作技能，写出一篇优秀的论文。然而，你也不需要“完全改变”，盲目顺从于你觉得不相关的评论。与编辑展开对话，礼貌而自信地解释你的立场。记住，你是这方面的专家！7、继续努力直到成功发表论文。即使你最终被喜欢的期刊拒之门外，也要继续重写你的研究论文，并提交给其他期刊。记住，一篇被拒绝的论文并不一定很糟糕。出版方根据许多因素来决定是否接受某篇文章，其中许多因素是完全超出了你的控制的。提交给排在你第二选择的期刊。你甚至可以向第一份期刊的编辑咨询更适合你的刊物。方法2：选择正确的期刊提交论文1、熟悉市面上所有可能接受你论文的期刊。注意已经发表的研究，以及你所在领域的最新问题和研究。特别注意你所在领域的其他研究论文是如何撰写的，包括论文的格式、文章的类型（是定量研究与定性研究、初步研究，还是对现有论文的评论），以及写作风格、主题和用词。阅读与你的研究领域相关的学术期刊。在线搜索已经发表的研究论文、会议论文和期刊文章。向同事或者教授寻求他们建议的阅读清单。2、选择最适合你的研究论文的期刊。每个期刊都有自己的读者和写作风格。确认你的研究论文是更适合发表在一份技术性很强，目标受众为其他学者的期刊上，还是一份面向更广泛读者的大众期刊上。“适合”在这里至关重要，在你的领域中最有名的期刊未必是最适合你论文的刊物。不过也不要低估自己，不要认为你的论文永远不可能达到顶级出版物的水平。3、留意期刊的发行量或者曝光度。一旦你缩小了潜在的选择范围，可以做一些调查，看看这些期刊上被广泛阅读和引用的文章有多少。让你的工作得到更多的曝光，尤其是在职业生涯早期想要出名的时候。然而，一定要优先考虑同行评审期刊。在这些期刊中，会由同领域的学者匿名评审所提交的作品。这是学术出版的基本标准。你可以通过在开源期刊上发表文章来增加读者数量。这样，它会被纳入在线的同行评审学术论文库中，免费给大家阅读。方法3：强化你提交的论文1、你的论文应该有清晰的论点。好的文章会直接切入主题，并且贯穿始终。从一开始就明确论文探索、调查或实现的论点，并且确保后面每一段内容都要建立在这个论点之上。针对你的论点做出有力、清晰的陈述。比较以下无力和有力的陈述：“这篇文章探讨了乔治·华盛顿年轻时的经历，他是如何在作为一名指挥官的艰难环境中塑造自己的观点。”“本文认为，乔治·华盛顿作为一名年轻军官，18世纪50年代在宾夕法尼亚州边境的经历，直接影响了他在弗吉谷严酷的冬天中与陆军部队的关系。”2、缩小关注范围。清晰的论点也可以是很宏伟的论点，但期刊文章本身并不适合对大型主题进行彻底的研究。学者在修改论文内容时往往会遇到这个问题，你需要能够删除或者明显减少文章中的背景信息、文献综述和方法讨论等内容。对于正在进入这一领域的年轻学者来说尤其如此。把宏大的探索留给更有建树的学者去做吧，尽管都只有20-30页。3、写一篇出色的摘要。摘要是审稿人对你论文的第一印象，所以你需要让它值得一读。确保绝对没有拼写错误或者不必要的句子。你只能用大约300个词。你的声明要大胆，方法要新颖原创，但是不要过度吹嘘文章中实际包含的内容。你的摘要应该让人们想要迫不及待地开始阅读文章，但不要让他们在读完后失望。让尽可能多的人阅读你写的摘要，并且在提交论文之前寻求他们的反馈。警告如果你对期刊的修改要求感到不安或者沮丧，不要立即修改论文。把论文放在一边，几天后带着“新鲜的眼光”回过头来阅读。你收到的反馈被过滤和解决了，你才能找到你论文合适的位置。记住，这是一个大项目，最终的改进需要时间。

1、投稿。2、审核即审稿。3、审稿结果。4、交费。5、安排发表。6、寄送样刊。1、投稿。这是论文发表人员选择好投稿期刊之后，将自己的论文稿件通过邮箱、在线投稿窗口、QQ或者微信即时通讯软件这三大方式发送给编辑。2、审核即审稿。投稿之后，编辑会按照投稿顺序对论文进行审稿，,有的期刊杂志收取审稿费，如果您的论文需要加急发表，请在投稿时标注清楚，可能会产生加急费用。审稿环节是整个论文发表过程中耗时最长的，影响了论文发表周期的长短，关于论文发表时间影响因素可以阅读《是什么影响论文发表时间长短》了解。这里需要注意的是论文审稿可能会反复进行。3、审稿结果。主要介绍通过审稿被录用的论文。通过杂志社论文三审的论文，杂志社会下发录用通知书，并注明预安排在某年某期发表，之所以是预安排，是因为还没交纳版面费。关于论文三审可以阅读《什么时候论文需要三审》，了解一些审稿知识。4、交费。这里的交费主要是版面费，交纳之后，论文才会正式进入安排刊期出版流程。5、安排发表。版面费到位之后，即可安排刊期，并按照日期出版见刊。少部分论文发表可能会延期，原因很多，例如：有人安排加急。6、寄送样刊。论文见刊之后，会给作者寄送一本样刊，作为用途上交的材料。到此整个的论文发表流程结束。

谷歌学术是一个可以免费搜索学术文章的Google网络应用。2004年11月，Google第一次发布了Google学术搜索的试用版。该项素引包括了世界上绝大部分出版的学术期刊，可广泛搜素学术文献的简便方法。从检索情况分析，Google学术搜索可以有如下用途：1、了解有关某一领域的学术文献。由于收录范围限手学术文献，将屏蔽掉网上很多不相关信息。2、了解某一作者的著述，并提供书目信息(引用时必需的图书出版信息或期刊论文的刊名、刊期信息)。可直接在网上搜索原文、文摘等;如果是图书，还可通过Library Search(例如OCLC的Open WorldCAT)检索附近图书馆的收藏。3、了解某文献被引1情况。可直接点击Cited by…（引用数）搜索引用文献。4、对文献和期刊进行应用和引用排名。

谷歌三大论文发表时间

AI技术的智能模型的训练模式由之前的大炼模式逐渐变成炼大的模式；参数量模式在不断增加，探索的四个层次等等内容都有抄袭。

江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！

谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。

那么这篇博客就来介绍一下MapReduce。

1. MapReduce是干啥的

因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。

Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。

GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。

简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。

下面用一个贯穿全文的例子来解释MapReduce是如何工作的。

2. 例子：统计词频

如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？

方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。

这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。

方法二：写一个多线程程序，并发遍历论文。

这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。

方法三：把作业交给多个计算机去完成。

我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。

方法四：让MapReduce来帮帮我们吧！

MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。

在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。

3. map函数和reduce函数

map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。

可以只用一行代码来运行MapReduce作业：JobClient.runJon(conf)，Job作业运行时参与的四个实体：

1.JobClient 写代码，配置作业，提交作业。

2.JobTracker:初始化作业，分配作业，协调作业运行。这是一个java程序，主类是JobTracker。

3.TaskTracker：运行作业划分后的任务，即分配数据分配上执行Map或Reduce任务。

4.HDFS：保存作业数据、配置信息等，保存作业结果。

Map/Reduce 作业总体执行流程：

代码编写 ----> 作业配置  ---->  作业提交 ----> Map任务分配和执行 ----> 处理中间结果 ---->  Reduce任务分配与执行 ---->  输出结果

而对于每个作业的执行，又包含：

输入准备 ----> 任务执行 ----> 输出结果

作业提交JobClient：

JobClient的runJob方法产生一个Jobclient实例并调用其submitJob方法，然后runJob开始循环吗，并在循环中调用getTaskCompetionEvents方法，获得TaskCompletionEvent实例，每秒轮询作业进度（后面有介绍进度和状态更新），把进度写到控制台，作业完成后显示作业计数器，若失败，则把错误记录到控制台。

submitJob方法作业提交的过程：

1.向JobTracker请求一个新的JobId。

2.检查作业相关路径，如果路径不正确就会返回错误。

3.计算作业输入分片及其划分信息。

4.将作业运行需要的资源（jar文件、配置文件等）复制到Shared HDFS，并

复制多个副本（参数控制，默认值为10）供tasktracker访问，也会将计算的分片复制到HDFS。

5.调用JobTracker对象的submitJob()方法来真正提交作业，告诉JobTracker作业准备执行。

作业的初始化JobTracker：

JobTracker收到submitJob方法调用后，会把调用放入到一个内部队列，由作业调度器（Job scheduler）进行调度并对其初始化。Job初始化即创建一个作业对象。

当作业被调度后，JobTracker会创建一个代表这个作业的JobInProgress对象，并将任务和记录信息封装在这个对象中，以便跟踪任务状态和进程。

初始化过程就是JobInProgress对象的initTasks方法进行初始化的。

初始化步骤：

1.从HDFS中读取作业对应的job.split信息，为后面的初始化做好准备。

2.创建并初始化map和reduce任务。根据数据分片信息中的个数确定map task的个数，然后为每个map task生成一个TaskInProgress对象来处理数据分片，先将其放入nonRunningMapCache,以便JobTracker分配任务的时候使用。接下来根据JobConf中的mapred.reduce.tasks属性利用setNumReduceTasks()方法设置reduce task的数量，然后同map task创建方式。

3.最后就是创建两个初始化task，进行map和reduce的初始化。

任务的分配JobTracker：

消息传递HeartBeat： tasktracker运行一个简单循环定期发送心跳（heartbeat）给JobTracker。由心跳告知JobTracker自己是否存活，同时作为消息通道传递其它信息（请求新task）。作为心跳的一部分，tasktracker会指明自己是否已准备好运行新的任务，如果是，jobtracker会分配它一个任务。

分配任务所属于的作业：在Jobtracker分配任务前需先确定任务所在的作业。后面会介绍到各种作业调度算法，默认是一个FIFO的作业调度。

分配Map和Reduce任务：tasktracker有固定数量的任务槽,一个tasktracker可以同时运行多个Map和Reduce任务，但其准确的数量由tasktracker的核的数量和内存大小决定。默认调度器会先填满Map任务槽，再填Reduce任务槽。jobtracker会选择距离离分片文件最近的tasktracker，最理想情况下，任务是数据本地化（data-local）的,当然也可以是机架本地化（rack-local），如果不是本地化的，那么他们就需要从其他机架上检索数据。Reduce任务分配很简单，jobtracker会简单的从待运行的reduce任务列表中选取下一个来执行，不用考虑数据本地化。

任务的执行TaskTracker：

TaskTracker收到新任务后，就要在本地运行任务了，运行任务的第一步就是通过localizedJob将任务本地化所需要的注入配置、数据、程序等信息进行本地化。

1.本地化数据：从共享文件系统将job.split 、job.jar (在分布式缓存中)复制本地，将job配置信息写入job.xml。

2.新建本地工作目录：tasktracker会加压job.jar文件到本工作目录。

3.调用launchTaskForJob方法发布任务（其中会新建TaskRunner实例运行任务），如果是Map任务就启用MapTaskRunner，对于Reduce就是ReduceTaskRunner。

在这之后，TaskRunner会启用一个新的JVM来运行每个Map/Reduce任务，防止程序原因而导致tasktracker崩溃，但不同任务间重用JVM还是可以的，后续会讲到任务JVM重用。

对于单个Map，任务执行的简单流程是：

1.分配任务执行参数

2.在Child临时文件中添加map任务信息（Child是运行Map和Reduce任务的主进程）

3.配置log文件夹，配置map任务的通信和输出参数

4.读取input split，生成RecordReader读取数据

5.为Map生成MapRunnable,依次从RecordReader中接收数据，并调用Map函数进行处理。

6.最后将map函数的输出调用collect收集到MapOutputBuffer（参数控制其大小）中。

Streaming和Pipes:

Streaming和Pipes都运行特殊的Map和Reduce任务，目的是运行用户提供的可执行程序并与之通信。

Streaming:使用标准输入输出Streaming与进程进行通信。

Pipes:用来监听套接字，会发送一个端口号给C++程序，两者便可建立链接。

进度和状态更新：

一个作业和它的任务都有状态（status），其中包括：运行成功失败状态、Map/Reduce进度、作业计数器值、状态消息。

状态消息与客户端的通信：

1.对于Map任务Progress的追踪：progress是已经处理完的输入所占的比例。

2.对于Reduce：稍复杂，reduce任务分三个阶段（每个阶段占1/3），复制、排序和Reduce处理，若reduce已执行一半的输入的话，那么任务进度便是1/3+1/3+1/6=5/6。

3.任务计数器：任务有一组计数器，负责对任务运行各个事件进行计数。

4.任务进度报告：如果任务报告了进度，便会设置一个标记以表明状态将被发送到tasktracker。有一个独立线程每隔三秒检查一次此标记，如果已设置，则告知tasktracker当前状态。

5.tasktracker进度报告：tasktracker会每隔5秒（这个心跳是由集群大小决定，集群越大时间会越长）发送heartbeat到jobtracker，并且tasktracker运行的所有状态都会在调用中被发送到jobtracker。

6.jobtracker合并各任务报告：产生一个表明所有运行作业机器所含任务状态的全局视图。

前面提到的JobClient就是通过每秒查询JobTracker来接收最新状态，而且客户端JobClient的getJob方法可以得到一个RunningJob的实例，其包含了作业的所以状态信息。

作业的完成：

当jobtracker收到作业最后一个任务已完成的通知后，便把作业状态设置成成功。JobClient查询状态时，便知道任务已成功完成，于是JobClient打印一条消息告知用户，然后从runJob方法返回。

如果jobtracker有相应设置，也会发送一个Http作业通知给客户端，希望收到回调指令的客户端可以通过job.end.notification.url属性来进行设置。

jobtracker情况作业的工作状态，指示tasktracker也清空作业的工作状态，如删除中间输出。

失败

实际情况下，用户的代码存在软件错误进程会崩溃，机器也会产生故障，但Hadoop能很好的应对这些故障并完成作业。

1.任务失败

子任务异常：如Map/Reduce任务中的用户代码抛出异常，子任务JVM进程会在退出前向父进程tasktracker发送错误报告，错误被记录用户日志。tasktracker会将此次task attempt标记为tailed，并释放这个任务槽运行另外一个任务。

子进程JVM突然退出：可能由于JVM bug导致用户代码造成的某些特殊原因导致JVM退出，这种情况下，tasktracker会注意到进程已经退出，并将此次尝试标记为failed。

任务挂起：一旦tasktracker注意一段时间没有收到进度更新，便会将任务标记为failed，JVM子进程将被自动杀死。任务失败间隔时间通常为10分钟，可以以作业或者集群为基础设置过期时间，参数为mapred.task.timeout。注意：如果参数值设置为0，则挂起的任务永远不会释放掉它的任务槽，随着时间的推移会降低整个集群的效率。

任务失败尝试次数：jobtracker得知一个tasktracker失败后，它会重新调度该任务执行，当然，jobtracker会尝试避免重新调度失败过的tasktracker任务。如果一个任务尝试次数超过4次，它将不再被重试。这个值是可以设置的，对于Map任务，参数是mapred.map.max.attempts,对于reduce任务，则由mapred.reduce.max.attempts属性控制。如果次数超过限制，整个作业都会失败。当然，有时我们不希望少数几个任务失败就终止运行的整个作业，因为即使有些任务失败，作业的一些结果可能还是有用的，这种情况下，可以为作业设置在不触发作业失败情况下的允许任务失败的最大百分比，Map任务和Reduce任务可以独立控制，参数为mapred.max.map.failures.percent 和mapred.max.reduce.failures.percent。

任务尝试中止（kill）：任务终止和任务失败不同，task attempt可以中止是因为他是一个推测副本或因为它所处的tasktracker失败，导致jobtracker将它上面的所有task attempt标记为killed。被终止的task attempt不会被计入任务运行尝试次数，因为尝试中止并不是任务的错。

2.tasktracker失败

tasktracker由于崩溃或者运行过慢而失败，他将停止向jobtracker发送心跳（或很少发送心跳）。jobtracker注意已停止发送心跳的tasktracker（过期时间由参数mapred.tasktracker.expiry.interval设置，单位毫秒），并将它从等待调度的tasktracker池中移除。如果是未完成的作业，jobtracker会安排次tasktracker上已经运行成功的Map任务重新运行，因为此时reduce任务已无法访问（中间输出存放在失败的tasktracker的本地文件系统上）。

即使tasktracker没有失败，也有可能被jobtracker列入黑名单。如果tasktracker上面的失败任务数量远远高于集群的平均失败任务次数，他就会被列入黑名单，被列入黑名单的tasktracker可以通过重启从jobtracker黑名单中移除。

3.jobtracker失败

老版本的JobTracker失败属于单点故障，这种情况下作业注定失败。

作业调度：

早期作业调度FIFO：按作业提交顺序先进先出。可以设置优先级，通过设置mapred.job.priority属性或者JobClient的setJobPriority()方法制定优先级（优先级别：VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW）。注意FIFO调度算法不支持抢占（preemption）,所以高优先级作业仍然会被那些已经开始的长时间运行的低优先级作业所阻塞。

Fair Scheduler：目标是让每个用户公平地共享集群能力。当集群存在很多作业时，空闲的任务槽会以”让每个用户共享集群“的方式进行分配。默认每个用户都有自己的作业池。FairScheduler支持抢占，所以，如果一个池在特定的一段时间未得到公平地资源共享，它会终止池中得到过多的资源任务，以便把任务槽让给资源不足的池。FairScheduler是一个后续模块，使用它需要将其jar文件放在Hadoop的类路径下。可以通过参数map.red.jobtracker.taskScheduler属性配置（值为org.apache.hadoop.mapred.FairScheduler）

Capacity Scheduler：

集群由很多队列组成，每个队列都有一个分配能力，这一点与FairScheduler类似，只不过在每个队列内部，作业根据FIFO方式进行调度。本质上说，Capacity Scheduler允许用户或组织为每个用户模拟一个独立使用FIFO的集群。

shuffle和排序：

MapReduce确保每个Reducer的输入都是按键排序的。系统执行排序的过程-将map输出作为输入传给reducer的过程称为shuffle。shuffle属于不断被优化和改进的代码库的一部分，从许多方面来看，shuffle是MapReduce的心脏。

整个shuffle的流程应该是这样：

map结果划分partition  排序sort 分割spill   合并同一划分   合并同一划分  合并结果排序 reduce处理 输出

Map端：

写入缓冲区：Map函数的输出，是由collector处理的，它并不是简单的将结果写到磁盘。它利用缓冲的方式写到内存，并处于效率的考虑进行预排序。每个map都有一个环形的内存缓冲区，用于任务输出，默认缓冲区大小为100MB（由参数io.sort.mb调整），一旦缓冲区内容达到阈值（默认0.8），后台进程边开始把内容写到磁盘（spill），在写磁盘过程中，map输出继续被写到缓冲区，但如果缓冲区被填满，map会阻塞知道写磁盘过程完成。写磁盘将按照轮询方式写到mapred.local.dir属性制定的作业特定子目录中。

写出缓冲区：collect将缓冲区的内容写出时，会调用sortAndSpill函数，这个函数作用主要是创建spill文件，按照key值对数据进行排序，按照划分将数据写入文件，如果配置了combiner类，会先调用combineAndSpill函数再写文件。sortAndSpill每被调用一次，就会写一个spill文件。

合并所有Map的spill文件：TaskTracker会在每个map任务结束后对所有map产生的spill文件进行merge，merge规则是根据分区将各个spill文件中数据同一分区中的数据合并在一起，并写入到一个已分区且排序的map输出文件中。待唯一的已分区且已排序的map输出文件写入最后一条记录后，map端的shuffle阶段就结束了。

在写磁盘前，线程首先根据数据最终要传递到的reducer把数据划分成响应的分区（partition），在每个分区中，后台线程按键进行内排序，如果有一个combiner,它会在排序后的输出上运行。

内存达到溢出写的阈值时，就会新建一个溢出写文件，因为map任务完成其最后一个输出记录之后，会有几个溢出写文件。在任务完成前，溢出写文件会被合并成一个已分区且已排序的输出文件。配置属性io.sort.facor控制一次最多能合并多少流，默认值是10。

如果已经指定combiner,并且写次数至少为3（通过min.mum.spills.for.combine设置）时，则combiner就会在输出文件写到磁盘之前运行。运行combiner的意义在于使map输出更紧凑，舍得写到本地磁盘和传给reducer的数据更少。

写磁盘时压缩：写磁盘时压缩会让写的速度更快，节约磁盘空间，并且减少传给reducer的数据量。默认情况下，输出是不压缩的，但可以通过设置mapred.compress.map.output值为true，就可以启用压缩。使用的压缩库是由mapred.map.output.compression.codec制定。

reducer获得文件分区的工作线程：reducer通过http方式得到输出文件的分区，用于文件分区的工作线程数量由tracker.http.threads属性指定，此设置针对的是每个tasktracker，而不是每个map任务槽。默认值为40，在大型集群上此值可以根据需要而增加。

Reduce端：

复制阶段：reduce会定期向JobTracker获取map的输出位置，一旦拿到输出位置，reduce就会从对应的TaskTracker上复制map输出到本地（如果map输出很小，则会被复制到TaskTracker节点的内存中，否则会被让如磁盘），而不会等到所有map任务结束（当然这个也有参数控制）。

合并阶段：从各个TaskTracker上复制的map输出文件（无论在磁盘还是内存）进行整合，并维持数据原来的顺序。

Reduce阶段：从合并的文件中顺序拿出一条数据进行reduce函数处理，然后将结果输出到本地HDFS。

Map的输出文件位于运行map任务的tasktracker的本地磁盘，现在，tasktracker要为分区文件运行reduce任务。每个任务完成时间可能不同，但是只要有一个任务完成，reduce任务就开始复制其输出，这就是reduce任务的复制阶段（copy phase）。reduce任务有少量复制线程，因此能够并行取得map输出。默认值是5个线程，可以通过mapred.reduce.parallel.copies属性设置。

Reducer如何得知从哪个tasktracker获得map输出：map任务完成后会通知其父tasktracker状态已更新，tasktracker进而通知（通过heart beat）jobtracker。因此，JobTracker就知道map输出和tasktracker之间的映射关系，reducer中的一个线程定期询问jobtracker以便获知map输出位置。由于reducer有可能失败，因此tasktracker并没有在第一个reducer检索到map输出时就立即从磁盘上删除它们，相反他会等待jobtracker告示它可以删除map输出时才删除，这是作业完成后最后执行的。

如果map输出很小，则会被直接复制到reduce tasktracker的内存缓冲区（大小由mapred.job.shuffle.input.buffer.percent控制，占堆空间的百分比），否则，map输出被复制到磁盘。一旦内存缓冲区达到阈值大小（由mapred.iob.shuffle.merge.percent）

或达到map输出阈值大小（mapred.inmem.threadhold），则合并后溢出写到磁盘中。

随着磁盘上副本增多，后台线程会将他们合并为更大的、排好序的文件。注意：为了合并，压缩的map输出必须在内存中被解压缩。

排序阶段：复制阶段完成后，reduce任务会进入排序阶段，更确切的说是合并阶段，这个阶段将合并map输出，维持其顺序排列。合并是循环进行的，由合并因子决定每次合并的输出文件数量。但让有可能会产生中间文件。

reduce阶段：在最后reduce阶段，会直接把排序好的文件输入reduce函数，不会对中间文件进行再合并，最后的合并即可来自内存，也可来自磁盘。此阶段的输出会直接写到文件系统，一般为hdfs。

细节：这里合并是并非平均合并，比如有40个文件，合并因子为10，我们并不是每趟合并10个，合并四趟。而是第一趟合并4个，后三趟合并10，在最后一趟中4个已合并的文件和余下6个未合并会直接并入reduce。

谷歌三大论文的发表地点

你说的可能是这三个吧：2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》

等会让他赶紧染发剂对人体

知网，万方数据库，维普网。

知网：

内容服务： 网络出版， 论文数据，出版平台，文献数据，分类统计，知识检索，专业主题

CNKI工程是以实现全社会知识资源传播共享与增值利用为目标的信息化建设项目，由清华大学、同方股份有限公司发起，始建于1999年6月。在党和国家领导以及教育部、中宣部、科技部、国家新闻出版署、国家版权局、国家发改委的大力支持下，在全国学术界、教育界、出版界、图书情报界等社会各界的密切配合和清华大学的直接领导下，CNKI工程集团经过多年努力，采用自主开发并具有国际领先水平的数字图书馆技术，建成了世界上全文信息量规模最大的"CNKI数字图书馆"，并正式启动建设《中国知识资源总库》及CNKI网格资源共享平台，通过产业化运作，为全社会知识资源高效共享提供最丰富的知识信息资源和最有效的知识传播与数字化学习平台。

万方数据库

万方数据库是由万方数据公司开发的，涵盖期刊、会议纪要、论文、学术成果、学术会议论文的大型网络数据库；也是和中国知网齐名的中国专业的学术数据库。其开发公司——万方数据股份有限公司是国内第一家以信息服务为核心的股份制高新技术企业，是在互联网领域，集信息资源产品、信息增值服务和信息处理方案为一体的综合信息服务商。

维普网

维普网，建立于2000年。经过多年的商业运营，维普网已经成为全球著名的中文专业信息服务网站。

网站陆续建立了与谷歌学术搜索频道、百度文库、百度百科的战略合作关系。网站遥遥领先数字出版行业发展水平，数次名列中国出版业网站百强，并在中国图书馆业、情报业网站排名中名列前茅

CNKI，万方数据库，维普网，龙源期刊网。其中以知网最权威，也最具说服力，其次是万方数据库。发表的论文如果被知网收录，能在知网检索到，说明是比较正规的，评职称是管用的。

其他的几个权威性依次递减。除此之外，还有一个比较小的论文知识型网站，叫淘淘论文网，上面有很多论文写作知识和发表知识，发表前建议你去阅读下上面的文章，比较实用。

2021年10月8日，为防止未成年人沉迷网络游戏，维护未成年人合法权益，文化和旅游部印发通知，部署各地文化市场综合执法机构进一步加强网络游戏市场执法监管。据悉，文化和旅游部要求各地文化市场综合执法机构会同行业管理部门。

重点针对时段时长限制、实名注册和登录等防止未成年人沉迷网络游戏管理措施落实情况，加大辖区内网络游戏企业的执法检查频次和力度；加强网络巡查，严查擅自上网出版的网络游戏；加强互联网上网服务营业场所、游艺娱乐场所等相关文化市场领域执法监管，防止未成年人违规进入营业场所。