2003年谷歌发表的论文

2003年谷歌发表的论文

Google 虽然是一家相对年轻的公司，但能量却不容小觑。

我们在此记录了 Google 成长历程中的一些里程碑事件。

1995-1997 · 1998 · 1999 · 2000 · 2001 · 2002 · 2003 · 2004 · 2005 · 2006 · 2007 · 2008 · 2009 · 2010

1995-1997

1995

拉里·佩奇 (Larry Page) 和塞吉·布林 (Sergey Brin) 是在斯坦福大学相识的。

（拉里当时 22 岁，刚刚从密歇根大学毕业，正在考虑选择哪个研究生院，而负责带他参观的正是 21 岁的塞吉。

）据说，他们第一次见面时几乎在各方面都存在分歧。

1996

拉里和塞吉当时还是斯坦福大学计算机科学专业的研究生，他们开始合作开发一款名为 BackRub 的搜索引擎。

BackRub 在斯坦福大学的服务器上运行了一年多的时间，但最终因占用带宽过多而使服务器不堪重负。

1997

拉里和塞吉决定为 BackRub 搜索引擎重新命名。

经过一番集思广益，他们选择了 Google，这个词源自数学术语“googol”，表示数字 1 后面带 100 个零。

之所以采用这个术语，是为了表明他们的目标：整合无穷尽的网络信息。

返回页首

1998

8 月

Sun 的联合创始人安迪·贝托尔斯海姆 (Andy Bechtolsheim) 为当时还尚未成立的 Google Inc. 公司开出了 10 万美元的支票。

9 月

Google 的工作室设立在苏珊·沃西基 (Susan Wojcicki) 家的车库，位于门洛园圣玛格丽塔 232 号 (232 Santa Margarita, Menlo Park)。

Google 公司于 9 月 4 日在美国加利福尼亚州注册成立。

不久后，拉里和塞吉为新成立的公司开设了银行帐户，并存入了安迪·贝托尔斯海姆的赞助资金。

拉里和塞吉招到了 Google 的第一个员工克雷格·西尔弗斯坦 (Craig Silverstein)；他也是斯坦福大学计算机科学专业的研究生。

12 月

“PC Magazine”报道称“Google 拥有返回高度相关的搜索结果的神奇功能”；我们还入选了该杂志的精选搜索引擎，列在 1998 年度的“最佳 100 网站”之列。

返回页首

1999

2 月

随着公司规模的壮大，我们将办公地点从车库搬到了帕罗奥图的大学街 165 号 (165 University Avenue)，当时的员工只有 8 人。

4 月

高级运营副总裁乌尔斯·霍泽尔 (Urs Hoelzle) 加入 Google，同时也带来了我们的第一条“公司”狗由丝卡 (Yoshka)。

5 月

奥米德·柯德斯塔尼 (Omid Kordestani) 加入销售部门，他是我们的第一位非工程师员工。

6 月

我们在首份新闻稿中宣布，红杉资本 (Sequoia Capital) 和凯鹏华盈 (Kleiner Perkins) 向公司投资约 2500 万美元；约翰·杜尔 (John Doerr) 和迈克尔·莫瑞茨 (Michael Moritz) 加入董事会。

该新闻稿引用了莫瑞茨将“Google 用户”称为“Googler”的说法。

8 月

我们搬到公司在山景城的第一个办事处，地址为：东海岸大街 2400 号 (2400 E. Bayshore)。

山景城位于斯坦福大学以南和几座硅谷早期城镇（森尼韦尔、圣克拉拉、圣何塞）以北，相距都不过几英里。

11 月

查理·艾尔斯 (Charlie Ayers) 加入 Google，成为我们的首位厨师。

他在一场由公司 40 名员工担任裁判的烹饪比赛中获胜，因此获得了这份工作。

他此前就很出名，曾担任过“感恩死”(Grateful Dead) 乐队的厨师。

返回页首

2000

4 月

我们在愚人节那天发布了 MentalPlex，号称 Google 会读心术，能知道您心里想搜索什么。

从此以后，我们在每年的 4 月 1 日都会按硅谷的传统搞点恶作剧。

5 月

Google 最早的 10 种语言版本发布：法语、德语、意大利语、瑞典语、芬兰语、西班牙语、葡萄牙语、荷兰语、挪威语和丹麦语。

我们首次获得威比奖：技术成就奖 (Technical Achievement)（由评委评选）和用户拥戴奖 (Peoples’ Voice)（由用户评选）

6 月

我们与 Yahoo! 建立了合作伙伴关系，成为该公司的默认搜索提供商。

Google 率先宣布建立了 10 亿个网址的索引，从而成为全球最大的搜索引擎。

9 月

我们开始提供中文、日语和韩语搜索的服务，将我们界面语言增加到 15 种。

10 月

Google Ad 发布，最早拥有 350 名客户。

该自助广告计划可让客户使用信用卡进行在线激活，并提供关键字定位功能和广告效果反馈。

12 月

Google 工具栏发布。

利用该浏览器插件，无需访问 Google 首页即可进行搜索。

返回页首

2001

1 月

我们宣布聘用硅谷资深工程师韦恩·罗辛 (Wayne Rosing) 担任我们的首位工程部副总裁。

2 月

我们进行了首次公开收购，对象是 Deja 的 Use 论坛服务，该服务保存了自 1995 年以来的 5 亿条论坛信息。

我们在收购后增加了搜索和浏览功能，并以“Google 网上论坛”的形式推出。

3 月

埃里克·施密特 (Eric Schmidt) 被任命为董事长。

Google 的界面语言达到 26 种。

4 月

瑞典厨师用语 (Swedish Chef) 成为可选语言。

7 月

“Google 图片搜索”发布，提供 2.5 亿张图片供用户搜索。

8 月

我们在东京设立了首个海外办事处。

埃里克·施密特出任首席执行官。

拉里和塞吉分别被任命为产品部总裁和技术部总裁。

10 月

我们与 Universo Online (UOL) 建立了合作伙伴关系，此次合作使得 Google 成为数百万拉丁美洲用户的首选搜索服务。

12 月

持续关注：我们的索引规模增长到 30 亿份网络文档。

返回页首

2002

2 月

克林贡语（电影《星际迷航》中的语言）成为 Google 提供的 72 种界面语言之一。

首款 Google 硬件发布：该产品称为 Google Search Appliance，外观是一个黄色的盒子；企业可将该产品接入自己的计算机网络中，针对公司自己的文档启用搜索功能。

我们发布 Ad 的重要更新，其中包括每次点击费用定价的新功能。

4 月

在愚人节那天，我们宣布我们的搜索结果是由鸽子强力驱动的。

我们发布了一系列 API，可让开发人员查询超过 20 亿份网络文档，并在自己喜欢的环境（包括 Java、PERL 和 Visual Studio）中编程。

5 月

我们成为美国在线 (AOL) 的主要合作伙伴，向使用 puServe、Netscape 和 AOL 的 3400 万客户提供 Google 搜索服务和赞助商链接。

Google 实验室发布，可让用户试用我们研发小组新推出的各种测试版功能。

9 月

Google 新闻发布，囊括了 4000 条新闻来源。

10 月

我们在悉尼设立了首个澳大利亚办事处。

12 月

现在，用户可以通过 Froogle（后更名为 Google 购物）搜索要购买的商品了。

返回页首

2003

1 月

美国方言协会 (American Dialect Society) 将“google”评为 2002 年“最有用”的年度词汇。

2 月

我们收购了 Blogger 的开发公司 Pyra Labs。

3 月

我们发布新的内容定位广告服务，让大型和小型网站发布商都能使用 Google 的庞大广告客户网络。

（几周后的 4 月 23 日，我们收购了 Applied Semantics，并在该公司的技术支持下开发了 AdSense 服务。

）

4 月

我们推出面向公益组织的回馈广告计划 Google Grants，可让这些组织为自己的服务在 Google 投放广告。

10 月

推出首届编程挑战赛，程序员可以报名参加，赢取现金或荣誉奖。

编程人员可以使用 Java、C++、C# 或 VB.NET。

12 月

我们推出 Google Print（Google 图书搜索的前身），摘录图书的一小部分内容、将其编入索引并显示在搜索结果中。

返回页首

2004

1 月

我们推出 orkut，进军社交网络领域。

2 月

拉里·佩奇当选美国国家工程院 (National Academy of Engineering) 院士。

我们的搜索索引数再创新高，达到 60 亿个条目，其中包括 42.8 亿个网页和 8.8 亿幅图片。

3 月

我们搬到位于山景城露天剧场大道 1600 号 (1600 Amphitheatre Parkway) 的新总部大楼 Googleplex，为我们的 800 多名员工营造了一个校园式环境。

我们正式确定我们的企业部门并聘用戴夫·吉鲁亚德 (Dave Girouard) 担任总经理；记者于 4 月开始报导我们的企业搜索业务愿景。

我们推出 Google Local，提供相关的社区商家信息、地图和路线。

（后来，我们将 Google Local 与“Google 地图”合并。

）

4 月

为了庆祝愚人节，我们宣布要在月球上建立新研究机构 Googlunaplex。

5 月

我们发表了首批 Google 安妮塔·博格奖学金获得者的名单，以鼓励计算机科学专业的杰出女性。

现在，美国、加拿大、澳大利亚和欧洲的学生均可申请该奖学金。

8 月

我们于 8 月 19 日在华尔街进行首次公开募股，发行 19605052 股 A 类普通股，开盘价为每股 85 美元。

9 月

Google 网域超过 100 个（第 102 个是挪威域，第 103 个是肯尼亚域）。

现在，Google 网域已增至 180 多个。

10 月

我们在爱尔兰首都都柏林正式设立办事处，该办事处拥有 150 名通晓多种语言的 Google 员工。

塞吉和拉里出席了成立仪式，爱尔兰副总理玛丽·哈尼女士 (Mary Harney) 也在仪式上对办事处大加赞扬。

Google SMS（短信服务）发布，用户可以在移动设备上通过短信将文字搜索查询发送至 Google 或 466453。

拉里和塞吉成为马可尼协会 (Marconi Society) 的荣誉会员，该协会旨在表彰那些“在通信和互联网领域为人类进步做出的长远贡献”的科学家。

我们在印度的班加罗尔和海得拉巴为新的工程办事处举行了成立仪式，塞吉和拉里出席了该仪式。

Google 桌面搜索发布：用户可以开始利用 Google 的搜索技术搜索存 在自己硬盘上 文件和文档了。

我们推出测试版的 Google 学术搜索，该服务可让用户免费搜索学术文献（如同行评审的学术文章、论文、图书、预印本、摘要和技术报告）。

我们收购数字测图公司 Keyhole，该公司的技术即为 Google 地球的前身。

11 月

我们的网页索引数达到 80 亿。

12 月

我们成立了东京研发 (R&D) 中心，以吸引出类拔萃的日本工程师和其他亚洲工程师。

通过与哈佛大学图书馆、斯坦福大学图书馆、密歇根大学图书馆、牛津大学图书馆及纽约公共图书馆建立数字扫描合作伙伴关系，我们扩大了 Google Print Program（后来更名为 Google 图书搜索）的规模。

返回页首

2005

2 月

Google 图片搜索实现了里程碑式的跨越：索引中的图片数量达到 11 亿。

Google 地图上线。

3 月

我们推出 code.google，这一新网站提供各种开发人员资源（包括我们的所有 API）。

来自 6 个国家/地区的大约 14000 名编程人员参加了我们在印度举办的首届编程挑战赛，来自新加坡的阿迪安·克里斯坦拓·普诺莫 (Ardian Kristanto Poernomo) 获得冠军。

我们收购网络分析公司 Urchin，并通过该公司的技术开发 Google Analytics（分析）。

4 月

我们首次在欧洲地区（面向英国用户）发布“Google 地图”。

为了庆祝愚人节，我们宣布推出一种魔法饮料，这种饮料可让饮用者更聪明，从而能够更好地使用搜索结果。

Google 地图现在增加了卫星视图和路线功能。

移动版 Google Local 发布，其中包括短信发送驾车路线的功能。

我们通过“Google 实验室”推出我的搜索记录功能，该功能可让用户查看一段时间内自己访问过的所有网页以及进行过的所有 Google 搜索。

我们发布 Ad 的网站定位功能，该功能可让广告客户更准确地将广告定位到指定内容的网站。

5 月

我们发布 Blogger Mobile，该产品可让博主使用手机发博客或发送照片。

Google 学术搜索增加了对机构访问的支持：搜索用户现在可以搜索自己图书馆内的期刊文章了。

个性化首页（即现在的 iGoogle）的设计宗旨是让用户使用自己选择的内容模块自定义 Google 首页。

6 月

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。

08年谷歌发表过的论文

数据过拟合和算法变化影响了其预测结果。2014年《科学》杂志论文指出，谷歌流感趋势高估流感峰值的情况屡见不鲜。而两大重要原因—数据过拟合和算法变化影响了其预测结果。谷歌于2008年开发的谷歌流感趋势（Google&Flu&Trends）---跟踪分析流感关键词搜索数据，创建流感趋势实时地图，据美国《商业周刊》3月14日称，其预测效率远优于美国疾病控制与预防中心CDC。而《自然》杂志刊文称，谷歌流感趋势预测的流感病例数几乎是CDC统计数据的两倍。

Google 虽然是一家相对年轻的公司，但能量却不容小觑。我们在此记录了 Google 成长历程中的一些里程碑事件。1995-1997 · 1998 · 1999 · 2000 · 2001 · 2002 · 2003 · 2004 · 2005 · 2006 · 2007 · 2008 · 2009 · 20101995-19971995拉里·佩奇 (Larry Page) 和塞吉·布林 (Sergey Brin) 是在斯坦福大学相识的。（拉里当时 22 岁，刚刚从密歇根大学毕业，正在考虑选择哪个研究生院，而负责带他参观的正是 21 岁的塞吉。）据说，他们第一次见面时几乎在各方面都存在分歧。1996拉里和塞吉当时还是斯坦福大学计算机科学专业的研究生，他们开始合作开发一款名为 BackRub 的搜索引擎。BackRub 在斯坦福大学的服务器上运行了一年多的时间，但最终因占用带宽过多而使服务器不堪重负。1997拉里和塞吉决定为 BackRub 搜索引擎重新命名。经过一番集思广益，他们选择了 Google，这个词源自数学术语“googol”，表示数字 1 后面带 100 个零。之所以采用这个术语，是为了表明他们的目标：整合无穷尽的网络信息。返回页首19988 月Sun 的联合创始人安迪·贝托尔斯海姆 (Andy Bechtolsheim) 为当时还尚未成立的 Google Inc. 公司开出了 10 万美元的支票。9 月Google 的工作室设立在苏珊·沃西基 (Susan Wojcicki) 家的车库，位于门洛园圣玛格丽塔 232 号 (232 Santa Margarita, Menlo Park)。Google 公司于 9 月 4 日在美国加利福尼亚州注册成立。不久后，拉里和塞吉为新成立的公司开设了银行帐户，并存入了安迪·贝托尔斯海姆的赞助资金。拉里和塞吉招到了 Google 的第一个员工克雷格·西尔弗斯坦 (Craig Silverstein)；他也是斯坦福大学计算机科学专业的研究生。12 月“PC Magazine”报道称“Google 拥有返回高度相关的搜索结果的神奇功能”；我们还入选了该杂志的精选搜索引擎，列在 1998 年度的“最佳 100 网站”之列。返回页首19992 月随着公司规模的壮大，我们将办公地点从车库搬到了帕罗奥图的大学街 165 号 (165 University Avenue)，当时的员工只有 8 人。4 月高级运营副总裁乌尔斯·霍泽尔 (Urs Hoelzle) 加入 Google，同时也带来了我们的第一条“公司”狗由丝卡 (Yoshka)。5 月奥米德·柯德斯塔尼 (Omid Kordestani) 加入销售部门，他是我们的第一位非工程师员工。6 月我们在首份新闻稿中宣布，红杉资本 (Sequoia Capital) 和凯鹏华盈 (Kleiner Perkins) 向公司投资约 2500 万美元；约翰·杜尔 (John Doerr) 和迈克尔·莫瑞茨 (Michael Moritz) 加入董事会。该新闻稿引用了莫瑞茨将“Google 用户”称为“Googler”的说法。8 月我们搬到公司在山景城的第一个办事处，地址为：东海岸大街 2400 号 (2400 E. Bayshore)。山景城位于斯坦福大学以南和几座硅谷早期城镇（森尼韦尔、圣克拉拉、圣何塞）以北，相距都不过几英里。11 月查理·艾尔斯 (Charlie Ayers) 加入 Google，成为我们的首位厨师。他在一场由公司 40 名员工担任裁判的烹饪比赛中获胜，因此获得了这份工作。他此前就很出名，曾担任过“感恩死”(Grateful Dead) 乐队的厨师。返回页首20004 月我们在愚人节那天发布了 MentalPlex，号称 Google 会读心术，能知道您心里想搜索什么。从此以后，我们在每年的 4 月 1 日都会按硅谷的传统搞点恶作剧。5 月Google.com 最早的 10 种语言版本发布：法语、德语、意大利语、瑞典语、芬兰语、西班牙语、葡萄牙语、荷兰语、挪威语和丹麦语。我们首次获得威比奖：技术成就奖 (Technical Achievement)（由评委评选）和用户拥戴奖 (Peoples’ Voice)（由用户评选）6 月我们与 Yahoo! 建立了合作伙伴关系，成为该公司的默认搜索提供商。Google 率先宣布建立了 10 亿个网址的索引，从而成为全球最大的搜索引擎。9 月我们开始提供中文、日语和韩语搜索的服务，将我们界面语言增加到 15 种。10 月Google AdWords 发布，最早拥有 350 名客户。该自助广告计划可让客户使用信用卡进行在线激活，并提供关键字定位功能和广告效果反馈。12 月Google 工具栏发布。利用该浏览器插件，无需访问 Google 首页即可进行搜索。返回页首20011 月我们宣布聘用硅谷资深工程师韦恩·罗辛 (Wayne Rosing) 担任我们的首位工程部副总裁。2 月我们进行了首次公开收购，对象是 Deja.com 的 Usenet 论坛服务，该服务保存了自 1995 年以来的 5 亿条论坛信息。我们在收购后增加了搜索和浏览功能，并以“Google 网上论坛”的形式推出。3 月埃里克·施密特 (Eric Schmidt) 被任命为董事长。Google.com 的界面语言达到 26 种。4 月瑞典厨师用语 (Swedish Chef) 成为可选语言。7 月“Google 图片搜索”发布，提供 2.5 亿张图片供用户搜索。8 月我们在东京设立了首个海外办事处。埃里克·施密特出任首席执行官。拉里和塞吉分别被任命为产品部总裁和技术部总裁。10 月我们与 Universo Online (UOL) 建立了合作伙伴关系，此次合作使得 Google 成为数百万拉丁美洲用户的首选搜索服务。12 月持续关注：我们的索引规模增长到 30 亿份网络文档。返回页首20022 月克林贡语（电影《星际迷航》中的语言）成为 Google 提供的 72 种界面语言之一。首款 Google 硬件发布：该产品称为 Google Search Appliance，外观是一个黄色的盒子；企业可将该产品接入自己的计算机网络中，针对公司自己的文档启用搜索功能。我们发布 AdWords 的重要更新，其中包括每次点击费用定价的新功能。4 月在愚人节那天，我们宣布我们的搜索结果是由鸽子强力驱动的。我们发布了一系列 API，可让开发人员查询超过 20 亿份网络文档，并在自己喜欢的环境（包括 Java、PERL 和 Visual Studio）中编程。5 月我们成为美国在线 (AOL) 的主要合作伙伴，向使用 CompuServe、Netscape 和 AOL.com 的 3400 万客户提供 Google 搜索服务和赞助商链接。Google 实验室发布，可让用户试用我们研发小组新推出的各种测试版功能。9 月Google 新闻发布，囊括了 4000 条新闻来源。10 月我们在悉尼设立了首个澳大利亚办事处。12 月现在，用户可以通过 Froogle（后更名为 Google 购物）搜索要购买的商品了。返回页首20031 月美国方言协会 (American Dialect Society) 将“google”评为 2002 年“最有用”的年度词汇。2 月我们收购了 Blogger 的开发公司 Pyra Labs。3 月我们发布新的内容定位广告服务，让大型和小型网站发布商都能使用 Google 的庞大广告客户网络。（几周后的 4 月 23 日，我们收购了 Applied Semantics，并在该公司的技术支持下开发了 AdSense 服务。）4 月我们推出面向公益组织的回馈广告计划 Google Grants，可让这些组织为自己的服务在 Google 投放广告。10 月推出首届编程挑战赛，程序员可以报名参加，赢取现金或荣誉奖。编程人员可以使用 Java、C++、C# 或 VB.NET。12 月我们推出 Google Print（Google 图书搜索的前身），摘录图书的一小部分内容、将其编入索引并显示在搜索结果中。返回页首20041 月我们推出 orkut，进军社交网络领域。2 月拉里·佩奇当选美国国家工程院 (National Academy of Engineering) 院士。我们的搜索索引数再创新高，达到 60 亿个条目，其中包括 42.8 亿个网页和 8.8 亿幅图片。3 月我们搬到位于山景城露天剧场大道 1600 号 (1600 Amphitheatre Parkway) 的新总部大楼 Googleplex，为我们的 800 多名员工营造了一个校园式环境。我们正式确定我们的企业部门并聘用戴夫·吉鲁亚德 (Dave Girouard) 担任总经理；记者于 4 月开始报导我们的企业搜索业务愿景。我们推出 Google Local，提供相关的社区商家信息、地图和路线。（后来，我们将 Google Local 与“Google 地图”合并。）4 月为了庆祝愚人节，我们宣布要在月球上建立新研究机构 Googlunaplex。5 月我们发表了首批 Google 安妮塔·博格奖学金获得者的名单，以鼓励计算机科学专业的杰出女性。现在，美国、加拿大、澳大利亚和欧洲的学生均可申请该奖学金。8 月我们于 8 月 19 日在华尔街进行首次公开募股，发行 19605052 股 A 类普通股，开盘价为每股 85 美元。9 月Google 网域超过 100 个（第 102 个是挪威域，第 103 个是肯尼亚域）。现在，Google 网域已增至 180 多个。10 月我们在爱尔兰首都都柏林正式设立办事处，该办事处拥有 150 名通晓多种语言的 Google 员工。塞吉和拉里出席了成立仪式，爱尔兰副总理玛丽·哈尼女士 (Mary Harney) 也在仪式上对办事处大加赞扬。Google SMS（短信服务）发布，用户可以在移动设备上通过短信将文字搜索查询发送至 Google 或 466453。拉里和塞吉成为马可尼协会 (Marconi Society) 的荣誉会员，该协会旨在表彰那些“在通信和互联网领域为人类进步做出的长远贡献”的科学家。我们在印度的班加罗尔和海得拉巴为新的工程办事处举行了成立仪式，塞吉和拉里出席了该仪式。Google 桌面搜索发布：用户可以开始利用 Google 的搜索技术搜索存 在自己硬盘上 文件和文档了。我们推出测试版的 Google 学术搜索，该服务可让用户免费搜索学术文献（如同行评审的学术文章、论文、图书、预印本、摘要和技术报告）。我们收购数字测图公司 Keyhole，该公司的技术即为 Google 地球的前身。11 月我们的网页索引数达到 80 亿。12 月我们成立了东京研发 (R&D) 中心，以吸引出类拔萃的日本工程师和其他亚洲工程师。通过与哈佛大学图书馆、斯坦福大学图书馆、密歇根大学图书馆、牛津大学图书馆及纽约公共图书馆建立数字扫描合作伙伴关系，我们扩大了 Google Print Program（后来更名为 Google 图书搜索）的规模。返回页首20052 月Google 图片搜索实现了里程碑式的跨越：索引中的图片数量达到 11 亿。Google 地图上线。3 月我们推出 code.google.com，这一新网站提供各种开发人员资源（包括我们的所有 API）。来自 6 个国家/地区的大约 14000 名编程人员参加了我们在印度举办的首届编程挑战赛，来自新加坡的阿迪安·克里斯坦拓·普诺莫 (Ardian Kristanto Poernomo) 获得冠军。我们收购网络分析公司 Urchin，并通过该公司的技术开发 Google Analytics（分析）。4 月我们首次在欧洲地区（面向英国用户）发布“Google 地图”。为了庆祝愚人节，我们宣布推出一种魔法饮料，这种饮料可让饮用者更聪明，从而能够更好地使用搜索结果。Google 地图现在增加了卫星视图和路线功能。移动版 Google Local 发布，其中包括短信发送驾车路线的功能。我们通过“Google 实验室”推出我的搜索记录功能，该功能可让用户查看一段时间内自己访问过的所有网页以及进行过的所有 Google 搜索。我们发布 AdWords 的网站定位功能，该功能可让广告客户更准确地将广告定位到指定内容的网站。5 月我们发布 Blogger Mobile，该产品可让博主使用手机发博客或发送照片。Google 学术搜索增加了对机构访问的支持：搜索用户现在可以搜索自己图书馆内的期刊文章了。个性化首页（即现在的 iGoogle）的设计宗旨是让用户使用自己选择的内容模块自定义 Google 首页。6 月

上网查吧，这玩意太多，不过我觉得谷歌其实挺好的，好就好在那个手气不错。。

等会让他赶紧染发剂对人体

谷歌发表的论文

等会让他赶紧染发剂对人体

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。

谷歌发表的论文GFS

大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通过大量的统计了解大家的喜好，想要的东西，从而得到他们想要的，比如精准营销，征信分析，消费分析等等

分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine (译 zz)3. web search for a planet :the google cluster architecture(译)4. GFS：google文件系统 (译)5. MapReduce: Simplied Data Processing on Large Clusters (译)6. Bigtable: A Distributed Storage System for Structured Data (译)7. Chubby: The Chubby lock service for loosely-coupled distributed systems (译)8. Sawzall:Interpreting the Data--Parallel Analysis with Sawzall (译 zz)9. Pregel: A System for Large-Scale Graph Processing (译)10. Dremel: Interactive Analysis of WebScale Datasets(译zz)11. Percolator: Large-scale Incremental Processing Using Distributed Transactions and Notifications(译zz)12. MegaStore: Providing Scalable, Highly Available Storage for Interactive Services(译zz)13. Case Study GFS: Evolution on Fast-forward (译)14. Google File System II: Dawn of the Multiplying Master Nodes15. Tenzing - A SQL Implementation on the MapReduce Framework (译)16. F1-The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business17. Elmo: Building a Globally Distributed, Highly Available Database18. PowerDrill：Processing a Trillion Cells per Mouse Click19. Google-Wide Profiling:A Continuous Profiling Infrastructure for Data Centers20. Spanner: Google’s Globally-Distributed Database(译zz)21. Dapper, a Large-Scale Distributed Systems Tracing Infrastructure(笔记)22. Omega: flexible, scalable schedulers for large compute clusters23. CPI2: CPU performance isolation for shared compute clusters24. Photon: Fault-tolerant and Scalable Joining of Continuous Data Streams(译)25. F1: A Distributed SQL Database That Scales26. MillWheel: Fault-Tolerant Stream Processing at Internet Scale(译)27. B4: Experience with a Globally-Deployed Software Defined WAN28. The Datacenter as a Computer29. Google brain-Building High-level Features Using Large Scale Unsupervised Learning30. Mesa: Geo-Replicated, Near Real-Time, Scalable Data Warehousing(译zz)31. Large-scale cluster management at Google with Borg google系列论文翻译集(合集)二．分布式理论系列00. Appraising Two Decades of Distributed Computing Theory Research 0. 分布式理论系列译序1. A brief history of Consensus_ 2PC and Transaction Commit (译)2. 拜占庭将军问题 (译) --Leslie Lamport3. Impossibility of distributed consensus with one faulty process (译)4. Leases：租约机制 (译)5. Time Clocks and the Ordering of Events in a Distributed System(译) --Leslie Lamport6. 关于Paxos的历史7. The Part Time Parliament (译 zz) --Leslie Lamport 8. How to Build a Highly Available System Using Consensus(译)9. Paxos Made Simple (译) --Leslie Lamport10. Paxos Made Live - An Engineering Perspective(译) 11. 2 Phase Commit(译) 12. Consensus on Transaction Commit(译) --Jim Gray & Leslie Lamport 13. Why Do Computers Stop and What Can Be Done About It?(译) --Jim Gray 14. On Designing and Deploying Internet-Scale Services(译) --James Hamilton 15. Single-Message Communication(译)16. Implementing fault-tolerant services using the state machine approach 17. Problems, Unsolved Problems and Problems in Concurrency 18. Hints for Computer System Design 19. Self-stabilizing systems in spite of distributed control 20. Wait-Free Synchronization 21. White Paper Introduction to IEEE 1588 & Transparent Clocks 22. Unreliable Failure Detectors for Reliable Distributed Systems 23. Life beyond Distributed Transactions:an Apostate’s Opinion(译zz) 24. Distributed Snapshots: Determining Global States of a Distributed System --Leslie Lamport 25. Virtual Time and Global States of Distributed Systems 26. Timestamps in Message-Passing Systems That Preserve the Partial Ordering 27. Fundamentals of Distributed Computing:A Practical Tour of Vector Clock Systems 28. Knowledge and Common Knowledge in a Distributed Environment 29. Understanding Failures in Petascale Computers 30. Why Do Internet services fail, and What Can Be Done About It? 31. End-To-End Arguments in System Design 32. Rethinking the Design of the Internet: The End-to-End Arguments vs. the Brave New World 33. The Design Philosophy of the DARPA Internet Protocols(译zz) 34. Uniform consensus is harder than consensus 35. Paxos made code - Implementing a high throughput Atomic Broadcast 36. RAFT:In Search of an Understandable Consensus Algorithm分布式理论系列论文翻译集(合集)三．数据库理论系列0. A Relational Model of Data for Large Shared Data Banks --E.F.Codd 19701. SEQUEL：A Structured English Query Language 19742. Implentation of a Structured English Query Language 19753. A System R: Relational Approach to Database Management 19764. Granularity of Locks and Degrees of Consistency in a Shared DataBase --Jim Gray 19765. Access Path Selection in a RDBMS 1979 6. The Transaction Concept:Virtues and Limitations --Jim Gray7. 2pc-2阶段提交：Notes on Data Base Operating Systems --Jim Gray8. 3pc-3阶段提交：NONBLOCKING COMMIT PROTOCOLS9. MVCC：Multiversion Concurrency Control-Theory and Algorithms --1983 10. ARIES: A Transaction Recovery Method Supporting Fine-Granularity Locking and Partial Rollbacks Using Write-Ahead Logging-199211. A Comparison of the Byzantine Agreement Problem and the Transaction Commit Problem --Jim Gray 12. A Formal Model of Crash Recovery in a Distributed System - Skeen, D. Stonebraker13. What Goes Around Comes Around - Michael Stonebraker, Joseph M. Hellerstein 14. Anatomy of a Database System -Joseph M. Hellerstein, Michael Stonebraker 15. Architecture of a Database System(译zz) -Joseph M. Hellerstein, Michael Stonebraker, James Hamilton四．大规模存储与计算(NoSql理论系列)0. Towards Robust Distributed Systems：Brewer's 2000 PODC key notes1. CAP理论2. Harvest, Yield, and Scalable Tolerant Systems3. 关于CAP 4. BASE模型：BASE an Acid Alternative5. 最终一致性6. 可扩展性设计模式7. 可伸缩性原则8. NoSql生态系统9. scalability-availability-stability-patterns10. The 5 Minute Rule and the 5 Byte Rule (译) 11. The Five-Minute Rule Ten Years Later and Other Computer Storage Rules of Thumb12. The Five-Minute Rule 20 Years Later(and How Flash Memory Changes the Rules)13. 关于MapReduce的争论14. MapReduce：一个巨大的倒退15. MapReduce：一个巨大的倒退(II)16. MapReduce和并行数据库，朋友还是敌人？(zz)17. MapReduce and Parallel DBMSs-Friends or Foes (译)18. MapReduce:A Flexible Data Processing Tool (译)19. A Comparision of Approaches to Large-Scale Data Analysis (译)20. MapReduce Hold不住？(zz) 21. Beyond MapReduce：图计算概览22. Map-Reduce-Merge: simplified relational data processing on large clusters23. MapReduce Online24. Graph Twiddling in a MapReduce World25. Spark: Cluster Computing with Working Sets26. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing27. Big Data Lambda Architecture28. The 8 Requirements of Real-Time Stream Processing29. The Log: What every software engineer should know about real-time data's unifying abstraction30. Lessons from Giant-Scale Services五．基本算法和数据结构1. 大数据量，海量数据处理方法总结2. 大数据量，海量数据处理方法总结(续)3. Consistent Hashing And Random Trees4. Merkle Trees5. Scalable Bloom Filters6. Introduction to Distributed Hash Tables7. B-Trees and Relational Database Systems8. The log-structured merge-tree (译)9. lock free data structure10. Data Structures for Spatial Database11. Gossip12. lock free algorithm13. The Graph Traversal Pattern六．基本系统和实践经验1. MySQL索引背后的数据结构及算法原理2. Dynamo: Amazon’s Highly Available Key-value Store (译zz)3. Cassandra - A Decentralized Structured Storage System (译zz)4. PNUTS: Yahoo!’s Hosted Data Serving Platform (译zz)5. Yahoo!的分布式数据平台PNUTS简介及感悟(zz)6. LevelDB：一个快速轻量级的key-value存储库(译)7. LevelDB理论基础8. LevelDB：实现(译)9. LevelDB SSTable格式详解10. LevelDB Bloom Filter实现11. Sawzall原理与应用12. Storm原理与实现13. Designs, Lessons and Advice from Building Large Distributed Systems --Jeff Dean14. Challenges in Building Large-Scale Information Retrieval Systems --Jeff Dean15. Experiences with MapReduce, an Abstraction for Large-Scale Computation --Jeff Dean16. Taming Service Variability,Building Worldwide Systems,and Scaling Deep Learning --Jeff Dean17. Large-Scale Data and Computation:Challenges and Opportunitis --Jeff Dean18. Achieving Rapid Response Times in Large Online Services --Jeff Dean19. The Tail at Scale(译) --Jeff Dean & Luiz André Barroso 20. How To Design A Good API and Why it Matters21. Event-Based Systems:Architect's Dream or Developer's Nightmare?22. Autopilot: Automatic Data Center Management七．其他辅助系统1. The ganglia distributed monitoring system:design, implementation, and experience2. Chukwa: A large-scale monitoring system3. Scribe : a way to aggregate data and why not, to directly fill the HDFS?4. Benchmarking Cloud Serving Systems with YCSB5. Dynamo Dremel ZooKeeper Hive 简述八. Hadoop相关0. Hadoop Reading List1. The Hadoop Distributed File System(译)2. HDFS scalability:the limits to growth(译)3. Name-node memory size estimates and optimization proposal.4. HBase Architecture(译)5. HFile：A Block-Indexed File Format to Store Sorted Key-Value Pairs6. HFile V27. Hive - A Warehousing Solution Over a Map-Reduce Framework8. Hive – A Petabyte Scale Data Warehouse Using Hadoop转载请注明作者：phylips@bmy 2011-4-30

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。数据存取：关系数据库、NOSQL、SQL等。基础架构：云存储、分布式文件存储等。数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)模型预测：预测模型、机器学习、建模仿真。结果呈现：云计算、标签云、关系图等。要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。第一，数据体量巨大。从TB级别，跃升到PB级别。第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。

谷歌发表论文

可解释性仍然是现代深度学习应用的最大挑战之一

相信这两天大家朋友圈都被Google Map新功能演示刷屏了，视频中介绍说Google Map将在一些城市实现实景渲染，在手机中能够就从不同视角能逼真地浏览城市场景，甚至还能实现从室外到室内的无缝融合。

这个视频引发很多讨论，看明白的、看不明白的都在各抒己见，真的非常有意思。有人看到视频中从室外飞到室内，就联想到国内房地产行业做的一些卖房应用，直言房地产公司已经吊打谷歌；也有人看到视频中围绕着威斯敏特大教堂转一圈，就觉得这不就是倾斜摄影，早就烂大街的东西。

那正在看这篇文章的读者，你的心里又是什么看法呢？

究竟是不是谷歌不行了呢？

02

Block-NeRF是什么？

伟人说过，没有调查就没有发言权。想搞清楚这背后的技术细节，最好的办法就是去看文献。刚好在CVPR 2022会议上就有一篇Google员工发表的论文《 Block-NeRF: Scalable Large Scene Neural View Synthesis 》，该论文就是Google Map这次产品更新背后的实现技术。

单看论文题目，可以知道这篇文章主要介绍一种叫做Block-NeRF的新方法，这个方法可以进行大场景神经视图合成。

视图合成，简单来说就是根据已有的视图（也就是图片）来合成一张不同视角下的新图片。举个不恰当的例子，你站在一个人左侧拍了一张照片，又站在一个人的右侧拍了一张照片，这时候你想知道站在这个人正前方拍的照片是什么样的。你在这个人左右两侧拍的照片就是已有的视图，而你想要的正前方的照片就是需要合成的视图。

当然，实际操作中一般会拍摄更多的照片，否则就难以达到理想的效果。视图合成并不是什么新概念，早期很多Image Based Rendering方向的论文就是做这个的，比较基础的方法也就是通过对现有图像进行插值来生成新的图像。当然，为了不断地提升合成图像的质量，方法变得越来越复杂。

来到AI时代，自然也会有人考虑用AI做视图合成，其中的佼佼者就是NeRF。NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作，其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度，仅用2D的姿态已知的图像作为监督，即可表示复杂的三维场景，在新视角合成这一任务上取得非常好的效果。但是NeRF受限于有限的模型容量，只能重建小尺度场景，比如一个物体、一个房间、一栋建筑等等。

Google在NeRF的基础上更进一步，通过将场景分割为多个部分，每个部分单独用一个NeRF进行训练，最后将各个NeRF合成的视图混合，从而实现大场景的视图合成。这就是Block-NeRF最核心的思想。

03

你还认为Google Map渲染的是倾斜吗？

我们现在文章里找找证据。文章在研究现状首先就介绍了大场景三维重建的内容，提到COLMAP、PMVS等知名计算机视觉项目，但同时也提到通过3D重建得到的模型存在很多变形和黑洞，这正是现在倾斜摄影模型存在的严重问题。

最后，总结说三维重建更加注重精度，而本文的任务属于新视图合成领域，甚至Block-NeRF算法都没有利用SfM(Structure from Motion)算法来获取相机位姿，仅利用车载传感器读数作为模型训练数据。

看到这里，我想大家都知道Google Map渲染的不是倾斜模型了。可是为什么要大费周章地用几百万张图片来训练Block-NeRF模型呢？从视频中不难看出，浏览过程中非常平滑，没有倾斜那种LOD过渡的感觉，而且，合成出来的图像还可以进行光照、天气等效果的调整。

当然，肯定还会有人说，现在把倾斜摄影模型导入 游戏 引擎也能有各种光照和天气效果，但是倾斜摄影模型本身的纹理就已经记录拍摄时的光照信息，即使添加一些 游戏 引擎的效果，所看到的画面也没有Google Map那么纯净。

另外，Block-Neft里还提到在制作训练数据时，把图片中的移动目标（如车和行人）等遮罩掉，使得合成的图像里不会出现车和行人的干扰。相较之下，倾斜摄影模型中的车辆和行人往往需要人工去压平修复。

从个人角度来说，我觉得Block-NeRF比倾斜摄影更加优雅。只要根据用户浏览的位置和朝向，就可以在云端实时渲染出一张以假乱真的图片。虽然倾斜也可以走云渲染的路线，但就显示效果和渲染效率来说，目前看到的应用案例也仅仅时刚刚够用而已。至于Block-NeRF会不会取代倾斜摄影，个人觉得目前并不需要此类的担心。

推动神经网络的研究，使得人们对其更加了解

最近，谷歌大脑团队发表了一篇论文，文中提出了一种叫做概念激活向量（Concept Activation vectors，CAV）的新方法，这种方法为深度学习模型的可解释性提供了一个全新的视角。

可解释性仍然是现代深度学习应用的最大挑战之一。计算模型和深度学习研究领域近期取得了很大进展，创建了非常复杂的模型，这些模型可以包括数千个隐藏层、数千万神经元。虽然创建高级深度神经网络相对简单，但理解如何创建这些模型以及它们如何使用知识仍然是一个挑战。最近，谷歌大脑（Google Brain）团队发表了一篇论文《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》，提出一种叫作「概念激活向量」（Concept Activation Vectors，CAV）的新方法，为深度学习模型的可解释性提供了全新视角。

可解释性与准确率：理解 CAV 技术，需要首先理解深度学习模型可解释性难题的本质。在这一代深度学习技术中，模型准确率与可解释性之间存在永久的冲突。可解释性与准确性之间的冲突也是实现复杂知识任务与如何实现这些任务之间的冲突。知识与控制、性能与可解释性、效率与简洁……这些问题都可以通过权衡准确率与可解释性来解释。

你想要最佳结果还是想理解这些结果是如何产生的？这是数据科学家在每个深度学习场景中都要回答的问题。很多深度学习技术本质上是复杂的，尽管在很多情况下它们产生的结果是准确的，但是它们难以解释。如果我们绘制一些著名深度学习模型的可解释性和准确率，可以得到：深度学习模型的可解释性不是一个单一的概念，可以跨多个层次来理解：要跨越上图定义的层次来解释模型，需要一些基础的构建块。在近期的一篇文章中，谷歌的研究人员概述了他们认为解释模型所需的基础构建块。

谷歌将可解释性原则总结如下：理解隐藏层做了什么：深度学习模型中的大部分知识是在隐藏层中形成的。要解释深度学习模型，必须要从宏观角度理解不同隐藏层的功能。理解节点是如何激活的：可解释性的关键不是理解网络中单一神经元的功能，而是要理解在同一空间位置一起激活的互相连接的神经元组。通过互相连接的神经元组分割网络可以从更简单的抽象层次来理解其功能。理解概念是如何形成的：深度神经网络如何形成可组装成最终输出的单个概念，理解这一问题是另一个关键的可解释性构建块。