论文是发表在哪的

论文是发表在哪的

在期刊上发表，需要根据你的专业和要求来选择期刊，比如建筑、经济、医学等等。对论文上网有没有要求，比如知网、万方、维普等。建议在参加评审前1-2年准备好论文。具体以当地评审要求为准。发表论文前一定要查看自己省份对评审论文的要求，各省对论文发表的要求有细微的差别，一般来说文章字数在2000~5000 字左右。每个单位对于评职称都会有相关的文件要求，比如：论文必须发表在国内正规刊物上，有CN刊号和ISSN刊号，或者明确强调需要知网、万方等数据库收录的刊物，这些都是要求。提前搞懂这些要求，才能更好地按照要求去准备论文。要了解清楚时间，这里说的时间，包含：版面时间、见刊时间、上网时间三个。(1)版面时间：每家杂志社都会提前收稿，或者收稿很慢，如果组稿编辑告诉你22年12月版面，1月出刊，则意思就是你的论文会刊登在22年的12月版面上，为什么说这个问题，因为有的用人单位要求论文必须发表在当年内，所以即使它是1月出刊，但是版面在22年12月，也是符合单位评职称要求的；(2)见刊时间：见刊时间就是作者看到论文发表被刊登在杂志里的时间，因为单位在评职称事，都会要求拿上论文发表所在刊物杂志，所以见刊时间很重要；(3)上网时间：上网就是我们说的论文被数据库（知网、万方、维普、龙源等）收录了，上网时间一般在见刊时间1-3个月内，了解这个时间，是因为有的单位对于论文发表的认可，单单见到刊物是不算的，必须要被数据库收录了才能评职称。

问题一：发表论文去哪里投稿 若你是初次投稿，建议先找些门槛低的省级期刊投稿，这类杂志有《故事》、《故事汇》、《故事世界》、《幽默与笑话》。另外《知识窗》、《青年科学》、《思维与智慧》这些杂志你也可去试试。投稿时，你还要注意投稿格式，电子邮件投稿注意事项。 在这里顺便给你介绍一些注意事项，以提高你命中率：稿件后面要有完备的联系方式：作者名字、署名、地址、电话、邮箱，QQ什么的都要详细，以便编辑联系你啊！要是没有这些，发了你文章，难找你拿稿酬！ 用电子邮件投稿，得注明投什么栏目，写上你名字和稿件名字。 另外，现在《故事会》在征稿。其原创稿酬千字400元，笑话每篇最高稿酬100元。 希望能解决您的问题。 问题二：哪里可以发表论文 有的啊，，， 问题三：论文在哪里发表 一般在期刊上发表讠仑文基本上都是需要评职称才发的，一般这种的找那种代理就行，网上很多的不过也有不可靠的，最好找熟人介绍下比较好，我发的时候就是同事介绍的壹品优，我也是直接就在那边发了，和同事说的差不多，挺好的。如果你没有熟人介绍不行就去看看。 问题四：在哪里发表论文比较可靠 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题五：论文在哪发表比较好？ 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题六：在哪里可以发表论文 有的啊，， 问题七：在哪可以发表论文 你发论文主要是干嘛用的 问题八：评职称在哪发表论文 我也是广告，给你一个参考：第一，化工行业中级职称，如果没有意外的话，普刊，就是国家级或者省级刊物就可以。所谓的意外，就是说你可能处于大学或者科研单位，这样的话中级才会要求核心刊物。第二，价格问题，核心我就不说了，浮动太大没法说估计你也用不着，通常而言，综合科技类的省级和国家级价格基本持平，在五百左右，这个价格仅供参考，每个期刊都有自己的价格，如果是化工类专业性强一点的，价格可能略贵。大家不说价格的原因是公开的地方不方便，每个人都有自己的渠道，高了低了难免有纠纷，估计你也能理解，此外，注意无论是找编辑部还是找代理，资金安全要注意。定金和真伪鉴定都是作者需要考察的东西。我是代理，前几天还遇到了《学问》这个期刊的假刊，差点上当。 问题九：医学论文在哪发表论文好？ 这个要看你的具体专业，以及对发表杂志有无要求。 比如你是传染病防治的，那最好还是发中国疾病控制之类的。 比如你要求中文核心期刊，那就选择专业对口的中文核心。 比如你要求SCI，那就选择SCI杂志。

bert是哪篇论文在哪发表的

google在2018年10月底公布BERT在11项nlp任务中的卓越表现，NLP任务的两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等，此后，BERT（Bidirectional Encoder Representation from Transformers)就成为NLP领域大火、整个ML界略有耳闻的模型。 BERT的出现，彻底改变了预训练产生词向量和下游具体NLP任务的关系，提出龙骨级的训练词向量概念。 词向量，就是用一个向量的形式表示一个词。 （1）one-hot编码：词的符号化。 （2）词的分布式表示：词的语义由其上下文决定。以（CBOW）为例，如果有一个句子“the cat sits one the mat”，在训练的时候，将“the cat sits one the”作为输入，预测出最后一个词是“mat”。分布式表示的较大优点在于它具有非常强大的表征能力，比如n维向量每维k个值，可以表征k的n次方个概念。 其中，词嵌入就是分布式表示的一种：基于神经网络的分布表示一般称为词向量、词嵌入（ word embedding）或分布式表示（ distributed representation）。核心依然是上下文的表示以及上下文与目标词之间的关系的建模。本质：词向量是训练神经网络时候的隐藏层参数或者说矩阵。 两种训练模式：CBOW (Continuous Bag-of-Words Model)和Skip-gram (Continuous Skip-gram Model) NLP任务分成两部分，一是预训练产生词向量，二是对词向量操作实现特定功能。而词向量模型是一个工具，可以把抽象存在的文字转换成可以进行数学公式操作的向量，而对这些向量的操作，才是NLP真正要做的任务。从word2vec到ELMo到BERT，做的其实主要是把下游具体NLP任务的活逐渐移到预训练产生词向量上。 （1）word2vec：上下文概率的一种表示，但无法对一词多义进行建模 （2）ELMo：用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。 在预训练好这个语言模型之后，ELMo就是根据下面的公式来用作词表示，其实就是把这个双向语言模型的每一中间层进行一个求和。最简单的也可以使用最高层的表示来作为ELMo。 然后在进行有监督的NLP任务时，可以将ELMo直接当做特征拼接到具体任务模型的词向量输入或者是模型的最高层表示上。总结一下，不像传统的词向量，每一个词只对应一个词向量，ELMo利用预训练好的双向语言模型，然后根据具体输入从该语言模型中可以得到上下文依赖的当前词表示（对于不同上下文的同一个词的表示是不一样的），再当成特征加入到具体的NLP有监督模型里。 （3）bert word2vec——>ELMo： 结果：上下文无关的static向量变成上下文相关的dynamic向量，比如苹果在不同语境vector不同。 操作：encoder操作转移到预训练产生词向量过程实现。 ELMo——>BERT： 结果：训练出的word-level向量变成sentence-level的向量，下游具体NLP任务调用更方便，修正了ELMo模型的潜在问题。 操作：使用句子级负采样获得句子表示/句对关系，Transformer模型代替LSTM提升表达和时间上的效率，masked LM解决“自己看到自己”的问题。 （1）bert模型证明了双向预训练对于语言表示的重要性。与采用单向语言模型进行预训练的模型不同，BERT使用masked language models 进行预训练的深层双向表示。 （2）经过预训练的模型表示解决了许多为特定任务而设计架构的需要。BERT是第一个基于微调的表示模型，它在一系列句子级和词级别的任务上实现了最先进的性能，优于许多具有特定任务架构的系统。 bert架构由两步实现：预训练和模型微调；在预训练阶段，基于无标注数据通过多轮预训练任务完成。在微调阶段，bert模型由预训练的参数进行初始化，然后由待下游的任务数据进行参数微调。 bert模型是多层双向transformer编码器。将层的数量（Transformer blocks）表示为L，隐藏的大小表示为H，而self-attention heads 为A。在所有的情况下，我们将feed-forward/filter大小设置为4H，即H＝768时，为3072， H＝1024时，为4096. bert的两种格式： BERTBASE : L=12, H=768, A=12, Total Parameter=110M， BERTLARGE : L=24, H=1024, A=16, Total Parameters=340M 为了使用bert可以应对各式各样的下游任务，bert的输入为token序列，它可以表示一个句子或句子对（比如对话）。使用该方案，输入可以是任意跨度的相邻文本，即一个token序列可以是单个句子，也可以是多个句子。 具体地说，bert使用30000个词的词级别的embeddings。每个序列的起始token是[CLS]。句子对被打包在一个序列中，用两种方式区别句子。方法一，使用特殊token[SEP]；方法二，在每个标记中添加一个学习过的嵌入，表示它是属于句子A还是句子B。 两个无监督任务对BERT进行训练。 任务一：Masked LM语言模型。 为了训练双向表示模型，随机按百分比的方式（一般选15%）屏蔽输入序列中的部分词，然后预测那些屏蔽词。在这种情况下，屏蔽词的最终隐向量经softmax运算后输出。有点类似于中文的完形填空。 虽然如些操作可以获得一个双向的预训练模型，但这在预训练和微调之间创建了一个不匹配，因为在微调过程中从来没有见过［MASK］词。为了减轻这一点，我们并不总是用实际的［MASK］词替换被屏蔽的词。相反，生成随机选择15%的词进行预测，例如在句子 my dog is hairy 选择了 hairy。接着执行下面的过程： 数据生成器不会总是用［MASK] 替换所选单词，而是执行以下操作： 80%的时间，将单词替换为［MASK］词。例如 my dog is hairy -> my dog is [MASK] 10%的时间， 用一个随机词替换这个词， 例如 my dog is hairy -> my dog is apple 10%的时间， 保持单词不变，例如 my dog is hairy -> my dog is hairy。 每一轮使用交叉熵损失来预测原始词。 任务二：下一句的预测； 许多重要的下游任务，如问答（QA）和自然语言推理（NLI），都基于理解两个文本句之间的关系，而语言建模并不能直接捕获到这两个文本句之间的关系。为了训练一个理解句子关系的模型，我们预训练了一个二分类的预测下一个句子的任务，该任务可以由任何单语语料库生成。 具体来说，在为每个训练前的例子选择句子A和B时，50%的时间B是A后面的实际下一个句子，50%的时间B是来自语料库的随机句子。例如： Input ＝[CLS］ the man went to [MASK] store [SEP]，he bought a gallon [MASK] milk [SEP] Label = IsNext Input = [CLS] the man [MASK] to the store [SEP]，penguin [MASK] are flight ##less birds [SEP] Label = NotNext 我们完全随机选择NotNext 句子，最终预测模型在这个任务中达到97%－98%的准确率。 预训练数据：预训练过程很大程度上依赖现有语言模型的数据。从维基百科上抽取文本信息，忽略列表，表格和标题。对于预训练过程来说，使用文档级别的语料库而不是经过乱序后的句子级语料库来提取长的连续序列是很重要的。 对于序列级别分类任务，BERT微调很简单。BERT使用self-attention机制来统一两个过程。因为编码文本序列中，使用self-attention有效地包含了两上句子之间双向交叉的attention。微调过程，就是对于每一个任务，简单地将特定的输入和输出接入bert，然后端到端地调节全部参数即可。在输入端，句子A和句子B类似于（1）语义句子对（2）假设前提（3）问答中的问句（4）文本分类或序列标记中文本。在输出端，token向量被传递给token级别任务的输出层，例如，序列标签，问答对的答案。[CLS]向量被传递给分类的输出层，用于分类或情感分析。 相对于预训练，微调要相对容易。大多数模型超参数与预训练相同，除了批的大小、学习率和训练轮数。 可以通过一个额外的输出层对预训练的BERT表示进行微调，以创建适用于各种任务的最先进模型，比如问答和语言推断，无需对特定与任务的架构进行实质性修改。 第一，如果NLP任务偏向在语言本身中就包含答案，而不特别依赖文本外的其它特征，往往应用Bert能够极大提升应用效果。 第二，Bert特别适合解决句子或者段落的匹配类任务。就是说，Bert特别适合用来解决判断句子关系类问题，这是相对单文本分类任务和序列标注等其它典型NLP任务来说的，很多实验结果表明了这一点。 第三，Bert的适用场景，与NLP任务对深层语义特征的需求程度有关。感觉越是需要深层语义特征的任务，越适合利用Bert来解决 第四，Bert比较适合解决输入长度不太长的NLP任务，而输入比较长的任务，典型的比如文档级别的任务，Bert解决起来可能就不太好。 【引用】： bert论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

首先我会详细阐述 BERT 原理，然后简单介绍一下 ELMO 以及 GPT

BERT 全称为 B idirectional E ncoder R epresentation from T ransformer，是 Google 以 无监督的方式利用大量无标注文本 「炼成」的语言模型，其架构为 Transformer 中的 Encoder（BERT=Encoder of Transformer）

我在 Transformer 详解 中已经详细的解释了所有 Transformer 的相关概念，这里就不再赘述

以往为了解决不同的 NLP 任务，我们会为该任务设计一个最合适的神经网络架构并做训练，以下是一些简单的例子

不同的 NLP 任务通常需要不同的模型，而设计这些模型并测试其 performance 是非常耗成本的（人力，时间，计算资源）。如果有一个能 直接处理各式 NLP 任务的通用架构 该有多好？

随着时代演进，不少人很自然地有了这样子的想法，而 BERT 就是其中一个将此概念付诸实践的例子

Google 在预训练 BERT 时让它同时进行两个任务： 1. 漏字填空 2. 下个句子预测

对正常人来说，要完成这两个任务非常简单。只要稍微看一下前后文就知道完形填空任务中 [MASK] 里应该填 退了 ；而 醒醒吧 后面接 你没有妹妹 也十分合理(?)

接下来我会分别详细介绍论文中这两个任务的设计细节

在 BERT 中，Masked LM（Masked Language Model）构建了语言模型，简单来说，就是 随机遮盖或替换 一句话里面的任意字或词，然后让模型通过上下文预测那一个被遮盖或替换的部分，之后 做 Loss 的时候也只计算被遮盖部分的 Loss ，这其实是一个很容易理解的任务，实际操作如下：

这样做的好处是，BERT 并不知道 [MASK] 替换的是哪一个词，而且 任何一个词都有可能是被替换掉的，比如它看到的 apple 可能是被替换的词 。这样强迫模型在编码当前时刻词的时候 不能太依赖当前的词 ，而要考虑它的上下文，甚至根据上下文进行 "纠错"。比如上面的例子中，模型在编码 apple 时，根据上下文 my dog is，应该 把 apple 编码成 hairy 的语义而不是 apple 的语义

我们首先拿到属于上下文的一对句子，也就是两个句子，之后我们要在这两个句子中加一些特殊的 token： [CLS]上一句话[SEP]下一句话[SEP] 。也就是在句子开头加一个 [CLS] ，在两句话之间和句末加 [SEP] ，具体地如下图所示

可以看到，上图中的两句话明显是连续的。如果现在有这么一句话 [CLS] 我的狗很可爱 [SEP] 企鹅不擅长飞行 [SEP] ，可见这两句话就 不是连续的 。在实际训练中，我们会让这两种情况出现的数量为** 1:1**

Token Embedding 就是正常的词向量，即 PyTorch 中的 nn.Embedding() Segment Embedding 的作用是用 embedding 的信息让模型 分开上下句 ，我们给上句的 token 全 0，下句的 token 全 1，让模型得以判断上下句的起止位置，例如

Position Embedding 和 Transformer 中的不一样，不是三角函数，而是 学习出来的

BERT 预训练阶段实际上是将上述两个任务结合起来，同时进行，然后将所有的 Loss 相加，例如

BERT 的 Fine-Tuning 共分为 4 种类型，以下内容、图片均来自台大李宏毅老师 Machine Learning 课程 （以下内容 图在上，解释在下）

为什么要用CLS？ 这里李宏毅老师有一点没讲到，就是为什么要用第一个位置，即 [CLS] 位置的 output。这里我看了网上的一些博客，结合自己的理解解释一下。因为 BERT 内部是 Transformer，而 Transformer 内部又是 Self-Attention， 所以 [CLS] 的 output 里面肯定含有整句话的完整信息 ，这是毋庸置疑的。但是 Self-Attention 向量中，自己和自己的值其实是占大头的，现在假设使用 的 output 做分类，那么这个 output 中实际上会更加看重 ，而 又是一个有实际意义的字或词，这样难免会影响到最终的结果。但是 [CLS] 是没有任何实际意义的，只是一个占位符而已，所以就算 [CLS] 的 output 中自己的值占大头也无所谓。当然你 也可以将所有词的 output 进行 concat，作为最终的 output

首先将问题和文章通过 [SEP] 分隔，送入 BERT 之后，得到上图中黄色的输出。此时我们还要训练两个 vector，即上图中橙色和黄色的向量。首先将橙色和所有的黄色向量进行 dot product，然后通过 softmax，看哪一个输出的值最大，例如上图中 对应的输出概率最大，那我们就认为 s=2

同样地，我们用蓝色的向量和所有黄色向量进行 dot product，最终预测得 的概率最大，因此 e=3。最终，答案就是 s=2,e=3

你可能会觉得这里面有个问题，假设最终的输出 s>e 怎么办，那不就矛盾了吗？其实在某些训练集里，有的问题就是没有答案的，因此此时的预测搞不好是对的，就是没有答案

以上就是 BERT 的详细介绍，参考以下文章

ELMo是Embedding from language Model的缩写，它通过无监督的方式对语言模型进行预训练来学习单词表示

这篇论文的想法其实非常简单，但是效果却很好。它的思路是用 深度的双向 Language Model 在大量未标注数据上训练语言模型 ，如下图所示

在实际任务中，对于输入的句子，我们使用上面的语言模型来处理它，得到输出向量，因此这可以看作是一种 特征提取 。但是 ELMo 与普通的 Word2Vec 或 GloVe 不同，ELMo 得到的 Embedding 是 有上下文信息 的

具体来说，给定一个长度为 N 的句子，假设为 ，语言模型会计算给定 的条件下出现 的概率：

传统的 N-gram 模型 不能考虑很长的历史 ，因此现在的主流是使用 多层双向 LSTM 。在时刻 ，LSTM 的第 层会输出一个隐状态 ，其中 ， 是 LSTM 的层数。最上层是 ，对它进行 softmax 之后得到输出词的概率

类似的，我们可以用 一个反向 来计算概率：

通过这个 LSTM，我们可以得到 。我们的损失函数是这两个 LSTM 的 加和 :

这两个 LSTM 有各自的参数 和 ，而 Word Embedding 参数 和 Softmax 参数 是共享的

为了用于下游（DownStream）的特定任务，我们会把不同层的隐状态组合起来，具体组合的参数是根据不同的特定任务学习出来的，公式如下：

GPT 得到的语言模型参数不是固定的，它会根据特定的任务进行调整（通常是微调），这样的到的句子表示能更好的适配特定任务。它的思想也很简单，使用 单向 Transformer 学习一个语言模型 ，对句子进行无监督的 Embedding，然后 根据具体任务对 Transformer 的参数进行微调 。GPT 与 ELMo 有两个主要的区别：

这里解释一下上面提到的 单向 Transformer 。在 Transformer 的文章中，提到了 Encoder 与 Decoder 使用的 Transformer Block 是不同的。在 Decoder Block 中，使用了 Masked Self-Attention ，即句子中的每个词都只能对 包括自己在内的前面所有词进行 Attention ，这就是单向 Transformer。GPT 使用的 Transformer 结构就是将 Encoder 中的 Self-Attention 替换成了 Masked Self-Attention ，具体结构如下图所示

训练的过程也非常简单，就是将 n 个词的词嵌入 ( ) 加上位置嵌入 ( )，然后输入到 Transformer 中，n 个输出分别预测该位置的下一个词 这里的位置编码没有使用传统 Transformer 固定编码的方式，而是动态学习的

Pretraining 之后，我们还需要针对特定任务进行 Fine-Tuning。假设监督数据集合 的输入 是一个词序列 ，输出是一个分类的标签 ，比如情感分类任务

我们把 输入 Transformer 模型，得到最上层最后一个时刻的输出 ，将其通过我们新增的一个 Softmax 层（参数为 ）进行分类，最后用 CrossEntropyLoss 计算损失，从而根据标准数据调整 Transformer 的参数以及 Softmax 的参数 。这等价于最大似然估计：

正常来说，我们应该调整参数使得 最大，但是 为了提高训练速度和模型的泛化能力 ，我们使用 Multi-Task Learning，同时让它最大似然 和

这里使用的 还是之前语言模型的损失（似然），但是使用的数据不是前面无监督的数据 ，而是使用当前任务的数据 ，而且只使用其中的 ，而不需要标签

针对不同任务，需要简单修改下输入数据的格式，例如对于相似度计算或问答，输入是两个序列，为了能够使用 GPT，我们需要一些特殊的技巧把两个输入序列变成一个输入序列

ELMo 和 GPT 最大的问题就是 传统的语言模型是单向的 —— 我们根据之前的历史来预测当前词。但是我们不能利用后面的信息。比如句子 The animal didn’t cross the street because it was too tired 。我们在编码 it 的语义的时候需要同时利用前后的信息，因为在这个句子中， it 可能指代 animal 也可能指代 street 。根据 tired ，我们推断它指代的是 animal 。但是如果把 tired 改成 wide ，那么 it 就是指代 street 了。传统的语言模型，都 只能利用单方向的信息 。比如前向的 RNN，在编码 it 的时候它看到了 animal 和 street ，但是它还没有看到 tired ，因此它不能确定 it 到底指代什么。如果是后向的 RNN，在编码的时候它看到了 tired ，但是它还根本没看到 animal ，因此它也不能知道指代的是 animal 。 Transformer 的 Self-Attention 理论上是可以同时关注到这两个词的，但是根据前面的介绍，为了使用 Transformer 学习语言模型，必须 用 Mask 来让它看不到未来的信息 ，所以它也不能解决这个问题的

根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。（GPT,ELMO）GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO是做了两个方向（从左到右以及从右到左两个方向的语言模型），但是是分别有两个方向的自回归LM，然后把LSTM的两个方向的隐节点状态拼接到一起，来体现双向语言模型这个事情的。所以其实是两个自回归语言模型的拼接，本质上仍然是自回归语言模型。

自回归语言模型有优点有缺点，缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息，当然，貌似ELMO这种双向都做，然后拼接看上去能够解决这个问题，因为融合模式过于简单，所以效果其实并不是太好。它的优点，其实跟下游NLP任务有关，比如生成类NLP任务，比如文本摘要，机器翻译等，在实际生成内容的时候，就是从左向右的， 自回归语言模型天然匹配这个过程 。而Bert这种DAE模式，在生成类NLP任务中，就面临训练过程和应用过程不一致的问题，导致 生成类的NLP任务到目前为止都做不太好 。

自回归语言模型只能根据上文预测下一个单词，或者反过来，只能根据下文预测前面一个单词。相比而言，Bert通过 在输入X中随机Mask掉一部分单词 ，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词，如果你对Denoising Autoencoder比较熟悉的话，会看出，这确实是典型的DAE的思路。那些被Mask掉的单词就是在输入侧加入的所谓噪音。类似Bert这种预训练模式，被称为DAE LM。

这种DAE LM的优缺点正好和自回归LM反过来，它能比较自然地融入双向语言模型，同时看到被预测单词的上文和下文，这是好处。缺点是啥呢？ 主要在输入侧引入[Mask]标记，导致预训练阶段和Fine-tuning阶段不一致的问题 ，因为Fine-tuning阶段是看不到[Mask]标记的。DAE吗，就要引入噪音，[Mask] 标记就是引入噪音的手段，这个正常。

XLNet的出发点就是：能否 融合自回归LM和DAE LM两者的优点 。就是说如果站在自回归LM的角度，如何引入和双向语言模型等价的效果；如果站在DAE LM的角度看，它本身是融入双向语言模型的，如何抛掉表面的那个[Mask]标记，让预训练和Fine-tuning保持一致。当然，XLNet还讲到了一个Bert被Mask单词之间相互独立的问题。

yolov3论文是发表在哪的

上半年的DETR掀起了基于Transformer的CV论文浪潮，不少人调侃留给Transformer攻克的CV方向不多了，比如检测、分割、深度估计、车道线检测等领域均被"染指"。同在上半年，还有YOLOv4、YOLOv5等不错的工作。下半年的好工作也不少，比如本文介绍的刚开源的Deformable-DETR，还有近期发布的Sparse R-CNN和DeFCN等工作。

本文是我对YOLO算法的细节理解总结，本文的阅读前提是已读过YOLO相关论文，文中不会谈及YOLO的发展过程，不会与其他对象检测算法进行对比，也不会介绍YOLO9000相关的内容，只总结YOLOv3算法的具体流程和实现细节。所以，下文中所有提到的YOLO，如非特别说明，均指YOLOv3。 如果需要了解更多对象检测算法，可以参考以下部分相关论文： R-CNN Fast R-CNN Faster R-CNN SSD YOLOv1 YOLOv2 YOLOv3 RetinaNet 最新关于对象检测的综述文献可以参考这篇论文： Deep Learning for Generic Object Detection: A Survey 在YOLO算法发表之前，大部分表现比较好的对象检测（Object Detection）算法都是以R-CNN为代表两阶段算法，这样的算法存在一个很明显的问题，那就是速度太慢，对于实时性要求很高的应用场景是不适用的。YOLO算法的作者没有走优化算法第一阶段或者第二阶段的老路子，而是直接提出一步完成预测，而且是在一个CNN网络模型中完成图片中所有位置对象的box和类别预测，推理速度大大提升，完全可以满足实时对象检测。 YOLO算法创新性地提出了将输入图片进行N*N的栅格化（每个小单元叫grid cell），然后将图片中某个对象的位置的预测任务交与该对象中心位置所在的grid cell的bouding box。简单理解的话，可以认为这也是一种很粗糙的区域推荐（region proposal），在训练的时候，我们通过grid cell的方式告诉模型，图片中对象A应该是由中心落在特定grid cell 的某个范围内的某些像素组成，模型接收到这些信息后就在grid cell周围以一定大小范围去寻找所有满足对象A特征的像素，经过很多次带惩罚的尝试训练后，它就能找到这个准确的范围了（说明不是瞎找，如滑动窗口），当然这个方位不仅是指长宽的大小范围，也包括小幅度的中心位置坐标变化，但是不管怎么变，中心位置不能越过该grid cell的范围。这大大限制了模型在图片中瞎找时做的无用功。这样将位置检测和类别识别结合到一个CNN网络中预测，即只需要扫描一遍（you only look once）图片就能推理出图片中所有对象的位置信息和类别。举例如下图。 以上是我个人理解的YOLO算法的核心思想，不管是YOLOv1还是v2、v3，其主要的核心还是以上所述，只是在bounding box的拟合方式、骨干网络的设计、模型训练的稳定性、精度方面有所提升罢了。下面对整个模型的网络结构、实现和训练细节进行阐述。 既然已经有了you only look once的想法，那接下来就要将这个想法数学化，这样才能用数学的方法训练模型学习拟合坐标和类别的特征，用于后期的预测。YOLO算法几乎是输入原图就直接预测出每个grid cell“附近”是否有某个对象和具体的 box位置，那最终这个想法数学化后便体现在loss函数上，这里我先不给出loss函数的具体公式，因为在提出loss函数之前要先了解三个概念：anchor box、置信度(confidence)和对象条件类别概率(conditional class probabilities)。作者提出，在网络最后的输出中，对于每个grid cell对应bounding box的输出有三类参数：一个是对象的box参数，一共是四个值，即box的中心点坐标（x,y）和box的宽和高（w,h）;一个是置信度，这是个区间在[0,1]之间的值；最后一个是一组条件类别概率，都是区间在[0,1]之间的值，代表概率。下面分别具体介绍这三个参数的意义。 anchor box最初是由Faster RCNN引入的。anchor box(论文中也称为bounding box prior，后面均使用anchor box)其实就是从训练集的所有ground truth box中统计(使用k-means)出来的在训练集中最经常出现的几个box形状和尺寸。比如，在某个训练集中最常出现的box形状有扁长的、瘦高的和宽高比例差不多的正方形这三种形状。我们可以预先将这些统计上的先验（或来自人类的）经验加入到模型中，这样模型在学习的时候，瞎找的可能性就更小了些，当然就有助于模型快速收敛了。以前面提到的训练数据集中的ground truth box最常出现的三个形状为例，当模型在训练的时候我们可以告诉它，你要在grid cell 1附件找出的对象的形状要么是扁长的、要么是瘦高的、要么是长高比例差不多的正方形，你就不要再瞎试其他的形状了。anchor box其实就是对预测的对象范围进行约束，并加入了尺寸先验经验，从而可以有效解决对象多尺度的问题（Faster RCNN论文中指出的作用）。 这篇文章 对anchor box的作用进行了另外的解释，个人觉得也很有道理，将部分内容翻译如下： 要在模型中使用这些形状，总不能告诉模型有个形状是瘦高的，还有一个是矮胖的，我们需要量化这些形状。YOLO的做法是想办法找出分别代表这些形状的宽和高，有了宽和高，尺寸比例即形状不就有了。YOLO作者的办法是使用k-means算法在训练集中所有样本的ground truth box中聚类出具有代表性形状的宽和高，作者将这种方法称作维度聚类（dimension cluster）。细心的读者可能会提出这个问题：到底找出几个anchor box算是最佳的具有代表性的形状。YOLO作者方法是做实验，聚类出多个数量不同anchor box组，分别应用到模型中，最终找出最优的在模型的复杂度和高召回率(high recall)之间折中的那组anchor box。作者在COCO数据集中使用了9个anchor box，我们前面提到的例子则有3个anchor box。 那么有了量化的anchor box后，怎么在实际的模型中加入anchor box的先验经验呢？我们在前面中简单提到过最终负责预测grid cell中对象的box的最小单元是bounding box,那我们可以让一个grid cell输出（预测）多个bounding box，然后每个bounding box负责预测不同的形状不就行了？比如前面例子中的3个不同形状的anchor box，我们的一个grid cell会输出3个参数相同的bounding box，第一个bounding box负责预测的形状与anchor box 1类似的box，其他两个bounding box依次类推。作者在YOLOv3中取消了v2之前每个grid cell只负责预测一个对象的限制，也就是说grid cell中的三个bounding box都可以预测对象，当然他们应该对应不同的ground truth。那么如何在训练中确定哪个bounding box负责某个ground truth呢？方法是求出每个grid cell中每个anchor box与ground truth box的IOU(交并比)，IOU最大的anchor box对应的bounding box就负责预测该ground truth，也就是对应的对象，后面还会提到负责预测的问题。 到此，还有最后一个问题需要解决，我们才能真正在训练中使用anchor box，那就是我们怎么告诉模型第一个bounding box负责预测的形状与anchor box 1类似，第二个bounding box负责预测的形状与anchor box 2类似？YOLO的做法是不让bounding box直接预测实际box的宽和高(w,h)，而是将预测的宽和高分别与anchor box的宽和高绑定，这样不管一开始bounding box输出的(w,h)是怎样的，经过转化后都是与anchor box的宽和高相关，这样经过很多次惩罚训练后，每个bounding box就知道自己该负责怎样形状的box预测了。这个绑定的关系是什么？那就是下面这个公式： 其中， 和 为anchor box的宽和高， 和 为bounding box直接预测出的宽和高， 和 为转换后预测的实际宽和高，这也就是最终预测中输出的宽和高。你可能会想，这个公式这么麻烦，为什么不能用 这样的公式，我的理解是上面的公式虽然计算起来比较麻烦，但是在误差函数求导后还带有 和 参数，而且也好求导 (此观点只是个人推测，需要进一步查证) 。 既然提到了最终预测的宽和高公式，那我们也就直接带出最终预测输出的box中心坐标 的计算公式，我们前面提到过box中心坐标总是落在相应的grid cell中的，所以bounding box直接预测出的 和 也是相对grid cell来说的，要想转换成最终输出的绝对坐标，需要下面的转换公式： 其中， 为sigmoid函数， 和 分别为grid cell方格左上角点相对整张图片的坐标。作者使用这样的转换公式主要是因为在训练时如果没有将 和 压缩到(0,1)区间内的话，模型在训练前期很难收敛。 最终可以得出实际输出的box参数公式如下，这个也是在推理时将输出转换为最终推理结果的公式：关于box参数的转换还有一点值得一提，作者在训练中并不是将 、 、 和 转换为 、 、 和 后与ground truth box的对应参数求误差，而是使用上述公式的逆运算将ground truth box的参数转换为与 、 、 和 对应的 、 、 和 ，然后再计算误差，计算中由于sigmoid函数的反函数难计算，所以并没有计算sigmoid的反函数，而是计算输出对应的sigmoid函数值。关于anchor box训练相关的问题除了与loss函数相关的基本上都解释清楚了，但是预测的问题还没有解释清楚，还存在一个很关键的问题：在训练中我们挑选哪个bounding box的准则是选择预测的box与ground truth box的IOU最大的bounding box做为最优的box，但是在预测中并没有ground truth box，怎么才能挑选最优的bounding box呢？这就需要另外的参数了，那就是下面要说到的置信度。 置信度是每个bounding box输出的其中一个重要参数，作者对他的作用定义有两重：一重是代表当前box是否有对象的概率 ，注意，是对象，不是某个类别的对象，也就是说它用来说明当前box内只是个背景（backgroud）还是有某个物体（对象）；另一重表示当前的box有对象时，它自己预测的box与物体真实的box可能的 的值，注意，这里所说的物体真实的box实际是不存在的，这只是模型表达自己框出了物体的自信程度。以上所述，也就不难理解作者为什么将其称之为置信度了，因为不管哪重含义，都表示一种自信程度：框出的box内确实有物体的自信程度和框出的box将整个物体的所有特征都包括进来的自信程度。经过以上的解释，其实我们也就可以用数学形式表示置信度的定义了：其中， 表示第i个grid cell的第j个bounding box的置信度。对于如何训练 的方法，在损失函数小节中说明。 对象条件类别概率是一组概率的数组，数组的长度为当前模型检测的类别种类数量，它的意义是当bounding box认为当前box中有对象时，要检测的所有类别中每种类别的概率，其实这个和分类模型最后使用softmax函数输出的一组类别概率是类似的，只是二者存在两点不同：1.YOLO的对象类别概率中没有background一项，也不需要，因为对background的预测已经交给置信度了，所以它的输出是有条件的，那就是在置信度表示当前box有对象的前提下，所以条件概率的数学形式为 ;2.分类模型中最后输出之前使用softmax求出每个类别的概率，也就是说各个类别之间是互斥的，而YOLOv3算法的每个类别概率是单独用逻辑回归函数(sigmoid函数)计算得出了，所以每个类别不必是互斥的，也就是说一个对象可以被预测出多个类别。这个想法其实是有一些YOLO9000的意思的，因为YOLOv3已经有9000类似的功能，不同只是不能像9000一样，同时使用分类数据集和对象检测数据集，且类别之间的词性是有从属关系的。 介绍完所有的输出参数后，我们总结下模型最终输出层的输出维数是多少。假如一个图片被分割成S*S个grid cell，我们有B个anchor box，也就是说每个grid cell有B个bounding box, 每个bounding box内有4个位置参数，1个置信度，classes个类别概率，那么最终的输出维数是： 。 介绍完模型最终输出中有哪些参数后，我们应该可以定义loss函数了，作者使用了最简单的差平方和误差（sum-squared error）,使用的原因很简单，因为好优化。那我们试着给出loss函数的公式：如果看过YOLOv1的论文你会发现，这里的公式和论文中的公式虽然相似，但是差别还是很大的。其实，作者是在上面这个公式的基础上加了很多限制和优化参数，上面的公式只是我为了更好说明YOLO的loss公式而给出的对比公式，这样有助于更好的理解YOLO的loss函数公式中加入的每个参数的意义，下面给出真正的YOLO loss函数公式（这个公式是我根据YOLO三篇论文前后的发展总结出来的，v3论文中未给出此类似的公式）:细心的你一定也注意到了，这个公式和YOLOv1论文中的公式是不一样的。那是因为在YOLOv3中，作者将置信度和条件类别概率放到了每个bounding box中，即每个bounding box都有一对置信度和条件类别概率，而v1中所有的bounding box共用一个条件类别概率，上文中在说明输出的各个参数时，默认解释的是v3的输出格式，关于v1的细节不再赘述。下面几点是loss函数的几点细节: YOLO算法从三个不同的尺寸预测对象box，这三个不同的尺寸来自不同层级的卷积层的输出。该方法借鉴了feature pyramid network的思想: 由于卷积层每隔几层，特征映射(feature mapping)的宽和高就会减少，而通道数会增加，随着网络层次的加深，特征映射组成的形状类似于金字塔，如果将不同层级的特征映射转换为最终的输出，那么将有助于提升模型在对象不同尺度大小上的表现，即有助于提高模型从小目标到大目标的综合检测（box的精度）能力，关于feature pyramid network的具体内容，此处不详细展开，可参考 论文 。我们先看下YOLO模型的网络结构，我们以检测COCO数据集输入尺寸为416*416的网络结构为例(COCO数据集类别数为80，anchor box总数为9): 从上面的模型的网络结构图我们可以明显看出基于darknet-53的最新的模型结构有以下几个特点: 以上，就是我个人理解的YOLO算法的一些细节。 作者能力有限，不正确之处欢迎斧正。

论文是发表在哪里的

问题一：发表论文去哪里投稿 若你是初次投稿，建议先找些门槛低的省级期刊投稿，这类杂志有《故事》、《故事汇》、《故事世界》、《幽默与笑话》。另外《知识窗》、《青年科学》、《思维与智慧》这些杂志你也可去试试。投稿时，你还要注意投稿格式，电子邮件投稿注意事项。 在这里顺便给你介绍一些注意事项，以提高你命中率：稿件后面要有完备的联系方式：作者名字、署名、地址、电话、邮箱，QQ什么的都要详细，以便编辑联系你啊！要是没有这些，发了你文章，难找你拿稿酬！ 用电子邮件投稿，得注明投什么栏目，写上你名字和稿件名字。 另外，现在《故事会》在征稿。其原创稿酬千字400元，笑话每篇最高稿酬100元。 希望能解决您的问题。 问题二：哪里可以发表论文 有的啊，，， 问题三：论文在哪里发表 一般在期刊上发表讠仑文基本上都是需要评职称才发的，一般这种的找那种代理就行，网上很多的不过也有不可靠的，最好找熟人介绍下比较好，我发的时候就是同事介绍的壹品优，我也是直接就在那边发了，和同事说的差不多，挺好的。如果你没有熟人介绍不行就去看看。 问题四：在哪里发表论文比较可靠 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题五：论文在哪发表比较好？ 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题六：在哪里可以发表论文 有的啊，， 问题七：在哪可以发表论文 你发论文主要是干嘛用的 问题八：评职称在哪发表论文 我也是广告，给你一个参考：第一，化工行业中级职称，如果没有意外的话，普刊，就是国家级或者省级刊物就可以。所谓的意外，就是说你可能处于大学或者科研单位，这样的话中级才会要求核心刊物。第二，价格问题，核心我就不说了，浮动太大没法说估计你也用不着，通常而言，综合科技类的省级和国家级价格基本持平，在五百左右，这个价格仅供参考，每个期刊都有自己的价格，如果是化工类专业性强一点的，价格可能略贵。大家不说价格的原因是公开的地方不方便，每个人都有自己的渠道，高了低了难免有纠纷，估计你也能理解，此外，注意无论是找编辑部还是找代理，资金安全要注意。定金和真伪鉴定都是作者需要考察的东西。我是代理，前几天还遇到了《学问》这个期刊的假刊，差点上当。 问题九：医学论文在哪发表论文好？ 这个要看你的具体专业，以及对发表杂志有无要求。 比如你是传染病防治的，那最好还是发中国疾病控制之类的。 比如你要求中文核心期刊，那就选择专业对口的中文核心。 比如你要求SCI，那就选择SCI杂志。

发表论文通常只有两种渠道，要么自己投，要么找论文发表机构代投，不管走哪种渠道，最后都是要发表到期刊上的。

期刊，也叫杂志，在上个世纪在出版界曾经是重量级的存在，那个时候互联网还没有兴起，人们阅读文章获取资讯远远没有现在方便，杂志就成为一个很重要的传播媒介。

但现在随着社会的进步，科技的发展，纸媒已经大大没落了，很多期刊被砍掉了，剩下来的大多数不得不自谋出路，学术期刊更是如此，因为这个受众面是很窄的，基本没法盈利，所以只能靠收取版面费来维持，当然，有国家财政拨款的那种不在这个范围。

我们现在发表学术论文，出于严谨性权威性等原因的考虑，还是要发表到纸质期刊上，编辑会用电子邮箱或者内部的系统来收稿，但不会有一个网络平台有发表论文的资质，即使是知网和万方这样的网站，也只是论文数据库，并不是论文发表平台。

所以发表论文的时候，还是要先去选取目标期刊，然后再找到这本期刊的投稿邮箱，或者是找到靠谱的论文发表机构，由代理进行代投，最后都是发表到纸质期刊上的，见刊后一两个月左右被知网收录，就可以检索到了。

论文是在哪里发表的

问题一：发表论文去哪里投稿 若你是初次投稿，建议先找些门槛低的省级期刊投稿，这类杂志有《故事》、《故事汇》、《故事世界》、《幽默与笑话》。另外《知识窗》、《青年科学》、《思维与智慧》这些杂志你也可去试试。投稿时，你还要注意投稿格式，电子邮件投稿注意事项。 在这里顺便给你介绍一些注意事项，以提高你命中率：稿件后面要有完备的联系方式：作者名字、署名、地址、电话、邮箱，QQ什么的都要详细，以便编辑联系你啊！要是没有这些，发了你文章，难找你拿稿酬！ 用电子邮件投稿，得注明投什么栏目，写上你名字和稿件名字。 另外，现在《故事会》在征稿。其原创稿酬千字400元，笑话每篇最高稿酬100元。 希望能解决您的问题。 问题二：哪里可以发表论文 有的啊，，， 问题三：论文在哪里发表 一般在期刊上发表讠仑文基本上都是需要评职称才发的，一般这种的找那种代理就行，网上很多的不过也有不可靠的，最好找熟人介绍下比较好，我发的时候就是同事介绍的壹品优，我也是直接就在那边发了，和同事说的差不多，挺好的。如果你没有熟人介绍不行就去看看。 问题四：在哪里发表论文比较可靠 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题五：论文在哪发表比较好？ 答-您写的专业性很强的学术论文最好在正规刊物上发表，毕业论文或学习的论文就在学校学刊上发表。 问题六：在哪里可以发表论文 有的啊，， 问题七：在哪可以发表论文 你发论文主要是干嘛用的 问题八：评职称在哪发表论文 我也是广告，给你一个参考：第一，化工行业中级职称，如果没有意外的话，普刊，就是国家级或者省级刊物就可以。所谓的意外，就是说你可能处于大学或者科研单位，这样的话中级才会要求核心刊物。第二，价格问题，核心我就不说了，浮动太大没法说估计你也用不着，通常而言，综合科技类的省级和国家级价格基本持平，在五百左右，这个价格仅供参考，每个期刊都有自己的价格，如果是化工类专业性强一点的，价格可能略贵。大家不说价格的原因是公开的地方不方便，每个人都有自己的渠道，高了低了难免有纠纷，估计你也能理解，此外，注意无论是找编辑部还是找代理，资金安全要注意。定金和真伪鉴定都是作者需要考察的东西。我是代理，前几天还遇到了《学问》这个期刊的假刊，差点上当。 问题九：医学论文在哪发表论文好？ 这个要看你的具体专业，以及对发表杂志有无要求。 比如你是传染病防治的，那最好还是发中国疾病控制之类的。 比如你要求中文核心期刊，那就选择专业对口的中文核心。 比如你要求SCI，那就选择SCI杂志。

在期刊上发表，需要根据你的专业和要求来选择期刊，比如建筑、经济、医学等等。对论文上网有没有要求，比如知网、万方、维普等。建议在参加评审前1-2年准备好论文。具体以当地评审要求为准。发表论文前一定要查看自己省份对评审论文的要求，各省对论文发表的要求有细微的差别，一般来说文章字数在2000~5000 字左右。每个单位对于评职称都会有相关的文件要求，比如：论文必须发表在国内正规刊物上，有CN刊号和ISSN刊号，或者明确强调需要知网、万方等数据库收录的刊物，这些都是要求。提前搞懂这些要求，才能更好地按照要求去准备论文。要了解清楚时间，这里说的时间，包含：版面时间、见刊时间、上网时间三个。(1)版面时间：每家杂志社都会提前收稿，或者收稿很慢，如果组稿编辑告诉你22年12月版面，1月出刊，则意思就是你的论文会刊登在22年的12月版面上，为什么说这个问题，因为有的用人单位要求论文必须发表在当年内，所以即使它是1月出刊，但是版面在22年12月，也是符合单位评职称要求的；(2)见刊时间：见刊时间就是作者看到论文发表被刊登在杂志里的时间，因为单位在评职称事，都会要求拿上论文发表所在刊物杂志，所以见刊时间很重要；(3)上网时间：上网就是我们说的论文被数据库（知网、万方、维普、龙源等）收录了，上网时间一般在见刊时间1-3个月内，了解这个时间，是因为有的单位对于论文发表的认可，单单见到刊物是不算的，必须要被数据库收录了才能评职称。