JAPANESEHD熟女熟妇伦,亚洲熟妇av一区 http://www.qjsdgw.cn Mon, 22 Aug 2022 04:03:30 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.8.3 http://www.qjsdgw.cn/wp-content/uploads/2022/03/ico.png get – V商人 http://www.qjsdgw.cn 32 32 網(wǎng)上get什么意思(網(wǎng)絡(luò)用語get是什么意思?。?/title> <link>http://www.qjsdgw.cn/88872.html</link> <dc:creator><![CDATA[投稿用戶]]></dc:creator> <pubDate>Mon, 22 Aug 2022 04:03:24 +0000</pubDate> <category><![CDATA[創(chuàng)業(yè)雜談]]></category> <category><![CDATA[get]]></category> <category><![CDATA[意思]]></category> <category><![CDATA[用語]]></category> <guid isPermaLink="false">http://www.qjsdgw.cn/?p=88872</guid> <description><![CDATA[作者丨FightingCV 來源丨FightingCV 編輯丨極市平臺 寫在前面 隨著注意力在機器學(xué)習(xí)中的普及,包含注意力機制的神經(jīng)結(jié)構(gòu)也在逐漸發(fā)展。但是大多數(shù)人似乎只知道Tran...]]></description> <content:encoded><![CDATA[<p style="text-align: left" data-track="1"><span style="color: #888888">作者丨FightingCV</span></p> <p style="text-align: left" data-track="2"><span style="color: #888888">來源丨FightingCV</span></p> <p style="text-align: left" data-track="3"><span style="color: #888888">編輯丨極市平臺</span></p> <h1 class="pgc-h-arrow-right" data-track="4">寫在前面</h1> <p data-track="5"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">隨著注意力在機器學(xué)習(xí)中的普及,包含注意力機制的神經(jīng)結(jié)構(gòu)也在逐漸發(fā)展。但是大多數(shù)人似乎只知道Transformer中的Self-Attention。在文本中,我們來介紹一下Attention機制的“</span><strong><span style="color: #000000">前世今生</span></strong> ”(即Attention機制的發(fā)展),Attention的發(fā)展主要經(jīng)歷了四個階段:</span></p> <p data-track="6"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">(1)The Encoder-Decoder Architecture (編-解碼器結(jié)構(gòu))</span></span></p> <p data-track="7"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">(2)The Transformer</span></span></p> <p data-track="8"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">(3)Graph Neural Networks (圖神經(jīng)網(wǎng)絡(luò))</span></span></p> <p data-track="9"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">(4)Memory-Augmented Neural Networks (增強記憶神經(jīng)網(wǎng)絡(luò))</span></span></p> <p data-track="10"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">對啦,關(guān)于各種Attention的核心代碼復(fù)現(xiàn),我也給大家準(zhǔn)備好了,保證深度學(xué)習(xí)的小白也能看懂,請大家放心食用:</span></span></p> <p data-track="11"><span style="letter-spacing: 1px"><span style="color: #021EAA">https://github.com/xmu-xiaoma666/External-Attention-pytorch</span></span></p> <h1 class="pgc-h-arrow-right" data-track="12">1. 編-解碼器結(jié)構(gòu)</h1> <p data-track="13"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">編解碼器結(jié)構(gòu)被廣泛應(yīng)用于語言處理中的序列到序列(seq2seq)任務(wù)。在語言處理領(lǐng)域,這類任務(wù)的例子包括機器翻譯和圖像字幕。最早使用注意力是作為基于 RNN 的編碼器框架的一部分來編碼長輸入句子。因此,注意力在這個架構(gòu)中得到了最廣泛的應(yīng)用。</span></span></p> <p data-track="14"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">在機器翻譯的上下文中,這樣一個 seq2seq 任務(wù)將涉及到將一個輸入序列 i = { a,b,c,< eos > }轉(zhuǎn)換成一個不同長度的輸出序列 o = { w,x,y,z,< eos > }。對于一個未經(jīng)Attention的基于 RNN 的編解碼器架構(gòu),展開每個 RNN 將產(chǎn)生以下圖形:</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/d73O2tnx.jpg" /></p> <p class="pgc-img-caption"></div><p data-track="15"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">在這里,編碼器一次讀取一個單詞的輸入序列,每次更新其內(nèi)部狀態(tài)。當(dāng)它遇到 < eos > 符號時停止,這表示序列的結(jié)束已經(jīng)到達(dá)。由編碼器生成的隱藏狀態(tài)實質(zhì)上包含輸入序列的向量表示,然后由解碼器處理。</span></span></p> <p data-track="16"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">解碼器一次生成一個單詞的輸出序列,將前一時間步驟(t-1)處的單詞作為輸入,生成輸出序列中的下一個單詞。一個 < eos > 符號在解碼端信號表示解碼過程已經(jīng)結(jié)束。</span></span></p> <p data-track="17"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">當(dāng)不同長度和復(fù)雜度的序列用固定長度的矢量表示時,編解碼器結(jié)構(gòu)的問題就出現(xiàn)了,這可能導(dǎo)致解碼器丟失重要信息。</span></span></p> <p data-track="18"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">為了解決這個問題,一種基于注意力的體系結(jié)構(gòu)在編碼器和解碼器之間引入了一種注意機制。</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/Chl40755.jpg" /></p> <p class="pgc-img-caption"></div><p data-track="19"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">在這里,注意機制(φ)學(xué)習(xí)一組注意力權(quán)重,捕獲編碼向量(v)和解碼器的隱藏狀態(tài)(h)之間的關(guān)系,通過編碼器所有隱藏狀態(tài)的加權(quán)和生成上下文向量(c)。這樣,解碼器就可以訪問整個輸入序列,從而attend與生成輸出最相關(guān)的輸入信息。</span></span></p> <h1 class="pgc-h-arrow-right" data-track="20">2. The Transformer</h1> <p data-track="21"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">Transformer的體系結(jié)構(gòu)也實現(xiàn)了編碼器和解碼器,然而,與我們上面討論的體系結(jié)構(gòu)相反,它不依賴于循環(huán)神經(jīng)網(wǎng)絡(luò)的使用。Transformer架構(gòu)不需要任何“循環(huán)”,而是完全依賴于自注意機制。在計算復(fù)雜度方面,當(dāng)序列長度 n 小于表征維數(shù) d 時,自注意層比遞歸層快。</span></span></p> <p data-track="22"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">自注意機制依賴于查詢、鍵和值的使用,這些查詢、鍵和值是通過用不同的權(quán)重矩陣乘以編碼器對同一輸入序列的表示而生成的。Transformer使用點積(或乘法)注意力,在生成注意力權(quán)重的過程中,每個查詢都通過點積操作與鍵數(shù)據(jù)庫匹配。然后將這些權(quán)重乘以這些值得到最終的注意力向量。</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/myrc2Ezh.jpg" /></p> <p class="pgc-img-caption"></div><p data-track="23"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">直觀地說,由于所有查詢、鍵和值都來自相同的輸入序列,因此自我注意機制捕獲同一序列中不同元素之間的關(guān)系,突出顯示那些最相關(guān)的元素。</span></span></p> <p data-track="24"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">由于Transformer不依賴RNN,通過增加編碼器對每個元素的表示,可以保存序列中每個元素的位置信息。這意味著Transformer結(jié)構(gòu)也可以應(yīng)用于計算機視覺任務(wù)的圖像分類,分割或圖像字幕。</span></span></p> <p data-track="25"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">此外,幾個注意力層可以并行地堆疊在一起,這被稱為多頭注意力。每個頭在同一個輸入的不同線性變換下平行工作,然后將頭的輸出concat起來產(chǎn)生最終的注意結(jié)果。擁有多頭模型的好處是每個頭可以關(guān)注序列的不同元素。</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/507cZ1Q3.jpg" /></p> <p class="pgc-img-caption"></div><h1 class="pgc-h-arrow-right" data-track="26">3. 圖神經(jīng)網(wǎng)絡(luò)</h1><p data-track="27"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">圖可以定義為通過連接(或邊)鏈接的一組節(jié)點(或頂點)。圖是一種通用的數(shù)據(jù)結(jié)構(gòu),非常適合在許多現(xiàn)實場景中組織數(shù)據(jù)的方式。例如,在一個社交網(wǎng)絡(luò)中,用戶可以用圖中的節(jié)點來表示,他們與朋友的關(guān)系可以用邊來表示?;蛘咭粋€分子,其中的節(jié)點是原子,邊代表它們之間的化學(xué)鍵。對于計算機視覺,我們可以把一幅圖像想象成一個圖形,其中每個像素都是一個節(jié)點,直接連接到它的鄰近像素。</span></span></p> <p data-track="28"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">目前流行的圖注意網(wǎng)絡(luò)(Graph Attention Networks,GAT) ,它在圖卷積網(wǎng)絡(luò)(GCN)中采用一種自注意機制,后者通過在圖形節(jié)點上執(zhí)行卷積來更新狀態(tài)向量。通過加權(quán)濾波器對中心節(jié)點和相鄰節(jié)點進行卷積運算,更新中心節(jié)點的表示。GCN 中的濾波器權(quán)值可以是固定的或可學(xué)習(xí)的。</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/gaCe4UIg.jpg" /></p> <p class="pgc-img-caption"></div><p data-track="29"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">相比之下,GAT 使用注意力分?jǐn)?shù)來給相鄰節(jié)點賦權(quán)。這些注意力得分的計算過程與前面討論的 seq2seq 任務(wù)的計算過程相似: 首先計算兩個相鄰節(jié)點的特征向量之間的對齊得分,然后通過應(yīng)用 softmax 操作計算注意力得分,最后通過對所有相鄰節(jié)點的特征向量進行加權(quán)組合計算每個節(jié)點的輸出特征向量(相當(dāng)于 seq2seq 任務(wù)中的上下文向量)。</span></span></p> <p data-track="30"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">一旦生成了最終的輸出,就可以將其用作后續(xù)任務(wù)特定層的輸入。可以通過圖解決的任務(wù)可以是不同群體之間單個節(jié)點的分類(例如,預(yù)測一個人將決定加入幾個俱樂部中的哪一個) ; 或者是單個邊的分類,以確定兩個節(jié)點之間是否存在邊(例如,預(yù)測一個社交網(wǎng)絡(luò)中的兩個人是否可能是朋友) ; 或者甚至是完整圖表的分類(例如,預(yù)測一個分子是否有毒)。</span></span></p> <h1 class="pgc-h-arrow-right" data-track="31">4. 增強記憶神經(jīng)網(wǎng)絡(luò)</h1> <p data-track="32"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">在我們已經(jīng)回顧過的基于注意力的編碼器-解碼器結(jié)構(gòu)中,編碼輸入序列的向量集可以看作是外部存儲器,編碼器寫入它,解碼器讀取它。但是,由于編碼器只能寫入這個存儲器,而解碼器只能讀取,因此會出現(xiàn)一個限制。</span></span></p> <p data-track="33"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">記憶增強神經(jīng)網(wǎng)絡(luò)(Memory-Augmented Neural Networks,MANNs)就是針對這一缺陷而提出的新算法。神經(jīng)圖靈機(NTM)是一種類型的 MANN。它由一個神經(jīng)網(wǎng)絡(luò)控制器組成,該控制器接受輸入產(chǎn)生輸出,并對存儲器執(zhí)行讀寫操作。</span></span></p> <div id="7cv38ze8gk" class="pgc-img"><img decoding="async" src="http://www.qjsdgw.cn/wp-content/uploads/2022/03/WV50E8JZ.jpg" /></p> <p class="pgc-img-caption"></div><p data-track="34"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">讀取頭(Read Head)執(zhí)行的操作類似于用于 seq2seq 任務(wù)的注意機制,其中注意力權(quán)重表示所考慮的向量在形成輸出中的重要性。讀取頭總是讀取完整的內(nèi)存矩陣,但它是通過注意不同強度的不同內(nèi)存向量來完成的。</span></span></p> <p data-track="35"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">然后,讀取操作的輸出由內(nèi)存向量的加權(quán)和定義。寫頭(Write Head)根據(jù)注意力和擦除向量中的值擦除內(nèi)存位置,并通過添加向量寫入信息。</span></span></p> <p data-track="36"><span style="letter-spacing: 1px"><span style="color: #1A1A1A">人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的例子包括問答和聊天機器人,其中外部存儲器存儲了大量序列(或事實)數(shù)據(jù)庫,神經(jīng)網(wǎng)絡(luò)利用這些數(shù)據(jù)。注意力機制的作用在從數(shù)據(jù)庫中選擇與手頭任務(wù)相關(guān)性更強的事實方面是至關(guān)重要的。</span></span></p> ]]></content:encoded> </item> </channel> </rss> <footer> <div class="friendship-link"> <p>感谢您访问我们的网站,您可能还对以下资源感兴趣:</p> <a href="http://www.qjsdgw.cn/" title="亚洲 欧洲 日韩 综合色天使,久久国产Av无码一区二区老太,人妻醉酒被下药迷昏带到诊所 ,亚州老熟女A片AV色欲小说 ">亚洲 欧洲 日韩 综合色天使,久久国产Av无码一区二区老太,人妻醉酒被下药迷昏带到诊所 ,亚州老熟女A片AV色欲小说 </a> <div class="friend-links"> </div> </div> </footer> <script> (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })(); </script> </body>