分類器加速早期目標(biāo)檢測(cè)中，是提取特征加上分類器這樣一個(gè)套路來(lái)進(jìn)行目標(biāo)檢測(cè)的，分類器一般是線性分類器，但是線性分類器沒有非線性分類器效果好，例如svm就是非線性的，所以加速分類器的運(yùn)行也是提升檢測(cè)算法速度的一個(gè)方法。級(jí)聯(lián)檢測(cè)器級(jí)聯(lián)檢測(cè)器可以很好的將計(jì)算耗時(shí)固定在一個(gè)比較小的范圍，采用多個(gè)簡(jiǎn)單的檢測(cè)，然后將其級(jí)聯(lián)，從粗到細(xì)的過濾，例如cascadehaar，MTCNN都是級(jí)聯(lián)結(jié)構(gòu)的網(wǎng)絡(luò)剪枝和量化網(wǎng)絡(luò)剪枝和量化是目前模型壓縮中非常常用的兩種方法，也是做加速非常熱門的方向。剪枝的意思就是在原來(lái)網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，對(duì)于一些網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修剪，在盡量不影響精度的前提下降低網(wǎng)絡(luò)的計(jì)算量，例如減少通道數(shù)，合并網(wǎng)絡(luò)層參數(shù)等等。網(wǎng)絡(luò)量化的常用操作就是將原來(lái)浮點(diǎn)型的計(jì)算量化為定點(diǎn)運(yùn)算，甚至于變?yōu)榕c或運(yùn)算，這樣降低網(wǎng)絡(luò)的運(yùn)算量，并且可以非常方便地部署到嵌入式設(shè)備上。網(wǎng)絡(luò)蒸餾的意思就是將一個(gè)比較復(fù)雜的網(wǎng)絡(luò)的學(xué)習(xí)到的“知識(shí)”蒸餾出來(lái)，“教給”一個(gè)比較小的網(wǎng)絡(luò)學(xué)習(xí)，這樣小網(wǎng)絡(luò)的精度比較高，運(yùn)算耗時(shí)也比較小。通俗的理解就是“老師網(wǎng)絡(luò)”指導(dǎo)“學(xué)生網(wǎng)絡(luò)”訓(xùn)練，然后用“學(xué)生網(wǎng)絡(luò)”來(lái)部署應(yīng)用。深度人工智能學(xué)院醫(yī)學(xué)影像分割項(xiàng)目。內(nèi)蒙古人工智能培訓(xùn)心得

    為了避免這種海量求導(dǎo)模式，數(shù)學(xué)家們另辟蹊徑，提出了一種稱之為“反向模式微分（reverse-modedifferentiation）”。取代之前的簡(jiǎn)易的表達(dá)方式，我們用下面的公式的表達(dá)方式來(lái)求X對(duì)Z的偏導(dǎo)：前向模式微分方法，其實(shí)就是我們?cè)诟邤?shù)課堂上學(xué)習(xí)的求導(dǎo)方式。在這種求導(dǎo)模式中，強(qiáng)調(diào)的是某一個(gè)輸入（比如X）對(duì)某一個(gè)節(jié)點(diǎn)（如神經(jīng)元）的影響。因此，在求導(dǎo)過程中，偏導(dǎo)數(shù)的分子部分，總是根據(jù)不同的節(jié)點(diǎn)總是不斷變化，而分母則鎖定為偏導(dǎo)變量“?X”，保持定不變。反向模式微分方法則有很大不同。首先在求導(dǎo)方向上，它是從輸出端（output）到輸入端進(jìn)行逐層求導(dǎo)。其次，在求導(dǎo)方法上，它不再是對(duì)每一條“路徑”加權(quán)相乘然后求和，而是針對(duì)節(jié)點(diǎn)采納“合并同類路徑”和“分階段求解”的策略。先求Y節(jié)點(diǎn)對(duì)Z節(jié)點(diǎn)的”總影響”（反向?qū)樱缓?，再求?jié)點(diǎn)X對(duì)節(jié)點(diǎn)Z的總影響（反向第二層）。特別需要注意的是，?Z/?Y已經(jīng)在首層求導(dǎo)得到。在第二層需要求得?Y/?X，然后二者相乘即可得到所求。這樣一來(lái)，就減輕了第二層的求導(dǎo)負(fù)擔(dān)。在求導(dǎo)形式上，偏導(dǎo)數(shù)的分子部分（節(jié)點(diǎn)）不變，而分母部分總是隨著節(jié)點(diǎn)不同而變化。福建人工智能培訓(xùn)方法深度人工智能學(xué)院助力在職互聯(lián)網(wǎng)從業(yè)者提升技能。

    什么是學(xué)習(xí)？赫伯特·西蒙教授（HerbertSimon，1975年圖靈獎(jiǎng)獲得者、1978年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者）曾對(duì)“學(xué)習(xí)”給了一個(gè)定義：“如果一個(gè)系統(tǒng)，能夠通過執(zhí)行某個(gè)過程，就此改進(jìn)了它的性能，那么這個(gè)過程就是學(xué)習(xí)”學(xué)習(xí)的目的，就是改善性能。什么是機(jī)器學(xué)習(xí)？對(duì)于某類任務(wù)（Task，簡(jiǎn)稱T）和某項(xiàng)性能評(píng)價(jià)準(zhǔn)則（Performance，簡(jiǎn)稱P），如果一個(gè)計(jì)算機(jī)程序在T上，以P作為性能的度量，隨著很多經(jīng)驗(yàn)（Experience，簡(jiǎn)稱E）不斷自我完善，那么我們稱這個(gè)計(jì)算機(jī)程序在從經(jīng)驗(yàn)E中學(xué)習(xí)了對(duì)于一個(gè)學(xué)習(xí)問題，我們需要明確三個(gè)特征：任務(wù)的類型，衡量任務(wù)性能提升的標(biāo)準(zhǔn)以及獲取經(jīng)驗(yàn)的來(lái)源學(xué)習(xí)的4個(gè)象限機(jī)器學(xué)習(xí)的方法論“end-to-end”（端到端）說(shuō)的是，輸入的是原始數(shù)據(jù)（始端），然后輸出的直接就是目標(biāo)（末端），中間過程不可知，因此也難以知。就此，有人批評(píng)深度學(xué)習(xí)就是一個(gè)黑箱（BlackBox）系統(tǒng)，其性能很好，卻不知道為何而好，也就是說(shuō)，缺乏解釋性。其實(shí)，這是由于深度學(xué)習(xí)所處的知識(shí)象限決定的。從圖1可以看出，深度學(xué)習(xí)，在本質(zhì)上，屬于可統(tǒng)計(jì)不可推理的范疇?！翱山y(tǒng)計(jì)”是很容易理解的，就是說(shuō)，對(duì)于同類數(shù)據(jù)，它具有一定的統(tǒng)計(jì)規(guī)律，這是一切統(tǒng)計(jì)學(xué)習(xí)的基本假設(shè)。

    梯度較明顯的應(yīng)用，就是快速找到多維變量函數(shù)的極(大/小)值。“梯度遞減”的問題所在，那就是它很容易收斂到局部較小值。重溫神經(jīng)網(wǎng)絡(luò)的損失函數(shù)相比于神經(jīng)網(wǎng)絡(luò)輸入、輸出層設(shè)計(jì)的簡(jiǎn)單直觀，它的隱含層設(shè)計(jì)，可就沒有那么簡(jiǎn)單了。依賴于“工匠”的打磨，它就是一個(gè)體力活，需要不斷地“試錯(cuò)”。但通過不斷地“折騰”，研究人員掌握了一些針對(duì)隱層的啟發(fā)式設(shè)計(jì)規(guī)則（如下文即將提到的BP算法），以此降低訓(xùn)練網(wǎng)絡(luò)所花的開銷，并盡量提升網(wǎng)絡(luò)的性能。為了達(dá)到理想狀態(tài)，我們希望快速配置好網(wǎng)絡(luò)參數(shù)，從而讓這個(gè)損失函數(shù)達(dá)到極小值。這時(shí)，神經(jīng)網(wǎng)絡(luò)的性能也就接近較優(yōu)！BP神經(jīng)網(wǎng)絡(luò)BP算法，是一個(gè)典型的雙向算法。更確切來(lái)說(shuō)，它的工作流程是分兩大步走：（1）正向傳播輸入信號(hào)，輸出分類信息（對(duì)于有監(jiān)督學(xué)習(xí)而言，基本上都可歸屬于分類算法）；（2）反向傳播誤差信息，調(diào)整全網(wǎng)權(quán)值（通過微調(diào)網(wǎng)絡(luò)參數(shù)，讓下一輪的輸出更加準(zhǔn)確）。類似于感知機(jī)，每一個(gè)神經(jīng)元的功能都可細(xì)分兩大部分：（1）匯集各路鏈接帶來(lái)的加權(quán)信息；（2）加權(quán)信息在激勵(lì)函數(shù)的“加工”下，神經(jīng)元給出相應(yīng)的輸出到首輪信號(hào)前向傳播的輸出值計(jì)算出來(lái)后，實(shí)際輸出向量與預(yù)期輸出的向量之間的誤差就可計(jì)算出來(lái)。學(xué)院教研機(jī)構(gòu)精心研發(fā)的課程，難易程度和企業(yè)所需的技能達(dá)到一個(gè)平衡。

    BoundingBoxRegression的技術(shù)發(fā)展bbox回歸對(duì)于目標(biāo)檢測(cè)的定位精度的提升至關(guān)重要，它主要是為了修正基于proposals的bbox的位置。如上圖所示，BBOX回歸也經(jīng)歷了幾個(gè)階段無(wú)BBox回歸在早期的檢測(cè)算法中，都是不使用bbox回歸的，直接使用滑窗的方式來(lái)定位。從特征圖得到BBBox自從fasterRCNN之后，BBox回歸不再是一個(gè)單獨(dú)的程序，而是直接可以集成到CNN中進(jìn)行端到端的訓(xùn)練的，所以才會(huì)有從特征圖到BBox。例如fasterRCNN的smooth-L1函數(shù)NMS的技術(shù)發(fā)展nms是一個(gè)非常重要的技術(shù)手段。如果對(duì)于有同一個(gè)目標(biāo)上出現(xiàn)多個(gè)檢測(cè)的框的時(shí)候，NMS可以根據(jù)每個(gè)框的score來(lái)進(jìn)行優(yōu)化，去除掉一部分的多于的框。nms有以下三種Greedyselection這是一種具有很悠久歷史的nms方法，也是目標(biāo)檢測(cè)中應(yīng)用普遍的方法。首先對(duì)檢測(cè)器檢測(cè)到的box根據(jù)confidence的得分進(jìn)行排序，然后分別計(jì)算所有的box的相互之間的iou值，然后設(shè)置一個(gè)閾值，如果高于設(shè)置的閾值，則保留confidence高的框，舍棄confidence低的框，以此類推。LearningtoNMS這種方法的思路是nms的閾值也應(yīng)該是屬于網(wǎng)絡(luò)訓(xùn)練的一個(gè)參數(shù)，不能固定的設(shè)置為定值。例如有一個(gè)文章叫做softNMS，就是將nms算法進(jìn)行修改。深度人工智能學(xué)院師資力量雄厚，來(lái)自眾多大廠的工程師擔(dān)任講師。四川人工智能培訓(xùn)專業(yè)

深度人工智能學(xué)院模型部署交付課程。內(nèi)蒙古人工智能培訓(xùn)心得

    過去20年中出現(xiàn)了不少優(yōu)良的特征算子，比如有名的SIFT算子，即所謂的對(duì)尺度旋轉(zhuǎn)保持不變的算子。它被較多地應(yīng)用在圖像比對(duì)，特別是所謂的structurefrommotion這些應(yīng)用中，有一些成功的應(yīng)用例子。另一個(gè)是HoG算子，它可以提取物體，比較魯棒的物體邊緣，在物體檢測(cè)中扮演著重要的角色。這些算子還包括Textons，Spinimage，RIFT和GLOH，都是在深度學(xué)習(xí)誕生之前或者深度學(xué)習(xí)真正的流行起來(lái)之前，占領(lǐng)視覺算法的主流。幾個(gè)（半）成功例子這些特征和一些特定的分類器組合取得了一些成功或半成功的例子，基本達(dá)到了商業(yè)化的要求但還沒有完全商業(yè)化。一是八九十年代的指紋識(shí)別算法，它已經(jīng)非常成熟，一般是在指紋的圖案上面去尋找一些關(guān)鍵點(diǎn)，尋找具有特殊幾何特征的點(diǎn)，然后把兩個(gè)指紋的關(guān)鍵點(diǎn)進(jìn)行比對(duì)，判斷是否匹配。然后是2001年基于Haar的人臉檢測(cè)算法，在當(dāng)時(shí)的硬件條件下已經(jīng)能夠達(dá)到實(shí)時(shí)人臉檢測(cè)，我們現(xiàn)在所有手機(jī)相機(jī)里的人臉檢測(cè)，都是基于它或者它的變種。第三個(gè)是基于HoG特征的物體檢測(cè)，它和所對(duì)應(yīng)的SVM分類器組合起來(lái)的就是有名的DPM算法。DPM算法在物體檢測(cè)上超過了所有的算法，取得了比較不錯(cuò)的成績(jī)。內(nèi)蒙古人工智能培訓(xùn)心得

成都深度智谷科技有限公司致力于教育培訓(xùn)，是一家服務(wù)型公司。公司自成立以來(lái)，以質(zhì)量為發(fā)展，讓匠心彌散在每個(gè)細(xì)節(jié)，公司旗下人工智能培訓(xùn)，深度學(xué)習(xí)培訓(xùn)，AI培訓(xùn)，AI算法工程師培訓(xùn)深受客戶的喜愛。公司將不斷增強(qiáng)企業(yè)重點(diǎn)競(jìng)爭(zhēng)力，努力學(xué)習(xí)行業(yè)知識(shí)，遵守行業(yè)規(guī)范，植根于教育培訓(xùn)行業(yè)的發(fā)展。深度智谷憑借創(chuàng)新的產(chǎn)品、專業(yè)的服務(wù)、眾多的成功案例積累起來(lái)的聲譽(yù)和口碑，讓企業(yè)發(fā)展再上新高。