MDX61B0450-503-4-0T 卷積神經(jīng)網(wǎng)絡(luò)是目前計(jì)算機(jī)視覺中使用最普遍的模型結(jié)構(gòu)。 引入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，既能提取到相鄰像素點(diǎn)之間的特征模式，又能保證參數(shù)的個(gè)數(shù)不隨圖片尺寸變化。上圖是一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，多層卷積和池化層組合作用在輸入圖片上，在網(wǎng)絡(luò)的最后通常會(huì)加入一系列全連接層，ReLU激活函數(shù)一般加在卷積或者全連接層的輸出上，網(wǎng)絡(luò)中通常還會(huì)加入Dropout來防止過擬合。 自2012年AlexNet在ImageNet比賽上獲得，卷積神經(jīng)網(wǎng)絡(luò)逐漸取代傳統(tǒng)算法成為了處理計(jì)算機(jī)視覺任務(wù)的核心。 在這幾年，研究人員從提升特征提取能力，改進(jìn)回傳梯度更新效果，縮短訓(xùn)練時(shí)間，可視化內(nèi)部結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)量，模型輕量化, 自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)等這些方面，對(duì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有了較大的改進(jìn)，逐漸研究出了AlexNet、ZFNet、VGG、NIN、GoogLeNet和Inception系列、ResNet、WRN和DenseNet等一系列經(jīng)典模型，MobileNet系列、ShuffleNet系列、SqueezeNet和Xception等輕量化模型。
01
經(jīng)典模型 （AlexNet）
AlexNet是第一個(gè)深度神經(jīng)網(wǎng)絡(luò)，其主要特點(diǎn)包括：
使用ReLU作為激活函數(shù)；
提出在全連接層使用Dropout避免過擬合。注：當(dāng)BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個(gè)GPU，做法是在通道上分組；。
使用局部響應(yīng)歸一化(Local Response Normalization --LRN)，在生物中存在側(cè)抑制現(xiàn)象，即被激活的神經(jīng)元會(huì)抑制周圍的神經(jīng)元。在這里的目的是讓局部響應(yīng)值大的變得相對(duì)更大，并抑制其它響應(yīng)值相對(duì)比較小的卷積核。例如，某特征在這一個(gè)卷積核中響應(yīng)值比較大，則在其它相鄰卷積核中響應(yīng)值會(huì)被抑制，這樣一來卷積核之間的相關(guān)性會(huì)變小。LRN結(jié)合ReLU，使得模型提高了一點(diǎn)多個(gè)百分點(diǎn)；
使用重疊池化。作者認(rèn)為使用重疊池化會(huì)提升特征的豐富性，且相對(duì)來說會(huì)更難過擬合。
02
集大成之作 （ResNet）
一般而言，網(wǎng)絡(luò)越深越寬會(huì)有更好的特征提取能力，但當(dāng)網(wǎng)絡(luò)達(dá)到一定層數(shù)后，隨著層數(shù)的增加反而導(dǎo)致準(zhǔn)確率下降，網(wǎng)絡(luò)收斂速度更慢。 傳統(tǒng)的卷積網(wǎng)絡(luò)在一個(gè)前向過程中每層只有一個(gè)連接，ResNet增加了殘差連接從而增加了信息從一層到下一層的流動(dòng)。FractalNets重復(fù)組合幾個(gè)有不同卷積塊數(shù)量的并行層序列，增加名義上的深度，卻保持著網(wǎng)絡(luò)前向傳播短的路徑。 相類似的操作還有Stochastic depth和Highway Networks等。這些模型都顯示一個(gè)共有的特征，縮短前面層與后面層的路徑，其主要的目的都是為了增加不同層之間的信息流動(dòng)。
MDX61B0450-503-4-0T 1769-CRL3
1769-CRR1
1769-CRR3
1769-ECL
1769-ECR
1769-HSC
1769-IA16
1769-IA8I
1769-IF16C
1769-IF16V
1769-IF4
1769-IF4FXOF2F
1769-IF4I
1769-IF4XOF2
1769-IF8
1769-IG16
1769-IM12
6ES7317-2EK13-0AB0 CPU317-2 PN/DP,1MB內(nèi)存
6ES7318-3EL00-0AB0 CPU319-3 PN/DP,1.4M內(nèi)存
內(nèi)存卡
6ES7953-8LF20-0AA0 SIMATIC Micro內(nèi)存卡 64kByte(MMC)
6ES7953-8LG11-0AA0 SIMATIC Micro內(nèi)存卡128KByte(MMC)
6ES7953-8LJ20-0AA0 SIMATIC Micro內(nèi)存卡512KByte(MMC)
6ES7953-8LL20-0AA0 SIMATIC Micro內(nèi)存卡2MByte(MMC)
6ES7953-8LM20-0AA0 SIMATIC Micro內(nèi)存卡4MByte(MMC)
6ES7953-8LP20-0AA0 SIMATIC Micro內(nèi)存卡8MByte(MMC)
開關(guān)量模板
6ES7321-1BH02-0AA0 開入模塊（16點(diǎn)，24VDC）
6ES7321-1BH10-0AA0 開入模塊（16點(diǎn)，24VDC）
6ES7321-1BH50-0AA0 開入模塊（16點(diǎn)，24VDC，源輸入）
6ES7321-1BL00-0AA0 開入模塊（32點(diǎn)，24VDC）
6ES7321-7BH01-0AB0 開入模塊（16點(diǎn)，24VDC，診斷能力）
6ES7321-1EL00-0AA0 開入模塊（32點(diǎn)，120VAC）
6ES7321-1FF01-0AA0 開入模塊（8點(diǎn)，120/230VAC）
6ES7321-1FF10-0AA0 開入模塊（8點(diǎn)，120/230VAC）與公共電位單獨(dú)連接
6ES7321-1FH00-0AA0 開入模塊（16點(diǎn)，120/230VAC）
6ES7321-1CH00-0AA0 開入模塊（16點(diǎn)，24/48VDC）
6ES7321-1CH20-0AA0 開入模塊（16點(diǎn)，48/125VDC）
1769-IQ16
1769-IQ16F
1769-IQ32
1769-IQ32T
1769-IQ6XOW4
MDX61B0450-503-4-0T
