6ES7331-7SF00-0AB0 使用ReLU作為激活函數(shù)；
提出在全連接層使用Dropout避免過擬合。注：當BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個GPU，做法是在通道上分組；。
使用局部響應歸一化(Local Response Normalization --LRN)，在生物中存在側抑制現(xiàn)象，即被激活的神經(jīng)元會抑制周圍的神經(jīng)元。在這里的目的是讓局部響應值大的變得相對更大，并抑制其它響應值相對比較小的卷積核。例如，某特征在這一個卷積核中響應值比較大，則在其它相鄰卷積核中響應值會被抑制，這樣一來卷積核之間的相關性會變小。LRN結合ReLU，使得模型提高了一點多個百分點；
使用重疊池化。作者認為使用重疊池化會提升特征的豐富性，且相對來說會更難過擬合。
02
集大成之作 （ResNet）
一般而言，網(wǎng)絡越深越寬會有更好的特征提取能力，但當網(wǎng)絡達到一定層數(shù)后，隨著層數(shù)的增加反而導致準確率下降，網(wǎng)絡收斂速度更慢。 傳統(tǒng)的卷積網(wǎng)絡在一個前向過程中每層只有一個連接，ResNet增加了殘差連接從而增加了信息從一層到下一層的流動。FractalNets重復組合幾個有不同卷積塊數(shù)量的并行層序列，增加名義上的深度，卻保持著網(wǎng)絡前向傳播短的路徑。 相類似的操作還有Stochastic depth和Highway Networks等。這些模型都顯示一個共有的特征，縮短前面層與后面層的路徑，其主要的目的都是為了增加不同層之間的信息流動。
02 后起之秀：Transformers
Transformer是一種self-attention(自注意力)模型架構。 2017年之后在NLP領域取得了很大的成功，尤其是序列到序列(seq2seq)任務，如機器翻譯和文本生成。2020年，谷歌提出pure transformer結構ViT ，在ImageNet分類任務上取得了和CNN可比的性能。之后大量ViT衍生的Transformer架構在ImageNet上都取得了成功。 Transformer 與 CNN相比優(yōu)點是具有較少的歸納性與先驗性，因此可以被認為是不同學習任務的通用計算原語，參數(shù)效率與性能增益與 CNN 相當。不過缺點是在預訓練期間，對大數(shù)據(jù)機制的依賴性更強，因為 Transformer 沒有像 CNN 那樣定義明確的歸納先驗。因此當下出現(xiàn)了一個新趨勢：當 self-attention 與 CNN 結合時，它們會建立強大的基線 ( BoTNet )。 Vision Transformer(ViT)將純Transformer架構直接應用到一系列圖像塊上進行分類任務，可以取得優(yōu)異的結果。它在許多圖像分類任務上也優(yōu)于的卷積網(wǎng)絡，同時所需的預訓練計算資源大大減少。
DETR是第一個成功地將Transformer作為pipeline中的主要構建塊的目標檢測框架。它與以前的SOTA方法(高度優(yōu)化的Faster R-CNN)的性能匹配，具有更簡單和更靈活的pipeline。
Transformer的變體模型是目前的研究熱點，主要分為以下幾個類型：
模型輕量化
加強跨模塊連接
自適應的計算時間
引入分而治之的策略
循環(huán)Transformers
等級化的Transformer
03 欺騙機器的眼睛——對抗性展示
最近引起研究界注意的一個問題是這些系統(tǒng)對對抗樣本的敏感性。 一個對抗性的例子是一個嘈雜的圖像，旨在欺騙系統(tǒng)做出錯誤的預測。為了在現(xiàn)實世界中部署這些系統(tǒng)，它們必須能夠檢測到這些示例。為此，最近的工作探索了通過在訓練過程中包含對抗性示例來使這些系統(tǒng)更強對抗性攻擊的可能性。 現(xiàn)階段對模型攻擊的分類主要分為兩大類，即攻擊訓練階段和推理階段。
6ES7331-7SF00-0AB0
6ES7331-7SF00-0AB0 S7-300系列型號大全：
定貨號 注釋
電源模板
6ES7 307-1BA00-0AA0 電源模塊(2A)
6ES7307-1EA00-0AA0 電源模塊(5A)
6ES7307-1KA01-0AA0 電源模塊(10A)
CPU
6ES7312-1AE13-0AB0 CPU312，32K內(nèi)存
6ES7312-5BE03-0AB0 CPU312C，32K內(nèi)存 10DI/6DO
6ES7313-5BF03-0AB0 CPU313C，64K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7313-6BF03-0AB0 CPU313C-2PTP，64K內(nèi)存 16DI/16DO
6ES7313-6CF03-0AB0 CPU313C-2DP，64K內(nèi)存 16DI/16DO
6ES7314-1AG13-0AB0 CPU314,96K內(nèi)存
6ES7314-6BG03-0AB0 CPU314C-2PTP 96K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7314-6CG03-0AB0 CPU314C-2DP 96K內(nèi)存 24DI/16DO / 4AI/2AO
6ES7315-2AG10-0AB0 CPU315-2DP, 128K內(nèi)存
6ES7315-2EH13-0AB0 CPU315-2 PN/DP, 256K內(nèi)存
6ES7317-2AJ10-0AB0 CPU317-2DP,512K內(nèi)存
6ES7317-2EK13-0AB0 CPU317-2 PN/DP,1MB內(nèi)存
6ES7318-3EL00-0AB0 CPU319-3 PN/DP,1.4M內(nèi)存
內(nèi)存卡
6ES7953-8LF20-0AA0 SIMATIC Micro內(nèi)存卡 64kByte(MMC)
6ES7953-8LG11-0AA0 SIMATIC Micro內(nèi)存卡128KByte(MMC)
6ES7953-8LJ20-0AA0 SIMATIC Micro內(nèi)存卡512KByte(MMC)
6ES7953-8LL20-0AA0 SIMATIC Micro內(nèi)存卡2MByte(MMC)
6ES7953-8LM20-0AA0 SIMATIC Micro內(nèi)存卡4MByte(MMC)
6ES7953-8LP20-0AA0 SIMATIC Micro內(nèi)存卡8MByte(MMC)
開關量模板
6ES7321-1BH02-0AA0 開入模塊（16點，24VDC）
6ES7321-1BH10-0AA0 開入模塊（16點，24VDC）
6ES7321-1BH50-0AA0 開入模塊（16點，24VDC，源輸入）
6ES7321-1BL00-0AA0 開入模塊（32點，24VDC）
6ES7321-7BH01-0AB0 開入模塊（16點，24VDC，診斷能力）
6ES7321-1EL00-0AA0 開入模塊（32點，120VAC）
6ES7321-1FF01-0AA0 開入模塊（8點，120/230VAC）
6ES7321-1FF10-0AA0 開入模塊（8點，120/230VAC）與公共電位單獨連接
6ES7321-1FH00-0AA0 開入模塊（16點，120/230VAC）
6ES7321-1CH00-0AA0 開入模塊（16點，24/48VDC）
6ES7321-1CH20-0AA0 開入模塊（16點，48/125VDC）
6ES7322-1BH01-0AA0 開出模塊（16點，24VDC）
6ES7322-1BH10-0AA0 開出模塊（16點，24VDC）高速
6ES7322-1CF00-0AA0 開出模塊（8點，48-125VDC）
6ES7322-8BF00-0AB0 開出模塊（8點，24VDC）診斷能力
6ES7322-5GH00-0AB0 開出模塊（16點，24VDC，獨立接點，故障保護）
6ES7322-1BL00-0AA0 開出模塊（32點，24VDC）
6ES7322-1FL00-0AA0 開出模塊（32點，120VAC/230VAC）
6ES7322-1BF01-0AA0 開出模塊（8點，24VDC，2A）
6ES7322-1FF01-0AA0 開出模塊（8點，120V/230VAC）
6ES7322-5FF00-0AB0 開出模塊（8點，120V/230VAC，獨立接點）
6ES7322-1HF01-0AA0 開出模塊（8點,繼電器,2A）
6ES7322-1HF10-0AA0 開出模塊（8點,繼電器,5A，獨立接點）
6ES7322-1HH01-0AA0 開出模塊(16點,繼電器)
6ES7322-5HF00-0AB0 開出模塊（8點,繼電器,5A，故障保護）
6ES7322-1FH00-0AA0 開出模塊（16點，120V/230VAC）
6ES7323-1BH01-0AA0 8點輸入，24VDC；8點輸出，24VDC模塊
6ES7323-1BL00-0AA0 16點輸入，24VDC；16點輸出，24VDC模塊
模擬量模板
6ES7331-7KF02-0AB0 模擬量輸入模塊(8路，多種信號)
6ES7331-7KB02-0AB0 模擬量輸入模塊(2路，多種信號)
6ES7331-7NF00-0AB0 模擬量輸入模塊(8路，15位精度)
6ES7331-7NF10-0AB0 模擬量輸入模塊(8路，15位精度)4通道模式
6ES7331-7HF01-0AB0 模擬量輸入模塊(8路，14位精度，快速)
6ES7331-1KF01-0AB0 模擬量輸入模塊(8路, 13位精度)
6ES7331-7PF01-0AB0 8路模擬量輸入,16位,熱電阻
6ES7331-7PF11-0AB0 8路模擬量輸入,16位,熱電偶
6ES7332-5HD01-0AB0 模擬輸出模塊(4路)
6ES7332-5HB01-0AB0 模擬輸出模塊(2路)
6ES7332-5HF00-0AB0 模擬輸出模塊(8路)
6ES7332-7ND02-0AB0 模擬量輸出模塊(4路，15位精度)
6ES7334-0KE00-0AB0 模擬量輸入(4路RTD)/模擬量輸出（2路）
6ES7334-0CE01-0AA0 模擬量輸入(4路)/模擬量輸出（2路）
附件
6ES7365-0BA01-0AA0 IM365接口模塊
6ES7360-3AA01-0AA0 IM360接口模塊
6ES7361-3CA01-0AA0 IM361接口模塊
6ES7368-3BB01-0AA0 連接電纜 (1米)
6ES7368-3BC51-0AA0 連接電纜 (2.5米)
6ES7368-3BF01-0AA0 連接電纜 (5米)
6ES7368-3CB01-0AA0 連接電纜 (10米)
6ES7390-1AE80-0AA0 導軌(480mm)
6ES7390-1AF30-0AA0 導軌(530mm)
6ES7390-1AJ30-0AA0 導軌(830mm)
6ES7390-1BC00-0AA0 導軌(2000mm)
6ES7392-1AJ00-0AA0 20針前連接器
6ES7392-1AM00-0AA0 40針前連接器
功能模板
6ES7350-1AH03-0AE0 FM350-1 計數(shù)器功能模塊
6ES7350-2AH00-0AE0 FM350-2 計數(shù)器功能模塊
6ES7351-1AH01-0AE0 FM351 定位功能模塊
6ES7352-1AH02-0AE0 FM352 電子凸輪控制器+組態(tài)包光盤
6ES7355-0VH10-0AE0 FM355C 閉環(huán)控制模塊
6ES7355-1VH10-0AE0 FM355S 閉環(huán)控制系統(tǒng)
6ES7355-2CH00-0AE0 FM355-2C 閉環(huán)控制模塊
6ES7355-2SH00-0AE0 FM355-2S 閉環(huán)控制模塊
6ES7338-4BC01-0AB0 SM338絕對位置輸入模塊
6ES7352-5AH00-0AE0 FM352-5高速布爾處理器
6ES7352-5AH00-7XG0 FM352-5功能軟件包
通訊模板
6ES7340-1AH02-0AE0 CP340 通訊處理器（RS232）
6ES7340-1BH02-0AE0 CP340 通訊處理器（20mA/TTY）
6ES7340-1CH02-0AE0 CP340 通訊處理器（RS485/RS422）
6ES7341-1AH01-0AE0 CP341 通訊處理器（RS232）
6ES7341-1BH01-0AE0 CP341 通訊處理器（20mA/TTY）
6ES7341-1CH01-0AE0 CP341 通訊處理器（RS485/RS422）
6ES7870-1AA01-0YA0 可裝載驅動 MODBUS RTU 主站
6ES7870-1AB01-0YA0 可裝載驅動 MODBUS RTU 從站
6ES7902-1AB00-0AA0 RS232電纜 5m
6ES7902-1AC00-0AA0 RS232電纜 10m
6ES7902-1AD00-0AA0 RS232電纜 15m
6ES7902-2AB00-0AA0 20mA/TTY電纜 5m
6ES7902-2AC00-0AA0 20mA/TTY電纜 10m
6ES7902-2AG00-0AA0 20mA/TTY電纜 50m
6ES7902-3AB00-0AA0 RS485/RS422電纜 5m
6ES7902-3AC00-0AA0 RS485/RS422電纜 10m
6ES7902-3AG00-0AA0 RS485/RS422電纜 50m
6GK7342-5DA02-0XE0 CP342-5通訊模塊
6GK7342-5DF00-0XE0 CP342-5 光纖通訊模塊
6GK7343-5FA01-0XE0 CP343-5通訊模塊
6GK7343-1EX30-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1EX21-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1CX00-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1CX10-0XE0 CP343-1 以太網(wǎng)通訊模塊
6GK7343-1GX20-0XE0 CP343-1 IT 以太網(wǎng)通訊模塊
6GK7343-1GX21-0XE0 CP343-1 IT 以太網(wǎng)通訊模塊(支持PROFINET)
6GK7343-1HX00-0XE0 CP343-1PN PROFINET以太網(wǎng)通訊模塊
6GK7343-2AH00-0XA0 CP343-2 AS-Interface
SIMATIC S7-300 系列
PS307 電 源 模 塊
6ES7307-1BA00-0AA0 120/230VAC輸入，24VDC輸出， 2A
6ES7307-1EA00-0AA0 120/230VAC輸入，24VDC輸出， 5A
6ES7307-1KA01-0AA0 120/230VAC輸入，24VDC輸出， 10A
中 央 處 理 單 元 CPU
6ES7312-1AE13-0AB0 CPU312，32K工作內(nèi)存，位操作時間0.2μs，DI/DO最大256點，AI/AO最大64點
6ES7312-5BE03-0AB0 CPU312C，32K工作內(nèi)存，位操作時間0.2μs，集成10DI/6DO,2通道高速計數(shù)，2通道PWM輸出，2通道頻率測量，PID調節(jié)；DI/DO最大256點，AI/AO最大64點，1個40針前連接器（另購）
6ES7313-5BF03-0AB0 CPU313C，64K工作內(nèi)存，位操作時間0.1μs，集成24DI/16DO，4AI/2AO,3通道高速計數(shù)，2通道PWM輸出，2通道頻率測量，PID調節(jié)；DI/DO最大1016/1008點，AI/AO最大253/250點，2個40針前連接器（另購）
6ES7313-6BF03-0AB0 CPU313C-2PtP，64K工作內(nèi)存，位操作時間0.1μs，RS485點對點接口，集成16DI/16DO，3通道高速計數(shù)，2通道PWM輸出，2通道頻率測量，PID調節(jié)；DI/DO最大1008點，AI/AO最大248點，1個40針前連接器（另購）
6ES7313-6CF03-0AB0 CPU313C-2DP，64K工作內(nèi)存，位操作時間0.1μs，PROFIBUS-DP主/從接口，集成16DI/16DO，3通道高速計數(shù)，2通道PWM輸出，2通道頻率測量，PID調節(jié)；DI/DO最大1008
