FDM3D打印會(huì)自己看自己改：哈工大實(shí)時(shí)缺陷控制方法

AM易道科研分享

AM易道最近讀到哈工大團(tuán)隊(duì)在國(guó)慶節(jié)發(fā)在《Additive Manufacturing》上的一篇論文，講的是給FDM打印機(jī)裝上眼睛和大腦，讓它能自己發(fā)現(xiàn)打印缺陷并實(shí)時(shí)調(diào)整參數(shù)。

論文開篇就用一張系統(tǒng)架構(gòu)圖（Fig. 1）把整個(gè)思路講清楚了：

左邊是帶攝像頭的打印機(jī)實(shí)時(shí)監(jiān)控?cái)D出過程，中間是視覺模型做缺陷檢測(cè)和流量預(yù)測(cè)，右邊是控制器根據(jù)檢測(cè)結(jié)果調(diào)整參數(shù)。

這個(gè)方向其實(shí)很多團(tuán)隊(duì)都在做，但這篇文章特別之處在于，我們認(rèn)為它用控制理論的數(shù)學(xué)分析把為什么現(xiàn)有方案會(huì)失敗講得很透，然后給出了一套真正能用的解決辦法。

AM易道對(duì)于該文章的許多理解和表達(dá)已脫離原文章的原始技術(shù)表述，有大量原創(chuàng)主觀的解讀創(chuàng)作成分，如需要了解更多原始硬核技術(shù)內(nèi)容，請(qǐng)自行閱讀原文。

56萬張圖像怎么來的

要訓(xùn)練一個(gè)靠譜的視覺檢測(cè)模型，首先得有足夠多的標(biāo)注數(shù)據(jù)。

團(tuán)隊(duì)開發(fā)了一套自動(dòng)標(biāo)注系統(tǒng)，F(xiàn)ig. 2展示了整個(gè)流程。

他們?cè)诖蛴☆^風(fēng)扇下面裝了個(gè)直徑不到4毫米的小攝像頭，鏡頭正對(duì)著噴嘴擠出區(qū)域。

打印過程中每隔300秒自動(dòng)調(diào)一次流量參數(shù)（50%到150%之間，每次變5%），同時(shí)以每秒5幀的速度采集圖像。

因?yàn)橹烂總€(gè)時(shí)刻的流量設(shè)定值，圖像就自動(dòng)打上標(biāo)簽了。

為了讓模型有泛化能力，他們換著花樣打印：

從網(wǎng)上下載各種開源模型，用不同的填充圖案、不同的填充方向和密度來切片，換紅黃藍(lán)三種顏色的耗材，還換了兩種型號(hào)的噴嘴。

最后收集了100多萬張圖像，篩選后留下56萬多張。

Fig. 2d的柱狀圖顯示了這些圖像在不同流量范圍的分布，基本覆蓋了從嚴(yán)重欠擠出到嚴(yán)重過擠出的各種情況。

模型選擇上，他們對(duì)比了8種網(wǎng)絡(luò)架構(gòu)，F(xiàn)ig. 3d的散點(diǎn)圖很直觀地展示了參數(shù)量和性能的關(guān)系。

MobileNetV3-Small只有254萬個(gè)參數(shù)，是ResNet-18的五分之一，但在外部驗(yàn)證集上的R2反而更高，達(dá)到0.9638。

模型訓(xùn)練其實(shí)挺順利。

選的MobileNetV3-Small是個(gè)輕量級(jí)網(wǎng)絡(luò)，參數(shù)量只有ResNet-18的五分之一，但效果反而更好。

訓(xùn)練30輪之后損失就不再下降了，說明模型學(xué)到東西了。

關(guān)鍵是這個(gè)模型在沒見過的新數(shù)據(jù)上表現(xiàn)怎么樣。

團(tuán)隊(duì)專門打印了一批零件來測(cè)試，把模型預(yù)測(cè)的流量和實(shí)際設(shè)定的流量畫成散點(diǎn)圖，發(fā)現(xiàn)絕大多數(shù)點(diǎn)都落在理想直線附近。

預(yù)測(cè)誤差的平均值接近零，波動(dòng)范圍也很小，說明模型既準(zhǔn)確又穩(wěn)定，不會(huì)出現(xiàn)系統(tǒng)性偏差。

簡(jiǎn)單說就是：這個(gè)視覺模型看一眼打印過程，就能準(zhǔn)確判斷當(dāng)前流量是多少，準(zhǔn)確率在95%左右。這為后面的實(shí)時(shí)控制打下了基礎(chǔ)。

為什么比例控制會(huì)失效

現(xiàn)在很多研究宣稱做了閉環(huán)控制，實(shí)際上要么是檢測(cè)到問題后暫停打印手動(dòng)調(diào)整，要么就是用最簡(jiǎn)單的比例控制，結(jié)果系統(tǒng)來回震蕩根本穩(wěn)定不下來。

團(tuán)隊(duì)做了個(gè)對(duì)比實(shí)驗(yàn)，用常規(guī)的統(tǒng)計(jì)濾波加比例控制去應(yīng)對(duì)流量突然降低的情況，結(jié)果打印機(jī)花了將近200秒才勉強(qiáng)恢復(fù)穩(wěn)定。

問題出在哪？

Fig. 4a把整個(gè)閉環(huán)系統(tǒng)拆成兩部分：左邊Part I是擠出系統(tǒng)加視覺檢測(cè)，右邊Part II是數(shù)據(jù)濾波和控制器。

他們從控制理論角度建了個(gè)數(shù)學(xué)模型，通過階躍響應(yīng)測(cè)試（Fig. 4c）發(fā)現(xiàn)，F(xiàn)DM的擠出過程可以用一階加純滯后模型來描述。

這里有兩個(gè)關(guān)鍵發(fā)現(xiàn)。一個(gè)是系統(tǒng)響應(yīng)速度會(huì)隨打印路徑變化，F(xiàn)ig. 4b畫了兩種路徑：

縱向打印（耗材擠出方向跟移動(dòng)方向平行）和橫向打印（耗材擠出方向跟移動(dòng)方向垂直）。

Fig. 4c的曲線對(duì)比顯示，顯然，A路徑（縱向）響應(yīng)明顯比B路徑（橫向）快。

另一個(gè)是時(shí)間延遲。

從修改G代碼指令到真正看到擠出效果的變化，中間有大約5秒延遲。

再加上常用的統(tǒng)計(jì)濾波方法會(huì)再引入至少1個(gè)控制周期的延遲，整個(gè)系統(tǒng)就變得特別難控制。

Fig. 4d的實(shí)驗(yàn)結(jié)果很說明問題：給系統(tǒng)加一個(gè)正弦波擾動(dòng)，用統(tǒng)計(jì)濾波加比例控制，系統(tǒng)輸出始終跟不上，一直在延遲和振蕩。

團(tuán)隊(duì)推導(dǎo)了系統(tǒng)的特征方程，用數(shù)學(xué)證明了在這種延遲條件下，簡(jiǎn)單的比例控制最多只能讓系統(tǒng)處于臨界穩(wěn)定狀態(tài)，也就是會(huì)一直振蕩。

如果延遲再大一點(diǎn)，系統(tǒng)就會(huì)完全不穩(wěn)定，越調(diào)越偏。

模糊控制怎么解決問題

解決方案的核心是重新設(shè)計(jì)數(shù)據(jù)處理和控制器。

Fig. 5a展示了整個(gè)控制框架：

從圖像采集到缺陷檢測(cè)，再到模糊推理輸出控制量，最后執(zhí)行參數(shù)調(diào)整，形成完整閉環(huán)。

數(shù)據(jù)處理方面，他們改用指數(shù)平滑濾波。

Fig. 6a和6b對(duì)比了兩種處理方式。傳統(tǒng)的統(tǒng)計(jì)濾波是設(shè)個(gè)閾值，超過就扔掉。

聽起來合理，但問題是打印機(jī)剛開始響應(yīng)調(diào)整時(shí)，數(shù)據(jù)變化最劇烈，恰恰會(huì)被判定為異常扔掉。

結(jié)果就是系統(tǒng)看到的都是幾秒前的舊數(shù)據(jù)。

他們改用指數(shù)平滑，簡(jiǎn)單說就是最新的數(shù)據(jù)權(quán)重最大，越往前權(quán)重越小。而且只看最近2秒的數(shù)據(jù)來判斷要不要調(diào)整，這樣響應(yīng)就快多了。

效果立竿見影。

比例控制（Fig. 6c）花了近200秒才收斂，打印件上留下了很長(zhǎng)一段質(zhì)量不好的區(qū)域。

模糊控制（Fig. 6d）只用了20秒左右就把流量拉回到正常范圍，打印件上的缺陷區(qū)域明顯短很多。

如何適配到新設(shè)備新任務(wù)

深度學(xué)習(xí)模型有個(gè)通病：在一個(gè)設(shè)備上訓(xùn)練的模型，換到另一個(gè)設(shè)備或者檢測(cè)不同類型的缺陷時(shí)，往往要重新收集大量標(biāo)注數(shù)據(jù)。

論文的第三部分就是解決這個(gè)問題。

Fig. 7a展示了應(yīng)用場(chǎng)景：一個(gè)六軸機(jī)械臂的FDM系統(tǒng)，用來打印圓柱形零件。

再重申下這個(gè)深度學(xué)習(xí)的麻煩：在桌面FDM上訓(xùn)練的，換到機(jī)械臂FDM上就不靈了。

Fig. 7d的顏色分布對(duì)比很直觀，兩套設(shè)備拍出來的圖像顏色差異明顯，模型直接搬過去肯定不行。

傳統(tǒng)做法是重新拍幾萬張圖手工標(biāo)注，太費(fèi)勁。

團(tuán)隊(duì)的思路是讓AI自己給圖像分類。具體怎么做？

Fig. 7f和7g畫出了流程：把機(jī)械臂系統(tǒng)拍的17000張無標(biāo)簽圖像輸入預(yù)訓(xùn)練模型，模型會(huì)把相似的圖像歸為一堆，每一堆就算一個(gè)類別。

比如所有拉絲缺陷的圖像會(huì)被歸到一起，擠出不足的圖像會(huì)被歸到另一堆。

有了這些標(biāo)簽，就可以微調(diào)模型了。

但怎么微調(diào)效果最好？Fig. 7h展示了四種方案：從只訓(xùn)練最后一層到把整個(gè)網(wǎng)絡(luò)全練一遍。

全練一遍精度最高（93.2%），但耗時(shí)也最長(zhǎng)；

只練最后一層最快但精度低（63.6%）；

折中方案是練深層加分類器，精度89.4%，耗時(shí)只有全練的一半。

89.4%這個(gè)數(shù)字意味著什么？

想想看，只有17000張無標(biāo)簽圖像，還是從流量檢測(cè)跨到缺陷分類，完全不同的任務(wù)，居然能達(dá)到接近90%的準(zhǔn)確率。

關(guān)鍵是整個(gè)過程不需要人工標(biāo)注一張圖，收集好數(shù)據(jù)跑個(gè)腳本就行。

如果你有十臺(tái)不同廠家的打印機(jī)，或者要檢測(cè)十種不同的缺陷，用這套方法復(fù)制起來就很快。

怎么實(shí)際應(yīng)用

雖然論文比較學(xué)術(shù)，但我們認(rèn)為從實(shí)驗(yàn)部分可以提煉出一些落地經(jīng)驗(yàn)。

硬件上，需要在打印頭附近裝一個(gè)小型攝像頭，參考Fig. 2b的安裝方式，視野覆蓋噴嘴擠出區(qū)域。

攝像頭要跟打印頭保持相對(duì)固定，避免震動(dòng)導(dǎo)致視野變化。

分辨率不需要太高，1280×720就夠用，但采集頻率至少要5幀每秒。

軟件上，如果要檢測(cè)流量相關(guān)的缺陷，可以按照Fig. 2的流程收集自動(dòng)標(biāo)注數(shù)據(jù)訓(xùn)練模型。

模型結(jié)構(gòu)可以參考Fig. 3a的MobileNetV3-Small架構(gòu)。

控制系統(tǒng)的關(guān)鍵參數(shù)包括：

控制周期設(shè)為5秒，用最近2秒的檢測(cè)數(shù)據(jù)計(jì)算誤差，模糊控制器的函數(shù)可以參考Fig. 5b的配置，抗延遲閾值設(shè)為0.2赫茲（也就是5秒）。

如果要適配到新設(shè)備或檢測(cè)新類型缺陷，可以走Fig. 7的遷移學(xué)習(xí)路線：

收集無標(biāo)簽數(shù)據(jù)，用預(yù)訓(xùn)練模型提取特征做聚類偽標(biāo)注，然后按照策略2（Fig. 7h）微調(diào)模型。

實(shí)際部署時(shí)建議先做Fig. 6那樣的應(yīng)力測(cè)試，確認(rèn)系統(tǒng)能在20秒左右就能把干擾抑制下來。

AM易道讀完最大的感受是：終于有人把FDM閉環(huán)控制為什么這么難這個(gè)問題說清楚了。

很多團(tuán)隊(duì)做AI檢測(cè)，結(jié)果系統(tǒng)要么不響應(yīng)，要么振蕩個(gè)沒完。

為什么？因?yàn)樗麄儼袴DM當(dāng)成了一個(gè)靜態(tài)系統(tǒng)，但實(shí)際上本文講清楚了這是個(gè)有延遲、會(huì)變化、還不太線性的動(dòng)態(tài)過程。

對(duì)于想做AI實(shí)時(shí)監(jiān)控和控制企業(yè)來說，我們認(rèn)為這篇論文提供的價(jià)值是：

知道為什么會(huì)失敗，知道怎么避開這些坑，知道如何適配到自己的設(shè)備。

關(guān)注AM易道，讀懂3D打印的變化之道。

尋找AM易道編輯，5年以上3D打印行業(yè)經(jīng)驗(yàn)，不限專業(yè)領(lǐng)域。期待與有深度思考能力、文字能力和創(chuàng)作興趣的小伙伴合作，共同打造優(yōu)質(zhì)內(nèi)容。有意者請(qǐng)加yihanzhong詳聊。

企業(yè)合伙人計(jì)劃：

讀者提示：添加amyidao加入讀者交流群（備注加群），獲取原始信源鏈接或不便發(fā)表內(nèi)容，并與AM易道同頻讀者共同探討3D打印的一切，AM易道建議也讀者星標(biāo)公眾號(hào)，以便第一時(shí)間收到AM易道更新。

免責(zé)聲明：AM易道圖片視頻來自于網(wǎng)絡(luò)，僅作為輔助閱讀之用途，無商業(yè)目的。版權(quán)歸原作者所有，如有任何侵權(quán)行為，請(qǐng)權(quán)利人及時(shí)聯(lián)系，我們將在第一時(shí)間刪除。本文圖片版權(quán)歸版權(quán)方所有，AM易道水印為自動(dòng)添加，輔助閱讀，不代表對(duì)該圖片擁有版權(quán)，如需使用圖片，請(qǐng)自行咨詢版權(quán)相關(guān)方。AM易道文章不構(gòu)成任何投資建議，AM易道不對(duì)因使用本文信息而導(dǎo)致的任何直接或間接損失承擔(dān)責(zé)任。