使用高光譜成像技術(shù)實時確定工作面等級，用于確定采礦面或礦石裸露表面質(zhì)量的當(dāng)前方法，采礦業(yè)還有很多不足之處。開采工作的位置在整個開采過程中必定會發(fā)生變化，這使得需要確定多個工作面。但是，當(dāng)前的工作面分級技術(shù)取決于鉆探和破壞性測試，這些測試需要時間才能完成，從而導(dǎo)致礦石損失并且缺乏精度。

機器視覺系統(tǒng)解決了這些問題。它使用HySpexVNIR-1800攝像機（覆蓋400至1000 nm波長范圍）和HySpex SWIR-384攝像機（覆蓋1000至2500 nm范圍）進(jìn)行高光譜成像，并且Velodyne-VLP-16 LiDAR掃描儀可生成采礦工作面的3D點云。攝像機和掃描儀裝在安裝在云臺上的傳感器頭中，系統(tǒng)的其余部分安裝在固定車輛的后部。

三個具有實時運動（RTK）校正功能的全球?qū)Ш叫l(wèi)星系統(tǒng)（GNNS）接收器通過對由LiDAR掃描儀構(gòu)建的地形模型進(jìn)行地理定位來對系統(tǒng)進(jìn)行定向。這樣做可以將GPS坐標(biāo)分配給地形圖上的每個點，以查明收集高光譜數(shù)據(jù)的位置，從而使機器視覺系統(tǒng)可以將高光譜和3D掃描數(shù)據(jù)結(jié)合起來。系統(tǒng)的最佳掃描距離為30 m。

首先進(jìn)行LiDAR掃描，以確保地形掃描捕獲了整個感興趣的區(qū)域，并允許操作員進(jìn)行校正。然后，當(dāng)高光譜攝像機進(jìn)行線掃描時，云臺單元將在感興趣的區(qū)域中進(jìn)行搖攝。此過程在場景的一小部分上進(jìn)行，以確保高光譜相機捕獲所需波長范圍內(nèi)的信息。進(jìn)行必要的調(diào)整后，高光譜相機會對整個礦井面成像。
研究人員指出，將太陽光與通常的照明光源（如鹵素?zé)艋驅(qū)拵?/span>LED）進(jìn)行對比，對于處理高光譜數(shù)據(jù)提出了挑戰(zhàn)。由于水蒸氣吸收了某些波長的紅外光，因此諸如濕度之類的大氣條件提出了挑戰(zhàn)?？梢詫C器視覺系統(tǒng)進(jìn)行編程，以在處理高光譜數(shù)據(jù)時通過使用過濾器來考慮這些變量。

最后，圖像中的每個像素都用高光譜信息標(biāo)記，而卷積神經(jīng)網(wǎng)絡(luò)（CNN）將每個像素的標(biāo)記分類。CNN訓(xùn)練從已知品位的礦石樣品，化學(xué)測定值或具有實測真實值的現(xiàn)場調(diào)查中收集的標(biāo)記數(shù)據(jù)。

在位于澳大利亞的金礦的測試中，從每個站點采集礦石樣品，用鹵素?zé)粽彰?，并用高光譜相機成像。為原型系統(tǒng)設(shè)計的波長濾光片用于濾除大氣條件引起的噪聲，用于對礦石樣品進(jìn)行成像，以確保在測試和地面真實高光譜數(shù)據(jù)收集中使用相同數(shù)量的光譜通道。

在將地面真實數(shù)據(jù)與由CNN分析機器視覺系統(tǒng)收集的高光譜圖像確定的礦石分級結(jié)果進(jìn)行比較之后，研究人員確定該系統(tǒng)成功提供了有用的礦石分級信息。此外，實驗建立了適當(dāng)?shù)墓ぷ髁鞒?，以將系統(tǒng)部署到新站點。

外星眼機器視覺認(rèn)為：嚴(yán)酷的自然環(huán)境會給機器視覺成像系統(tǒng)帶來挑戰(zhàn)，這使得機器視覺在自然條件下使用的精度和準(zhǔn)確性并不高。使用多次成像和高光譜成像在一定程度上可以解決這樣的問題。