近年來，智能溫室領(lǐng)域取得了重大進(jìn)展，特別是在應(yīng)用計(jì)算機(jī)視覺和機(jī)器人技術(shù)為花朵授粉方面。機(jī)器人授粉具有多種優(yōu)勢(shì)，包括通過人工番茄授粉減少勞動(dòng)力需求和保存昂貴的花粉。然而，以往的研究主要集中在番茄花的標(biāo)記和檢測(cè)上。因此，本研究的目標(biāo)是開發(fā)一種專門針對(duì)機(jī)器人授粉時(shí)，一同標(biāo)記、訓(xùn)練和檢測(cè)番茄花的綜合方法。為此，我們采用了遷移學(xué)習(xí)技術(shù)，利用著名的模型，即 YOLOv5 和最近推出的 YOLOv8，進(jìn)行番茄花檢測(cè)。使用相同的圖像數(shù)據(jù)集對(duì)這兩個(gè)模型的性能進(jìn)行了評(píng)估，并根據(jù)它們的平均精度（AP）得分進(jìn)行比較，以確定哪個(gè)模型更優(yōu)。結(jié)果表明，YOLOv8 在番茄花和芽的檢測(cè)中取得了 92.6% 的較高平均精度 (mAP)，優(yōu)于 YOLOv5 的 91.2%。值得注意的是，YOLOv8 在檢測(cè)過程中將 1920 × 1080 像素的圖像大小調(diào)整為 640 × 640 像素時(shí)，推理速度也達(dá)到了 0.7 毫秒。圖像數(shù)據(jù)集是在早晨和傍晚采集的，以盡量減少光照條件對(duì)檢測(cè)模型的影響。這些發(fā)現(xiàn)凸顯了 YOLOv8 在實(shí)時(shí)檢測(cè)番茄花朵和花蕾方面的潛力，有助于進(jìn)一步評(píng)估花朵盛開的高峰期，并促進(jìn)機(jī)器人授粉。在機(jī)器人授粉方面，本研究還側(cè)重于在 3P2R 門式機(jī)器人上部署所提出的檢測(cè)模型。研究介紹了龍門機(jī)器人的運(yùn)動(dòng)學(xué)模型和改進(jìn)電路。在授粉過程中，采用了基于位置的視覺伺服方法來接近檢測(cè)到的花朵。在實(shí)驗(yàn)室環(huán)境中的非聚類和聚類植物環(huán)境中，驗(yàn)證了所提出的視覺伺服方法的有效性。此外，這項(xiàng)研究還為溫室系統(tǒng)領(lǐng)域的專家提供了寶貴的理論和實(shí)踐見解，特別是在利用計(jì)算機(jī)視覺設(shè)計(jì)花朵檢測(cè)算法以及將其應(yīng)用于溫室機(jī)器人系統(tǒng)方面。

圖1 （a）番茄植物花的結(jié)構(gòu) （b）昆蟲（蜜蜂）授粉 （c）人工（振動(dòng)牙刷）授粉。

圖2 方法流程圖。

表1 數(shù)據(jù)采集設(shè)備規(guī)格。

圖3 數(shù)據(jù)采集裝置 （a）示意圖 （b）裝置的三維模型。

圖4 在溫室中獲取的番茄花圖像示例。

圖5 番茄花的標(biāo)簽示例。花朵用紅色矩形標(biāo)注為 “花朵”，花蕾用粉色矩形標(biāo)注為 “花蕾”。

圖6 YOLOv8 模型架構(gòu)詳圖。Backbone、Neck和Head是模型的三個(gè)部分，C2f、ConvModule、DarknetBottleneck 和 SPPF 是模塊。

圖7 綜合評(píng)估指標(biāo)展示了模型在各項(xiàng)關(guān)鍵任務(wù)中的表現(xiàn)。

圖8 性能參數(shù) （a）混淆矩陣 （b）精確度-召回曲線 （c）召回-置信度曲線 （d）F1 分?jǐn)?shù)曲線。

表2 YOLOv5s 和 YOLOv8s 驗(yàn)證的指標(biāo)結(jié)果。

圖9 YOLOv8s 和 YOLOv5s 模型檢測(cè)到的番茄花和芽圖像示例。（a）YOLOv5s 將植物莖誤檢測(cè)為花蕾

（b）YOLOv5s 未檢測(cè)到花蕾，YOLOv5s 檢測(cè)花朵時(shí)畫出了兩個(gè)邊界框。

圖10 帶授粉系統(tǒng)的 3P2R 龍門機(jī)器人 （a）CAD 模型 （b）原型模型。

圖11 3P2R龍門機(jī)器人電路圖。

圖12 龍門機(jī)器人的笛卡爾系統(tǒng)。

表3 3P2R 龍門機(jī)器人 Denavit–Hartenberg (DH) 參數(shù)。

圖13 3P2R 龍門機(jī)器人的 Simulink 模型。

圖14 PID 控制器產(chǎn)生 （a）階躍響應(yīng) （b）鋸齒響應(yīng)。

表4 PID控制器參數(shù)。

圖15 3P2R龍門機(jī)器人基于位置的視覺伺服模型。

圖16 相機(jī)型號(hào)。

圖17 深度估算結(jié)果 （a）實(shí)驗(yàn)室實(shí)驗(yàn)裝置 （b）不同花朵方向的深度估算結(jié)果。

圖18 相機(jī)機(jī)器人校準(zhǔn) （a）ArUco 標(biāo)記（b）未群集植物（c）群集植物（d,e）校準(zhǔn)結(jié)果。

圖19 （a）機(jī)器人路徑覆蓋可視化（b）授粉過程中的搜索算法流程圖。

圖20 （a）中心位置檢測(cè) （b）檢測(cè)到的花朵的視覺伺服姿態(tài)檢測(cè)。

圖21 第一排 3R2P 龍門機(jī)器人的軌跡結(jié)果（a）授粉器末端效應(yīng)器的三維軌跡（b）Y-Z 平面 （c）X-Y 平面 （d）Z-X 平面。

圖22 (a-f) 授粉任務(wù)期間的機(jī)器人路徑 (g) 番茄花檢測(cè)  (h,i) 授粉過程的縮放視圖。