近日，工學(xué)院智能農(nóng)機(jī)動(dòng)力與無(wú)人系統(tǒng)團(tuán)隊(duì)聯(lián)合浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院農(nóng)業(yè)裝備與智能檢測(cè)（AE&ID）團(tuán)隊(duì)在國(guó)際權(quán)威期刊Journal of Industrial Information Integration上發(fā)表了題為Real-time path planning for multi-scenario headland turns in agricultural vehicles using panoramic vision and sequential frame correlation method的研究論文。該研究通過(guò)構(gòu)建全景環(huán)視系統(tǒng)，結(jié)合深度學(xué)習(xí)與序列幀關(guān)聯(lián)分析，提出了一種適用于農(nóng)業(yè)車(chē)輛在多場(chǎng)景下進(jìn)行地頭轉(zhuǎn)向的實(shí)時(shí)路徑規(guī)劃方法，為實(shí)現(xiàn)純視覺(jué)導(dǎo)航的農(nóng)業(yè)自動(dòng)化系統(tǒng)提供了新思路。

地頭轉(zhuǎn)向是農(nóng)業(yè)車(chē)輛在田間作業(yè)過(guò)程中的關(guān)鍵環(huán)節(jié)，相較于作物跟蹤，其轉(zhuǎn)向角度更大、操作更復(fù)雜，對(duì)導(dǎo)航系統(tǒng)的連續(xù)感知與決策能力提出了更高要求。現(xiàn)有研究多依賴(lài)單一前視攝像頭，導(dǎo)致在轉(zhuǎn)向過(guò)程中視野受限，難以持續(xù)感知地頭區(qū)域，限制了其在實(shí)際場(chǎng)景中的應(yīng)用。該研究針對(duì)這一瓶頸，構(gòu)建了由四個(gè)魚(yú)眼攝像頭組成的全景環(huán)視系統(tǒng)，通過(guò)圖像拼接、失真校正與鳥(niǎo)瞰圖生成，實(shí)現(xiàn)了對(duì)車(chē)輛周?chē)h(huán)境的360度連續(xù)感知。

研究團(tuán)隊(duì)利用輕量級(jí)語(yǔ)義分割模型CGNet對(duì)地頭區(qū)域進(jìn)行精準(zhǔn)識(shí)別，其平均交并比達(dá)到92.84%，邊界檢測(cè)平均偏差僅為5.63像素。在此基礎(chǔ)上，通過(guò)分析連續(xù)幀之間地頭區(qū)域的位置相關(guān)性，動(dòng)態(tài)劃分功能區(qū)域，并設(shè)計(jì)了適用于不同轉(zhuǎn)向場(chǎng)景（如沿地頭轉(zhuǎn)向、面對(duì)地頭U形轉(zhuǎn)向、沿地頭U形轉(zhuǎn)向）的路徑規(guī)劃算法。該系統(tǒng)在田間導(dǎo)航實(shí)驗(yàn)中表現(xiàn)出良好的實(shí)時(shí)性與魯棒性。

該研究不僅為解決農(nóng)業(yè)車(chē)輛地頭轉(zhuǎn)向的視覺(jué)導(dǎo)航難題提供了可行的工業(yè)信息集成解決方案，也為果園、設(shè)施農(nóng)業(yè)等復(fù)雜場(chǎng)景下的自主作業(yè)系統(tǒng)開(kāi)發(fā)奠定了基礎(chǔ)。未來(lái)，研究團(tuán)隊(duì)將進(jìn)一步優(yōu)化圖像融合質(zhì)量、擴(kuò)展數(shù)據(jù)集，并探索在多作物、多地形條件下的推廣應(yīng)用。

南京農(nóng)業(yè)大學(xué)工學(xué)院講師李東方為本文第一作者。浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院王俊教授為本文通訊作者。南京農(nóng)業(yè)大學(xué)工學(xué)院肖茂華教授、朱燁均講師、浙江大學(xué)崔紹慶研究員在實(shí)驗(yàn)數(shù)據(jù)采集與數(shù)據(jù)分析方面為本研究提供了重要指導(dǎo)。研究工作得到江蘇省農(nóng)業(yè)科技自主創(chuàng)新資金項(xiàng)目與浙江省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目的資助。