近日，南京農(nóng)業(yè)大學(xué)農(nóng)學(xué)院姜東教授團(tuán)隊(duì)在Artificial Intelligence in Agriculture期刊上發(fā)表了題為“Integrating 3D detection networks and dynamic temporal phenotyping for wheat yield classification and prediction”的研究論文。該研究基于三維目標(biāo)檢測(cè)網(wǎng)絡(luò)和動(dòng)態(tài)時(shí)空表型，提出了小麥全生育期產(chǎn)量分級(jí)與預(yù)測(cè)的新框架。

目前，無(wú)人機(jī)系統(tǒng)對(duì)小麥不同生育時(shí)期的表型數(shù)據(jù)采集主要依賴(lài)二維圖像。雖然二維影像能夠提取冠層高度、冠層面積等重要表型參數(shù)，但由于其本質(zhì)上缺乏深度信息，在高密度種植條件下往往難以準(zhǔn)確識(shí)別行間邊界，從而限制了對(duì)試驗(yàn)小區(qū)的精細(xì)劃分。相比之下，三維圖像因包含豐富的空間結(jié)構(gòu)信息，在密植田間環(huán)境中更具處理優(yōu)勢(shì)，更有利于實(shí)現(xiàn)小區(qū)級(jí)的自動(dòng)化分析。因此，基于無(wú)人機(jī)系統(tǒng)的三維圖像數(shù)據(jù)構(gòu)建小麥生育時(shí)期的自動(dòng)化表型分析流程，已成為值得重點(diǎn)關(guān)注的研究方向。

為解決上述問(wèn)題，本研究團(tuán)隊(duì)基于三維目標(biāo)檢測(cè)網(wǎng)絡(luò)與動(dòng)態(tài)時(shí)空表型構(gòu)建了小麥全生育期產(chǎn)量分級(jí)與預(yù)測(cè)的新型框架，系統(tǒng)性地提升了小麥全生育期三維表型自動(dòng)化分析與產(chǎn)量預(yù)測(cè)的精度與效率。該框架包含五個(gè)主要?jiǎng)?chuàng)新點(diǎn)：(1)提出三維基準(zhǔn)面輔助的小區(qū)分割算法，實(shí)現(xiàn)高效點(diǎn)云提取與檢測(cè)框快速標(biāo)注，提升前期預(yù)處理效率。(2)構(gòu)建了融合三維跨層特征金字塔網(wǎng)絡(luò)（CFPT 3D）與空間注意力模塊（AATT）的3D Wheat Plot Detection Net，顯著增強(qiáng)模型在深度特征識(shí)別和候選框關(guān)鍵特征提取方面的能力，兼具更優(yōu)的精度與訓(xùn)練效率。(3)創(chuàng)新利用點(diǎn)云密度空間分布實(shí)現(xiàn)行級(jí)點(diǎn)云分割，為獨(dú)立計(jì)算行級(jí)表型參數(shù)提供基礎(chǔ)。(4)開(kāi)發(fā)3D Wheat Plot Phenotype Extraction軟件，集成三維可視化與靜態(tài)、動(dòng)態(tài)表型自動(dòng)提取，實(shí)現(xiàn)從點(diǎn)云處理到表型輸出的全流程自動(dòng)化。(5)構(gòu)建動(dòng)態(tài)表型預(yù)測(cè)體系，根據(jù)小麥不同生育時(shí)期的靜態(tài)表型及產(chǎn)量數(shù)據(jù)對(duì)長(zhǎng)勢(shì)進(jìn)行分級(jí)，并提出性狀快速變化期、緩慢變化期、降低期、最大高度/面積差及高度面積變化率五類(lèi)動(dòng)態(tài)時(shí)序表型，結(jié)合機(jī)器學(xué)習(xí)實(shí)現(xiàn)長(zhǎng)勢(shì)分級(jí)與產(chǎn)量預(yù)測(cè)。

提出三維基準(zhǔn)面輔助的小區(qū)分割算法以提高標(biāo)注效率

本研究選取長(zhǎng)江中下游及黃淮海平原地區(qū)的160個(gè)自然小麥品種，在南京農(nóng)業(yè)大學(xué)白馬教學(xué)科研基地(31°36′57.8″N，119°10′46.1″E)開(kāi)展田間試驗(yàn)。針對(duì)每個(gè)品種，設(shè)置三個(gè)氮肥梯度處理：零氮肥N0、中等氮素肥量N180以及較高氮素肥量，每個(gè)處理設(shè)置兩個(gè)生物學(xué)重復(fù)，總計(jì)960個(gè)試驗(yàn)小區(qū)。對(duì)于每個(gè)1.5m × 1.5m的種植小區(qū)，團(tuán)隊(duì)采用行間距25cm，每行均勻種植約100株，行數(shù)為6行的種植方式種植每個(gè)小麥品種。同時(shí)，為了測(cè)試本研究構(gòu)建的三維檢測(cè)模型的泛化性，在山東省德州市齊河縣(36°68′N(xiāo), 116°65′E)對(duì)江中下游及黃淮海平原地區(qū)的208個(gè)自然小麥品種也進(jìn)行了田間試驗(yàn)。同樣設(shè)置三個(gè)氮肥梯度，每個(gè)氮肥梯度設(shè)置五個(gè)對(duì)照組，總計(jì)15個(gè)地塊，每個(gè)地塊的種植模式采用1.5m × 0.4m單行種植。

采用大疆無(wú)人機(jī)3M行業(yè)版采集小麥生育期的數(shù)據(jù)，設(shè)置傾斜攝影參數(shù)并通過(guò)執(zhí)行五種飛行模式采集多視角圖像，采用Pix4D Enterprise高精度重建模式進(jìn)行多視角三維重構(gòu)，獲取小麥小區(qū)三維點(diǎn)云數(shù)據(jù)。為全面掌握小麥生育期動(dòng)態(tài)表型變化，研究團(tuán)隊(duì)在拔節(jié)至成熟期期間，對(duì)所有小麥小區(qū)（含兩個(gè)重復(fù)對(duì)照）實(shí)施每6天一次的定期航測(cè)。在施用拔節(jié)肥后和抽穗期這兩個(gè)關(guān)鍵生育階段，特別將采集頻率加密至每3天一次。此外，在小麥播種后立即采集了種植地塊基準(zhǔn)面的多視角數(shù)據(jù)，所獲得的基準(zhǔn)點(diǎn)云為后續(xù)點(diǎn)云預(yù)處理和表型參數(shù)提取提供了重要參考。

圖1種植區(qū)塊規(guī)劃和三維數(shù)據(jù)獲取流程

原始小麥點(diǎn)云中包含地塊背景及噪聲點(diǎn)云，給標(biāo)注工作帶來(lái)較大干擾。因此本研究開(kāi)發(fā)了一套小麥小區(qū)預(yù)處理方法來(lái)獲取去除地塊以及噪聲點(diǎn)的純凈小區(qū)點(diǎn)云數(shù)據(jù)。首先，對(duì)原始三維點(diǎn)云進(jìn)行處理，計(jì)算x和y方向的最大最小值，并通過(guò)插值將其分割為六個(gè)氮素梯度點(diǎn)云，每個(gè)梯度點(diǎn)云包含160個(gè)小區(qū)的三維數(shù)據(jù)。根據(jù)品種分布，采用不同的插值分割策略，將每個(gè)梯度點(diǎn)云精確劃分為160個(gè)獨(dú)立的小區(qū)點(diǎn)云，最終獲得960個(gè)小區(qū)樣本。然后，通過(guò)平面擬合去除地面點(diǎn)云，避免對(duì)邊界框中心坐標(biāo)的干擾。考慮到冠層遮擋問(wèn)題，創(chuàng)新性地通過(guò)基準(zhǔn)面點(diǎn)云與地面差值運(yùn)算，獲取缺失的下部地面信息，并與處理后的小區(qū)點(diǎn)云融合，經(jīng)半徑濾波去噪，得到完整的小麥小區(qū)點(diǎn)云。

圖2三維基準(zhǔn)面輔助的小區(qū)預(yù)處理算法流程

融合三維跨層特征金字塔網(wǎng)絡(luò)與空間注意力模塊構(gòu)建了三維小區(qū)精準(zhǔn)檢測(cè)

網(wǎng)絡(luò)3D Wheat Plot Detection Net

模型采用3D候選框生成和基于候選的3D框優(yōu)化兩階段檢測(cè)架構(gòu)。3D候選框生成包含Set Abstraction、CFPT 3D、Feature Propagation、Point-wise以及Box-Bounding五個(gè)模塊，對(duì)于輸入N × 3的矩陣，首先，傳入四個(gè)Set Abstraction (SA)層逐步提取點(diǎn)云局部特征，并在最后一個(gè)SA層進(jìn)行最大池化操作提取最終特征。隨后，將獲得的四組特征圖(包含三組過(guò)程特征和最終特征)，這四個(gè)特征的前兩個(gè)維度、長(zhǎng)寬度信息以及深度信息，組成四個(gè)新的特征矩陣，作為輸入傳入CFPT 3D模塊。CFPT 3D模塊包含跨層注意力CLA(包含跨通道注意力CCA和空間通道注意SCA和共享檢測(cè)頭兩個(gè)子模塊，得到空間-通道混合注意力特征。

得到特征后采用共享檢測(cè)頭對(duì)四個(gè)層級(jí)進(jìn)行橫向連接，獲得B × N × (4 + K)的矩陣輸出(這里N為候選框數(shù)量，4是位置信息)。然后，通過(guò)四個(gè)Feature Propagation (FP)層恢復(fù)點(diǎn)的細(xì)節(jié)信息，最終輸出(N × D′)的矩陣(N代表點(diǎn)云點(diǎn)數(shù)，D′為特征維度)。隨后，在Point-wise模塊采用使用一個(gè)二分類(lèi)的分割頭，基于提取的特征預(yù)測(cè)每個(gè)點(diǎn)屬于前景的概率。并通過(guò)閾值篩選，得到前景點(diǎn)集合。最后，在box-Bounding模塊，對(duì)每個(gè)前景點(diǎn)，預(yù)測(cè)其相對(duì)于目標(biāo)中心的偏移量和目標(biāo)的大小，通過(guò)聚類(lèi)生成3D候選框，最終輸出K × 7的矩陣(K為候選框數(shù)量，7表示候選框中心坐標(biāo)x, y, z、尺寸大小長(zhǎng)、寬、高和方向角度)。

基于候選的3D框優(yōu)化主要包含區(qū)域注意力模塊、候選框特征提取模塊以及3D框優(yōu)化模塊。區(qū)域注意力在保持較大的感受野同時(shí)降低計(jì)算成本，通過(guò)將特征圖劃分為4段，使得感受野變?yōu)樵瓉?lái)的1/4，但這種劃分可以大大縮小后續(xù)候選框特征提取模塊的計(jì)算開(kāi)銷(xiāo)，提升模型訓(xùn)練性能和速度。候選框特征提取模塊的功能與3D候選框生成中Set Abstraction和Feature Propagation模塊類(lèi)似，對(duì)于area attention模塊劃分的每個(gè)感受野，傳入四個(gè)SA層提取候選框內(nèi)點(diǎn)云的特征信息并將四組特征信息通過(guò)FP層進(jìn)行細(xì)節(jié)恢復(fù)，最終將16組特征信息進(jìn)行合并成最終特征信息。最后，將合并的特征信息傳入3D框優(yōu)化模塊，該模塊使用一個(gè)回歸頭(Regression Head)，計(jì)算候選框到最終優(yōu)化框的修正量矩陣，修正量矩陣包括中心坐標(biāo)的偏移、尺寸大小的縮放以及方向角度的調(diào)整，將這個(gè)修正量矩陣應(yīng)用于候選框矩陣，得到最終的3D優(yōu)化檢測(cè)框。

提出三維小區(qū)行分割算法，利用點(diǎn)云密度空間分布實(shí)現(xiàn)行級(jí)點(diǎn)云分割

該算法首先提取邊界框內(nèi)所有點(diǎn)云，沿種植行方向（寬軸）進(jìn)行空間分布分析。通過(guò)計(jì)算寬軸方向的最大最小值差，以5cm為間隔進(jìn)行線(xiàn)性插值，統(tǒng)計(jì)每個(gè)插值區(qū)間內(nèi)的點(diǎn)云數(shù)量，構(gòu)建距離-點(diǎn)數(shù)分布曲線(xiàn)。分析發(fā)現(xiàn)，分布曲線(xiàn)呈現(xiàn)明顯的六峰五谷交替特征，這與實(shí)驗(yàn)設(shè)計(jì)的六行五間隔種植模式完全吻合?；谶@一特征規(guī)律，算法將曲線(xiàn)谷值最低點(diǎn)確定為行間間隔中心位置，并沿寬軸正負(fù)方向各延伸5cm，形成10cm寬的間隔行區(qū)域（每個(gè)小區(qū)共五個(gè)間隔行）。通過(guò)系統(tǒng)遍歷所有邊界框并應(yīng)用該分割方法，最終實(shí)現(xiàn)了對(duì)每個(gè)三維小區(qū)種植行的精確定位與分割。在獲得的小區(qū)及種植行點(diǎn)云數(shù)據(jù)后，本研究系統(tǒng)計(jì)算了四項(xiàng)關(guān)鍵表型參數(shù)：小區(qū)高度、冠層面積、葉體積和葉面積指數(shù)以便后續(xù)分析。

圖3 3D Wheat Plot Detection Net架構(gòu)和三維小區(qū)行分割算法示意

開(kāi)發(fā)3D Wheat Plot Phenotype Extraction軟件

實(shí)現(xiàn)從點(diǎn)云處理到表型輸出的全流程自動(dòng)化

本研究開(kāi)發(fā)的3D Wheat Plot Phenotype Extraction應(yīng)用程序采用模塊化設(shè)計(jì)，包含三大核心功能區(qū)域：主工具欄、點(diǎn)云可視化界面和分析圖表展示區(qū)。主工具欄集成了從數(shù)據(jù)輸入到結(jié)果輸出的完整分析流程，提供點(diǎn)云讀取、小區(qū)檢測(cè)、行分割、性狀分析、圖表生成和數(shù)據(jù)導(dǎo)出六大功能模塊。

圖4 3D Wheat Plot Phenotype Extraction軟件功能展示

構(gòu)建包含五類(lèi)動(dòng)態(tài)時(shí)序表型的預(yù)測(cè)體系

結(jié)合機(jī)器學(xué)習(xí)實(shí)現(xiàn)長(zhǎng)勢(shì)分級(jí)與產(chǎn)量預(yù)測(cè)

本研究進(jìn)一步分析了表型的動(dòng)態(tài)變化特征，提出了性狀快速變化期、緩慢變化期、降低期、最大高度/面積差及高度面積變化率五類(lèi)動(dòng)態(tài)時(shí)序表型。采用機(jī)器學(xué)習(xí)技術(shù)分別使用靜態(tài)和動(dòng)態(tài)參數(shù)預(yù)測(cè)葉面積指數(shù)和產(chǎn)量。在靜態(tài)參數(shù)預(yù)測(cè)中，使用每個(gè)采集節(jié)點(diǎn)的小區(qū)高度、冠層面積和體積進(jìn)行預(yù)測(cè)；在動(dòng)態(tài)參數(shù)預(yù)測(cè)中，計(jì)算每個(gè)小區(qū)在采集時(shí)間間隔內(nèi)的高度、面積和體積變化率，并用這些變化率預(yù)測(cè)葉面積指數(shù)和產(chǎn)量。共獲得20160組數(shù)據(jù)（21次采集，每次960個(gè)小區(qū)），并按照70%訓(xùn)練集、15%測(cè)試集和15%驗(yàn)證集進(jìn)行劃分。使用XGBoost、SVM和隨機(jī)森林模型進(jìn)行靜態(tài)表型的訓(xùn)練。對(duì)于動(dòng)態(tài)參數(shù)預(yù)測(cè)，采用LSTM和Bi-LSTM基于時(shí)間序列的模型，時(shí)間步長(zhǎng)作為特征向量納入訓(xùn)練。結(jié)果表明，動(dòng)態(tài)表型預(yù)測(cè)精度高于靜態(tài)表型，尤其在施用拔節(jié)肥后和抽穗期等關(guān)鍵生育階段，基于時(shí)間變化率的預(yù)測(cè)精度尤為突出，展示了動(dòng)態(tài)表型在捕捉作物表型變化與產(chǎn)量關(guān)系中的優(yōu)勢(shì)。

此外，研究還采用靜態(tài)和動(dòng)態(tài)表型對(duì)不同生育階段的產(chǎn)量進(jìn)行分級(jí)。對(duì)于動(dòng)態(tài)表型，通過(guò)標(biāo)準(zhǔn)化處理小區(qū)高度、面積、體積和葉面積指數(shù)的動(dòng)態(tài)變化頻率，并應(yīng)用隨機(jī)森林構(gòu)建三分類(lèi)模型，最終生成可視化分級(jí)圖。通過(guò)統(tǒng)計(jì)每個(gè)小區(qū)的分級(jí)頻率，確定其最終分類(lèi)。

圖5動(dòng)態(tài)表型的變化曲線(xiàn)、桑基圖以及分別采用動(dòng)靜態(tài)表型進(jìn)行機(jī)器學(xué)習(xí)的預(yù)測(cè)結(jié)果

三維目標(biāo)檢測(cè)網(wǎng)絡(luò)以及行分割算法在不同種植模式地塊的高泛化性

本研究也比較了單行和多行種植模式下三維目標(biāo)檢測(cè)網(wǎng)絡(luò)以及行分割算法的泛化能力。在單行種植模式下，3D Wheat Plot Detection Net模型展現(xiàn)出優(yōu)異的檢測(cè)性能，不僅能夠準(zhǔn)確識(shí)別各個(gè)種植小區(qū)，還能有效捕捉斷行造成的孔隙等細(xì)微特征。通過(guò)行分割算法處理，系統(tǒng)成功將每個(gè)單行種植區(qū)以不同顏色進(jìn)行區(qū)分標(biāo)記，實(shí)現(xiàn)了精細(xì)化的空間解析。

進(jìn)一步測(cè)試表明，該模型在多行種植場(chǎng)景下（單個(gè)小區(qū)包含16個(gè)單行）同樣表現(xiàn)卓越。模型準(zhǔn)確識(shí)別了復(fù)雜種植模式下的各個(gè)小區(qū)單元，驗(yàn)證了算法對(duì)不同種植密度的適應(yīng)性和魯棒性。行分割算法在多行種植條件下仍保持穩(wěn)定的分割精度，為后續(xù)表型分析提供了可靠的數(shù)據(jù)基礎(chǔ)。

圖6不同種植模式下模型和算法的泛化能力可視化結(jié)果

三維目標(biāo)檢測(cè)網(wǎng)絡(luò)以及行分割算法在多源傳感器獲得三維點(diǎn)云數(shù)據(jù)上的適用性

為了評(píng)估本研究的3D wheat plot detection net以及行分割算法的泛化性，本研究也使用地基激光雷達(dá)和手持雷達(dá)采集了小麥小區(qū)的三維點(diǎn)云?？傮w而言，3D Wheat Plot Detection Net與行分割算法在處理地面式和手持式激光雷達(dá)點(diǎn)云數(shù)據(jù)時(shí)均表現(xiàn)出優(yōu)異的性能。然而，與無(wú)人機(jī)平臺(tái)相比，地面式和手持式激光雷達(dá)在數(shù)據(jù)獲取效率方面相對(duì)較低，尤其是在大尺度或多品種小麥試驗(yàn)田中更為明顯。因此，在實(shí)際應(yīng)用中，應(yīng)根據(jù)種植布局和研究目標(biāo)合理選擇數(shù)據(jù)采集傳感器，以在精度與效率之間實(shí)現(xiàn)最佳平衡。

圖6模型和算法在不同傳感器采集三維點(diǎn)云上的泛化能力可視化結(jié)果

綜上，本研究構(gòu)建了一套完整的小麥三維點(diǎn)云生育期自動(dòng)處理流程。該流程首先提出了專(zhuān)為小麥小區(qū)設(shè)計(jì)的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)3D Wheat Plot Detection Net，在簡(jiǎn)單、中等和困難三種模式的數(shù)據(jù)集上分別取得了95.39%、90.03%和83.05%的AP3D指標(biāo)，以及95.39%、90.03%和85.37%的APBEV指標(biāo)，其性能顯著優(yōu)于現(xiàn)有主流三維檢測(cè)網(wǎng)絡(luò)。其次，基于點(diǎn)云密度特征實(shí)現(xiàn)了種植行級(jí)別的三維點(diǎn)云分割，成功解決了二維圖像難以處理的密植行分割難題。最后，創(chuàng)新性地提出了五種動(dòng)態(tài)時(shí)間表型參數(shù)，并結(jié)合靜態(tài)和動(dòng)態(tài)表型參數(shù)進(jìn)行產(chǎn)量分級(jí)和預(yù)測(cè)，結(jié)果表明，采用動(dòng)態(tài)表型預(yù)測(cè)的產(chǎn)量精度高于靜態(tài)表型的預(yù)測(cè)精度，基于時(shí)間序列動(dòng)態(tài)的機(jī)器學(xué)習(xí)模型達(dá)到了82.4%最高的預(yù)測(cè)精度，證明了動(dòng)態(tài)表型在提升產(chǎn)量預(yù)測(cè)模型準(zhǔn)確性上的作用。

未來(lái)研究將重點(diǎn)推進(jìn)多源數(shù)據(jù)融合，包括RGB圖像和多光譜數(shù)據(jù)，并加強(qiáng)對(duì)小麥分蘗期表型處理的研究。最終目標(biāo)是構(gòu)建一個(gè)集成RGB、多光譜和三維點(diǎn)云數(shù)據(jù)的全生育期小麥自動(dòng)處理分析流程，為精準(zhǔn)農(nóng)業(yè)決策提供更高效的技術(shù)支持。

南京農(nóng)業(yè)大學(xué)前沿交叉研究院與農(nóng)學(xué)院聯(lián)合培養(yǎng)博士生周鴻昊、秦秉希、農(nóng)學(xué)院鐘山青年研究員李慶，為本文的第一作者。小麥生理生態(tài)與生產(chǎn)管理團(tuán)隊(duì)首席姜東教授、前沿交叉研究院鐘山青年研究員陳佳瑋，為本文的通訊作者。該研究得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目、江蘇省國(guó)際科技合作創(chuàng)新支持計(jì)劃項(xiàng)目、江蘇省農(nóng)業(yè)科技創(chuàng)新基金等項(xiàng)目的支持。