TW201629752A - 微型積體控制裝置(第一案) - Google Patents

微型積體控制裝置(第一案) Download PDF

Info

Publication number
TW201629752A
TW201629752A TW104134777A TW104134777A TW201629752A TW 201629752 A TW201629752 A TW 201629752A TW 104134777 A TW104134777 A TW 104134777A TW 104134777 A TW104134777 A TW 104134777A TW 201629752 A TW201629752 A TW 201629752A
Authority
TW
Taiwan
Prior art keywords
sensor data
processor
voxel
control device
main processor
Prior art date
Application number
TW104134777A
Other languages
English (en)
Inventor
金東信
Original Assignee
韓華泰科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓華泰科股份有限公司 filed Critical 韓華泰科股份有限公司
Publication of TW201629752A publication Critical patent/TW201629752A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera

Abstract

一種微型積體控制裝置,包含一主處理器,係運用一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器同樣之時鐘信號,並與該主處理器並行處理大量的感測器資料;及一圖形處理器,係運用與該主處理器同樣之時鐘信號,且運用多核心並行執行對大量的感測器資料的運算。

Description

微型積體控制裝置(第一案)
本發明之一或多個例示性具體實施例係關於一種微型積體控制裝置,能夠接收及並行處理大量的感測器資料,以迅速獲得處理結果。本專利申請案主張2014年12月11日在韓國智慧財產局申請之韓國專利申請案第10-2014-0178719號之優先權,其係引用作為本說明書的揭示內容。
第1圖係顯示一根據相關技術之控制器之範例。如第1圖所示,該根據相關技術之控制器需要大量的中央處理器(CPU)核心來處理大量的感測器資料。據此,經運用一千兆位元(gigabit)交換器120使數台個人電腦110、111、112、113、114、115相互連接。
除了數台個人電腦110~115,另有一外部感測器和其他部件被連接作為個別元件的控制器以控制該控制器。因此,該控制器的尺寸體積相當大。
參照第1圖,當將大量的感測器資料100輸入第一個人電腦110,該第一個人電腦110傳送大量的感測器資料100至其他個人電腦,例如第二~第六個人電腦111、112、113、114、115,以共享大量的感測器資料100。然而,當運用一gigabit(千兆位元)乙太網路交換器來進行資料傳輸及共享,該資料實際上以50MB/s傳輸,儘管理論上是以1Gb/s傳輸。因此,可能無法在數台個人電腦之間有效地共享大量的資料。
為了解決上述問題,所述第一個人電腦110可以僅選擇某些該大量的感測器資料100中重要的框架,並與其他個人電腦111~115共享所選框架。因此,由於其他個人電腦111、112、113、114、115係依據所選感測器資料執行運算,該控制器的計算能力低且運算的結果是不準確的。
茲將在下文闡述其他的實施態樣,這些實施態樣可以從說明中清楚理解,或者可以透過呈現的具體實施例的實踐而理解。
根據一或多個例示性具體實施例,一微型積體控制裝置係包含一主處理器,運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器同樣的時鐘信號,並且與該主處理器並行處理大量的感測器資料;及一圖形處理器,係運用與該主處理器同樣的時鐘信號,且運用一多核心並行處理包含在 大量感測器資料中的影像為主的感測器資料。其中該主處理器、輔助處理器、及圖形處理器並行處理大量的感測器資料。
該圖形處理器包含一運算單元,用以接收該大量感測器資料當中的三維(3D)距離資料,將該三維距離資料轉換成體素資料,並計算出各體素中三維點雲端資料的平均值和協方差;一移動性計算單元,用以計算出依據該平均值和協方差所算出之一特徵值和一特徵向量而算出的表面方向角和各體素高度所估算出的移動性,其中該移動性係一表示各體素是否可移動之概率值;及一頻率檢測器,用以產生一體素佔據,其係一組體素之二進制標記,其中該頻率檢測器係判斷哪個體素被佔據,哪個體素未被佔據。
該圖形處理器可以將各體素之移動性和體素佔據之資訊傳送給該主處理器,該主處理器可以透過累加利用所述各體素之移動性和體素佔據而產生一地圖。
一移動物體,可以依據一裝設於該移動物體上之影像感測器所拍攝的驅動路徑的影像,及該主處理器產生之地圖,返回一驅動路徑。
該主處理器可以包括一個層次堆疊,該堆疊係包括一系統層、一介面層、一核心層、及一應用層。
根據一或多個例示性具體實施例,一種使用一 微型積體控制裝置處理大量的感測器資料的方法,包括經由一主處理器運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;經由一輔助處理器,根據一與該主處理器一樣的時鐘信號,處理該大量感測器資料當中有關環境感知的感測器資料;及經由一圖形處理器且運用多核心及與該主處理器一樣的時鐘信號,對該大量的感測器資料進行運算,其中該主處理器、輔助處理器、及圖形處理器係並行處理大量的感測器資料。
根據一或多個例示性具體實施例,一種使用一微型積體控制裝置處理大量的感測器資料的方法,包括經由一主處理器運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;經由一輔助處理器來處理該大量的感測器資料當中以雷射為主的感測器資料,該輔助處理器係運用與該主處理器一樣的時鐘信號;及經由一圖形處理器且運用多核心並行處理該大量的感測器資料當中以影像為主的感測器資料,該圖形處理器係運用與該主處理器一樣的時鐘信號,其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料,該圖形處理器將在該大量感測器資料中的三維(3D)距離資料劃分為數個矩形體素,根據各體素中的三維點雲端資料的一平均值和一協方差計算出一概率值,並且可依據產生一組體素之二進制標記所獲得的體素佔據而計算出一表示概率值的精準度的權 重,其中該概率值係表示各體素是否可移動。
100‧‧‧大量的感測器資料
110、111、112、113、114、115‧‧‧個人電腦
120‧‧‧千兆位元交換器
200‧‧‧微型積體控制裝置
210‧‧‧主處理器
212、214‧‧‧多核心中央處理器
220‧‧‧輔助處理器
230‧‧‧圖形處理器
240‧‧‧輸入輸出界面
300‧‧‧微型積體控制裝置
310‧‧‧主處理器
312‧‧‧第一多核心中央處理器
314‧‧‧第二多核心中央處理器
320‧‧‧輔助處理器
330‧‧‧圖形處理器
340‧‧‧輸入輸出界面
350‧‧‧乙太網路交換器
510‧‧‧主處理器
511‧‧‧驅動圖產生器
530‧‧‧圖形處理器
532‧‧‧運算單元
534‧‧‧移動性計算單元
536‧‧‧頻率檢測器
S610、S620、S630‧‧‧矩型體素
S611‧‧‧三維點雲端資料之高度
S613‧‧‧三維點雲端資料之表面方向角
710‧‧‧三維距離資料
720‧‧‧三維距離資料轉換成體素資料
721、722、723‧‧‧高移動性物體具深色陰影
700‧‧‧自主機器人
800‧‧‧階級性堆積hierarchical stack
810‧‧‧系統層
820‧‧‧界面層
830‧‧‧核心層
840‧‧‧應用系統層
900‧‧‧移動物
S1010‧‧‧處理方式-藉由主處理器,大量計測資料使用至少一多心線中央處理系統
S1020‧‧‧處理方式-藉由座標式處理器,有關環繞式感應之計測數據並包括大量計測數據,與主處理器使用同一計時器
S1030‧‧‧完成-藉由座標式處理器,大量計測數據透過多心線操作並與主處理器同一計時器
S1110‧‧‧接收包括大量計測資料之立方體距離資料
S1120‧‧‧將立方體距離資料轉換為xx資料
S1130‧‧‧於各VOXEL計算立方體點數據之平均值及協方差
S1140‧‧‧以平均值及協方差為基礎計算EIGEN值及EIGEN向量
S1150‧‧‧藉由以EIGEN值及EIGEN向量為基礎計算外表方位角度及各VOXEL高度
S1160‧‧‧依據各VOXEL之二元分類指定顯示橫截面至橫截面精度之重量
從各例示性具體實施例之說明配合附加圖示將更顯而易見並容易理解上述和(或)其他實施態樣,其中:第1圖係顯示一根據相關技術之控制器之實施例;第2圖係顯示一根據例示性具體實施例之一微型積體控制裝置之方塊圖;第3、4圖係根據例示性具體實施例之微型積體控制裝置之方塊圖;第5至7C圖係繪示根據一例示性具體實施例運用一圖形處理器執行運算;第8圖係顯示根據一例示性具體實施例之主處理器支援之層次堆疊;第9圖係顯示根據一例示性具體實施例之一移動物件,該移動物件中係裝設一微型積體控制裝置,或者該移動物件係運用該微型積體控制裝置;第10圖係一根據一例示性具體實施例運用一微型積體控制裝置之圖形處理器並行處理大量感測器資料之方法流程圖;及第11圖係一根據一例示性具體實施例運用一微型積體控制裝置之圖形處理器執行運算之方法流程圖。
茲將參照各例示具體實施例,配合附加圖示詳細說明本發明,其中類似的參考圖號代表相似的元件。在這一點而言,各示例性實施例可具有不同形式,並且不應被解釋為侷限於在此闡述的描述。因此,茲僅參照附圖來說明各例示性具體實施例,以說明本說明之各實施態樣。如本文所使用,術語"和/或"包括任一或所有關於所列的項目的組合。表達式如元素列表前述時"至少一者",修改元件的整個列表,並且不修改該列表中的單個元素。當"至少一者"這種表示方式前面有多個元件條列,即表示修改整個條列的元件,而不是修改該條列中的單個元件。
本文所用的專有名詞僅用於描述各具體實施例,並非意在限制本發明的概念。如本文所用,單數形式之"""一個"""旨在包括複數形式,除非上下文另外明確指出。應當進一步理解,在本說明書中使用"包括(comprise)"和/或"包括(comprising)"等術語時,係指定所陳述的特徵、整數、步驟、操作,元件、和/或組件,但不排除存在或增加一個或多個其他特徵、整數、步驟、操作、元件、組件、和/或群組。
除非另有定義,這裡使用的所有術語(包括技術和科學術語),與那些熟習本發明技藝人士所習知的含義相同。再者,應當理解,諸如在常用詞典中定義的術語, 應當具有與在相關領域的前後文一致的含義,並且不會被理想化、過於正式的解讀,除非在此有明確地定義。
所述例示性具體實施例不限於伺服器電腦系統、桌上型電腦系統、筆記型電腦等,並且適用於其他類型裝置,例如手持式裝置、智慧型電話、平板電腦、其他薄型筆記型電腦、系統單晶片(SOC)裝置、及嵌入式應用等。手持式裝置包括行動電話、網際網路協議設備、數位相機、個人數位助理(PDA)、及手持式個人電腦(PC)。在此敘述之裝置、方法、及系統不限於實體的計算裝置,也可用於節省及有效使用能量之軟體最佳化。
第2圖係一根據一例示性具體實施例之微型積體控制裝置200之方塊圖。
該微型積體控制裝置200包含一使用至少一多核心中央處理器(CPU)來處理大量的感測器資料之主處理器210,一使用與主處理器210同樣的時鐘信號來處理大量的感測器資料之輔助處理器220,及一使用與該主處理器同樣之時鐘信號210執行大量的感測器資料運算之圖形處理器230。根據一例示性具體實施例,該主處理器210、輔助處理器220、及圖形處理器230可並行處理大量的感測器資料。
該微型積體控制裝置200可設置為藉由一輸出/輸入(I/O)介面240來串聯或並聯擴充所述主處理器210、 輔助處理器220、及圖形處理器230。
根據一例示性具體實施例,該主處理器210可以是任意類型的資料處理器,包括通用或專用的CPU、專用集成電路(ASIC)、或數位信號處理器(DSP)。
舉例而言,所述主處理器210可以是通用處理器,如CoreTM i3、i5、i7、雙核心及四核心處理器、XeonTM處理器、ItaniumTM處理器等。主處理器210可以是專用處理器,像是網路或通信處理器、壓縮機引擎、圖形處理器、共同處理器、內置處理器等。所述主處理器210可以被具體表現為至少包含在一軟件包中至少一晶片。舉例而言,該主處理器210可運用至少一處理技術,例如BiCMOS、CMOS、NMOS等。
根據一例示性具體實施例,所述主處理器210可包含至少一多核心中央處理器(CPU),例如多核心中央處理器(CPU)212、214。所述至少一多核心中央處理器(CPU),例如多核心中央處理器(CPU)212、214,可根據快速路徑互連(QPI)協議彼此通信。該主處理器210可使用一連接至少一多核心中央處理器(CPU),例如多核心中央處理器(CPU)212、214。
根據一例示性具體實施例,該圖形處理器230包含一用以執行圖形指令(如三維(3D)或二維(2D)圖形指令)之邏輯。該圖形處理器230可以執行業界標準的圖形指 令,例如由Open GL和/或Direct X的應用程式介面(API)所指定的命令(例如:OpenGL的4.1和Direct X 11)。
輸入輸出介面240可支援經由區域網路(LAN)、廣域網路(WAN)、網際網路、或以內部單元或外部設備所建立之各種網路通信。該輸入輸出介面240又可包含一轉接器、集線器等連接內部單元或外部設備,及支援網絡通信。該輸入輸出介面240可以被安裝在同一晶片或電路板以作為主處理器210上或安裝在一單獨的晶片和/或一連接該主處理器210之軟體包上。
第3、4圖係根據例示性具體實施例所示之微型積體控制裝置300之方塊圖。
微型積體控制裝置300包含一主處理器310、一輔助處理器320、及一圖形處理器330。
微型積體控制裝置300又可包含一輸入輸出介面340或一乙太網路交換器350。
微型積體控制裝置300又可包含一供電給該主處理器310、輔助處理器320、及圖形處理器330之供電單元(圖未顯示)。
微型積體控制裝置300又可包含一用以控制該主處理器310、輔助處理器320、及圖形處理器330之微控制單元(MCU)(圖未顯示)。該微控制單元可透過乙太網路、RS232等與該主處理器310通訊,並且可透過一控制器區域 網路(CAN)通訊連接該供電單元。因此,該微控制單元可以控制各周邊裝置之後續關於電源狀態和故障狀態的實施方式。
根據一例示性具體實施例,該微型積體控制裝置300可運用使用了相同的時鐘信號之主處理器310、輔助處理器320、及圖形處理器330,以並行處理大量的感測器資料。
根據一例示性具體實施例,可以假設,該微型積體控制裝置300係安裝或用於自主移動機器人、移動機器人、移動物體等等。
在這種情況下,主處理器310可以根據一自主移動式機器人、移動式機器人、一移動物件等等之位置資料產生代表自主駕駛之移動路徑之一驅動圖或一地圖,其係藉由大量的感測器資料以及有關接近該自主移動式機器人、移動式機器人、移動物件等之障礙物的資料而得到,使該自主移動式機器人、移動式機器人、移動物件等可以選擇驅動路徑,移動到一目的地,同時避免障礙物。
在這種情況下,輔助處理器320與圖形處理器330可以分別並行處理有關環境感知和由該主處理器310所接收之大量的感測器資料中各影像的運算。
經由該輔助處理器320執行之有關環境感知的運算包含處理以雷射為主的感測器資料。所述以雷射為主 的感測器資料係包含由一雷射掃描器偵測到的感測器資料。
經由圖形處理器330執行有關各影像的運算係包含處理由相機拍攝之影像等等。又,可以經由該圖形處理器330執行對於以雷射為主的感測器資料的運算。
根據一例示性具體實施例,該主處理器310可由一自主移動式機器人、一移動式機器人、一移動物件等接收位置資料、距離資料、LADAR感測器資訊(例如:接近該自主移動式機器人、移動式機器人、移動物件等之障礙物的資料)、二維/三維LADAR距離資訊、相機所拍攝影像的資訊等等。在這種情況下,該主處理器310可設置運用乙太網路交換器350或類似裝置來接收大量的感測器資料。
主處理器310可用以傳送所述大量的感測器資料當中的距離資料和有關接近該自主移動式機器人、移動式機器人、移動物件等等之障礙物的資料,因此可經由該圖形處理器330對於該距離資料以及關於障礙物的資料進行運算。在該圖形處理器330完成運算之後,主處理器310可以接收到運算的結果,並且可依據該運算結果產生一驅動圖或地圖。茲將參照第5、6圖說明一根據一例示性具體實施例使用所述圖形處理器330的方法。
第8圖係顯示根據一例示性具體實施例之主處理器310所支援的一層次堆疊800。
層次堆疊800係包含一系統層810、一界面層820、一核心層830、及一應用層840。
界面層820係支援一微控制單元介面、一感測器介面、及一通訊介面。
核心層830係支援位置估算(例如:實時動態條件檢測、可視行駛距離偵測、雷射掃描匹配等)、環境感知(例如:動態的障礙物檢測和追蹤、雷射為主的環境感知等)、規劃(例如:RRT基於採樣的全局路徑規劃、定制規劃、動態避障等)、驅動控制(例如:基本航點、快速航點追蹤)、及數學庫和工具庫。
輔助處理器320可處理資料同時藉由核心層830來支援環境感知(例如:動態障礙物的偵測與追蹤、雷射為主的環境感知等)。又,所述輔助處理器320可以讓並行處理最佳化。如果規劃軟體也可以藉由將規劃軟體劃分為晶格單位而加以並行處理,則該輔助處理器320可以並行處理該規劃軟體。
第5、6圖係繪示根據一例示性具體實施例藉由一圖形處理器530執行運算的方法。
該圖形處理器530係運用與一主處理器510一樣的時鐘信號,並運用一多核心並行對大量的感測器資料進行運算。
圖形處理器530係包含一運算單元532、一移動 性計算單元534、及一頻率檢測器536。
運算單元532可以從該主處理器510接收該大量的感測器資料當中的三維(3D)距離資料、相機拍攝的影像、驅動資料等等。根據一例示性具體實施例,該三維距離資料係根據一障礙物、距離資訊、移動資訊其中至少一者之三維影像資料所產生。
運算單元532將三維距離資料轉換成體素資料,其與以下將描述的第6圖的實施例相類似。接著,該運算單元534係計算出各體素中的三維點雲端資料的平均值和協方差
參照第6圖,根據一例示性具體實施例,該運算單元532將三維距離資料劃分為預定大小的矩形體素S610、S620、S630。在這種情況下,這些矩形體素S610、S620、S630是彼此獨立的,而且可以由一個圖形處理器體以多核心進行高速計算。根據一例示性具體實施例,可將所述體素高度設定為一可由一3D距離感測器(例如Velodyne感測器)測得之最大高度。
根據一例示性具體實施例,該運算單元532係計算各體素S610、S620、S630中三維點雲端資料的平均值和協方差。
移動性計算單元534係依據透過該運算單元532算出之各體素之平均值和協方差而計算出一特徵值和 一特徵向量。根據一例示性具體實施例,該移動性計算單元534係依據該特徵值計算出各體素當中的三維點雲端資料之高度S611(見第6圖),並依據該特徵向量計算出各體素當中的三維點雲端資料的一表面方向角S613(見第6圖)。
移動性計算單元534係依據該特徵值和特徵向量計算出各體素當中的三維點雲端資料的高度和表面方向角,並依據計算出來的高度和表面方向角來計算一表示各體素是否可移動之概率值。所述表面方向角可使用表面法線加以計算。在此說明中,將概率值稱為移動性。所述移動性可經由以下公式1加以計算。
[公式1]Ttraversability=weight+1*d(N(x)neighbors)-N(x))+weight 2*height(x)其中'N(x)'表示計算表面法線的函數,'x'代表各體素之索引。
頻率檢測器536係產生一組體素之二進制標記,其係用以決定哪個體素被佔據,哪個體素未被佔據。然而,並不限定於僅由圖形處理器530來執行所述體素之二進制標記,亦可由主處理器510來執行。
根據一例示性具體實施例,在近距離之物體經過裝設於一移動式機器人、一移動物體、一自主機器人等等當中之雷射感測器掃描的次數,係大於在遠距離之物體 經過該雷射感測器掃描的次數。根據一例示性具體實施例,當所佔據的體素數量大於一預定閾值,假設在近距離內有一障礙物,該頻率檢測器536可利用雷射掃描器、雷射感測器等功能。因此,可以減少發生於感測器資料的錯誤以及由一移動式機器人、移動物體、或一自主機器人等進行位置識別所發生的錯誤。
根據一例示性具體實施例,該圖形處理器530將體素佔據資訊和各體素之移動性資訊傳送給該主處理器510。
當接收到體素佔據資訊和體素之移動性資訊,該主處理器510經由累加使用此資訊,由一驅動圖產生器511產生一3D驅動圖或一地圖。所述主處理器510可經由在一驅動路徑之各方位獲得之三維距離資料上執行直方圖匹配而產生時間為主的移動資訊和一時間為主的驅動圖。所產生的3D地圖可被存儲在一內部晶片、內部板、或遠端設備中。
主處理器510可藉由以下公式2產生所述驅動圖。
其中權重t=權重t-1+佔據t
根據一例示性具體實施例,一移動式機器人、一移動物體、一自主機器人等等可以根據由主處理器510產生之驅動圖自動返回該驅動路徑。
根據一例示性具體實施例,可能不單只有由該主處理器510產生所述驅動圖,亦可即時,經由該圖形處理器530並行執行運算,並且由一輔助處理器(圖未顯示)進行環境感知。
第7圖係繪示根據一例示性具體實施例經由一圖形處理器識別三維距離資料而計算出移動性的方法。
所述圖形處理器係識別三維距離資料(見第7(a)圖之710),然後將經過識別的三維距離資料轉換成體素資料(見第7(b)圖之720)。接著,該圖形處理器計根據各體素當中的三維點雲端資料之平均值和協方差,經由計算出一特徵值和一特徵向量而測得一移動性。當移動性高,即以較深的顏色來顯示與該移動性相對應之體素,以表示存在一個障礙物。具有高移動性的物體顯現深色的陰影(721、722、723),而具有低移動性的物體顯現淺色陰影。舉例而言,當一個物體,例如:一棵樹的葉子,有0.1的移動性,該物體顯現淺色陰影。當一個物體,例如:一棵樹的樹幹,有0.7的移動性,該物體可能顯現深色陰影。
第7C圖係繪示一根據一例示性具體實施例使用一微型積體控制裝置經由移動物體、移動式機器人、或 自主機器人700計算移動性而設定之路徑。
當一物體的移動性高,該物體是比較不可能移動的,因此顯現為深色的陰影,當該物體的移動性低,該物體比較可能移動,因此顯現為淺色的陰影。
第9圖係繪示一根據例示性具體實施例的移動物件900,其係裝設一微型積體控制裝置或運用一微型積體控制裝置。
雖然圖未顯示,該移動物件900可包含一三維感測器單元、一感測器單元、一全球定位系統(GPS)收發器、一控制器、及一輸出單元。該感測器單元可包含一轉向感測器、一速度感測器、一加速感測器、一位置感測器等。
所述三維(3D)感測器單元係一照相系統,能夠經由使用一旋轉反射鏡、聚光透鏡、和成像裝置同時進行前、後和/或左、右方向的拍攝。該三維感測器可適用於安全設施、監控攝像機、機器人視覺等。該旋轉反射器可具有各種形狀,例如:雙曲面形狀、橢圓形、圓錐形、及這些形狀組合等。一電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)可以用作成像裝置。然而,投影到所述成像裝置的成像表面的圖像(即,全方向的圖像)係從旋轉反射器反射,以至人們不容易觀察失真的圖像。因此,該三維感測器單元經由運用一微處理器之類而轉換攝像裝置輸出 的坐標,而產生一個新的全景圖像,以便精確觀察圖像。
所述三維(3D)感測器單元可包含一立體相機、一深度相機、一移動式立體相機、光探測和測距(光探測和測距(LIDAR))設備等其中一者,經由進行各方向之三維拍攝,以獲得三維距離資料。
所述立體相機係一包含多台照相機的設應裝備。從該三維感測器單元獲得的全向圖像提供關於該三維感測器單元附近的二維(2D)資訊。如果使用多個由多個相機在不同的方向拍攝的圖像,即可以獲得關於該三維感測器單元附近的三維(3D)資訊。該立體相機可用於識別一移動物件或移動式機器人的位置及產生地圖。
深度相機係一拍攝或測量障礙物以萃取圖像和距離資料的相機。即,深度相機藉由拍攝障礙物的圖像生成圖像或圖像數據,類似一般相機,並可以在與各圖像的各像素相對應之實際位置,測量該深度相機的距離。
移動式立體相機係一立體相機,其位置會依據到一障礙物的距離而主動改變,因此能調整相對於要觀察障礙物的視角。一般情況下,可以平行設置二個立體相機以獲得圖像,而且可以根據圖像之間的立體視差來計算到一個障礙物的距離。
立體相機具有平行光軸,係一被動式相機,其平行光軸是固定的。反之,移動式立體相機的光軸幾何位 置會主動改變,以調整視角。根據到一個障礙物的距離來控制所述立體相機的視角即稱為視角控制。
視角控制立體相機係經由恆定地保持移動障礙物之立體視差,而提供觀察者較自然的三維圖像,並提供有用的資訊來測量與一障礙物的距離或處理一立體圖像。
所述光探測和測距(LIDAR)設備係設置以感測位於該移動物件900前之一障礙物的存在,及與該障礙物之距離。該光探測和測距(LIDAR)設備,基於與雷達相同的原理,是一種活動遠端感測器,能夠得到想要的資訊卻不用接觸到任一物體。該光探測和測距(LIDAR)設備,經由將雷射照射到一目標而獲得所需的距離資訊,即將獲得的資訊,且感測從該目標反射之電磁波以及反射電磁波的能量變化之間的視差。
取決於測量目的或一待測物體,所述光探測和測距(LIDAR)設備分為三種類型:差分吸收光探測和測距(DIAL)、多普勒(Doppler)光探測和測距、及測距儀光探測和測距。差分吸收光探測和測距(DIAL)係經由使用兩個具有不同吸收率的雷射器針對要測量的物體測量蒸氣、臭氧、及空氣中的污染物的濃度。多普勒(Doppler)光探測和測距係依據多普勒效應測量一物體之移動速度。然而,光探測和測距(LIDAR)通常指的是一測距儀光探測和測距 (LIDAR),經由使用一全球定位系統(GPS)、一慣性導航系統(INS)、及一雷射掃描系統而獲得結合有關物體距離之資訊的三維(3D)地理資訊。
所述光探測和測距(LIDAR)設備可以經由感測位於移動物件900之移動路徑之前存在的障礙物、與該障礙物之距離、及障礙物的移動而獲得三維(3D)距離資料,並且將獲得的三維(3D)距離資料傳送給一控制器,使得該移動物件900可以移動到一個沒有障礙物存在的空間。
所述輸出單元可包含一顯示單元,係顯示一驅動路徑,該驅動路徑係取決於,經由一使用者介面(UI)或一圖形使用者介面(GUI),藉由控制器或主處理器510之驅動圖產生器511所產生之一驅動圖。
第10圖係一根據一例示性具體實施例運用一微型積體控制裝置之圖形處理器並行處理大量的感測器資料之方法流程圖。
在第10圖所示之方法中,係經由一主處理器運用至少一多核心中央處理器(CPU)來處理大量的感測器資料(步驟S1010),經由一輔助處理器,運用與該主處理器一樣的時鐘信號,處理該大量的感測器資料當中有關環境感知的感測器資料(步驟S1020),及經由該圖形處理器,運用多核心和與該主處理器一樣的時鐘信號,對該大量的感測器資料並行進行運算(步驟S1030)。
又,在該圖形處理器中,可並行執行從該主處理器接收之大量感測器資料的運算。參照第11圖,該微型積體控制裝置之圖形處理器從該主處理器接收包含於大量感測器資料的三維距離資料(步驟S1110)。接著,將該三維距離資料轉換成體素資料(步驟S1120)。然後,計算各體素當中的三維點雲端資料的平均值和協方差(步驟S1130)。
接著,該圖形處理器根據該平均值和協方差計算出一特徵值和一特徵向量(步驟S1140),然後經由根據該特徵值和特徵向量計算出表面方向角和各體素高度來計算移動性(步驟S1150)。
隨後,可以根據判斷體素是否被佔據之體素的二進制標記,將權重指定到估算之移動性,以表示移動性之精準度(步驟S1160)。
如上所述,根據上述一或多個例示性具體實施例,一微型積體控制裝置適用於人工智能、軍事設備、工廠自動化、移動伺服器設備、自主移動式機器人等領域。
此外,其他具體實施例亦可經由電腦可讀代碼/指令在一介質實行,例如:一電腦可讀介質可控制至少一處理元件來實現任何上述實施例。所述介質可對應於任何介質以允許電腦可讀代碼之存儲和/或傳輸。
所述的電腦可讀代碼可以各種方式被記錄/傳送於一介質,介質的例子包括紀錄介質,如磁存儲介質(例 如:ROM、軟盤、硬盤等)、光學紀錄介質(例如:CD-ROM或DVD)、及傳輸介質,如網路傳輸介質。因此,根據一或多個例示性具體實施例,所述介質可以是一個經過定義和可測量的結構,包括或乘載信號或資訊,例如一裝置承載位元流。所述介質還可以是分佈式網路,以至電腦可讀代碼以分佈式方式被存儲/傳送和執行。此外,所述處理元件可以包括處理器或電腦處理器,而且該處理元件可分佈和/或包括於單一裝置中。
應當理解,在此描述之例示性具體實施例,應當被視為只是描述性質,而不是以限制作為目的。各實施例中的特徵或實施態樣的描述,應可被認為是可用於在其他例示性具體實施例的其它類似特徵或實施態樣。
雖然茲已參照各圖示說明一或多個例示性具體實施例,熟習本案技藝人士皆可知悉,所做之各種變更皆應涵蓋於以下申請專利範圍內,而不會偏離本發明之精神與範圍。
200‧‧‧微型積體控制裝置
210‧‧‧主處理器
212、214‧‧‧多核心中央處理器
220‧‧‧輔助處理器
230‧‧‧圖形處理器
240‧‧‧輸出/輸入介面

Claims (40)

  1. 一種微型積體控制裝置,包括:一主處理器,係運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器一樣的時鐘信號,並且處理包含於該大量感測器資料之雷射為主的感測器資料;及一圖形處理器,係運用與該主處理器一樣的時鐘信號,且運用一多核心並行處理包含於該大量感測器資料之影像為主的感測器資料;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料。
  2. 如申請專利範圍第1項之微型積體控制裝置,其中該圖形處理器包括:一運算單元,係用以接收包含於該大量感測器資料之三維(3D)距離資料,將三維距離資料轉換成體素資料,並計算平均值和各體素中三維點雲端資料的協方差;一移動性計算單元,係用以計算依據該平均值和協方差計算之一特徵值和一特徵向量而算出的一表面方向角和各體素之高度所算出之移動性,其中該移動性係一表示各體素是否能移動之概率值;及一頻率檢測器,係用以產生一體素佔據,其係一組 體素之二進制標記,其中該頻率檢測器係判斷哪個體素被佔據,哪個體素未被佔據。
  3. 如申請專利範圍第2項之微型積體控制裝置,其中該圖形處理器將各體素和體素佔據之移動性資訊傳送給主處理器;及該主處理器係累加利用各體素之移動性和體素佔據而產生一地圖。
  4. 如申請專利範圍第3項之微型積體控制裝置,其中一移動物體係依據一裝設於該移動物體上之影像感測器所拍攝的驅動路徑的影像及該主處理器產生之地圖,而返回一驅動路徑。
  5. 如申請專利範圍第1項之微型積體控制裝置,其中該大量的感測器資料係經由一裝設於一移動物體之至少一感測器所接收。
  6. 如申請專利範圍第1項之微型積體控制裝置,其中該圖形處理器進一步處理影像處理相關及包含於雷射為主的感測器資料的感測器資料。
  7. 一種微型積體控制裝置,包括:一主處理器,係運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器一樣的時鐘信號,並且處理包含於該大量感測器資料之雷射為主的感測器資料;及一圖形處理器,係運用與該主處理器一樣的時鐘信 號,且運用一多核心並行處理包含於該大量感測器資料之影像為主的感測器資料;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料。
  8. 如申請專利範圍第7項之微型積體控制裝置,其中該圖形處理器係將該大量的感測器資料當中的距離資料分為數個體素,由依據各體素中的三維(3D)點雲端資料之平均值和協方差所算出之一表面方向角和各體素高度而估算出移動性,其中所述移動性係一表示各體素是否可移動之概率值。
  9. 如申請專利範圍第7項之微型積體控制裝置,其中該主處理器藉由累加利用透過產生一組體素之二進制標記而得到之各體素之移動性和體素佔據而產生一地圖,其中該頻率檢測器係判斷各體素是否被佔據。
  10. 如申請專利範圍第8項之微型積體控制裝置,又包括一輸入/輸出介面,係用以串聯或並聯擴充該主處理器、輔助處理器、及圖形處理器。
  11. 一種微型積體控制裝置,包括:一主處理器,係運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器一樣的時鐘信號,並且處理包含於該大量感測器資料之雷射為主的感測器資料;及一圖形處理器,係運用與該主處理器一樣的時鐘信 號,並且對該大量的感測器資料執行運算;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料。
  12. 如申請專利範圍第11項之微型積體控制裝置,其中該輔助處理器係處理包含於該大量的感測器資料之雷射為主的感測器資料;其中該雷射為主的感測器資料包括由一雷射掃描器獲得之感測器資料。
  13. 如申請專利範圍第11項之微型積體控制裝置,其中該圖形處理器係即時處理包含於該大量的感測器資料中的影像為主的感測器資料;其中該影像為主的感測器資料包括由一相機擷取而得的影像。
  14. 如申請專利範圍第12項之微型積體控制裝置,其中該主處理器係控制該圖形處理器以對該雷射為主的感測器資料中有關影像處理的感測器資料進行運算。
  15. 如申請專利範圍第11項之微型積體控制裝置,又包括一輸入/輸出介面,係用以串聯或並聯擴充該主處理器、輔助處理器、及圖形處理器。
  16. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器係接收在驅動一移動式機器人時所產生的大量感測器資料,其中該大量的感測器資料包括以下其中至少一者:由一設置於該移動式機器人中的感測器偵測到的 感測器資料;關於移動式機器人之移動距離之即時資訊;及由移動式機器人拍攝的影像資訊。
  17. 如申請專利範圍第11項之微型積體控制裝置,其中該圖形處理器包括一運算單元,係用以接收該大量感測器資料中的三維(3D)距離資料和驅動路徑資訊,將該三維距離資料轉換成體素資料,並計算出各體素中三維點雲端資料的平均值和協方差,以萃取一特徵值和一特徵向量,其中該三維距離資料係在一移動式機器人受到驅動時被偵測;其中該圖形處理器係依據該特徵值和特徵向量估算出一移動性,經由產生一組體素之二進制標記而偵測出一體素佔據,並將有關各體素和體素佔據之移動性的資訊傳送給該主處理器,其中該移動性係一表示各體素是否可移動之概率值。
  18. 如申請專利範圍第17項之微型積體控制裝置,其中該主處理器係經由累加利用各體素之移動性和體素佔據而產生一地圖,其中該地圖係表示移動式機器人之驅動路徑。
  19. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器透過一乙太網路接收該大量的感測器資料。
  20. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器係使用一點對點連接總線連接至少一多核心中央處理器(CPU)。
  21. 如申請專利範圍第11項之微型積體控制裝置,其中該輔助處理器與圖形處理器係同步以與該主處理器同樣之時鐘信號所處理之感測器資料。
  22. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器透過一乙太網路交換器接收大量的感測器資料。
  23. 如申請專利範圍第11項之微型積體控制裝置,又包括一用以供電給該主處理器、輔助處理器、及圖形處理器之供電單元。
  24. 如申請專利範圍第11項之微型積體控制裝置,又包括一用以控制該主處理器、該輔助處理器、及該圖形處理器之微控制單元(MCU)。
  25. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器係支援一系統層、一界面層、一核心層、及一應用層。
  26. 如申請專利範圍第11項之微型積體控制裝置,其中該主處理器包括一層次堆疊,該堆疊包含一系統層、一界面層、一核心層、及一應用層。
  27. 如申請專利範圍第17項之微型積體控制裝置,其中所述體素的高度被設定為可被一三維(3D)距離感測器感測之最大高度。
  28. 如申請專利範圍第17項之微型積體控制裝置,其中各體素係呈矩形。
  29. 一種微型積體控制裝置,包括: 一主處理器,係運用至少一多核心中央處理器(CPU)來處理大量的感測器資料;一輔助處理器,係運用與該主處理器一樣的時鐘信號,並且處理包含於該大量感測器資料之影像為主的感測器資料;及一圖形處理器,係運用與該主處理器一樣的時鐘信號,且運用一多核心並行處理包含於該大量感測器資料之影像為主的感測器資料,其中該影像為主的感測器資料係包含於該大量的感測器資料中;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料;及該圖形處理器將該大量的感測器資料當中的三維(3D)距離資料分為數個矩形體素,依據各體素中的三維點雲端資料之一平均值和一協方差計算出一概率值,並依據產生一組體素之二進制標記所獲得的體素佔據而計算出一表示概率值的精準度的權重,其中該概率值係表示各體素是否可移動。
  30. 一種運用一微型積體控制裝置處理大量的感測器資料的方法,該方法包括:由一主處理器運用至少一多核心中央處理器(CPU)處理大量的感測器資料;基於與該主處理器一樣的時鐘信號,經由一輔助處理器處理包含於該大量感測器資料中與環境感知相關的感測器資料;及 經由一圖形處理器運用多核心及與該主處理器一樣之時鐘信號,對該大量的感測器資料進行運算;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料。
  31. 如申請專利範圍第30項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該圖形處理器執行:接收該大量感測器資料中的三維(3D)距離資料,將該三維距離資料轉換成體素資料,並運用一運算單元計算出各體素當中三維點雲端資料的平均值和協方差;運用一移動性計算單元藉由該平均值和協方差所算出之一特徵值和一特徵向量而算出的表面方向角和各體素高度估算出移動性,其中該移動性係一表示各體素是否可移動之概率值;及藉由產生一組體素之二進制標記並利用一頻率檢測器根據體素佔據來定義各體素之權重,使體素佔據以數字形式呈現,其中該權重係表示各體素之移動性的精準度。
  32. 如申請專利範圍第31項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該圖形處理器將各體素移動性和體素佔據之資訊傳送給該主處理器;及該主處理器係累加利用各體素之移動性和體素佔據而產生一地圖。
  33. 如申請專利範圍第31項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中所述各體素係呈矩 形,該矩形體素的高度被設定為可由一三維(3D)距離感測器感測之最大高度。
  34. 如申請專利範圍第30項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該主處理器係接收在驅動一移動式機器人時所產生的大量感測器資料,其中該大量的感測器資料包括以下其中至少一者:由一設置於該移動式機器人中的感測器偵測到的感測器資料;關於移動式機器人之移動距離之即時資訊;及由移動式機器人拍攝的影像資訊。
  35. 一種運用一微型積體控制裝置處理大量的感測器資料的方法,該方法包括:由一主處理器運用至少一多核心中央處理器(CPU)處理大量的感測器資料;由一輔助處理器處理包含於該大量感測器資料的雷射為主的感測器資料,該輔助處理器係運用與該主處理器一樣的時鐘信號;及由一圖形處理器運用一多核心並行執行包含於該大量感測器資料之影像為主的感測器資料運算,該圖形處理器係運用與該主處理器一樣的時鐘信號;其中該主處理器、輔助處理器、及圖形處理器係並行處理該大量的感測器資料;及該圖形處理器將該大量的感測器資料當中的三維(3D)距離資料分為數個矩形體素,依據各體素中的三維 點雲端資料之一平均值和一協方差計算出一概率值,並依據經由產生一組體素之二進制標記而得到的體素佔據計算出表示該概率值之精準度的權重,其中該概率值表示各體素是否可移動。
  36. 如申請專利範圍第35項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該主處理器係支援一系統層、一界面層、一核心層、及一應用層。
  37. 如申請專利範圍第35項之運用一微型積體控制裝置處理大量的感測器資料的方法,又包括一輸出/輸入介面,係用以串聯或並聯擴充該主處理器、輔助處理器、及圖形處理器。
  38. 如申請專利範圍第35項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該主處理器係使用一封包式點對點連接總線連接該至少一多核心中央處理器(CPU)。
  39. 如申請專利範圍第35項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該主處理器係透過一乙太網路交換器接收該大量的感測器資料。
  40. 如申請專利範圍第35項之運用一微型積體控制裝置處理大量的感測器資料的方法,其中該大量的感測器資料係經由一裝設於一移動物體之感測器所接收。
TW104134777A 2014-12-11 2015-10-23 微型積體控制裝置(第一案) TW201629752A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178719A KR102106889B1 (ko) 2014-12-11 2014-12-11 소형통합제어장치

Publications (1)

Publication Number Publication Date
TW201629752A true TW201629752A (zh) 2016-08-16

Family

ID=56107590

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104134777A TW201629752A (zh) 2014-12-11 2015-10-23 微型積體控制裝置(第一案)

Country Status (3)

Country Link
KR (1) KR102106889B1 (zh)
TW (1) TW201629752A (zh)
WO (1) WO2016093427A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072146A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015638A1 (en) * 2002-07-22 2004-01-22 Forbes Bryn B. Scalable modular server system
US7353362B2 (en) * 2003-07-25 2008-04-01 International Business Machines Corporation Multiprocessor subsystem in SoC with bridge between processor clusters interconnetion and SoC system bus
KR101714783B1 (ko) * 2009-12-24 2017-03-23 중앙대학교 산학협력단 Gpu를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9606961B2 (en) * 2012-10-30 2017-03-28 Intel Corporation Instruction and logic to provide vector compress and rotate functionality
KR101883475B1 (ko) * 2013-02-28 2018-07-31 한화지상방산 주식회사 소형통합제어장치
WO2014178450A1 (ko) * 2013-04-30 2014-11-06 전자부품연구원 Cpu와 gpu 간의 협업 시스템 및 그 방법
CN103713938A (zh) * 2013-12-17 2014-04-09 江苏名通信息科技有限公司 虚拟化环境下基于OpenMP的多GPU协同计算方法

Also Published As

Publication number Publication date
KR102106889B1 (ko) 2020-05-07
KR20160071236A (ko) 2016-06-21
WO2016093427A1 (ko) 2016-06-16

Similar Documents

Publication Publication Date Title
US11668571B2 (en) Simultaneous localization and mapping (SLAM) using dual event cameras
TWI827649B (zh) 用於vslam比例估計的設備、系統和方法
US10937191B2 (en) Predictive simultaneous localization and mapping system using prior user session positional information
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
Nieuwenhuisen et al. Multimodal obstacle detection and collision avoidance for micro aerial vehicles
US20190025411A1 (en) Laser scanning system, laser scanning method, movable laser scanning system, and program
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN110609562B (zh) 一种图像信息采集方法和装置
CN110162085A (zh) 用于无人载具的环境自适应感知与规避系统
Tamjidi et al. 6-DOF pose estimation of a portable navigation aid for the visually impaired
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
JP7166446B2 (ja) ロボットの姿勢を推定するシステムおよび方法、ロボット、並びに記憶媒体
John et al. Automatic calibration and registration of lidar and stereo camera without calibration objects
Qin et al. Real-time positioning and tracking for vision-based unmanned underwater vehicles
US11561553B1 (en) System and method of providing a multi-modal localization for an object
Hinzmann et al. Robust map generation for fixed-wing UAVs with low-cost highly-oblique monocular cameras
TW201629752A (zh) 微型積體控制裝置(第一案)
Ha et al. Vision-based Obstacle Avoidance Based on Monocular SLAM and Image Segmentation for UAVs.
WO2022083529A1 (zh) 一种数据处理方法及装置
Gao et al. Altitude information acquisition of uav based on monocular vision and mems
KR102106890B1 (ko) 소형통합제어장치
Zhang et al. Leader-Follower cooperative localization based on VIO/UWB loose coupling for AGV group
WO2021231406A1 (en) Vision sensing device and method
CN208314856U (zh) 一种用于单目机载目标检测的系统
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter