TW201626214A - 微型積體控制裝置（第二案） - Google Patents

微型積體控制裝置（第二案） Download PDF

Info

Publication number
TW201626214A
TW201626214A TW104134778A TW104134778A TW201626214A TW 201626214 A TW201626214 A TW 201626214A TW 104134778 A TW104134778 A TW 104134778A TW 104134778 A TW104134778 A TW 104134778A TW 201626214 A TW201626214 A TW 201626214A
Authority
TW
Taiwan
Prior art keywords
processor
sensor data
image
control device
micro
Prior art date
Application number
TW104134778A
Other languages
English (en)
Inventor
金東信
Original Assignee
韓華泰科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 韓華泰科股份有限公司 filed Critical 韓華泰科股份有限公司
Publication of TW201626214A publication Critical patent/TW201626214A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一種微型積體控制裝置，包含一主處理器，運用一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，運用與該主處理器同樣之時鐘信號，並與該主處理器並行處理大量的感應器資料；及一圖形處理器，運用與該主處理器同樣之時鐘信號，且運用多核心並行執行對大量的感應器資料的運算。

Description

微型積體控制裝置(第二案)
本發明之一或多個例示性具體實施例，係關於一微型積體控制裝置，能夠接收及並行處理大量的感應器資料，以迅速獲得處理結果。本專利申請案主張2014年12月11日在韓國智慧財產局申請之韓國專利申請案第10-2014-0178720號之優先權，其係引用作為本說明書的揭示內容。
第1圖係顯示一根據相關技術之控制裝置之範例。如第1圖所示，該根據相關技術之控制裝置需要大量的中央處理器(CPU)核心來處理大量的感應器資料。據此，經運用一千兆位元(gigabit)交換器120使數台個人電腦110、111、112、113、114、115相互連接。
除了數台個人電腦110~115，另有一外部感應器和其他部件被連接作為個別元件的控制裝置以控制該控制裝置。因此，該控制裝置系統的尺寸體積相當大。
參照第1圖，當將大量的感應器資料100輸入第一個人電腦110，該第一個人電腦110傳送大量的感應器資料100至其他個人電腦，例如第二至第六個人電腦111、112、113、114、115，以共享大量的感應器資料100。然而，當運用一千兆位元(gigabit)乙太網路交換器來進行資料傳輸及共享，該資料實際上以50MB/s傳輸，儘管理論上是以1Gb/s傳輸。因此，有可能無法在數台個人電腦之間有效地共享大量的資料。
為了解決上述問題，第一個人電腦110可以僅選擇某些該大量的感測器資料100中重要的框架，並與其他個人電腦111~115共享所選框架。因此，由於其他個人電腦111、112、113、114、115係依據所選感應器資料執行運算，該控制裝置的計算能力低且運算的結果是不準確的。
茲將在下文闡述其他的實施態樣，這些實施態樣可以從說明中清楚理解，或者透過呈現的具體實施例的實踐而理解。
根據一或多個例示性具體實施例，一微型積體控制裝置係包含一主處理器，運用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係運用與該主處理器同樣的時鐘信號，並且與該主處理器並行處理大量的感應器資料；及一圖形處理器，係運用與該主處理器同樣的時鐘信號，且對大量的感應器資料並行執行 運算。
根據一或多個例示性具體實施例，一微型積體控制裝置係包含一主處理器，經運用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係運用與該主處理器同樣的時鐘信號，並且與該主處理器一起並行處理大量的感應器資料；及一圖形處理器，係運用與該主處理器同樣的時鐘信號，並且運用一多核心並行執行大量的感應器資料的運算。該主處理器、輔助處理器、及圖形處理器並行處理大量的感應器資料。該圖形處理器係接收及處理由一逆變換矩陣加諸於依大量的感應器資料所產生的校正圖像所獲得之資訊。
該微型積體控制裝置又可包括一圖像校正器，用以接收經由多個攝影設備拍攝物體所擷取之圖像，依據在多個攝影設備之視場(FOV)相互交錯區域中的變換矩陣校正失真的拍攝圖像，並且依據校正失真的拍攝圖像的結果產生校正圖像；及一可用區域探測器，用以計算所述校正圖像之各像素的逆變換矩陣，以測得加諸該逆變換矩陣之校正圖像各像素的資訊。該圖形處理器可並行執行有關該加諸該逆變換矩陣之校正圖像各像素之資訊運算，所述資料由該可用區域探測器所測得。
根據一或多個例示性具體實施例，一微型積體控制裝置包含一主處理器，係運用至少一多核心中央處理 器(CPU)來處理大量的感應器資料；及一輔助處理器，係運用與該主處理器同樣的時鐘信號，並且與主處理器並行處理大量的感應器資料；及一圖形處理器，係運用與該主處理器同樣的時鐘信號，並且運用一多核心並行執行大量的感應器資料的運算。該主處理器、輔助處理器、及圖形處理器並行處理大量的感應器資料。該圖形處理器係依據包含於大量感應器資料的圖像資訊執行物體追蹤。
該圖形處理器，可以依據物體之預定高度資訊及一攝影設備之可拍攝距離和視場(FOV)，設定該運算處理區需要執行追蹤之區域作為追蹤區，以追蹤一物體，並且僅對於與該追蹤區對應之區域執行運算。
當一含有物體之圖像包括一天域，所述圖形處理器可以設定該圖像除了天域之外的其他區域來追蹤，並且僅對與該追蹤區對應之區域執行運算。
根據一或多個例示性具體實施例，一微型積體控制裝置係包含一主處理器，係運用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係運用與該主處理器同樣的時鐘信號，並且與該主處理器並行處理大量的感應器資料；一圖形處理器，係運用與該主處理器同樣的時鐘信號，並且運用一多核心並行執行對大量的感應器資料的運算；一圖像校正器，用以接收經由多個攝影設備拍攝物體所獲得的圖像，並且依據一變換矩陣 在多個攝影設備之視場(FOV)相互交錯的區域中校正失真的圖像以產生校正圖像；及一可用區域探測器，經由計算加諸於該校正圖像之各像素之逆變換矩陣，偵測該加諸一逆變換矩陣之校正圖像的像素資訊。該圖形處理器係依據由該可用區域探測器測得之加諸該逆變換矩陣之校正圖像的像素資訊，設定透過多個攝影設備接收之各圖像的運算處理區，其中該運算處理區即為需要執行運算的區域。
根據一或多個例示性具體實施例，一微型積體控制裝置包含一主處理器，係運用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係運用與該主處理器同樣的時鐘信號，並與該主處理器並行處理大量的感應器資料；及一圖形處理器，係運用與該主處理器同樣的時鐘信號，並且運用一多核心並行執行對大量的感應器資料的運算。該主處理器、輔助處理器、及圖形處理器並行處理大量的感應器資料。該圖形處理器由一立體相機接收一左邊圖像和一右邊圖像以產生校正圖像，並且只對偵測到將逆變換矩陣加諸於該校正圖像之區域以像素為單位進行運算。
根據一或多個例示性具體實施例，一種使用一微型積體控制裝置處理大量的感應器資料的方法，包含經由一主處理器運用至少一多核心中央處理器(CPU)處理大量的感應器資料；經由一輔助處理器與該主處理器並行處 理大量的感應器資料，其中該輔助處理器係運用與該主處理器同樣的時鐘信號；及藉由一圖形處理器運用一多核心並行執行大量的感應器資料的運算，其中該圖形處理器係運用與該主處理器同樣之時鐘信號。該主處理器、輔助處理器、及圖形處理器係相互並行處理大量的感應器資料。該圖形處理器由一立體相機接收一左邊圖像和一右邊圖像以產生校正圖像，並且只對偵測到有將逆變換矩陣加諸於該校正圖像之區域以像素為單位進行運算。
100‧‧‧感測器資料
110、111、112、113、114、115‧‧‧個人電腦
120‧‧‧(千兆位元)交換器
200‧‧‧微型積體控制裝置
210‧‧‧主處理器
212、214‧‧‧多核心中央處理器
220‧‧‧輔助處理器
230‧‧‧圖形處理器
240‧‧‧輸入輸出界面
300‧‧‧微型積體控制裝置
310‧‧‧主處理器
312‧‧‧第一多核心中央處理器
314‧‧‧第二多核心中央處理器
320‧‧‧輔助處理器
330‧‧‧圖形處理器
340‧‧‧輸入輸出界面
350‧‧‧乙太網路交換器
500‧‧‧層次堆疊
510‧‧‧系統層
520‧‧‧中間層
530‧‧‧核心層
540‧‧‧應用層
600‧‧‧移動物體
700‧‧‧微型積體控制裝置
710‧‧‧主處理器
720‧‧‧輔助處理器
730‧‧‧圖形處理器
740‧‧‧圖像校正器
750‧‧‧可用區域探測器
760‧‧‧追蹤區域限制單元
900‧‧‧移動物體
910‧‧‧失真之左邊圖像
912‧‧‧失真之右邊圖像
920‧‧‧校正之左邊圖像
922‧‧‧校正之右邊圖像
930、932‧‧‧校正圖像
1000、1010、1020‧‧‧已校正圖像
S1110‧‧‧被擷取圖像之特定區域
S1200‧‧‧資訊追蹤區
S1210‧‧‧運算處理區
S1300‧‧‧追蹤區
S1310‧‧‧運算處理區
S1500‧‧‧天域
S1510‧‧‧輸入圖像之區域
S1610‧‧‧處理大量感應器資料
S1620‧‧‧處理有關環境感知的感應器資料
S1630‧‧‧運用時鐘信號進行大量的感應器資料運算
S1710‧‧‧接收由多視點相機拍攝的多個圖像
S1720‧‧‧依據前述圖像產生校正圖像
S1730‧‧‧提供校正圖像倒轉變換鑄型
S1740‧‧‧經由圖形處理器並行處理有關運用逆變換矩陣之校正圖像像素之資訊
S1810‧‧‧由圖像處理器接收輸入圖像
S1820‧‧‧依據預定高度資訊、可拍攝距離及圖像感應器或圖像處理器之視場(FOV)，設定輸入圖像之追蹤區
S1830‧‧‧藉由圖形處理器只對與該追蹤區對應之資料執行運算
從各例示性具體實施例之說明配合附加圖示將更顯而易見並容易理解上述和(或)其他實施態樣，其中：第1圖係顯示一根據相關技術之控制裝置系統之實施例；第2圖係顯示一根據例示性具體實施例之一微型積體控制裝置之方塊圖；第3及4圖係根據例示性具體實施例之微型積體控制裝置之方塊圖；第5圖係顯示根據一例示性具體實施例之主處理器支援之層次堆疊；第6圖係顯示根據一例示性具體實施例之一移動物體，該移動物體中係裝設一微型積體控制裝置，或者該移動物體係運用該微型積體控制裝置； 第7、9及10圖係繪示一例示性具體實施例中一微型積體控制裝置產生校正圖像並設定需要執行校正圖像運算之區域；第8圖及第11至14圖係繪示一微型積體控制裝置根據一例示性具體實施例追蹤一物體時限制一追蹤區之方法；第15圖係繪示一微型積體控制裝置根據一例示性具體實施例提取特徵點時限制一追蹤區之方法；第16圖係顯示一根據一例示性具體實施例使用一微型積體控制裝置處理大量的感應器資料之方法流程圖；第17圖係一根據一例示性具體實施例經由一微型積體控制裝置產生校正圖像並設定需要執行運算之校正圖像區域之方法流程圖；及第18圖係一根據一例示性具體實施例經由一微型積體控制裝置在提取特徵點時限制一追蹤區之方法流程圖。
茲將參照各例示具體實施例，配合附加圖示詳細說明本發明，其中類似的參考圖號代表相似的元件。在這一點而言，各示例性實施例可具有不同形式，並且不應被解釋為侷限於在此闡述的描述。因此，茲僅參照附圖來 說明各例示性具體實施例，以說明本說明之各實施態樣。當“至少一者”這種表示方式前面有多個元件條列，即表示修改整個條列的元件，而不是修改該條列中的單個元件。
本文所用的專有名詞僅用於描述各具體實施例，並非意在限制本發明的概念。如本文所用，單數形式“一”、“一個”、“該”旨在包括複數形式，除非上下文另外明確指出。應當進一步理解，在本說明書中使用“包括(comprise)”和/或“包括(comprising)”等術語時，係指定所陳述的特徵、整數、步驟、操作，元件、和/或組件，但不排除存在或增加一個或多個其他特徵、整數、步驟、操作、元件、組件、和/或群組。
除非另有定義，這裡使用的所有術語(包括技術和科學術語)，與那些熟習本發明技藝人士所習知的含義相同。再者，應當理解，諸如在常用詞典中定義的術語，應當具有與在相關領域的前後文一致的含義，並且不會被理想化、過於正式的解讀，除非在此有明確地定義。
所述例示性具體實施例不限於伺服器電腦系統、桌上型電腦系統、筆記型電腦等，並且適用於其他類型裝置，例如手持式裝置、智慧型電話、平板電腦、其他薄型筆記型電腦、系統單晶片(SOC)裝置、及嵌入式應用等。手持式裝置包括行動電話、網際網路協議設備、數位相機、個人數位助理(PDA)、及手持式個人電腦(PC)。在 此敘述之裝置、方法、及系統不限於實體的計算裝置，也可用於節省及有效使用能量之軟體最佳化。
第2圖係一根據一例示性具體實施例之微型積體控制裝置200之方塊圖。
該微型積體控制裝置200包含一使用至少一多核心中央處理器(CPU)來處理大量的感應器資料之主處理器210，一使用與主處理器210同樣的時鐘信號來處理大量的感應器資料之輔助處理器220，及一使用與該主處理器同樣之時鐘信號210執行大量的感應器資料運算之圖形處理器230。根據一例示性具體實施例，該主處理器210、輔助處理器220、及圖形處理器230可並行處理大量的感應器資料。
該微型積體控制裝置200可設置為藉由一輸出/輸入(I/O)介面240來串聯或並聯擴充所述主處理器210、輔助處理器220、及圖形處理器230。
根據一例示性具體實施例，該主處理器210可以是任意類型的資料處理器，包括通用或專用的中央處理器(CPU)、專用積體電路(ASIC)、或數位信號處理器(DSP)。
舉例而言，所述主處理器210可以是通用處理器，如CoreTM i3、i5、i7、雙核心及四核心處理器、XeonTM處理器、ItaniumTM處理器等。主處理器210可以是專用處理器，像是網路或通信處理器、壓縮機引擎、圖形處理器、 共同處理器、內置處理器等。所述主處理器210可以被具體表現為至少包含在一軟體包中至少一晶片。舉例而言，該主處理器210可運用至少一處理技術，例如BiCMOS、CMOS、NMOS等。
根據一例示性具體實施例，所述主處理器210可包含至少一多核心中央處理器(CPU)，例如多核心中央處理器(CPU)212、214。所述至少一多核心中央處理器(CPU)，例如多核心中央處理器(CPU)212、214，可根據快速路徑互連(QPI)協議彼此通信。該主處理器210可使用一連接至少一多核心中央處理器(CPU)，例如多核心中央處理器(CPU)212、214。
根據一例示性具體實施例，該圖形處理器230包含一用以執行圖形指令(如三維(3D)或二維(2D)圖形指令)之邏輯。該圖形處理器230可以執行業界標準的圖形指令，例如由Open GL和/或Direct X的應用程式介面(API)所指定的命令(例如：OpenGL的4.1和Direct X 11)。
該輸入輸出介面240可支援經由區域網路(LAN)、廣域網路(WAN)、網際網路、或以內部單元或外部設備所建立之各種網路通信。該輸入輸出介面240又可包含一轉接器、集線器等連接內部單元或外部設備，及支援網絡通信。該輸入輸出介面240可以被安裝在同一晶片或電路板以作為主處理器210，或安裝在一單獨的晶片和/或一 連接該主處理器210之軟體包。
第3及4圖係根據例示性具體實施例所示之微型積體控制裝置300之方塊圖。
該微型積體控制裝置300包含一主處理器310、一輔助處理器320、及一圖形處理器330。
該微型積體控制裝置300又可包含一輸入輸出介面340或一乙太網路交換器350。
該微型積體控制裝置300又可包含一供電給該主處理器310、輔助處理器320、及圖形處理器330之供電單元(圖未顯示)。
該微型積體控制裝置300又可包含一用以控制該主處理器310、輔助處理器320、及圖形處理器330之微控制單元(MCU)(圖未顯示)。該微控制單元可透過乙太網路、RS232等與該主處理器310通訊，並且可透過一控制裝置區域網路(CAN)通訊連接該供電單元。因此，該微控制單元可以控制各周邊裝置之後續關於電源狀態和故障狀態的實施方式。
根據一例示性具體實施例，該微型積體控制裝置300可運用使用了相同的時鐘信號之主處理器310、輔助處理器320、及圖形處理器330，以並行處理大量的感應器資料。
根據一例示性具體實施例，可以假設，該微型 積體控制裝置300係安裝或用於自主移動機器人、移動機器人、移動物體等。
在此情況下，主處理器310可以根據一自主移動式機器人、移動式機器人、一移動物體等等之位置資料產生代表自主駕駛之移動路徑之一驅動圖或一地圖，其係藉由大量的感測器資料以及有關接近該自主移動式機器人、移動式機器人、移動物體等之障礙物的資料而得到，使該自主移動式機器人、移動式機器人、移動物體等可以選擇驅動路徑，移動到一目的地，同時避免障礙物。
在此情況下，輔助處理器320與圖形處理器330可以分別並行處理有關環境感知和由該主處理器310所接收之大量的感測器資料中各影像的運算。
經由該輔助處理器320執行之有關環境感知的運算包含處理以雷射為主的感測器資料。所述以雷射為主的感測器資料係包含由一雷射掃描器偵測到的感測器資料。
經由圖形處理器330執行有關各影像的運算係包含處理由相機拍攝之影像等等。又，可以經由該圖形處理器330執行對於以雷射為主的感測器資料的運算。
根據一例示性具體實施例，該主處理器310可由一自主移動式機器人、一移動式機器人、一移動物體等接收位置資料、距離資料、LADAR感測器資訊(例如：接 近該自主移動式機器人、移動式機器人、移動物體等之障礙物的資料)、二維/三維LADAR距離資訊、相機所拍攝影像的資訊等等。在此情況下，該主處理器310可設置運用乙太網路交換器350或類似裝置來接收大量的感測器資料。
主處理器310可用以傳送所述大量的感測器資料當中的距離資料和有關接近該自主移動式機器人、移動式機器人、移動物體等等之障礙物的資料，因此可經由該圖形處理器330對於該距離資料以及關於障礙物的資料進行運算。在該圖形處理器330完成運算之後，主處理310可以接收到運算的結果，並且可依據該運算結果產生一驅動圖或地圖。
第5圖係顯示根據一例示性具體實施例之主處理器310所支援的一層次堆疊500。
層次堆疊500係包含一系統層510、一中間層520、一核心層530、及一應用層540。
中間層520係支援一微控制單元介面、一感應器介面、及一通訊介面。
核心層530係支援位置估算(例如：實時動態條件檢測、可視行駛距離偵測、雷射掃描匹配等、環境感知(例如：動態的障礙物檢測和追蹤、雷射為主的環境感知等)、規劃(例如：RRT採樣為主的全局路徑規劃、定制規劃、動 態避障等)、驅動控制(例如：基本航點、快速航點追蹤)、及數學庫和工具庫。
輔助處理器320可處理資料同時藉由核心層530來支援環境感知(例如：動態障礙物的偵測與追蹤、雷射為主的環境感知等)。又，所述輔助處理器320可以讓並行處理最佳化。如果規劃軟體也可以藉由將規劃軟體劃分為晶格單位而加以並行處理，則該輔助處理器320可以並行處理該規劃軟體。
第6圖係繪示一根據例示性具體實施例的移動物體600，其係裝設一微型積體控制裝置或運用一微型積體控制裝置。
雖然圖未顯示，該移動物體600可包含一三維感應器單元、一感應器單元、一全球定位系統(GPS)收發器、一控制裝置、及一輸出單元。該感應器單元可包含一轉向感應器、一速度感應器、一加速感應器、一位置感應器等。
所述三維感測器單元係一照相系統，能夠經由使用一旋轉反射鏡、聚光透鏡、和成像裝置同時進行前、後和/或左、右方向的拍攝。該三維感測器可適用於安全設施、監控攝像機、機器人視覺等。該旋轉反射器可具有各種形狀，例如：雙曲面形狀、橢圓形、圓錐形、及這些形狀組合等。一電荷耦合器件(CCD)或互補金屬氧化物半導 體(CMOS)可以用作成像裝置。然而，投影到所述成像裝置的成像表面的圖像(即，全方向的圖像)係從旋轉反射器反射，以至人們不容易觀察失真的圖像。因此，該三維感測器單元經由運用一微處理器之類而轉換攝像裝置輸出的坐標，而產生一個新的全景圖像，以便精確觀察圖像。
所述三維感測器單元可包含一立體相機、一深度相機、一移動式立體相機、光探測和測距(光探測和測距(LIDAR))設備等其中一者，經由進行各方向之三維拍攝，以獲得三維距離資料。
所述立體相機係一包含多台照相機的設應裝備。從該三維感測器單元獲得的全向圖像提供關於該三維感測器單元附近的二維(2D)資訊。如果使用多個由多個相機在不同的方向拍攝的圖像，即可以獲得關於該三維感測器單元附近的三維(3D)資訊。該立體相機可用於識別一移動物體或移動式機器人的位置及產生地圖。
深度相機係一拍攝或測量障礙物以提取圖像和距離資料的相機。即，深度相機藉由拍攝障礙物的圖像生成圖像或圖像數據，類似一般相機，並可以在與各圖像的各像素相對應之實際位置，測量該深度相機的距離。
移動式立體相機係一立體相機，其位置會依據到一障礙物的距離而主動改變，因此能調整相對於要觀察障礙物的視角。一般情況下，可以平行設置二個立體相機 以獲得圖像，而且可以根據圖像之間的立體視差來計算到一個障礙物的距離
立體相機具有平行光軸，係一被動式相機，其平行光軸是固定的。反之，移動式立體相機的光軸幾何位置會主動改變，以調整視角。根據到一個障礙物的距離來控制所述立體相機的視角即稱為視角控制。
視角控制立體相機係經由恆定地保持移動障礙物之立體視差，而提供觀察者較自然的三維圖像，並提供有用的資訊來測量與一障礙物的距離或處理一立體圖像。
光探測和測距(LIDAR)設備係裝設以感測位於該移動物體600前之一障礙物的存在，及與該障礙物之距離。該光探測和測距(LIDAR)設備，基於與雷達相同的原理，是一種活動遠端感測器，能夠得到想要的資訊卻不用接觸到任一物體。該光探測和測距(LIDAR)設備，經由將雷射照射到一目標而獲得所需的距離資訊，即將獲得的資訊，且感測從該目標反射之電磁波以及反射電磁波的能量變化之間的視差。
取決於測量目的或一待測物體，所述光探測和測距(LIDAR)設備分為三種類型：差分吸收光探測和測距(DIAL)、多普勒(Doppler)光探測和測距、及測距儀光探測和測距。差分吸收光探測和測距(DIAL)係經由使用兩個具 有不同吸收率的雷射器針對要測量的物體測量蒸氣、臭氧、及空氣中的污染物的濃度。多普勒(Doppler)光探測和測距係依據多普勒效應測量一物體之移動速度。然而，光探測和測距(LIDAR)通常指的是一測距儀光探測和測距(LIDAR)，經由使用一全球定位系統(GPS)、一慣性導航系統(INS)、及一雷射掃描系統而獲得結合有關物體距離之資訊的三維(3D)地理資訊。
所述光探測和測距(LIDAR)設備可以經由感測位於移動物體900之移動路徑之前存在的障礙物、與該障礙物之距離、及障礙物的移動而獲得三維(3D)距離資料，並且將獲得的三維(3D)距離資料傳送給一控制裝置，使得該移動物體600可以移動到一個沒有障礙物存在的空間。
所述輸出單元可包含一顯示單元，係顯示一驅動路徑，該驅動路徑係取決於，經由一使用者介面(UI)或一圖形使用者介面(GUI)，藉由該控制裝置或一主處理器所產生之一驅動圖。
第7圖係根據另一例示性具體實施例之微型積體控制裝置700之方塊圖。
該微型積體控制裝置700包含一主處理器710、一輔助處理器720、一圖形處理器730、一圖像校正器740、及一可用區域探測器750。
茲參考第3、4圖說明主處理器710與輔助處 理器720之各項功能。該圖形處理器730係運用一多核心並行運算，並依據加諸一逆變換矩陣而且經由該可用區域探測器750感測之校正圖像之各像素資訊，設定由一多個攝影設備接收到的圖像的運算處理區。在此，運算處理區係即將要執行運作之區域。
該圖像校正器740係接收由多個攝影設備拍攝物體而獲得之影像，運用一變換矩陣TM校正多個攝影設備之視場(FOV)彼此交錯區域中的失真影像，並產生校正圖像。
該可用區域探測器750針對由該圖像校正器740產生之校正圖像之各像素計算出一逆變換矩陣TM-1，以便偵測有關加諸該逆變換矩陣TM-1之校正圖像的資訊。
參照第9、10圖之例示性具體實施例，該圖像校正器740經由使用變換矩陣TM校正由拍攝一物體900而獲得的失真之一左邊圖像910和一右邊圖像912，以獲得經過失真校正之左邊圖像920和右邊圖像922，並且由該經過失真校正之左邊圖像920和右邊圖像922產生校正圖像930、932。
所述變換矩陣TM係一種矩陣，一般係指旋轉和平移左邊和右邊圖像使其置於同一極線上，及調整左邊和右邊圖像之尺度的圖像變換步驟，使得所述左邊和右邊圖像可以呈現於相同的圖像背板上。逆變換矩陣TM係一種 矩陣，係以與圖像變換步驟相反之順序實施圖像變換步驟，從而將校正圖像轉換為原始圖像。
第8圖係一根據另一例示性具體實施例之微型積體控制裝置700之方塊圖。茲將參照第8~15圖說明該微型積體控制裝置700。
第9圖係顯示根據一例示性具體實施例產生校正圖像之圖示。
第10圖係繪示根據一例示性具體實施例經由將一逆變換矩陣加諸於校正圖像以設定該校正圖像之運算處理區之流程圖。
第11圖係繪示一根據一例示性具體實施例使用一攝影設備拍攝物體之方法。第12圖係繪示根據一例示性具體實施例之使用一攝影設備拍攝物體而設定之追蹤區座標中的全局座標。
第13圖係繪示根據一例示性具體實施例由第12圖之全局座標所轉換之圖像座標。
第14圖係繪示根據一例示性具體實施例i在一追蹤區存在要追蹤之物體之情況。
第15圖係繪示根據一例示性具體實施例設定一圖像之追蹤區的過程，當有天域存在該圖像時，不包含該天域。
根據一例示性具體實施例，在一可用區域探測 器750設定第12圖之運算處理區S1210，該微型積體控制裝置700可另外設定第12圖之追蹤區S1200，該區係包含物體與單兵追蹤所需之資訊。上述方法非常適用於多視圖相機、立體相機、或類似相機。
根據另一例示性具體實施例，該微型積體控制裝置700可以只藉由一追蹤區域限制單元760設定追蹤區S1200，該追蹤區S1200係包含需要進行物體和單兵追蹤之資訊。在此情況下，可以經由使用該追蹤區域限制單元760，設定包含提取特徵點及進行物體和單兵追蹤資訊之追蹤區，而不用藉由該可用區域探測器750來設定該運算處理區S1210。
根據另一例示性具體實施例，該微型積體控制裝置700係包含一主處理器710、一輔助處理器720、一圖形處理器730、一圖像校正器740、一可用區域探測器750、及一追蹤區域限制單元760。
在此情況下，微型積體控制裝置700經由將一逆變換矩陣加諸於該校正圖像而產生校正圖像，及提取像素為單位之資訊，如上述參照之第7、9、10圖。經由這種方法，該微型積體控制裝置700主要可以設置一個輸入圖像，其中包含有關可用像素資訊的僅一個區域，作為運算處理區。經由這種方法，該微型積體控制裝置700首先可以只將一輸入圖像區域，其中包含有可用像素之資訊，設定 為一運算處理區。
其次，微型積體控制裝置700又設定包含需要提取特徵點及實施物體追蹤之資訊之運算處理區的一區域，該區主要該踪區域限制單元760進行設置。其次設定的區域被定義為一追蹤區。
參照第11~14圖，當該微型積體控制裝置700執行物體追蹤時，即只需要有第12圖S1200區之輸入圖像的相關資訊。又，參照第15圖，當該微型積體控制裝置700提取特徵點時，可以只將關於除了一天域之外之輸入圖像之區域S1510之資訊作為有用的資訊。
參照第11圖，當一移動物體、一移動式機器人、一自主移動式機器人、手持式裝置等運用該微型積體控制裝置700來追蹤人體，只有在由該微型積體控制裝置700採用之一圖像感應器、一攝影設備等擷取之一圖像之特定區域，包含需要用以追蹤人體之資訊(例如：第11圖之S1110區或第12圖之S1200區)。
參照第12圖，該追蹤區域限制單元760係運用一可拍攝距離、一攝影設備之視場(FOV)、及有關一物體或人體之預定高度資訊，來設定包含了需要執行物體追蹤之資訊的追蹤區S1200。
根據一例示性具體實施例，第7圖之可用區域探測器750設定該運算處理區S1210之後，該微型積體控制 裝置700可以另外侷限該運算處理區S1210之追蹤區S1200，該區係包含執行物體和單兵追蹤所需要之資訊。
根據另一例示性具體實施例，在該微型積體控制裝置700中，唯有包含需要提取特徵點及實行物體和單兵追蹤之資訊的追蹤區S1200，可以被設定於由一圖像處理器之圖像感應器所接收之輸入圖像中，而不用另外設定一運算處理區，而且可藉由使用該圖形處理器730處理只包含於追蹤區S1200之資訊。該圖形處理器730可以像素為單位處理包含在該追蹤區S1200中之資訊，並且將資料處理結果傳送給主處理器710。
第15圖係繪示根據一例示性具體實施例，當一圖像包含一天域S1500設定一不包含該天域S1500追蹤區之方法。根據一例示性具體實施例，可以感測到所述天域S1500，該圖像除了天域S1500之外的其他區域可以被設定為一追蹤區。接著，只有處理包含於該追蹤區之資料，以提取特徵點。
根據一例示性具體實施例，顏色資料和一天域的位置資料可被用以提取天域。在一般情況下，可以使用高斯(Gaussian)分佈來獲得天域的顏色資料。另外，在一般情況下，因為天域是一個圖像的上部，所述天域可透過另外使用天域的位置資訊提取得到。在此情況下，可依據一採樣技術運用一多峰分佈方法。此外，天域的顏色資料 係由機械學習統計而得。
根據一例示性具體實施例，該圖形處理器730透過以下公式1設定一除了天域之外的追蹤區。
公式1係一根據一例示性具體實施例以設定需要執行運算之區域的公式(矩陣x圖像矩陣=追蹤區)。在公式1中，'0'表示天域或不會執行運作之區域的像素，'1'表示會執行運作之區域的像素。
第16圖係顯示一根據一例示性具體實施例運用一微型積體控制裝置之一圖形處理器並行處理大量的感應器資料之方法流程圖。
在第16圖所示之方法中，經由一主處理器，運用至少一多核心中央處理器(CPU)來處理大量的感應器資料(步驟S1610)，經由一輔助處理器，運用與該主處理器一樣的時鐘信號來處理在該大量的感應器資料當中有關環境感知的感應器資料(步驟S1620)，及經由該圖形處理器，運用多核心及與該主處理器一樣的時鐘信號並行進行大量的感應器資料運算(步驟S1630)。
第17圖係顯示一根據一例示性具體實施例產 生校正圖像並設定需要由一微型積體控制裝置執行運算之校正圖像區域之方法流程圖。
所述微型積體控制裝置接收由多視點相機拍攝一特定物體所擷取的多個圖像(步驟S1710)。接著，經由校正多個失真圖像而產生校正圖像(步驟S1720)，類似第9圖之具體實施例。接著，將一逆變換矩陣加諸於該校正圖像，類似第10圖之具體實施例，經使用一圖形處理器以像素為單位並行處理有關加諸該逆變換矩陣之校正圖像像素之資訊(步驟S1740)。
第18圖係一在提取特徵點時侷限一追蹤區之方法流程圖，該方法係根據一例示性具體實施例經由一微型積體控制裝置而實行。
該微型積體控制裝置係由一圖像感應器或一圖像處理器接收一輸入圖像(步驟S1810)。在此情況下，圖像感應器或圖像處理器可以被安裝在同一晶片或電路板作為該微型積體控制裝置，安裝在一能夠以有線/無線方式與所述微型積體控制裝置通信之單獨的晶片或電路板，或者透過一介面、集線器等連接到該微型積體控制裝置。
所述微型積體控制裝置，可以依據一可拍攝距離、圖像感應器或圖像處理器之視場(FOV)、及人體或要追蹤物體之預定高度資訊，設定一輸入圖像之追蹤區(見第12圖之追蹤區S1200)(步驟S1820)。
此外，所述微型積體控制裝置，係設定需要執行運算之輸入圖像的一區域，例如該輸入圖像除了天域之外的一區域，作為一追蹤區，以便從該輸入圖像提取特徵點，如上述第15圖。
隨後，該圖形處理器只有對與該追蹤區對應之資料執行運算(步驟S1830)。
如上所述，根據上述一或多個例示性具體實施例，一微型積體控制裝置適用於人工智能、軍事設備、工廠自動化、移動伺服器設備、自主移動式機器人等領域。
此外，其他具體實施例亦可經由電腦可讀代碼/指令在一介質實行，例如：一電腦可讀介質可控制至少一處理元件來實現任何上述實施例。所述介質可對應於任何介質以允許電腦可讀代碼之存儲和/或傳輸。
所述的電腦可讀代碼可以各種方式被記錄/傳送於一介質，介質的例子包括紀錄介質，如磁存儲介質(例如：ROM、軟盤、硬盤等)、光學紀錄介質(例如：CD-ROM或DVD)、及傳輸介質，如網路傳輸介質。因此，根據一或多個例示性具體實施例，所述介質可以是一個經過定義和可測量的結構，包括或乘載信號或資訊，例如一裝置承載位元流。所述介質還可以是分佈式網路，以至電腦可讀代碼以分佈式方式被存儲/傳送和執行。此外，所述處理元件可以包括處理器或電腦處理器，而且該處理元件可分佈和/ 或包括於單一裝置中。
應當理解，在此描述之例示性具體實施例，應當被視為只是描述性質，而不是以限制作為目的。各實施例中的特徵或實施態樣的描述，應可被認為是可用於在其他例示性具體實施例的其它類似特徵或實施態樣。
雖然茲已參照各圖示說明一或多個例示性具體實施例，熟習本案技藝人士皆可知悉，所做之各種變更皆應涵蓋於以下申請專利範圍內，而不會偏離本發明之精神與範圍。
200‧‧‧微型積體控制裝置
210‧‧‧主處理器
212、214‧‧‧多核心中央處理器(CPU)
220‧‧‧輔助處理器
230‧‧‧圖形處理器
240‧‧‧輸出/輸入(I/O)介面

Claims (40)

  1. 一種微型積體控制裝置，包括：一主處理器，係使用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係使用與該主處理器一樣的時鐘信號，並且與該主處理器一起並行處理大量的感應器資料；及一圖形處理器，係使用與該主處理器一樣的時鐘信號，並且使用一多核心並行執行大量的感應器資料運算；其中該主處理器、輔助處理器、及圖形處理器並行處理大量的感應器資料；及該圖形處理器接收及處理將一逆變換矩陣加諸於依該大量的感應器資料所產生之校正圖像而獲得之資料。
  2. 如申請專利範圍第1項之微型積體控制裝置，其中該校正圖像藉由接收多個攝影設備拍攝物體所擷取之影像，及依據一在多個攝影設備之視場相互交錯的區域中之變換矩陣校正失真的擷取影像而產生。
  3. 如申請專利範圍第1項之微型積體控制裝置，又包括：一圖像校正器，用以接收經由多個攝影設備拍攝物體所擷取之圖像，依據在多個攝影設備之視場(FOV)相互交錯區域中的變換矩陣校正失真的拍攝圖像，並且依 據校正失真的拍攝圖像的結果產生校正圖像；及一可用區域探測器，用以計算校正圖像之各像素之逆變換矩陣，以偵測有關加諸該逆變換矩陣之校正圖像之各像素的資訊；其中該圖形處理器，係並行處理有關加諸該逆變換矩陣之校正圖像之各像素的資訊，該資訊係經由該可用區域探測器偵測到。
  4. 如申請專利範圍第2項之微型積體控制裝置，其中該圖形處理器係將並行處理有關加諸該逆變換矩陣之校正圖像之各像素的資訊傳送給該主處理器。
  5. 如申請專利範圍第2項之微型積體控制裝置，其中該多個攝影設備包括立體相機。
  6. 如申請專利範圍第1項之微型積體控制裝置，其中該大量的感應器資料係由設於一移動物體之至少一感應器所接收之資料，並且包括由設於移動物體之一攝影設備所擷取之圖像資訊。
  7. 如申請專利範圍第1項之微型積體控制裝置，其中該圖形處理器係以像素為單位將逆變換矩陣加諸於該校正圖像而獲得之資訊，設定由多個攝影設備所接收之數個圖像之運算處理區，其中該運算處理區係需要執行運算之區域。
  8. 如申請專利範圍第7項之微型積體控制裝置，其中該圖形處理器係係依據人體之預定高度資訊、一可拍攝距離、及一攝影設備之視場(FOV)，將該運算處理區需要 執行追蹤之區域限制為追蹤區，以追蹤一人體，並且只有對於與該追蹤區對應之處執行運算。
  9. 如申請專利範圍第7項之微型積體控制裝置，其中該圖形處理器係依據物體之預定高度資訊、一可拍攝距離、及一攝影設備之視場(FOV)，將該運算處理區需要執行追蹤之區域限制為追蹤區，以追蹤一物體，並且只有對於與該追蹤區對應之處執行運算。
  10. 如申請專利範圍第7項之微型積體控制裝置，其中當一天域包含在該運算處理區中，該圖形處理器係將除了該天域之其餘區域侷限為追蹤區，並且只有對與該追蹤區對應之處執行運算。
  11. 如申請專利範圍第1項之微型積體控制裝置，又包括一輸出/輸入介面，係用以串聯或並聯擴充該主處理器、輔助處理器、及圖形處理器。
  12. 如申請專利範圍第1項之微型積體控制裝置，其中該主處理器係支援一系統層、一中間層、一核心層、及一應用層。
  13. 如申請專利範圍第1項之微型積體控制裝置，其中該主處理器包括一層次堆疊，該堆疊包含一系統層、一中間層、一核心層、及一應用層。
  14. 如申請專利範圍第1項之微型積體控制裝置，其中該輔助處理器與圖形處理器係同步以與該主處理器同樣之時鐘信號所處理之感應器資料。
  15. 如申請專利範圍第1項之微型積體控制裝置，其中該主 處理器透過一乙太網路交換器接收大量的感應器資料。
  16. 如申請專利範圍第1項之微型積體控制裝置，又包括一用以供電給該主處理器、輔助處理器、及圖形處理器之供電單元。
  17. 如申請專利範圍第1項之微型積體控制裝置，又包括一用以控制該主處理器、輔助處理器、及圖形處理器之微控制單元(MCU)。
  18. 如申請專利範圍第1項之微型積體控制裝置，其中該主處理器係使用一封包式點對點連接總線連接該至少一多核心中央處理器(CPU)。
  19. 一種微型積體控制裝置，包括：一主處理器，係使用至少一多核心中央處理器(CPU)以處理大量的感應器資料；一輔助處理器，係使用與該主處理器同樣的時鐘信號，並與該主處理器一起並行處理大量的感應器資料；及一圖形處理器，係使用與該主處理器同樣的時鐘信號，並使用一多核心並行執行大量的感應器資料的運算；其中該主處理器、輔助處理器、及圖形處理器一起並行處理大量的感應器資料；及該圖形處理器依據大量的感應器資料當中的圖像資訊來進行物體追蹤。
  20. 如申請專利範圍第19項之微型積體控制裝置，其中該圖 形處理器係設定一輸入圖像之部分必須執行物體追蹤之區域作為追蹤區，並且依據該物體之預定高度資訊與一攝影設備之可拍攝距離和視場(FOV)，僅針對對應於該追蹤區之輸入圖像之部分區域執行運算，其中該輸入圖像係經由拍攝該物體之攝影設備所接收。
  21. 如申請專利範圍第19項之微型積體控制裝置，其中當一含有物體之圖像包含一天域，該圖形處理器設定該圖像除了天域之外的其他區域作為一追蹤區，並且僅針對一對應追蹤區之輸入圖像之一區域執行運算，其中該輸入圖像係由拍攝該物體之攝影設備所接收。
  22. 如申請專利範圍第21項之微型積體控制裝置，其中該天域係依據天域之位置資訊之色彩分佈所界定，並且透過機械學習統計而獲得。
  23. 一種微型積體控制裝置，包括：一主處理器，係使用至少一多核心中央處理器(CPU)來處理大量的感應器資料；一輔助處理器，係使用與該主處理器同樣的時鐘信號，並與該主處理器一起並行處理大量的感應器資料；一圖形處理器，係使用與該主處理器同樣的時鐘信號，並使用一多核心並行執行大量的感應器資料的運算；一圖像校正器，用以接收經由多個攝影設備拍攝物體所獲得的圖像，並且依據一變換矩陣在多個攝影設備之視場(FOV)相互交錯的區域中校正失真的圖像以產生 校正圖像；及一可用區域探測器，經由計算加諸於該校正圖像之各像素的逆變換矩陣，以偵測加諸一逆變換矩陣之校正圖像的像素資訊；其中該圖形處理器係依據由該可用區域探測器所測得之加諸該逆變換矩陣之校正圖像的像素資訊，設定由多個攝影設備接收之圖像的運算處理區，其中該運算處理區係需要執行運算的區域。
  24. 如申請專利範圍第23項之微型積體控制裝置，其中該圖形處理器又用來將以像素為單位執行該運算處理區之像素之運算結果傳給該主處理器。
  25. 如申請專利範圍第23項之微型積體控制裝置，其中該輔助處理器係處理包含在該大量的感應器資料中雷射為主的感應器資料；其中該雷射為主的感應器資料係包括由一雷射掃描器得到之感應器資料。
  26. 如申請專利範圍第23項之微型積體控制裝置，其中該圖形處理器係即時處理包含於該大量的感應器資料中以圖像為主的感應器資料；其中該圖像為主的感應器資料係包括由一攝影設備拍攝的圖像。
  27. 如申請專利範圍第23項之微型積體控制裝置，其中該主處理器係接收在驅動一移動式機器人時所產生的大量感應器資料，其中該大量的感應器資料包括以下其中至 少一者：由一設置於該移動式機器人中的感應器偵測到的感應器資料；有關移動式機器人之移動距離之即時資訊；及由移動式機器人拍攝的影像資訊。
  28. 如申請專利範圍第23項之微型積體控制裝置，其中該主處理器係透過乙太網路接收大量的感應器資料。
  29. 如申請專利範圍第23項之微型積體控制裝置，其中該主處理器係使用一封包式點對點連接總線連接該至少一多核心中央處理器(CPU)。
  30. 如申請專利範圍第23項之微型積體控制裝置，其中該輔助處理器和圖形處理器係同步基於與該主處理器同樣之時鐘信號處理之感應器資料。
  31. 一種微型積體控制裝置，包括：一主處理器，係運用至少一多核心中央處理器(CPU)處理大量的感應器資料；一輔助處理器，係運用與該主處理器一樣的時鐘信號，並且與該主處理器一起並行處理大量的感應器資料；及一圖形處理器，係運用與該主處理器一樣的時鐘信號，並運用多核心並行執行大量的感應器資料運算；其中該主處理器、輔助處理器、及圖形處理器一起並行處理大量的感應器資料；及該圖形處理器由一立體相機接收一左邊圖像和一 右邊圖像，以產生校正圖像，並且只有對一將逆變換矩陣加諸於該校正圖像之區域以像素為單位執行運算。
  32. 一種使用一微型積體控制裝置處理大量的感應器資料的方法，該方法包括：經由一主處理器，運用至少一多核心中央處理器(CPU)處理大量的感應器資料；經由一輔助處理器與該主處理器並行處理大量的感應器資料，其中該輔助處理器係運用與該主處理器一樣的時鐘信號；及經由一圖形處理器運用多核心並行執行大量的感應器資料運算，其中該圖形處理器係使用與該主處理器同樣之時鐘信號；其中該主處理器、輔助處理器、及圖形處理器一起並行處理大量的感應器資料；及該圖形處理器係接收並處理該基於大量的感應器資料將一逆變換矩陣加諸於校正圖像而得到之資料。
  33. 如申請專利範圍第32項之使用一微型積體控制裝置處理大量的感應器資料的方法，又包括：接收各攝影設備拍攝一特定物體所得到的影像，運用一變換矩陣校正該攝影設備之一視場相互交錯區域中的失真圖像，及依據該失真校正圖像產生校正圖像，其中係經由一圖像校正器接收該圖像、校正失真的圖像、及產生該校正圖像；及藉由一可用區域探測器，經由計算加諸逆變換矩陣 之該校正圖像的各像素，而偵測該加諸一逆變換矩陣之校正圖像的像素資訊；其中該圖形處理器係針對該可用區域探測器所偵測及加諸該逆變換矩陣之校正圖像的像素資訊並行運算。
  34. 如申請專利範圍第32項之使用一微型積體控制裝置處理大量的感應器資料的方法，其中該圖形處理器以像素為單位對於該加諸逆變換矩陣之校正圖像之像素執行運算的結果傳送給該主處理器。
  35. 一種使用一微型積體控制裝置處理大量的感應器資料的方法，該方法包括：運用至少一多核心中央處理器(CPU)經由一主處理器來處理大量的感應器資料；經由一輔助處理器，與該主處理器一起並行處理大量的感應器資料，其中該輔助處理器係使用與該主處理器同樣之時鐘信號；及運用一多核心經由一圖形處理器來執行大量的感應器資料運算，其中該圖形處理器係使用與該主處理器同樣之時鐘信號；其中該主處理器、輔助處理器、及圖形處理器係一起並行處理大量的感應器資料；及該圖形處理器依據大量感應器資料中的圖像資訊進行物體追蹤。
  36. 如申請專利範圍第35項之使用一微型積體控制裝置處 理大量的感應器資料的方法，其中該圖形處理器係依據物體之預定高度資訊、一可拍攝距離、及一攝影設備之視場(FOV)，由一輸入圖像設定一需要執行物體追蹤之區域作為一追蹤區，並且只有對與該追蹤區對應輸入圖像之一區執行運算；其中該輸入圖像係經由拍攝物體之攝影設備所接收而得。
  37. 如申請專利範圍第35項之使用一微型積體控制裝置處理大量的感應器資料的方法，其中當一含有物體之圖像包含一天域，該圖形處理器係設定該圖像除了天域之外的其他區域作為一追蹤區，並且只有對於與該追蹤區對應之輸入圖像之一區域執行運算，其中該輸入圖像係由拍攝物體之攝影設備接收到。
  38. 一種使用一微型積體控制裝置處理大量的感應器資料的方法，該方法包括：經由一主處理器，運用至少一多核心中央處理器(CPU)處理大量的感應器資料；經由一輔助處理器，與該主處理器一起並行處理大量的感應器資料，其中該輔助處理器係使用與該主處理器同樣的時鐘信號；及經由一圖形處理器，運用一多核心並行執行大量的感應器資料之運算，其中該圖形處理器係使用與該主處理器同樣的時鐘信號；其中該主處理器、輔助處理器、及圖形處理器相互並行處理大量的感應器資料；及 該圖形處理器經由一立體相機接收一左邊圖像和一右邊圖像，以產生校正圖像，並且以像素為單位只有對由於加諸一逆變換矩陣而感測到之區域執行運算以校正圖像。
  39. 如申請專利範圍第38項之使用一微型積體控制裝置處理大量的感應器資料的方法，其中該處理器將以像素為單位操作的結果傳送給該主處理器。
  40. 如申請專利範圍第38項之使用一微型積體控制裝置處理大量的感應器資料的方法，其中該圖形處理器另外侷限一區域之追蹤區，其中該區係以像素為單位將一逆變換矩陣加諸於該校正圖像所偵測到，並且只有對於與該追蹤區對應之處執行運算；其中該追蹤區係依據人體預定高度資訊及攝影設備之視場(FOV)和可拍攝距離而設定。
TW104134778A 2014-12-11 2015-10-23 微型積體控制裝置（第二案） TW201626214A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178720A KR102106890B1 (ko) 2014-12-11 2014-12-11 소형통합제어장치

Publications (1)

Publication Number Publication Date
TW201626214A true TW201626214A (zh) 2016-07-16

Family

ID=56107591

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104134778A TW201626214A (zh) 2014-12-11 2015-10-23 微型積體控制裝置（第二案）

Country Status (3)

Country Link
KR (1) KR102106890B1 (zh)
TW (1) TW201626214A (zh)
WO (1) WO2016093428A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510122B1 (ko) * 2021-11-24 2023-03-15 (주)카네비모빌리티 전방 추돌 경보를 위한 영상 기반 실시간 차량 검출과 추적 방법, 및 그 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353362B2 (en) * 2003-07-25 2008-04-01 International Business Machines Corporation Multiprocessor subsystem in SoC with bridge between processor clusters interconnetion and SoC system bus
US8390631B2 (en) * 2008-06-11 2013-03-05 Microsoft Corporation Synchronizing queued data access between multiple GPU rendering contexts
KR100948886B1 (ko) * 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR101714783B1 (ko) * 2009-12-24 2017-03-23 중앙대학교 산학협력단 Ｇｐｕ를 이용한 온라인 전기 자동차용 전방 장애물 검출 장치 및 방법
US8462166B2 (en) * 2010-10-01 2013-06-11 Apple Inc. Graphics system which measures CPU and GPU performance
KR101883475B1 (ko) * 2013-02-28 2018-07-31 한화지상방산 주식회사 소형통합제어장치
WO2014178450A1 (ko) * 2013-04-30 2014-11-06 전자부품연구원 Cpu와 gpu 간의 협업 시스템 및 그 방법
CN103713938A (zh) * 2013-12-17 2014-04-09 江苏名通信息科技有限公司 虚拟化环境下基于OpenMP的多GPU协同计算方法

Also Published As

Publication number Publication date
WO2016093428A1 (ko) 2016-06-16
KR20160071237A (ko) 2016-06-21
KR102106890B1 (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
EP2976748B1 (en) Image-based 3d panorama
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
KR20150080003A (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
US20230014421A1 (en) 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION
JP2010276433A (ja) 撮像装置、画像処理装置及び距離計測装置
Shahnewaz et al. Color and depth sensing sensor technologies for robotics and machine vision
Bazargani et al. Camera calibration and pose estimation from planes
Zhao et al. 3D visual sensing technique based on focal stack for snake robotic applications
Cheng et al. AR-based positioning for mobile devices
Chermak et al. Real-time smart and standalone vision/IMU navigation sensor
TW201626214A (zh) 微型積體控制裝置（第二案）
US9445015B2 (en) Methods and systems for adjusting sensor viewpoint to a virtual viewpoint
Calloway et al. Three tiered visual-inertial tracking and mapping for augmented reality in urban settings
CN101777182B (zh) 坐标循环逼进式正交摄像机系统视频定位方法及系统
CN110969652B (zh) 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
CN115836324A (zh) 具有远程相机对准的双相机hmd
TW201629752A (zh) 微型積體控制裝置（第一案）
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter
Haige et al. Improved Stereo Vision Robot Locating and Mapping Method
US20240177329A1 (en) Scaling for depth estimation
WO2022019128A1 (ja) 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
Aliakbarpour et al. A novel framework for data registration and data fusion in presence of multi-modal sensors