TWI714005B - 適用於疊代最近點法的可察覺移動的關鍵點選擇系統 - Google Patents

適用於疊代最近點法的可察覺移動的關鍵點選擇系統 Download PDF

Info

Publication number
TWI714005B
TWI714005B TW108106964A TW108106964A TWI714005B TW I714005 B TWI714005 B TW I714005B TW 108106964 A TW108106964 A TW 108106964A TW 108106964 A TW108106964 A TW 108106964A TW I714005 B TWI714005 B TW I714005B
Authority
TW
Taiwan
Prior art keywords
point
key
quality
selection system
unit
Prior art date
Application number
TW108106964A
Other languages
English (en)
Other versions
TW202034213A (zh
Inventor
陳俊維
蕭文遠
謝明得
Original Assignee
財團法人成大研究發展基金會
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人成大研究發展基金會, 奇景光電股份有限公司 filed Critical 財團法人成大研究發展基金會
Priority to TW108106964A priority Critical patent/TWI714005B/zh
Publication of TW202034213A publication Critical patent/TW202034213A/zh
Application granted granted Critical
Publication of TWI714005B publication Critical patent/TWI714005B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一種適用於疊代最近點法的可察覺移動的關鍵點選擇系統，包含修剪單元，其接收影像以選擇至少一關注區域，該關注區域包含影像當中選擇的點子集合；點品質估算單元，其根據圖框速度以產生關注區域內每一點的點品質；及抑制單元，其接收點品質，據以對關注區域進行篩檢以產生關鍵點。

Description

適用於疊代最近點法的可察覺移動的關鍵點選擇系統
本發明係有關疊代最近點法(ICP)，特別是關於一種適用於疊代最近點法(ICP)的可察覺移動的關鍵點選擇系統。
疊代最近點法(iterative closest point, ICP)可用以減小二群點集合之間的差距。其中，目標(或參考)群保持固定，而來源群則被轉換以匹配目標群。
疊代最近點法(ICP)可應用於視覺測距(visual odometry)，於廣泛的機器人應用當中決定機器人的位置與方位。疊代最近點法通常用以重建二維或三維表面或者用以定位機器人以實現最佳路徑規劃。疊代最近點法反覆修正轉換(例如平移與旋轉)以減少誤差，例如來源群與目標群之間的匹配組座標的距離。
疊代最近點法應用的第一步通常是偵測關鍵點(keypoint)，例如於同步定位與地圖構建(SLAM)，其建構或更新未知環境的地圖，且同時追蹤代理人的位置或進行視覺追蹤，其強健度(robustness)與準確度會受到關鍵點偵測的影響。
傳統關鍵點偵測器因為使用所有點以執行疊代最近點法的演算法，因此其計算複雜度相當高。此外，由於使用非理想的特徵對，因而降低疊代最近點法的效能。因此亟需提出一種新穎的關鍵點選擇技術，以克服傳統關鍵點偵測器的缺點。
鑑於上述，本發明實施例的目的之一在於提出一種可察覺移動的關鍵點選擇系統，可適用於疊代最近點法(ICP)，以降低計算複雜度且增強準確度。
根據本發明實施例，適用於疊代最近點法的可察覺移動的關鍵點選擇系統包含修剪單元、點品質估算單元及抑制單元。修剪單元接收影像以選擇至少一關注區域，該關注區域包含該影像當中選擇的點子集合。點品質估算單元根據圖框速度以產生關注區域內每一點的點品質。抑制單元接收點品質，據以對關注區域進行篩檢以產生關鍵點。
第一圖的方塊圖顯示本發明實施例之可察覺移動(motion-aware)的關鍵點(keypoint)選擇系統(以下簡稱關鍵點選擇系統)100，適用於疊代最近點法(iterative closest point, ICP)。關鍵點選擇系統100的方塊可使用軟體、硬體或其組合來實施，且可使用數位影像處理器來執行。
在一實施例中，關鍵點選擇系統100可適用於擴增實境(AR)裝置。擴增實境裝置的硬體元件主要包含處理器(例如影像處理器)、顯示器(例如頭戴顯示裝置)及感測器(例如色彩-深度相機，例如可得到紅、綠、藍及深度的紅綠藍-深度相機)。其中，感測器或相機擷取場景以產生影像圖框(frame)，再饋至處理器以執行關鍵點選擇系統100的操作，因而產生擴增實境於顯示器。
在本實施例中，關鍵點選擇系統100可包含修剪(pruning)單元11，其接收影像，經篩檢處理後以選擇至少一關注區域(region of interest, ROI)，其包含影像當中所選擇的點(或像素)子集合(subset)。關注區域以外的點則被捨棄，以簡化關鍵點選擇系統100的處理且大量降低計算複雜度，但不會明顯降低準確度。影像的每一點可包含 色彩(例如紅、綠、藍)與深度。本實施例之修剪單元11係執行基於點(point-based)的操作。
根據本實施例的特徵之一，修剪單元11選擇近邊緣區域(near edge region, NER)作為關注區域。第二A圖例示一行的深度影像，其中qn 代表最後有效(或背景)像素(或稱為被阻擋邊緣(occluded edge))，且qc 代表目前有效(或前景)像素(或稱為阻擋(occluding)邊緣)。第二B圖顯示本發明實施例之第一圖的修剪單元11於深度影像所決定的近邊緣區域(NER)(亦即關注區域)、被阻擋略過區域(occluded skipping region, OSR)及雜訊略過區域(noise skipping region, NSR)。被阻擋略過區域(OSR)鄰接於最後有效像素qn 的左邊，且雜訊略過區域(NSR)鄰接於目前有效像素qc 的右邊。其中，雜訊略過區域(NSR)通常包含複數(例如12個)像素，相應於邊界或角落，其法線(normal)很難估算，因此本實施例捨棄雜訊略過區域(NSR)。被阻擋略過區域(OSR)通常包含複數(例如2個)像素，相應於被阻擋區域，其在目標圖框中不具有正確的對應(correspondence)，因此本實施例捨棄被阻擋略過區域(OSR)。近邊緣區域(NER)通常包含複數像素，由於其包含有用訊息，因此位於被阻擋略過區域(OSR)左側的近邊緣區域(NER)以及位於雜訊略過區域(NSR)右側的近邊緣區域(NER)被選為關注區域。在一實施例中，被阻擋略過區域(OSR)、雜訊略過區域(NSR)及近邊緣區域(NER)的像素寬度可為預設值。
本實施例之關鍵點選擇系統100可包含點品質估算(point quality estimation)單元12，其根據圖框(frame)速度以產生關注區域內之每一點的點品質，因而形成可察覺移動的關鍵點選擇系統100。本實施例之點品質估算單元12係執行基於點(point-based)的操作。
在一實施例中，點品質估算單元12的顯著函數(saliency function)所使用的雜訊模型，其揭露於阮(C. V. Nguyen)等人所提出的“改良三維重建與追蹤的肯乃特感測器雜訊模型(Modeling Kinect Sensor Noise for Improved 3D Reconstruction and Tracking)”，發表於2012年三維影像、模型、處理、視覺與傳輸(3D Imaging, Modeling, Processing, Visualization & Transmission)第二次國際研討會，其細節視為本說明書的一部分。
第三圖顯示第一圖之點品質估算單元12的細部方塊圖。點品質估算單元12可包含模型選擇單元121，其根據圖框速度以產生關鍵(key)深度值。在一實施例中，模型選擇單元121包含經實驗所得到的查表(lookup table)，據以得到圖框速度的相應關鍵深度值。圖框速度可由計速器(speedometer)或慣性量測單元(inertial measurement unit, IMU)獲得。
第四A圖至第四C圖例示不同圖框速度的品質-深度曲線，其中曲線頂點所對應的深度值代表該圖框速度所相應的關鍵深度值。根據第四A圖至第四C圖所例示，圖框速度愈大，則相應的關鍵深度值愈大。
回到第三圖，點品質估算單元12可包含估算模型單元122，其接收(模型選擇單元121的)關鍵深度值，以建立產生點品質與深度值的關係曲線，據以得到關注區域某一點的相應點品質。在一實施例中，點品質與深度值的關係曲線可儲存為查表(lookup table)。詳而言之，如第四A圖所例示(其圖框速度為0.000922)，估算模型單元122自模型選擇單元121接收關鍵深度值(例如約60公分)。接著，估算模型單元122以該關鍵深度值作為關係曲線的頂點，其對應的點品質為1(亦即最大點品質)。接下來，估算模型單元122使用預設函數(例如高斯函數)，並以該最大點品質作為關係曲線的頂點，以建立產生點品質與深度值的關係曲線(例如高斯關係曲線)，其具有預設的分佈(例如高斯或常態分佈)。藉此，每一個深度值即可對應得到點品質。對於其他的圖框速度(如第四B圖、第四C圖所例示)，也可依上述原則以得到點品質與深度值的關係曲線或查表，據以得到關注區域某一點的相應點品質。
回到第一圖，關鍵點選擇系統100可包含抑制(suppression)單元13，其接收(點品質估算單元12的)點品質，據以對(修剪單元11的) 關注區域的複數點進行再次的篩檢處理，以產生關鍵點，使其均勻分佈而不會群集。由於使用較少的關鍵點以涵蓋影像，因而得以加速運算。本實施例之抑制單元13係執行基於圖框(frame-based)的操作。
在一實施例中，抑制單元13使用非最大值抑制(non-maximal suppression, NMS)演算法，其細節揭露於布朗(M. Brown)等人所提出的“使用多比例導向區塊的多影像匹配(Multi-image matching using multi-scale oriented patches)”，發表於2005年電機電子工程師學會電腦視覺與圖形辨識的電腦協會會議 (IEEE Computer Society Conference on Computer Vision and Pattern Recognition)，以及巴洛(O. Bailo)等人所提出的“用於平均空間關鍵點分佈的有效適應性非最大值抑制演算法(Efficient adaptive non-maximal suppression algorithms for homogeneous spatial keypoint distribution)”，發表於圖形辨識刊物(Pattern Recognition Letters)，第106卷，2018年四月，第53~60頁，其細節視為本說明書的一部分。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100:可察覺移動的關鍵點選擇系統 11:修剪單元 12:點品質估算單元 121:模型選擇單元 122:估算模型單元 13:抑制單元 qn:最後有效像素 qc:目前有效像素 NER:近邊緣區域 OSR:被阻擋略過區域 NSR:雜訊略過區域
第一圖的方塊圖顯示本發明實施例之可察覺移動的關鍵點選擇系統，適用於疊代最近點法。 第二A圖例示一行的深度影像。 第二B圖顯示本發明實施例之第一圖的修剪單元於深度影像所決定的近邊緣區域(NER)、被阻擋略過區域(OSR)及雜訊略過區域(NSR)。 第三圖顯示第一圖之點品質估算單元的細部方塊圖。 第四A圖至第四C圖例示不同圖框速度的品質-深度曲線。
100:可察覺移動的關鍵點選擇系統
11:修剪單元
12:點品質估算單元
13:抑制單元

Claims (11)

  1. 一種適用於疊代最近點法的可察覺移動的關鍵點選擇系統，包含：一修剪單元，其接收一影像以選擇至少一關注區域，該關注區域包含該影像當中選擇的點子集合；一點品質估算單元，其根據一圖框速度以產生該關注區域內每一點的點品質；及一抑制單元，其接收該點品質，據以對該關注區域進行篩檢以產生關鍵點；其中該點品質估算單元包含：一模型選擇單元，其根據該圖框速度以產生關鍵深度值；及一估算模型單元，其接收該關鍵深度值，以建立產生點品質與深度值的關係曲線，據以得到該關注區域某一點的相應點品質。
  2. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該修剪單元選擇近邊緣區域作為該關注區域。
  3. 根據申請專利範圍第2項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該至少一關注區域包含二個該近邊緣區域，其中一個近邊緣區域位於被阻擋略過區域的左側，其中另一個近邊緣區域位於雜訊略過區域的右側，其中該被阻擋略過區域鄰接於最後有效像素的左邊，且該雜訊略過區域鄰接於目前有效像素的右邊。
  4. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該影像的每一點包含色彩與深度。
  5. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該修剪單元及該點品質估算單元係執行基於點的操作。
  6. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該抑制單元係執行基於圖框的操作。
  7. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該模型選擇單元包含一查表，據以得到該圖框速度的一關鍵深度值。
  8. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中圖框速度愈大，則相應的關鍵深度值愈大。
  9. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該點品質與深度值的關係曲線儲存為查表。
  10. 根據申請專利範圍第1項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該估算模型單元執行以下步驟：接收該關鍵深度值；以該關鍵深度值作為關係曲線的頂點，其對應的點品質為最大點品質；及使用預設函數，並以該最大點品質作為關係曲線的頂點，以建立產生點品質與深度值的關係曲線，藉此，每一個深度值即可對應得到點品質。
  11. 根據申請專利範圍第10項所述適用於疊代最近點法的可察覺移動的關鍵點選擇系統，其中該預設函數為高斯函數。
TW108106964A 2019-03-04 2019-03-04 適用於疊代最近點法的可察覺移動的關鍵點選擇系統 TWI714005B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108106964A TWI714005B (zh) 2019-03-04 2019-03-04 適用於疊代最近點法的可察覺移動的關鍵點選擇系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108106964A TWI714005B (zh) 2019-03-04 2019-03-04 適用於疊代最近點法的可察覺移動的關鍵點選擇系統

Publications (2)

Publication Number Publication Date
TW202034213A TW202034213A (zh) 2020-09-16
TWI714005B true TWI714005B (zh) 2020-12-21

Family

ID=73643634

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106964A TWI714005B (zh) 2019-03-04 2019-03-04 適用於疊代最近點法的可察覺移動的關鍵點選擇系統

Country Status (1)

Country Link
TW (1) TWI714005B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014018227A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Method and apparatus for controlling augmented reality
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
TW201721588A (zh) * 2015-12-14 2017-06-16 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
TWI652447B (zh) * 2017-09-12 2019-03-01 財團法人成大研究發展基金會 適用於疊代最近點法以選擇關鍵圖框的系統與方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
WO2014018227A1 (en) * 2012-07-26 2014-01-30 Qualcomm Incorporated Method and apparatus for controlling augmented reality
TW201721588A (zh) * 2015-12-14 2017-06-16 財團法人工業技術研究院 三維座標縫合方法及應用其之三維座標資訊縫合裝置
TWI652447B (zh) * 2017-09-12 2019-03-01 財團法人成大研究發展基金會 適用於疊代最近點法以選擇關鍵圖框的系統與方法

Also Published As

Publication number Publication date
TW202034213A (zh) 2020-09-16

Similar Documents

Publication Publication Date Title
Kueng et al. Low-latency visual odometry using event-based feature tracks
TWI536318B (zh) 深度測量之品質提升
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
Park et al. High-quality depth map upsampling and completion for RGB-D cameras
WO2017054589A1 (zh) 一种多深度图融合方法及装置
JP4074062B2 (ja) ベクトル画像シーケンスにおける意味対象物の追跡
Le et al. Physics-based shadow image decomposition for shadow removal
JP2019525515A (ja) マルチビューシーンのセグメンテーションおよび伝播
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN108377374B (zh) 用于产生与图像相关的深度信息的方法和系统
CN107622480B (zh) 一种Kinect深度图像增强方法
Vu et al. Efficient hybrid tree-based stereo matching with applications to postcapture image refocusing
Cherian et al. Accurate 3D ground plane estimation from a single image
GB2536430B (en) Image noise reduction
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和系统
Lo et al. Depth map super-resolution via Markov random fields without texture-copying artifacts
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
TWI714005B (zh) 適用於疊代最近點法的可察覺移動的關鍵點選擇系統
US10803343B2 (en) Motion-aware keypoint selection system adaptable to iterative closest point
Bapat et al. Rolling shutter and radial distortion are features for high frame rate multi-camera tracking
CN111179281A (zh) 人体图像提取方法及人体动作视频提取方法
CN111666796B (zh) 适用于迭代最近点法的可察觉移动的关键点选择系统
Suttasupa et al. Plane detection for Kinect image sequences
JP5478533B2 (ja) 全方位画像生成方法、画像生成装置およびプログラム
Kaveti et al. Towards robust VSLAM in dynamic environments: a light field approach