TWI826185B - 外部參數判定方法及影像處理裝置 - Google Patents
外部參數判定方法及影像處理裝置 Download PDFInfo
- Publication number
- TWI826185B TWI826185B TW111148214A TW111148214A TWI826185B TW I826185 B TWI826185 B TW I826185B TW 111148214 A TW111148214 A TW 111148214A TW 111148214 A TW111148214 A TW 111148214A TW I826185 B TWI826185 B TW I826185B
- Authority
- TW
- Taiwan
- Prior art keywords
- feature point
- camera
- feature
- combination
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本發明提供一種外部參數判定方法及影像處理裝置。所述方法包括：取得多個相機分別對特定圖樣拍攝的多個影像；透過對所述多個影像執行特徵點匹配演算法以找出多個特徵點組合；判定各特徵點組合對應的斜率；基於各特徵點組合對應的斜率找出多個候選組合；以及基於所述多個候選組合判定所述多個相機之間的外部參數。
Description
本發明是有關於一種影像處理技術，且特別是有關於一種外部參數判定方法及影像處理裝置。
在現有技術中，可透過對雙相機系統所拍攝的影像進行特徵點辨識，並據以判定雙相機系統中相機之間的外部參數。然而，由於某些特徵點可能並不適於用於進行後續的外部參數判定，因此需透過一定的機制篩選適於用於進行後續外部參數判定的特徵點，以得到較佳的外部參數判定結果。
有鑑於此，本發明提供一種外部參數判定方法及影像處理裝置，其可用於解決上述技術問題。
本發明提供一種外部參數判定方法，適於一影像處理裝置，包括：取得多個相機分別對一特定圖樣拍攝的多個影像；透過對所述多個影像執行一特徵點匹配演算法以在所述多個影像中找出多個特徵點組合；判定各特徵點組合對應的斜率；基於各特徵點組合對應的斜率在所述多個特徵點組合中找出多個候選組合，其中各候選組合的斜率位於一預設範圍內；以及基於所述多個候選組合判定所述多個相機之間的至少一外部參數。
本發明實施例提供一種影像處理裝置，包括儲存電路及處理器。儲存電路儲存一程式碼。處理器耦接儲存電路並存取程式碼以執行：取得多個相機分別對一特定圖樣拍攝的多個影像；透過對所述多個影像執行一特徵點匹配演算法以在所述多個影像中找出多個特徵點組合；判定各特徵點組合對應的斜率；基於各特徵點組合對應的斜率在所述多個特徵點組合中找出多個候選組合，其中各候選組合的斜率位於一預設範圍內；以及基於所述多個候選組合判定所述多個相機之間的至少一外部參數。
請參照圖1，其是依據本發明之一實施例繪示的影像處理裝置示意圖。在不同的實施例中，影像處理裝置100例如可實現為各式智慧型裝置、電腦裝置及/或各式具備影像處理能力的裝置，但可不限於此。
在圖1中，影像處理裝置100包括儲存電路102及處理器104。儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路102，並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。
在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的外部參數判定方法，其細節詳述如下。
請參照圖2，其是依據本發明之一實施例繪示的外部參數判定方法流程圖。本實施例的方法可由圖1的影像處理裝置100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。另外，為使本發明概念更易於理解，以下另輔以圖3作說明，其中圖3是依據本發明第一實施例繪示的應用情境圖。
首先，在步驟S210中，處理器104取得多個相機分別對特定圖樣310拍攝的多個影像。在本發明的實施例中，所述多個相機例如包括第一相機及第二相機，且第一相機及第二相機形成雙相機系統。在此情況下，第一相機及第二相機之間的相對位置可視為固定的。在一實施例中，所述雙相機系統例如可內建於影像處理裝置100中，但可不限於此。
在圖3情境中，特定圖樣310例如是一黑白棋盤格圖樣。在此情況下，第一相機例如可用於在第一視角拍攝特定圖樣310以取得第一影像321，而第二相機例如可用於在第二視角拍攝特定圖樣310以取得第二影像322。
接著，在步驟S220中，處理器104透過對所述多個影像執行特徵點匹配演算法以在所述多個影像中找出多個特徵點組合。
在一實施例中，處理器104所執行的特徵點匹配演算法例如是隨機抽樣一致性（RANSAC）演算法，但可不限於此。在此情況下，RANSAC演算法例如可因應於第一影像321及第二影像322而產生匹配結果影像330。
在圖3中，匹配結果影像330例如可包括特徵點組合331~334，其中各特徵點組合331~334例如是一特徵點對，但可不限於此。在本實施例中，所示出的特徵點組合331~334的位置、數量僅用以舉例，並非用以限定本發明可能的實施方式。
在一實施例中，第一影像321經判定有多個第一特徵點331a~334a，第二影像322經判定有多個第二特徵點331b~334b，且各特徵組合331~334包括第一特徵點331a~334a之一及第二特徵點331b~334b之一。
在圖3中，特徵點組合331可包括特徵點331a、331b，且特徵點331a及331b之間可具有連線L1。特徵點組合332可包括特徵點332a、332b，且特徵點332a及332b之間可具有連線L2。特徵點組合333可包括特徵點333a、333b，且特徵點333a及333b之間可具有連線L3；特徵點組合334可包括特徵點334a、334b，且特徵點334a及334b之間可具有連線L4。
之後，在步驟S230中，處理器104判定各特徵點組合331~334對應的斜率。並且，在步驟S240中，處理器104基於各特徵點組合331~334對應的斜率在所述多個特徵點組合331~334中找出多個候選組合，其中各候選組合的斜率位於預設範圍內。
在一實施例中，所述預設範圍例如可由設計者依據所考慮的特定圖樣310而定，且所述預設範圍可理解為正常的特徵點組合對應的連線斜率應有的數值範圍，但可不限於此。
在圖3中，假設特徵點組合331~333對應的連線L1~L3個別的斜率皆在預設範圍內，但特徵點組合334對應的連線L4的斜率不在預設範圍內。在此情況下，處理器104例如可判定特徵點組合331~333屬於所述候選組合，並排除特徵點組合334，但可不限於此。
之後，在步驟S250中，處理器104基於所述多個候選組合（例如特徵點組合331~334）判定所述多個相機之間的外部參數。在一實施例中，第一相機及第二相機之間的外部參數例如包括第一相機及第二相機之間的相對俯仰（pitch）角、相對偏航（yaw）角及相對翻滾（roll）角，但可不限於此。
在本發明的實施例中，如何基於所述多個候選組合（例如特徵點組合331~334）判定所述多個相機之間的外部參數的手段可參照判定外部參數的相關現有技術文獻，其細節於此不另贅述。
在習知技術中，由於未有依據連線斜率排除某些特徵點組合的手段，因此圖3中的特徵點組合331~334可能全部被用於判定所述多個相機之間的外部參數。在此情況下，將使得所述多個相機之間的外部參數較不準確，從而影響到後續的相機調校結果。
相較之下，由於本發明實施例在取得特徵點組合331~334之後，排除了對應的斜率不在預設範圍內的特徵點組合334，故可得到相對準確的外部參數。藉此，可有助於提升所述多個相機在後續調校時的效率及準確度。
為使本發明概念更易於理解，以下另輔以圖4、圖5作進一步說明。
請參照圖4，其是依據本發明第二實施例繪示的應用情境圖。在圖4中，匹配結果影像410例如是處理器104基於第一相機及第二相機對另一特定圖樣（其例如是一城堡影像）拍攝的第一影像及第二影像執行RANSAC演算法所得，但可不限於此。
由圖4可看出，匹配結果影像410包括多個連線，其個別對應於一個特徵點組合。在圖4情境中，假設連線421~423的斜率不在所設定的預設範圍內，則處理器104可據以將對應於連線421~423的特徵點組合排除，並以剩餘的連線對應的特徵點組合判定第一相機及第二相機之間的外部參數。
請參照圖5，其是依據本發明第三實施例繪示的應用情境圖。在圖5中，匹配結果影像510例如是處理器104基於第一相機及第二相機對另一特定圖樣（其例如是一電腦桌面影像）拍攝的第一影像及第二影像執行RANSAC演算法所得，但可不限於此。
由圖5可看出，匹配結果影像510包括多個連線，其個別對應於一個特徵點組合。在圖5情境中，假設連線521的斜率不在所設定的預設範圍內，則處理器104可據以將對應於連線5214的特徵點組合排除，並以剩餘的連線對應的特徵點組合判定第一相機及第二相機之間的外部參數。
綜上所述，本發明實施例提出的方法可在所判定的特徵點組合中找出對應的連線斜率在預設範圍內的一部分特徵點組合作為候選組合，並僅基於候選組合判定所述多個相機之間的外部參數。由於對應的連線斜率不在預設範圍內的另一部分特徵點組合已被排除，因而可讓所判定的外部參數更為準確，從而有助於後續的相機調校作業。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:影像處理裝置
102:儲存電路
104:處理器
310:特定圖樣
321:第一影像
322:第二影像
330,410,510:匹配結果影像
331~334:特徵點組合
331a~334a:第一特徵點
331b~334b:第二特徵點
L1~L4,421~423,521:連線
S210~S250:步驟
圖1是依據本發明之一實施例繪示的影像處理裝置示意圖。
圖2是依據本發明之一實施例繪示的外部參數判定方法流程圖。
圖3是依據本發明第一實施例繪示的應用情境圖。
圖4是依據本發明第二實施例繪示的應用情境圖。
圖5是依據本發明第三實施例繪示的應用情境圖。
S210~S250:步驟
Claims (8)
- 一種外部參數判定方法，適於一影像處理裝置，包括：取得多個相機分別對一特定圖樣拍攝的多個影像；透過對該些影像執行一特徵點匹配演算法以在該些影像中找出多個特徵點組合，其中該些相機包括一第一相機及一第二相機，該些影像包括由該第一相機對該特定圖樣拍攝的一第一影像及由該第二相機對該特定圖樣拍攝的一第二影像，該第一影像經判定有多個第一特徵點，該第二影像經判定有多個第二特徵點，且各該特徵點組合包括該些第一特徵點之一及該些第二特徵點之一；判定各該特徵點組合對應的斜率，其中該些特徵點組合包括一第一特徵點組合，該第一特徵點組合包括該些第一特徵點中的一第一特定特徵點及該些第二特徵點中的一第二特定特徵點，且該第一特徵點組合對應的該斜率包括該第一特定特徵點及該第二特徵點之間的一連線的斜率；基於各該特徵點組合對應的該斜率在該些特徵點組合中找出多個候選組合，其中各該候選組合的該斜率位於一預設範圍內；基於該些候選組合判定該些相機之間的至少一外部參數。
- 如請求項1所述的方法，其中該些相機包括一第一相機及一第二相機，且該第一相機及該第二相機形成一雙相機系統。
- 如請求項1所述的方法，其中該預設範圍係基於 該特定圖樣而定。
- 如請求項1所述的方法，其中該特徵點匹配演算法包括隨機抽樣一致性演算法。
- 如請求項1所述的方法，其中該特定圖樣包括一黑白棋盤格圖樣。
- 如請求項1所述的方法，其中該特徵點匹配演算法因應於該些影像而產生一匹配結果影像，其中該匹配結果影像包括該些特徵點組合及各該特徵點組合對應的連線。
- 如請求項1所述的方法，其中各該特徵點組合包括一特徵點對。
- 一種影像處理裝置，包括：一儲存電路，其儲存一程式碼；以及一處理器，其耦接該儲存電路並存取該程式碼以執行：取得多個相機分別對一特定圖樣拍攝的多個影像；透過對該些影像執行一特徵點匹配演算法以在該些影像中找出多個特徵點組合，其中該些相機包括一第一相機及一第二相機，該些影像包括由該第一相機對該特定圖樣拍攝的一第一影像及由該第二相機對該特定圖樣拍攝的一第二影像，該第一影像經判定有多個第一特徵點，該第二影像經判定有多個第二特徵點，且各該特徵點組合包括該些第一特徵點之一及該些第二特徵點之一；判定各該特徵點組合對應的斜率，其中該些特徵點組合包 括一第一特徵點組合，該第一特徵點組合包括該些第一特徵點中的一第一特定特徵點及該些第二特徵點中的一第二特定特徵點，且該第一特徵點組合對應的該斜率包括該第一特定特徵點及該第二特徵點之間的一連線的斜率；基於各該特徵點組合對應的該斜率在該些特徵點組合中找出多個候選組合，其中各該候選組合的該斜率位於一預設範圍內；基於該些候選組合判定該些相機之間的至少一外部參數。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111148214A TWI826185B (zh) | 2022-12-15 | 2022-12-15 | 外部參數判定方法及影像處理裝置 |
| US18/307,014 US20240203091A1 (en) | 2022-12-15 | 2023-04-26 | External parameter determination method and image processing device |
| EP23174152.1A EP4386675A1 (en) | 2022-12-15 | 2023-05-18 | External parameter determination method and image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111148214A TWI826185B (zh) | 2022-12-15 | 2022-12-15 | 外部參數判定方法及影像處理裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI826185B true TWI826185B (zh) | 2023-12-11 |
| TW202427376A TW202427376A (zh) | 2024-07-01 |
Family
ID=86425933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111148214A TWI826185B (zh) | 2022-12-15 | 2022-12-15 | 外部參數判定方法及影像處理裝置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240203091A1 (zh) |
| EP (1) | EP4386675A1 (zh) |
| TW (1) | TWI826185B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260788A (zh) * | 2020-01-14 | 2020-06-09 | 华南理工大学 | 一种基于双目视觉的配电柜开关状态识别方法 |
| CN112819735A (zh) * | 2020-12-31 | 2021-05-18 | 四川大学 | 一种显微系统的实时大尺度图像合成算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110070610B (zh) * | 2019-04-17 | 2023-04-18 | 精伦电子股份有限公司 | 特征点匹配方法、三维重构过程的特征点匹配方法及装置 |
-
2022
- 2022-12-15 TW TW111148214A patent/TWI826185B/zh active
-
2023
- 2023-04-26 US US18/307,014 patent/US20240203091A1/en active Pending
- 2023-05-18 EP EP23174152.1A patent/EP4386675A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260788A (zh) * | 2020-01-14 | 2020-06-09 | 华南理工大学 | 一种基于双目视觉的配电柜开关状态识别方法 |
| CN112819735A (zh) * | 2020-12-31 | 2021-05-18 | 四川大学 | 一种显微系统的实时大尺度图像合成算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240203091A1 (en) | 2024-06-20 |
| EP4386675A1 (en) | 2024-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160239974A1 (en) | Image generating device for generating depth map with phase detection pixel | |
| CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
| CN112489140B (zh) | 姿态测量方法 | |
| CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN112991459B (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
| JP6208419B2 (ja) | 算出装置、搬送ロボットシステム、及び算出方法 | |
| US20230351635A1 (en) | Optical axis calibration method and apparatus of optical axis detection system, terminal, system, and medium | |
| CN113240724B (zh) | 厚度检测方法及相关产品 | |
| TWI826185B (zh) | 外部參數判定方法及影像處理裝置 | |
| CN110189380B (zh) | 标定数据的优化方法、结构光模组及存储介质 | |
| CN111833441A (zh) | 一种基于多相机系统的人脸三维重建方法和装置 | |
| JP7318698B2 (ja) | 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
| CN116430069A (zh) | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 | |
| CN110706257A (zh) | 有效特征点对的识别方法、相机状态的确定方法及装置 | |
| US9621780B2 (en) | Method and system of curve fitting for common focus measures | |
| JP7475959B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
| CN118261986A (zh) | 外部参数判定方法及图像处理装置 | |
| JP6413811B2 (ja) | 円筒製品検査装置および円筒製品検査方法 | |
| CN111174706A (zh) | 地板安装检测方法、电子装置及存储介质 | |
| WO2023173972A1 (zh) | 一种相机内参标定的方法和装置 | |
| CN113034617B (zh) | 相机的焦距的获取方法及装置、设备 | |
| TWI845008B (zh) | 基於同質多核心架構的工件檢測方法及邊緣運算設備 | |
| KR102611481B1 (ko) | 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치 | |
| CN111652916B (zh) | 全景图像生成方法、设备及计算机存储介质 |