JP7448484B2 - カメラ内部パラメータのオンライン評価 - Google Patents
カメラ内部パラメータのオンライン評価 Download PDFInfo
- Publication number
- JP7448484B2 JP7448484B2 JP2020559383A JP2020559383A JP7448484B2 JP 7448484 B2 JP7448484 B2 JP 7448484B2 JP 2020559383 A JP2020559383 A JP 2020559383A JP 2020559383 A JP2020559383 A JP 2020559383A JP 7448484 B2 JP7448484 B2 JP 7448484B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- original image
- control module
- points
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000009514 concussion Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000016626 Agrimonia eupatoria Nutrition 0.000 description 1
- 244000307697 Agrimonia eupatoria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/0026—Windows, e.g. windscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
カメラにより原画像を取得するステップと、
原画像におけるエッジ点を決定するステップと、
エッジ点をカメラレイに投影するステップであって、カメラレイは、半径1の単位球面を備え、現実における直線は、単位球面の表面上の円の一部として投影される、ステップと、
カメラレイにおけるエッジ点を通じて円を適合するステップと、
カメラレイにおける適合された円の内座層点を決定するステップであって、内座層点は、決定されたエッジ点の一部である、ステップと、
内座層点を原画像に投影するステップと、
原画像における内座層点を通じてコニック曲線を適合するステップと、
原画像におけるエッジ点とコニック曲線との間の誤差を決定するステップと、
決定された誤差を既定の閾値と比較し、閾値が超えられる場合、カメラの内部パラメータの較正を始動するステップ。
なお、本発明は、以下の態様も包含し得る:
1.車両(2)の周囲の画像データを取得するように構成された、車両(2)用のカメラシステム(1)であって、
カメラ(10)と、
制御モジュール(20)とを備え、
前記制御モジュール(20)は、前記画像データの逆投影、順投影、および/または再投影における誤差を決定することにより、ならびに前記誤差が既定の閾値を超えるかどうかを決定することにより、前記カメラシステム(1)の内部パラメータの較正が必要かどうかを決定するように構成されているカメラシステム(1)。
2.前記カメラ(10)が魚眼カメラであることを特徴とする上記1.に記載のカメラシステム(1)。
3.前記カメラ(10)は、原画像(30)を取得するように構成され、前記制御モジュール(20)は、前記原画像(30)におけるエッジ点(36)を決定するように構成されていることを特徴とする上記1.および2.に記載のカメラシステム(1)。
4.前記制御モジュール(20)は、前記エッジ点(36)を有する前記原画像(30)をカメラレイ(40)に投影するように構成され、前記カメラレイ(40)は、半径1の単位球面(45)を備え、現実における直線(35)は、前記単位球面(45)の表面上の円の一部として表され、
前記制御モジュール(20)は、さらに、前記カメラレイ(40)における前記エッジ点(36)を通じて円を適合させるように構成されていることを特徴とする上記3.に記載のカメラシステム(1)。
5.前記制御モジュール(20)は、前記カメラレイ(40)における前記適合された円の内座層点(36a)を決定するように構成され、
前記内座層点(36a)は、前記決定されたエッジ点(36)の一部であることを特徴とする、上記4.に記載のカメラシステム(1)。
6.前記制御モジュール(20)は、前記原画像における前記内座層点(36a)を通じてコニック曲線(38)を適合させるように構成されていることを特徴とする、上記5.に記載のカメラシステム(1)。
7.前記制御モジュール(20)は、コニック適合アルゴリズムを用いて、前記原画像(30)における前記内座層点(36a)を通じて前記コニック曲線(38)を適合させるように構成されていることを特徴とする上記6.に記載のカメラシステム(1)。
8.前記制御モジュール(20)は、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の前記誤差を決定するように構成されていることを特徴とする上記6.および7.に記載のカメラシステム(1)。
9.前記制御モジュール(20)は、二乗平均平方根法により、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の前記誤差を決定するように構成されていることを特徴とする上記8.に記載のカメラシステム(1)。
10.前記制御モジュール(20)は、前記既定の閾値が超えられる場合、前記内部パラメータの較正を始動するように構成されていることを特徴とする上記1.~9.のいずれか1つに記載のカメラシステム(1)。
11.上記1.~10.のいずれか1つに記載のカメラシステム(1)を備える車両(2)。
12.カメラの内部パラメータを評価するための方法であって、
カメラにより原画像を取得するステップ(S1)と、
前記原画像におけるエッジ点を決定するステップ(S2)と、
前記エッジ点をカメラレイに投影するステップ(S3)であって、前記カメラレイは、半径1の単位球面を備え、現実における直線は、前記単位球面の表面上の円の一部として投影されるステップと、
前記カメラレイにおける前記エッジ点を通じて円を適合するステップ(S4)と、
前記カメラレイにおける前記適合された円の内座層点を決定するステップ(S5)であって、前記内座層点は、前記決定されたエッジ点の一部であるステップと、
前記内座層点を前記原画像に投影するステップ(S6)と、
前記原画像における前記内座層点を通じてコニック曲線を適合するステップ(S7)と、
前記原画像における前記エッジ点と前記コニック曲線との間の誤差を決定するステップ(S8)と、
前記決定された誤差を既定の閾値と比較し、前記閾値が超えられる場合、前記カメラの前記内部パラメータの較正を始動するステップ(S9)とを含む当該方法。
13.プロセッサにより実行されると上記12.に記載の方法を行うように構成されている、上記1.~10.のいずれか1つに記載のカメラシステムおよび/または上記11.に記載の車両用のコンピュータプログラム要素。
14.上記13.に記載のコンピュータプログラム要素を格納したコンピュータ可読媒体。
Claims (8)
- 車両(2)の周囲の画像データを取得するように構成された、車両(2)用のカメラシステム(1)であって、
カメラ(10)と、
制御モジュール(20)とを備え、
前記カメラ(10)は、原画像(30)を取得するように構成され、
前記制御モジュール(20)は、前記原画像(30)におけるエッジ点(36)を決定するように構成されており、
前記制御モジュール(20)は、前記エッジ点(36)を有する前記原画像(30)をカメラレイ(40)に投影するように構成され、前記カメラレイ(40)は、半径1の単位球面(45)を備え、現実における直線(35)は、前記単位球面(45)の表面上の円の一部として表され、
前記制御モジュール(20)は、さらに、前記カメラレイ(40)における前記エッジ点(36)を通じて円を適合させるように構成されており、
前記制御モジュール(20)は、前記カメラレイ(40)における前記適合された円の内座層点(36a)を決定するように構成され、
前記内座層点(36a)は、前記決定されたエッジ点(36)の一部であり、
前記制御モジュール(20)は、前記原画像(30)における前記内座層点(36a)を通じてコニック曲線(38)を適合させるように構成されており、
前記制御モジュール(20)は、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の誤差を決定するように構成されており、
前記制御モジュール(20)は、前記誤差が既定の閾値を超える場合に、前記カメラ(10)の内部パラメータの較正を始動するように構成されているカメラシステム(1)。 - 前記カメラ(10)が魚眼カメラであることを特徴とする請求項1に記載のカメラシステム(1)。
- 前記制御モジュール(20)は、コニック適合アルゴリズムを用いて、前記原画像(30)における前記内座層点(36a)を通じて前記コニック曲線(38)を適合させるように構成されていることを特徴とする請求項1又は2に記載のカメラシステム(1)。
- 前記制御モジュール(20)は、二乗平均平方根法により、前記原画像(30)における前記エッジ点(36)と前記適合されたコニック曲線(38)との間の前記誤差を決定するように構成されていることを特徴とする請求項1~3のいずれか1項に記載のカメラシステム(1)。
- 請求項1~4のいずれか1項に記載のカメラシステム(1)を備える車両(2)。
- カメラの内部パラメータを評価するための方法であって、
カメラにより原画像を取得するステップ(S1)と、
前記原画像におけるエッジ点を決定するステップ(S2)と、
前記エッジ点をカメラレイに投影するステップ(S3)であって、前記カメラレイは、半径1の単位球面を備え、現実における直線は、前記単位球面の表面上の円の一部として投影されるステップと、
前記カメラレイにおける前記エッジ点を通じて円を適合するステップ(S4)と、
前記カメラレイにおける前記適合された円の内座層点を決定するステップ(S5)であって、前記内座層点は、前記決定されたエッジ点の一部であるステップと、
前記内座層点を前記原画像に投影するステップ(S6)と、
前記原画像における前記内座層点を通じてコニック曲線を適合するステップ(S7)と、
前記原画像における前記エッジ点と前記コニック曲線との間の誤差を決定するステップ(S8)と、
前記決定された誤差を既定の閾値と比較し、前記閾値が超えられる場合、前記カメラの前記内部パラメータの較正を始動するステップ(S9)とを含む当該方法。 - プロセッサにより実行されると請求項6に記載の方法を行うように構成されている、請求項1~4のいずれか1項に記載のカメラシステムまたは請求項5に記載の車両用のコンピュータプログラム。
- 請求項7に記載のコンピュータプログラムを格納したコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18169389.6 | 2018-04-26 | ||
EP18169389.6A EP3561773B1 (en) | 2018-04-26 | 2018-04-26 | Online evaluation for camera intrinsic parameters |
PCT/EP2019/059690 WO2019206723A1 (en) | 2018-04-26 | 2019-04-15 | Online evaluation for camera intrinsic parameters |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021522719A JP2021522719A (ja) | 2021-08-30 |
JP7448484B2 true JP7448484B2 (ja) | 2024-03-12 |
Family
ID=62067424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020559383A Active JP7448484B2 (ja) | 2018-04-26 | 2019-04-15 | カメラ内部パラメータのオンライン評価 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11562503B2 (ja) |
EP (1) | EP3561773B1 (ja) |
JP (1) | JP7448484B2 (ja) |
KR (1) | KR20210005605A (ja) |
WO (1) | WO2019206723A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11600023B2 (en) * | 2020-08-31 | 2023-03-07 | Gopro, Inc. | Optical center calibration |
CN112669199B (zh) * | 2020-12-16 | 2022-06-21 | 影石创新科技股份有限公司 | 图像拼接方法、计算机可读存储介质及计算机设备 |
CN114445266B (zh) * | 2022-01-08 | 2023-06-23 | 桂林理工大学 | 鱼眼图像特征点伪邻域提取方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016001181A (ja) | 2009-12-24 | 2016-01-07 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100386090B1 (ko) * | 2001-04-02 | 2003-06-02 | 한국과학기술원 | 동심원 패턴을 이용한 카메라 내부변수 보정시스템 및카메라 보정방법 |
DE102005061952B4 (de) * | 2005-12-23 | 2008-09-11 | Metaio Gmbh | Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System |
DE102007049821A1 (de) * | 2007-10-16 | 2009-04-23 | Daimler Ag | Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit |
EP2523163B1 (en) * | 2011-05-10 | 2019-10-16 | Harman Becker Automotive Systems GmbH | Method and program for calibrating a multicamera system |
CN103827917B (zh) * | 2011-07-25 | 2017-06-09 | 科英布拉大学 | 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置 |
JP5728372B2 (ja) * | 2011-11-30 | 2015-06-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
US10083376B2 (en) * | 2015-10-19 | 2018-09-25 | Honeywell International Inc. | Human presence detection in a home surveillance system |
US9959625B2 (en) * | 2015-12-29 | 2018-05-01 | The United States Of America As Represented By The Secretary Of The Air Force | Method for fast camera pose refinement for wide area motion imagery |
GB2552648B (en) * | 2016-07-22 | 2020-09-16 | Imperial College Sci Tech & Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
US10504244B2 (en) * | 2017-09-28 | 2019-12-10 | Baidu Usa Llc | Systems and methods to improve camera intrinsic parameter calibration |
US11288412B2 (en) * | 2018-04-18 | 2022-03-29 | The Board Of Trustees Of The University Of Illinois | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays |
CN109816733B (zh) * | 2019-01-14 | 2023-08-18 | 京东方科技集团股份有限公司 | 相机参数初始化方法及装置、相机参数标定方法及设备、图像采集系统 |
-
2018
- 2018-04-26 EP EP18169389.6A patent/EP3561773B1/en active Active
-
2019
- 2019-04-15 US US17/050,532 patent/US11562503B2/en active Active
- 2019-04-15 KR KR1020207030711A patent/KR20210005605A/ko not_active Application Discontinuation
- 2019-04-15 WO PCT/EP2019/059690 patent/WO2019206723A1/en active Application Filing
- 2019-04-15 JP JP2020559383A patent/JP7448484B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016001181A (ja) | 2009-12-24 | 2016-01-07 | コグネックス・コーポレイション | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 |
Non-Patent Citations (1)
Title |
---|
Xianghua YING et al.,"Fisheye Lenses Calibration Using Straight-Line Spherical Perspective Projection Constraint",Computer Vision - ACCV 2006,2006年,p.61-70,DOI: 10.1007/11612704_7 |
Also Published As
Publication number | Publication date |
---|---|
EP3561773A1 (en) | 2019-10-30 |
US20210233274A1 (en) | 2021-07-29 |
JP2021522719A (ja) | 2021-08-30 |
WO2019206723A1 (en) | 2019-10-31 |
EP3561773B1 (en) | 2022-03-02 |
KR20210005605A (ko) | 2021-01-14 |
US11562503B2 (en) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7448484B2 (ja) | カメラ内部パラメータのオンライン評価 | |
JP7045816B2 (ja) | 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム | |
JP2020064046A (ja) | 車両位置決定方法及び車両位置決定装置 | |
WO2016056197A1 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
US20140085409A1 (en) | Wide fov camera image calibration and de-warping | |
JP6571424B2 (ja) | 故障診断装置 | |
US20150317535A1 (en) | Method and device for image-based visibility range estimation | |
CN106183979A (zh) | 一种根据车距对车辆进行提醒的方法和装置 | |
CN110705359A (zh) | 一种车位检测方法 | |
CN112504996A (zh) | 光学表面劣化检测和补救 | |
CN109345591B (zh) | 一种车辆自身姿态检测方法和装置 | |
US20140160005A1 (en) | Apparatus and method for controlling gaze tracking | |
WO2011158306A1 (ja) | 路面反射率分類のためのシステム | |
KR20200071105A (ko) | 자동차 상에 존재하는 적어도 하나의 오브젝트를 검출하기 위한 방법, 제어 장치 및 자동차 | |
CN110991264A (zh) | 前方车辆检测方法和装置 | |
KR101276073B1 (ko) | 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법 | |
CN110827337B (zh) | 确定车载相机的姿态的方法、装置和电子设备 | |
KR101484170B1 (ko) | Hud 영상 평가시스템 및 그 평가방법 | |
CN111626078A (zh) | 识别车道线的方法及装置 | |
JP4462533B2 (ja) | 路面走行レーン検出装置 | |
WO2020246202A1 (ja) | 計測システム、計測方法、及び計測プログラム | |
CN118004035B (zh) | 一种基于车载投影仪的辅助驾驶方法、装置及电子设备 | |
KR102565603B1 (ko) | 긴급 제동 시스템의 성능평가 장치 및 방법 | |
CN112183413B (zh) | 一种车位检测方法、装置、存储介质及车辆 | |
US11792356B2 (en) | Validation of infrared (IR) camera distortion accuracy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7448484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |