JP6738293B2 - カメラキャリブレーション方法、プログラムおよび装置 - Google Patents
カメラキャリブレーション方法、プログラムおよび装置 Download PDFInfo
- Publication number
- JP6738293B2 JP6738293B2 JP2017031987A JP2017031987A JP6738293B2 JP 6738293 B2 JP6738293 B2 JP 6738293B2 JP 2017031987 A JP2017031987 A JP 2017031987A JP 2017031987 A JP2017031987 A JP 2017031987A JP 6738293 B2 JP6738293 B2 JP 6738293B2
- Authority
- JP
- Japan
- Prior art keywords
- intersection
- camera
- feature vector
- model
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 239000013598 vector Substances 0.000 claims description 152
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 5
- 101100459261 Cyprinus carpio mycb gene Proteins 0.000 description 5
- 238000007476 Maximum Likelihood Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 101150052583 CALM1 gene Proteins 0.000 description 1
- 101150114882 CALM2 gene Proteins 0.000 description 1
- 101150005623 MSB2 gene Proteins 0.000 description 1
- 101100449986 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MSB3 gene Proteins 0.000 description 1
- 101100024333 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MSB4 gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
図14は、前記ホモグラフィ行列評価部110によるホモグラフィ行列の評価方法を示した図である。
また、上記のようにして計算された最尤のホモグラフィ行列は、図16に示したように、互いに遠く離れた2つのカメラcam1,cam2を較正するためにも使用することができる。通常、2つのカメラ間の較正は、特徴点の検出およびマッチングを使用することで実現される。しかしながら、2つのカメラcam1,cam2間のベースラインが大きいと較正精度が低くなり、あるいは較正できない場合もある。
Claims (12)
- フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う装置において、
カメラ画像からフィールドラインを抽出する手段と、
フィールドラインの交点を計算する手段と、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成する手段と、
各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成する手段と、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成する手段と、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成する手段と、
前記カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとを比較して類似度の高い上位Nベストのモデル交点特徴ベクトルVmを抽出する手段と、
前記類似度の高い上位Nベストのモデル交点特徴ベクトルVmとカメラ交点特徴ベクトルVcとの対応関係に基づいてN個の対応点セットを設定する手段と、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価する手段とを具備し、
前記評価する手段は、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求める手段と、
前記各対応する線分の交点をカメラポイントとして登録する手段と、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算する手段とを具備し、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーション装置。 - 前記モデル交点特徴ベクトルVmを生成する手段は、カメラ画像の各交点を計算する各フィールドラインに対応するフィールドモデル上の各フィールドラインの組み合わせ候補ごとに計算されるモデル交点特徴ベクトル要素に基づいてモデル交点特徴ベクトルVmを生成することを特徴とする請求項1に記載のカメラキャリブレーション装置。
- 前記各特徴ベクトル要素が、各交点から延びるフィールドラインの向きの数をビット長とするバイナリデータであり、各方向に延びるフィールドラインが抽出されたか否かに応じて各ビット値が2値のいずれかに設定されることを特徴とする請求項1または2に記載のカメラキャリブレーション装置。
- 前記各特徴ベクトル要素が4ビットのバイナリデータであり、各ビット位置には各交点から延びる相互に直行する4方向のそれぞれが対応付けられたことを特徴とする請求項3に記載のカメラキャリブレーション装置。
- 前記カメラ交点特徴ベクトル要素を生成する手段は、カメラ画像上で各交点から各方向に所定範囲内でフィールドライン画素の探索を繰り返して発見数を積算し、積算値が所定の閾値を超えると当該方向にフィールドラインが延びている判別することを特徴とする請求項3または4に記載のカメラキャリブレーション装置。
- 前記カメラ交点特徴ベクトル要素を生成する手段は、フィールドライン画素の発見率の少ない向きの探索を途中で中断することを特徴とする請求項5に記載のカメラキャリブレーション装置。
- 前記フィールドラインを抽出する手段が、抽出された各フィールドラインを垂直フィールドラインおよび水平フィールドラインのいずれかに分類する手段を具備し、
前記交点を計算する手段は、各垂直フィールドラインと各水平フィールドラインとの交点を計算することを特徴とする請求項1ないし6のいずれかに記載のカメラキャリブレーション装置。 - 前記カメラ交点特徴ベクトルVcを生成する手段は、各交点のカメラ交点特徴ベクトル要素を当該各交点がラスタスキャンされる順序で配列してカメラ交点特徴ベクトルVcとすることを特徴とする請求項1ないし7のいずれかに記載のカメラキャリブレーション装置。
- 前記モデル交点特徴ベクトルVmを抽出する手段は、前記カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとのハミング距離Dを求め、当該ハミング距離Dが最小となるモデル交点特徴ベクトルVmを抽出することを特徴とする請求項1ないし8のいずれかに記載のカメラキャリブレーション装置。
- 前記モデル交点特徴ベクトルVmを抽出する手段は、カメラ画像から抽出されたフィールドラインの交点にカメラ画像上で見えない交点が含まれていると、前記カメラ交点特徴ベクトルVcの当該見えない交点の特徴ベクトル要素の部分に、比較するモデル交点特徴ベクトルVmの対応する交点の特徴ベクトル要素をコピーすることを特徴とする請求項1ないし9のいずれかに記載のカメラキャリブレーション装置。
- フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う方法において、
カメラ画像からフィールドラインを抽出し、
フィールドラインの交点を計算し、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成し、
前記各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成し、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成し、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成し、
前記カメラ交点特徴ベクトルVcとの類似度の高い上位Nベストのモデル交点特徴ベクトルVmと当該カメラ交点特徴ベクトルVcとの対応関係に基づいてN個の対応点セットを設定し、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価し、
前記評価では、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求め、
前記各対応する線分の交点をカメラポイントとして登録し、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算し、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーション方法。 - フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う方法において、
カメラ画像からフィールドラインを抽出する手順と、
フィールドラインの交点を計算する手順と、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成する手順と、
前記各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成する手順と、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成する手順と、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成する手順と、
前記カメラ交点特徴ベクトルVcとの類似度の高い上位Nベストのモデル交点特徴ベクトルVmと当該カメラ交点特徴ベクトルVcとの対応関係に基づいてN個の対応点セットを設定する手順と、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価する手順とをコンピュータに実行させ、
前記評価する手順が、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求める手順と、
前記各対応する線分の交点をカメラポイントとして登録する手順と、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算する手順とを含み、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーションプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031987A JP6738293B2 (ja) | 2017-02-23 | 2017-02-23 | カメラキャリブレーション方法、プログラムおよび装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017031987A JP6738293B2 (ja) | 2017-02-23 | 2017-02-23 | カメラキャリブレーション方法、プログラムおよび装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018137667A JP2018137667A (ja) | 2018-08-30 |
JP6738293B2 true JP6738293B2 (ja) | 2020-08-12 |
Family
ID=63365851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017031987A Expired - Fee Related JP6738293B2 (ja) | 2017-02-23 | 2017-02-23 | カメラキャリブレーション方法、プログラムおよび装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6738293B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7198233B2 (ja) * | 2020-01-29 | 2022-12-28 | Kddi株式会社 | 交点検出方法および装置ならびにカメラキャリブレーション装置 |
CN111380502B (zh) * | 2020-03-13 | 2022-05-24 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
CN114399555B (zh) * | 2021-12-20 | 2022-11-11 | 禾多科技(北京)有限公司 | 数据在线标定方法、装置、电子设备和计算机可读介质 |
-
2017
- 2017-02-23 JP JP2017031987A patent/JP6738293B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018137667A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11922615B2 (en) | Information processing device, information processing method, and storage medium | |
CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
CN108292362B (zh) | 用于光标控制的手势识别 | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
US8693785B2 (en) | Image matching devices and image matching methods thereof | |
CN114119751A (zh) | 用于大规模确定rgbd相机姿势的方法和系统 | |
US9367920B2 (en) | Method and apparatus for processing images | |
KR101917354B1 (ko) | 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법 | |
JP6738293B2 (ja) | カメラキャリブレーション方法、プログラムおよび装置 | |
JP4946878B2 (ja) | 画像識別装置及びプログラム | |
EP3410396B1 (en) | Moving object tracking apparatus, moving object tracking method, and computer-readable medium | |
US8164633B2 (en) | Calibration apparatus and method for imaging devices and computer program | |
CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
CN114627173A (zh) | 通过差分神经渲染进行对象检测的数据增强 | |
TW202004528A (zh) | 商品特定裝置、記錄媒體及學習方法 | |
KR102223754B1 (ko) | 객체 이미지 개선 방법 및 장치 | |
US20230410561A1 (en) | Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object | |
KR101601660B1 (ko) | 깊이 영상을 이용한 손 영역 분류 방법 및 그 장치 | |
JP7201211B2 (ja) | 物体検出方法及び物体検出装置 | |
JP6717769B2 (ja) | 情報処理装置及びプログラム | |
JP2018097707A (ja) | 情報処理装置、文字認識方法、コンピュータプログラム、及び記憶媒体 | |
KR101357581B1 (ko) | 깊이 정보 기반 사람의 피부 영역 검출 방법 | |
CN109977740B (zh) | 一种基于深度图的手部跟踪方法 | |
JP7211495B2 (ja) | 教師データ生成装置 | |
JP7211496B2 (ja) | 教師データ生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191030 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200507 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6738293 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |