JP4307283B2 - ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 - Google Patents
ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 Download PDFInfo
- Publication number
- JP4307283B2 JP4307283B2 JP2004039472A JP2004039472A JP4307283B2 JP 4307283 B2 JP4307283 B2 JP 4307283B2 JP 2004039472 A JP2004039472 A JP 2004039472A JP 2004039472 A JP2004039472 A JP 2004039472A JP 4307283 B2 JP4307283 B2 JP 4307283B2
- Authority
- JP
- Japan
- Prior art keywords
- stereo
- projected
- person
- images
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
依田育士、他1名、「ユビキタスステレオビジョンによる実時間実環境ヒューマンセンシング」、画像センシングシンポジウム、F−19、p.397−402、2003年6月
第1および第2のステレオカメラと、
第1および第2のステレオカメラが撮像した第1および第2のステレオ画像に基づいて、ステレオ視の原理により、第1および第2のステレオ画像内に捉えられた人物の第1および第2の三次元位置をそれぞれ算出する三次元位置算出部と、
三次元位置算出部により算出した第1および第2の三次元位置に基づいて、第1および第2のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第1および第2の投影人物領域を含む第1および第2の画像をそれぞれ作成する投影人物領域算出部と、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数の場合、第1および第2の投影人物領域の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正部と、
を備えることを特徴とする。
第1の画像に含まれる第1の投影人物領域に関する隠蔽領域および第2の画像に含まれる第2の投影人物領域に関する隠蔽領域を算出する隠蔽領域算出部をさらに備え、
キャリブレーション補正部は、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当であると判断されれば、第1および第2の投影人物領域群の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行い、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当でないと判断されれば、第1および第2の投影人物領域群の相対位置関係とともに隠蔽領域に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行う。
ここで、隠蔽領域とは、第1および第2のステレオカメラにとって人物により遮蔽されるために死角となる空間に相関する、第1および第2の画像上における領域である。
第1と第2のステレオカメラ間のキャリブレーション方法において、
第1および第2のステレオカメラが撮像した第1および第2のステレオ画像に基づいて、ステレオ視の原理により、第1および第2のステレオ画像内に捉えられた人物の第1および第2の三次元位置をそれぞれ算出する三次元位置算出工程と、
三次元位置工程で算出した第1および第2の三次元位置に基づいて、第1および第2のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第1および第2の投影人物領域を含む第1および第2の画像をそれぞれ作成する投影人物領域算出工程と、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数の場合、第1および第2の投影人物領域の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正工程と、
を含むことを特徴とする。
第1の画像に含まれる第1の投影人物領域に関する隠蔽領域および第2の画像に含まれる第2の投影人物領域に関する隠蔽領域を算出する隠蔽領域算出工程をさらに含み、
キャリブレーション補正工程は、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当であると判断されれば、第1および第2の投影人物領域群の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行い、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当でないと判断されれば、第1および第2の投影人物領域群の相対位置関係とともに隠蔽領域に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行う。
図1は、本発明に係る実施の形態1のキャリブレーション方法を行う本発明に係るステレオカメラシステム(以下、単にカメラシステムという。)を示す概略構成図である。このカメラシステム2は、概略、所定の範囲を視野内に捉える第1および第2のステレオカメラ6(6A,6B)と、観察場所で各ステレオカメラ6が捉えた人物Pの三次元位置の計測などを行うホストコンピュータ8とを備える。各ステレオカメラ6は一対のカメラ(左右カメラ)を備えている。本願では、左右カメラ同士のキャリブレーションは正確に行われているものとする。
本実施形態に係るキャリブレーション方法は、上記実施形態と同様図1,2に示すカメラシステム2に適用されるが、各ステレオカメラ6A,6Bがともに二人を観察したとき(すなわち第1および第2の2値化画像に投影人物領域がそれぞれ2つ含まれる場合)にキャリブレーションの補正を行うものである。図6の例は、ステレオカメラ6Aに対応する投影人物領域群(PA1,PA2)を含む2値化画像40A、ステレオカメラ6Bに対応する投影人物領域群(PB1,PB2)を含む2値化画像40Bを示す。
6A,6B ステレオカメラ
30A,30B 2値化画像
40A,40B 2値化画像
PA,PB 投影人物領域
OA,OB 隠蔽領域
PA1,PA2,PB1,PB2 投影人物領域
OA1,OA2,OB1,OB2 隠蔽領域
Claims (6)
- 第1および第2のステレオカメラと、
第1および第2のステレオカメラが撮像した第1および第2のステレオ画像に基づいて、ステレオ視の原理により、第1および第2のステレオ画像内に捉えられた人物の第1および第2の三次元位置をそれぞれ算出する三次元位置算出部と、
三次元位置算出部により算出した第1および第2の三次元位置に基づいて、第1および第2のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第1および第2の投影人物領域を含む第1および第2の画像をそれぞれ作成する投影人物領域算出部と、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数の場合、第1および第2の投影人物領域の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正部と、
を備えたステレオカメラシステム。 - 第1の画像に含まれる第1の投影人物領域に関する隠蔽領域および第2の画像に含まれる第2の投影人物領域に関する隠蔽領域を算出する隠蔽領域算出部をさらに備え、
キャリブレーション補正部は、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当であると判断されれば、第1および第2の投影人物領域群の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行い、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当でないと判断されれば、第1および第2の投影人物領域群の相対位置関係とともに隠蔽領域に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項1のステレオカメラシステム。 - 第1および第2のステレオ画像は時系列ステレオ画像であり、
ステレオカメラシステムは、時系列ステレオ画像に基づいて、所定時刻の第1および第2の投影人物領域群を算出するとともに、該所定時刻直前の第1および第2の投影人物領域群の動きの履歴を算出し、
キャリブレーション補正部は、
上記所定時刻の第1および第2の投影人物領域群の相対位置関係とともに上記所定時刻の直前の第1および第2の投影人物領域群の動きの履歴に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当であると判断されれば、上記所定時刻の第1および第2の投影人物領域群の相対位置関係とともに上記所定時刻の直前の第1および第2の投影人物領域群の動きの履歴に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行い、
上記所定時刻の第1および第2の投影人物領域群の相対位置関係とともに上記所定時刻の直前の第1および第2の投影人物領域群の動きの履歴に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当でないと判断されれば、上記所定時刻の第1および第2の投影人物領域群の相対位置関係および隠蔽領域とともに上記所定時刻の直前の第1および第2の投影人物領域群の動きの履歴に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項2のステレオカメラシステム。 - 第1および第2のステレオ画像は時系列ステレオ画像であり、
第1および第2の画像に投影人物領域が一つずつ含まれる場合、
ステレオカメラシステムは、時系列ステレオ画像に基づいて、所定時刻の第1および第2の投影人物領域を算出するとともに、該所定時刻直前の第1および第2の投影人物領域の動きの履歴を算出し、
キャリブレーション補正部は、
所定時刻の第1および第2の投影人物領域の位置がずれている場合、上記算出された動きの履歴が一致若しくは近ければ、第1および第2の投影人物領域の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項1のステレオカメラシステム。 - 第1と第2のステレオカメラ間のキャリブレーション方法において、
第1および第2のステレオカメラが撮像した第1および第2のステレオ画像に基づいて、ステレオ視の原理により、第1および第2のステレオ画像内に捉えられた人物の第1および第2の三次元位置をそれぞれ算出する三次元位置算出工程と、
三次元位置工程で算出した第1および第2の三次元位置に基づいて、第1および第2のステレオ画像内に捉えられた人物を二次元平面に投影した投影像に相関する第1および第2の投影人物領域を含む第1および第2の画像をそれぞれ作成する投影人物領域算出工程と、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数の場合、第1および第2の投影人物領域の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うキャリブレーション補正工程と、
を含むキャリブレーション方法。 - 第1の画像に含まれる第1の投影人物領域に関する隠蔽領域および第2の画像に含まれる第2の投影人物領域に関する隠蔽領域を算出する隠蔽領域算出工程をさらに含み、
キャリブレーション補正工程は、
第1および第2の画像にそれぞれ含まれる投影人物領域が同数二つ以上の場合、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当であると判断されれば、第1および第2の投影人物領域群の相対位置関係に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行い、
第1および第2の画像にそれぞれ含まれる第1および第2の投影人物領域群の相対位置関係に基づいて第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことが妥当でないと判断されれば、第1および第2の投影人物領域群の相対位置関係とともに隠蔽領域に基づいて、第1および第2のステレオカメラ同士のキャリブレーションの補正を行うことを特徴とする請求項5のキャリブレーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004039472A JP4307283B2 (ja) | 2004-02-17 | 2004-02-17 | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004039472A JP4307283B2 (ja) | 2004-02-17 | 2004-02-17 | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005233639A JP2005233639A (ja) | 2005-09-02 |
JP4307283B2 true JP4307283B2 (ja) | 2009-08-05 |
Family
ID=35016775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004039472A Expired - Fee Related JP4307283B2 (ja) | 2004-02-17 | 2004-02-17 | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4307283B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5285619B2 (ja) * | 2006-12-18 | 2013-09-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カメラシステムのキャリブレーション |
JP2009014481A (ja) * | 2007-07-04 | 2009-01-22 | Ihi Corp | 距離計測装置とそのキャリブレーション方法 |
JP4894771B2 (ja) * | 2008-01-31 | 2012-03-14 | コニカミノルタホールディングス株式会社 | 校正装置及び校正方法 |
DE102009031650B4 (de) * | 2009-07-03 | 2024-05-29 | Volkswagen Ag | Verfahren zur Erweiterung eines Kamerasystems, Kamerasystem, Fahrerassistenzsysem und entsprechendes Fahrzeug |
US11699247B2 (en) | 2009-12-24 | 2023-07-11 | Cognex Corporation | System and method for runtime determination of camera miscalibration |
JP6013756B2 (ja) * | 2012-04-12 | 2016-10-25 | 株式会社日立情報通信エンジニアリング | シミュレータ |
JP6091977B2 (ja) * | 2013-04-22 | 2017-03-08 | 日立建機株式会社 | 建設機械 |
KR101653281B1 (ko) * | 2015-01-22 | 2016-09-01 | 한국과학기술연구원 | 설정 가능한 센서네트워크에서의 사용자 위치 추정 장치 및 방법 |
JP7016058B2 (ja) * | 2017-04-28 | 2022-02-04 | パナソニックIpマネジメント株式会社 | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 |
JP2019041261A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社 日立産業制御ソリューションズ | 画像処理システムおよび画像処理システムの設定方法 |
JP7508350B2 (ja) | 2020-12-04 | 2024-07-01 | 株式会社日立製作所 | キャリブレーション装置およびキャリブレーション方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10336701A (ja) * | 1997-05-28 | 1998-12-18 | Sony Corp | キャリブレーション方法及び装置 |
JP2000172878A (ja) * | 1998-12-09 | 2000-06-23 | Sony Corp | 情報処理装置および情報処理方法、並びに提供媒体 |
JP3411889B2 (ja) * | 2000-06-27 | 2003-06-03 | 株式会社国際電気通信基礎技術研究所 | カメラの自動校正方法 |
JP2003279315A (ja) * | 2002-01-16 | 2003-10-02 | Advanced Telecommunication Research Institute International | カメラの自動校正方法 |
-
2004
- 2004-02-17 JP JP2004039472A patent/JP4307283B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005233639A (ja) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
JP6816058B2 (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
EP3093824A1 (en) | Image processing system for use with a patient positioning device | |
US20120002057A1 (en) | Camera calibration apparatus | |
JP5084374B2 (ja) | 位置計測装置及び位置計測方法 | |
KR100816589B1 (ko) | 화상 처리 장치 | |
JP6516558B2 (ja) | 位置情報処理方法 | |
JP4307283B2 (ja) | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 | |
JP2007327938A (ja) | 画像処理装置及びその処理方法 | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP5184830B2 (ja) | 位置計測装置及び位置計測方法 | |
JP4874693B2 (ja) | 画像処理装置及びその処理方法 | |
JP5027758B2 (ja) | 画像監視装置 | |
US20020150288A1 (en) | Method for processing image data and modeling device | |
JP5687035B2 (ja) | 人物追跡装置 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP5552069B2 (ja) | 移動物体追跡装置 | |
KR20140114594A (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
JP4764896B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090428 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |