JP5992184B2 - 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム - Google Patents
画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム Download PDFInfo
- Publication number
- JP5992184B2 JP5992184B2 JP2012053645A JP2012053645A JP5992184B2 JP 5992184 B2 JP5992184 B2 JP 5992184B2 JP 2012053645 A JP2012053645 A JP 2012053645A JP 2012053645 A JP2012053645 A JP 2012053645A JP 5992184 B2 JP5992184 B2 JP 5992184B2
- Authority
- JP
- Japan
- Prior art keywords
- cameras
- camera
- image data
- data
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
(全体の構成)
図1には、移動体の一例である車両100が示されている。車両100は、例えば乗用車である。移動体は、車両に限定されず、動くものであれば、工事用車両や重機、航空機、船舶等であってもよい。図1において、図の上の方向が車両100の前方である。車両100は、画像データ処理装置200を備えている。車両100は、前方監視用カメラ101、速度検出用カメラ102、景観撮影用カメラ1(103)、景観撮影用カメラ2(104)、景観撮影用カメラ3(105)、加速度計106、傾斜計107、GPS装置108、レーザースキャナ109を備えている。これらの機器は、画像データ処理装置200に接続されている。
以下、画像データ処理装置200について説明する。図2には、画像データ処理装置200のブロック図が示されている。画像データ処理装置200は、CPU、メモリやハードディス装置等の記憶装置、各種のインターフェースを備えたコンピュータにより構成されており、以下に示す機能部を有している。なお、以下に示す機能部は、ソフトウェア的に構成されるものに限定されず、その少なくとも一部が専用のハードウェアにより構成されていてもよい。また、通常のコンピュータを用いて画像データ処理装置200を構成することも可能である。
以下、画像データ処理装置200の動作の一例を説明する。図3は、画像データ処理装置200において行われる処理の手順の一例を示すフローチャートである。図3のフローチャートを実行するためのプログラムは、画像データ処理装置200が備える適当なメモリ領域に格納され、画像データ処理装置200が備えるCPUによって読み取られて実行される。なお、図3のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから画像データ処理装置200に提供される形態も可能である。
(1)未知パラメータ(κ1,φ1,κ2,φ2,ω2)の初期近似値は通常0とする。
(2)数8の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数9により求め、観測方程式をたてる。
(3)最小二乗法をあてはめ、近似値に対する補正量を求める。
(4)近似値を補正する。
(5)補正された近似値を用いて、(1)〜(4)までの操作を収束するまで繰り返す。
以上述べた手法によれば、精度の異なる複数の撮影手段を用いて算出した撮影対象の特徴点の3次元座標の値と各撮影手段の外部標定要素とを各撮影手段の精度を反映させた形で統合して扱うことができる。この技術を用いると、複数のカメラを用いて、車両から見える周囲の景観等の画像の3次元データ化が全周カメラを用いずに可能となる。また、全周カメラでは取得が困難な車両周囲の景観の3次元データを得ることができる。
ステップS108において、カメラの撮影データ以外に由来する計測値を更に統合するデータに加えることもできる。以下、この一例を説明する。図1に示す構成では、車両100の加速度が加速度計106で計測され、傾斜が傾斜計107で計測され、位置がGPS装置108により計測される。例えば、傾斜計107の計測値は、外部標定要素の姿勢に係るデータとなる。よって傾斜計107が計測した車両100の傾斜データを数21に取り込むことができる。この際、傾斜計107およびGPS装置108の精度を考慮した重みを傾斜計107とGPS装置108に設定し、数21の該当する部分に測定値を取り込む。こうすることで、傾斜計107が計測した車両100の傾斜データを統合したデータに取り込むことができる。
ステップS108において、レーザースキャナ109が測定した測定対象物の3次元点群位置データを取り込むこともできる。この場合、レーザースキャナ109が測定した測定対象物の3次元点群位置データとその姿勢のデータが数21に取り込まれる。この際もレーザースキャナ109に係るデータに重み付けを行い、その精度を考慮した状態で数21への取り込みを行う。
この例では、ステレオペア画像を得る手段として、異なる2つの視点から2つの動画像を撮影するステレオカメラを用いる。なお、動画撮影が可能なステレオカメラが複数あるカメラの一部のカメラのみであってもよいし、複数ある全てのカメラであってもよい。また、2つのカメラを組みとして、ステレオペア画像を得る手段を構成してもよい。この例の場合、図2に示す構成は、図2に関連して説明した機能に加えて、ステレオペア画像を対象とした処理を行なう。なお、ステレオカメラを構成する左右のカメラの相対位置と姿勢の関係は、設定値として既知であるとする。
重み係数、つまり特定のカメラや計測装置の観測値の精度を他の機器の観測値から演算により推定することもできる。以下、その一例を説明する。ここでは、GPS装置と1台のカメラを考え、GPS装置の計測値を用いて、当該カメラの重みを推定する処理の一例を説明する。図9は、特定のカメラや計測装置の観測値の精度を他の機器の観測値から演算により推定する処理の一例を説明するフローチャートである。図9に示す処理は、図2の重み係数推定部209において実行される。図9のフローチャートを実行するためのプログラムは、画像データ処理装置200が備える適当なメモリ領域に格納され、画像データ処理装置200が備えるCPUによって読み取られて実行される。なお、図9のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから画像データ処理装置200に提供される形態も可能である。
外部から与えられる情報に基づいてカメラの位置(車両100の位置)を特定する手段として、GPS以外に(あるいはGPSに加えて)道路沿いや路面に設けられた光ビーコンや電波ビーコンの情報から位置情報を得る手段を利用することもできる。
Claims (6)
- 複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の3次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の3次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
を備え、
前記複数のカメラが車両に搭載されており、
前記画像データ受け付け部が受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理装置。 - 複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の3次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の3次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
を備え、
前記データの統合において、
前記複数のカメラが撮影した動画を構成するフレーム画像上における前記特徴点に対する線形化された共線条件式を立てるステップと、
前記線形化された共線条件式に各カメラに設定された前記重みを付けるステップと、
前記重みが付けられた前記共線条件式から前記平均値の算出を行うステップと
が行われることを特徴とする画像データ処理装置。 - 複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の3次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の3次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを前記複数のカメラのそれぞれに設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラそれぞれの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と、
前記複数のカメラの中の特定のカメラの重みを推定する重み推定部と
を備え、
前記重み推定部は、
前記特定のカメラに仮の精度を与えるステップと、
前記特定のカメラが撮影した画像に基づいて、前記仮の精度を反映した前記特定のカメラの位置の算出値の分布を第1の分布として求めるステップと、
計測精度が判明している位置計測手段に基づく、当該判明している計測精度を反映した前記特定のカメラの位置の算出値の分布を第2の分布として求めるステップと、
前記第1の分布と前記第2の分布の差が特定の条件を満たす場合の前記仮の精度に基づき、前記特定のカメラの重みを推定するステップと
を実行することを特徴とする画像データ処理装置。 - 前記データ統合部は、カメラ以外の計測装置から得られた前記複数のカメラが配置された土台となる部分の位置および姿勢の少なくとも一方のデータの統合も行うことを特徴とする請求項1〜3のいずれか一項に記載の画像データ処理装置。
- 複数のカメラからの画像データを受け付ける画像データ受け付けステップと、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の3次元座標を算出する特徴点算出ステップと、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出ステップと、
前記複数のカメラ毎に算出された前記特徴点の3次元座標および前記位置姿勢算出ステップにおいて算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換ステップと、
前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定ステップと、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合ステップと
を備え
前記複数のカメラが車両に搭載されており、
前記画像データ受け付けステップで受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
複数のカメラからの画像データを受け付ける画像データ受け付け部と、
前記複数のカメラのそれぞれから得られるステレオペア画像に基づき、撮影対象の特徴点の3次元座標を算出する特徴点算出部と、
前記複数のカメラの位置および姿勢を算出する位置姿勢算出部と、
前記複数のカメラ毎に算出された前記特徴点の3次元座標および前記位置姿勢算出部において算出された前記複数のカメラそれぞれの位置および姿勢を特定の統合座標上に座標変換する座標変換部と、
前記複数のカメラそれぞれの精度を反映した重みを設定する重み設定部と、
前記重みを反映させた状態で、前記座標変換された前記複数のカメラそれぞれに対応する前記特徴点のデータ、前記複数のカメラそれぞれの位置のデータおよび前記複数のカメラの姿勢のデータの少なくとも一つの平均値を算出することで、データの統合を行うデータ統合部と
して動作させ、
前記複数のカメラが車両に搭載されており、
前記画像データ受け付け部で受け付けた画像データに基づき、前記車両の位置および前記車両の速度の少なくとも一方の算出が行われることを特徴とする画像データ処理用のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012053645A JP5992184B2 (ja) | 2012-03-09 | 2012-03-09 | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012053645A JP5992184B2 (ja) | 2012-03-09 | 2012-03-09 | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013187862A JP2013187862A (ja) | 2013-09-19 |
JP5992184B2 true JP5992184B2 (ja) | 2016-09-14 |
Family
ID=49388906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012053645A Active JP5992184B2 (ja) | 2012-03-09 | 2012-03-09 | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5992184B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663376A (zh) * | 2014-08-04 | 2017-05-10 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
US11340071B2 (en) * | 2016-02-10 | 2022-05-24 | Clarion Co., Ltd. | Calibration system and calibration apparatus |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102207838B1 (ko) * | 2014-01-07 | 2021-01-26 | 한국전자통신연구원 | 하이브리드 센서를 이용한 착용형 디스플레이 장치의 자세 예측 장치 |
WO2015125301A1 (ja) * | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
RU2628035C1 (ru) * | 2014-02-24 | 2017-08-14 | Ниссан Мотор Ко., Лтд. | Устройство вычисления собственной позиции и способ вычисления собственной позиции |
WO2015125296A1 (ja) * | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
CN105993041B (zh) | 2014-02-24 | 2017-10-31 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
EP3113147B1 (en) * | 2014-02-24 | 2018-11-28 | Nissan Motor Co., Ltd | Self-location calculating device and self-location calculating method |
JP6187671B2 (ja) * | 2014-02-24 | 2017-08-30 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
JP6460700B2 (ja) * | 2014-09-26 | 2019-01-30 | 株式会社トプコン | トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム |
JP6467567B2 (ja) * | 2015-02-16 | 2019-02-13 | 国立研究開発法人防災科学技術研究所 | 地表変化解析システム |
JP6529345B2 (ja) * | 2015-06-04 | 2019-06-12 | 株式会社クリプトン | 画像合成装置及び画像合成方法 |
JP6477348B2 (ja) * | 2015-08-10 | 2019-03-06 | 日産自動車株式会社 | 自己位置推定装置及び自己位置推定方法 |
JP6029794B1 (ja) * | 2015-09-09 | 2016-11-24 | 三菱電機株式会社 | 航法装置および測量システム |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
JP6331114B2 (ja) * | 2016-03-30 | 2018-05-30 | パナソニックIpマネジメント株式会社 | 位置推定装置、位置推定方法及び制御プログラム |
US20210403015A1 (en) * | 2017-08-03 | 2021-12-30 | Koito Manufacturing Co., Ltd | Vehicle lighting system, vehicle system, and vehicle |
JP7143857B2 (ja) * | 2017-10-24 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
JP7036400B2 (ja) * | 2018-01-30 | 2022-03-15 | 株式会社豊田中央研究所 | 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム |
WO2020070857A1 (ja) * | 2018-10-04 | 2020-04-09 | 三菱電機株式会社 | 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム |
WO2020070856A1 (ja) * | 2018-10-04 | 2020-04-09 | 三菱電機株式会社 | 座標値統合装置、座標値統合システム、座標値統合方法、及び座標値統合プログラム |
JP7131487B2 (ja) | 2018-11-30 | 2022-09-06 | カシオ計算機株式会社 | 位置情報取得システム、位置情報取得装置、位置情報取得方法及びプログラム |
JP2021093037A (ja) * | 2019-12-11 | 2021-06-17 | 株式会社東芝 | 算出システム、算出方法、プログラム、及び記憶媒体 |
CN112561999B (zh) * | 2020-12-21 | 2022-08-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种贴框设备精准贴合方法及贴框设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006090957A (ja) * | 2004-09-27 | 2006-04-06 | Nissan Motor Co Ltd | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 |
JP2010273091A (ja) * | 2009-05-21 | 2010-12-02 | Nippon Telegr & Teleph Corp <Ntt> | 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム |
-
2012
- 2012-03-09 JP JP2012053645A patent/JP5992184B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663376A (zh) * | 2014-08-04 | 2017-05-10 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
CN106663376B (zh) * | 2014-08-04 | 2018-04-06 | 日产自动车株式会社 | 自身位置计算装置以及自身位置计算方法 |
US11340071B2 (en) * | 2016-02-10 | 2022-05-24 | Clarion Co., Ltd. | Calibration system and calibration apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2013187862A (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
CN108171733B (zh) | 使两个或更多个三维3d点云配准的方法 | |
CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP6484729B2 (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
WO2021026850A1 (zh) | 一种基于二维码的导航定姿定位方法和系统 | |
JP5027746B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP3833786B2 (ja) | 移動体の3次元自己位置認識装置 | |
WO2010001940A1 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
CN110411476B (zh) | 视觉惯性里程计标定适配及评价方法和系统 | |
US8059887B2 (en) | System and method for providing mobile range sensing | |
JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
JP6782903B2 (ja) | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム | |
CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知系统及感知方法 | |
JP2012118666A (ja) | 三次元地図自動生成装置 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
He et al. | Automated relative orientation of UAV-based imagery in the presence of prior information for the flight trajectory | |
CN113587934A (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
Tu et al. | Multi-camera-lidar auto-calibration by joint structure-from-motion | |
JP2010145219A (ja) | 運動推定装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5992184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |