JP6344903B2 - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents
画像処理装置およびその制御方法、撮像装置、プログラム Download PDFInfo
- Publication number
- JP6344903B2 JP6344903B2 JP2013238881A JP2013238881A JP6344903B2 JP 6344903 B2 JP6344903 B2 JP 6344903B2 JP 2013238881 A JP2013238881 A JP 2013238881A JP 2013238881 A JP2013238881 A JP 2013238881A JP 6344903 B2 JP6344903 B2 JP 6344903B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- change
- depth
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
特許文献1には、面の隠れや曲面を含んだ物体に対応できるような面情報を含んだ位置姿勢推定用モデルを生成する装置が開示されている。特許文献2には、対象物体と非対象物体の像を含む距離画像データを入力として対象物体の位置姿勢を推定する処理の高速化、およびメモリ消費量の軽減を目的とする装置が開示されている。
本発明の目的は、画像内に動体領域と静止領域が存在する場合に位置姿勢変化を推定する際、静止領域に注目して動体領域の動きによる影響を少なくして推定精度を高めることである。
図1は、本実施形態に係る撮像装置113の構成例を示すブロック図である。撮像装置113は画像取得部101と、奥行画像取得部102と、位置姿勢変化推定結果保存部(以下、単に保存部という)111と、画像処理装置112と、制御部114を備える。
画像取得部101は、被写体を撮影して2次元画像のデータを取得するユニットである。画像取得部101は、画像処理装置112の画像入力部103に接続されており、画像取得部101が撮影する画像のデータは、画像入力部103を介して画像処理装置112に入力される。
入力部110は保存部111に接続されており、過去の位置姿勢変化の推定結果(以下、過去演算結果という)を保存部111から取得して、第2推定部109へ出力する。
まず、S201において、位置姿勢変化の推定に用いるデータの入力処理が実行される。具体的には、画像取得部101による画像の撮影と、奥行画像取得部102による奥行画像の撮影が同時に行われる。画像取得部101による画像データは画像入力部103を介して画像処理装置112へ入力され、奥行画像取得部102による奥行画像データは奥行画像入力部104を介して画像処理装置112へ入力される。
S211で第2推定部109は、S205でグループ化された奥行のうち、いずれか1つを選択する。本実施形態では選択部115(図1参照)を備え、ユーザ操作に従って、複数のグループから1つを選択する処理が実行される。選択部115はユーザ操作に応じてグループを選択するための操作部や設定画面等を表示する表示部を備える。S211で選択されたグループに係る位置姿勢変化の推定結果は、第2演算結果として決定され、S212へ処理を進める。
S301で奥行分割部106は、奥行を分割するための基準として閾値を設定する。この設定は、奥行を分割する際、連続的な奥行の長さが閾値を超えないようにするために行われる。S302では、撮影物体の3次元座標上での奥行について、手前から奥側へと順に点群が存在しているかどうかが判断される。連続的な奥行の長さが、S301で設定した閾値を超えているか否が判定される。図4(A)は撮像装置から見た場合に手前から順に配置された立方体、第1の円柱、第2の円柱を撮影対象とする例を示す。図4(B)に示すように、連続的な奥行の長さが閾値を超えない場合、S303へ処理を進める。図4(D)は立方体、第1の円柱、第2の円柱に加えて、直方体がさらに配置された例を示す。図4(E)に示すように直方体の画像は、手前から奥側へ連続して点群が存在しているので、S302では連続的な奥行の長さが閾値を超えたと判断され、S304へ進む。
図6(C)は、「奥行1」における立方体の位置姿勢変化が推定される様子を示す。図6(D)は、「奥行2」における第1の円柱の位置姿勢変化が推定される様子を示す。図6(E)は、「奥行3」における第2の円柱の位置姿勢変化が推定される様子を示す。それぞれに分割された奥行ごとに、図6(A)と(B)の各フレームの画像を比較することで、3次元点群の位置姿勢変化が推定される。
図7の模式図を用いてICPアルゴリズムの具体的な手法を説明する。図7(B)は基準フレームの点群(白丸印参照)を示し、図7(A)は非基準フレームでの点群(黒丸印参照)を示す。図7(C)は、図7(B)に示す基準フレームの点群の各点を、図7(A)に示す非基準フレームの点群の中で最も近い点に対応させる処理を示す。楕円枠で囲んで示すように、枠内の点同士が対応した関係にあることを表している。図7(D)は、対応する点間の距離について、最小二乗法により、基準フレームの点群(白丸印参照)を平行移動または回転移動させ、非基準フレームの点群(黒丸印参照)に重なるよう移動させた場合の様子を示している。並進または回転の後、一定の処理回数を超えるか、または対応点間の距離の二乗和が閾値以下になるまでの間、フレーム間での前記処理が繰り返し実行される。その結果、図7(E)のようにフレーム間の距離の差を少なくして、位置姿勢変化が推定される。例えば、平行移動を奥、縦、横の各方向の成分を含む3次元のベクトルで表し、回転移動を4次元のクォータニオンで表す。これによって、点の平行移動と回転移動を組み合わせた7次元の空間で表わされる、位置姿勢変化または位置姿勢を数値的に記述できる。
グループ化処理部108は、図2のS204で推定された位置姿勢変化から、類似した推定結果を判断して、複数の奥行データをグループ化する処理を行う。図8(A)では、ある1つの並進成分の位置姿勢変化を横軸とし、奥行クラスタの度数を縦軸としている。つまり、縦軸に示す、奥行を占める割合とは、全体の度数で各グループの度数を除算した値を、百分率で表した値に相当する。この度数分布に対して極値を探索する処理が実行され、各ローカルの極値の近傍ごとにセグメントをまとめてグループ化が行われる。グループ間の距離が近い場合、同一のグループとみなされる。ここで、グループ間の距離が近いというのは、例えば下記条件を満たす場合とする。
・第1条件:位置姿勢変化の平行ベクトルの向きを示す符号が同一であり、かつ平行ベクトルの大きさの差が閾値以内であること。
・第2条件:回転移動の回転角度の大きさが閾値以内、つまりクォータニオンのノルムの差が一定値以内であること。
図2のS207では、S206で選択されたグループが複数存在しているか否かについて判定処理が実行される。図8(B)に示す例では、度数が一番の多いグループが複数存在していると判断される。つまり、グループ1、グループ3の度数が同一の値でかつ最大である。この場合にはS208に処理を進める。
本実施形態では、図2のS206で選択した、奥行を占める割合が一番高いグループが複数存在した場合、S210にて過去演算結果と比較することで、これに一番近いグループが選択される。またはS211にてユーザ操作により、提示された選択肢のグループから1つが選択される。これにより、画像全体の位置姿勢変化の推定結果が特定される。したがって、本実施形態によれば、画像内に動体領域と静止領域が混在する場合でも、静止領域に注目して動体領域に引きずられにくい位置姿勢変化の推定が可能となる。
本実施形態の変形例は、図2のS206からS211の処理が以下の点で相違する。
(A)S207にて奥行を占める割合が一番高いグループが複数存在することが判断された場合、その時点で第2推定部109は、位置姿勢変化の推定を不可能と判断すること。
(B)S208にて過去演算結果が存在しなかった場合、その時点で第2推定部109は、位置姿勢変化の推定を不可能と判断すること。
第2推定部109は、位置姿勢変化の推定を不可能と判断した場合、位置姿勢変化の推定処理を行わずに、現フレームでの処理を見送るか、または推定処理自体を終了する。なお、上記(A)と(B)については、それらの一方または両方の処理を実施可能である。
図5(A)は非基準フレームの画像内の領域の割合を示し、図5(B)は基準フレームの画像内の領域の割合を示す。また、図5(C)は、非基準フレームにおいて動体領域および静止領域に係る奥行の割合を示す。図5(D)は、基準フレームにおいて動体領域および静止領域に係る奥行の割合を示す。図5(E)は本実施形態による位置姿勢変化の推定結果を説明する図である。図5(F)は従来法による位置姿勢変化の推定結果を説明する図である。
本実施形態によれば、撮影画像内に動体領域と静止領域が存在する場合に位置姿勢変化を推定する際、動体領域の動きによる影響を抑えて推定精度を高めることができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
102 奥行画像取得部
106 奥行分割部
107 第1推定部(算出手段)
108 グループ化処理部
109 第2推定部(決定手段)
111 保存部
112 画像処理装置
113 撮像装置
Claims (12)
- 画像内に動体領域および静止領域を含む画像データおよび前記画像データに対応する奥行データを複数フレーム分取得する取得手段と、
前記画像データおよび前記奥行データから、奥行で分類される前記画像データの複数の領域のフレーム間の変化を算出する算出手段と、
前記算出手段により算出された前記領域の変化ごとに、当該変化のあった領域数をカウントした度数分布に基づいて、前記算出手段により算出された変化のデータから前記静止領域に対応するデータを選択し、当該データを用いて前記静止領域の変化に当たる画像全体の変化を決定する決定手段と、を備えることを特徴とする画像処理装置。 - 前記算出手段は、前記奥行データを奥行で分類して基準フレームを決定し、前記基準フレームと他の非基準フレームとを比較することにより、前記画像データの複数の領域の変化を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記画像データを奥行で分類し、前記複数の領域にグループ化するグループ化手段を有し、
前記決定手段は、前記度数分布において、度数が最大となる変化を選択し、当該変化に対応する変化のデータを、画像全体の変化を示すデータとして決定することを特徴とする請求項2に記載の画像処理装置。 - 前記決定手段により決定された画像全体の変化のデータを記憶する記憶手段を備え、
前記決定手段は、最大の度数をもつ変化が複数存在する場合、前記記憶手段に記憶されたデータを読み出して、該データの示す変化との差が最も小さい変化のデータを、画像全体の変化のデータとして決定することを特徴とする請求項3に記載の画像処理装置。 - 前記グループ化手段により得られた前記複数の領域のうち、いずれかの領域を選択する選択手段を備え、
前記決定手段は、最大の度数をもつ領域が複数存在する場合、前記選択手段によって前記複数の領域から選択された領域に対応する変化のデータを、画像全体の変化として決定することを特徴とする請求項3に記載の画像処理装置。 - 前記決定手段は、最大の度数をもつ領域が複数存在する場合、前記基準フレームについて画像全体の変化の決定を行わないことを特徴とする請求項3に記載の画像処理装置。
- 前記画像データの複数の領域の変化は、領域内の画像データにかかる被写体の位置の変化を含むことを特徴とする請求項1ないし6のいずれか1項に記載の画像処理装置。
- 前記画像データの複数の領域の変化は、領域内の画像データにかかる被写体の姿勢の変化を含むことを特徴とする請求項1ないし7のいずれか1項に記載の画像処理装置。
- 請求項1ないし8のいずれか1項に記載の画像処理装置と、撮像光学系および撮像素子とを備える撮像装置であって、
前記取得手段が取得する前記画像データは、前記撮像光学系および撮像素子により撮像される画像のデータであることを特徴とする撮像装置。 - 前記画像データに係る像振れ補正を行う補正手段と、
前記決定手段によって決定された画像全体の変化のデータを取得して像振れ補正量を算出し、前記補正手段を制御する制御手段と、を備えることを特徴とする請求項9に記載の撮像装置。 - 画像処理装置にて実行される制御方法であって、
画像内に動体領域および静止領域を含む画像データおよび前記画像データに対応する奥行データを複数フレーム分取得するステップと、
前記画像データおよび前記奥行データから、奥行で分類される前記画像データの複数の領域の変化を算出する算出ステップと、
前記算出ステップで算出された前記領域の変化ごとに、当該変化のあった領域数をカウントした度数分布に基づいて、前記算出ステップで算出された変化のデータから前記静止領域に対応するデータを選択し、当該データを用いて前記静止領域の変化に当たる画像全体の変化を決定する決定ステップを有することを特徴とする画像処理装置の制御方法。 - 請求項11に記載した画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013238881A JP6344903B2 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置およびその制御方法、撮像装置、プログラム |
US14/541,700 US10311595B2 (en) | 2013-11-19 | 2014-11-14 | Image processing device and its control method, imaging apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013238881A JP6344903B2 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置およびその制御方法、撮像装置、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015099483A JP2015099483A (ja) | 2015-05-28 |
JP2015099483A5 JP2015099483A5 (ja) | 2017-01-05 |
JP6344903B2 true JP6344903B2 (ja) | 2018-06-20 |
Family
ID=53376062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013238881A Active JP6344903B2 (ja) | 2013-11-19 | 2013-11-19 | 画像処理装置およびその制御方法、撮像装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6344903B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021099689A (ja) * | 2019-12-23 | 2021-07-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285762A (ja) * | 2000-03-30 | 2001-10-12 | Fuji Xerox Co Ltd | 画像印刷装置 |
US8594425B2 (en) * | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
JP5759162B2 (ja) * | 2010-12-16 | 2015-08-05 | キヤノン株式会社 | 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム |
JP5644468B2 (ja) * | 2010-12-20 | 2014-12-24 | 株式会社ニコン | 撮像装置および撮像装置の制御プログラム |
EP2474950B1 (en) * | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
JP5725953B2 (ja) * | 2011-04-13 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに情報処理装置 |
-
2013
- 2013-11-19 JP JP2013238881A patent/JP6344903B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015099483A (ja) | 2015-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10893251B2 (en) | Three-dimensional model generating device and three-dimensional model generating method | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
JP5781353B2 (ja) | 情報処理装置、情報処理方法、および位置情報のデータ構造 | |
JP5484184B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017022694A (ja) | ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品 | |
JP7032871B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2018151689A (ja) | 画像処理装置及びその制御方法、プログラム、記憶媒体 | |
US20230394832A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
JP2013185905A (ja) | 情報処理装置及び方法、並びにプログラム | |
JP6429466B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
JP6622575B2 (ja) | 制御装置、制御方法、およびプログラム | |
JP6602412B2 (ja) | 情報処理装置及び方法、情報処理システム、ならびにプログラム。 | |
JP6344903B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP6305232B2 (ja) | 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。 | |
JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP6351364B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6915016B2 (ja) | 情報処理装置及び方法、情報処理システム、ならびにプログラム | |
JP7341712B2 (ja) | 画像処理装置、画像処理方法、撮像装置、およびプログラム | |
US20230014562A1 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2023063088A1 (en) | Method, apparatus, system and non-transitory computer readable medium for adaptively adjusting detection area | |
CN113379817B (zh) | 基于散斑的深度信息获取方法、装置及系统 | |
JP2016024490A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2017145755A1 (ja) | 情報処理装置および情報処理方法 | |
JP2020010216A (ja) | 画像処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180326 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180522 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6344903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |