JP7438713B2 - 撮像装置、方法及びプログラム - Google Patents
撮像装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7438713B2 JP7438713B2 JP2019195059A JP2019195059A JP7438713B2 JP 7438713 B2 JP7438713 B2 JP 7438713B2 JP 2019195059 A JP2019195059 A JP 2019195059A JP 2019195059 A JP2019195059 A JP 2019195059A JP 7438713 B2 JP7438713 B2 JP 7438713B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- parallax
- distance
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 title claims description 34
- 238000012545 processing Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
(本実施形態の構成)
図1を参照して、本実施形態における撮像装置の構成について説明する。図1は、本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、情報処理装置の一例である。
撮像装置100は、被写体を撮影して、動画や静止画のデータをテープ、固体メモリ、光ディスク、及び磁気ディスクなどの各種メディアに記録するデジタルスチルカメラやビデオカメラなどであるが、本発明はこれらに限定されるものではない。撮像装置100内の各ユニットは、バス160を介して互いに接続されている。また各ユニットは、主制御部151により制御される。
絞り制御部105は、主制御部151の指令に従い、絞りモータ104(図中の「AM」は、アパーチャーモータの略称である。)を介して絞り103を駆動することにより、絞り103の開口径を調整して撮影時の光量調節を行う。
ズーム制御部113は、ズームモータ112(図中の「ZM」は、ズームモータの略称である。)を介してズームレンズ111を駆動することにより、焦点距離を変更する。
フォーカス制御部133は、レンズユニット101のピント方向のずれ量に基づいてフォーカスモータ132(図中の「FM」は、フォーカスモータの略称である。)を駆動する駆動量を決定する。加えてフォーカス制御部133は、フォーカスモータ132を介してフォーカスレンズ131を駆動することにより、焦点調節状態を制御する。フォーカス制御部133及びフォーカスモータ132によるフォーカスレンズ131の移動制御により、AF制御が実現される。AFは、オートフォーカスの略称である。フォーカスレンズ131は、焦点調節用レンズであり、図1には単レンズで簡略的に示されているが、通常は複数のレンズで構成される。
絞り制御部105では、特定の被写体領域の輝度値を用いた露出制御を行う。
表示部150では、画像や動体検出結果などを表示する。
バッテリ159は、電源管理部158により適切に管理され、撮像装置100の全体に安定した電源供給を行う。
なお、図1に示した構成は、撮像装置の構成の一例に過ぎない。
本実施形態では、1つのマイクロレンズを共有する複数の光電変換素子を備えた撮像素子141を用いて視差画像を取得するものとする。視差画像とは、視点をずらして得られる画像のことである。このときの撮像素子の構成や光学原理は、周知の技術を適用可能であるため、詳しい説明は省略する。なお、撮像装置100をステレオカメラや多眼カメラとして視差画像を取得してもよい。
図2は、視差マップの概念図である。
図2に示す視差マップ201は、[0,255]のグレースケールの画像として表されている。背景領域は0の値が割り当てられ、画素値が小さいほど遠くの被写体を、画素値が大きいほど近くの被写体を表す。視差の算出方法としては、ブロックマッチングや位相限定相関法などの手法が知られており、本実施形態では、ブロックマッチングを例にとって説明する。ブロックマッチングでは、画像を小領域に分割したブロックごとに相関演算を行う。三角測量の式を用いることで、視差マップから距離マップに変換することができる。
本実施形態では視差を求めてから被写体までの距離に変換するようにしている。ここで、視差は被写体までの距離に対応するので、後述の概算視差すなわち概算視差値を求めることは概算距離すなわち概算距離値を求めることに対応し、視差候補値を求めることは距離候補値を求めることに対応する。
S402において、カメラパラメータ取得部302は、フラッシュメモリ155から撮像装置100に関するパラメータを取得する。ここでは、カメラパラメータ取得部302は、カメラパラメータとして、視差画像を取得する際の基線長、及びレンズユニット101に含まれるレンズ群の焦点距離値fを取得するものとする。カメラパラメータ取得部302は、その他にも、二台のカメラが平行配置されていない場合は、カメラの向きを取得するなど、距離を算出するために必要なパラメータを取得する。
S405において、視差候補値算出部304は、着目画素に付与されたすべての概算視差に対して、視差候補値を算出したかを判定する。
S405の判定の結果、全てに対して処理した場合は、S406において、視差決定部305は、複数の視差候補値の中から、一つの視差値を決定し、着目画素の視差とする。視差の決定方法に関しては、後述する。
S405の判定の結果、全てに対して処理していない場合は、S407において、概算視差値のインデックスiを1つインクリメントし、S404に戻る。
S408の判定の結果、すべての画素に対して処理した場合は、S410において、視差マップ変換部305は、数1に基づいて各画素の視差を距離に変換して距離マップを生成し、RAM154に距離マップを保存して処理を終了する。
S408の判定の結果、すべての画素に対して処理していない場合は、S409において、視差決定部305は、着目画素の位置を更新し、S403に戻る。以上が、距離マップ生成部161の動作である。
概算視差値取得部303は、被写体ごとの概算視差を簡易的に取得する。まず、被写体の典型的な大きさの情報(既知のサイズ)を利用する場合について説明する。例えば被写体が人物である場合、顔検出(被写体認識)を行って、検出した顔(認識した被写体)を含むバウンディングボックスの画像上での大きさL[pix]を取得する。Lとしては、バウンディングボックスの縦・横幅の最大値とするが、対角線など他の量を用いてもよい。人間の顔の平均的な直径をRave[mm]とし、レンズユニット101の焦点距離をf[pix]とすると、顔検出された人物までの距離の概算値z[mm]は、以下の数2で得られる。
図5は、人物検出を用いて、概算視差を算出した例を表している。
図5において、視差画像500は撮影された視差画像を表している。被写体501及び502は視差画像500に含まれる被写体である。領域503及び504は、それぞれ概算視差が一定の領域を表している。例えば、領域503には距離1000[mm]に対応する概算視差D1が付与されており、領域504には距離2000[mm]に対応する概算視差D2が付与されているものとする。距離から視差へは、数1を用いて換算することができる。
以上のように、遠近競合部に対しては、概算視差を2つ以上与える。
視差候補値算出部304は、概算視差値取得部303が取得した概算視差をもとにブロックマッチングを行う際の探索範囲を限定する(探索範囲を狭める)。概念図を図6に示す。図6は、領域505における画素に対して、ブロックマッチングを行う際のシフト量と評価値の関係を示したものである。評価値は、相関値の一例である。図6において、横軸はシフト量であり、縦軸は評価値を表している。シフト量は、視差値に対応するため、図6では、横軸に概算視差値D1及びD2を記載している。視差=0は、無限遠に対応する。概算視差値D1は、距離値1000[mm]に対応した視差を表している。概算視差値D2は、距離値2000[mm]に対応した視差を表している。
視差決定部305は、各視差候補値d0、d1、d2における評価値を比較し、最も評価値の値が小さい(最も類似度が高い)視差候補値を最終的な視差dとして決定する。図6の例では、最小値606に対応する視差が選択される。
第1の実施形態では、評価値の値が近接する視差候補値が複数存在する場合、誤った視差を選択する可能性がある。そこで、本実施形態では、上記のような場合において、より精度の高い視差の決定方法について説明する。
S702において、視差決定部305は、評価値の最小値Vminを検出し、|V(d)―Vmin|<Thとなる視差候補値dが複数存在するか判定する。V(d)はdに対する評価値、Thは予め定めた閾値である。ここでは、最小値Vminとの値の近さを測る尺度として絶対値を用いたが、別の関数を用いても構わない。
|V(d)―Vmin|<Thとなる視差候補値dが複数存在する場合は、S704において、視差決定部305は、|V(d)―Vmin|<Thとなる視差候補値の中で、最も信頼度の高い視差候補値を最終的な視差として決定する。
なお、ここでは、信頼度のみを用いて視差を決定したが、信頼度と、評価値の重みづけ和を用いて最終的な視差を決定してもよい。
概算視差値取得部303は、同一の概算視差を有する領域の境界に近いほど信頼度を低く設定し、遠いほど信頼度を高く設定する。例えば、境界からの距離に定数を乗じたものを信頼度とすることができる。信頼度は連続値や複数の値を用いてもよいし、2値でも構わない。また、第1の実施形態で述べたように、領域を膨張させた場合は、膨張領域に対して信頼度を低く設定する。膨張領域に含まれている値は、信頼度を低く設定することで、視差候補値から除外するようにしてもよい。|V(d)―Vmin|<Thとなる視差候補値dが複数存在する場合には、膨張領域に含まれている値は、予め視差候補値から除外するようにしてもよい。
ブロックマッチングを用いて、概算視差を決めた場合は、ブロックマッチングをした際の評価値を用いて信頼度を決めても構わない。例えば、評価値が大きい場合は、信頼度を低くする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
152 画像処理部
301 画像取得部
302 カメラパラメータ取得部
303 概算視差値取得部
304 視差候補値算出部
305 視差決定部
306 視差マップ変換部
Claims (12)
- 互いに異なる複数の視点から同一の被写体を見た場合の画像である複数の画像を示す画像データを取得する取得手段と、
前記画像データにおいて、背景と被写体が隣接もしくは被写体同士が隣接しているか否かを判定する判定手段と、
前記隣接する領域は、二つ以上、それ以外の領域は、少なくとも一つ以上の概算距離値を取得する取得手段と、
前記複数の画像のうちの一つの画像に設定した参照ウィンドウに対し、前記概算距離値のそれぞれに基づいて設定される探索範囲内で、前記複数の画像のうちの前記一つの画像とは異なる画像における類似度の高いウィンドウを検出し、前記検出したウィンドウの位置に基づいて、距離候補値を算出する算出手段と、
前記距離候補値及び前記類似度に基づき、距離値を決定する決定手段と、を有する
ことを特徴とする撮像装置。 - 前記隣接する領域には、前記取得した概算距離値のうちの複数を付与する付与手段を有する
ことを特徴とする請求項1に記載の撮像装置。 - 前記概算距離値は、無限遠の距離値を含む
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記取得手段は、前記画像データに対して膨張処理を行って前記概算距離値を取得する
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記取得手段は、前記画像データに対して被写体認識を行い、認識した被写体の既知の大きさと焦点距離に基づき前記概算距離値を取得する
ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。 - 前記取得手段は、前記複数の画像のうちの一つの画像と視差画像とでマッチングを行って得た結果に基づき距離値でクラスタリングし、クラスタ内の代表値を概算距離値として取得する
ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。 - 前記算出手段は、複数の概算距離値を付与した領域では、それ以外の領域よりもウィンドウサイズを小さくする
ことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。 - 前記算出手段は、前記概算距離値に応じて前記探索範囲を狭める
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。 - 前記決定手段は、前記距離候補値の中から、前記複数の画像のうちの一つの画像と視差画像との相関値に応じて距離値を決定する
ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。 - 前記決定手段は、前記複数の画像のうちの一つの画像と視差画像との相関値の最小値との差分の絶対値が閾値未満である距離候補値が少なくとも2つ以上ある場合、前記膨張処理を行った領域に含まれている値は前記距離候補値から除外することを特徴とする請求項4に記載の撮像装置。
- 互いに異なる複数の視点から同一の被写体を見た場合の画像である複数の画像を示す画像データを取得する取得工程と、
前記画像データにおいて、背景と被写体が隣接もしくは被写体同士が隣接しているか否かを判定する判定工程と、
前記隣接する領域は、二つ以上、それ以外の領域は、少なくとも一つ以上の概算距離値を取得する取得工程と、
前記複数の画像のうちの一つの画像に設定した参照ウィンドウに対し、前記概算距離値のそれぞれに基づいて設定される探索範囲内で、前記複数の画像のうちの前記一つの画像とは異なる画像における類似度の高いウィンドウを検出し、前記検出したウィンドウの位置に基づいて、距離候補値を算出する算出工程と、
前記距離候補値及び前記類似度に基づき、距離値を決定する決定工程と、を有する
ことを特徴とする方法。 - 請求項1乃至10のいずれか1項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195059A JP7438713B2 (ja) | 2019-10-28 | 2019-10-28 | 撮像装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195059A JP7438713B2 (ja) | 2019-10-28 | 2019-10-28 | 撮像装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021068356A JP2021068356A (ja) | 2021-04-30 |
JP7438713B2 true JP7438713B2 (ja) | 2024-02-27 |
Family
ID=75637331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019195059A Active JP7438713B2 (ja) | 2019-10-28 | 2019-10-28 | 撮像装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7438713B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018151999A (ja) | 2017-03-15 | 2018-09-27 | 日立オートモティブシステムズ株式会社 | 物体距離検出装置 |
JP2020140497A (ja) | 2019-02-28 | 2020-09-03 | 日立オートモティブシステムズ株式会社 | 演算装置、視差算出方法 |
-
2019
- 2019-10-28 JP JP2019195059A patent/JP7438713B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018151999A (ja) | 2017-03-15 | 2018-09-27 | 日立オートモティブシステムズ株式会社 | 物体距離検出装置 |
JP2020140497A (ja) | 2019-02-28 | 2020-09-03 | 日立オートモティブシステムズ株式会社 | 演算装置、視差算出方法 |
Non-Patent Citations (1)
Title |
---|
二宮 芳樹,走行環境認識のためのステレオ視の一方法,電子情報通信学会論文誌 (J91-D) 第3号 THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS (JAPANESE EDITION),第J91-D巻 第3号,日本,電子情報通信学会,2008年03月01日,p803-812 |
Also Published As
Publication number | Publication date |
---|---|
JP2021068356A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
US9361680B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
KR102565513B1 (ko) | 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치 | |
CN101960860B (zh) | 使用基于区域的滤波的深度图提取系统和方法 | |
KR100543801B1 (ko) | 의사 3차원 영상 발생 장치 | |
US8144974B2 (en) | Image processing apparatus, method, and program | |
CN102196166B (zh) | 摄像装置及显示方法 | |
CN103888645A (zh) | 摄像设备及用于控制摄像设备的方法 | |
WO2009008864A1 (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
CN113129241B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
WO2019105260A1 (zh) | 景深获取方法、装置及设备 | |
JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
JP2004133919A (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
JP5071866B2 (ja) | 距離測定装置および方法並びにプログラム | |
JP2015207090A (ja) | 画像処理装置、及びその制御方法 | |
JP7438713B2 (ja) | 撮像装置、方法及びプログラム | |
JP6655869B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5071865B2 (ja) | 距離測定装置および方法並びにプログラム | |
WO2018161322A1 (zh) | 基于深度的图像处理方法、处理装置和电子装置 | |
JP7113327B1 (ja) | 撮像装置 | |
JPWO2018030386A1 (ja) | 位置指定装置および位置指定方法 | |
JP2013190938A (ja) | ステレオ画像処理装置 | |
JP2009237652A (ja) | 画像処理装置および方法並びにプログラム | |
JP2018200722A (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP6827778B2 (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221011 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7438713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |