JP5464129B2 - 画像処理装置および視差情報生成装置 - Google Patents
画像処理装置および視差情報生成装置 Download PDFInfo
- Publication number
- JP5464129B2 JP5464129B2 JP2010256934A JP2010256934A JP5464129B2 JP 5464129 B2 JP5464129 B2 JP 5464129B2 JP 2010256934 A JP2010256934 A JP 2010256934A JP 2010256934 A JP2010256934 A JP 2010256934A JP 5464129 B2 JP5464129 B2 JP 5464129B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- parallax
- estimated
- change target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
[1−1.外観構成]
図1および図2は、本発明の第1実施形態に係る撮像装置1Aの外観構成を示す図である。図3は、撮像装置1Aによって取得された2枚の画像を示す図である。
次に、撮像装置1Aの内部構成について説明する。図4は、撮像装置1Aの内部構成を示す図である。
次に、撮像装置1Aの動作について説明する。図8は、撮像装置1Aの動作に関するフローチャートである。図9および図10は、合成視差情報の生成処理を説明するための図である。
ここで、ステップSP14において視差測定の際に実行される対応点の探索処理について説明する。図11は、画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。なお、図11には、画像内の1つの画素NPを横方向に3分割して、単位画素あたり、3つのサブピクセルBPを設定する様子が示されている。
次に、本発明の第2実施形態について説明する。第2実施形態に係る撮像装置1Bでは、視差推定部12における奥行き情報の取得手法、および判定部13における推定視差情報の信頼性の判定手法が、第1実施形態の各手法とは異なる。なお、撮像装置1Bは、上記相違点以外は、撮像装置1Aとほぼ同様の構造および機能(図1〜5参照)を有しており、共通する部分については同じ符号を付して説明を省略する。
次に、本発明の第3実施形態について説明する。第3実施形態に係る撮像装置1Cでは、視差推定部12における奥行き情報の取得手法、および判定部13における推定視差情報の信頼性の判定手法が、第1実施形態の各手法とは異なる。なお、撮像装置1Cは、上記相違点以外は、撮像装置1Aとほぼ同様の構造および機能(図1〜5参照)を有しており、共通する部分については同じ符号を付して説明を省略する。
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
3 画像処理部
33 全体制御部
MC 主撮像部
SC 副撮像部
11 撮影情報取得部
12 視差推定部
13 判定部
14 視差測定部
15 視差情報生成部
16 立体画像生成部
MG,MG1 基準画像
SG 参照画像
PS,PS1 主被写体
BG 背景
DR 変更対象領域
LG1,LG2 左目用画像
RG1,RG2 右目用画像
BP サブピクセル
Claims (13)
- 1組のステレオ画像を構成する第1画像および第2画像を取得する画像取得手段と、
前記第1画像に含まれる被写体の奥行きを推定して、前記第1画像内の領域ごとに推定視差情報を取得する推定手段と、
前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第1画像内の領域を変更対象領域として決定する決定手段と、
前記第1画像および前記第2画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、
前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段と、
前記基準視差情報に基づいて立体画像を生成する画像生成手段と、
を備える画像処理装置。 - 前記決定手段は、前記推定視差情報の信頼性に基づいて、前記変更対象領域を決定する請求項1に記載の画像処理装置。
- 前記推定手段は、
前記第1画像における背景領域と非背景領域とを特定して、前記非背景領域の前記背景領域に対する相対動きベクトルを算出する手段と、
当該相対動きベクトルの大きさに基づいて、前記被写体の奥行きを推定して、前記非背景領域ごとの前記推定視差情報を取得する手段と、
を有し、
前記決定手段では、前記相対動きベクトルの大きさに基づいて、前記推定視差情報を変更するか否かが判定される請求項1または請求項2に記載の画像処理装置。 - 前記推定手段は、前記第1画像に含まれる各画素の画素情報に基づいて、前記被写体の奥行きを推定して、前記推定視差情報を取得し、
前記決定手段では、前記第1画像に含まれる各画素の輝度値に基づいて、前記推定視差情報を変更するか否かが判定される請求項1または請求項2に記載の画像処理装置。 - 前記推定手段は、
基本となるシーン構造を表現した複数の基本奥行きモデルを、前記第1画像に含まれる各画素の画素情報に基づいて得られる合成比率で合成して、合成基本モデルを生成する手段と、
当該合成基本モデルを用いて、前記被写体の奥行きを推定して、前記推定視差情報を取得する手段と、
を有し、
前記決定手段では、前記合成比率に基づいて、前記推定視差情報を変更するか否かが判定される請求項1または請求項2に記載の画像処理装置。 - 前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域の計測視差情報を補正する請求項1から請求項5のいずれかに記載の画像処理装置。
- 前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域周辺の推定視差情報を補正する請求項1から請求項5のいずれかに記載の画像処理装置。
- 時系列で取得される前記第1画像において、シーンの切り替わりを検出する手段、
をさらに備え、
前記基準視差生成手段は、シーンの切り替わりが検出されたときは、切り替わる前の立体画像の生成に用いられた基準視差情報を用いて、切り替わった後の基準視差情報を補正する請求項1から請求項7のいずれかに記載の画像処理装置。 - 前記視差測定手段は、前記変更対象領域内の全画素に対して前記対応点の特定を行う請求項1から請求項8のいずれかに記載の画像処理装置。
- 前記推定視差情報に基づいて、前記変更対象領域内の共通領域をグループ化するグループ化手段、
をさらに備え、
前記視差測定手段は、前記共通領域内の代表画素に対して前記対応点の特定を行う請求項1から請求項8のいずれかに記載の画像処理装置。 - 前記第1画像における被写体領域相互の境界線を抽出する抽出手段、
をさらに備え、
前記決定手段は、前記境界線が閉曲線を形成している場合、当該閉曲線によって囲まれる領域の内部領域を前記変更対象領域として決定する請求項1から請求項10のいずれかに記載の画像処理装置。 - 前記第1画像における被写体から顔領域を検出する顔領域検出手段、
をさらに備え、
前記決定手段は、前記顔領域を前記変更対象領域として決定する請求項1から請求項11のいずれかに記載の画像処理装置。 - 1組のステレオ画像を構成する第1画像および第2画像を取得する画像取得手段と、
前記第1画像に含まれる被写体の奥行きを推定して、前記第1画像内の領域ごとに推定視差情報を取得する推定手段と、
前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第1画像内の領域を変更対象領域として決定する決定手段と、
前記第1画像および前記第2画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、
前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段と、
を備える視差情報生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010256934A JP5464129B2 (ja) | 2010-11-17 | 2010-11-17 | 画像処理装置および視差情報生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010256934A JP5464129B2 (ja) | 2010-11-17 | 2010-11-17 | 画像処理装置および視差情報生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012109788A JP2012109788A (ja) | 2012-06-07 |
JP5464129B2 true JP5464129B2 (ja) | 2014-04-09 |
Family
ID=46494942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010256934A Active JP5464129B2 (ja) | 2010-11-17 | 2010-11-17 | 画像処理装置および視差情報生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5464129B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5888140B2 (ja) * | 2012-06-20 | 2016-03-16 | 株式会社Jvcケンウッド | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム |
JP2015019204A (ja) | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
KR102459853B1 (ko) * | 2017-11-23 | 2022-10-27 | 삼성전자주식회사 | 디스패리티 추정 장치 및 방법 |
CN110326028A (zh) * | 2018-02-08 | 2019-10-11 | 深圳市大疆创新科技有限公司 | 图像处理的方法、装置、计算机系统和可移动设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3957343B2 (ja) * | 1996-07-18 | 2007-08-15 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する装置および方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2005020606A (ja) * | 2003-06-27 | 2005-01-20 | Sharp Corp | デジタルカメラ |
JP4214527B2 (ja) * | 2004-12-27 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
JP4283785B2 (ja) * | 2005-05-10 | 2009-06-24 | 株式会社マーキュリーシステム | 立体視画像生成装置およびプログラム |
WO2009008864A1 (en) * | 2007-07-12 | 2009-01-15 | Thomson Licensing | System and method for three-dimensional object reconstruction from two-dimensional images |
-
2010
- 2010-11-17 JP JP2010256934A patent/JP5464129B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012109788A (ja) | 2012-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5287702B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
CN106254854B (zh) | 三维图像的获得方法、装置及系统 | |
RU2562759C2 (ru) | Морфологическое сглаживание (мс) при повторном проецировании двухмерного изображения | |
TWI469088B (zh) | 前景深度地圖產生模組及其方法 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
US20140340486A1 (en) | Image processing system, image processing method, and image processing program | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
JP5533529B2 (ja) | 画像処理装置及び画像処理システム | |
JP2009251141A (ja) | 立体画像表示装置 | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
CN103747236A (zh) | 结合人眼跟踪的立体视频处理系统及方法 | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP4214529B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
CN108124148A (zh) | 一种单个视图影像转换多个视图影像的方法及装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
TW201230770A (en) | Apparatus and method for stereoscopic effect adjustment on video display | |
JP5355616B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
CN104052990A (zh) | 一种基于融合深度线索的全自动二维转三维方法和装置 | |
CN106331672A (zh) | 视点图像的获得方法、装置及系统 | |
JP4419139B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
JP5459231B2 (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5464129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |