JP6162924B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP6162924B2 JP6162924B2 JP2011289359A JP2011289359A JP6162924B2 JP 6162924 B2 JP6162924 B2 JP 6162924B2 JP 2011289359 A JP2011289359 A JP 2011289359A JP 2011289359 A JP2011289359 A JP 2011289359A JP 6162924 B2 JP6162924 B2 JP 6162924B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- eye image
- difference
- line
- mismatch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 15
- 239000003086 colorant Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 20
- 230000002457 bidirectional effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Description
立体画像の左及び右画像を受けるステップと、
差分データ・グループを生成するステップと、
ミスマッチ画像を生成するステップであって、上記差分データ・グループのマッチング・レベルを示す色を上記ミスマッチ画像上の複数の部分に配置することによって上記ミスマッチ画像を生成するステップと
を具える画像処理方法である。
上記左及び右画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するステップと、
IIRローパス・フィルタを用いて少なくとも1つの上記ダウン・サンプル画像ラインをフィルタ処理してフィルタ処理ダウン・サンプル画像ラインを生成し、該フィルタ処理ダウン・サンプル画像ラインの成分を少なくとも1つの上記ダウン・サンプル画像ラインから除去することによって、少なくとも1つの上記ダウン・サンプル画像ラインのアンシャープ・マスク・バージョンを生成するステップと
を具えている。
上記ダウン・サンプル画像ラインをそれ自身の上記アンシャープ・マスク・バージョンと比較し、その比較結果を記憶することによって、上記右画像における少なくとも1つのダウン・サンプル画像ラインについての差分データのグループを生成するステップと、
上記左画像及び上記右画像に由来する記憶した上記比較結果データのグループを互いに比較するステップと
を更に具えていることを特徴としている。
上記左及び右画像のそれぞれを水平にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるグループを生成するか、又は、垂直のダウン・サンプルによって生成された複数の上記ダウン・サンプル画像ラインから構成されるグループを水平にダウン・サンプルするステップを更に具えることを特徴としている。
左画像及び右画像を含む立体映像信号を受ける入力部と、
上記左画像及び上記右画像間の複数の相対的シフト量における上記左画像及び上記右画像間の複数の比較結果を示す出力結果を生成するよう構成された差分測定部と、
上記差分測定部の上記出力結果を入力として受けて、上記左画像及び上記右画像の複数の部分間の相対的像差量を示す複数の画像領域を有するミスマッチ画像を生成するミスマッチ画像生成部と
を具えている。
a)各部分(ローカル:局所)レベルで左右画像それぞれの各部分の空間的な合致(マッチング)の程度を示す測定値を定量化する。
b)定量化した各部分レベルの結果を収集する。
c)像差の計算/最適化
d)像差の再調整(refinement)
本発明による実施形態では、これら主要なステップを含むと共に、従来技術の方法のリソースを一部用いながら、もっと良い結果が得られるようにした改良部分が含まれる。
21 基準ライン20が双方向IIRローパス・フィルタを通過した後の出力信号
22 右画像の第1垂直ダウン・サンプル画像ラインの平均輝度値プロット
23 基準ライン22が双方向IIRローパス・フィルタを通過した後の出力信号
30 左画像の第2垂直ダウン・サンプル画像ラインの平均輝度値プロット
32 右画像の第2垂直ダウン・サンプル画像ラインの平均輝度値プロット
40 左側立体画像から生じた基準ライン20及び21の差分値
42 右側立体画像から生じた基準ライン22及び23の差分値
200 データ・プロット
202 図2Aに示す左画像の一部分
204 図2Bに示す右画像の一部分
206 部分画像に関するマッチングの測定結果
208 1つの画素のマッピングの測定結果
210 ミスマッチ画像
220 像差画像
300 3D画像分析処理装置
310 ダウン・サンプル・プロセッサ(ダウン・サンプラ)
312 垂直ダウン・サンプル処理ブロック
314 水平ダウン・サンプル処理ブロック
320 アンシャープ・マスク処理プロセッサ
322 ローパス・フィルタ
330 差分測定ブロック
332 絶対値測定機能ブロック
334 ローパス・フィルタ
340 画像生成ブロック
Claims (4)
- 左目画像及び右目画像を含む立体映像信号を受ける入力部と、
上記左目画像及び上記右目画像間の複数の相対的シフトによって、上記左目画像及び上記右目画像間の複数の比較結果に対応する複数の出力結果を生成するよう構成された差分測定部と、
上記差分測定部の複数の上記出力結果を入力として受けて、画像のそれぞれが複数の上記出力結果の1つに対応するともに、上記画像の画素のそれぞれに上記複数の相対的シフトの1つに関する上記左目画像及び上記右目画像間の画素レベルの差分値を示す色が割り当てられた2次元のデータプロットを、上記複数の相対的シフトに対応するように複数生成し、それぞれの上記データプロットの各列の最小誤差値が、それぞれの上記データプロットに対応するラインの画素に対応し、上記ラインの画素に、対応する上記データプロットの各列の上記最小誤差値を示す色が割り当てられて2次元のミスマッチ画像を生成するミスマッチ画像生成部と
を具える画像処理装置。 - 上記左目画像及び右目画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるダウン・サンプル左目画像及び右目画像をそれぞれ生成するダウン・サンプラを更に具える請求項1記載の画像処理装置。
- 立体画像の左目画像及び右目画像を受けるステップと、
上記左目画像及び上記右目画像間の複数の相対的シフトによって、上記左目画像及び上記右目画像間の複数の比較結果に対応する複数の出力結果を生成するステップと、
複数の上記出力結果を入力として受けて、画像のそれぞれが複数の上記出力結果の1つに対応するともに、上記画像の画素のそれぞれに上記複数の相対的シフトの1つに関する上記左目画像及び上記右目画像間の画素レベルの差分値を示す色が割り当てられた2次元のデータプロットを、上記複数の相対的シフトに対応するように複数生成し、それぞれの上記データプロットの各列の最小誤差値が、それぞれの上記データプロットに対応するラインの画素に対応し、上記ラインの画素に、対応する上記データプロットの各列の上記最小誤差値を示す色が割り当てられて2次元のミスマッチ画像を生成するステップと
を具える画像処理方法。 - 上記左目画像及び右目画像のそれぞれを垂直にダウン・サンプルして、複数のダウン・サンプル画像ラインから構成されるダウン・サンプル左目画像及び右目画像をそれぞれ生成するステップを更に具える請求項3記載の画像処理方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201061427743P | 2010-12-28 | 2010-12-28 | |
US61/427,743 | 2010-12-28 | ||
US13/004,124 | 2011-01-11 | ||
US13/004,124 US9336596B2 (en) | 2010-12-28 | 2011-01-11 | System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012142945A JP2012142945A (ja) | 2012-07-26 |
JP6162924B2 true JP6162924B2 (ja) | 2017-07-12 |
Family
ID=45002761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011289359A Expired - Fee Related JP6162924B2 (ja) | 2010-12-28 | 2011-12-28 | 画像処理方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9336596B2 (ja) |
EP (2) | EP2922294B1 (ja) |
JP (1) | JP6162924B2 (ja) |
CN (1) | CN103152588B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015146526A (ja) * | 2014-02-03 | 2015-08-13 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
WO2017101108A1 (en) * | 2015-12-18 | 2017-06-22 | Boe Technology Group Co., Ltd. | Method, apparatus, and non-transitory computer readable medium for generating depth maps |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0605045B1 (fr) * | 1992-12-29 | 1999-03-31 | Laboratoires D'electronique Philips S.A.S. | Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes |
US6031940A (en) * | 1996-11-27 | 2000-02-29 | Teralogic, Inc. | System and method for efficiently encoding video frame sequences |
JP3070535B2 (ja) * | 1997-09-02 | 2000-07-31 | 日本電気株式会社 | パタンマッチング符号化装置、パタンマッチング符号化方法及びパタンマッチング符号化装置の制御プログラムを記録した媒体 |
JP3111958B2 (ja) * | 1997-12-26 | 2000-11-27 | 日本電気株式会社 | パタン符号化を用いた符号化装置及び符号化方法 |
GB0125774D0 (en) | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
US7406493B2 (en) | 2004-03-17 | 2008-07-29 | Tektronix, Inc. | Up-sampling half-band reconstruction filtering |
JP4667072B2 (ja) * | 2005-02-25 | 2011-04-06 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2006246200A (ja) * | 2005-03-04 | 2006-09-14 | Fuji Photo Film Co Ltd | 画像処理装置および画像処理方法 |
WO2007091373A1 (ja) * | 2006-02-06 | 2007-08-16 | Nippon Telegraph And Telephone Corporation | 3次元表示装置及び画像提示方法 |
JP2007249026A (ja) * | 2006-03-17 | 2007-09-27 | Yamaha Corp | プロジェクタ |
JP2008039491A (ja) * | 2006-08-02 | 2008-02-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
US7920758B2 (en) | 2006-11-22 | 2011-04-05 | Tektronix, Inc. | Measurement apparatus and method of measurement of video spatial scale, offset and cropping |
US8487982B2 (en) * | 2007-06-07 | 2013-07-16 | Reald Inc. | Stereoplexing for film and video applications |
KR100899422B1 (ko) | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
WO2010015957A1 (en) | 2008-08-04 | 2010-02-11 | Koninklijke Philips Electronics, N.V. | Automatic pre-alignment for registration of medical images |
US8437577B2 (en) | 2009-03-05 | 2013-05-07 | Tektronix, Inc. | Methods and systems for image registration |
CN101557534B (zh) * | 2009-05-19 | 2010-09-01 | 无锡景象数字技术有限公司 | 一种从视频相近帧中生成视差图的方法 |
-
2011
- 2011-01-11 US US13/004,124 patent/US9336596B2/en not_active Expired - Fee Related
- 2011-11-21 EP EP15167198.9A patent/EP2922294B1/en not_active Not-in-force
- 2011-11-21 EP EP11189904.3A patent/EP2472882A3/en not_active Withdrawn
- 2011-12-28 CN CN201110462346.XA patent/CN103152588B/zh not_active Expired - Fee Related
- 2011-12-28 JP JP2011289359A patent/JP6162924B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103152588A (zh) | 2013-06-12 |
US20120162364A1 (en) | 2012-06-28 |
EP2922294B1 (en) | 2017-05-10 |
EP2922294A1 (en) | 2015-09-23 |
CN103152588B (zh) | 2016-07-06 |
EP2472882A2 (en) | 2012-07-04 |
JP2012142945A (ja) | 2012-07-26 |
EP2472882A3 (en) | 2013-05-22 |
US9336596B2 (en) | 2016-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
Tian et al. | NIQSV+: A no-reference synthesized view quality assessment metric | |
EP2446638B1 (en) | Stereoscopic image capturing method, system and camera | |
JP6250916B2 (ja) | 3次元ビデオの品質予測システム | |
EP3101624B1 (en) | Image processing method and image processing device | |
JP5932666B2 (ja) | 画像符号化装置とその集積回路、および画像符号化方法 | |
JP5818514B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
US9088774B2 (en) | Image processing apparatus, image processing method and program | |
Do et al. | Immersive visual communication | |
KR20150093993A (ko) | 초해상도 영상 복원 방법 및 장치 | |
JP6162924B2 (ja) | 画像処理方法及び装置 | |
Hasan et al. | No-reference quality assessment of 3D videos based on human visual perception | |
JP6313569B2 (ja) | 立体映像生成装置、そのプログラム及び立体映像表示装置 | |
Silva et al. | A no-reference stereoscopic quality metric | |
Ak et al. | Quality evaluation of light fields | |
Lebreton et al. | Open perceptual binocular and monocular descriptors for stereoscopic 3D images and video characterization | |
Ideses et al. | Depth map manipulation for 3D visualization | |
Ashby et al. | A novel 3D display using multi-hyperstereo image stitching | |
CN102986221B (zh) | 图像编码装置及其集成电路、以及图像编码方法 | |
Sravya | Virtual camera effects and depth estimation Using light fields | |
Elliethy et al. | View synthesis from wide-baseline views using occlusion aware estimation of large disparities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20141128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151225 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161012 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20161212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
R155 | Notification before disposition of declining of application |
Free format text: JAPANESE INTERMEDIATE CODE: R155 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6162924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |