JP6570296B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6570296B2 JP6570296B2 JP2015080440A JP2015080440A JP6570296B2 JP 6570296 B2 JP6570296 B2 JP 6570296B2 JP 2015080440 A JP2015080440 A JP 2015080440A JP 2015080440 A JP2015080440 A JP 2015080440A JP 6570296 B2 JP6570296 B2 JP 6570296B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- distance
- image
- subject
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 3
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims 2
- 238000000034 method Methods 0.000 description 23
- 238000009826 distribution Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
実施例1では、各画素の画素値と被写体距離との組み合わせのうち、異常な組み合わせを有する画素を検出して、検出された画素に対してデプスマップの補正を行うことで高品質なデプスマップを得る方法について説明する。また、得られた高品質なデプスマップを用いて、高品質な仮想視点画像を生成する方法についても説明する。
Y1=Z1v1/f…式(2)
ここで、実視点の座標系と仮想視点の座標系との間の関係は、実視点の位置姿勢を仮想視点の位置姿勢に変換するための回転行列R21と並進ベクトルT21を用いると式(3)の形で表せる。
回転行列R21と並進ベクトルT21は姿勢取得部206から入力された位置姿勢情報に基づいて導出可能である。式(3)により得られたZ2は仮想視点から見た点Pの距離値であり、点P=(X2,Y2,Z2)Tは仮想視点におけるデプスマップ上の点p2=(u2,v2)に投影される。ここで、(u2,v2)は、式(3)により得られたX2、Y2を用いて以下の式(4)と式(5)により求められる。
v2=fY2/Z2…式(5)
画像生成部207は、上記の式で求めた仮想視点におけるデプスマップ上の点p2=(u2,v2)の距離値をZ2として決定する。
実施例1では、各画素の画素値と被写体距離との組み合わせに基づいて、各画素の距離情報を補正する例について説明した。実施例2では、各画素の画素値と被写体距離との組み合わせに基づいて、各画素の画素値を補正する例について説明する。
本発明の実施形態は上述のものに限られない。例えば、上記の実施例では、ヒストグラム生成部203が同じ画素値と距離値との組み合わせを有するものの頻度をカウントし、ヒストグラム分布を生成したが、画素値と距離値とをより広い幅で量子化して頻度を積算するようにしてもよい。例えば、I=50、d=50のペア値の頻度として、I=49〜51、d=49〜51となる画素の数をカウントするようにしてもよい。このようにすれば、画素値や距離値の微小な揺らぎに対するロバスト性が向上する。一方、量子化の幅を広げると画素値の類似する被写体間でのロバスト性が低下するので、シーンに応じてΔpを切り替えるようにしてもよい。
201 画像取得部
202 距離取得部
204 決定部
205 補正部
Claims (21)
- 被写体の像を含む画像データを取得する画像取得手段と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、補正対象の画素として決定する決定手段と、
前記画像データまたは前記距離情報における前記補正対象の画素の値を補正する補正手段とを有することを特徴とする画像処理装置。 - 被写体の像を含む画像データを取得する画像取得手段と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記被写体距離の補正を行う補正対象の画素として決定する決定手段と、
前記決定手段により決定された前記補正対象の画素の前記被写体距離を補正する補正手段とを有することを特徴とする画像処理装置。 - 前記補正手段は、前記補正対象の画素における被写体距離を異なる値で置き換えることにより前記距離情報を補正することを特徴とする請求項1または2に記載の画像処理装置。
- 前記補正手段は、前記補正対象の画素との画素値の差が所定の閾値以下である画素に対応する被写体距離のうち、頻度が最も大きい被写体距離で前記補正対象の画素の被写体距離を置き換えることを特徴とする請求項2または3に記載の画像処理装置。
- 前記補正手段は、前記補正対象の画素を含む所定の大きさの画素ブロックに含まれる画素における被写体距離に基づいて、置き換えに用いる被写体距離を限定することを特徴とする請求項2乃至4の何れか一項に記載の画像処理装置。
- 前記補正手段は、前記画素ブロックに含まれる画素のうち、前記補正対象の画素との画素値の差が所定の閾値以下である画素の被写体距離を抽出し、前記抽出された被写体距離の最大値と最小値の間の範囲に、前記置き換えに用いる被写体距離を限定することを特徴とする請求項5に記載の画像処理装置。
- 前記補正手段により補正された距離情報と、前記画像取得手段により取得された画像とを用いて、前記画像取得手段により取得された画像とは異なる視点から見た場合の仮想視点画像を生成する生成手段を更に有することを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。
- 被写体の像を含む画像データを取得する画像取得手段と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得手段と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記画像データの画素値の補正を行う補正対象の画素として決定する決定手段と、
前記決定手段により決定された前記補正対象の画素の前記画素値を補正する補正手段とを有することを特徴とする画像処理装置。 - 前記補正手段は、前記補正対象の画素における画素値を異なる値で置き換えることにより前記画素値を補正することを特徴とする請求項1または8に記載の画像処理装置。
- 前記補正手段は、前記補正対象の画素との被写体距離の差が所定の閾値以下である画素の画素値のうち、頻度が最も大きい画素値で前記補正対象の画素の画素値を置き換えることを特徴とする請求項9に記載の画像処理装置。
- 前記補正手段は、前記補正対象の画素を含む所定の大きさの画素ブロックに含まれる画素における画素値に基づいて、前記置き換えに用いる画素値を限定することを特徴とする請求項9又は10に記載の画像処理装置。
- 前記補正手段は、前記画素ブロックに含まれる画素のうち、前記補正対象の画素との被写体距離の差が所定の閾値以下である画素の画素値を抽出し、前記画素ブロック内での頻度が所定の閾値よりも大きい画素値を、前記置き換えに用いる画素値の候補として限定することを特徴とする請求項11に記載の画像処理装置。
- 前記補正手段により補正された画像と、前記距離取得手段により取得された距離情報とを用いて、前記画像取得手段により取得された画像とは異なる視点から見た場合の仮想視点画像を生成する生成手段を更に有することを特徴とする請求項8乃至12のいずれか一項に記載の画像処理装置。
- 前記画像データの各画素における画素値と被写体距離との頻度を前記画素値と被写体距離との組み合わせごとにカウントするカウント手段を更に有し、
前記決定手段は、前記頻度が所定の閾値よりも小さい組み合わせの画素値と被写体距離とを有する画素を、前記補正対象の画素として決定することを特徴とする請求項1乃至13のいずれか一項に記載の画像処理装置。 - 前記カウント手段は、差が所定の閾値以下となる複数の異なる画素値の頻度を積算してカウントすることを特徴とする請求項14に記載の画像処理装置。
- 前記カウント手段は、差が所定の閾値以下となる複数の異なる被写体距離の頻度を積算してカウントすることを特徴とする請求項14又は15に記載の画像処理装置。
- 前記決定手段は、前記画像の各画素における画素値と被写体距離との組み合わせにおいて代表的な組み合わせである複数の代表ペアを決定し、
前記複数の代表ペアのいずれとも前記画素値および前記被写体距離の両方の差が所定の閾値以下とならない画素を前記補正対象の画素として決定することを特徴とする請求項1乃至13のいずれか一項に記載の画像処理装置。 - 被写体の像を含む画像データを取得する画像取得工程と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、補正対象の画素として決定する決定工程と、
前記画像データまたは前記距離情報における前記補正対象の画素の値を補正する補正工程とを有することを特徴とする画像処理方法。 - 被写体の像を含む画像データを取得する画像取得工程と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記被写体距離の補正を行う補正対象の画素として決定する決定工程と、
前記補正対象の画素の前記被写体距離を補正する補正工程とを有することを特徴とする画像処理方法。 - 被写体の像を含む画像データを取得する画像取得工程と、
前記画像データを撮像した撮像装置から前記被写体までの距離である被写体距離を前記画像データの各画素について示す距離情報を取得する距離取得工程と、
前記画像データの各画素における画素値と前記被写体距離との組み合わせを比較することで、前記画素値と前記被写体距離との組み合わせが異常である画素を検出し、前記組み合わせが異常であるとして検出された画素を、前記画像データの画素値の補正を行う補正対象の画素として決定する決定工程と、
前記補正対象の画素の前記画素値を補正する補正工程とを有することを特徴とする画像処理方法。 - コンピュータを請求項1乃至17のいずれか一項に記載の画像処理装置として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080440A JP6570296B2 (ja) | 2015-04-09 | 2015-04-09 | 画像処理装置、画像処理方法およびプログラム |
US15/092,096 US10194130B2 (en) | 2015-04-09 | 2016-04-06 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015080440A JP6570296B2 (ja) | 2015-04-09 | 2015-04-09 | 画像処理装置、画像処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016201668A JP2016201668A (ja) | 2016-12-01 |
JP2016201668A5 JP2016201668A5 (ja) | 2018-05-31 |
JP6570296B2 true JP6570296B2 (ja) | 2019-09-04 |
Family
ID=57112926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015080440A Active JP6570296B2 (ja) | 2015-04-09 | 2015-04-09 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10194130B2 (ja) |
JP (1) | JP6570296B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6570296B2 (ja) * | 2015-04-09 | 2019-09-04 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2017021759A (ja) * | 2015-07-15 | 2017-01-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9972092B2 (en) * | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
JP6801434B2 (ja) * | 2016-12-20 | 2020-12-16 | 富士通株式会社 | 生体画像処理装置、生体画像処理方法および生体画像処理プログラム |
US10373362B2 (en) * | 2017-07-06 | 2019-08-06 | Humaneyes Technologies Ltd. | Systems and methods for adaptive stitching of digital images |
US10992916B2 (en) * | 2017-07-26 | 2021-04-27 | Google Llc | Depth data adjustment based on non-visual pose data |
JP7187182B2 (ja) * | 2018-06-11 | 2022-12-12 | キヤノン株式会社 | データ生成装置、方法およびプログラム |
US11276166B2 (en) * | 2019-12-30 | 2022-03-15 | GE Precision Healthcare LLC | Systems and methods for patient structure estimation during medical imaging |
CN111325148B (zh) * | 2020-02-20 | 2023-07-28 | 北京市商汤科技开发有限公司 | 遥感影像的处理方法、装置、设备和存储介质 |
CN111901499B (zh) * | 2020-07-17 | 2022-04-01 | 青岛聚好联科技有限公司 | 一种计算视频图像中像素实际距离的方法及设备 |
US20230186550A1 (en) * | 2021-12-09 | 2023-06-15 | Unity Technologies Sf | Optimizing generation of a virtual scene for use in a virtual display environment |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4856612B2 (ja) * | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
JP5156837B2 (ja) * | 2007-11-09 | 2013-03-06 | トムソン ライセンシング | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 |
JP6016061B2 (ja) * | 2012-04-20 | 2016-10-26 | Nltテクノロジー株式会社 | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
JP6570296B2 (ja) * | 2015-04-09 | 2019-09-04 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
ES2756677T3 (es) * | 2016-09-26 | 2020-04-27 | Canon Kk | Aparato de procesamiento de imágenes, procedimiento de procesamiento de imágenes y programa |
JP6434947B2 (ja) * | 2016-09-30 | 2018-12-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
-
2015
- 2015-04-09 JP JP2015080440A patent/JP6570296B2/ja active Active
-
2016
- 2016-04-06 US US15/092,096 patent/US10194130B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10194130B2 (en) | 2019-01-29 |
US20160301908A1 (en) | 2016-10-13 |
JP2016201668A (ja) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
JP5954668B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
US10006762B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US11210842B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9613404B2 (en) | Image processing method, image processing apparatus and electronic device | |
JPWO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP5901447B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
US20150178595A1 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP2018195084A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
WO2019123554A1 (ja) | 画像処理装置、画像処理方法、及び、記録媒体 | |
US9706121B2 (en) | Image processing apparatus and image processing method | |
JP6395429B2 (ja) | 画像処理装置、その制御方法及び記憶媒体 | |
US9270883B2 (en) | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium | |
JP2016086245A (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法およびプログラム | |
JP6080424B2 (ja) | 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置 | |
KR20200057929A (ko) | 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램 | |
JP6351364B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7533937B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018059767A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018205205A (ja) | ステレオマッチング装置とステレオマッチング方法及びステレオマッチングプログラム | |
JP6831792B2 (ja) | 撮像装置、および、撮像システム | |
JP6066765B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2019047218A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190806 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6570296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |