JPWO2012111756A1 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JPWO2012111756A1 JPWO2012111756A1 JP2012558012A JP2012558012A JPWO2012111756A1 JP WO2012111756 A1 JPWO2012111756 A1 JP WO2012111756A1 JP 2012558012 A JP2012558012 A JP 2012558012A JP 2012558012 A JP2012558012 A JP 2012558012A JP WO2012111756 A1 JPWO2012111756 A1 JP WO2012111756A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- unit
- parallax
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/354—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying sequentially
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Abstract
本技術は、低解像度化されたデプス画像が送信される場合において、受信側で、そのデプス画像を用いて所定の視点の画像を高精度に生成することができるようにする画像処理装置および画像処理方法に関する。視差画像高解像度化部は、互換画像の解像度の1/2の解像度の補助画像の視差画像をそれぞれ高解像度化する。視差画像ワーピング処理部は、仮想視点の位置に基づいて、高解像度化された補助画像の視差画像に対してワーピング処理を行うことにより、仮想視点の視差画像を生成する。スムージング処理部は、仮想視点の視差画像を対象として、オクルージョン領域の視差値を補正する。本技術は、例えば、メガネ無し方式の3D画像を復号する復号装置に適用することができる。
Description
本技術は、画像処理装置および画像処理方法に関し、特に、低解像度化されたデプス画像が送信される場合において、受信側で、そのデプス画像を用いて所定の視点の画像を高精度に生成することができるようにした画像処理装置および画像処理方法に関する。
現在、3D画像の視聴方式としては、2視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される2視点の画像を見る方式(以下、メガネ有り方式という)が一般的である。
しかしながら、このようなメガネ有り方式では、視聴者は、3D画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに3D画像を視聴可能な視聴方式(以下、メガネ無し方式という)の需要が高まっている。
メガネ無し方式では、3視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。
メガネ無し方式の視聴を提供する復号装置は、例えば、2視点の画像から3視点以上の視点(以下では、3視点以上の視点を多視点という)の画像を生成し、表示する。具体的には、符号化装置が、2視点の画像の視差(depth)値を求め、その視差値を輝度値等で表す視差画像(デプス画像)を復号装置に伝送する。そして、復号装置は、受信された2視点の画像の視差画像のワーピング処理を行うことにより多視点の視差画像を生成し、その多視点の視差画像を用いて2視点の画像のワーピング処理を行うことにより多視点の画像を生成し、合成して表示する。
なお、ワーピング処理とは、所定の視点の視差画像(または画像)の各画素の視差値(または画素値)を、その画素に対応する、仮想視点の視差画像(または画像)上の画素の視差値(または画素値)とする処理である。
また、既存の画像の符号化方式としては、AVC(Advanced Video Coding)やMVC(Multiview Video Coding)方式がある。さらに、多視点の画像を符号化する方式も考案されている(例えば、特許文献1参照)。
ところで、メガネ無し方式の視聴を提供する復号装置に対応する符号化装置が、視差画像を低解像度化することにより、視差画像のデータ量を削減する場合、復号装置は、受信された視差画像を高解像度化し、低解像度化前の視差画像を生成する必要がある。
しかしながら、低解像度化された視差画像を高解像度化し、低解像度化前の視差画像を生成することは困難である。特に、視差値が大きく変化する境界位置では、低解像度化前の視差値と高解像度化後の視差値の誤差が大きくなる。その結果、復号装置において、視差画像のワーピング処理が正確に行われず、ワーピング処理後の視差画像を用いて生成される所定の視点の画像が破綻する場合があった。
本技術は、このような状況に鑑みてなされたものであり、低解像度化された視差画像が送信される場合において、受信側で、その視差画像を用いて所定の視点の画像を高精度に生成することができるようにするものである。
本技術の一側面の画像処理装置は、低解像度化されたデプス画像を受け取る受け取り部と、前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と、前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正部とを備える画像処理装置である。
本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
本技術の一側面においては、低解像度化されたデプス画像が受け取られ、受け取られた前記デプス画像が高解像度化され、仮想視点の位置に基づいて、高解像度化された前記デプス画像に対してワーピング処理が行われることにより、前記仮想視点のデプス画像が生成され、前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値が補正される。
なお、本技術の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本技術の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の一側面によれば、低解像度化されたデプス画像が送信されてくる場合において、そのデプス画像を用いて所定の視点の画像を高精度に生成することができる。
<本明細書におけるデプス画像(視差画像)の説明>
図23は、視差と奥行きについて説明する図である。
図23は、視差と奥行きについて説明する図である。
図23に示すように、被写体Mのカラー画像が、位置C1に配置されたカメラc1と位置C2に配置されたカメラc2により撮影される場合、被写体Mの、カメラc1(カメラc2)からの奥行方向の距離である奥行きZは、以下の式(a)で定義される。
なお、Lは、位置C1と位置C2の水平方向の距離(以下、カメラ間距離という)である。また、dは、カメラc1で撮影された撮影画像上の被写体Mの位置の、撮影画像の中心からの水平方向の距離u1から、カメラc2で撮影された撮影画像上の被写体Mの位置の、撮影画像の中心からの水平方向の距離u2を減算した値、即ち視差である。さらに、fは、カメラc1の焦点距離であり、式(a)では、カメラc1とカメラc2の焦点距離は同一であるものとしている。
式(a)に示すように、視差dと奥行きZは、一意に変換可能である。従って、本明細書では、カメラc1とカメラc2により撮影された2視点のカラー画像の視差dを表す画像と奥行きZを表す画像とを総称して、デプス画像(視差画像)とする。
なお、デプス画像(視差画像)は、視差dまたは奥行きZを表す画像であればよく、デプス画像(視差画像)の画素値としては、視差dまたは奥行きZそのものではなく、視差dを正規化した値、奥行きZの逆数1/Zを正規化した値等を採用することができる。
視差dを8bit(0〜255)で正規化した値Iは、以下の式(b)により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
なお、式(b)において、Dmaxは、視差dの最大値であり、Dminは、視差dの最小値である。最大値Dmaxと最小値Dminは、1画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きZの逆数1/Zを8bit(0〜255)で正規化した値yは、以下の式(c)により求めることができる。なお、奥行きZの逆数1/Zの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
なお、式(c)において、Zfarは、奥行きZの最大値であり、Znearは、奥行きZの最小値である。最大値Zfarと最小値Znearは、1画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差dを正規化した値Iを画素値とする画像と、奥行きZの逆数1/Zを正規化した値yを画素値とする画像とを総称して、デプス画像(視差画像)とする。ここでは、デプス画像(視差画像)のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像(視差画像)の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報(視差情報)とする。更に、値I又は値yをマッピングしたものをデプスマップ(視差マップ)とする。
<第1実施の形態>
[符号化装置の第1実施の形態の構成例]
図1は、本技術を適用した画像処理装置に対応する符号化装置の第1実施の形態の構成例を示すブロック図である。
[符号化装置の第1実施の形態の構成例]
図1は、本技術を適用した画像処理装置に対応する符号化装置の第1実施の形態の構成例を示すブロック図である。
図1の符号化装置50は、撮影部51A乃至51C、画像変換部52、視差画像生成部53、画像情報生成部54、互換情報生成部55、撮影情報生成部56、視差画像多重化情報生成部57、エンコーダ58、および多重化部59により構成される。
符号化装置50は、視差画像を低解像度化して符号化し、伝送する。
具体的には、符号化装置50において、撮影部51Aは、所定の視点のHD(High Definition)画像を視点画像A1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。撮影部51Bは、撮影部51Aから距離Δd1ABだけ水平方向に離れた位置で、視点画像A1とは異なる視点のHD画像を視点画像B1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。撮影部51Cは、撮影部51Aから距離Δd1ACだけ撮影部51Aとは反対の水平方向に離れた位置で、視点画像A1および視点画像B1とは異なる視点のHD画像を視点画像C1として撮影し、画像変換部52、視差画像生成部53、および撮影情報生成部56に供給する。
なお、視点画像B1と視点画像C1に対応する視点は、3D画像として知覚可能な画像の視点のうち、より外側の視点である。これにより、符号化装置50に対応する復号装置は、視点画像A1乃至視点画像C1を用いて、視点画像B1および視点画像C1の視点より内側の視点の画像を補間することで、多視点の画像を生成することができる。その結果、内側の視点の画像を用いて外側の視点の画像を補間する場合に比べて、多視点の画像を高精度に生成することができる。距離Δd1ABと距離Δd1ACは、固定であってもよいし、時間ごとに変化するようにしてもよい。
画像変換部52は、撮影部51A乃至撮影部51Cのうちの水平方向の位置が内側にある撮影部51Aから供給される視点画像A1を互換画像に決定する。なお、互換画像とは、多視点の画像のうちの、既存の符号化装置との互換性を確保するために既存の符号化方式で符号化される画像である。画像変換部52は、互換画像として視点画像A1を指定する情報を互換情報生成部55に供給し、互換画像である視点画像A1をそのままエンコーダ58に供給する。
また、画像変換部52は、視点画像A1以外の視点画像B1および視点画像C1を補助画像とする。なお、補助画像とは、互換画像を用いて互換画像の視点数より多い視点の画像を生成するための画像である。画像変換部52は、所定の多重化方式に基づいて、補助画像である視点画像B1および視点画像C1を低解像度化して多重化する。具体的には、例えば多重化方式がサイドバイサイド方式である場合、画像変換部52は、視点画像B1および視点画像C1の解像度を半分にする。そして、画像変換部52は、解像度が半分にされた視点画像B1(以下、1/2解像度視点画像B1という)が画面の左半分の画像となり、解像度が半分にされた視点画像C1(以下、1/2解像度視点画像C1という)が画面の右半分の画像となるように、1/2解像度視点画像B1および1/2解像度視点画像C1を多重化する。画像変換部52は、多重化の結果得られる多重化画像をエンコーダ58に供給し、補助画像の多重化方式を示す情報を画像情報生成部54に供給する。
視差画像生成部53は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1の各画素の視差値を検出する。視差画像生成部53は、互換画像である視点画像A1の各画素の視差値を表す視差画像A1’を生成し、エンコーダ58に供給する。
また、視差画像生成部53は、所定の多重化方式に基づいて、視差画像B1’と視差画像C1’を低解像度化して多重化し、その結果得られる多重化画像をエンコーダ58に供給する。視差画像生成部53は、補助画像の視差画像の多重化方式を示す情報を視差画像多重化情報生成部57に供給する。
画像情報生成部54は、画像変換部52から供給される情報に基づいて、補助画像の多重化方式を示す情報などを、互換画像および補助画像に関する情報である画像情報として生成し、エンコーダ58に供給する。
互換情報生成部55は、画像変換部52から供給される情報に基づいて、互換画像を指定する情報、互換モードなどを、互換に関する情報である互換情報として生成し、エンコーダ58に供給する。
なお、互換モードとは、互換画像の符号化方法を表すモードである。互換モードとしては、例えば、1視点の互換画像をAVC方式で符号化する符号化方法を表すモノモード(mono)、2視点の互換画像を多重化し、AVC方式で符号化する符号化方法を表すフレームパッキングモード(frame packing)、2視点の互換画像をMVC方式で符号化する符号化方法を表すステレオモード(stereo)などがある。
撮影情報生成部56は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1のうちの2枚の視点画像の視点間の距離(以下、視点間距離という)を検出する。具体的には、撮影情報生成部56は、撮影部51Aと撮影部51Bの間の水平方向の距離Δd1AB、および、撮影部51Aと撮影部51Cの間の水平方向の距離Δd1ACを視点間距離として検出する。
また、撮影情報生成部56は、撮影部51A乃至撮影部51Cから、撮影部51A乃至撮影部51Cの内部パラメータとワーピング処理用の回転行列を取得する。なお、内部パラメータとしては、焦点距離、画像中心である主点(レンズの光学的な中心)の位置、半径方向の歪み係数などがある。撮影情報生成部56は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ58に供給する。
視差画像多重化情報生成部57は、視差画像生成部53から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などの視差画像の多重化に関する情報を、視差画像多重化情報として生成し、エンコーダ58に供給する。
エンコーダ58は、互換用エンコーダ61と補助用エンコーダ62により構成される。互換用エンコーダ61は、画像変換部52から供給される互換画像の多重化画像を既存のAVC方式で符号化して各種の情報を付加し、その結果得られる符号化ストリームを互換ストリームとして多重化部59に供給する。
補助用エンコーダ62は、画像変換部52からの補助画像の多重化画像、並びに視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。なお、補助用エンコーダ62における符号化方式としては、AVC方式、MVC方式、MPEG2(Moving Picture Experts Group phase 2)方式などを用いることができる。
また、補助用エンコーダ62は、符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ62は、その符号化ストリームを補助ストリームとして多重化部59に供給する。
多重化部59は、互換用エンコーダ61から供給される互換ストリームと補助用エンコーダ62から供給される補助ストリームから、それぞれTS(Transport Stream)を生成し、多重化する。多重化部59は、多重化の結果得られる多重化ストリームを伝送する。
[符号化装置の処理の説明]
図2および図3は、図1の符号化装置50による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。
図2および図3は、図1の符号化装置50による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。
図2のステップS10において、撮影情報生成部56は、撮影部51A乃至撮影部51Cから、撮影部51A乃至撮影部51Cの内部パラメータとワーピング処理用の回転行列を取得する。
ステップS11において、撮影情報生成部56は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて、視点画像A1乃至視点画像C1のうちの2枚の視点画像の視点間距離を検出する。
ステップS12において、撮影情報生成部56は、視点間距離、内部パラメータ、ワーピング処理用の回転行列などの撮影に関する情報を撮影情報として生成し、エンコーダ58に供給する。
ステップS13において、画像変換部52は、撮影部51A乃至撮影部51Cのうちの水平方向の位置が内側にある撮影部51Aから供給される視点画像A1を互換画像に決定し、補助画像の多重化方式を決定する。画像変換部52は、互換画像として視点画像A1を指定する情報を互換情報生成部55に供給し、補助画像の多重化方式を画像情報生成部54に供給する。
ステップS14において、互換情報生成部55は、画像変換部52から供給される情報に基づいて、互換画像として視点画像A1を指定する情報、互換モードとしてのモノモードなどを互換情報として生成し、エンコーダ58に入力する。
ステップS15において、画像情報生成部54は、画像変換部52から供給される情報に基づいて、補助画像の多重化方式を示す情報などを画像情報として生成し、エンコーダ58に入力する。
ステップS16において、画像変換部52は、視点画像A1以外の視点画像B1および視点画像C1を補助画像とし、ステップS13で決定された補助画像の多重化方式に基づいて補助画像を低解像度化して多重化し、補助画像の多重化画像を得る。
ステップS17において、画像変換部52は、互換画像である視点画像A1と補助画像の多重化画像をエンコーダ58に入力する。
図3のステップS18において、視差画像生成部53は、撮影部51A乃至撮影部51Cから供給される視点画像A1乃至視点画像C1を用いて視点画像A1乃至視点画像C1の各画素の視差値を検出し、視差画像A1’乃至視差画像C1’を生成する。
ステップS19において、視差画像生成部53は、補助画像の視差画像の多重化方式を決定し、その多重化方式を示す情報を視差画像多重化情報生成部57に供給する。
ステップS20において、視差画像多重化情報生成部57は、視差画像生成部53から供給される情報に基づいて、補助画像の視差画像の多重化方式を示す情報などを、視差画像多重化情報として生成し、エンコーダ58に入力する。
ステップS21において、視差画像生成部53は、ステップS21で決定された補助画像の視差画像の多重化方式に基づいて、補助画像の視差画像B1’と視差画像C1’を低解像度化して多重化し、補助画像の視差画像の多重化画像を得る。
ステップS22において、視差画像生成部53は、互換画像の視差画像A1'と補助画像の視差画像の多重化画像をエンコーダ58に入力する。
ステップS23において、エンコーダ58の互換用エンコーダ61は、画像変換部52から供給される互換画像である視点画像A1を既存のAVC方式で符号化し、その結果得られる符号化ストリームを互換ストリームとして多重化部59に供給する。
ステップS24において、補助用エンコーダ62は、画像変換部52からの補助画像の多重化画像、並びに、視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
ステップS25において、補助用エンコーダ62は、ステップS24の処理による符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、および視差画像多重化情報生成部57からの視差画像多重化情報などを付加して、符号化ストリームを生成する。補助用エンコーダ62は、その符号化ストリームを補助ストリームとして多重化部59に供給する。
ステップS26において、多重化部59は、互換用エンコーダ61から供給される互換ストリームと、補助用エンコーダ62から供給される補助ストリームから、それぞれTSを生成し、多重化して送信する。そして、処理は終了する。
以上のように、符号化装置50は、補助画像および補助画像の視差画像の解像度を低解像度化して符号化するので、低解像度化せずに符号化する場合に比べて、符号化対象の情報量を削減し、符号化処理および復号処理の処理コストを軽減することができる。その結果、復号装置における復号処理の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
また、符号化装置50は、多視点の画像のうちの1視点の画像を互換画像とし、既存の符号化方式で符号化するので、既存の2D画像を符号化する符号化装置との互換性を確保することができる。
さらに、符号化装置50は、視差画像を生成し、符号化ストリームに含めて送信するので、符号化装置50に対応する復号装置は、多視点の画像を生成するために視差画像を生成する必要がなく、復号装置の処理の負荷を軽減することができる。その結果、復号装置のコストを低減することができる。また、復号装置の視差検出の性能が多視点の画像の画質に大きな影響を及ぼすことを防止することができる。
[復号装置の構成例]
図4は、図1の符号化装置50から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
図4は、図1の符号化装置50から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
図4の復号装置120は、分離部121、デコーダ122、画像情報取得部123、撮影情報取得部124、視差画像多重化情報取得部125、互換情報取得部126、および画像生成部127により構成される。復号装置120は、符号化装置50から送信される多重化ストリームを復号し、視差画像のワーピング処理を行って多視点の画像を生成し、図示せぬ表示装置に表示させる。
具体的には、復号装置120の分離部121は、受け取り部として機能し、符号化装置50から送信されてくる多重化ストリームを受け取り、TSごとに分離する。分離部121は、分離されたTSから互換ストリームと補助ストリームを抽出し、デコーダ122に供給する。
デコーダ122は、互換用デコーダ131と補助用デコーダ132により構成される。デコーダ122の互換用デコーダ131は、補助用デコーダ132から供給される互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。互換用デコーダ131は、互換情報に基づいて、互換ストリームに含まれる符号化された互換画像をAVC方式に対応する方式で復号する。互換用デコーダ131は、復号の結果得られる視点画像A1を画像生成部127に供給する。
補助用デコーダ132は、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。補助用デコーダ132は、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ132は、復号部として機能し、分離部121から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図1の補助用エンコーダ62に対応する方式で復号する。
補助用デコーダ132は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部127に供給する。また、補助用デコーダ132は、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ132は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。
画像情報取得部123は、補助用デコーダ132から供給される画像情報を取得し、画像生成部127に供給する。撮影情報取得部124は、補助用デコーダ132から供給される撮影情報を取得し、画像生成部127に供給する。
視差画像多重化情報取得部125は、補助用デコーダ132から供給される視差画像多重化情報を取得し、画像生成部127に供給する。互換情報取得部126は、補助用デコーダ132から供給される互換情報を取得し、画像生成部127に供給する。
画像生成部127は、2D画像生成部141と3D画像生成部142により構成される。画像生成部127の2D画像生成部141は、視聴者からの2D画像表示指令に応じて、互換用デコーダ131から供給される互換画像である視点画像A1を出力して、図示せぬ表示装置に表示させる。これにより、視聴者は、2D画像を見ることができる。
また、3D画像生成部142は、デコーダ122から供給される視点画像A1、補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、3D画像生成部142は、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。
[3D画像生成部の詳細構成例]
図5は、図4の3D画像生成部142の詳細構成例を示すブロック図である。
図5は、図4の3D画像生成部142の詳細構成例を示すブロック図である。
図5に示すように、3D画像生成部142は、仮想視点位置決定部160、視差画像分離部161、視差画像高解像度化部162、視差画像ワーピング処理部163、視差画像ワーピング処理部164、スムージング処理部165、スムージング処理部166、視点画像ワーピング処理部167、視点画像ワーピング処理部168、視点画像分離部169、視点画像高解像度化部170、多視点画像生成部171、および多視点画像合成処理部172により構成される。
3D画像生成部142の仮想視点位置決定部160は、撮影情報取得部124から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、生成する多視点の画像の視点の位置を仮想視点の位置として決定する。そして、仮想視点位置決定部160は、各仮想視点の位置に基づいて、視差画像ワーピング処理部163と視差画像ワーピング処理部164のそれぞれに対して、その仮想視点の画像の生成に用いる、その仮想視点より外側の視点の視差画像を特定する情報である視差画像特定情報を生成する。なお、各仮想視点に対して、視差画像ワーピング処理部163に供給される視差画像特定情報と、視差画像ワーピング処理部164に供給される視差画像特定情報は異なるように生成される。
また、仮想視点位置決定部160は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部163と視差画像ワーピング処理部164に供給する。
視差画像分離部161は、互換情報取得部126から供給される互換情報に基づいて、デコーダ122から供給される互換画像の視差画像A1’をそのまま視差画像高解像度化部162に供給する。また、視差画像分離部161は、デコーダ122から供給される補助画像の視差画像の多重化画像を、視差画像多重化情報取得部125から供給される視差画像多重化情報に基づいて分離する。そして、視差画像分離部161は、その結果得られる互換画像の解像度の1/2の解像度の視点画像B1および視点画像C1の視差画像を視差画像高解像度化部162に供給する。
視差画像高解像度化部162は、高解像度化部として機能し、視差画像分離部161から供給される互換画像の解像度の1/2の解像度の視点画像B1および視点画像C1の視差画像をそれぞれ高解像度化する。これにより、視差画像高解像度化部162は、互換画像と同一の解像度の視点画像B1と視点画像C1の視差画像を得る。そして、視差画像高解像度化部162は、得られた視点画像B1と視点画像C1の視差画像、並びに、視差画像分離部161から供給される視差画像A1’を、視差画像ワーピング処理部163および視差画像ワーピング処理部164に供給する。
視差画像ワーピング処理部163は、視差画像ワーピング処理部として機能する。具体的には、視差画像ワーピング処理部163は、仮想視点ごとに、仮想視点位置決定部160から供給される視差画像特定情報に基づいて、視差画像高解像度化部162から供給される視点画像B1および視点画像C1の視差画像並びに視差画像A1’のうちの1つを選択する。視差画像ワーピング処理部163は、仮想視点ごとに、撮影情報取得部124からの撮影情報、および、仮想視点位置決定部160からの仮想視点の位置に基づいて、選択された視差画像のワーピング処理を行う。視差画像ワーピング処理部163は、ワーピング処理により生成される各仮想視点の視差画像をスムージング処理部165に供給する。
視差画像ワーピング処理部164は、視差画像ワーピング処理部として機能し、視差画像ワーピング処理部163と同様の処理を行い、その結果生成された各仮想視点の視差画像を、スムージング処理部166に供給する。
スムージング処理部165は、補正部として機能し、視差画像ワーピング処理部163から供給される各仮想視点の視差画像に対して、オクルージョン領域(詳細は後述する)内の0以外の視差値を取り除くスムージング処理を行う。具体的には、スムージング処理部165は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出し、その視差値を0に補正する。スムージング処理部165は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部167に供給する。
なお、オクルージョン領域とは、仮想視点と、実際に撮影された視点画像の視点が異なることによって生じる、仮想視点の画像には存在するが、その仮想視点の視差画像の生成に用いられた視差画像に対応する視点画像には存在しない領域である。また、ワーピング処理後の視差画像のうち、ワーピング処理前の視差画像の画素と対応しない画素の視差値は0とされる。従って、本来、オクルージョン領域の視差値は0であり、オクルージョン領域は黒画で表される。
スムージング処理部166は、補正部として機能し、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に対して、スムージング処理部165と同様にスムージング処理を行う。そして、スムージング処理部166は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部168に供給する。
視点画像ワーピング処理部167は、視点画像ワーピング処理部として機能する。具体的には、視点画像ワーピング処理部167は、スムージング処理部165から供給される各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部170から供給される視点画像のワーピング処理を行う。視点画像ワーピング処理部167は、ワーピング処理の結果得られるオクルージョン領域を有する各仮想視点の画像を多視点画像生成部171に供給する。
視点画像ワーピング処理部168は、視点画像ワーピング処理部として機能し、スムージング処理部166から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部167と同様の処理を行う。
視点画像分離部169は、互換情報取得部126から供給される互換情報に基づいて、デコーダ122から供給される互換画像である視点画像A1を、そのまま視点画像高解像度化部170に供給する。また、視点画像分離部169は、画像情報取得部123から供給される画像情報に基づいて、デコーダ122から供給される補助画像の多重化画像を分離する。視点画像分離部169は、その結果得られる互換画像の解像度の1/2の解像度の視点画像B1および視点画像C1を視点画像高解像度化部170に供給する。
視点画像高解像度化部170は、視点画像分離部169から供給される互換画像の解像度の1/2の解像度の視点画像B1および視点画像C1それぞれに対して補間処理を行うことにより、高解像度化を行う。これにより、視点画像高解像度化部170は、互換画像と同一の解像度の視点画像B1および視点画像C1を得る。そして、視点画像高解像度化部170は、得られた視点画像B1および視点画像C1の視差画像、並びに、視点画像分離部169から供給される視点画像A1を、視点画像ワーピング処理部167および視点画像ワーピング処理部168に供給する。
多視点画像生成部171は、補間部として機能し、仮想視点ごとに、視点画像ワーピング処理部167および視点画像ワーピング処理部168のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部171は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部172に供給する。
多視点画像合成処理部172は、多視点画像生成部171から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の1の解像度に変換して合成し、図示せぬ表示装置に表示させる。
[仮想視点の画像の生成の説明] 図6は、図5の3D画像生成部142による仮想視点の画像の生成を説明する図である。
図6に示すように、視差画像ワーピング処理部163および視差画像ワーピング処理部164は、視差画像特定情報に基づいて、それぞれ、異なる視差画像を選択する。図6の例では、視差画像ワーピング処理部163は、画面上の左側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像(以下、視差画像#1という)を選択している。また、視差画像ワーピング処理部164は、画面上の右側に位置する視差値が0以外の所定値である円形の領域と、その領域以外の視差値が0である領域からなる視差画像(以下、視差画像#2という)を選択している。
視差画像ワーピング処理部163と視差画像ワーピング処理部164は、それぞれ、仮想視点の位置と撮影情報に基づいて、選択された視差画像のワーピング処理を行い、仮想視点の視差画像を生成する。そして、スムージング処理部165とスムージング処理部166は、それぞれ、生成された仮想視点の視差画像に対してスムージング処理を行う。
これにより、図6に示すように、仮想視点の視差画像#1は、例えば、視差画像#1内の円形の領域が右側に移動し、その円形の領域の左側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。また、仮想視点の視差画像#2は、例えば、視差画像#2内の円形の領域が左側に移動し、その円形の領域の右側に発生している、図中黒く塗りつぶされているオクルージョン領域の全ての視差値が0である視差画像となる。なお、仮想視点の視差画像#1内の円形の領域の位置と仮想視点の視差画像#2内の円形の領域の位置は、同一である。
視点画像ワーピング処理部167は、仮想視点の視差画像#1に基づいて、視差画像#1に対応する視点画像#1のワーピング処理を行う。図6の例では、視点画像#1は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像#1は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像#1に比べて右側に移動し、その領域の左側にオクルージョン領域が存在する画像となる。
一方、視点画像ワーピング処理部168は、仮想視点の視差画像#2に基づいて、視差画像#2に対応する視点画像#2のワーピング処理を行う。図6の例では、視点画像#2は、視差値が0以外の所定値である円形の領域が、その領域以外の視差値が0である領域とは異なる色の画像となっている。従って、ワーピング処理後の視点画像#2は、周囲の領域と色が異なる円形の領域がワーピング処理前の視点画像#2に比べて左側に移動し、その領域の右側にオクルージョン領域が存在する画像となる。
多視点画像生成部171は、ワーピング処理後の視点画像#1および視点画像#2のいずれか一方の視点画像のオクルージョン領域を、他方の視点画像で補間する。具体的には、視差画像特定情報は、仮想視点より外側の視点の視差画像を特定する情報であるので、ワーピング処理後の視点画像#1および視点画像#2のいずれか一方に存在するオクルージョン領域の画像は、他方の視点画像内に存在する。従って、多視点画像生成部171は、ワーピング処理後の視点画像#1および視点画像#2のいずれか一方に存在するオクルージョン領域の画像を、他方の視点画像内に存在する、そのオクルージョン領域の画像で補間する。これにより、図6に示すように、オクルージョン領域が存在しない仮想視点の画像が生成される。
[視差画像のワーピング処理の説明]
図7は、視差画像のワーピング処理を説明する図である。
図7は、視差画像のワーピング処理を説明する図である。
視差画像のワーピング処理では、まず、図7に示すように、選択された位置t(tx,ty,tz)の視点の視差画像の各画素の位置m(x,y,z)と、位置t'(t'x,t'y,t'z)の仮想視点の視差画像の位置m'(x',y',z')を、3次元空間を介して対応付ける。
具体的には、以下の式(1)により、位置t(tx,ty,tz)の視点の視差画像の視差値Zの画素の位置m(x,y,z)に対応する3次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'(t'x,t'y,t'z)の仮想視点の視差画像の位置m'(x',y',z')が求められる。
(X,Y,Z)T=RA−1(x,y,1)TZ+(tx,ty,tz)T
s(x',y',1)T=A’R'−1[(X,Y,Z)T-(t'x,t'y,t'z)T]
・・・(1)
s(x',y',1)T=A’R'−1[(X,Y,Z)T-(t'x,t'y,t'z)T]
・・・(1)
なお、式(1)において、Rは、視差画像を撮影する撮影部51A乃至撮影部51Cのワーピング処理用の回転行列であり、以下の式(2)で表される。
なお、式(2)において、r_11乃至r_13,r_21乃至r_23、およびr_31乃至r_33は、所定値である。
また、式(1)において、Aは、視差画像を撮影する撮影部51A乃至撮影部51Cの内部パラメータを含む行列であり、以下の式(3)で表される。
なお、式(3)において、focal_length_x,focal_length_yは、それぞれ、内部パラメータに含まれるx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータに含まれる主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータに含まれる半径方向の歪み係数を表す。
さらに、式(1)において、R’は、Rと同様に表される仮想視点の視差画像を撮影する仮想の撮影部のワーピング処理用の回転行列であり、A’は、Aと同様に表される仮想視点の視差画像を撮影する仮想の撮影部の内部パラメータを含む行列である。また、式(1)においてsは、スケーリングファクタ(scaling factor)である。
以上のようにして対応付けが行われた後、各画素の位置m(x,y,z)に対応する位置m'(x',y',z')に基づいて、選択された視差画像の各画素に対応する仮想視点の視差画像の各画素が決定される。なお、仮想視点の視差画像の所定の画素に、複数の画素が対応付けられる場合、その複数の画素のうちの視差値が最も大きい画素、即ち手前側の被写体に対応する画素が、仮想視点の視差画像の所定の画素に対応する画素とされる。そして、選択された視差画像の各画素の視差値が、その画素に対応する仮想視点の視差画像の画素の視差値とされ、その結果、仮想視点の視差画像が生成される。
図8は、符号化装置50の視差画像生成部53により低解像度化される前の視差画像と、その視差画像のワーピング処理結果を示す図である。なお、図8において、小さい丸は画素を表し、丸の柄は視差値を表す。このことは、後述する図9および図10においても同様である。
図8の例では、低解像度化される前の視差画像が、図8のAに示すように、画面中央に位置する円形の領域の視差値が0とは大きく異なる所定値であり、その領域以外の領域の視差値が0である視差画像である。この場合、低解像度化される前の視差画像のワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図8のBに示すように、円形の領域が10画素だけ左側に移動する。
図9は、符号化装置50の視差画像生成部53により低解像度化された視差画像、視差画像高解像度化部162により高解像度化された視差画像、および、高解像度化された視差画像のワーピング処理結果を示す図である。
視差画像生成部53が、図8のAの低解像度化される前の視差画像の水平方向に隣接する2つの画素の視差値の平均値を、その画素に対応する低解像度化後の視差画像の画素の視差値とすることにより低解像度化する場合、低解像度化された視差画像は、図9のAに示すようになる。
なお、図9において、縦線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と、灰色が付された丸で表される画素の視差値の平均値である。また、図9のAでは、説明の便宜上、低解像度化前の画素を丸で表しており、低解像度化により間引かれる画素は、柄が付されない丸で表している。
図9のAの低解像度化された視差画像が供給される場合、視差画像高解像度化部162は、例えば、高解像度化後の視差画像の各画素の視差値を、その画素に対応する、図9のAの低解像度化された視差画像の水平方向に隣接する2つの画素の視差値を用いて線形補間することにより高解像度化を行う。これにより、図9のBの高解像度化された視差画像が生成される。なお、図9において、横線が付された丸で表される画素の視差値は、チェック柄が付された丸で表される画素の視差値と縦線が付された丸で表される画素の視差値の範囲内の値である。
図9のBの高解像度化された視差画像に対してワーピング処理が行われると、ワーピング処理の結果得られる仮想視点の視差画像では、例えば、図9のCに示すように、図中斜線で示すオクルージョン領域に0以外の視差値が対応付けられる。具体的には、例えば、本来、横線が付された丸で表される画素は、図8のBに示したように、10画素だけ左側に移動する必要があるが、図9のCに示すように、5画素だけしか左側に移動しない。即ち、正確にワーピング処理が行われない。その結果、仮想視点の画像内の、本来画素値が対応付けられないオクルージョン領域に画素値が存在し、その画素値が多視点画像生成部171による補間時に他の仮想視点の画像により補間されないため、仮想視点の画像が破綻する。
そこで、3D画像生成部142では、スムージング処理部165およびスムージング処理部166が、スムージング処理を行い、オクルージョン領域内の0以外の視差値を0に補正する。
[スムージング処理の説明]
図10は、図5のスムージング処理部165(166)によるスムージング処理を説明する図である。
図10は、図5のスムージング処理部165(166)によるスムージング処理を説明する図である。
図10の左側に示すように、図5の視差画像ワーピング処理部163(164)が、図9のCの仮想視点の視差画像を生成する場合、スムージング処理部165(166)は、その視差画像のオクルージョン領域内の視差値が0以外である画素を検出する。そして、図10の右側に示すように、スムージング処理部165(166)は、オクルージョン領域内の視差値が0以外である画素の視差値を0に補正する。
このように、スムージング処理部165(166)は、オクルージョン領域内の0以外の視差値に対応する画素を検出し、その画素の視差値を0に補正するので、仮想視点の画像のオクルージョン領域内に誤って画素値が配置されることを防止することができる。その結果、仮想視点の画像の破綻を防止することができる。
[復号装置の処理の説明]
図11は、図4の復号装置120による復号処理を説明するフローチャートである。この復号処理は、例えば、図1の符号化装置50から送信される多重化ストリームが復号装置120に入力されたとき、開始される。
図11は、図4の復号装置120による復号処理を説明するフローチャートである。この復号処理は、例えば、図1の符号化装置50から送信される多重化ストリームが復号装置120に入力されたとき、開始される。
図11のステップS61において、復号装置120の分離部121は、符号化装置50から送信されてくる多重化ストリームを受信し、TSごとに分離する。分離部121は、分離されたTSから互換ストリームと補助ストリームを抽出し、デコーダ122に供給する。デコーダ122の補助用デコーダ132は、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。
ステップS62において、互換用デコーダ131は、補助用デコーダ132から供給される互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、互換ストリームを識別する。
ステップS63において、互換用デコーダ131は、互換情報に基づいて、互換ストリームに含まれる互換画像をAVC方式に対応する方式で復号し、その結果得られる視点画像A1を画像生成部127に供給する。
ステップS64において、画像生成部127は、視聴者から2D画像の表示が指令されたかどうかを判定する。ステップS64で視聴者から2D画像の表示が指令されていないと判定された場合、即ち視聴者からメガネ無し方式の3D画像の表示が指令された場合、補助用デコーダ132は、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうちの補助ストリームを識別する。
そして、ステップS65において、補助用デコーダ132は、補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を、図1の補助用エンコーダ62に対応する方式で復号する。補助用デコーダ132は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を画像生成部127に供給する。また、補助用デコーダ132は、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ132は、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。
ステップS66において、画像情報取得部123は、補助用デコーダ132から供給される画像情報を取得し、画像生成部127に入力する。ステップS67において、撮影情報取得部124は、補助用デコーダ132から供給される撮影情報を取得し、画像生成部127に入力する。
ステップS68において、視差画像多重化情報取得部125は、補助用デコーダ132から供給される視差画像多重化情報を取得し、画像生成部127に入力する。ステップS69において、互換情報取得部126は、補助用デコーダ132から供給される互換情報を取得し、画像生成部127に入力する。
ステップS70において、画像生成部127の3D画像生成部142は、多視点の画像の合成画像を生成する多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図12を参照して説明する。
ステップS71において、画像生成部127は、ステップS70の処理により生成される多視点の画像の合成画像を図示せぬ表示装置に出力し、視点ごとに視認可能な角度が異なるように表示させる。そして、処理は終了する。
一方、ステップS64で視聴者から2D画像の表示が指令されたと判定された場合、ステップS72において、画像生成部127の2D画像生成部141は、互換用デコーダ131から供給される互換画像である視点画像A1を図示せぬ表示装置に出力し、表示させる。そして、処理は終了する。
図12は、図11のステップS70の多視点画像生成処理の詳細を説明するフローチャートである。
図12のステップS90において、3D画像生成部142の仮想視点位置決定部160(図5)は、撮影情報取得部124から供給される撮影情報に含まれる視点間距離と、図示せぬ表示装置に対応する視点数に基づいて、各仮想視点の位置を決定する。そして、仮想視点位置決定部160は、各仮想視点の位置に基づいて、視差画像ワーピング処理部163と視差画像ワーピング処理部164のそれぞれに対して、視差画像特定情報を生成する。また、仮想視点位置決定部160は、各仮想視点の位置と、対応する視差画像特定情報を視差画像ワーピング処理部163と視差画像ワーピング処理部164に供給する。
ステップS91において、視差画像分離部161は、補助用デコーダ132から供給される互換画像の視差画像A1’と補助画像の視差画像の多重化画像を取得する。
ステップS92において、視差画像分離部161は、視差画像多重化情報取得部125から供給される視差画像多重化情報に基づいて、補助画像の視差画像の多重化画像を分離する。視差画像分離部161は、その結果得られる互換画像の解像度の1/2の解像度の、補助画像である視点画像Bおよび視点画像Cの視差画像を、視差画像高解像度化部162に供給する。また、視差画像分離部161は、互換情報取得部126から供給される互換情報に基づいて、視差画像A1’をそのまま視差画像高解像度化部162に供給する。
ステップS93において、視差画像高解像度化部162は、視差画像分離部161から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像Bおよび視点画像Cの視差画像を、それぞれ高解像度化する。これにより、視差画像高解像度化部162は、互換画像と同一の解像度の視点画像B1および視点画像C1の視差画像を得る。そして、視差画像高解像度化部162は、得られた視点画像B1および視点画像C1の視差画像、並びに、視差画像分離部161から供給される視差画像A1’を、視差画像ワーピング処理部163および視差画像ワーピング処理部164に供給する。
ステップS94において、視差画像ワーピング処理部163は、仮想視点ごとに、仮想視点位置決定部160からの視差画像特定情報に基づいて、視差画像高解像度化部162から供給される視点画像B1および視点画像C1の視差画像並びに視差画像A1’のうちの1つを選択する。また、視差画像ワーピング処理部164は、視差画像ワーピング処理部163と同様の処理を行う。
そして、ステップS95およびS96において、視差画像ワーピング処理部163および視差画像ワーピング処理部164は、選択された視差画像のワーピング処理を行う。
具体的には、まず、ステップS95において、視差画像ワーピング処理部163(164)は、仮想視点ごとに、その仮想視点の位置、撮影情報、および選択された視差画像に基づいて、上述した式(1)により、その視差画像の各画素に対応する仮想視点の視差画像上の画素を決定する。
そして、ステップS96において、視差画像ワーピング処理部163(164)は、仮想視点ごとに、ステップS97で決定された画素に基づいて、選択された視差画像から仮想視点の視差画像を生成する。具体的には、視差画像ワーピング処理部163(164)は、仮想視点ごとに、選択された視差画像の各画素の視差値を、仮想視点の視差画像のステップS95で決定された画素の視差値とする。視差画像ワーピング処理部163(164)は、その結果生成された各仮想視点の視差画像をスムージング処理部165(166)に供給する。
ステップS96の処理後、ステップS97およびS98において、スムージング処理部165およびスムージング処理部166は、ステップS96で生成された各仮想視点の視差画像に対してスムージング処理を行う。
具体的には、ステップS97において、スムージング処理部165(166)は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
ステップS98において、スムージング処理部165(166)は、各仮想視点の視差画像のステップS97で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部167(168)に供給する。
ステップS99において、視点画像分離部169は、画像情報取得部123から供給される画像情報に基づいて、補助用デコーダ132から供給される補助画像の多重化画像を分離する。そして、視点画像分離部169は、その結果得られる互換画像の解像度の1/2の解像度の視点画像B1および視点画像C1を視差画像高解像度化部162に供給する。また、視点画像分離部169は、互換情報取得部126から供給される互換情報に基づいて、互換用デコーダ131から供給される互換画像である視点画像A1を、そのまま視点画像高解像度化部170に供給する。
ステップS100において、視点画像高解像度化部170は、視点画像分離部169から供給される互換画像の解像度の1/2の解像度の、補助画像である視点画像B1および視点画像C1をそれぞれ高解像度化する。これにより、視点画像高解像度化部170は、互換画像と同一の解像度の視点画像B1および視点画像C1を得る。そして、視点画像高解像度化部170は、得られた視点画像B1および視点画像C1、並びに、視点画像分離部169から供給される視点画像A1を、視点画像ワーピング処理部167および視点画像ワーピング処理部168に供給する。
ステップS101において、視点画像ワーピング処理部167は、スムージング処理部165から供給されるスムージング処理後の各仮想視点の視差画像に基づいて、仮想視点ごとに、その視差画像に対応する、視点画像高解像度化部170から供給される視点画像のワーピング処理を行う。これにより、オクルージョン領域を有する各仮想視点の画像が生成される。視点画像ワーピング処理部167は、オクルージョン領域を有する各仮想視点の画像を多視点画像生成部171に供給する。また、視点画像ワーピング処理部168は、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に基づいて、視点画像ワーピング処理部167と同様の処理を行う。
ステップS102において、多視点画像生成部171は、仮想視点ごとに、視点画像ワーピング処理部167および視点画像ワーピング処理部168のいずれか一方から供給される仮想視点の画像のオクルージョン領域を、他方から供給される仮想視点の画像で補間する。多視点画像生成部171は、その結果得られる各仮想視点の画像を多視点の画像として多視点画像合成処理部172に供給する。
ステップS103において、多視点画像合成処理部172は、多視点画像生成部171から供給される多視点の画像の解像度を、互換画像や補助画像の解像度の、仮想視点数分の1の解像度に変換して合成し、多視点の画像の合成画像を生成する。そして、処理は、図11のステップS70に戻り、処理はステップS71に進む。
以上のように、復号装置120は、ワーピング処理の結果得られる仮想視点の視差画像に対してスムージング処理を行うので、仮想視点の画像のオクルージョン領域内に画素値が存在することを防止することができる。その結果、仮想視点の2つの画像のうち、一方の画像のオクルージョン領域の画像を、他方の画像で補間することができ、破綻のない、高精度な仮想視点の画像を生成することができる。
<第2実施の形態>
[符号化装置の第2実施の形態の構成例]
図13は、本技術を適用した画像処理装置に対応する符号化装置の第2実施の形態の構成例を示すブロック図である。
[符号化装置の第2実施の形態の構成例]
図13は、本技術を適用した画像処理装置に対応する符号化装置の第2実施の形態の構成例を示すブロック図である。
図13に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図13の符号化装置200の構成は、主に、境界情報生成部201が新たに設けられている点、および、エンコーダ58の代わりにエンコーダ202が設けられている点が図1の構成と異なる。
符号化装置200は、低解像度化され、符号化された視差画像に、視差画像の視差値が大きく変化する位置である境界位置に隣接する画素であるかどうかを示す情報である境界情報(is_depth_edge)を付加して伝送する。
具体的には、符号化装置200の境界情報生成部201は、視差画像生成部53により生成された視差画像B1’および視差画像C1’から、それぞれ、境界位置を検出する。そして、境界情報生成部201は、検出された境界位置に基づいて、画素単位またはマクロブロック単位で境界情報を生成し、エンコーダ202に供給する。なお、マクロブロックとは、符号化の単位である。
エンコーダ202は、互換用エンコーダ61と補助用エンコーダ211により構成される。
エンコーダ202の補助用エンコーダ211は、図1の補助用エンコーダ62と同様に、画像変換部52からの補助画像の多重化画像、並びに視差画像生成部53からの互換画像の視差画像A1’および補助画像の視差画像の多重化画像を所定の方式で符号化する。
また、補助用エンコーダ211は、符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報、境界情報生成部201からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ211は、その符号化ストリームを補助ストリームとして多重化部59に供給する。
[境界情報の例]
図14は、境界情報の例を示す図である。
図14は、境界情報の例を示す図である。
なお、図14において、小さい丸は画素を表し、丸の柄は視差値を表す。
図14の例の視差画像では、図14の左側に示すように、画面中央に位置する円形の領域の視差値と、その領域以外の領域の視差値が大きく異なっている。従って、画面中央に存在する円形の領域と、その領域以外の領域の境界に、境界位置が存在する。
画素単位で境界情報が生成される場合、例えば、図14の右上に示すように、境界位置に隣接する2つの画素の境界情報は、境界位置に隣接する画素であることを示す1となる。また、それ以外の画素の境界情報は、境界位置に隣接する画素ではないことを示す0となる。
一方、マクロブロック単位で境界情報が生成される場合、例えば、図14の右下に示すように、境界位置に隣接する2つの画素を含むマクロブロック(MB)の境界情報が、境界位置に隣接する画素であることを示す1となる。また、それ以外のマクロブロックの境界情報は、境界位置に隣接する画素ではないことを示す0となる。
[符号化装置の処理の説明]
図15および図16は、図13の符号化装置200による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。
図15および図16は、図13の符号化装置200による符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮影部51A乃至撮影部51Cから視点画像A1乃至視点画像C1が出力されたとき開始される。
図15のステップS120乃至図16のステップS128の処理は、図2のステップS10乃至図3のステップS18の処理と同様であるので、説明は省略する。
図16のステップS129において、境界情報生成部201は、視差画像生成部53から供給される視差画像B1’および視差画像C1’の境界情報を生成する境界情報生成処理を行う。この境界情報生成処理の詳細は、後述する図17を参照して説明する。
ステップS130において、境界情報生成部201は、ステップS129で生成された境界情報を、エンコーダ58に入力する。
ステップS131乃至S136の処理は、図3のステップS19乃至S24の処理と同様であるので、説明は省略する。
ステップS137において、補助用エンコーダ211は、ステップS136の処理による符号化の結果得られる符号化画像に、画像情報生成部54からの画像情報、互換情報生成部55からの互換情報、撮影情報生成部56からの撮影情報、視差画像多重化情報生成部57からの視差画像多重化情報、および境界情報生成部201からの境界情報などを付加して、符号化ストリームを生成する。補助用エンコーダ211は、その符号化ストリームを補助ストリームとして多重化部59に供給する。
ステップS138において、多重化部59は、互換用エンコーダ61から供給される互換ストリームと、補助用エンコーダ211から供給される補助ストリームから、それぞれTSを生成し、多重化して送信する。そして、処理は終了する。
図17は、図16のステップS129の境界情報生成処理の詳細を説明するフローチャートである。なお、図17では、画素単位で境界情報が生成される場合の境界情報生成処理について説明する。また、図17の境界情報生成処理は、視差画像ごとに行われる。
図17のステップS141において、境界情報生成部201は、視差画像生成部53から供給される視差画像を取得する。
ステップS142において、境界情報生成部201は、視差画像の水平方向に隣接する画素どうしのうちの、まだステップS142の処理の対象となっていないものの視差値の差分を求める。
ステップS143において、境界情報生成部201は、ステップS142で求められた視差値の差分が所定の閾値より大きいかどうかを判定する。
ステップS143で視差値の差分が所定の閾値より大きいと判定された場合、ステップS144において、境界情報生成部201は、ステップS142の処理の対象である隣接する2つの画素の間を境界位置として検出し、その2つの画素の境界情報を1に設定する。
一方、ステップS143で視差値の差分が所定の閾値より大きくはないと判定された場合、ステップS145において、境界情報生成部201は、ステップS142の処理の対象である隣接する2つの画素の境界情報のうちの、1が設定されていない境界情報を0に設定する。
ステップS144またはステップS145の処理後、ステップS146において、境界情報生成部201は、視差画像の全ての水平方向に隣接する2つの画素どうしの視差値の差分を求めたかどうかを判定する。
ステップS146で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分をまだ求めていないと判定された場合、処理はステップS142に戻り、視差画像の全ての水平方向に隣接する画素どうしの視差値の差分が求められるまで、ステップS142乃至S146の処理が繰り返される。
一方、ステップS146で視差画像の全ての水平方向に隣接する画素どうしの視差値の差分を求めたと判定された場合、処理は図16のステップS129に戻り、処理はステップS130に進む。
なお、境界情報生成部201は、境界情報をマクロブロック単位で生成する場合、図17の境界情報生成処理において、ステップS142乃至S146の処理をマクロブロック単位で行う。
具体的には、境界情報生成部201は、ステップS142で視差画像の所定のマクロブロック内の水平方向に隣接する画素どうしの視差値の差分を求め、ステップS143で少なくとも1つの視差値の差分が所定の閾値より大きいかどうかを判定する。そして、少なくとも1つの視差値の差分が所定の閾値より大きいと判定された場合、ステップS144で、境界情報生成部201は、その差分に対応するマクロブロックの境界情報を1に設定する。一方、全ての視差値の差分が所定の閾値以下である判定された場合、ステップS145で、境界情報生成部201は、その差分に対応するマクロブロックの境界情報のうちの1が設定されていない境界情報を0に設定する。
以上のように、符号化装置200は、視差画像を低解像度化し、低解像度化された視差画像と境界情報を送信するので、後述する復号装置において、境界情報に基づいて仮想視点の視差画像のスムージング処理を行うことができる。その結果、復号装置において、後述するように、仮想視点の視点画像を高精度に生成することができる。
[復号装置の構成例]
図18は、図13の符号化装置200から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
図18は、図13の符号化装置200から送信される多重化ストリームを復号する、本技術を適用した画像処理装置としての復号装置の構成例を示す図である。
図18に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図18の復号装置220の構成は、主に、境界情報取得部222が新たに設けられている点、および、デコーダ122、画像生成部127の代わりに、デコーダ221、画像生成部223が設けられている点が図4の構成と異なる。復号装置220は、符号化装置200から送信される多重化ストリームを復号し、境界情報に基づいてワーピング処理後の視差画像をスムージング処理して多視点の画像を生成し、図示せぬ表示装置に表示させる。
具体的には、復号装置220のデコーダ221は、互換用デコーダ131と補助用デコーダ231により構成される。デコーダ221の補助用デコーダ231は、図4の補助用デコーダ132と同様に、分離部121から供給される補助ストリームに含まれる互換情報を互換用デコーダ131に供給する。補助用デコーダ231は、補助用デコーダ132と同様に、互換情報に基づいて、分離部121から供給される互換ストリームと補助ストリームのうち、補助ストリームを識別する。補助用デコーダ231は、復号部として機能し、分離部121から供給される補助ストリームに含まれる符号化された補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を、図13の補助用エンコーダ211に対応する方式で復号する。
補助用デコーダ231は、復号の結果得られる補助画像の多重化画像、互換画像の視差画像、および補助画像の視差画像の多重化画像を画像生成部223に供給する。また、補助用デコーダ231は、補助用デコーダ132と同様に、補助ストリームに含まれる画像情報を画像情報取得部123に供給し、撮影情報を撮影情報取得部124に供給する。さらに、補助用デコーダ231は、補助用デコーダ132と同様に、補助ストリームに含まれる視差画像多重化情報を視差画像多重化情報取得部125に供給し、互換情報を互換情報取得部126に供給する。また、補助用デコーダ231は、補助ストリームに含まれる境界情報を境界情報取得部222に供給する。
境界情報取得部222は、補助用デコーダ231から供給される境界情報を取得し、画像生成部223に供給する。
画像生成部223は、2D画像生成部141と3D画像生成部241により構成される。画像生成部223の3D画像生成部241は、デコーダ221から供給される視点画像A1、補助画像の多重化画像、互換画像の視差画像A1’、および補助画像の視差画像の多重化画像を用いて、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報等に基づいて、図示せぬ表示装置に対応する3以上の視点数の、互換画像と同一の解像度の画像を生成する。そして、3D画像生成部241は、図4の3D画像生成部142と同様に、生成された多視点の画像の解像度を、互換画像や補助画像の解像度の1/視点数の解像度に変換して合成し、図示せぬ表示装置に表示させる。
このとき、合成後の多視点の画像は、視点ごとに視認可能な角度が異なるように表示される。視聴者は、任意の2視点の各画像を左右の各目で見ることにより、メガネを装着せずに3D画像を見ることができる。
[3D画像生成部の詳細構成例]
図19は、図18の3D画像生成部241の詳細構成例を示すブロック図である。
図19は、図18の3D画像生成部241の詳細構成例を示すブロック図である。
図19に示す構成のうち、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図19の3D画像生成部241の構成は、スムージング処理部165およびスムージング処理部166の代わりに、スムージング処理部251およびスムージング処理部252が設けられている点が図5の構成と異なる。
3D画像生成部241のスムージング処理部251は、補正部として機能し、境界情報取得部222から供給される境界情報に基づいて、視差画像ワーピング処理部163から供給される各仮想視点の視差画像に対してスムージング処理を行う。具体的には、スムージング処理部251は、各仮想視点の視差画像からオクルージョン領域内の0以外の視差値を検出する。スムージング処理部251は、検出された視差値のうち、境界位置であることを表す境界情報に対応する画素の視差値を0に補正する。スムージング処理部251は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部167に供給する。
スムージング処理部252は、補正部として機能し、視差画像ワーピング処理部164から供給される各仮想視点の視差画像に対して、スムージング処理部251と同様にスムージング処理を行う。そして、スムージング処理部252は、スムージング処理後の各仮想視点の視差画像を視点画像ワーピング処理部168に供給する。
[境界情報に基づくスムージング処理の説明]
図20は、図19のスムージング処理部251(252)による境界情報に基づくスムージング処理を説明する図である。なお、図20において、小さい丸は画素を表し、丸の柄は視差値を表す。
図20は、図19のスムージング処理部251(252)による境界情報に基づくスムージング処理を説明する図である。なお、図20において、小さい丸は画素を表し、丸の柄は視差値を表す。
図20の左側に示すように、図19の視差画像ワーピング処理部163(164)が、図9のCの仮想視点の視差画像を生成する場合、スムージング処理部251(252)は、その視差画像内のオクルージョン領域内の視差値が0以外である画素を検出する。そして、スムージング処理部251(252)は、その画素に対応する境界情報が1である場合、図20の右側に示すように、その画素の視差値を0に補正する。
このように、スムージング処理部251(252)は、オクルージョン領域内の視差値が0以外である画素として検出された画素の視差値のうち、高解像度化により誤ってオクルージョン領域内に配置される可能性のある境界位置に隣接する画素の視差値だけを0に補正する。これにより、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
[復号装置の処理の説明]
図21は、図18の復号装置220による復号処理を説明するフローチャートである。この復号処理は、例えば、図13の符号化装置200から送信される多重化ストリームが復号装置220に入力されたとき、開始される。
図21は、図18の復号装置220による復号処理を説明するフローチャートである。この復号処理は、例えば、図13の符号化装置200から送信される多重化ストリームが復号装置220に入力されたとき、開始される。
図21のステップS201乃至S209の処理は、図11のステップS61乃至S69の処理と同様であるので、説明は省略する。
ステップS210において、境界情報取得部222は、補助用デコーダ231から供給される境界情報を取得し、画像生成部223に入力する。
ステップS211において、画像生成部223の3D画像生成部241は、多視点画像生成処理を行う。この多視点画像生成処理の詳細は、後述する図22を参照して説明する。
ステップS212およびS213の処理は、図11のステップS71およびS72の処理と同様であるので、説明は省略する。
図22は、図21のステップS211の多視点画像生成処理の詳細を説明するフローチャートである。
図22のステップS230乃至S236の処理は、図14のステップS90乃至S96の処理と同様であるので、説明は省略する。
ステップS237およびS238において、スムージング処理部251およびスムージング処理部252は、ステップS236で生成された各仮想視点の視差画像に対してスムージング処理を行う。
具体的には、ステップS237において、スムージング処理部251(252)は、各仮想視点の視差画像内の0以外の視差値に対応する画素のうち、境界情報が1であり、かつ、周辺画素の視差値が0である画素を、オクルージョン領域内の0以外の視差値に対応する画素として検出する。
ステップS238において、スムージング処理部251(252)は、各仮想視点の視差画像のステップS237で検出された画素の視差値を0に補正し、補正後の各仮想視点の視差画像を視点画像ワーピング処理部167(168)に供給する。
ステップS239乃至S243の処理は、図12のステップS99乃至S103と同様であるので、説明は省略する。
以上のように、復号装置220は、符号化装置200から送信されてくる境界情報に基づいて、ワーピング処理の結果得られる仮想視点の視差画像に対して、より正確にスムージング処理を行う。従って、オクルージョン領域外の画素が、オクルージョン領域内の0以外の視差値に対応する画素として検出され、その画素の視差値が0に補正されることを防止することができる。その結果、より高精度に仮想視点の画像を生成することができる。
なお、本技術の画像処理装置は、例えば、テレビジョン受像機などの表示装置や再生装置に適用することができる。また、本技術において、境界位置に隣接する画素の数は、2つに限定されず、境界位置に隣接する画素は、境界位置の左に隣接する複数の画素および右に隣接する複数の画素であってもよい。
また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームとは別系統で伝送されるようにしてもよい。また、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されて、符号化ストリームとは別系統で伝送されるようにしてもよい。
さらに、画像情報、撮影情報、視差画像多重化情報、互換情報、および境界情報は、符号化されずに、符号化ストリームの所定の領域に記述されることもできるし、符号化されて符号化ストリームの所定の領域に記述されることもできる。
<第3実施の形態>
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図24は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部808やROM(Read Only Memory)802に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア811に格納(記録)しておくことができる。このようなリムーバブルメディア811は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア811としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア811からドライブ810を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部808にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)801を内蔵しており、CPU801には、バス804を介して、入出力インタフェース805が接続されている。
CPU801は、入出力インタフェース805を介して、ユーザによって、入力部806が操作等されることにより指令が入力されると、それに従って、ROM802に格納されているプログラムを実行する。あるいは、CPU801は、記憶部808に格納されたプログラムを、RAM(Random Access Memory)803にロードして実行する。
これにより、CPU801は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU801は、その処理結果を、必要に応じて、例えば、入出力インタフェース805を介して、出力部807から出力、あるいは、通信部809から送信、さらには、記憶部808に記録等させる。
なお、入力部806は、キーボードや、マウス、マイク等で構成される。また、出力部807は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルTV(テレビジョン)、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置および復号装置に適用することができる。
また、上述した符号化装置および復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。
<第4実施の形態>
[テレビジョン装置の構成例]
図25は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
[テレビジョン装置の構成例]
図25は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース部909を有している。さらに、テレビジョン装置900は、制御部910、ユーザインタフェース部911等を有している。
チューナ902は、アンテナ901で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ903に出力する。
デマルチプレクサ903は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ904に出力する。また、デマルチプレクサ903は、EPG(Electronic Program Guide)等のデータのパケットを制御部910に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ904は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部905、音声データを音声信号処理部907に出力する。
映像信号処理部905は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部905は、表示部906に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部905は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部905は、このようにして生成した映像データに基づいて駆動信号を生成して表示部906を駆動する。
表示部906は、映像信号処理部905からの駆動信号に基づき表示デバイス(例えば液晶表示素子等)を駆動して、番組の映像などを表示させる。
音声信号処理部907は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのD/A変換処理や増幅処理を行いスピーカ908に供給することで音声出力を行う。
外部インタフェース部909は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部910にはユーザインタフェース部911が接続されている。ユーザインタフェース部911は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部910に供給する。
制御部910は、CPU(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ、EPGデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置900の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、テレビジョン装置900がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置900では、チューナ902、デマルチプレクサ903、映像信号処理部905、音声信号処理部907、外部インタフェース部909等と制御部910を接続するためバス912が設けられている。
このように構成されたテレビジョン装置では、デコーダ904に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、低解像度化された視差画像を含む符号化ビットストリームを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
<第5実施の形態>
[携帯電話機の構成例]
図26は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
[携帯電話機の構成例]
図26は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機920は、通信部922、音声コーデック923、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931を有している。これらは、バス933を介して互いに接続されている。
また、通信部922にはアンテナ921が接続されており、音声コーデック923には、スピーカ924とマイクロホン925が接続されている。さらに制御部931には、操作部932が接続されている。
携帯電話機920は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン925で生成された音声信号は、音声コーデック923で音声データへの変換やデータ圧縮が行われて通信部922に供給される。通信部922は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部922は、送信信号をアンテナ921に供給して図示しない基地局へ送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック923に供給する。音声コーデック923は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ924に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部931は、操作部932の操作によって入力された文字データを受け付けて、入力された文字を表示部930に表示する。また、制御部931は、操作部932におけるユーザ指示等に基づいてメールデータを生成して通信部922に供給する。通信部922は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部930に供給して、メール内容の表示を行う。
なお、携帯電話機920は、受信したメールデータを、記録再生部929で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、RAMや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部926で生成された画像データを、画像処理部927に供給する。画像処理部927は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部928は、画像処理部927で生成された符号化データと、音声コーデック923から供給された音声データを所定の方式で多重化して通信部922に供給する。通信部922は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ921から送信する。また、通信部922は、アンテナ921で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部928に供給する。多重分離部928は、多重化データの分離を行い、符号化データを画像処理部927、音声データを音声コーデック923に供給する。画像処理部927は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部930に供給して、受信した画像の表示を行う。音声コーデック923は、音声データをアナログ音声信号に変換してスピーカ924に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部927に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、画像データの通信において、低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
<第6実施の形態>
[記録再生装置の構成例]
図27は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
[記録再生装置の構成例]
図27は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置940は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置940は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置940は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置940は、チューナ941、外部インタフェース部942、エンコーダ943、HDD(Hard Disk Drive)部944、ディスクドライブ945、セレクタ946、デコーダ947、OSD(On-Screen Display)部948、制御部949、ユーザインタフェース部950を有している。
チューナ941は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ941は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ946に出力する。
外部インタフェース部942は、IEEE1394インタフェース、ネットワークインタフェース部、USBインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部942は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ943は、外部インタフェース部942から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ946に出力する。
HDD部944は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ945は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばDVDディスク(DVD−Video、DVD−RAM、DVD−R、DVD−RW、DVD+R、DVD+RW等)やBlu−rayディスク等である。
セレクタ946は、映像や音声の記録時には、チューナ941またはエンコーダ943からのいずれかの符号化ビットストリームを選択して、HDD部944やディスクドライブ945のいずれかに供給する。また、セレクタ946は、映像や音声の再生時に、HDD部944またはディスクドライブ945から出力された符号化ビットストリームをデコーダ947に供給する。
デコーダ947は、符号化ビットストリームの復号化処理を行う。デコーダ947は、復号処理化を行うことにより生成された映像データをOSD部948に供給する。また、デコーダ947は、復号処理化を行うことにより生成された音声データを出力する。
OSD部948は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ947から出力された映像データに重畳して出力する。
制御部949には、ユーザインタフェース部950が接続されている。ユーザインタフェース部950は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部949に供給する。
制御部949は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置940の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、記録再生装置940がユーザ操作に応じた動作となるように各部を制御する。
<第7実施の形態>
[撮像装置の構成例]
図28は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
[撮像装置の構成例]
図28は、本技術を適用した撮像装置の概略構成を例示している。撮像装置960は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置960は、光学ブロック961、撮像部962、カメラ信号処理部963、画像データ処理部964、表示部965、外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970を有している。また、制御部970には、ユーザインタフェース部971が接続されている。さらに、画像データ処理部964や外部インタフェース部966、メモリ部967、メディアドライブ968、OSD部969、制御部970等は、バス972を介して接続されている。
光学ブロック961は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック961は、被写体の光学像を撮像部962の撮像面に結像させる。撮像部962は、CCDまたはCMOSイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部963に供給する。
カメラ信号処理部963は、撮像部962から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部963は、カメラ信号処理後の画像データを画像データ処理部964に供給する。
画像データ処理部964は、カメラ信号処理部963から供給された画像データの符号化処理を行う。画像データ処理部964は、符号化処理を行うことにより生成された符号化データを外部インタフェース部966やメディアドライブ968に供給する。また、画像データ処理部964は、外部インタフェース部966やメディアドライブ968から供給された符号化データの復号化処理を行う。画像データ処理部964は、復号化処理を行うことにより生成された画像データを表示部965に供給する。また、画像データ処理部964は、カメラ信号処理部963から供給された画像データを表示部965に供給する処理や、OSD部969から取得した表示用データを、画像データに重畳させて表示部965に供給する。
OSD部969は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部964に出力する。
外部インタフェース部966は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部966には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部966は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部970は、例えば、ユーザインタフェース部971からの指示にしたがって、メモリ部967から符号化データを読み出し、それを外部インタフェース部966から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部970は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部966を介して取得し、それを画像データ処理部964に供給したりすることができる。
メディアドライブ968で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であってもよい。
また、メディアドライブ968と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやSSD(Solid State Drive)等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部970は、CPUやメモリ等を用いて構成されている。メモリは、CPUにより実行されるプログラムやCPUが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置960の起動時などの所定タイミングでCPUにより読み出されて実行される。CPUは、プログラムを実行することで、撮像装置960がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部964に本願の画像処理装置(画像処理方法)の機能が設けられる。このため、メモリ部967や記録メディア等に記録された低解像度化された視差画像を含む符号化データを復号し、その視差画像を用いて所定の視点の画像を高精度に生成することができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
120 復号装置, 121 分離部, 132 補助用デコーダ, 162 視差画像高解像度化部, 163,164 視差画像ワーピング処理部, 165,166 スムージング処理部, 167,168 視点画像ワーピング処理部, 171 多視点画像生成部, 220 復号装置, 231 補助用デコーダ, 251,252 スムージング処理部
Claims (9)
- 低解像度化されたデプス画像を受け取る受け取り部と、
前記受け取り部により受け取られた前記デプス画像を高解像度化する高解像度化部と、
仮想視点の位置に基づいて、前記高解像度化部により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理部と、
前記デプス画像ワーピング処理部により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正部と
を備える画像処理装置。 - 前記補正部は、前記仮想視点のデプス画像内の前記オクルージョン領域の前記所定値以外の画素値に対応する画素を検出し、検出した画素の画素値を前記所定値に補正する
請求項1に記載の画像処理装置。 - 前記補正部は、前記仮想視点のデプス画像内の前記所定値以外の画素値に対応する画素のうち、周辺画素の画素値が前記所定値である画素を、前記オクルージョン領域の前記所定値以外の画素値に対応する画素として検出する
請求項2に記載の画像処理装置。 - 前記受け取り部は、前記デプス画像の画素値が変化する位置である境界位置に隣接する画素を示す境界情報を受け取り、
前記補正部は、前記仮想視点のデプス画像内の前記所定値以外の画素値に対応する画素のうち、周辺画素の画素値が前記所定値であり、前記境界情報に示される画素を、前記オクルージョン領域の前記所定値以外の画素値に対応する画素として検出する
請求項2に記載の画像処理装置。 - 低解像度化され、符号化された前記デプス画像である符号化デプス画像を復号する復号部
をさらに備え、
前記受け取り部は、前記符号化デプス画像を受け取り、
前記復号部は、前記受け取り部により受け取られた前記符号化デプス画像を復号し、
前記高解像度化部は、前記復号部により復号された前記符号化デプス画像を高解像度化する
請求項1に記載の画像処理装置。 - 前記補正部により補正された前記仮想視点のデプス画像に基づいて、視点画像に対してワーピング処理を行うことにより、前記仮想視点の視点画像を生成する視点画像ワーピング処理部
をさらに備える
請求項1に記載の画像処理装置。 - 前記視点画像ワーピング処理部により生成された前記視点画像の前記オクルージョン領域を補間する補間部
をさらに備える
請求項6に記載の画像処理装置。 - 前記受け取り部は、第1の視点の前記視点画像および第2の視点の前記視点画像と、前記第1の視点の前記低解像度化されたデプス画像および前記第2の視点の前記低解像度化されたデプス画像とを受け取り、
前記デプス画像ワーピング処理部は、前記仮想視点の位置に基づいて、高解像度化された前記第1の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第1のデプス画像を生成するとともに、前記仮想視点の位置に基づいて、高解像度化された前記第2の視点のデプス画像に対してワーピング処理を行うことにより、前記仮想視点の第2のデプス画像を生成し、
前記視点画像ワーピング処理部は、前記補正部により補正された前記仮想視点の前記第1のデプス画像に基づいて、前記第1の視点の視点画像に対してワーピング処理を行うことにより、前記仮想視点の第1の視点画像を生成するとともに、前記第2のデプス画像に基づいて、前記第2の視点の視点画像に対してワーピング処理を行うことにより、前記仮想視点の第2の視点画像を生成し、
前記補間部は、前記視点画像ワーピング処理部により生成された前記仮想視点の前記第1の視点画像および前記第2の視点画像のうちの一方の前記オクルージョン領域を、他方で補間する
請求項7に記載の画像処理装置。 - 画像処理装置が、
低解像度化されたデプス画像を受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記デプス画像を高解像度化する高解像度化ステップと、
仮想視点の位置に基づいて、前記高解像度化ステップの処理により高解像度化された前記デプス画像に対してワーピング処理を行うことにより、前記仮想視点のデプス画像を生成するデプス画像ワーピング処理ステップと、
前記デプス画像ワーピング処理ステップの処理により生成された前記仮想視点のデプス画像を対象として、前記仮想視点の視点画像には存在するが、その仮想視点のデプス画像の生成に用いられた前記デプス画像に対応する視点画像には存在しない領域であるオクルージョン領域の画素値を補正する補正ステップと
を含む画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011033848 | 2011-02-18 | ||
JP2011033848 | 2011-02-18 | ||
PCT/JP2012/053676 WO2012111756A1 (ja) | 2011-02-18 | 2012-02-16 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012111756A1 true JPWO2012111756A1 (ja) | 2014-07-07 |
Family
ID=46672668
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011188992A Abandoned JP2012186781A (ja) | 2011-02-18 | 2011-08-31 | 画像処理装置および画像処理方法 |
JP2012558012A Pending JPWO2012111756A1 (ja) | 2011-02-18 | 2012-02-16 | 画像処理装置および画像処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011188992A Abandoned JP2012186781A (ja) | 2011-02-18 | 2011-08-31 | 画像処理装置および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9361734B2 (ja) |
JP (2) | JP2012186781A (ja) |
CN (1) | CN103348689A (ja) |
WO (1) | WO2012111756A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8917929B2 (en) * | 2010-03-19 | 2014-12-23 | Lapis Semiconductor Co., Ltd. | Image processing apparatus, method, program, and recording medium |
BR112013004454A2 (pt) * | 2010-09-03 | 2016-06-07 | Sony Corp | dispositivos e métodos de codificação e de decodificação |
JPWO2012111755A1 (ja) * | 2011-02-18 | 2014-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2012186781A (ja) | 2011-02-18 | 2012-09-27 | Sony Corp | 画像処理装置および画像処理方法 |
WO2012111757A1 (ja) | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6021541B2 (ja) * | 2012-09-13 | 2016-11-09 | キヤノン株式会社 | 画像処理装置及び方法 |
CN104662897A (zh) * | 2012-09-25 | 2015-05-27 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质 |
CN104769943B (zh) | 2012-10-25 | 2017-03-08 | Lg 电子株式会社 | 在多视图3dtv服务中处理边缘违反现象的方法和装置 |
ITTO20130503A1 (it) * | 2013-06-18 | 2014-12-19 | Sisvel Technology Srl | Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale |
US9348495B2 (en) | 2014-03-07 | 2016-05-24 | Sony Corporation | Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone |
CN104978554B (zh) * | 2014-04-08 | 2019-02-05 | 联想(北京)有限公司 | 信息的处理方法及电子设备 |
JP6476833B2 (ja) * | 2014-12-19 | 2019-03-06 | 富士通株式会社 | 管理システム |
JP6494402B2 (ja) * | 2015-04-30 | 2019-04-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
CN104992416B (zh) * | 2015-06-30 | 2018-04-27 | 小米科技有限责任公司 | 图像增强方法和装置、智能设备 |
WO2017043331A1 (ja) * | 2015-09-09 | 2017-03-16 | ソニー株式会社 | 画像処理装置、及び、画像処理方法 |
WO2017094536A1 (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US20180047177A1 (en) * | 2016-08-15 | 2018-02-15 | Raptor Maps, Inc. | Systems, devices, and methods for monitoring and assessing characteristics of harvested specialty crops |
EP3422708A1 (en) * | 2017-06-29 | 2019-01-02 | Koninklijke Philips N.V. | Apparatus and method for generating an image |
JP2019159886A (ja) * | 2018-03-14 | 2019-09-19 | 凸版印刷株式会社 | 画像生成方法および画像生成装置 |
JP2020178307A (ja) * | 2019-04-22 | 2020-10-29 | 株式会社ジャパンディスプレイ | 表示装置 |
BR102020027013A2 (pt) * | 2020-12-30 | 2022-07-12 | Samsung Eletrônica da Amazônia Ltda. | Método para gerar uma imagem multiplano adaptativa a partir de uma única imagem de alta resolução |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3551467B2 (ja) | 1994-04-13 | 2004-08-04 | 松下電器産業株式会社 | 視差演算装置、視差演算方法及び画像合成装置 |
US5768404A (en) | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
JP2001184497A (ja) * | 1999-10-14 | 2001-07-06 | Komatsu Ltd | ステレオ画像処理装置及び記録媒体 |
US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US7257272B2 (en) * | 2004-04-16 | 2007-08-14 | Microsoft Corporation | Virtual image generation |
CA2553473A1 (en) * | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
JP4793366B2 (ja) * | 2006-10-13 | 2011-10-12 | 日本ビクター株式会社 | 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム |
JP2009238117A (ja) * | 2008-03-28 | 2009-10-15 | Toshiba Corp | 多視差画像生成装置および方法 |
KR101506926B1 (ko) * | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3d 영상 변환 장치 및 방법 |
US8780172B2 (en) * | 2009-01-27 | 2014-07-15 | Telefonaktiebolaget L M Ericsson (Publ) | Depth and video co-processing |
US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
CN102428501A (zh) * | 2009-09-18 | 2012-04-25 | 株式会社东芝 | 图像处理装置 |
US9445072B2 (en) * | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
KR20130061679A (ko) * | 2010-04-01 | 2013-06-11 | 톰슨 라이센싱 | 디스패리티 값 표시 |
JP5556394B2 (ja) * | 2010-06-07 | 2014-07-23 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
US8488870B2 (en) * | 2010-06-25 | 2013-07-16 | Qualcomm Incorporated | Multi-resolution, multi-window disparity estimation in 3D video processing |
US8774267B2 (en) * | 2010-07-07 | 2014-07-08 | Spinella Ip Holdings, Inc. | System and method for transmission, processing, and rendering of stereoscopic and multi-view images |
US8428342B2 (en) * | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
EP2451164B1 (en) * | 2010-11-08 | 2017-05-03 | Telefonaktiebolaget LM Ericsson (publ) | Improved view synthesis |
JP2012186781A (ja) | 2011-02-18 | 2012-09-27 | Sony Corp | 画像処理装置および画像処理方法 |
WO2012111757A1 (ja) | 2011-02-18 | 2012-08-23 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US8711141B2 (en) * | 2011-08-28 | 2014-04-29 | Arcsoft Hangzhou Co., Ltd. | 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof |
AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
WO2013068457A1 (en) * | 2011-11-11 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications |
-
2011
- 2011-08-31 JP JP2011188992A patent/JP2012186781A/ja not_active Abandoned
-
2012
- 2012-02-16 WO PCT/JP2012/053676 patent/WO2012111756A1/ja active Application Filing
- 2012-02-16 JP JP2012558012A patent/JPWO2012111756A1/ja active Pending
- 2012-02-16 CN CN2012800082706A patent/CN103348689A/zh active Pending
- 2012-02-16 US US13/982,815 patent/US9361734B2/en active Active
-
2016
- 2016-05-04 US US15/146,173 patent/US9716873B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN103348689A (zh) | 2013-10-09 |
US9361734B2 (en) | 2016-06-07 |
US20130315472A1 (en) | 2013-11-28 |
WO2012111756A1 (ja) | 2012-08-23 |
JP2012186781A (ja) | 2012-09-27 |
US9716873B2 (en) | 2017-07-25 |
US20160249035A1 (en) | 2016-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012111756A1 (ja) | 画像処理装置および画像処理方法 | |
US10055814B2 (en) | Image processing device and image processing method | |
JP6365635B2 (ja) | 画像処理装置および画像処理方法 | |
US9235749B2 (en) | Image processing device and image processing method | |
US10122986B2 (en) | Image processing device and image processing method | |
WO2012147621A1 (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
US9338430B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
JP6206559B2 (ja) | 復号装置、復号方法、プログラム、および記録媒体 | |
WO2013031575A1 (ja) | 画像処理装置および画像処理方法 | |
WO2012128069A1 (ja) | 画像処理装置および画像処理方法 | |
WO2013115024A1 (ja) | 画像処理装置および画像処理方法 | |
US9762884B2 (en) | Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints | |
WO2013031573A1 (ja) | 符号化装置および符号化方法、復号装置および復号方法 |