JPWO2012114975A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JPWO2012114975A1
JPWO2012114975A1 JP2013500985A JP2013500985A JPWO2012114975A1 JP WO2012114975 A1 JPWO2012114975 A1 JP WO2012114975A1 JP 2013500985 A JP2013500985 A JP 2013500985A JP 2013500985 A JP2013500985 A JP 2013500985A JP WO2012114975 A1 JPWO2012114975 A1 JP WO2012114975A1
Authority
JP
Japan
Prior art keywords
viewpoint
image
base
depth
warping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013500985A
Other languages
English (en)
Inventor
良知 高橋
良知 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2012114975A1 publication Critical patent/JPWO2012114975A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

本技術は、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにする画像処理装置および画像処理方法に関する。ワーピング処理部は、基点デプス画像に対して、左視点への前景優先のワーピング処理を行う。オクルージョン判定処理部は、ワーピング処理の結果得られる左視点の基点デプス画像を用いて、視点を基点から左視点に変換する際に生じる左視点オクルージョン領域を検出する。本技術は、例えば、３Ｄ画像の画像処理装置に適用することができる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにした画像処理装置および画像処理方法に関する。
近年、３Ｄ画像が注目されている。この３Ｄ画像の視聴方式としては、２視点の画像のうちの一方の画像の表示時に左目用のシャッタが開き、他方の画像の表示時に右目用のシャッタが開くメガネを装着して、交互に表示される２視点の画像を見る方式（以下、メガネ有り方式という）が一般的である。
しかしながら、このようなメガネ有り方式では、視聴者は、３Ｄ画像の表示装置とは別にメガネを購入する必要があり、視聴者の購買意欲は低下する。また、視聴者は、視聴時にメガネを装着する必要があるため、煩わしい。従って、メガネを装着せずに３Ｄ画像を視聴可能な視聴方式（以下、メガネ無し方式という）の需要が高まっている。
メガネ無し方式では、３視点以上の視点の画像が、視点ごとに視認可能な角度が異なるように表示され、視聴者が、任意の２視点の各画像を左右の各目で見ることにより、メガネを装着せずに３Ｄ画像を見ることができる。
また、メガネ無し方式の３Ｄ画像については、MPEG（Moving Picture Experts Group phase）3DVとして規格化が始まろうとしている。MPEG 3DVでは、多視点のカラー画像とデプス画像を伝送する方式が規格されることになっている。デプス画像とは、所定の視点のカラー画像の各画素のデプス値(デプス情報)を表す画像であり、デプス値(デプス情報)とは、被写体の奥行方向の位置を表す値である。
ところで、多視点のカラー画像とデプス画像を復号するためには、高い性能の復号装置が必要である。例えば、３視点のカラー画像とデプス画像を復号するためには、６視点分の画像の復号処理能力を有する復号装置が必要である。しかしながら、現在、２視点のカラー画像を復号可能な復号装置しか存在しない。
また、多視点のカラー画像とデプス画像をベースバンドとして伝送するためには、広帯域の伝送が必要である。例えば、３視点のカラー画像とデプス画像をベースバンドとして伝送するためには、６視点分の画像の伝送が必要である。しかしながら、現在、２視点のカラー画像を伝送可能な装置しか存在しない。
従って、多視点のカラー画像とデプス画像をそのままベースバンドとして符号化し、伝送して復号することは困難であり、ベースバンドのデータ量を削減する必要がある。
そこで、LDV（Layered Depth Video）をベースバンドとして生成することにより、ベースバンドのデータ量を削減する方法がある。この方法では、基準の視点（以下、基点という）のカラー画像およびデプス画像、並びに、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域（詳細は後述する）からなるLDVが生成され、ベースバンドとされる。
具体的には、多視点のカラー画像およびデプス画像は、同一の場面の視点の異なる画像である。従って、多視点のカラー画像のオクルージョン領域以外の領域は重複し、多視点のデプス画像のオクルージョン領域以外の領域は重複する。よって、基点のカラー画像およびデプス画像、並びに、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域からなるLDVが生成され、多視点のカラー画像およびデプス画像の代わりに、ベースバンドとされる。
なお、オクルージョン領域とは、視点の変化に伴って前景と背景の位置関係が変化することによって生じる、ある視点の画像には存在するが、他の視点の画像には存在しない領域である。即ち、オクルージョン領域は、変化前の視点の画像では前景によって隠されていたが、変化後の視点の画像では前景によって隠されなくなった背景である。
多視点のカラー画像およびデプス画像からLDVを生成する方法は、非特許文献１で提案されている。また、LDVから多視点のカラー画像およびデプス画像を復元する方法は、非特許文献２で提案されている。
図１は、多視点のカラー画像とデプス画像からLDVを生成して符号化し、復号して多視点のカラー画像とデプス画像を復元する画像処理システムの構成の一例を示すブロック図である。
図１の画像処理システム１０は、フォーマット変換装置１１、多視点画像符号化装置１２、多視点画像復号装置１３、およびフォーマット逆変換装置１４により構成される。
画像処理システム１０のフォーマット変換装置１１には、多視点のカラー画像とデプス画像が入力される。フォーマット変換装置１１は、ベースバンド変換処理を行う。具体的には、フォーマット変換装置１１は、多視点のカラー画像とデプス画像からLDVを生成してベースバンドとする。これにより、ベースバンドのデータ量が削減される。フォーマット変換装置１１は、LDVのうちの基点のカラー画像を基点カラー画像として多視点画像符号化装置１２に供給し、基点のデプス画像を基点デプス画像として多視点画像符号化装置１２に供給する。
また、フォーマット変換装置１１は、LDVのうちの基点以外の視点のカラー画像のオクルージョン領域を１画面に多重化し、その結果得られる画像を背景カラー画像として多視点画像符号化装置１２に供給する。フォーマット変換装置１１は、LDVのうちの基点以外の視点のデプス画像のオクルージョン領域を１画面に多重化し、その結果得られる画像を背景デプス画像として多視点画像符号化装置１２に供給する。
多視点画像符号化装置１２は、フォーマット変換装置１１から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像を、MVC（Multiview Video Coding）方式等で符号化する。多視点画像符号化装置１２は、その結果得られるビットストリームを多視点画像復号装置１３に伝送する。
多視点画像復号装置１３は、多視点画像符号化装置１２から伝送されてくるビットストリームを受信し、MVC方式等に対応する方式で復号する。多視点画像復号装置１３は、その結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像をフォーマット逆変換装置１４に供給する。
フォーマット逆変換装置１４は、多視点画像復号装置１３から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置１１のベースバンド変換処理に対応するベースバンド逆変換処理を行う。
そして、フォーマット逆変換装置１４は、ベースバンド逆変換処理の結果得られた基点以外の視点のカラー画像と基点カラー画像を、多視点カラー画像として出力する。また、フォーマット逆変換装置１４は、ベースバンド逆変換処理の結果得られた基点以外の視点のデプス画像と基点デプス画像を、多視点デプス画像として出力する。
図２は、図１のフォーマット変換装置１１の構成の一例を示すブロック図である。
なお、以下では、多視点が３視点であるものとし、基点以外の２視点の一方を左視点といい、他方を右視点という。
図２のフォーマット変換装置１１は、ワーピング処理部２１、オクルージョン判定処理部２２、ワーピング処理部２３、オクルージョン判定処理部２４、画面多重化処理部２５、および出力部２６により構成される。
フォーマット変換装置１１のワーピング処理部２１は、多視点のデプス画像のうちの左視点のデプス画像である左デプス画像に対して、基点への背景優先のワーピング処理を行い、その結果得られる基点のデプス画像を基点の左デプス画像とする。
なお、ワーピング処理とは、ある視点の画像から別の視点の画像へ幾何変換する処理である。また、背景優先のワーピング処理とは、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その複数の画素のうち、奥行き方向の位置がより奥側である被写体に対応する画素を選択して対応付ける処理である。ここで、奥行き方向の位置がより奥側である被写体に対応する画素とは、デプス値がより小さい画素である。
また、ワーピング処理部２１は、多視点のカラー画像のうちの左視点のカラー画像である左カラー画像に対して、基点の左デプス画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる基点のカラー画像を基点の左カラー画像とする。そして、ワーピング処理部２１は、基点の左デプス画像と基点の左カラー画像を、オクルージョン判定処理部２２に供給する。
オクルージョン判定処理部２２は、ワーピング処理部２１から供給される基点の左デプス画像と、外部から入力される多視点のカラー画像のうちの基点デプス画像に基づいて、視点を基点から左視点に変換する際のオクルージョン領域（以下、左視点オクルージョン領域という）を検出する。具体的には、オクルージョン判定処理部２２は、基点デプス画像のデプス値から基点の左デプス画像のデプス値を減算した値が所定値以上である画素からなる領域を、左視点オクルージョン領域として検出する。
即ち、ワーピング処理部２１は、左デプス画像に対して背景優先のワーピング処理を行うので、基点の左デプス画像における、基点デプス画像では前景であるが、左デプス画像では背景である左視点オクルージョン領域は、背景のデプス値となる。一方、基点デプス画像の左視点オクルージョン領域は、前景のデプス値である。従って、基点デプス画像のデプス値から基点の左デプス画像のデプス値を減算した値が、背景のデプス値と前景のデプス値の差分として想定される最小値以上である画素が、左視点オクルージョン領域内の画素であるとされる。
オクルージョン判定処理部２２は、基点の左カラー画像の左視点オクルージョン領域を、左カラーのオクルージョン画像として画面多重化処理部２５に供給する。また、オクルージョン判定処理部２２は、基点の左デプス画像の左視点オクルージョン領域を、左デプスのオクルージョン画像として画面多重化処理部２５に供給する。
ワーピング処理部２３は、多視点のカラー画像のうちの右カラー画像および右デプス画像に対して、ワーピング処理部２１と同様に、基点への背景優先ワーピング処理を行う。ワーピング処理部２３は、その結果得られる基点のカラー画像を基点の右カラー画像とし、基点のデプス画像を基点の右デプス画像として、オクルージョン判定処理部２４に供給する。
オクルージョン判定処理部２４は、ワーピング処理部２３から供給される基点の右デプス画像と基点デプス画像に基づいて、オクルージョン判定処理部２２と同様に、視点を基点から右視点に変換する際のオクルージョン領域（以下、右視点オクルージョン領域という）を検出する。
また、オクルージョン判定処理部２４は、基点の右カラー画像の右視点オクルージョン領域を、右カラーのオクルージョン画像として画面多重化処理部２５に供給する。また、オクルージョン判定処理部２４は、基点の右デプス画像の右視点オクルージョン領域を、右デプスのオクルージョン画像として画面多重化処理部２５に供給する。
画面多重化処理部２５は、オクルージョン判定処理部２２から供給される左カラーのオクルージョン画像と、オクルージョン判定処理部２４から供給される右カラーのオクルージョン画像を１画面に多重化する。具体的には、画面多重化処理部２５は、左カラーのオクルージョン画像と右カラーのオクルージョン画像のいずれか一方にのみ画素値が存在する画素の画素値を、その一方の画素値とする。また、画面多重化処理部２５は、左カラーのオクルージョン画像と右カラーのオクルージョン画像の両方に画素値が存在する画素の画素値を、いずれか一方の画素値とする。画面多重化処理部２５は、左カラーのオクルージョン画像と右カラーのオクルージョン画像の多重化画像を、背景カラー画像として多視点画像符号化装置１２（図１）に供給する。
同様に、画面多重化処理部２５は、オクルージョン判定処理部２２から供給される左デプスのオクルージョン画像と、オクルージョン判定処理部２４から供給される右デプスのオクルージョン画像を１画面に多重化する。画面多重化処理部２５は、その結果得られる多重化画像を背景デプス画像として多視点画像符号化装置１２に供給する。
出力部２６は、外部から入力される多視点のカラー画像のうちの基点カラー画像と基点デプス画像を、多視点画像符号化装置１２に供給する。
図３は、図１のフォーマット逆変換装置１４の構成の一例を示すブロック図である。
図３のフォーマット逆変換装置１４は、ワーピング処理部３１、画面合成処理部３２、ワーピング処理部３３、画面合成処理部３４、および出力部３５により構成される。
フォーマット逆変換装置１４のワーピング処理部３１は、多視点画像復号装置１３から供給される基点デプス画像と基点デプス画像を受け取る。ワーピング処理部３１は、第１基点外視点ワーピング処理部として機能し、基点デプス画像に対して左視点への前景優先のワーピング処理を行い、その結果得られる左視点のデプス画像を左視点の基点デプス画像とする。
なお、前景優先のワーピング処理とは、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その複数の画素のうち、奥行方向の位置がより手前側である被写体に対応する画素を選択して対応付ける処理である。ここで、奥行き方向の位置がより手前側である被写体に対応する画素とは、デプス値がより大きい画素である。
また、前景優先のワーピング処理は、通常のワーピング処理である。なぜなら、ワーピング処理前の画像の複数の画素が、ワーピング処理後の画像の同一の画素に対応付けられる場合、その画素は、前景と背景が重なり、前景が背景を隠す画素であるからである。
ワーピング処理部３１は、多視点画像復号装置１３から供給される基点カラー画像に対して、左視点の基点デプス画像を用いて左視点への前景優先のワーピング処理を行い、その結果得られる左視点のカラー画像を左視点の基点カラー画像とする。そして、ワーピング処理部３１は、左視点の基点カラー画像と左視点の基点デプス画像を、画面合成処理部３２に供給する。
同様に、ワーピング処理部３１は、多視点画像復号装置１３から供給される基点カラー画像および基点デプス画像に対して右視点への前景優先のワーピング処理を行う。ワーピング処理部３１は、ワーピング処理の結果得られる右視点のカラー画像を右視点の基点カラー画像とし、右視点のデプス画像を右視点の基点デプス画像として、画面合成処理部３４に供給する。
画面合成処理部３２は、ワーピング処理部３１から供給される左視点の基点カラー画像と、ワーピング処理部３３から供給される左視点の背景カラー画像とを合成する。具体的には、画面合成処理部３２は、左視点の基点カラー画像と左視点の背景カラー画像のいずれか一方にのみ画素値が存在する画素の画素値を、その一方の画素値とする。また、画面合成処理部３２は、左視点の基点カラー画像と左視点の背景カラー画像の両方に画素値が存在する画素の画素値を、左視点の基点カラー画像の画素値とする。なぜなら、基点カラー画像に対応する被写体の奥行方向の位置は、常に、背景カラー画像に対応する被写体の奥行方向の位置よりも手前側にあるからである。
同様に、画面合成処理部３２は、ワーピング処理部３１から供給される左視点の基点デプス画像と、ワーピング処理部３３から供給される左視点の背景デプス画像とを合成する。画面合成処理部３２は、合成の結果得られるカラー画像を左カラー画像として出力し、デプス画像を左デプス画像として出力する。
ワーピング処理部３３は、多視点画像復号装置１３から供給される背景カラー画像および背景デプス画像に対して、ワーピング処理部３１と同様に、左視点および右視点への前景優先のワーピング処理を行う。ワーピング処理部３３は、ワーピング処理の結果得られる左視点のカラー画像を左視点の背景カラー画像とし、左視点のデプス画像を左視点の背景デプス画像として、画面合成処理部３２に供給する。また、ワーピング処理部３３は、ワーピング処理の結果得られる右視点のカラー画像を右視点の背景カラー画像とし、右視点のデプス画像を右視点の背景デプス画像として、画面合成処理部３４に供給する。
画面合成処理部３４は、画面合成処理部３２と同様に、ワーピング処理部３１から供給される右視点の基点カラー画像と、ワーピング処理部３３から供給される右視点の背景カラー画像とを合成する。同様に、画面合成処理部３４は、ワーピング処理部３１から供給される右視点の基点デプス画像と、ワーピング処理部３３から供給される右視点の背景デプス画像とを合成する。画面合成処理部３２は、合成の結果得られるカラー画像を右カラー画像として出力し、デプス画像を右デプス画像として出力する。
出力部３５は、多視点画像復号装置１３から供給される基点カラー画像および基点デプス画像を出力する。
Fons Bruls,Lincoln Lobo,Rene Klein Gunnewiek,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2008/M15590,Jul 2008,Hannover Fons Bruls,Chris Varekamp, Rene Klein Gunnewiek,Lincoln Lobo,Yin Zhao,Lu Yu,INTERNATIONAL ORGANISATION FOR STANDARDISATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO,ISO/IEC JTC1/SC29/WG11,MPEG2009/M16034,Feb 2009,Lausanne
上述した画像処理システム１０において、例えば、基点デプス画像の精度が悪い場合、フォーマット逆変換装置１４で復元される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が悪い場合がある。
以下に、図４を参照して、具体例について説明する。なお、図４の例では、基点デプス画像は、所定の背景の中央に球状の物体が前景として存在する場面を撮影したときに得られたデプス画像である。
図４に示すように、フォーマット変換装置１１では、左デプス画像から基点の左デプス画像が生成されて左視点オクルージョン領域４１が検出され、右デプス画像から基点の右デプス画像が生成されて右視点オクルージョン領域４２が検出される。そして、基点の左デプス画像の左視点オクルージョン領域４１と、基点の右デプス画像の右視点オクルージョン領域４２が１画面に多重化されて背景デプス画像が生成される。フォーマット逆変換装置１４では、基点デプス画像から左視点の基点デプス画像が生成され、その際に発生する左視点オクルージョン領域４３が、背景デプス画像の左視点オクルージョン領域４１により補間される。
しかしながら、基点デプス画像のデプス値が実際の値と異なる場合、例えば、図４に示すように、左視点の基点デプス画像上の、デプス値が0以外の所定値である円形の領域の位置が、左デプス画像内の位置に比べて所定の距離だけ右に位置する。その結果、左視点の基点デプス画像で発生する左視点オクルージョン領域４３が、背景デプス画像の左視点オクルージョン領域４１より大きくなり、背景デプス画像による補間が行われた後の左視点の基点デプス画像内にデプス値の存在しない領域が発生してしまう。即ち、左視点の基点デプス画像が破綻する。左視点のカラー画像、右視点の基点デプス画像、右視点のカラー画像についても同様である。
本技術は、このような状況に鑑みてなされたものであり、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるようにするものである。
本技術の第１の側面の画像処理装置は、基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理部と、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出部と、前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送部とを備える画像処理装置である。
本技術の第１の側面の画像処理方法は、本技術の第１の側面の画像処理装置に対応する。
本技術の第１の側面においては、基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理が行われ、前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域が検出され、前記基点外視点のデプス画像の前記オクルージョン領域が伝送される。
本技術の第２の側面の画像処理装置は、基点の視点である基点視点以外の視点である第１の基点外視点のデプス画像の、視点を前記基点視点から前記第１の基点外視点に変換する際に生じる第１のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第１のオクルージョン領域と、前記基点視点および前記第１の基点外視点以外の視点である第２の基点外視点のデプス画像の、視点を前記基点視点から前記第２の基点外視点に変換する際に生じる第２のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第２のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取り部と、前記基点視点のデプス画像に対して、前記第１の基点外視点へのワーピング処理を行う第１基点外視点ワーピング処理部と、前記基点視点のデプス画像に対して、前記第２の基点外視点へのワーピング処理を行う第２基点外視点ワーピング処理部と、前記第１基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第１の基点外視点のデプス画像と、前記デプス多重化画像の前記第１のオクルージョン領域とを合成する第１の合成処理部と、前記第２基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第２の基点外視点のデプス画像と、前記デプス多重化画像の前記第２のオクルージョン領域とを合成する第２の合成処理部とを備える画像処理装置である。
本技術の第２の側面の画像処理方法は、本技術の第２の側面の画像処理装置に対応する。
本技術の第２の側面においては、基点の視点である基点視点以外の視点である第１の基点外視点のデプス画像の、視点を前記基点視点から前記第１の基点外視点に変換する際に生じる第１のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第１のオクルージョン領域と、前記基点視点および前記第１の基点外視点以外の視点である第２の基点外視点のデプス画像の、視点を前記基点視点から前記第２の基点外視点に変換する際に生じる第２のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第２のオクルージョン領域とを多重化した結果得られるデプス多重化画像が受け取られ、前記基点視点のデプス画像に対して、前記第１の基点外視点へのワーピング処理が行われ、前記基点視点のデプス画像に対して、前記第２の基点外視点へのワーピング処理が行われ、前記ワーピング処理によって得られる前記第１の基点外視点のデプス画像と、前記デプス多重化画像の前記第１のオクルージョン領域とが合成され、前記ワーピング処理によって得られる前記第２の基点外視点のデプス画像と、前記デプス多重化画像の前記第２のオクルージョン領域とが合成される。
本技術の第１の側面によれば、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。
また、本技術の第２の側面によれば、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
従来の画像処理システムの構成の一例を示すブロック図である。 図１のフォーマット変換装置の構成の一例を示すブロック図である。 図１のフォーマット逆変換装置の構成の一例を示すブロック図である。 基点デプス画像の精度が悪い場合の復元画像を説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 図５の画像処理システムによる画像処理を説明するフローチャートである。 図５のフォーマット変換装置の第１の詳細構成例を示すブロック図である。 デプス画像のワーピング処理を説明する図である。 左デプスのオクルージョン画像の生成について説明する図である。 背景デプス画像の各成分の値に対応する画素を示す図である。 Cb成分とCr成分の値のビット列の例を示す図である。 図７のフォーマット変換装置によるベースバンド変換処理の詳細を説明するフローチャートである。 図５のフォーマット逆変換装置の第１の詳細構成例を示すブロック図である。 図１３のフォーマット逆変換装置によるベースバンド逆変換処理の詳細を説明するフローチャートである。 図５のフォーマット変換装置の第２の詳細構成例を示すブロック図である。 図１５のフォーマット変換装置によるベースバンド変換処理の詳細を説明するフローチャートである。 図５のフォーマット変換装置の第３の詳細構成例を示すブロック図である。 図１７のフォーマット変換装置によるベースバンド変換処理の詳細を説明するフローチャートである。 視差と奥行きについて説明する図である。 コンピュータの一実施の形態の構成例を示すブロック図である。 本技術を適用したテレビジョン装置の構成例を示すブロック図である。 本技術を適用した携帯電話機の構成例を示すブロック図である。 本技術を適用した記録再生装置の構成例を示すブロック図である。 本技術を適用した撮像装置の構成例を示すブロック図である。
＜本明細書におけるデプス画像の説明＞
図１９は、視差と奥行きについて説明する図である。
図１９に示すように、被写体Ｍのカラー画像が、位置Ｃ１に配置されたカメラｃ１と位置Ｃ２に配置されたカメラｃ２により撮影される場合、被写体Ｍの、カメラｃ１（カメラｃ２）からの奥行方向の距離である奥行きＺは、以下の式（ａ）で定義される。
Figure 2012114975
・・・（ａ）
なお、Ｌは、位置Ｃ１と位置Ｃ２の水平方向の距離（以下、カメラ間距離という）である。また、ｄは、カメラｃ１で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ１から、カメラｃ２で撮影された撮影画像上の被写体Ｍの位置の、撮影画像の中心からの水平方向の距離ｕ２を減算した値、即ち視差である。さらに、fは、カメラｃ１の焦点距離であり、式（ａ）では、カメラｃ１とカメラｃ２の焦点距離は同一であるものとしている。
式（ａ）に示すように、視差ｄと奥行きＺは、一意に変換可能である。従って、本明細書では、カメラｃ１とカメラｃ２により撮影された２視点のカラー画像の視差ｄを表す画像と奥行きＺを表す画像とを総称して、デプス画像とする。
なお、デプス画像は、視差ｄまたは奥行きＺを表す画像であればよく、デプス画像の画素値としては、視差ｄまたは奥行きＺそのものではなく、視差ｄを正規化した値、奥行きＺの逆数１／Ｚを正規化した値等を採用することができる。
視差ｄを8bit（0〜255）で正規化した値Ｉは、以下の式（ｂ）により求めることができる。なお、視差dの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2012114975
 なお、式（ｂ）において、Ｄｍａｘは、視差ｄの最大値であり、Ｄｍｉｎは、視差ｄの最小値である。最大値Ｄｍａｘと最小値Ｄｍｉｎは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
また、奥行きＺの逆数１／Ｚを8bit（0〜255）で正規化した値ｙは、以下の式（ｃ）により求めることができる。なお、奥行きＺの逆数１／Ｚの正規化ビット数は8bitに限定されず、10bit,12bitなど他のビット数にすることも可能である。
Figure 2012114975
 なお、式（ｃ）において、Ｚｆａｒは、奥行きＺの最大値であり、Ｚｎｅａｒは、奥行きＺの最小値である。最大値Ｚｆａｒと最小値Ｚｎｅａｒは、１画面単位で設定されてもよいし、複数画面単位で設定されてもよい。
このように、本明細書では、視差dと奥行きZとは一意に変換可能であることを考慮して、視差ｄを正規化した値Iを画素値とする画像と、奥行きＺの逆数１／Ｚを正規化した値yを画素値とする画像とを総称して、デプス画像とする。ここでは、デプス画像のカラーフォーマットは、YUV420又はYUV400であるものとするが、他のカラーフォーマットにすることも可能である。
なお、デプス画像の画素値としてではなく、値I又は値yの情報自体に着目する場合には、値I又は値yを、デプス情報とする。更に、値I又は値yをマッピングしたものをデプスマップとする。
＜第１実施の形態＞
［画像処理システムの一実施の形態の構成例］
図５は、本技術を適用した画像処理装置としての送信装置と受信装置を備える画像処理システムの一実施の形態の構成例を示すブロック図である。
図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図５の画像処理システム５０の構成は、主に、フォーマット変換装置１１の代わりにフォーマット変換装置５１が設けられている点、および、フォーマット逆変換装置１４の代わりにフォーマット逆変換装置５２が設けられている点が図１の構成と異なる。画像処理システム５０は、フォーマット変換装置５１において、フォーマット逆変換装置５２で発生する左視点オクルージョン領域および右視点オクルージョン領域を検出する。
具体的には、画像処理システム５０のフォーマット変換装置５１と多視点画像符号化装置１２は、送信装置として機能する。フォーマット変換装置５１には、図１のフォーマット変換装置１１と同様に、多視点のカラー画像とデプス画像が入力される。フォーマット変換装置５１は、ベースバンド変換処理を行う。
詳細には、フォーマット変換装置５１は、入力された多視点のデプス画像のうちの基点デプス画像に対して、左視点および右視点への前景優先のワーピング処理を行う。フォーマット変換装置５１は、その結果得られる左視点および右視点の基点デプス画像から、それぞれ、左視点オクルージョン領域と右視点オクルージョン領域を検出する。また、フォーマット変換装置５１は、入力された多視点のデプス画像のうちの左デプス画像の左視点オクルージョン領域と右デプス画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行い、１画面に多重化して背景デプス画像の輝度成分を生成する。さらに、フォーマット変換装置５１は、入力された多視点のカラー画像のうちの左カラー画像の左視点オクルージョン領域と右カラー画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行い、１画面に多重化して背景カラー画像を生成する。
なお、フォーマット変換装置５１における多重化では、多重化対象が重なる場合、いずれか一方の多重化対象が残される。本実施の形態では、左デプス画像および左カラー画像が残されるものとする。
また、フォーマット変換装置５１は、背景デプス画像（または背景カラー画像）の各画素のデプス値（または画素値）が、基点の左デプス画像（または左カラー画像）のデプス値、基点の右デプス画像（または右カラー画像）のデプス値、または、基点の左デプス画像（または左カラー画像）および右デプス画像（または右カラー画像）の共有のデプス値（または画素値）のいずれであるかを表す左右特定情報（識別情報）を生成する。そして、フォーマット変換装置５１は、画素ごとに、左右特定情報を表す値を、背景デプス画像の色差成分（クロマ成分）とする。
フォーマット変換装置５１は、デプス値を輝度成分として有し、左右特定情報を表す値をクロマ成分として有する背景デプス画像、背景カラー画像、基点カラー画像、および基点デプス画像からなるLDVを、ベースバンドして、多視点画像符号化装置１２に供給する。
多視点画像復号装置１３とフォーマット逆変換装置５２は、受信装置として機能する。フォーマット逆変換装置５２は、多視点画像復号装置１３による復号の結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置５１のベースバンド変換処理に対応するベースバンド逆変換処理を行う。
具体的には、フォーマット逆変換装置５２は、背景デプス画像のクロマ成分である左右特定情報に基づいて、基点デプス画像と背景デプス画像の輝度成分から、左デプス画像および右デプス画像を生成する。また、フォーマット逆変換装置５２は、左右特定情報と左デプス画像に基づいて、基点カラー画像および背景カラー画像から左カラー画像を生成し、左右特定情報と右デプス画像に基づいて、基点カラー画像および背景カラー画像から右カラー画像を生成する。
そして、フォーマット逆変換装置５２は、左カラー画像、右カラー画像、および基点カラー画像を多視点カラー画像として出力する。また、フォーマット逆変換装置５２は、左デプス画像、右デプス画像、および基点デプス画像を多視点デプス画像として出力する。
[画像処理システムの処理]
図６は、図５の画像処理システム５０による画像処理を説明するフローチャートである。この画像処理は、例えば、多視点のカラー画像とデプス画像が画像処理システム５０に入力されたとき、開始される。
図５のステップＳ１１において、画像処理システム５０のフォーマット変換装置５１は、画像処理システム５０に入力される多視点のカラー画像を取得する。ステップＳ１２において、フォーマット変換装置５１は、画像処理システム５０に入力される多視点のデプス画像を取得する。
ステップＳ１３において、フォーマット変換装置５１は、入力された多視点のカラー画像とデプス画像に対してベースバンド変換処理を行う。このベースバンド変換処理の詳細は、後述する図１２を参照して説明する。フォーマット変換装置５１は、ベースバンド変換処理の結果得られる、背景カラー画像および背景デプス画像、並びに、基点カラー画像および基点デプス画像からなるLDVをベースバンドして、多視点画像符号化装置１２に供給する。
ステップＳ１４において、多視点画像符号化装置１２は、フォーマット変換装置５１から供給されるLDVである基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像を、MVC方式等で符号化する。多視点画像符号化装置１２は、その結果得られるビットストリームを多視点画像復号装置１３に伝送する。
ステップＳ１５において、多視点画像復号装置１３は、多視点画像符号化装置１２から伝送されてくるビットストリームを受信し、MVC方式等に対応する方式で復号する。多視点画像復号装置１３は、その結果得られる基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像をフォーマット逆変換装置５２に供給する。
ステップＳ１６において、フォーマット逆変換装置５２は、多視点画像復号装置１３から供給される基点カラー画像、基点デプス画像、背景カラー画像、および背景デプス画像に対して、フォーマット変換装置５１のベースバンド変換処理に対応するベースバンド逆変換処理を行う。このベースバンド逆変換処理の詳細は、後述する図１４を参照して説明する。
ステップＳ１７において、フォーマット逆変換装置５２は、ベースバンド逆変換処理の結果得られた左カラー画像、右カラー画像、および基点カラー画像を多視点カラー画像として出力する。
ステップＳ１８において、フォーマット逆変換装置５２は、ベースバンド逆変換処理の結果得られた左デプス画像、右デプス画像、および基点デプス画像を多視点デプス画像として出力する。そして、処理は終了する。
［フォーマット変換装置の第１の詳細構成例］
図７は、図５のフォーマット変換装置５１の第１の詳細構成例を示すブロック図である。
図７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図７のフォーマット変換装置５１の構成は、出力部２６を備える点を除いて図２の構成と異なる。
フォーマット変換装置５１のワーピング処理部７１は、基点外視点ワーピング処理部として機能する。ワーピング処理部７１は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部７２に供給する。
オクルージョン判定処理部７２は、検出部として機能し、ワーピング処理部７１から供給される左視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を左視点オクルージョン領域として検出する。また、オクルージョン判定処理部７２は、左視点の基点デプス画像のうち、孤立点除去法などにより、周辺画素が左視点オクルージョン領域内にあり、デプス値が存在する画素のデプス値を除去する。そして、オクルージョン判定処理部７２は、デプス値が除去された画素を左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。
即ち、オクルージョン判定処理部７２は、左視点オクルージョン領域として検出されない画素のうち、その画素の周辺の画素が左視点オクルージョン領域として検出された画素を、左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。これにより、基点デプス画像の精度が悪く、左視点の基点デプス画像の本来の左視点オクルージョン領域内にデプス値が誤って配置された場合であっても、より正確に左視点オクルージョン領域を検出することができる。
また、オクルージョン判定処理部７２は、補正後の左視点オクルージョン領域を特定する情報を、左視点のオクルージョン情報としてワーピング処理部７３に供給する。
ワーピング処理部７３は、オクルージョン判定処理部７２から供給される左視点のオクルージョン情報に基づいて、入力される左デプス画像の左視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部７３は、ワーピング処理の結果得られる画像を左デプスのオクルージョン画像として画面多重化処理部７７に供給する。
また、ワーピング処理部７３は、左視点のオクルージョン情報に基づいて、入力される左カラー画像の左視点オクルージョン領域に対して、左デプスのオクルージョン画像を用いて基点への背景優先のワーピング処理を行う。ワーピング処理部７３は、ワーピング処理の結果得られる画像を左カラーのオクルージョン画像として画面多重化処理部７７に供給する。
ワーピング処理部７４、オクルージョン判定処理部７５、およびワーピング処理部７６は、右視点について、ワーピング処理部７１、オクルージョン判定処理部７２、およびワーピング処理部７３と同様の処理を行う。
具体的には、ワーピング処理部７４は、基点外視点ワーピング処理部として機能し、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部７５に供給する。
オクルージョン判定処理部７５は、検出部として機能し、ワーピング処理部７４から供給される右視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を右視点オクルージョン領域として検出する。また、オクルージョン判定処理部７５は、右視点の基点デプス画像のうち、孤立点除去法などにより、周辺画素が右視点オクルージョン領域内にあり、デプス値が存在する画素のデプス値を除去する。そして、オクルージョン判定処理部７５は、デプス値が除去された画素を右視点オクルージョン領域に追加することにより、右視点オクルージョン領域を補正する。これにより、基点デプス画像の精度が悪く、右視点の基点デプス画像の本来の右視点オクルージョン領域内にデプス値が誤って配置された場合であっても、より正確に右視点オクルージョン領域を検出することができる。
また、オクルージョン判定処理部７５は、補正後の右視点オクルージョン領域を特定する情報を、右視点のオクルージョン情報としてワーピング処理部７６に供給する。
ワーピング処理部７６は、オクルージョン判定処理部７５から供給される右視点のオクルージョン情報に基づいて、入力される右デプス画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部７６は、ワーピング処理の結果得られる画像を右デプスのオクルージョン画像として画面多重化処理部７７に供給する。
また、ワーピング処理部７６は、右視点のオクルージョン情報に基づいて、入力される右カラー画像の右視点オクルージョン領域に対して、右デプスのオクルージョン画像を用いて基点への背景優先のワーピング処理を行う。ワーピング処理部７６は、ワーピング処理の結果得られる画像を右カラーのオクルージョン画像として画面多重化処理部７７に供給する。
画面多重化処理部７７は、多重化部として機能し、ワーピング処理部７３から供給される左デプスのオクルージョン画像と、ワーピング処理部７６から供給される右デプスのオクルージョン画像を1画面に多重化する。そして、画面多重化処理部７７は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。なお、所定値としては、例えば、0や基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部７７は、設定部としても機能し、各画素の左右特定情報を生成（設定）し、クロマ成分変換処理部７８に供給する。
また、画面多重化処理部７７は、ワーピング処理部７３から供給される左カラーのオクルージョン画像と、ワーピング処理部７６から供給される右カラーのオクルージョン画像を1画面に多重化する。画面多重化処理部７７は、伝送部としても機能し、多重化の結果得られる画像を背景カラー画像として、多視点画像符号化装置１２および多視点画像復号装置１３を介してフォーマット逆変換装置５２に伝送する。
クロマ成分変換処理部７８は、画面多重化処理部７７から供給される背景デプス画像のクロマ成分を、画素ごとに、所定値から左右特定情報を表す値に変更する。クロマ成分変換処理部７８は、伝送部として機能し、変更後の背景デプス画像を、多視点画像符号化装置１２および多視点画像復号装置１３を介してフォーマット逆変換装置５２に伝送する。
また、フォーマット変換装置５１に入力される基点デプス画像と基点カラー画像は、そのまま多視点画像符号化装置１２に供給される。
［デプス画像のワーピング処理の説明］
図８は、デプス画像のワーピング処理を説明する図である。
デプス画像のワーピング処理では、まず、図８に示すように、処理対象の位置t（tｘ,tｙ,tｚ）の視点のデプス画像の各画素の位置m（x,y,z）と、位置t'（t'ｘ,t'ｙ,t'ｚ）の視点のワーピング処理後のデプス画像の位置m'（x',y',z'）が、３次元空間を介して対応付けられる。
具体的には、以下の式（１）により、位置t（tｘ,tｙ,tｚ）の視点のデプス画像の、デプス値Zの画素の位置m（x,y,z）に対応する３次元空間の位置M(X,Y,Z)が求められ、その位置M(X,Y,Z)に対応する、位置t'（t'ｘ,t'ｙ,t'ｚ）の視点のワーピング処理後のデプス画像の位置m'（x',y',z'）が求められる。
(X,Y,Z)Ｔ=RA−１（x,y,1）ＴZ+（tｘ,tｙ,tｚ）Ｔ
s（x',y',1）Ｔ=A’R'−１[（X,Y,Z）Ｔ-（t'ｘ,t'ｙ,t'ｚ）Ｔ]
・・・（１）
なお、式（１）において、Rは、デプス画像を撮影する図示せぬカメラのワーピング処理用の回転行列であり、以下の式（２）で表される。
Figure 2012114975
なお、式（２）において、r_11乃至r_13，r_21乃至r_23、およびr_31乃至r_33は、所定値である。
また、式（１）において、Aは、デプス画像を撮影する図示せぬカメラの内部パラメータを含む行列であり、以下の式（３）で表される。
Figure 2012114975
なお、式（３）において、focal_length_x,focal_length_yは、それぞれ、内部パラメータのうちのx方向、y方向の焦点距離を表す。principal_point_x,principal_point_yは、それぞれ、内部パラメータのうちの主点のx方向、y方向の位置を表す。radial_distortionは、内部パラメータのうちの半径方向の歪み係数を表す。
さらに、式（１）において、R’は、Rと同様に表されるワーピング処理後のデプス画像を撮影する仮想のカメラのワーピング処理用の回転行列であり、A’は、Aと同様に表されるワーピング処理後のデプス画像を撮影する仮想のカメラの内部パラメータを含む行列である。また、式（１）においてsは、スケーリングファクタ（scaling factor）である。
以上のようにして対応付けが行われた後、各画素の位置m（x,y,z）に対応する位置m'（x',y',z'）に基づいて、処理対象のデプス画像の各画素に対応するワーピング処理後のデプス画像の画素が決定される。そして、処理対象のデプス画像の各画素のデプス値が、その画素に対応するワーピング処理後のデプス画像の画素のデプス値とされる。
［左デプスのオクルージョン画像の生成の説明］
図９は、図７のフォーマット変換装置５１による左デプスのオクルージョン画像の生成について説明する図である。
なお、図９の例では、基点デプス画像は、所定の背景の中央に球状の物体が前景として存在する場面を撮影したときに得られたデプス画像である。
図９に示すように、ワーピング処理部７１により、基点デプス画像に対して左視点への前景優先のワーピング処理が行われると、左視点の基点デプス画像が生成される。そして、オクルージョン判定処理部７２により、左視点の基点デプス画像においてデプス値が存在しない領域が左視点オクルージョン領域１０１として検出される。なお、周辺画素が左視点オクルージョン領域内にあり、デプス値が存在する画素が存在する場合、その画素も左視点オクルージョン領域１０１に含められる。
そして、ワーピング処理部７３により、左デプス画像の左視点オクルージョン領域１０１に対応する領域１０２に対して基点への背景優先のワーピング処理が行われる。これにより、左デプス画像の領域１０２の背景が、その領域１０２に対応する基点デプス画像上の領域１０３の画像に変換され、左デプスのオクルージョン画像とされる。
なお、図９の例では、基点デプス画像の精度が悪く、左視点の基点デプス画像で発生する左視点オクルージョン領域１０１は、実際の左視点オクルージョン領域に比べて大きくなっている。従って、左デプス画像の領域１０２には、デプス値が0以外の円形の領域も含まれるが、ワーピング処理時には、領域１０２のデプス値は全て0とされる。即ち、領域１０２のうちの前景の画素のデプス値は、ワーピング処理時には、背景のデプス値に変更される。
［左右特定情報の配置例］
図１０は、背景デプス画像の各成分の値に対応する画素を示す図である。
なお、図１０の例では、背景デプス画像は、いわゆるYCbCr420の4×4画素からなる画像である。また、図１０において、丸、四角、および三角は、それぞれ、輝度成分(Y成分)、クロマ成分のうちのCb成分、クロマ成分のうちのCr成分に対応する画素を表している。
図１０に示すように、背景デプス画像のY成分は、画素ごとに値を有しており、Cb成分およびCr成分は、2×2画素ごとに値を有している。
図１１は、Cb成分とCr成分の値のビット列の例を示す図である。
図１１の例では、Cb成分とCr成分の値のビット数が8となっている。
この場合、図１１に示すように、Cb成分の8ビットの値のうちのMSB（Most Significant Bit）である8ビット目のビットの値は、そのCb成分の値に対応する2×2画素のうちの上側の2画素のいずれか一方を表す。具体的には、8ビット目のビットの値は、左上の画素（例えば、図１０の1が付された丸で表される画素）を表す場合0であり、右上の画素（例えば、図１０の2が付された丸で表される画素）を表す場合1である。
また、Cb成分の7ビット目のビットおよび6番目のビットの値は、8ビット目のビットの値が表す画素の左右特定情報を表す。具体的には、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像（または背景カラー画像）の各画素のデプス値（または画素値）が、基点の左デプス画像（または左カラー画像）のデプス値であることを表す場合、7ビット目のビットの値は0となる。なお、以下では、この場合を左右特定情報が左を表す場合という。
また、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像（または背景カラー画像）の各画素のデプス値（または画素値）が、基点の右デプス画像（または右カラー画像）のデプス値であることを表す場合、7ビット目のビットの値は1となる。なお、以下では、この場合を左右特定情報が右を表す場合という。
さらに、8ビット目のビットが表す画素の左右特定情報が、背景デプス画像（または背景カラー画像）の各画素のデプス値（または画素値）が、基点の左デプス画像（または左カラー画像）および右デプス画像（または右カラー画像）の共有のデプス値（または画素値）であることを表す場合、6ビット目のビットの値は1となる。なお、以下では、この場合を左右特定情報が左右を表す場合という。また、Cb成分の5ビット目のビットは空き領域である。
Cb成分の2乃至4ビット目のビットの値は、そのCb成分の値に対応する2×2画素の上側の2画素のうちの、8ビット目のビットが表す画素ではない画素についての情報を、6乃至8ビット目のビットと同様に表す。LSB（Least Significant Bit）である1ビット目のビットは空き領域である。
また、Cr成分の8ビットは、そのCb成分の値に対応する2×2画素のうちの下側の2画素(例えば、図１０の3および4が付された丸で表される画素)についての情報を、Cb成分と同様に表す。
[フォーマット変換装置の処理の第１の例の説明]
図１２は、図７のフォーマット変換装置５１による図６のステップＳ１３のベースバンド変換処理の詳細を説明するフローチャートである。
図１２のステップＳ３１において、フォーマット変換装置５１のワーピング処理部７１は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部７２に供給する。
ステップＳ３２において、ワーピング処理部７４は、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部７５に供給する。
ステップＳ３３において、オクルージョン判定処理部７２は、ワーピング処理部７１から供給される左視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を左視点オクルージョン領域として検出する。
ステップＳ３４において、オクルージョン判定処理部７２は、左視点の基点デプス画像のうち、周辺画素が左視点オクルージョン領域であり、デプス値が存在する画素を左視点オクルージョン領域に追加することにより、左視点オクルージョン領域を補正する。そして、オクルージョン判定処理部７２は、補正後の左視点オクルージョン領域を特定する左視点のオクルージョン情報を、ワーピング処理部７３に供給する。
ステップＳ３５において、オクルージョン判定処理部７５は、ワーピング処理部７４から供給される右視点の基点デプス画像のうち、デプス値の存在しない画素からなる領域を右視点オクルージョン領域として検出する。
ステップＳ３６において、オクルージョン判定処理部７５は、右視点の基点デプス画像のうち、周辺画素が右視点オクルージョン領域であり、デプス値が存在する画素を右視点オクルージョン領域に追加することにより、右視点オクルージョン領域を補正する。そして、オクルージョン判定処理部７５は、補正後の右視点オクルージョン領域を特定する右視点のオクルージョン情報を、ワーピング処理部７６に供給する。
ステップＳ３７において、ワーピング処理部７３は、オクルージョン判定処理部７２かの左視点のオクルージョン情報に基づいて、入力される左デプス画像と左カラー画像の左視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部７３は、ワーピング処理の結果得られる左デプスのオクルージョン画像と左カラーのオクルージョン画像を、画面多重化処理部７７に供給する。
ステップＳ３８において、ワーピング処理部７６は、オクルージョン判定処理部７５からの右視点のオクルージョン情報に基づいて、入力される右デプス画像と右カラー画像の右視点オクルージョン領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部７６は、ワーピング処理の結果得られる右デプスのオクルージョン画像と右カラーのオクルージョン画像を、画面多重化処理部７７に供給する。
ステップＳ３９において、画面多重化処理部７７は、ワーピング処理部７３から供給される左カラーのオクルージョン画像と、ワーピング処理部７６から供給される右カラーのオクルージョン画像を1画面に多重化し、図５の多視点画像符号化装置１２に供給する。
ステップＳ４０において、画面多重化処理部７７は、ワーピング処理部７３から供給される左デプスのオクルージョン画像と、ワーピング処理部７６から供給される右デプスのオクルージョン画像を1画面に多重化する。そして、画面多重化処理部７７は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。
ステップＳ４１において、画面多重化処理部７７は、各画素の左右特定情報を生成し、クロマ成分変換処理部７８に供給する。
ステップＳ４２において、クロマ成分変換処理部７８は、画面多重化処理部７７から供給される背景デプス画像のクロマ成分を、画素ごとに、所定値から左右特定情報を表す値に変更し、変更後の背景デプス画像を多視点画像符号化装置１２に供給する。
ステップＳ４３において、出力部２６は、入力される基点デプス画像と基点カラー画像を、そのまま多視点画像符号化装置１２に出力する。そして、ベースバンド変換処理は終了する。
以上のように、図７のフォーマット変換装置５１は、左視点および右視点の基点デプス画像を用いて、左視点オクルージョン領域および右視点オクルージョン領域を検出する。従って、フォーマット変換装置５１は、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置５２で発生する左視点オクルージョン領域と右視点オクルージョン領域を正確に検出することができる。
その結果、フォーマット逆変換装置５２は、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
[フォーマット逆変換装置の第１の詳細構成例]
図１３は、図５のフォーマット逆変換装置５２の第１の詳細構成例を示すブロック図である。
図１３に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１３のフォーマット逆変換装置５２の構成は、主に、画面合成処理部３２、ワーピング処理部３３、画面合成処理部３４の代わりに画面合成処理部１２３、ワーピング処理部１２１、画面合成処理部１２４が設けられている点、および、クロマ成分変換処理部１２２が新たに設けられている点が図３の構成と異なる。
フォーマット逆変換装置５２のワーピング処理部１２１は、受け取り部として機能し、多視点画像復号装置１３から供給される背景カラー画像を受け取る。ワーピング処理部１２１は、背景カラー画像に対して、画素ごとに、クロマ成分変換処理部１２２から供給される、その画素の左右特定情報に対応する左視点または右視点への前景優先のワーピング処理を行う。
具体的には、所定の画素の左右特定情報が左を表す0である場合、ワーピング処理部１２１は、その画素に対して左視点への前景優先のワーピング処理を行う。また、所定の画素の左右特定情報が右を表す1である場合、ワーピング処理部１２１は、その画素に対して右視点への前景優先のワーピング処理を行う。さらに、所定の画素の左右特定情報が左右を表す2である場合、ワーピング処理部１２１は、その画素の左視点および右視点への前景優先のワーピング処理を行う。
また、ワーピング処理部１２１は、クロマ成分変換処理部１２２から供給される背景デプス画像に対して、背景カラー画像と同様に、画素ごとに、その画素の左右特定情報に対応する左視点または右視点への前景優先のワーピング処理を行う。
このように、左右特定情報に対応する視点への前景優先のワーピング処理が行われることにより、背景カラー画像および背景デプス画像のうちの左視点オクルージョン領域のみからなる左視点の画像と、右視点オクルージョン領域のみからなる右視点の画像が生成される。
そして、ワーピング処理部１２１は、背景カラー画像の左視点オクルージョン領域のみからなる左視点の画像を左視点の背景カラー画像とし、背景デプス画像の左視点オクルージョン領域のみからなる左視点の画像を左視点の背景デプス画像として、画面合成処理部１２３に供給する。また、ワーピング処理部１２１は、背景カラー画像の右視点オクルージョン領域のみからなる右視点の画像を右視点の背景カラー画像とし、背景デプス画像の右視点オクルージョン領域のみからなる右視点の画像を右視点の背景デプス画像として、画面合成処理部１２３に供給する。
クロマ成分変換処理部１２２は、受け取り部として機能し、多視点画像復号装置１３から供給される背景デプス画像を受け取る。クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分から、左右特定情報を生成する。
具体的には、クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分の3または7ビット目のビットが0である場合、4または8ビット目のビットが表す画素の左右特定情報として0を生成する。また、クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分の3または7ビット目のビットが1である場合、4または8ビット目のビットが表す画素の左右特定情報として1を生成する。さらに、クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分の2または6ビット目のビットが1である場合、4または8ビット目のビットが表す画素の左右特定情報として2を生成する。
また、クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分を、左右特定情報を表す値から所定値に変更し、ワーピング処理部１２１に供給する。
画面合成処理部１２３は、第１の合成処理部として機能する。画面合成処理部１２３は、ワーピング処理部３１により生成される左視点の基点カラー画像と、ワーピング処理部１２１から供給される左視点の背景カラー画像を合成し、その結果得られる画像を左カラー画像として出力する。また、画面合成処理部１２３は、ワーピング処理部３１により生成される左視点の基点デプス画像と、ワーピング処理部１２１から供給される左視点の背景デプス画像を合成し、その結果得られる画像を左デプス画像として出力する。
画面合成処理部１２４は、第２の合成処理部として機能する。画面合成処理部１２４は、ワーピング処理部３１により生成される右視点の基点カラー画像と、ワーピング処理部１２１から供給される右視点の背景カラー画像を合成し、その結果得られる画像を右カラー画像として出力する。また、画面合成処理部１２４は、ワーピング処理部３１により生成される右視点の基点デプス画像と、ワーピング処理部１２１から供給される右視点の背景デプス画像を合成し、その結果得られる右デプス画像として出力する。
なお、画面合成処理部１２３および画面合成処理部１２４における合成では、基点カラー画像と背景カラー画像の両方に画素値がある場合には、背景カラー画像の画素値が合成後の画素値として選択される。同様に、基点デプス画像と背景デプス画像の両方に画素値がある場合には、背景デプス画像の画素値が合成後の画素値として選択される。一方、基点カラー画像と背景カラー画像のいずれか一方に画素値がある場合には、その画素値が合成後の画素値とされる。
このように、画面合成処理部１２３および画面合成処理部１２４は、合成時に背景カラー画像および背景デプス画像を、左視点および右視点の背景カラー画像および背景デプス画像に比べて、優先的に選択する。従って、フォーマット変換装置５１において、左視点オクルージョン領域と右視点オクルージョン領域が補正された場合、補正後の左視点オクルージョン領域と右視点オクルージョン領域が、背景カラー画像および背景デプス画像によって補間される。よって、合成の結果得られる左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質を向上させることができる。
なお、上述したように、左視点の背景カラー画像および背景デプス画像は、背景カラー画像および背景デプス画像の左視点オクルージョン領域のみから生成される。従って、合成時に左視点の背景カラー画像および背景デプス画像が優先的に選択されても、左カラー画像および左デプス画像に、右視点オクルージョン領域の画像が存在することはない。同様に、右カラー画像および右デプス画像に、左視点オクルージョン領域の画像が存在することはない。
[フォーマット逆変換装置の処理の第１の例の説明]
図１４は、図１３のフォーマット逆変換装置５２による図６のステップＳ１６のベースバンド逆変換処理の詳細を説明するフローチャートである。
図１４のステップＳ６１において、フォーマット逆変換装置５２のクロマ成分変換処理部１２２は、多視点画像復号装置１３から背景デプス画像を受け取り、その背景デプス画像のクロマ成分から、左右特定情報を生成する。また、クロマ成分変換処理部１２２は、背景デプス画像のクロマ成分を、左右特定情報を表す値から所定値に変更し、ワーピング処理部１２１に供給する。
ステップＳ６２において、ワーピング処理部３１は、多視点画像復号装置１３から供給される基点デプス画像および基点カラー画像に対して、左視点への前景優先のワーピング処理を行う。そして、ワーピング処理部３１は、その結果得られる左視点の基点デプス画像および基点カラー画像を画面合成処理部１２３に供給する。
ステップＳ６３において、ワーピング処理部３１は、多視点画像復号装置１３から供給される基点デプス画像および基点カラー画像に対して、右視点への前景優先のワーピング処理を行う。そして、ワーピング処理部３１は、右視点の基点デプス画像および基点カラー画像を画面合成処理部１２４に供給する。
ステップＳ６４において、ワーピング処理部１２１は、左右特定情報に基づいて、背景デプス画像と背景カラー画像のうちの、左右特定情報が左または左右を表す画素に対して、左視点への前景優先のワーピング処理を行う。そして、ワーピング処理部１２１は、その結果得られる左視点の背景デプス画像および背景カラー画像を、画面合成処理部１２３に供給する。
ステップＳ６５において、ワーピング処理部１２１は、左右特定情報に基づいて、背景デプス画像と背景カラー画像のうちの、左右特定情報が右または左右を表す画素に対して、右視点への前景優先のワーピング処理を行う。そして、ワーピング処理部１２１は、その結果得られる右視点の背景デプス画像および背景カラー画像を、画面合成処理部１２４に供給する。
ステップＳ６６において、画面合成処理部１２３は、ワーピング処理部３１から供給される左視点の基点カラー画像と、ワーピング処理部１２１から供給される左視点の背景カラー画像を合成し、その結果得られる左カラー画像を出力する。
ステップＳ６７において、画面合成処理部１２４は、ワーピング処理部３１から供給される右視点の基点カラー画像と、ワーピング処理部１２１から供給される右視点の背景カラー画像を合成し、その結果得られる右カラー画像を出力する。
ステップＳ６８において、画面合成処理部１２３は、ワーピング処理部３１から供給される左視点の基点デプス画像と、ワーピング処理部１２１から供給される左視点の背景デプス画像を合成し、その結果得られる左デプス画像を出力する。
ステップＳ６９において、画面合成処理部１２４は、ワーピング処理部３１から供給される右視点の基点デプス画像と、ワーピング処理部１２１から供給される右視点の背景デプス画像を合成し、その結果得られる右デプス画像を出力する。
ステップＳ７０において、出力部３５は、多視点画像復号装置１３から供給される基点カラー画像と基点デプス画像をそのまま出力する。そして、ベースバンド逆変換処理は終了する。
以上のように、フォーマット逆変換装置５２には、左視点および右視点の基点デプス画像を用いて検出された左視点オクルージョン領域および右視点オクルージョン領域の背景カラー画像および背景デプス画像が、フォーマット変換装置５１から供給される。従って、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置５２が、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
［フォーマット変換装置の第２の構成例］
図１５は、図５のフォーマット変換装置５１の第２の詳細構成例を示すブロック図である。
図１５に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１５のフォーマット変換装置５１の構成は、主に、ワーピング処理部７１、ワーピング処理部７３、ワーピング処理部７４、ワーピング処理部７６、画面多重化処理部７７の代わりにワーピング処理部１５１、ワーピング処理部１５３、ワーピング処理部１５４、ワーピング処理部１５６、画面多重化処理部１５７が設けられている点、および、カラー相関判定処理部１５２および１５５が新たに設けられている点が図７の構成と異なる。
図１５のフォーマット変換装置５１は、左視点オクルージョン領域を含む領域の左カラー画像と右視点オクルージョン領域を含む領域の右カラー画像を1画面に多重化することにより、背景カラー画像を生成する。また、図１５のフォーマット変換装置５１は、左視点オクルージョン領域を含む領域の左デプス画像と右視点オクルージョン領域を含む領域の右デプス画像を1画面に多重化することにより、背景デプス画像を生成する。
具体的には、図１５のフォーマット変換装置５１のワーピング処理部１５１は、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点デプス画像を生成する。そして、ワーピング処理部１５１は、基点外視点ワーピング処理部として機能し、入力されるカラー画像に対して、左視点の基点デプス画像を用いて、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。なお、このとき、左視点の基点カラー画像のうちの左視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部１５１は、生成された左視点の基点カラー画像をカラー相関判定処理部１５２に供給する。
カラー相関判定処理部１５２は、検出部として機能し、入力される左カラー画像と、ワーピング処理部１５１から供給される左視点の基点カラー画像の差分を画素ごとに求める。そして、カラー相関判定処理部１５２は、画素ごとに、求められた差分に基づいて、相関が高いか、または低いかを表すカラー相関情報を生成する。
具体的には、カラー相関判定処理部１５２は、求められた差分が所定の閾値以上である場合、その画素を低相関領域として検出し、カラー相関情報として、相関が低いことを表す情報を生成する。これにより、例えば、左視点オクルージョン領域に対応するカラー相関情報は、相関が低いことを表す情報となる。一方、求められた差分が所定の閾値より小さい場合、カラー相関判定処理部１５２は、カラー相関情報として、相関が高いことを表す情報を生成する。そして、カラー相関判定処理部１５２は、生成されたカラー相関情報を、左視点のカラー相関情報としてワーピング処理部１５３に供給する。
ワーピング処理部１５３は、カラー相関判定処理部１５２から供給される左視点のカラー相関情報に基づいて、左デプス画像および左カラー画像のうちの、相関が低いことを表すカラー相関情報に対応する画素からなる領域(以下、低相関領域という)を検出する。即ち、ワーピング処理部１５３は、左デプス画像および左カラー画像のうちの、左視点の基点カラー画像および基点デプス画像において発生する左視点オクルージョン領域を含む低相関領域を検出する。
そして、ワーピング処理部１５３は、左デプス画像の低相関領域に対して、基点への背景優先のワーピング処理を行い、その結果得られる画像を、左デプスの低相関画像として画面多重化処理部１５７に供給する。また、ワーピング処理部１５３は、入力される左カラー画像のうちの低相関領域に対して、左デプスの低相関画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる画像を、左カラーの低相関画像として画面多重化処理部１５７に供給する。
ワーピング処理部１５４、カラー相関判定処理部１５５、およびワーピング処理部１５６は、右視点について、ワーピング処理部１５１、カラー相関判定処理部１５２、およびワーピング処理部１５３と同様の処理を行う。
具体的には、ワーピング処理部１５４は、基点デプス画像を用いて、基点カラー画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。なお、右視点の基点カラー画像のうちの右視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部１５４は、生成された右視点の基点カラー画像をカラー相関判定処理部１５５に供給する。
カラー相関判定処理部１５５は、入力される右カラー画像と、ワーピング処理部１５４から供給される右視点の基点カラー画像の差分を画素ごとに求める。そして、カラー相関判定処理部１５５は、カラー相関判定処理部１５２と同様に、画素ごとに、求められた差分に基づいてカラー相関情報を生成する。カラー相関判定処理部１５５は、生成されたカラー相関情報を、右視点のカラー相関情報としてワーピング処理部１５６に供給する。
ワーピング処理部１５６は、カラー相関判定処理部１５５から供給される右視点のカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの低相関領域を検出する。即ち、ワーピング処理部１５６は、右デプス画像および右カラー画像のうちの、右視点の基点カラー画像および基点デプス画像において発生する右視点オクルージョン領域を含む低相関領域を検出する。
そして、ワーピング処理部１５６は、右デプス画像の低相関領域に対して、基点への背景優先のワーピング処理を行い、その結果得られる画像を、右デプスの低相関画像として画面多重化処理部１５７に供給する。また、ワーピング処理部１５６は、入力される右カラー画像のうちの低相関領域に対して、右デプスの低相関画像を用いて基点への背景優先のワーピング処理を行い、その結果得られる画像を、右デプスの低相関画像として画面多重化処理部１５７に供給する。
画面多重化処理部１５７は、ワーピング処理部１５３から供給される左デプスの低相関画像と、ワーピング処理部１５６から供給される右デプスの低相関画像を1画面に多重化する。そして、画面多重化処理部１５７は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。なお、所定値としては、例えば、0、基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部１５７は、各画素の左右特定情報を生成し、クロマ成分変換処理部７８に供給する。
また、画面多重化処理部１５７は、ワーピング処理部１５３から供給される左カラーの低相関画像と、ワーピング処理部１５６から供給される右カラーの低相関画像を1画面に多重化する。画面多重化処理部１５７は、伝送部として機能し、多重化の結果得られる画像を背景カラー画像として、図５の多視点画像符号化装置１２および多視点画像復号装置１３を介して、フォーマット逆変換装置５２に伝送する。
図１５のフォーマット変換装置５１に入力される基点デプス画像と基点カラー画像は、そのまま多視点画像符号化装置１２に供給される。
[フォーマット変換装置の処理の第２の例の説明]
図１６は、図１５のフォーマット変換装置５１による図６のステップＳ１３のベースバンド変換処理の詳細を説明するフローチャートである。
図１６のステップＳ１０１において、フォーマット変換装置５１のワーピング処理部１５１は、入力される基点デプス画像を用いて、基点カラー画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。ワーピング処理部１５１は、生成された左視点の基点カラー画像をカラー相関判定処理部１５２に供給する。
ステップＳ１０２において、ワーピング処理部１５４は、入力される基点デプス画像を用いて、基点カラー画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。ワーピング処理部１５４は、生成された右視点の基点カラー画像をカラー相関判定処理部１５５に供給する。
ステップＳ１０３において、カラー相関判定処理部１５２は、入力される左カラー画像と、ワーピング処理部１５１から供給される左視点の基点カラー画像の各画素の差分を求める。
ステップＳ１０４において、カラー相関判定処理部１５２は、画素ごとに、ステップＳ１０３で求められた差分に基づいて左視点のカラー相関情報を生成し、ワーピング処理部１５３に供給する。
ステップＳ１０５において、カラー相関判定処理部１５５は、入力される右カラー画像と、ワーピング処理部１５４から供給される右視点の基点カラー画像の各画素の差分を求める。
ステップＳ１０６において、カラー相関判定処理部１５５は、カラー相関判定処理部１５２と同様に、画素ごとに、ステップＳ１０５で求められた差分に基づいて右視点のカラー相関情報を生成し、ワーピング処理部１５６に供給する。
ステップＳ１０７において、ワーピング処理部１５３は、カラー相関判定処理部１５２から供給される左視点のカラー相関情報に基づいて、左デプス画像と左カラー画像のうちの低相関領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部１５３は、ワーピング処理の結果得られる左デプスの低相関画像および左カラーの低相関画像を、画面多重化処理部１５７に供給する。
ステップＳ１０８において、ワーピング処理部１５６は、カラー相関判定処理部１５５から供給される右視点のカラー相関情報に基づいて、右デプス画像と右カラー画像のうちの低相関領域に対して、基点への背景優先のワーピング処理を行う。そして、ワーピング処理部１５６は、ワーピング処理の結果得られる右デプスの低相関画像と右カラーの低相関画像を、画面多重化処理部１５７に供給する。
ステップＳ１０９において、画面多重化処理部１５７は、ワーピング処理部１５３から供給される左カラーの低相関画像と、ワーピング処理部１５６から供給される右カラーの低相関画像を1画面に多重化する。そして、画面多重化処理部１５７は、多重化の結果得られる背景カラー画像を、図５の多視点画像符号化装置１２に供給する。
ステップＳ１１０において、画面多重化処理部１５７は、ワーピング処理部１５３から供給される左デプスの低相関画像と、ワーピング処理部１５６から供給される右デプスの低相関画像を1画面に多重化する。そして、画面多重化処理部１５７は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。
ステップＳ１１１乃至Ｓ１１３の処理は、図１２のステップＳ４１乃至Ｓ４３の処理と同様であるので、説明は省略する。ステップＳ１１３の処理後、ベースバンド変換処理は終了する。
以上のように、図１５のフォーマット変換装置５１は、左視点の基点カラー画像を用いて、左視点の基点カラー画像と左カラー画像の各画素の差分を求め、その差分に基づいて左視点オクルージョン領域を含む低相関領域を検出する。同様に、フォーマット変換装置５１は、右視点の基点カラー画像を用いて右視点オクルージョン領域を含む低相関領域を検出する。
従って、フォーマット変換装置５１は、基点デプス画像の精度が悪い場合であっても、フォーマット逆変換装置５２で発生する左視点オクルージョン領域と右視点オクルージョン領域を正確に検出することができる。その結果、フォーマット逆変換装置５２は、背景カラー画像および背景デプス画像で左視点オクルージョン領域と右視点オクルージョン領域を補間することにより、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
なお、図５の画像処理システム１０が図１５のフォーマット変換装置５１を備える場合のフォーマット逆変換装置５２の構成は、図１３のフォーマット逆変換装置５２の構成と同様である。
この場合、画面合成処理部１２３および１２４が、背景カラー画像および背景デプス画像を優先的に選択することにより、合成後の画像として、図１５のフォーマット変換装置５１に入力される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の低相関領域が用いられる。その結果、フォーマット逆変換装置５２により生成される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が向上する。例えば、基点カラー画像が、角度によって光の反射が異なる被写体のカラー画像である場合、フォーマット逆変換装置５２により生成される左カラー画像や右カラー画像の画質が向上する。
[フォーマット変換装置の第３の詳細構成例]
図１７は、図５のフォーマット変換装置５１の第３の詳細構成例を示すブロック図である。
図１７に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１７のフォーマット変換装置５１の構成は、主に、ワーピング処理部７１、ワーピング処理部７３、ワーピング処理部７４、ワーピング処理部７６、画面多重化処理部７７の代わりに、ワーピング処理部２０１、ワーピング処理部２０３、ワーピング処理部２０４、ワーピング処理部２０６、画面多重化処理部２０７が設けられている点、および、新たにカラー相関判定処理部２０２および２０５が設けられている点が、図７の構成と異なる。
図１７のフォーマット変換装置５１は、背景デプス画像および背景カラー画像内の、左視点オクルージョン領域と右視点オクルージョン領域以外の領域に、その領域に対応する左デプス画像または右デプス画像の低相関領域を配置する。
具体的には、図１７のフォーマット変換装置５１のワーピング処理部２０１は、基点外視点ワーピング処理部として機能し、入力される基点デプス画像に対して、左視点への前景優先のワーピング処理を行い、左視点の基点デプス画像を生成する。そして、ワーピング処理部２０１は、入力されるカラー画像に対して、左視点の基点デプス画像を用いて、左視点への前景優先のワーピング処理を行い、左視点の基点カラー画像を生成する。なお、左視点の基点カラー画像のうちの左視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部２０１は、生成された左視点の基点デプス画像をオクルージョン判定処理部７２に供給し、左視点の基点カラー画像をカラー相関判定処理部２０２に供給する。
カラー相関判定処理部２０２は、オクルージョン判定処理部７２により生成される左視点のオクルージョン情報に基づいて、入力される左カラー画像と左視点の基点カラー画像の左視点オクルージョン領域外の各画素の差分を求める。そして、カラー相関判定処理部２０２は、画素ごとに、求められた差分に基づいてカラー相関情報を生成し、左視点のカラー相関情報としてワーピング処理部２０３に供給する。
ワーピング処理部２０３は、オクルージョン判定処理部７２により生成される左視点のオクルージョン情報に基づいて、左デプス画像および左カラー画像のうちの左視点オクルージョン領域を検出する。また、ワーピング処理部２０３は、カラー相関判定処理部２０２から供給される左視点のカラー相関情報に基づいて、左デプス画像および左カラー画像のうちの左視点オクルージョン領域外の低相関領域（以下、左視点オクルージョン外低相関領域という）を検出する。そして、ワーピング処理部１５３は、左デプス画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部２０３は、その結果得られる左デプスのオクルージョン画像と、左視点オクルージョン外低相関領域の画像である左デプスのオクルージョン外低相関画像を、画面多重化処理部２０７に供給する。
また、ワーピング処理部２０３は、入力される左カラー画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、左デプスのオクルージョン画像とオクルージョン外低相関画像を用いて、基点への背景優先のワーピング処理を行う。ワーピング処理部２０３は、その結果得られる左カラーのオクルージョン画像と、左視点オクルージョン外低相関領域の画像である左カラーのオクルージョン外低相関画像を画面多重化処理部２０７に供給する。
ワーピング処理部２０４は、入力される基点デプス画像に対して、右視点への前景優先のワーピング処理を行い、右視点の基点デプス画像を生成する。そして、ワーピング処理部２０４は、入力されるカラー画像に対して、右視点の基点デプス画像を用いて、右視点への前景優先のワーピング処理を行い、右視点の基点カラー画像を生成する。なお、右視点の基点カラー画像のうちの右視点オクルージョン領域は、例えば黒画とされる。ワーピング処理部２０４は、生成された右視点の基点デプス画像をオクルージョン判定処理部７５に供給し、右視点の基点カラー画像をカラー相関判定処理部２０５に供給する。
カラー相関判定処理部２０５は、オクルージョン判定処理部７５により生成される右視点のオクルージョン情報に基づいて、入力される右カラー画像と右視点の基点カラー画像の右視点オクルージョン領域外の各画素の差分を求める。そして、カラー相関判定処理部２０５は、画素ごとに、求められた差分に基づいてカラー相関情報を生成し、右視点のカラー相関情報としてワーピング処理部２０６に供給する。
ワーピング処理部２０６は、オクルージョン判定処理部７２により生成される右視点のオクルージョン情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域を検出する。また、ワーピング処理部２０６は、カラー相関判定処理部２０５から供給される右視点のカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域外の低相関領域（以下、右視点オクルージョン外低相関領域という）を検出する。そして、ワーピング処理部２０６は、右デプス画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部２０６は、その結果得られる右デプスのオクルージョン画像と、右視点オクルージョン外低相関領域の画像である右デプスのオクルージョン外低相関画像を、画面多重化処理部２０７に供給する。
また、ワーピング処理部２０６は、入力される右カラー画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、右デプスのオクルージョン画像とオクルージョン外低相関画像を用いて、基点への背景優先のワーピング処理を行う。ワーピング処理部２０６は、その結果得られる右カラーのオクルージョン画像と、右視点オクルージョン外低相関領域の画像である右カラーのオクルージョン外低相関画像を画面多重化処理部２０７に供給する。
画面多重化処理部２０７は、ワーピング処理部２０３から供給される左デプスのオクルージョン画像およびオクルージョン外低相関画像と、ワーピング処理部２０６から供給される右デプスのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部２０７は、その結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。なお、所定値としては、例えば、0、基点デプス画像のデプス値等を用いることができる。また、画面多重化処理部２０７は、各画素の左右特定情報を生成し、クロマ成分変換処理部７８に供給する。
また、画面多重化処理部２０７は、ワーピング処理部２０３から供給される左カラーのオクルージョン画像およびオクルージョン外低相関画像と、ワーピング処理部２０６から供給される右カラーのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。画面多重化処理部２０７は、伝送部として機能し、多重化の結果得られる画像を背景カラー画像として、図５の多視点画像符号化装置１２および多視点画像復号装置１３を介して、フォーマット逆変換装置５２に供給する。
[フォーマット変換装置の処理の第３の例の説明]
図１８は、図１７のフォーマット変換装置５１による図６のステップＳ１３のベースバンド変換処理の詳細を説明するフローチャートである。
図１８のステップＳ１２１において、図１７のフォーマット変換装置５１のワーピング処理部２０１は、入力される基点カラー画像および基点デプス画像に対して、左視点への前景優先のワーピング処理を行う。ワーピング処理部２０１は、その結果得られる左視点の基点デプス画像をオクルージョン判定処理部７２に供給し、左視点の基点カラー画像をカラー相関判定処理部２０２に供給する。
ステップＳ１２２において、ワーピング処理部２０４は、入力される基点カラー画像および基点デプス画像に対して、右視点への前景優先のワーピング処理を行う。ワーピング処理部２０４は、その結果得られる右視点の基点デプス画像をオクルージョン判定処理部７５に供給し、右視点の基点カラー画像をカラー相関判定処理部２０５に供給する。
ステップＳ１２３乃至Ｓ１２６の処理は、図１２のステップＳ３３乃至Ｓ３６の処理と同様であるので、説明は省略する。
ステップＳ１２７において、カラー相関判定処理部２０２は、オクルージョン判定処理部７２により生成される左視点のオクルージョン情報に基づいて、入力される左カラー画像と、左視点の基点カラー画像の左視点オクルージョン領域外の各画素の差分を求める。
ステップＳ１２８において、カラー相関判定処理部２０２は、ステップＳ１２７で画素ごとに求められた差分に基づいて、左視点のカラー相関情報を生成し、ワーピング処理部２０３に供給する。
ステップＳ１２９において、カラー相関判定処理部２０５は、オクルージョン判定処理部７５により生成される右視点のオクルージョン情報に基づいて、入力される右カラー画像と、右視点の基点カラー画像の右視点オクルージョン領域外の各画素の差分を求める。
ステップＳ１３０において、カラー相関判定処理部２０５は、ステップＳ１２９で画素ごとに求められた差分に基づいて、右視点のカラー相関情報を生成し、ワーピング処理部２０６に供給する。
ステップＳ１３１において、ワーピング処理部２０３は、左視点のオクルージョン情報とカラー相関情報に基づいて、左デプス画像と左カラー画像のうちの左視点オクルージョン領域と左視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部２０３は、その結果得られる左デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、左カラーのオクルージョン画像およびオクルージョン外低相関画像を画面多重化処理部２０７に供給する。
ステップＳ１３２において、ワーピング処理部２０６は、右視点のオクルージョン情報とカラー相関情報に基づいて、右デプス画像および右カラー画像のうちの右視点オクルージョン領域と右視点オクルージョン外低相関領域に対して、基点への背景優先のワーピング処理を行う。ワーピング処理部２０６は、その結果得られる右デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、右カラーのオクルージョン画像およびオクルージョン外低相関画像を画面多重化処理部２０７に供給する。
ステップＳ１３３において、画面多重化処理部２０７は、左カラーのオクルージョン画像およびオクルージョン外低相関画像、並びに、右カラーのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部２０７は、多重化の結果得られる背景カラー画像を、図５の多視点画像符号化装置１２に供給する。
ステップＳ１３４において、画面多重化処理部２０７は、左デプスのオクルージョン画像およびオクルージョン外低相関画像、並びに、右デプスのオクルージョン画像およびオクルージョン外低相関画像を1画面に多重化する。そして、画面多重化処理部２０７は、多重化の結果得られる各画素のデプス値を輝度成分とし、所定値をクロマ成分とした背景デプス画像を、クロマ成分変換処理部７８に供給する。
ステップＳ１３５乃至Ｓ１３７の処理は、図１２のステップＳ４１乃至Ｓ４３の処理と同様であるので、説明は省略する。ステップＳ１３７の処理後、ベースバンド変換処理は終了する。
以上のように、図１７のフォーマット変換装置５１は、図７のフォーマット変換装置５１と同様に、左視点および右視点の基点デプス画像を用いて、左視点オクルージョン領域および右視点オクルージョン領域を検出する。その結果、フォーマット逆変換装置５２は、基点デプス画像の精度が悪い場合であっても、左カラー画像、左デプス画像、右カラー画像、および右デプス画像の破綻を防止することができる。
なお、図５の画像処理システム１０が図１７のフォーマット変換装置５１を備える場合のフォーマット逆変換装置５２の構成は、図１３のフォーマット逆変換装置５２の構成と同様である。
この場合、画面合成処理部１２３および１２４が、背景カラー画像および背景デプス画像を優先的に選択することにより、合成後の画像として、図１７のフォーマット変換装置５１に入力される左カラー画像および左デプス画像の左視点オクルージョン領域と左視点オクルージョン外低相関領域が用いられる。また、図１７のフォーマット変換装置５１に入力される右カラー画像および右デプス画像の右視点オクルージョン領域と右視点オクルージョン外低相関領域が用いられる。その結果、フォーマット逆変換装置５２により生成される左カラー画像、左デプス画像、右カラー画像、および右デプス画像の画質が向上する。
なお、本実施の形態では、フォーマット変換装置５１における多重化時に多重化対象が重なる場合、左デプス画像および左カラー画像が残されるものとしたが、図１５および図１７のフォーマット変換装置５１では、相関がより低い方の多重化対象が残されるようにしてもよい。また、優先度が高い方の多重化対象が残されるようにしてもよい。
また、上述した説明では、左右特定情報は、図１１に示すように、クロマ成分の所定のビットの値で表されたが、数値で表されてもよい。この場合、各クロマ成分の8ビットで表される0乃至255の値が9分割され、28おきの値で、そのクロマ成分に対応する2画素の左右特定情報が表される。
例えば、2画素の左右特定情報が左を表す場合、クロマ成分の値は0であり、2画素のうちの左側の画素の左右特定情報が左を表し、右側の画素の左右特定情報が右を表す場合、その値は28である。また、2画素のうちの左側の画素の左右特定情報が左を表し、右側の画素の左右特定情報が左右を表す場合、その値は56である。
また、2画素の左右特定情報が右を表す場合、クロマ成分の値は84であり、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が左を表す場合、その値は112である。また、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が左右を表す場合、その値は140である。
さらに、2画素の左右特定情報が左右を表す場合、クロマ成分の値は168であり、2画素のうちの左側の画素の左右特定情報が左右を表し、右側の画素の左右特定情報が左を表す場合、その値は196である。また、2画素のうちの左側の画素の左右特定情報が右を表し、右側の画素の左右特定情報が右を表す場合、その値は224である。
以上のようにして左右特定情報がクロマ成分の数値で表される場合、その数値のとり得る値の間隔が最大となるため、圧縮による歪みの影響を受けにくくすることができる。
また、左右特定情報は、背景デプス画像のクロマ成分で表されず、背景デプス画像とは別に伝送されるようにしてもよい。この場合、左右特定情報は、符号化されずに、ビットストリームとは別系統で伝送されるようにしてもよい。また、左右特定情報は、符号化されて、ビットストリームとは別系統で伝送されるようにしてもよい。
＜第２実施の形態＞
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図２０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部８０８やROM（Read Only Memory）８０２に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア８１１に格納（記録）しておくことができる。このようなリムーバブルメディア８１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア８１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア８１１からドライブ８１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部８０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)８０１を内蔵しており、CPU８０１には、バス８０４を介して、入出力インタフェース８０５が接続されている。
CPU８０１は、入出力インタフェース８０５を介して、ユーザによって、入力部８０６が操作等されることにより指令が入力されると、それに従って、ROM８０２に格納されているプログラムを実行する。あるいは、CPU８０１は、記憶部８０８に格納されたプログラムを、RAM(Random Access Memory)８０３にロードして実行する。
これにより、CPU８０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU８０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース８０５を介して、出力部８０７から出力、あるいは、通信部８０９から送信、さらには、記憶部８０８に記録等させる。
なお、入力部８０６は、キーボードや、マウス、マイク等で構成される。また、出力部８０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
本技術は、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像処理システムに適用することができる。
また、上述した画像処理システムは、任意の電子機器に適用することができる。以下にその例について説明する。
＜第３実施の形態＞
［テレビジョン装置の構成例］
図２１は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９００の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９００がユーザ操作に応じた動作となるように各部を制御する。
なお、テレビジョン装置９００では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
＜第４実施の形態＞
［携帯電話機の構成例］
図２２は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２０は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
携帯電話機９２０は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
なお、携帯電話機９２０は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、画像データの通信において、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。また、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
＜第５実施の形態＞
［記録再生装置の構成例］
図２３は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４０は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４０は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４０は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙディスク等である。
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された記録再生装置では、エンコーダ９４３に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。
＜第６実施の形態＞
［撮像装置の構成例］
図２４は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６０は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６０がユーザ操作に応じた動作となるように各部を制御する。
このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。このため、基点のデプス画像の精度が悪い場合であっても、受信側で、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができるように、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域を送信することができる。また、基点以外の視点のカラー画像およびデプス画像のオクルージョン領域が送信される場合において、基点のデプス画像の精度が悪い場合であっても、基点以外の視点のカラー画像およびデプス画像を高画質で生成することができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
３１ ワーピング処理部， ５１ フォーマット変換装置， ５２ フォーマット逆変換装置， ７１ ワーピング処理部， ７２ オクルージョン判定処理部， ７３，７４ ワーピング処理部， ７５ オクルージョン判定処理部， ７６ ワーピング処理部， ７７ 画面多重化処理部， ７８ クロマ成分変換処理部， １２１ ワーピング処理部， １２２ クロマ成分変換処理部， １２３，１２４ 画面合成処理部， １５１ ワーピング処理部， １５２ カラー相関判定処理部， １５４ ワーピング処理部， １５５ カラー相関判定処理部， １５７ 画面多重化処理部， ２０１ ワーピング処理部， ２０２ カラー相関判定処理部， ２０４ ワーピング処理部， ２０５ カラー相関判定処理部， ２０７ 画面多重化処理部

Claims (24)

  1. 基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理部と、
    前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出部と、
    前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送部と
    を備える画像処理装置。
  2. 第１の前記基点外視点のデプス画像の、視点を前記基点視点から前記第１の基点外視点に変換する際に生じる第１の前記オクルージョン領域と、第２の前記基点外視点のデプス画像の、視点を前記基点視点から前記第２の基点外視点に変換する際に生じる第２の前記オクルージョン領域とを多重化してデプス多重化画像を生成する多重化部と
    をさらに備え、
    前記伝送部は、前記多重化部により生成された前記デプス多重化画像を伝送する
    請求項１に記載の画像処理装置。
  3. 前記多重化部は、前記第１の基点外視点のデプス画像の前記第１のオクルージョン領域と前記第２の基点外視点のデプス画像の前記第２のオクルージョン領域とを１画面に多重化する
    請求項２に記載の画像処理装置。
  4. 前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域の値であるか、前記第２のオクルージョン領域の値であるか、前記第１のオクルージョン領域および前記第２のオクルージョン領域に共通の値であるかを識別する識別情報を設定する設定部
    をさらに備え、
    前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
    請求項３に記載の画像処理装置。
  5. 前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域の値であるか、前記第２のオクルージョン領域の値であるかを識別する識別情報を設定する設定部
    をさらに備え、
    前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
    請求項３に記載の画像処理装置。
  6. 前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域および前記第２のオクルージョン領域に共通の値であるかを識別する識別情報を設定する設定部
    をさらに備え、
    前記伝送部は、前記多重化部により生成された前記デプス多重化画像と、前記設定部により設定された前記識別情報とを伝送する
    請求項３に記載の画像処理装置。
  7. 前記多重化部は、前記第１の基点外視点のカラー画像の前記第１のオクルージョン領域と、前記第２の基点外視点のカラー画像の前記第２のオクルージョン領域とを多重化してカラー多重化画像を生成し、
    前記伝送部は、前記多重化部により生成された前記カラー多重化画像を伝送する
    請求項２に記載の画像処理装置。
  8. 前記多重化部は、前記第１の基点外視点のカラー画像の前記第１のオクルージョン領域と、前記第２の基点外視点のカラー画像の前記第２のオクルージョン領域とを１画面に多重化する
    請求項７に記載の画像処理装置。
  9. 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像を対象として、デプス値が存在しない画素を、前記オクルージョン領域として検出する
    請求項１に記載の画像処理装置。
  10. 前記検出部は、前記オクルージョン領域として検出されない画素のうち、その画素の周辺の画素が前記オクルージョン領域として検出された画素を、前記オクルージョン領域に追加することにより、前記オクルージョン領域を補正し、
    前記伝送部は、前記基点外視点のデプス画像の補正後の前記オクルージョン領域を伝送する
    請求項９に記載の画像処理装置。
  11. 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のカラー画像と、前記基点外視点のカラー画像との差分が閾値以上である場合、その差分に対応する領域を、前記オクルージョン領域を含む低相関領域として検出し、
    前記伝送部は、前記基点外視点のデプス画像の前記低相関領域を伝送する
    請求項１に記載の画像処理装置。
  12. 前記検出部は、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のデプス画像を対象として、デプス値が存在しない画素を、前記オクルージョン領域として検出し、前記基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記基点外視点のカラー画像の前記オクルージョン領域以外の領域と、前記基点外視点のカラー画像の前記オクルージョン領域以外の領域との差分が閾値以上である場合、その差分に対応する領域を低相関領域として検出し、
    前記伝送部は、前記基点外視点のデプス画像の前記オクルージョン領域と前記低相関領域を伝送する
    請求項１に記載の画像処理装置。
  13. 画像処理装置が、
    基点の視点である基点視点のデプス画像またはカラー画像に対して、前記基点視点以外の視点である基点外視点へのワーピング処理を行う基点外視点ワーピング処理ステップと、
    前記基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記基点外視点のデプス画像またはカラー画像を用いて、視点を前記基点視点から前記基点外視点に変換する際に生じるオクルージョン領域を検出する検出ステップと、
    前記基点外視点のデプス画像の前記オクルージョン領域を伝送する伝送ステップと
    を含む画像処理方法。
  14. 基点の視点である基点視点以外の視点である第１の基点外視点のデプス画像の、視点を前記基点視点から前記第１の基点外視点に変換する際に生じる第１のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第１のオクルージョン領域と、前記基点視点および前記第１の基点外視点以外の視点である第２の基点外視点のデプス画像の、視点を前記基点視点から前記第２の基点外視点に変換する際に生じる第２のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第２のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取り部と、
    前記基点視点のデプス画像に対して、前記第１の基点外視点へのワーピング処理を行う第１基点外視点ワーピング処理部と、
    前記基点視点のデプス画像に対して、前記第２の基点外視点へのワーピング処理を行う第２基点外視点ワーピング処理部と、
    前記第１基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第１の基点外視点のデプス画像と、前記デプス多重化画像の前記第１のオクルージョン領域とを合成する第１の合成処理部と、
    前記第２基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第２の基点外視点のデプス画像と、前記デプス多重化画像の前記第２のオクルージョン領域とを合成する第２の合成処理部と
    を備える画像処理装置。
  15. 前記デプス多重化画像は、前記基点視点のデプス画像の前記第１のオクルージョン領域と、前記基点視点のデプス画像の前記第２のオクルージョン領域とを１画面に多重化した結果得られる
    請求項１４に記載の画像処理装置。
  16. 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域の値であるか、前記第２のオクルージョン領域の値であるか、前記第１のオクルージョン領域および前記第２のオクルージョン領域に共通の値であるかを識別する識別情報を受け取る
    請求項１５に記載の画像処理装置。
  17. 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域の値であるか、前記第２のオクルージョン領域の値であるかを識別する識別情報を受け取る
    請求項１５に記載の画像処理装置。
  18. 前記受け取り部は、前記デプス多重化画像の各画素の値が、前記第１のオクルージョン領域および前記第２のオクルージョン領域に共通の値であるかを識別する識別情報を受け取る
    請求項１５に記載の画像処理装置。
  19. 前記受け取り部はまた、前記第１の基点外視点のカラー画像の前記第１のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のカラー画像の前記第１のオクルージョン領域と、前記第２の基点外視点のカラー画像の前記第２のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のカラー画像の前記第２のオクルージョン領域とを多重化した結果得られるカラー多重化画像を受け取り、
    前記第１基点外視点ワーピング処理部はまた、前記基点視点のカラー画像に対して、前記第１の基点外視点へのワーピング処理を行い、
    前記第２基点外視点ワーピング処理部はまた、前記基点視点のカラー画像に対して、前記第２の基点外視点へのワーピング処理を行い、
    前記第１の合成処理部はまた、前記第１基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第１の基点外視点のカラー画像と、前記カラー多重化画像の前記第１のオクルージョン領域とを合成し、
    前記第２の合成処理部はまた、前記第２基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第２の基点外視点のカラー画像と、前記カラー多重化画像の前記第２のオクルージョン領域とを合成する
    請求項１４に記載の画像処理装置。
  20. 前記カラー多重化画像は、前記基点視点のカラー画像の前記第１のオクルージョン領域と、前記基点視点のカラー画像の前記第２のオクルージョン領域とを１画面に多重化した結果得られる
    請求項１９に記載の画像処理装置。
  21. 前記第１の合成処理部は、前記第１基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第１の基点外視点のデプス画像に比べて、前記デプス多重化画像の前記第１のオクルージョン領域を優先して合成し、
    前記第２の合成処理部は、前記第２基点外視点ワーピング処理部による前記ワーピング処理によって得られる前記第２の基点外視点のデプス画像に比べて、前記デプス多重化画像の前記第２のオクルージョン領域を優先して合成する
    請求項１４に記載の画像処理装置。
  22. 前記デプス多重化画像は、前記第１の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第１の基点外視点へのワーピング処理結果と前記第１の基点外視点のカラー画像との差分が閾値以上である前記第１のオクルージョン領域を含む第１の低相関領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第１の低相関領域と、前記第２の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第２の基点外視点へのワーピング処理結果と前記第２の基点外視点のカラー画像との差分が閾値以上である前記第２のオクルージョン領域を含む第２の低相関領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第２の低相関領域とを多重化した結果得られる
    請求項１４に記載の画像処理装置。
  23. 前記デプス多重化画像は、前記第１の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第１の基点外視点へのワーピング処理結果と前記第１の基点外視点のカラー画像の前記第１のオクルージョン領域以外の領域との差分が閾値以上である第１の低相関領域および前記第１のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第１の低相関領域および前記第１のオクルージョン領域と、前記第２の基点外視点のデプス画像の、前記基点視点のカラー画像の前記第２の基点外視点へのワーピング処理結果と前記第２の基点外視点のカラー画像の前記第２のオクルージョン領域以外の領域との差分が閾値以上である第２の低相関領域および前記第２のオクルージョン領域に対して、前記基点視点へのワーピング処理を行った結果得られる前記基点視点のデプス画像の前記第２の低相関領域および前記第２のオクルージョン領域とを多重化した結果得られる
    請求項１４に記載の画像処理装置。
  24. 基点の視点である基点視点以外の視点である第１の基点外視点のデプス画像の、視点を前記基点視点から前記第１の基点外視点に変換する際に生じる第１のオクルージョン領域と、前記基点視点および前記第１の基点外視点以外の視点である第２の基点外視点のデプス画像の、視点を前記基点視点から前記第２の基点外視点に変換する際に生じる第２のオクルージョン領域とを多重化した結果得られるデプス多重化画像を受け取る受け取りステップと、
    前記基点視点のデプス画像に対して、前記第１の基点外視点へのワーピング処理を行う第１基点外視点ワーピング処理ステップと、
    前記基点視点のデプス画像に対して、前記第２の基点外視点へのワーピング処理を行う第２基点外視点ワーピング処理ステップと、
    前記第１基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記第１の基点外視点のデプス画像と、前記デプス多重化画像の前記第１のオクルージョン領域とを合成する第１の合成処理ステップと、
    前記第２基点外視点ワーピング処理ステップの前記ワーピング処理によって得られる前記第２の基点外視点のデプス画像と、前記デプス多重化画像の前記第２のオクルージョン領域とを合成する第２の合成処理ステップと
    を含む画像処理方法。
JP2013500985A 2011-02-24 2012-02-16 画像処理装置および画像処理方法 Pending JPWO2012114975A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011038670 2011-02-24
JP2011038670 2011-02-24
PCT/JP2012/053685 WO2012114975A1 (ja) 2011-02-24 2012-02-16 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JPWO2012114975A1 true JPWO2012114975A1 (ja) 2014-07-07

Family

ID=46720756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013500985A Pending JPWO2012114975A1 (ja) 2011-02-24 2012-02-16 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US9235749B2 (ja)
JP (1) JPWO2012114975A1 (ja)
CN (1) CN103404156A (ja)
WO (1) WO2012114975A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150350624A1 (en) * 2012-07-02 2015-12-03 Samsung Electronics Co., Ltd. Method and apparatus for generating 3d image data stream, method and apparatus for playing 3d image data stream
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
CN105247860B (zh) * 2013-06-05 2017-12-19 索尼公司 图像处理设备及图像处理方法
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
WO2016035728A1 (ja) * 2014-09-04 2016-03-10 ソニー株式会社 ビデオデータ処理装置およびビデオデータ処理方法
US9412153B2 (en) * 2014-12-11 2016-08-09 Sony Corporation Using depth for recovering missing information in an image
CN104766363B (zh) * 2015-02-04 2016-05-25 浙江工商大学 基于深度图绘制的多方向参考视点的warping方法
WO2017043258A1 (ja) * 2015-09-09 2017-03-16 シャープ株式会社 計算装置および計算装置の制御方法
DE112017005318T5 (de) * 2016-10-19 2019-08-01 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
KR102608466B1 (ko) * 2016-11-22 2023-12-01 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
US10645360B2 (en) * 2017-05-31 2020-05-05 Verizon Patent And Licensing Inc. Methods and systems for transmitting data in a virtual reality system
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551467B2 (ja) 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
US5604856A (en) * 1994-10-13 1997-02-18 Microsoft Corporation Motion compensated noise reduction method and system for computer generated images
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
US6016150A (en) * 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
FR2779257B1 (fr) * 1998-05-27 2000-08-11 France Telecom Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images
US6417850B1 (en) * 1999-01-27 2002-07-09 Compaq Information Technologies Group, L.P. Depth painting for 3-D rendering applications
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6930681B2 (en) * 2001-08-14 2005-08-16 Mitsubishi Electric Research Labs, Inc. System and method for registering multiple images with three-dimensional objects
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
US7362918B2 (en) * 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
WO2006041261A1 (en) * 2004-10-16 2006-04-20 Electronics And Telecommunications Research Institute Method and system for encoding/decoding multi-view video based on layered-depth image
KR101362941B1 (ko) 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN100576934C (zh) * 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN101312542B (zh) * 2008-07-07 2010-09-08 浙江大学 一种自然三维电视系统
TWI376645B (en) * 2008-07-29 2012-11-11 Sonix Technology Co Ltd Image processing methof of noise reduction and apparatus thereof
US8760495B2 (en) * 2008-11-18 2014-06-24 Lg Electronics Inc. Method and apparatus for processing video signal
JP2010157823A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
KR101702948B1 (ko) * 2010-07-20 2017-02-06 삼성전자주식회사 깊이영상 부호화를 위한 율-왜곡 최적화 장치 및 방법
KR101729924B1 (ko) * 2010-08-03 2017-04-26 삼성전자주식회사 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법
KR101676830B1 (ko) * 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
US20120170841A1 (en) * 2011-01-05 2012-07-05 Samsung Electronics Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
WO2012114975A1 (ja) 2012-08-30
US9235749B2 (en) 2016-01-12
CN103404156A (zh) 2013-11-20
US20130315473A1 (en) 2013-11-28

Similar Documents

Publication Publication Date Title
JP6365635B2 (ja) 画像処理装置および画像処理方法
WO2012114975A1 (ja) 画像処理装置および画像処理方法
US9716873B2 (en) Image processing device and image processing method
US10055814B2 (en) Image processing device and image processing method
US9979961B2 (en) Image processing device and image processing method
JP6206559B2 (ja) 復号装置、復号方法、プログラム、および記録媒体
US10122986B2 (en) Image processing device and image processing method
US9338430B2 (en) Encoding device, encoding method, decoding device, and decoding method
US9762884B2 (en) Encoding device, encoding method, decoding device, and decoding method for encoding multiple viewpoints for compatibility with existing mode allowing fewer viewpoints