JPWO2018150933A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JPWO2018150933A1
JPWO2018150933A1 JP2018568120A JP2018568120A JPWO2018150933A1 JP WO2018150933 A1 JPWO2018150933 A1 JP WO2018150933A1 JP 2018568120 A JP2018568120 A JP 2018568120A JP 2018568120 A JP2018568120 A JP 2018568120A JP WO2018150933 A1 JPWO2018150933 A1 JP WO2018150933A1
Authority
JP
Japan
Prior art keywords
image
unit
packing
images
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018568120A
Other languages
English (en)
Other versions
JP7200678B2 (ja
Inventor
裕介 瀬下
裕介 瀬下
剛也 小林
剛也 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018150933A1 publication Critical patent/JPWO2018150933A1/ja
Application granted granted Critical
Publication of JP7200678B2 publication Critical patent/JP7200678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術は、データの伝送量を削減することができるようにする画像処理装置および画像処理方法に関する。画像処理装置は、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出し部を備える。本技術は、例えば、複数の視点から撮影した複数の視点画像、又は、複数の視点からのＣＧ画像である複数の視点画像に基づいて、バードビューの映像の生成及び表示を行うシステムの符号化装置、復号装置等に適用することができる。

Description

本技術は、画像処理装置および画像処理方法に関し、特に、複数の視点からのオブジェクトの複数の視点画像に基づいて、仮想の視点からのオブジェクトの仮想画像を生成する場合に用いて好適な画像処理装置および画像処理方法に関する。
複数の撮像カメラにより撮影されたテクスチャ画像とデプス画像から被写体の３Ｄモデルを生成する技術がある(例えば、非特許文献１参照)。
Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego
しかしながら、非特許文献１では、複数の視点からのオブジェクトの複数の視点画像に基づいて、仮想の視点からのオブジェクトの仮想画像を生成する場合に、視点画像を供給する側と仮想画像を生成する側との間のデータの伝送量を削減することは検討されていなかった。
本技術は、このような状況に鑑みてなされたものであり、データの伝送量を削減することができるようにするものである。
本技術の第１の側面の画像処理装置は、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出し部を備える。
前記切出し画像は、仮想の視点からの前記オブジェクトの画像である仮想画像の生成に用いられることができる。
複数の前記切出し画像の中から、前記仮想画像の生成に用いる複数の再生用画像を選択する選択部をさらに設けることができる。
複数の前記再生用画像を１つの画像に結合したパッキング画像を生成するパッキング部をさらに設けることができる。
前記パッキング部には、前記パッキング画像と同じ矩形の領域を分割した複数のパッキング領域に各前記再生用画像をマッピングさせるとともに、各前記再生用画像を前記パッキング領域の大きさに合わせて拡縮させることができる。
前記パッキング部には、各前記再生用画像の重要度に基づいて、各前記再生用画像をマッピングする前記パッキング領域を選択させることができる。
前記パッキング部には、各前記再生用画像をマッピングした位置を示すメタデータを生成させることができる。
前記パッキング画像を符号化する符号化部をさらに設けることができる。
前記選択部には、前記複数の視点のそれぞれと前記仮想の視点との間の位置及び方向のうち少なくとも１つの相対関係に基づいて、前記再生用画像の選択を行わせることができる。
前記選択部には、さらに各前記切出し画像の内容に基づいて、前記再生用画像の選択を行わせることができる。
複数の前記視点画像の中から、前記仮想画像の生成に用いる前記視点画像を複数選択する選択部をさらに設け、前記切出し部には、選択された各前記視点画像からそれぞれ前記切出し画像を生成させることができる。
複数の前記切出し画像を１つの画像に結合したパッキング画像を生成するパッキング部をさらに設けることができる。
前記切出し部には、各前記視点画像内の各前記切出し画像に用いた領域の位置を示すメタデータを生成させることができる。
前記切出し部には、複数の前記視点画像から生成される３Ｄモデルにおいて前記オブジェクトを含む３Ｄモデル又は３次元の空間を各前記視点画像の座標系に投影した領域に基づいて、前記切出し画像に用いる領域を設定させることができる。
前記切出し部には、前記複数の視点のそれぞれに対し、複数のフレームにおいて前記オブジェクトが含まれる共通の領域を前記切出し画像に用いる領域に設定させることができる。
各前記視点画像には、それぞれテクスチャ画像及びデプス画像を含ませ、各前記切出し画像には、それぞれ前記テクスチャ画像から生成された画像、及び、前記デプス画像から生成された画像を含ませることができる。
各前記視点画像を、複数の撮像装置により前記複数の視点から撮影された画像とすることができる。
本技術の第１の側面の画像処理方法は、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出しステップを含む。
本技術の第２の側面の画像処理装置は、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画部を備える。
本技術の第２の側面の画像処理方法は、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画ステップを含む。
本技術の第１の側面においては、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像が生成される。
本技術の第２の側面においては、複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像が生成される。
なお、第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術の第１の側面又は第２の側面によれば、データの伝送量を削減することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 撮像部の構成例を示す図である。 テクスチャ画像及びデプス画像の例を示す図である。 符号化装置の構成例を示す図である。 復号装置の構成例を示す図である。 符号化処理を説明するフローチャートである。 切出し処理の詳細を説明するフローチャートである。 前景３Ｄモデル又は前景空間の抽出方法の第１の例を説明するための図である。 前景３Ｄモデル又は前景空間の抽出方法の第２の例を説明するための図である。 前景３Ｄモデル又は前景空間の抽出方法の第２の例を説明するための図である。 前景３Ｄモデル又は前景空間の抽出方法の第２の例を説明するための図である。 前景３Ｄモデル又は前景空間の抽出方法の第３の例を説明するための図である。 前景領域の検出方法を説明するための図である。 切出し情報メタデータの各パラメータの計算方法を説明するための図である。 切出し情報メタデータの具体例を示す図である。 再生用データ選択処理の詳細を説明するフローチャートである。 撮像カメラの重要度の設定方法の第１の例を説明するための図である。 撮像カメラの重要度の設定方法の第２の例を説明するための図である。 撮像カメラの重要度の設定方法の第３の例を説明するための図である。 パッキング処理の詳細を説明するフローチャートである。 パッキングレイアウトの例を示す図である。 パッキング情報メタデータの各パラメータの計算方法を説明するための図である。 パッキング領域メタデータの具体例を示す図である。 パッキング情報メタデータの具体例を示す図である。 再生用画像のマッピングの例を示す図である。 再生用画像のマッピング時の拡縮処理を説明するための図である。 符号化処理を説明するフローチャートである。 表示画像の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
３．応用例
＜＜１．実施の形態＞＞
＜画像処理システムの構成例＞
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
図１の画像処理システム１０は、オブジェクトの少なくとも一部を取り囲む複数の現実の視点から撮影された視点画像に基づいて、任意の仮想の視点からのオブジェクトの仮想画像を生成し、表示するシステムである。すなわち、画像処理システム１０は、バードビューの映像の生成及び表示等を行う。
画像処理システム１０は、データ供給部１１、再生部１２、及び、入力装置１３を備える。データ供給部１１は、撮像部２１、記憶部２２、及び、符号化装置２３を備える。再生部１２は、復号装置４１及び表示装置４２を備える。
撮像部２１は、複数の撮像カメラ３１−１乃至撮像カメラ３１−Ｎを備える。なお、以下、撮像カメラ３１−１乃至撮像カメラ３１−Ｎを個々に区別する必要がない場合、単に撮像カメラ３１と称する。
各撮像カメラ３１は、再生部１２において表示対象となるオブジェクトの少なくとも一部を取り囲むように配置され、異なる複数の現実の視点から当該オブジェクトのテクスチャ画像の動画像を撮像する。また、各撮像カメラ３１は、測距測定器（不図示）を備えており、テクスチャ画像と同じ視点からのデプス画像の動画像を生成する。各撮像カメラ３１は、テクスチャ画像及びデプス画像を記憶部２２に記憶させる。
符号化装置２３は、記憶部２２に記憶されているテクスチャ画像及びデプス画像を符号化することにより得られる符号化ストリームを生成し、再生部１２の復号装置４１に供給する。また、後述するように、符号化装置２３は、テクスチャ画像及びデプス画像から必要な領域の画像を切出したり、入力装置１３から入力される仮想カメラ（仮想の視点）のカメラパラメータに基づいて、再生部１２に供給するテクスチャ画像及びデプス画像を選択したりすることにより、データ供給部１１と再生部１２との間のデータの伝送量を削減する。
復号装置４１は、符号化ストリームを復号するとともに、入力装置１３から入力される仮想カメラ（仮想の視点）のカメラパラメータに基づいて、仮想の視点からのオブジェクトの画像である表示画像（仮想画像）を生成し、表示装置４２に供給する。
表示装置４２は、例えば、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置４２は、復号装置４１から供給される表示画像を２次元表示する。
入力装置１３は、表示装置４２においてオブジェクトを表示させたい仮想の視点の入力に用いられる。入力装置１３は、入力された仮想の視点を表す仮想カメラのカメラパラメータを符号化装置２３及び復号装置４１に供給する。
＜撮像部の構成例＞
図２は、撮像部２１の構成例を模式的に示している。この例では、撮像部２１は、部屋５１内に配置された９台の撮像カメラ３１−１乃至撮像カメラ３１−９により構成されている。なお、この図では、各撮像カメラ３１の位置が、斜線のパターンが付されたマルにより示されている。また、この例では、人及び２つのボールを含むオブジェクト５２が部屋のほぼ中央に存在している。
撮像カメラ３１−１乃至撮像カメラ３１−８は、部屋５１の周囲を囲むように配置されている。具体的には、撮像カメラ３１−１、撮像カメラ３１−３、撮像カメラ３１−５、及び、撮像カメラ３１−７は、それぞれ部屋５１の各壁のほぼ中央から、部屋５１のほぼ中央を向くように配置されている。撮像カメラ３１−１と撮像カメラ３１−５、及び、撮像カメラ３１−３と撮像カメラ３１−７は、それぞれ対向している。撮像カメラ３１−２、撮像カメラ３１−４、撮像カメラ３１−６、及び、撮像カメラ３１−８は、それぞれ部屋５１の各コーナ付近から、部屋５１のほぼ中央を向くように配置されている。撮像カメラ３１−２と撮像カメラ３１−６、及び、撮像カメラ３１−４と撮像カメラ３１−８は、それぞれ対向している。撮像カメラ３１−９は、部屋５１の天井のほぼ中央から、部屋５１のほぼ中央を見下ろすように配置されている。そして、撮像カメラ３１−１乃至撮像カメラ３１−９により、部屋５１内のオブジェクト（例えば、オブジェクト５２）を異なる視点（現実の視点）から取り囲むように撮影することができる。
図３は、撮像カメラ３１−１乃至撮像カメラ３１−９によりオブジェクト５２を撮影することにより得られる視点画像（テクスチャ画像及びデプス画像）の例を示している。テクスチャ画像ＴＩ１乃至テクスチャ画像ＴＩ９は、それぞれ撮像カメラ３１−１乃至撮像カメラ３１−９により撮影されたテクスチャ画像の例を示している。デプス画像ＤＩ１乃至デプス画像ＤＩ９は、それぞれ撮像カメラ３１−１乃至撮像カメラ３１−９により撮影されたデプス画像の例を示している。このように、オブジェクト５２を異なる視点から見たテクスチャ画像及びデプス画像がほぼ同時に得られる。
＜符号化装置の構成例＞
図４は、符号化装置２３の構成例を示すブロック図である。
符号化装置２３は、再構成部１０１、切出し部１０２、選択部１０３、パッキング部１０４、符号化部１０５、記憶部１０６、および、送信部１０７を備える。
再構成部１０１は、記憶部２２に記憶されている各撮像カメラ３１のテクスチャ画像及びデプス画像、並びに、各撮像カメラ３１のカメラパラメータを用いて、前景及び背景を含む被写体の３Ｄモデルをフレーム毎に生成する。また、再構成部１０１は、生成した３Ｄモデルを表す３Ｄデータを生成する。再構成部１０１は、３Ｄデータ、３Ｄデータの生成に用いた各撮像カメラ３１のテクスチャ画像及びデプス画像、並びに、各撮像カメラ３１のカメラパラメータを切出し部１０２に供給する。
なお、以下、テクスチャ画像及びデプス画像の撮影に用いられた撮像カメラ３１のカメラパラメータを、単にテクスチャ画像及びデプス画像のカメラパメータとも称する。
切出し部１０２は、各撮像カメラ３１のテクスチャ画像及びデプス画像から、再生部１２において表示対象となるオブジェクトを含む切出し領域の画像を切出すことにより、切出しテクスチャ画像及び切出しデプス画像を生成する。ここで、画像の切出しとは、画像の一部分を切出すこと、例えば画像の必要な部分を切出すことであり、クロッピングともいう。切出し部１０２は、前景領域検出部１１１及び切出し画像生成部１１２を備える。
前景領域検出部１１１は、３Ｄデータにより表される３Ｄモデルに基づいて、各テクスチャ画像及びデプス画像において、再生部１２において表示対象となるオブジェクトを含む前景領域を検出する。
切出し画像生成部１１２は、検出した前景領域に基づいて、各テクスチャ画像及びデプス画像における切出し領域を設定する。そして、切出し画像生成部１１２は、各テクスチャ画像及びデプス画像から切出し領域の画像を切出すことにより、切出しテクスチャ画像及び切出しデプス画像を生成する。また、切出し画像生成部１１２は、各テクスチャ画像及びデプス画像内の切出し領域の位置を示す切出し情報メタデータを生成する。切出し画像生成部１１２は、切出しテクスチャ画像、切出しデプス画像、切出し情報メタデータ、及び、各撮像カメラ３１のカメラパラメータを選択部１０３に供給する。
なお、以下、切出しテクスチャ画像と切出しデプス画像を区別する必要がない場合、単に切出し画像と称する。
選択部１０３は、各撮像カメラ３１のカメラパラメータ、及び、入力装置１３から供給される仮想カメラのカメラパラメータに基づいて、再生部１２に供給し、表示画像の生成に用いる再生用データを選択する。選択部１０３は、重要度設定部１２１及び再生用データ選択部１２２を備える。
重要度設定部１２１は、各撮像カメラ３１のカメラパラメータ、及び、仮想カメラのカメラパラメータに基づいて、各撮像カメラ３１の重要度を設定する。
再生用データ選択部１２２は、各撮像カメラ３１の重要度に基づいて、再生部１２に供給する切出しテクスチャ画像（以下、再生用テクスチャ画像と称する）及び切出しデプス画像（以下、再生用デプス画像と称する）を選択する。また、再生用データ選択部１２２は、各再生用テクスチャ画像及び再生用デプス画像の重要度として、それらの撮影に用いられた撮像カメラ３１の重要度を設定する。再生用データ選択部１２２は、選択した再生用テクスチャ画像及び再生用デプス画像、それらの画像の重要度、並びに、それらの画像に対応する切出し情報メタデータ及びカメラパラメータをパッキング部１０４に供給する。
なお、以下、再生用テクスチャ画像と再生用デプス画像を区別する必要がない場合、単に再生用画像と称する。
パッキング部１０４は、各再生用テクスチャ画像を１つの画像にパッキング（結合）することにより、パッキングテクスチャ画像を生成する。また、パッキング部１０４は、各再生用テデプス画像を１つの画像にパッキング（結合）することにより、パッキングデプス画像を生成する。パッキング部１０４は、パッキング画像生成部１３１及びメタデータ生成部１３２を備える。
パッキング画像生成部１３１は、必要に応じて各再生用テクスチャ画像の重要度を用いながら、各再生用テクスチャ画像をパッキングするためのレイアウトであるパッキングレイアウトを設定する。そして、パッキング画像生成部１３１は、必要に応じて各再生用テクスチャ画像の重要度を用いながら、各再生用テクスチャ画像をパッキングレイアウト内の各パッキング領域にマッピングすることにより、パッキングテクスチャ画像を生成する。また、パッキング画像生成部１３１は、同様の方法により、各再生用デプス画像をパッキングしたパッキングデプス画像を生成する。パッキング画像生成部１３１は、パッキングテクスチャ画像及びパッキングデプス画像、並びに、それらの画像に対応する切出し情報メタデータ、パッキング情報メタデータ（後述）、及び、カメラパラメータを符号化部１０５に供給する。
なお、以下、パッキングテクスチャ画像とパッキングデプス画像を区別する必要がない場合、単にパッキング画像と称する。
メタデータ生成部１３２は、再生用テクスチャ画像及び再生用デプス画像をマッピングした位置を示すパッキング情報メタデータを生成する。
符号化部１０５は、パッキングテクスチャ画像及びパッキングデプス画像を符号化する。また、符号化部１０５は、符号化後のパッキングテクスチャ画像及びパッキングデプス画像、並びに、それらの画像に対応する切出し情報メタデータ、パッキング情報メタデータ、及び、カメラパラメータを含む符号化ストリームを生成し、記憶部１０６に記憶させる。
送信部１０７は、記憶部２２に記憶されている符号化ストリームを再生部１２の復号装置４１に伝送する。
＜復号装置の構成例＞
図５は、復号装置４１の構成例を示すブロック図である。
復号装置４１は、受信部１５１、記憶部１５２、復号部１５３、再構成部１５４、及び、描画部１５５を備える。
受信部１５１は、符号化装置２３の送信部１０７から伝送されてくる符号化ストリームを受信し、記憶部１５２に記憶させる。
復号部１５３は、記憶部１５２に記憶されている符号化ストリームを、符号化装置２３の符号化部１０５における符号化方式に対応する方式で復号する。復号部１５３は、パッキング情報メタデータに基づいて、復号したパッキングテクスチャ画像にパッキングされている再生用テクスチャ画像を分離する。また、復号部１５３は、必要に応じて各再生用テクスチャ画像を元のサイズに戻す。同様に、復号部１５３は、パッキング情報メタデータに基づいて、復号したパッキングデプス画像にパッキングされている再生用デプス画像を分離する。また、復号部１５３は、必要に応じて各再生用デプス画像を元のサイズに戻す。復号部１５３は、得られた再生用テクスチャ画像及び再生用デプス画像、並びに、それらに対応する切出し情報メタデータ及びカメラパラメータを再構成部１５４に供給する。
再構成部１５４は、符号化装置２３の再構成部１０１と同様の方法により、再生用テクスチャ画像及び再生用デプス画像、並びに、それらに対応する切出し情報メタデータ及びカメラパラメータに基づいて、３Ｄモデルを生成する。再構成部１５４は、生成した３Ｄモデルを描画部１５５に供給する。
描画部１５５は、再構成部１５４から供給される３Ｄモデル、及び、入力装置１３から供給される仮想カメラのカメラパラメータに基づいて、仮想カメラの位置から撮影したときに得られる仮想のテクスチャ画像を表示画像として生成する。描画部１５５は、表示画像を表示装置４２に供給する。
＜画像処理システムの処理の説明＞
次に、図６乃至図２８を参照して、画像処理システム１０の処理について説明する。
なお、以下、撮像カメラ３１−ｉ（ｉ＝１〜Ｎ）のＩＤをｉとし、適宜撮像カメラ３１−ｉのことを撮像カメラｉと称する。
（符号化処理）
まず、図６のフローチャートを参照して、符号化装置２３により実行される符号化処理について説明する。
ステップＳ１において、再構成部１０１は、３Ｄモデルを再構成する。具体的には、再構成部１０１は、記憶部２２に記憶されている各撮像カメラ３１のテクスチャ画像及びデプス画像のうち、符号化対象となるフレームのテクスチャ画像及びデプス画像を記憶部２２から読み出す。
また、再構成部１０１は、各撮像カメラ３１のカメラパラメータを記憶部２２から読み出す。カメラパラメータは、例えば、ワールド座標系（３Ｄ座標系）における外部パラメータ及び内部パラメータを含み、少なくとも各撮像カメラ３１のワールド座標系における位置及び光軸の方向を含む。なお、各撮像カメラ３１の位置が固定されている場合、必ずしもステップＳ１の処理で毎回各撮像カメラ３１のカメラパラメータを読み出す必要はなく、最初の一度のみでもよい。
再構成部１０１は、読み出したテクスチャ画像及びデプス画像、並びに、それらに対応するカメラパラメータを用いて、Visual Hull等を算出することにより、前景及び背景を含む被写体の３Ｄモデルを生成する。
次に、再構成部１０１は、３Ｄモデルを表す３Ｄデータを生成する。例えば、再構成部１０１は、３Ｄモデルを構成する各ポリゴンメッシュの頂点（Vertex）の３次元位置及び頂点間のつながりを示す形状情報（Geometry）と、そのポリゴンメッシュの色情報とを被写体の３Ｄデータとして生成する。
なお、３Ｄデータの生成方法は、特に限定されるものではなく、例えば、ポイントクラウド、ボリュームデータ等を用いたり、上述した非特許文献１等に記載されている方法を採用してもよい。また、例えば、３Ｄデータは、形状情報と各撮像カメラ３１の視点のテクスチャ画像とにより構成されてもよい。
再構成部１０１は、生成した３Ｄデータ、３Ｄデータの生成に用いたテクスチャ画像及びデプス画像、並びに、それらの画像に対応するカメラパラメータを切出し部１０２に供給する。
ステップＳ２において、切出し部１０２は、切出し処理を実行する。ここで、図７のフローチャートを参照して、切出し処理の詳細について説明する。
ステップＳ５１において、前景領域検出部１１１は、前景３Ｄモデル又は前景空間を抽出する。ここで、前景空間とは、３Ｄモデルにおいて、背景の手前にあるオブジェクトを含む３次元の空間である。なお、前景空間は、必ずしも背景の手前にあるオブジェクトを全て含んでいる必要はなく、少なくとも再生部１２において表示させたいオブジェクトを含んでいればよい。
例えば、前景領域検出部１１１は、３Ｄデータにおいて前景と背景の情報が分離されている場合、その情報に基づいて、前景３Ｄモデル又は前景空間を抽出する。例えば、図８に示されるように、３Ｄデータ２０１が、背景３Ｄ情報２０２と前景３Ｄ情報２０３に分離されている場合、前景領域検出部１１１は、前景３Ｄ情報２０２に基づいて、前景３Ｄモデル又は前景空間を抽出する。
一方、前景領域検出部１１１は、３Ｄデータにおいて前景と背景の情報が分離されていない場合、その他の情報に基づいて、前景３Ｄモデル又は前景空間を抽出する。例えば、図９に示されるように、前景領域検出部１１１は、各撮像カメラ３１の視野（撮影範囲）内の空間の積であるConvex Hull２２１を生成する。なお、図９では、図を分かりやすくするために、撮像カメラ３１−１及び撮像カメラ３１−３のみが図示されている。
この場合、前景領域検出部１１１は、既知の領域情報に基づいて、生成するConvex Hullの範囲に制限を加えてもよい。例えば、図１０に示されるように、前景領域検出部１１１は、部屋５１の天井と床の範囲内に限定して、Convex Hull２２１を生成するようにしてもよい。
そして、前景領域検出部１１１は、Convex Hull内の３Ｄモデルを前景３Ｄモデルとして抽出する。例えば、図１１に示されるように、Convex Hull２２１内の３Ｄモデル２２２が前景３Ｄモデルとして抽出される。
なお、前景領域検出部１１１は、３Ｄデータを利用できない場合、例えば、Convex Hullにより定まる空間を前景空間としてもよい。
或いは、例えば、前景領域検出部１１１は、各撮像カメラ３１のデプス画像に基づいて、前景３Ｄモデル又は前景空間を抽出してもよい。例えば、図１２に示されるように、前景領域検出部１１１は、各撮像カメラ３１の前景デプス画像２４３に示されるデプス値に基づいて、前景のポイントクラウドを生成する。そして、前景領域検出部１１１は、生成した前景のポイントクラウドに基づく空間を前景空間に設定する。
この場合、例えば、図１２に示されるように、デプス画像２４１と背景のデプス値を示す背景デプス画像２４２が得られている場合、前景領域検出部１１１は、デプス画像２４１と背景デプス画像２４２の差分により、前景デプス画像２４３を生成してもよい。
図７に戻り、ステップＳ５２において、前景領域検出部１１１は、変数ｉに１を設定する。
ステップＳ５３において、前景領域検出部１１１は、撮像カメラｉの画像における前景領域を検出する。具体的には、前景領域検出部１１１は、撮像カメラｉのカメラパラメータを用いて、前景３Ｄモデル又は前景空間を撮像カメラｉの画像の座標系に投影した領域を計算する。そして、前景領域検出部１１１は、計算により得られた領域を撮像カメラｉの画像における前景領域とする。
例えば、図１３の上の図に示されるように、前景空間２６１を撮像カメラ３１−１の画像の座標系に投影した領域が計算されることにより、中央の図に示されるように、撮像カメラｉの画像２６２における前景領域２６３が検出される。
ステップＳ５４において、切出し画像生成部１１２は、撮像カメラｉの画像の切出し領域を設定する。具体的には、切出し画像生成部１１２は、ステップＳ５３において検出した前景領域に対する矩形のバウンディングボックスを求める。そして、切出し画像生成部１１２は、求めたバウンディングボックスを切出し領域に設定する。
例えば、図１３の下の図に示されるように、図１３の中央の図の前景領域２６３を囲むバウンディングボックス２６４が切出し領域に設定される。
ステップＳ５５において、切出し画像生成部１１２は、撮像カメラｉの切出し画像を生成する。具体的には、切出し画像生成部１１２は、撮像カメラｉのテクスチャ画像から切出し領域内の画像を切出すことにより、切出しテクスチャ画像を生成する。従って、切出しテクスチャ画像は、テクスチャ画像から切出し領域をクロッピングすることによりオブジェクトを含む領域に狭めた画像となる。また、切出し画像生成部１１２は、撮像カメラｉのデプス画像から切出し領域内の画像を切出すことにより、切出しデプス画像を生成する。従って、切出しデプス画像は、デプス画像から切出し領域をクロッピングすることによりオブジェクトを含む領域に狭めた画像となる。
ステップＳ５６において、切出し画像生成部１１２は、撮像カメラｉの切出し情報メタデータを生成する。ここで、図１４を参照して、切出し情報メタデータの例について説明する。
図１４は、テクスチャ画像２８１において切出し領域２８２が設定され、切出し画像２８３が切出された場合の例を示している。例えば、切出し画像生成部１１２は、次式（１）乃至（４）により、切出し情報メタデータに含まれる各パラメータを計算する。
occupancyX＝rangeX／width' ・・・（１）
occupancyY＝rangeY／height' ・・・（２）
normOffsetX＝offsetX／width' ・・・（３）
normOffsetY＝offsetY／height' ・・・（４）
ここで、width'はテクスチャ画像２８１の幅であり、height'はテクスチャ画像２８１の高さである。rangeXは切出し領域２８２の幅であり、rangeYは切出し領域２８２の高さである。offsetXは、テクスチャ画像２８１の左上隅と切出し領域２８２の左上隅との間のX方向（幅方向）の距離であり、offsetYは、テクスチャ画像２８１の左上隅と切出し領域２８２の左上隅との間のＹ方向（高さ方向）の距離である。
従って、occupancyXは、テクスチャ画像２８１における切出し領域２８２のＸ方向の占有率を示し、occupancyYは、テクスチャ画像２８１における切出し領域２８２のＹ方向の占有率を示す。normOffsetXはoffsetXを正規化したパラメータであり、normOffsetYはoffsetYを正規化したパラメータである。これらのパラメータにより、テクスチャ画像２８１内の切出し領域２８２の位置が示される。
なお、図内の点Ｐのテクスチャ画像２８１の座標系における座標（ｕ’，ｖ’）と、切出し画像２８３の座標系における座標（ｕ，ｖ）との関係は、次式（５）及び（６）により表される。
u＝（u'−normOffsetX）／occupancyX ・・・（５）
v＝（v'−normOffsetY）／occupancyY ・・・（６）
図１５は、切出し情報メタデータの具体例を示している。この例では、normOffsetX、occupancyX、normOffsetY、及び、occupancyYが、それぞれ０．０５、０．５、０．０１、及び、０．５に設定されている。
切出し画像生成部１１２は、撮像カメラｉの切出しテクスチャ画像、切出しデプス画像、切出し情報メタデータ、及び、カメラパラメータを選択部１０３に供給する。
図７に戻り、ステップＳ５７において、切出し画像生成部１１２は、変数ｉを１つインクリメントする。
ステップＳ５８において、切出し画像生成部１１２は、変数ｉがＮ以下であるか否かを判定する。なお、Ｎは、撮像カメラ３１の台数である。変数ｉがＮ以下であると判定された場合、処理はステップＳ５３に戻る。
その後、ステップＳ５８において、変数ｉがＮより大きいと判定されるまで、ステップＳ５３乃至ステップＳ５８の処理が繰り返し実行される。これにより、撮像カメラｉ乃至撮像カメラＮの切出し画像及び切出し情報メタデータが生成される。
一方、ステップＳ５８において、変数ｉがＮより大きいと判定された場合、切出し処理は終了する。
図６に戻り、ステップＳ３において、選択部１０３は、再生用データ選択処理を実行する。ここで、図１６のフローチャートを参照して、再生用データ選択処理の詳細について説明する。
ステップＳ１０１において、重要度設定部１２１は、入力装置１３から仮想カメラのカメラパラメータを取得する。仮想カメラのカメラパラメータは、例えば、撮像カメラ３１のカメラパラメータと同じ種類のパラメータを含む。
ステップＳ１０２において、重要度設定部１２１は、変数ｉに１を設定する。
ステップＳ１０３において、重要度設定部１２１は、撮像カメラｉの重要度Ｐ（ｉ）（ｉ＝１〜Ｎ）を計算する。
重要度Ｐ（ｉ）は、例えば、各撮像カメラ３１（現実の視点）と仮想カメラ３０２（仮想の視点）との間の位置及び方向のうち少なくとも１つの相対関係に基づいて計算される。ここで、図１７乃至図１９を参照して、重要度Ｐ（ｉ）の計算方法の例について説明する。
図１７は、各撮像カメラ３１（現実の視点）からの表示対象となるオブジェクト３０１の方向と、仮想カメラ３０２（仮想の視点）からのオブジェクト３０１の方向との関係に基づいて、各撮像カメラ３１の重要度Ｐ（ｉ）を計算する例が示されている。この場合、重要度Ｐ（ｉ）は、次式（７）により算出される。
Ｐ（ｉ）＝Ｃｉ・Ｃｖ ・・・（７）
ここで、Ｃｉは、撮像カメラ３１−ｉからオブジェクト３０１へのベクトルを示している。Ｃｖは、仮想カメラ３０２からオブジェクト３０１へのベクトルを示している。Ｃｉ・Ｃｖは、ベクトルＣｉとベクトルＣｖの内積を示している。
従って、重要度Ｐ（ｉ）は、ベクトルＣｉとベクトルＣｖのなす角に反比例し、ベクトルＣｉとベクトルＣｖのなす角が小さくなるほど、重要度Ｐ（ｉ）が高くなる。すなわち、オブジェクト３０１に対する方向が仮想カメラ３０２に近い撮像カメラ３１ほど、重要度Ｐ（ｉ）が高くなる。
なお、ベクトルＣｉ及びベクトルＣｖは、オブジェクト３０１の代表点Ｒを基準にして設定される。代表点Ｒは、任意の方法により設定可能である。例えば、各撮像カメラ３１及び仮想カメラ３０２の光軸からの距離の合計が最小となるオブジェクト３０１上の点が、代表点Ｒに設定される。或いは、例えば、ワールド座標系のＸ方向、Ｙ方向、及び、Ｚ方向の各方向におけるオブジェクト３０１の頂点の座標の最大値と最小値の中間の位置が、代表点Ｒに設定される。或いは、例えば、オブジェクト３０１の中で最も重要な位置が、代表点Ｒに設定される。例えば、オブジェクト３０１が人である場合、人の顔の中心等が、代表点Ｒに設定される。
図１８は、各撮像カメラ３１の光軸（現実の視点の方向）と仮想カメラ３０２の光軸（仮想の視点の方向）との関係に基づいて、重要度Ｐ（ｉ）を計算する例が示されている。この場合、重要度Ｐ（ｉ）は、次式（８）により算出される。
Ｐ（ｉ）＝Ｚｉ・Ｚｖ ・・・（８）
ここで、Ｚｉは、撮像カメラ３１−ｉの光軸ベクトルを示している。Ｚｖは、仮想カメラ３０２の光軸ベクトルを示している。Ｚｉ・Ｚｖは、光軸ベクトルＺｉと光軸ベクトルＺｖの内積を示している。
従って、重要度Ｐ（ｉ）は、光軸ベクトルＺｉと光軸ベクトルＺｖのなす角に反比例し、ベクトルＺｉとベクトルＺｖのなす角が小さくなるほど、重要度Ｐ（ｉ）が高くなる。すなわち、光軸の方向が仮想カメラ３０２に近い撮像カメラ３１ほど、重要度Ｐ（ｉ）が高くなる。
図１９は、各撮像カメラ３１（現実の視点）と仮想カメラ３０２（仮想の視点）との間の距離に基づいて、重要度Ｐ（ｉ）を計算する例が示されている。この場合、重要度Ｐ（ｉ）は、次式（９）により算出される。
Ｐ（ｉ）＝１−Ｄｉ／ΣＤｉ ・・・（９）
ここで、Ｄｉは、撮像カメラ３１−ｉと仮想カメラ３０２との間の距離を示している。
従って、仮想カメラ３０２に近い撮像カメラ３１ほど、重要度Ｐ（ｉ）が高くなる。
なお、図１８の重要度Ｐ（ｉ）及び図１９の重要度Ｐ（ｉ）は、オブジェクト３０１の位置や動きとは無関係である。従って、各撮像カメラ３１及び仮想カメラ３０２の位置及び向きが固定であれば、重要度Ｐ（ｉ）を固定することが可能である。
なお、重要度設定部１２１は、上述した３種類の重要度Ｐ（ｉ）のうち２種類以上を組み合わせて、重要度を設定するようにしてもよい。
また、重要度設定部１２１は、各撮像カメラ３１により撮影された画像の内容に基づいて、重要度を設定するようにしてもよい。例えば、表示対象となるオブジェクトの正面に近い撮像カメラ３１の重要度を高くするようにしてもよい。或いは、例えば、表示対象となるオブジェクトが人である場合、顔が写っているテクスチャ画像の撮影に用いられている撮像カメラ３１の重要度を高くするようにしてもよい。
図１６に戻り、ステップＳ１０４において、重要度設定部１２１は、変数ｉを１つインクリメントする。
ステップＳ１０５において、重要度設定部１２１は、変数ｉがＮ以下であるか否かを判定する。なお、Ｎは、撮像カメラ３１の台数である。変数ｉがＮ以下であると判定された場合、処理はステップＳ１０３に戻る。
その後、ステップＳ１０５において、変数ｉがＮより大きいと判定されるまで、ステップＳ１０３乃至ステップＳ１０５の処理が繰り返し実行される。これにより、全ての撮像カメラ３１−ｉの重要度Ｐ（ｉ）が計算される。
一方、ステップＳ１０５において、変数ｉがＮより大きいと判定された場合、処理はステップＳ１０６に進む。
ステップＳ１０６において、再生用データ選択部１２２は、重要度Ｐ（ｉ）に基づいて、再生用データを選択する。例えば、再生用データ選択部１２２は、重要度Ｐ（ｉ）が高い方から所定の数の撮像カメラ３１を選択する。或いは、例えば、再生用データ選択部１２２は、重要度Ｐ（ｉ）が所定の閾値以上の撮像カメラ３１を選択する。そして、再生用データ選択部１２２は、選択した撮像カメラ３１の切出しテクスチャ画像及び切出しデプス画像を、再生用テクスチャ画像及び再生用デプス画像に選択する。
また、再生用データ選択部１２２は、各再生用画像の重要度として、撮影に用いた撮像カメラ３１の重要度Ｐ（ｉ）を設定する。再生用データ選択部１２２は、各再生用画像（再生用テクスチャ画像及び再生用デプス画像）、各再生用画像の重要度、並びに、各再生用画像に対応する切出し情報メタデータ及びカメラパラメータをパッキング部１０４に供給する。
その後、再生用データ選択処理は終了する。
図６に戻り、ステップＳ４において、パッキング部１０４は、パッキング処理を実行する。ここで、図２０のフローチャートを参照して、パッキング処理の詳細について説明する。
ステップＳ１５１において、パッキング画像生成部１３１は、パッキングレイアウトを設定する。ここで、パッキングレイアウトには、パッキング画像と同じ矩形の領域内において、再生用テクスチャ画像又は再生用デプス画像をマッピングするためのパッキング領域のレイアウトが示される。
例えば、パッキングレイアウトは、選択される再生用画像の数（以下、選択数と称する）や、各再生用画像の重要度に基づいて設定される。
例えば、再生用画像の選択数が可変の場合、選択数に基づいて、パッキングレイアウトが設定される。例えば、パッキング画像と同じ大きさの矩形の領域が、選択数分のパッキング領域に分割されたパッキングレイアウトが設定される。このとき、各パッキング領域の形状及び大きさが同じでもよいし、異なっていてもよい。後者の場合、例えば、重要度が高い再生用画像がマッピングされるパッキング領域ほど大きくなる。
図２１は、同じ形状及び大きさのパッキング領域が格子状に配列されたパッキングレイアウトの例を示している。パッキングレイアウト３２１では、同じ形状及び大きさの矩形のパッキング領域が、縦１行×横３列に配列されている。パッキングレイアウト３２２では、同じ形状及び大きさの矩形のパッキング領域が、縦２行×横２列に配列されている。パッキングレイアウト３２３では、同じ形状及び大きさの矩形のパッキング領域が、縦３行×横３列に配列されている。
一方、再生用画像の選択数が固定の場合、パッキングレイアウトが固定されてもよいし、或いは、必要に応じて変更されてもよい。パッキングレイアウトが固定の場合、各パッキング領域の形状及び大きさが同じであってもよいし、異なっていてもよい。各パッキング領域の形状又は大きさが異なっている場合、例えば、重要度が高い再生用画像がマッピングされるパッキング領域ほど大きくなる。一方、パッキングレイアウトが可変の場合、例えば、各再生用画像の重要度に応じて、各パッキング領域の大きさが設定される。例えば、重要度が高い再生用画像がマッピングされるパッキング領域ほど大きくなる。
ステップＳ１５２において、パッキング画像生成部１３１は、変数ｉに１を設定する。
ステップＳ１５３において、パッキング画像生成部１３１は、格子状のパッキングレイアウトであるか否かを判定する。パッキング画像生成部１３１は、設定したパッキングレイアウトにおいて、同じ形状及び大きさのパッキング領域が格子状に並んでいない場合、格子状のパッキングレイアウトでないと判定し、処理はステップＳ１５４に進む。
ステップＳ１５４において、メタデータ生成部１３２は、パッキング領域ｉのメタデータを生成する。具体的には、格子状でないパッキングレイアウトの場合、パッキング情報メタデータは、各パッキング領域に対応する複数のパッキング領域メタデータを含む。そして、メタデータ生成部１３２は、パッキング領域ｉに対応するパッキング領域メタデータを生成する。
図２２は、格子状でないパッキングレイアウト３４１の例を示している。パッキングレイアウト３４１では、中央の大きなパッキング領域の上及び下に、同じ形状及び大きさのパッキング領域が縦１行×横３列に配置されている。
例えば、パッキングレイアウト３４１の斜線で示されるパッキング領域３４２のパッキング領域メタデータの各パラメータは、次式（１０）乃至（１３）により計算される。
occupancyX＝rangeX／width' ・・・（１０）
occupancyY＝rangeY／height' ・・・（１１）
normOffsetX＝offsetX／width' ・・・（１２）
normOffsetY＝offsetY／height' ・・・（１３）
ここで、width'はパッキングレイアウト３４１（パッキング画像）の幅であり、height'はパッキングレイアウト３４１の高さである。rangeXはパッキング領域３４２の幅であり、rangeYはパッキング領域３４２の高さである。offsetXは、パッキングレイアウト３４１の左上隅とパッキング領域３４２の左上隅との間のX方向（幅方向）の距離であり、offsetYは、パッキングレイアウト３４１の左上隅とパッキング領域３４２の左上隅との間のＹ方向（高さ方向）の距離である。
従って、occupancyXは、パッキングレイアウト３４１（パッキング画像）におけるパッキング領域３４２のＸ方向の占有率を示し、occupancyYは、パッキングレイアウト３４１におけるパッキング領域３４２のＹ方向の占有率を示す。normOffsetXはoffsetXを正規化したパラメータであり、normOffsetYはoffsetYを正規化したパラメータである。
ステップＳ１５５において、パッキング部１０４は、パッキング領域ｉにマッピングする再生用画像を選択する。具体的には、パッキング画像生成部１３１は、再生用テクスチャ画像及び再生用デプス画像の中から、パッキング領域ｉにマッピングする画像を選択する。このとき、例えば、パッキング画像生成部１３１は、重要度が高い再生用画像ほど、大きなパッキング領域にマッピングされるように再生用画像を選択する。或いは、例えば、パッキング画像生成部１３１は、パッキング領域ｉの形状に近い形状の再生用画像を選択する。
また、メタデータ生成部１３２は、選択した画像に対応する撮像カメラ３１のＩＤをパッキング領域メタデータに追加する。
図２３は、パッキング領域メタデータの具体例を示している。この例では、normOffsetX、occupancyX、normOffsetY、及び、occupancyYが、それぞれ０．３３、０．３３、０．８、及び、０．２に設定されている。また、camera_idが、１に設定されている。camera_idは、パッキング領域にマッピングされる再生用画像に対応する撮像カメラ３１のＩＤを示すパラメータである。
その後、処理はステップＳ１５７に進む。
一方、ステップＳ１５３において、格子状のパッキングレイアウトであると判定された場合、処理はステップＳ１５６に進む。
ステップＳ１５６において、パッキング画像生成部１３１は、ステップＳ１５５の処理と同様に、パッキング領域ｉにマッピングする再生用画像を選択する。また、メタデータ生成部１３２は、選択した再生用画像に対応する撮像カメラ３１のＩＤをパッキング情報メタデータに追加する。
図２４は、格子状のパッキングレイアウトに対応するパッキング情報メタデータの例を示している。
図２４の左側は、パッキングレイアウトの例を示している。このパッキングレイアウトには、同じ形状及び大きさのパッキング領域が縦４行×横３列に格子状に配列されている。
図２４の右側は、左側のパッキングレイアウトに対して生成されるパッキング情報メタデータの例を示している。この例では、パッキングレイアウトの行数を表すパラメータrawに４が設定され、列数を表すパラメータcolumnに３が設定されている。また、各パッキング領域にマッピングされる再生用画像に対応する撮像カメラ３１のＩＤを示すパラメータcamera_idが設定されている。例えば、１行目の１列目のパッキング領域のcamera_idは２に設定され、１行目の２列目のパッキング領域のcamera_idは１に設定され、２行目の１列目のパッキング領域のcamera_idは３に設定されている。
例えば、メタデータ生成部１３２は、ループ内の最初のステップＳ１５６の処理において、パラメータraw及びcolumnの値を設定する。また、メタデータ生成部１３２は、各ループ内のステップＳ１５６の処理において、再生用画像をマッピングするパッキング領域に対応するパラメータcamera_idに、その再生用画像に対応する撮像カメラ３１のＩＤを設定する。
その後、処理はステップＳ１５７に進む。
ステップＳ１５７において、メタデータ生成部１３２は、変数ｉがＭ以下であるか否かを判定する。なお、Ｍは、パッキングレイアウト内のパッキング領域の数を表す。変数ｉがＭ以下であると判定された場合、処理はステップＳ１５３に戻る。
その後、処理はステップＳ１５３に戻り、ステップＳ１５７において、変数ｉがＭより大きいと判定されるまで、ステップＳ１５３乃至ステップＳ１５７の処理が繰り返し実行される。これにより、パッキングレイアウト内の各パッキング領域にマッピングされる再生用画像が選択されるとともに、パッキング情報メタデータが生成される。
一方、ステップＳ１５７において、変数ｉがＭより大きいと判定された場合、処理はステップＳ１５８に進む。
ステップＳ１５８において、パッキング画像生成部１３１は、パッキング画像を生成する。具体的には、パッキング画像生成部１３１は、各再生用テクスチャ画像をパッキングレイアウトの各パッキング領域にマッピングする。これにより、複数の再生用テクスチャ画像が１つに結合されたパッキングテクスチャ画像が生成される。
例えば、図２５に示されるように、縦１０８０画素×横１９２０画素の９枚のテクスチャ画像から切り出された再生用テクスチャ画像が、縦５４０画素×横９６０画素のパッキング領域が縦３行×横３列に配列されたパッキングレイアウトにそれぞれマッピングされる。これにより、９枚の再生用テクスチャ画像が１枚のパッキングテクスチャ画像に結合される。
このとき、パッキング画像生成部１３１は、各再生用テクスチャ画像の大きさをマッピングするパッキング領域の大きさに合わせるために、再生用テクスチャ画像の拡縮を行う。例えば、図２６に示されるように、再生用テクスチャ画像３６１がパッキング領域３７１にマッピングされる場合、再生用テクスチャ画像３６１の縦方向及び横方向が縮小される。また、再生用テクスチャ画像３６２がパッキング領域３７２にマッピングされる場合、再生用テクスチャ画像３６２の縦方向が縮小され、横方向が拡大される。
同様に、パッキング画像生成部１３１は、各再生用デプス画像をパッキングレイアウトの各パッキング領域にマッピングする。これにより、各再生用デプス画像が１つに結合されたパッキングデプス画像が生成される。
パッキング画像生成部１３１は、パッキング画像（パッキングテクスチャ画像及びパッキングデプス画像）、並びに、パッキング画像に対応する切出し情報メタデータ、パッキング情報メタデータ、及び、カメラパラメータを符号化部１０５に供給する。
その後、パッキング処理は終了する。
図６に戻り、ステップＳ５において、符号化部１０５は、パッキング画像を符号化する。すなわち、符号化部１０５は、パッキングテクスチャ画像及びパッキングデプス画像を所定の符号化方式で符号化する。符号化方式としては、例えば、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部１０５は、符号化後の符号化パッキングテクスチャ画像及び符号化パッキングデプス画像、並びに、それらの画像に対応する切出し情報メタデータ、パッキング情報メタデータ、及び、カメラパラメータを、符号化ストリームの一部として記憶部１０６に記憶させる。
ステップＳ６において、符号化部１０５は、全てのフレームの符号化が終了したか否かを判定する。まだ全てのフレームの符号化が終了していないと判定された場合、処理はステップＳ１に戻る。
その後、ステップＳ６において、全てのフレームの符号化が終了したと判定されるまで、ステップＳ１乃至ステップＳ６の処理が繰り返し実行される。
これにより、全てのフレームについて、パッキングテクスチャ画像及びパッキングデプス画像が生成され、生成されたパッキングテクスチャ画像及びパッキングデプス画像が符号化され、符号化ストリームに追加される。
一方、ステップＳ６において、全てのフレームの符号化が終了したと判定された場合、処理はステップＳ７に進む。
ステップＳ７において、送信部１０７は、符号化ストリームを伝送する。すなわち、送信部１０７は、記憶部２２に記憶されている符号化ストリームを復号装置４１に伝送する。
なお、符号化ストリームの各フレームには、符号化パッキングテクスチャ画像、符号化パッキングデプス画像、パッキング情報メタデータ、並びに、符号化パッキングテクスチャ画像及び符号化パッキングデプス画像にパッキングされている再生用テクスチャ画像及び再生用デプス画像に対応する切出し情報メタデータ及びカメラパラメータが含まれる。
なお、例えば、パッキングレイアウト及び再生用画像のマッピングが固定されている場合、パッキング情報メタデータは、必ずしも符号化ストリームの各フレームに含まれなくてもよい。また、各テクスチャ画像及びデプス画像に対する切出し領域が固定されている場合、切出し情報メタデータは、必ずしも符号化ストリームの各フレームに含まれなくてもよい。さらに、各撮像カメラ３１の位置及び向きが固定されている場合、カメラパラメータは、必ずしも符号化ストリームの各フレームに含まれなくてもよい。
また、切出し情報メタデータ、パッキング情報メタデータ、及び、カメラパラメータは、符号化ストリームとは別に伝送することも可能である。
その後、符号化処理は終了する。
（復号処理）
次に、図２７のフローチャートを参照して、符号化装置２３により生成された符号化ストリームを復号装置４１により復号する復号処理について説明する。
ステップＳ２０１において、復号装置４１の受信部１５１は、符号化装置２３の送信部１０７から伝送されてくる符号化ストリームの受信を開始する。受信部１５１は、受信した符号化ストリームを順次記憶部１５２に記憶させる。
ステップＳ２０２において、復号部１５３は、符号化ストリームを復号する。具体的には、復号部１５３は、記憶部１５２に記憶されている符号化ストリームから復号対象となるフレームのデータを読み出す。復号部１５３は、符号化装置２３の符号化部１０５における符号化方式に対応する方式で、読み出したデータに含まれる符号化パッキングテクスチャ画像及び符号化パッキングデプス画像を復号する。
また、復号部１５３は、パッキング情報メタデータに基づいて、復号したパッキングテクスチャ画像にパッキングされている再生用テクスチャ画像を分離する。このとき、復号部１５３は、必要に応じて、各再生用テクスチャ画像に対応する切出し情報メタデータに基づいて、分離した再生用テクスチャ画像をパッキング前の大きさに戻す。同様に、復号部１５３は、復号したパッキングデプス画像にパッキングされている再生用デプス画像を分離する。また、復号部１５３は、必要に応じて、各再生用デプス画像をパッキング前の大きさに戻す。
復号部１５３は、得られた再生用テクスチャ画像及び再生用デプス画像、並びに、それらに対応する切出し情報メタデータ及びカメラパラメータを再構成部１５４に供給する。
ステップＳ２０３において、再構成部１５４は、３Ｄモデルを再構成する。具体的には、再構成部１５４は、符号化装置２３の再構成部１０１と同様の方法により、再生用テクスチャ画像及び再生用デプス画像、並びに、それらに対応する切出し情報メタデータ及びカメラパラメータに基づいて、３Ｄモデルを生成する。なお、この３Ｄモデルは、撮影時の被写体の背景がほぼ除去され、ほぼ前景のみを含むモデルとなる。再構成部１５４は、生成した３Ｄモデルを描画部１５５に供給する。
ステップＳ２０４において、描画部１５５は、入力装置１３から仮想カメラのカメラパラメータを取得する。なお、入力装置１３からは、符号化ストリームの同じフレームに対して、同じ値の仮想カメラのカメラパラメータが、符号化装置２３の選択部１０３及び復号装置４１の描画部１５５に供給される。
ステップＳ２０５において、描画部１５５は、表示画像を生成する。具体的には、描画部１５５は、再構成部１５４により生成された３Ｄモデル、及び、仮想カメラのカメラパラメータに基づいて、符号化装置２３により切出された前景を仮想カメラの位置から撮影したときに得られる仮想のテクスチャ画像を表示画像として生成する。描画部１５５は、表示画像を表示装置４２に供給する。
これにより、例えば、図２８に示されるテクスチャ画像、すなわち、表示対象として切出されたオブジェクトを含む２次元の画像が表示装置４２に表示される。
ステップＳ２０６において、復号部１５３は、全てのフレームの復号が終了したか否かを判定する。まだ全てのフレームの復号が終了していないと判定された場合、処理はステップＳ２０２に戻る。
その後、ステップＳ２０６において、全てのフレームの復号が終了したと判定されるまで、ステップＳ２０２乃至ステップＳ２０６の処理が繰り返し実行される。これにより、符号化ストリームの各フレームが復号されるとともに、仮想カメラからの視点に基づく表示画像が生成され、表示装置４２に供給される。
一方、ステップＳ２０６において、全てのフレームの復号が終了したと判定された場合、復号処理は終了する。
以上のようにして、再生部１２において、データ供給部１１において撮影されたオブジェクトを任意の仮想の視点から見た画像を表示させることが可能になる。
また、図７の切出し処理や図１６の再生データ選択処理を行うことにより、データ供給部１１から再生部１２に伝送するデータの伝送量が削減される。これにより、例えば、再生部１２の処理能力や、データ供給部１１と再生部１２の間の伝送路の帯域制限等により、再生部１２により再生される映像が劣化することが抑制される。或いは、データ供給部１１と再生部１２の間の伝送路における伝送データのビットレートを下げることができる。
さらに、切出し処理や再生データ選択処理を行うことにより、符号化及び復号対象となる画像のサイズを小さくしたり、画像の数を少なくしたりすることができる。従って、符号化部１０５の符号化処理や復号部１５３の復号処理の負荷を下げることができる。
また、切出し処理を行った後に図２０のパッキング処理を行うことにより、パッキング時の各再生用画像の縮小率が下がる（縮小前と縮小後の画像のサイズの比率が１に近づく）。その結果、各再生用画像を縮小することによる画質の劣化を抑制することができる。
さらに、仮想カメラの位置及び方向のうち少なくとも１つに基づく重要度に基づいて再生部１２に供給する再生用テクスチャ画像及び再生用デプス画像が選択されるため、伝送するテクスチャ画像及びデプス画像を削減することによる画質の劣化が抑制される。
また、パッキング処理を行うことにより、復号部１５３が復号する画像の数を削減することができ、復号部１５３の負荷が軽減される。
さらに、パッキング処理を行うことにより、切出し処理を行っても、データ供給部１１から再生部１２に伝送する画像のサイズを固定することができる。
＜＜２．変形例＞＞
以下、上述した本技術の実施形態の変形例について説明する。
例えば、図６のステップＳ２の切出し処理とステップＳ３の再生用データ選択処理は入れ替えることができる。すなわち、先に再生用のテクスチャ画像及びデプス画像の選択を行った後に、選択した画像に対して切出し処理が行われてもよい。
また、例えば、切出し処理及び再生用データ選択処理のうち一方を省略することも可能である。例えば、再生用データ選択処理を省略した場合、切出し画像が全てパッキング画像にパッキングされて、データ供給部１１から再生部１２に伝送される。さらに、例えば、パッキング処理を省略することも可能である。このように処理を省略しても、データ供給部１１と再生部１２の間の伝送路のデータの伝送量を削減する効果を奏することができる。
また、例えば、撮像部２１による撮影処理と符号化装置２３による符号化処理は、並行して実行することも可能である。すなわち、撮影を行いながら符号化ストリームの生成を行うことも可能である。
さらに、例えば、符号化装置２３において、符号化部１０５が符号化ストリームを生成するのと並行して、送信部１０７が順次符号化ストリームを送信することも可能である。すなわち、符号化ストリームを生成しながら、生成された符号化ストリームを順次送信することも可能である。
また、符号化装置２３と復号装置４１は、同じ装置内に配置されてもよいし、異なる装置内に配置されてもよい。後者の場合、符号化装置２３と復号装置４１は、直接接続されてもよいし、ネットワーク等を介して接続されてもよい。
さらに、以上の説明では、入力装置１３が、符号化装置２３及び復号装置４１の両方に仮想カメラのカメラパラメータを供給する例を示したが、いずれか一方に供給するようにしてもよい。この場合、例えば、符号化装置２３及び復号装置４１のいずれか一方から他方に、仮想カメラのカメラパラメータが供給される。また、符号化装置２３から復号装置４１に仮想カメラのカメラパラメータを供給する場合、符号化ストリームに仮想カメラのカメラパラメータを含めてもよい。
また、例えば、入力装置１３をデータ供給部１１（若しくは、符号化装置２３）、又は、再生部１２（若しくは、復号装置４１）に設けることも可能である。
さらに、本技術は、データ供給部１１から再生部１２にテクスチャ画像及びデプス画像の両方を伝送する場合だけでなく、いずれか一方を伝送する場合にも適用することができる。
また、以上の説明では、フレーム毎に切出し領域を可変とする例を示したが、撮像カメラ３１（現実の視点）毎に切出し領域を固定にするようにしてもよい。例えば、撮像カメラ３１毎に、伝送対象となる全てのフレームのテクスチャ画像の前景領域を検出し、検出した前景領域の論理和からなる領域を含むバウンディングボックスを、全フレームで共通の切出し領域に設定するようにしてもよい。なお、例えば、全フレームでなく、一部のフレームで切出し領域を共通化したり、所定の複数のフレーム毎に、共通の切出し領域を変更したりするようにしてもよい。
さらに、以上の説明では、各テクスチャ画像及びデプス画像から、それぞれ１つの切出し画像を生成する例を示したが、２以上の切出し画像を生成するようにしてもよい。例えば、表示対象となるオブジェクトが複数存在する場合、各テクスチャ画像及びデプス画像から、それぞれオブジェクト毎に切出し画像を生成するようにしてもよい。
また、以上の説明では、各撮像カメラ３１がそれぞれ異なる視点からオブジェクトを取り囲むように撮影する例を示したが、例えば、１つの撮像カメラ３１が、複数のイメージセンサを備え、複数の異なる視点からオブジェクトを撮影するようにしてもよい。また、例えば、撮像カメラ３１が移動して、複数の異なる視点からオブジェクトを撮影するようにしてもよい。
さらに、オブジェクトの撮影を行う現実の視点は、少なくともオブジェクトの表示対象となる部分を取り囲むように配置されていればよい。例えば、オブジェクトの正面だけが表示対象となる場合、オブジェクトの正面付近のみを取り囲むように現実の視点を配置してもよい。
また、本技術は、複数の現実の視点から撮影した画像を視点画像として用いる場合だけでなく、例えば、複数の視点から生成された画像（例えば、コンピュータグラフィック（ＣＧ）画像）を視点画像として用いる場合にも適用することができる。例えば、ＣＧ空間において指定された複数の視点からの複数のＣＧ画像を生成し、生成された複数のＣＧ画像に基づいて、仮想の視点からの仮想画像を生成する場合にも本技術を適用することが可能である。
また、表示装置４２が、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、復号装置４１の描画部１５５は、仮想カメラに基づく仮想の視点からのテクスチャ画像及びデプス画像を生成し、表示装置４２に供給する。表示装置４２は、取得したテクスチャ画像及びデプス画像に基づいて表示画像を３次元表示する。
＜＜３．応用例＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜車両制御システムへの適用例＞
また、例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図３１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図３０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウエアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウエアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウエアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図３０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像部２１は、例えば、図３０に示した応用例の撮像部７４１０に適用することができる。図１の符号化装置２３は、図３０の車外情報検出ユニット７４００及びマイクロコンピュータ７６１０の少なくとも一部に適用することができる。図１の復号装置４１は、例えば、図３０の車外情報検出ユニット７４００、マイクロコンピュータ７６１０、及び、音声画像出力部７６７０の少なくとも一部に適用することができる。これにより、例えば、車両の周囲の任意の視点の画像を表示できるようになるとともに、処理に係る負荷や車両制御システム７０００内のデータの伝送量を削減することができる。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成もとることができる。
（１）
複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出し部を
備える画像処理装置。
（２）
前記切出し画像は、仮想の視点からの前記オブジェクトの画像である仮想画像の生成に用いられる
前記（１）に記載の画像処理装置。
（３）
複数の前記切出し画像の中から、前記仮想画像の生成に用いる複数の再生用画像を選択する選択部を
さらに備える前記（２）に記載の画像処理装置。
（４）
複数の前記再生用画像を１つの画像に結合したパッキング画像を生成するパッキング部を
さらに備える前記（３）に記載の画像処理装置。
（５）
前記パッキング部は、前記パッキング画像と同じ矩形の領域を分割した複数のパッキング領域に各前記再生用画像をマッピングするとともに、各前記再生用画像を前記パッキング領域の大きさに合わせて拡縮する
前記（４）に記載の画像処理装置。
（６）
前記パッキング部は、各前記再生用画像の重要度に基づいて、各前記再生用画像をマッピングする前記パッキング領域を選択する
前記（５）に記載の画像処理装置。
（７）
前記パッキング部は、各前記再生用画像をマッピングした位置を示すメタデータを生成する
前記（５）又は（６）に記載の画像処理装置。
（８）
前記パッキング画像を符号化する符号化部を
さらに備える前記（４）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記選択部は、前記複数の視点のそれぞれと前記仮想の視点との間の位置及び方向のうち少なくとも１つの相対関係に基づいて、前記再生用画像の選択を行う
前記（３）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記選択部は、さらに各前記切出し画像の内容に基づいて、前記再生用画像の選択を行う
前記（９）に記載の画像処理装置。
（１１）
複数の前記視点画像の中から、前記仮想画像の生成に用いる前記視点画像を複数選択する選択部を
さらに備え、
前記切出し部は、選択された各前記視点画像からそれぞれ前記切出し画像を生成する
前記（２）に記載の画像処理装置。
（１２）
複数の前記切出し画像を１つの画像に結合したパッキング画像を生成するパッキング部を
さらに備える前記（１）に記載の画像処理装置。
（１３）
前記切出し部は、各前記視点画像内の各前記切出し画像に用いた領域の位置を示すメタデータを生成する
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記切出し部は、複数の前記視点画像から生成される３Ｄモデルにおいて前記オブジェクトを含む３Ｄモデル又は３次元の空間を各前記視点画像の座標系に投影した領域に基づいて、前記切出し画像に用いる領域を設定する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記切出し部は、前記複数の視点のそれぞれに対し、複数のフレームにおいて前記オブジェクトが含まれる共通の領域を前記切出し画像に用いる領域に設定する
前記（１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
各前記視点画像は、それぞれテクスチャ画像及びデプス画像を含み、
各前記切出し画像は、それぞれ前記テクスチャ画像から生成された画像、及び、前記デプス画像から生成された画像を含む
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
各前記視点画像は、複数の撮像装置により前記複数の視点から撮影された画像である
前記（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出しステップを
含む画像処理方法。
（１９）
複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画部を
備える画像処理装置。
（２０）
複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画ステップを
含む画像処理方法。
１０ 画像処理システム， １１ データ供給部， １２ 再生部， １３ 入力装置， ２１ 撮像部， ２３ 符号化装置， ４１ 復号装置， ４２ 表示装置， ３１−１乃至３１−Ｎ 撮像カメラ， １０１ 再構成部， １０２ 切出し部， １０３ 選択部， １０４ パッキング部， １０５ 符号化部， １０７ 送信部， １１１ 前景領域検出部， １１２ 切出し画像生成部， １２１ 重要度設定部， １２２ 再生用データ選択部， １３１ パッキング画像生成部， １３２ メタデータ生成部， １５１ 受信部， １５３ 復号部， １５４ 再構成部， １５５ 描画部

Claims (20)

  1. 複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出し部を
    備える画像処理装置。
  2. 前記切出し画像は、仮想の視点からの前記オブジェクトの画像である仮想画像の生成に用いられる
    請求項１に記載の画像処理装置。
  3. 複数の前記切出し画像の中から、前記仮想画像の生成に用いる複数の再生用画像を選択する選択部を
    さらに備える請求項２に記載の画像処理装置。
  4. 複数の前記再生用画像を１つの画像に結合したパッキング画像を生成するパッキング部を
    さらに備える請求項３に記載の画像処理装置。
  5. 前記パッキング部は、前記パッキング画像と同じ矩形の領域を分割した複数のパッキング領域に各前記再生用画像をマッピングするとともに、各前記再生用画像を前記パッキング領域の大きさに合わせて拡縮する
    請求項４に記載の画像処理装置。
  6. 前記パッキング部は、各前記再生用画像の重要度に基づいて、各前記再生用画像をマッピングする前記パッキング領域を選択する
    請求項５に記載の画像処理装置。
  7. 前記パッキング部は、各前記再生用画像をマッピングした位置を示すメタデータを生成する
    請求項５に記載の画像処理装置。
  8. 前記パッキング画像を符号化する符号化部を
    さらに備える請求項４に記載の画像処理装置。
  9. 前記選択部は、前記複数の視点のそれぞれと前記仮想の視点との間の位置及び方向のうち少なくとも１つの相対関係に基づいて、前記再生用画像の選択を行う
    請求項３に記載の画像処理装置。
  10. 前記選択部は、さらに各前記切出し画像の内容に基づいて、前記再生用画像の選択を行う
    請求項９に記載の画像処理装置。
  11. 複数の前記視点画像の中から、前記仮想画像の生成に用いる前記視点画像を複数選択する選択部を
    さらに備え、
    前記切出し部は、選択された各前記視点画像からそれぞれ前記切出し画像を生成する
    請求項２に記載の画像処理装置。
  12. 複数の前記切出し画像を１つの画像に結合したパッキング画像を生成するパッキング部を
    さらに備える請求項１に記載の画像処理装置。
  13. 前記切出し部は、各前記視点画像内の各前記切出し画像に用いた領域の位置を示すメタデータを生成する
    請求項１に記載の画像処理装置。
  14. 前記切出し部は、複数の前記視点画像から生成される３Ｄモデルにおいて前記オブジェクトを含む３Ｄモデル又は３次元の空間を各前記視点画像の座標系に投影した領域に基づいて、前記切出し画像に用いる領域を設定する
    請求項１に記載の画像処理装置。
  15. 前記切出し部は、前記複数の視点のそれぞれに対し、複数のフレームにおいて前記オブジェクトが含まれる共通の領域を前記切出し画像に用いる領域に設定する
    請求項１に記載の画像処理装置。
  16. 各前記視点画像は、それぞれテクスチャ画像及びデプス画像を含み、
    各前記切出し画像は、それぞれ前記テクスチャ画像から生成された画像、及び、前記デプス画像から生成された画像を含む
    請求項１に記載の画像処理装置。
  17. 各前記視点画像は、複数の撮像装置により前記複数の視点から撮影された画像である
    請求項１に記載の画像処理装置。
  18. 複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像を生成する切出しステップを
    含む画像処理方法。
  19. 複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画部を
    備える画像処理装置。
  20. 複数の視点からのオブジェクトの複数の視点画像に対して、それぞれ前記オブジェクトを含む領域に狭めた複数の切出し画像に基づいて、仮想の視点からの前記オブジェクトの画像である仮想画像を生成する描画ステップを
    含む画像処理方法。
JP2018568120A 2017-02-20 2018-02-06 画像処理装置および画像処理方法 Active JP7200678B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017028723 2017-02-20
JP2017028723 2017-02-20
PCT/JP2018/003895 WO2018150933A1 (ja) 2017-02-20 2018-02-06 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018150933A1 true JPWO2018150933A1 (ja) 2019-12-26
JP7200678B2 JP7200678B2 (ja) 2023-01-10

Family

ID=63170257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568120A Active JP7200678B2 (ja) 2017-02-20 2018-02-06 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US11200675B2 (ja)
JP (1) JP7200678B2 (ja)
CN (1) CN110291788B (ja)
WO (1) WO2018150933A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017115816A1 (de) * 2017-07-13 2019-01-17 Witte Automotive Gmbh System mit Tür, Türschloss und Funkschlüssel
EP3515068A1 (en) * 2018-01-19 2019-07-24 Thomson Licensing A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
JP2021182650A (ja) * 2018-07-20 2021-11-25 ソニーグループ株式会社 画像処理装置および方法
WO2020067441A1 (ja) * 2018-09-28 2020-04-02 シャープ株式会社 ３ｄデータ生成装置、３ｄデータ再生装置、制御プログラム及び記録媒体
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
US10841356B2 (en) * 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
JP7195135B2 (ja) * 2018-12-21 2022-12-23 キヤノン株式会社 画像処理装置、画像処理装置が行う制御方法およびプログラム
US20220084282A1 (en) 2019-03-05 2022-03-17 Sony Group Corporation Image processing device, image generation method, and image processing method
JP2020150516A (ja) * 2019-03-15 2020-09-17 シャープ株式会社 画像復号装置及び画像符号化装置
EP3712843A1 (en) 2019-03-19 2020-09-23 Koninklijke Philips N.V. Image signal representing a scene
US11954777B2 (en) 2019-10-10 2024-04-09 Sony Group Corporation Image processing apparatus, image processing method, and program
CN114762355A (zh) 2019-12-09 2022-07-15 索尼集团公司 信息处理装置和方法、程序以及信息处理系统
WO2022014370A1 (ja) 2020-07-17 2022-01-20 ソニーグループ株式会社 撮像処理システムおよび３ｄモデル生成方法
WO2022236837A1 (zh) * 2021-05-14 2022-11-17 Oppo广东移动通信有限公司 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质
WO2023276261A1 (ja) 2021-07-02 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN114648615B (zh) 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US20100315414A1 (en) * 2008-05-09 2010-12-16 Mbda Uk Limited Display of 3-dimensional objects
US20110273451A1 (en) * 2010-05-10 2011-11-10 Salemann Leo J Computer simulation of visual images using 2d spherical images extracted from 3d data
JP5264831B2 (ja) 2010-06-21 2013-08-14 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
US9055277B2 (en) * 2011-03-31 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Image rendering device, image rendering method, and image rendering program for rendering stereoscopic images
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
US9330500B2 (en) * 2011-12-08 2016-05-03 The Board Of Trustees Of The University Of Illinois Inserting objects into content
US9070216B2 (en) * 2011-12-14 2015-06-30 The Board Of Trustees Of The University Of Illinois Four-dimensional augmented reality models for interactive visualization and automated construction progress monitoring
JP2013239961A (ja) 2012-05-16 2013-11-28 Sony Corp 動画撮像装置、動画像電子ズーム方法
US10152796B2 (en) * 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
US9646410B2 (en) * 2015-06-30 2017-05-09 Microsoft Technology Licensing, Llc Mixed three dimensional scene reconstruction from plural surface models

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WOJCIECH MATUSIK, ET AL.: ""Image-Based Visual Hulls"", PROCEEDINGS OF THE 27TH ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES (SIGGRAPH', JPN7022005490, pages 369 - 374, ISSN: 0004925264 *
中村 芳浩（外１名）: "「Visual Hullを利用した多視点画像からの仮想視点画像生成」", 電子情報通信学会２００２年総合大会講演論文集, vol. 分冊：情報・システム２, JPN6022049441, 7 March 2002 (2002-03-07), JP, pages 310, ISSN: 0004925263 *
冨山 仁博（外３名）: "「多視点映像生成技術の研究とアプリケーション」", 情報処理学会研究報告, vol. 2008, no. 27, JPN6022049440, 10 March 2008 (2008-03-10), JP, pages 207 - 214, ISSN: 0004925262 *
冨山 仁博（外３名）: "「局所的形状特徴に拘束された３次元形状復元手法とそのリアルタイム動画表示」", 映像情報メディア学会誌, vol. 61, no. 4, JPN6018009649, 1 April 2007 (2007-04-01), JP, pages 471 - 481, ISSN: 0004827332 *
方 超偉（外２名）: "「シーン中の人物に乗り移る３Ｄ自由視聴インタフェースの構築と評価」", 電子情報通信学会技術研究報告, vol. 114, no. 485, JPN6018009646, 24 February 2015 (2015-02-24), JP, pages 27 - 32, ISSN: 0004715910 *

Also Published As

Publication number Publication date
CN110291788A (zh) 2019-09-27
WO2018150933A1 (ja) 2018-08-23
CN110291788B (zh) 2022-03-08
US11200675B2 (en) 2021-12-14
US20200013168A1 (en) 2020-01-09
JP7200678B2 (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7200678B2 (ja) 画像処理装置および画像処理方法
CN109844813B (zh) 图像处理装置和图像处理方法
JP6944136B2 (ja) 画像処理装置および画像処理方法
US11055909B2 (en) Image processing device and image processing method
JP7205471B2 (ja) 画像処理装置および画像処理方法
US11134235B2 (en) Image processing apparatus and image processing method
US10872456B2 (en) Image processing device and image processing method
JP6939807B2 (ja) 画像処理装置および画像処理方法
US11328379B2 (en) Image processing apparatus and image processing method
US10898804B2 (en) Image processing device and image processing method
JP6743894B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221017

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221026

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151