JP6021541B2 - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP6021541B2
JP6021541B2 JP2012201478A JP2012201478A JP6021541B2 JP 6021541 B2 JP6021541 B2 JP 6021541B2 JP 2012201478 A JP2012201478 A JP 2012201478A JP 2012201478 A JP2012201478 A JP 2012201478A JP 6021541 B2 JP6021541 B2 JP 6021541B2
Authority
JP
Japan
Prior art keywords
image
auxiliary
boundary
main layer
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012201478A
Other languages
Japanese (ja)
Other versions
JP2014056466A5 (en
JP2014056466A (en
Inventor
正輝 北郷
正輝 北郷
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2012201478A priority Critical patent/JP6021541B2/en
Publication of JP2014056466A publication Critical patent/JP2014056466A/en
Publication of JP2014056466A5 publication Critical patent/JP2014056466A5/ja
Application granted granted Critical
Publication of JP6021541B2 publication Critical patent/JP6021541B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Description

本発明は、複数の視点から撮像された画像データ及び距離情報を用いた自由視点画像合成技術に関する。 The present invention relates to a free-viewpoint image synthesis technique using the image data and distance information captured from a plurality of viewpoints. 特に多眼方式の撮像装置で撮像された複数視点画像データの自由視点画像合成技術に関するものである。 In particular it relates to free viewpoint image synthesis technology multi-viewpoint image data captured by the imaging device of a camera array type.

近年、映画業界を中心に3Dコンテンツの利用が活発である。 In recent years, it is active use of 3D content in the center of the movie industry. より高い臨場感を求めて複数視点撮像技術、複数視点表示技術の開発が進んでいる。 Multiple-view imaging technology in search of a higher sense of realism, has advanced the development of multi-viewpoint display technology.

2視点表示では眼鏡式3Dディスプレイが主流である。 It is a two-viewpoint display glasses type 3D display is the mainstream. 右目用の画像データと左目用の画像データを生成し、眼鏡の制御によりそれぞれの眼で見える画像を切り替えることで、観察者は立体画像を見ることができる。 It generates image data and image data for the left eye for the right eye, by switching the image seen by each eye under the control of the glasses, the viewer can see a stereoscopic image. また複数視点表示ではレンチキュラレンズ、パララックスバリア方式を用いた眼鏡無し3Dディスプレイが開発されており、主にデジタル・サイネージ用途で利用されている。 The lenticular lens is a multi-viewpoint display, without glasses 3D display using the parallax barrier system has been developed, which is mainly used in digital signage applications.

撮像装置においても、2視点撮像ではステレオカメラ、3視点以上の複数視点撮像ではPlenopticカメラやカメラアレイシステム、といった多眼方式の撮像装置が開発されている。 Also in the image pickup apparatus, the stereo camera 2-view imaging, the imaging apparatus of the multiview scheme Plenoptic Camera and camera array system, such as in multiple-view imaging three or more viewpoints have been developed. また撮像装置に工夫を加えることで、既存のカメラ構成を比較的変更することなく複数視点画像を撮像できるコンピュテーショナル・フォトグラフィー(Computational Photography)と呼ばれる分野の研究も盛んに行われている。 Further, by adding a twist to the imaging device, it has been actively research fields called computational photography that can capture multiple viewpoint images without relatively changing the existing camera arrangement (Computational Photography).

多眼方式の撮像装置で撮像された複数視点画像を複数視点表示装置で表示する場合、撮像装置と表示装置との間の視点数の違いを調整する必要がある。 When displaying multi-viewpoint images captured by the imaging device of multiview scheme with multiple viewpoints display device, it is necessary to adjust the number of viewpoints of the difference between the imaging device and the display device. 例えば、3眼のカメラで撮像された3視点画像を9視点の眼鏡無し3Dディスプレイで表示するとき、撮像されていない6視点分の画像を補完生成しなければならない。 For example, when displaying a three-viewpoint images captured at three eye camera glasses without 3D display of nine viewpoints, must complement generating an image of 6 perspectives not captured. またステレオカメラで撮像された画像を眼鏡式3Dディスプレイで表示する場合、どちらも2視点ではあるが、ディスプレイによって視聴に最適な視差が異なるため、撮像した画像とは異なる視点で画像を再構成して出力する場合がある。 In the case of displaying an image captured by the stereo camera eyewear 3D display, but neither is also in two viewpoints, the optimum parallax different for viewing the display, an image is reconstructed at a different viewpoint from the image captured there is a case to be output Te.

以上のようなユースケースを実現するため、撮像された視点以外の画像データを生成する技術として自由視点画像合成技術が開発されている。 To achieve a use case as described above, free viewpoint image synthesis technology has been developed as a technique for generating image data other than viewpoints captured.

関連技術として、MPEG−3DV(3D Video Coding)の標準化作業が進行している。 As a related technology, standardization of MPEG-3DV (3D Video Coding) is in progress. MPEG−3DVは複数視点の画像データと共に奥行き情報を符号化する方式である。 MPEG-3DV is a system for encoding depth information together with the image data of a plurality of viewpoints. 複数視点画像データの入力から、既存の2Dディスプレイ、眼鏡式3Dディスプレイ、眼鏡無し3Dディスプレイなど様々な視点数の表示装置に出力することを想定し、自由視点画像合成技術を用いて視点数の制御を行う。 From the input of the multi-viewpoint image data, the existing 2D display, eyewear 3D display, supposed to be output to the display device of various viewpoints such as the number of glasses without 3D display, the control number of viewpoints using a free viewpoint image synthesis techniques I do. また複数視点映像を対話的に視聴するための技術としても、自由視点画像合成技術が開発されている(特許文献1)。 Also as a technique for viewing multiple viewpoint video interactively, free viewpoint image synthesis technology has been developed (Patent Document 1).

特開2006−012161号公報 JP 2006-012161 JP

自由視点画像合成技術における課題として、合成画像の画質向上と計算量の抑制が挙げられる。 As problems in free viewpoint image combination techniques include computational load suppression and image quality of the composite image. 自由視点画像合成では、複数視点の参照画像群から仮想視点の画像を合成する。 The free viewpoint image synthesizing synthesizes the image of the virtual viewpoint from the reference image group of a plurality of viewpoints. まず、各参照画像から仮想視点の画像を生成するが、距離情報の誤差が要因で生成された仮想視点画像間にずれが生じてしまう。 First, to generate an image of the virtual viewpoint from the reference image, the error of the distance information occurs a deviation between the virtual viewpoint image generated by the factors. 次に、各参照画像から生成した仮想視点画像群を合成するが、ずれのある仮想視点画像群を合成すると出来上がった合成画像にボケが生じてしまう。 Next, to synthesize a virtual viewpoint image group generated from the reference image, blurring occurs in the composite image resulting to synthesize a virtual viewpoint image group with a deviation. また、画像合成に利用する参照画像数、画像領域が多くなる程、計算量が増大してしまう。 The reference number of images used for image synthesis, as the image area is increased, the amount of calculation increases.

本発明に係る画像処理装置は、複数の視点から撮像された複数視点画像の中から、1の代表画像及び当該代表画像とは視点の異なる1以上の補助画像を設定する設定手段と、 設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成手段と、を備え、前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合し、前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合する、統合手段を含み、前記代表画像におけるオブジ The image processing apparatus according to the present invention, from the multi-viewpoint images captured from a plurality of viewpoints, and one of the representative image and the representative image setting means for setting one or more auxiliary images with different viewpoints are set It was used and the representative image and the auxiliary image, and a synthesizing means for generating a composite image in a free viewpoint position, the combining means, the rendered image of the main layer exhibiting other than the boundary of the object in the representative image When the occlusion region that is not captured from the perspective of the representative image by integrating the rendered image of the auxiliary main layer of the auxiliary image at least including a rendered image of the boundary layer showing the boundary of an object in the representative image, the supplementary image integrating the rendered image of the boundary layer showing the boundary of an object in, it comprises integrating means, Obuji in the representative image ェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像との統合は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像との統合よりも後に行われることを特徴とする。 And rendering an image of the boundary layer showing the boundary of-object, the integration with the rendered image of the boundary layer showing the boundary of the object in the auxiliary image, and rendering the image of the main layer exhibiting other than the boundary of the object in the representative image, the representative from the viewpoint of the image, characterized in that takes place after the integration with the rendering images of the auxiliary main layer of the auxiliary image including at least an occlusion region that is not captured.

本発明によれば、複数視点画像データを用いた自由視点画像合成を高画質、かつ、高速に行うことができる。 According to the present invention, it is possible to perform free viewpoint image synthesis with multi-viewpoint image data quality, and high speed.

複数の撮像部を備えた多眼方式による撮像装置の一例を示した図である。 Is a diagram illustrating an example of an imaging apparatus according to camera array system having a plurality of imaging units. 多眼方式の画像処理装置の内部構成を示すブロック図である。 Is a block diagram showing an internal configuration of an image processing apparatus for a multi-view scheme. 撮像部の内部構成を示す図である。 Is a diagram showing an internal configuration of an imaging unit. 画像処理部の内部構成を示す機能ブロック図である。 It is a functional block diagram showing the internal configuration of the image processing unit. 距離情報推定処理の流れを示すフローチャートである。 Distance is a flowchart showing the flow of information estimation processing. 図6は、距離情報推定処理の経過を説明する図である。 Figure 6 is a diagram illustrating the course of the distance information estimation processing. (a)及び(c)は視点画像の例を示す図、(b)は視点画像にフィルタをかけて小領域に分割した状態を示す図、(d)はある視点画像に他の撮像部の視点画像における小領域を重ねた状態を示す図、(e)は(d)で生じているずれが解消された状態を示す図である。 (A) and (c) is a diagram showing an example of the viewpoint images, (b) is a diagram showing a state divided into small regions filter the viewpoint images, (d) are perspective image in the other image pickup unit It shows a state of repeated small area in the viewpoint image, (e) is a diagram showing a state of being eliminated shift occurring in (d). ヒストグラムの一例を示す図であり、(a)は高いピークを持つヒストグラム、(b)は低いピークのヒストグラムをそれぞれ示している。 Is a diagram showing an example of a histogram, shows (a) is a histogram having a high peak, (b) the low peak of the histogram, respectively. 初期視差量の調整を説明する図である。 Diagrams for explaining the adjustment of the initial amount of parallax. 画像分離処理の流れを示すフローチャートである。 It is a flowchart showing a flow of image separation processing. 視点画像内の各画素が、境界画素、通常画素の2つに分類される様子を説明する図である。 Each pixel in the viewpoint images, a diagram for explaining a state that fall into two boundary pixels, usually pixel. 自由視点画像生成処理の流れを示すフローチャートである。 It is a flowchart showing a flow of free viewpoint image generation processing. 主層の3次元モデル生成の様子を説明する図である。 It is a diagram for explaining a state of a three-dimensional model generation of the main layer. 主層のレンダリングの様子を説明する図である。 It is a diagram for explaining a state of rendering the main layer. 代表画像の主層を補助画像の視点位置でレンダリングしたときの一例を示す図である。 Is a diagram illustrating an example of when rendered the main layer of the representative image in the viewpoint position of the auxiliary image. 補助主層を生成する様子を説明する図である。 It is a diagram illustrating how to generate the auxiliary main layer. 主層と補助主層のレンダリング結果の一例を示す図である。 Is a diagram illustrating an example of a rendering result of the main layer and the auxiliary main layer. 境界層の3次元モデル生成の様子を説明する図である。 It is a diagram for explaining a state of a three-dimensional model generation of the boundary layer. 境界層のレンダリングの様子を説明する図である。 It is a diagram for explaining a state of rendering of the boundary layer. 実施例2における補助主層を生成する様子を説明する図である。 It is a diagram illustrating how to generate the auxiliary main layer in Example 2.

以下、添付図面を参照し、本発明の好適な実施形態について説明する。 Hereinafter, with reference to the accompanying drawings, a description will be given of a preferred embodiment of the present invention.

図1は、本実施例に係る、複数の撮像部を備えた多眼方式による画像処理装置の一例を示した図である。 1, according to the present embodiment, is a diagram showing an example of an image processing apparatus according to a camera array system having a plurality of imaging units.

撮像装置100の筺体には、カラー画像データを取得する9個の撮像部101〜109及び撮影ボタン110を備えている。 The housing of the image pickup apparatus 100, and a nine imaging units 101 to 109 and the photographing button 110 for acquiring color image data. 9個の撮像部は、すべて同一の焦点距離を有し、正方格子上に均等に配置されている。 Nine of the imaging unit, all have the same focal length, it is evenly arranged on a square lattice.

ユーザが撮像ボタン110を押下すると、撮像部101〜109が被写体の光情報をセンサ(撮像素子)で受光し、受光した信号がA/D変換されて、複数のカラー画像(デジタルデータ)が同時に取得される。 When the user presses the imaging button 110, the imaging unit 101 to 109 receives the optical information of an object in the sensor (imaging device), the light receiving signal is converted A / D, a plurality of color image (digital data) at the same time It is obtained.

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群(複数視点画像データ)を得ることができる。 The imaging device of such a multi-view scheme, it is possible to obtain a color image group captured the same subject from a plurality of viewpoint positions (multiple viewpoint image data).

なお、ここでは撮像部の数を9個としたが撮像部の数は9個に限定されない。 Here, the number of has been nine the number of the imaging unit imaging unit is not limited to nine. 撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。 The present invention as long as the imaging apparatus has a plurality of imaging units can be applied. また、ここでは9個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。 Moreover, here an example is described in which nine of the imaging unit are arranged uniformly on a square grid, the arrangement of the imaging unit is arbitrary. 例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。 For example, it may be disposed radially and straight, or may be disposed at all random.

図2は、撮像装置100の内部構成を示すブロック図である。 Figure 2 is a block diagram showing the internal configuration of the imaging apparatus 100.

中央処理装置(CPU)201は、以下に述べる各部を統括的に制御する。 Central processing unit (CPU) 201 performs overall control of each unit described below.

RAM202は、CPU201の主メモリ、ワークエリア等として機能する。 RAM202 is, CPU201 of main memory, work area, and the like.

ROM203は、CPU201で実行される制御プログラム等を格納している。 ROM203 stores a control program executed by the CPU 201.

バス204は、各種データの転送経路であり、例えば、撮像部101〜109によって取得されたデジタルデータはこのバス204を介して所定の処理部に送られる。 Bus 204 is a transfer path of various kinds of data, for example, digital data obtained by the imaging unit 101 to 109 is sent to a predetermined processing unit via the bus 204.

操作部205は、ボタンやモードダイヤルなどが該当し、これらを介してユーザ指示が入力される。 Operation unit 205, etc. are applicable buttons and mode dial, the user instruction is input through these.

表示部206は、撮影画像や文字の表示を行う。 Display unit 206, the display of captured images and characters. 表示部206には一般的に液晶ディスプレイが広く用いられる。 Generally the liquid crystal display is widely used in the display unit 206. また、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部205の入力として扱うことも可能である。 Further, it may have a touch screen function, if that is possible to handle user instructions using a touch screen as an input of the operation unit 205.

表示制御部207は、表示部206に表示される画像や文字の表示制御を行う。 The display control unit 207 performs display control of the image or character displayed on the display unit 206.

撮像部制御部208は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、CPU201からの指示に基づいた撮像系の制御を行う。 Imaging unit control unit 208, adjust the focus, close-open the shutter, such as adjusting the aperture, and controls the imaging system based on an instruction from the CPU 201.

デジタル信号処理部209は、バス204を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。 Digital signal processor 209, on the digital data received via the bus 204, performs white balance processing, gamma processing, various processing such as noise reduction processing.

エンコーダ部210は、デジタルデータを所定のファイルフォーマットに変換する処理を行う。 The encoder unit 210 performs processing for converting the digital data into a predetermined file format.

外部メモリ制御部211は、PCやその他のメディア(例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ)に繋ぐためのインターフェースである。 External memory control section 211, PC and other media (e.g., hard disk, memory card, CF card, SD card, USB memory) is an interface for connecting to.

画像処理部212は、撮像部101〜109で取得された複数視点画像データ或いは、デジタル信号処理部209から出力される複数視点画像データから、距離情報を算出し、自由視点合成画像データを生成する。 The image processing unit 212, multi-viewpoint image data, or acquired by the imaging unit 101 to 109, from the multi-viewpoint image data output from the digital signal processing unit 209, calculates the distance information to generate a free view synthesized image data . 画像処理部212の詳細については後述する。 For details of the image processing unit 212 will be described later.

なお、撮像装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。 Incidentally, the components of the imaging device are also present in addition to the above, but are not the main feature of the present invention, the description thereof is omitted.

図3は、撮像部101〜109の内部構成を示す図である。 Figure 3 is a diagram showing the internal configuration of the imaging units 101 to 109.

撮像部101〜109は、レンズ301〜303、絞り304、シャッター305、光学ローパスフィルタ306、iRカットフィルタ307、カラーフィルタ308、センサ309及びA/D変換部310で構成される。 Imaging unit 101 to 109, a lens 301 to 303, and a diaphragm 304, a shutter 305, an optical low-pass filter 306, iR cut filter 307, color filter 308, the sensor 309 and the A / D converter 310. レンズ301〜303は夫々、ズームレンズ301、フォーカスレンズ302、ぶれ補正レンズ303である。 Lens 301 to 303 respectively, the zoom lens 301, focus lens 302, a blur correction lens 303. センサ309は、例えばCMOSやCCDなどのセンサである。 Sensor 309 is, for example, a sensor such as CMOS or CCD.

センサ309で被写体の光量を検知すると、検知された光量がA/D変換部310によってデジタル値に変換され、デジタルデータとなってバス204に出力される。 When detecting the light quantity of the subject at the sensor 309, the detected amount of light is converted into a digital value by the A / D converter 310, and output to the bus 204 is a digital data.

なお、本実施例では、撮像部101〜109で撮像される画像がすべてカラー画像であることを前提に各部の構成や処理を説明するが、撮像部101〜109で撮像される画像の一部或いは全部をモノクロ画像に変更しても構わない。 In this embodiment, the configuration and processing of each unit on the premise that all image captured by the imaging unit 101 to 109 is a color image, but some of the image captured by the imaging unit 101 to 109 or it is also possible to change all the black-and-white image. その場合には、カラーフィルタ308は省略される。 In that case, the color filter 308 is omitted.

図4は、画像処理部212の内部構成を示す機能ブロック図である。 Figure 4 is a functional block diagram showing the internal configuration of the image processing unit 212.

画像処理部212は、距離情報推定部401、分離情報生成部402、自由視点画像生成部403を有している。 The image processing unit 212, the distance information estimation unit 401, the separation information generation unit 402, and a free viewpoint image generation unit 403. 実施例における画像処理部212は、撮像装置内の一構成要素として説明しているが、この画像処理部212の機能をPC等の外部装置で実現してもよい。 The image processing unit 212 in the embodiment has been described as a component in the imaging device, the function of the image processing unit 212 may be realized by an external device such as a PC. すなわち、本実施例における画像処理部212は、撮像装置の一機能としても、又は独立した画像処理装置としても実現し得るものである。 That is, the image processing unit 212 in this embodiment is also as a function of the imaging device, or separate it is capable of also implemented as an image processing apparatus.

以下、画像処理部212の各構成要素について説明する。 Hereinafter, the description will be given of respective components of the image processing unit 212.

撮像部101〜109で取得されたカラーの複数視点画像データ或いは、デジタル信号処理部209から出力されるカラーの複数視点画像データ(本実施例ではいずれも9視点)が画像処理部212に入力されると、まず、距離情報推定部401に送られる。 Multi-viewpoint image data or acquired color by the imaging unit 101 to 109, multi-viewpoint image data for the color (9 viewpoint both in the present embodiment) is input to the image processing unit 212 which is output from the digital signal processing unit 209 If that, firstly, it is sent to the distance information estimation unit 401.

距離情報推定部401は、入力された複数視点画像データ内の各視点の画像それぞれについて、撮像部から被写体までの距離を表す距離情報(以下、「距離情報」と呼ぶ。)を推定する。 The distance information estimation unit 401, for each image of each viewpoint in multi-viewpoint image data inputted, the distance information indicating the distance from the imaging unit to the object (hereinafter, referred to as "distance information.") To estimate. 距離情報推定の詳細については後述する。 Distance information will be described in detail later estimation. なお、距離情報推定部401を設ける代わりに、同等の距離情報を外部から入力するように構成してもよい。 Instead of providing the distance information estimation unit 401 may be configured to enter the equivalent of the distance information from the outside.

分離情報生成部402は、複数視点画像データを構成する各視点画像を、2つの層(被写体の境界である境界層、被写体の境界でない主層)に分離するための基礎となる情報(分離情報)を生成する。 Separation information generation unit 402, the respective viewpoint images constituting the multi-viewpoint image data, the two layers (boundary layer which is a boundary of an object, not a boundary of the object main layer) underlying information (separation information for separating the ) to generate. 具体的には、各視点画像内の各画素を、被写体の境界(以下、「オブジェクト境界」と呼ぶ。)に隣接する境界画素、及び、境界画素以外の通常画素の2種類に分類し、各画素がいずれの種類に該当するかを特定可能な情報を生成する。 Specifically, each pixel in each viewpoint image, the object boundary (hereinafter. Referred to as "object boundary") boundary pixels adjacent to, and are classified into two types of normal pixels other than the boundary pixels, each pixel generating specific information capable or corresponds to any kind. 分離情報生成の詳細については後述する。 For more information about the separation information generation will be described later.

自由視点画像生成部403は、主層(補助主層を含む)および境界層の各3次元モデルをレンダリングして、任意の視点位置における画像データ(自由視点画像データ)を生成する。 Free viewpoint image generation unit 403, the main layer and render each 3D model of the (auxiliary main layer containing) and boundary layer to generate image data (free viewpoint image data) at an arbitrary viewpoint position. 自由視点画像生成の詳細については後述する。 For more information about the free viewpoint image generation will be described later.

(距離情報推定処理) (Distance information estimation processing)
距離情報推定部401における距離情報の推定方法について説明する。 Distance information estimation method of the distance information in the estimation unit 401 will be described. 図5は、本実施例に係る距離情報推定処理の流れを示すフローチャートである。 Figure 5 is a flow chart showing the flow of distance information estimation processing according to this embodiment. 以下では、入力される複数視点画像データは、図1に示した9個の撮像部101〜109を有する撮像装置100によって撮像された9視点の画像データであるものとして説明を行う。 In the following, multi-viewpoint image data is input will be described as being image data of nine viewpoints captured by the imaging apparatus 100 having nine imaging units 101 to 109 shown in FIG.

ステップ501において、距離情報推定部401は、入力された9視点画像データ内の1の視点画像(対象視点画像)に対し、エッジ保持型の平滑化フィルタをかける。 In step 501, the distance information estimation unit 401, for one of the viewpoint images in the nine viewpoints image data input (target viewpoint image), multiplying the edge holding type smoothing filter.

ステップ502において、距離情報推定部401は、対象視点画像を所定のサイズの領域(以下、「小領域」と呼ぶ。)に分割する。 In step 502, the distance information estimation unit 401, the target viewpoint image of a predetermined size area (hereinafter. Referred to as "small area") is divided into. 具体的には、色差が閾値以下の隣接する画素(画素群)同士を順次統合していき、最終的に所定の画素数からなる小領域(例えば、100〜1600画素の領域)に対象視点画像を分割する。 Specifically, we will sequentially integrating pixel (pixel group) between the color difference is less adjacent threshold, eventually small area consisting of a predetermined number of pixels (e.g., the region of 100 to 1600 pixels) target viewpoint image to split. 閾値は、比較される色同士が同程度の色であると判断するのにふさわしい値、例えばRGBをそれぞれ8ビット(256色)で量子化した場合であれば「6」といった値に設定される。 Threshold between colors to be compared is set to appropriate values, the value of, for example, in the case of quantizing the RGB each 8-bit (256-color) "6" to determine that the color of the same order . 初めは、隣り合う画素同士を比較して色差が上記閾値以下であれば、両画素を統合する。 Initially, the color difference by comparing adjacent pixels is equal to or smaller than the threshold value, integrating both pixels. そして、次に、統合された画素群について平均色をそれぞれ求め、隣接する画素群の平均色と比較し、色差が上記閾値以下となった画素群同士を統合していく。 And then, the integrated pixel group determined average color respectively, compared to the average color of the adjacent pixel group, the color difference is gradually integrated pixel groups each other becomes less than the threshold. このような処理を、画素群の大きさ(画素数)が、上述の一定の画素数で構成される小領域に達するまで繰り返す。 Such a process, the size of the pixel group (number of pixels) is repeated until a small region composed of a fixed number of pixels described above.

ステップ503において、距離情報推定部401は、9視点画像データに含まれる9つの視点画像のすべてに対して、小領域への分割が完了したかどうかを判定する。 In step 503, the distance information estimation unit 401 determines for all nine viewpoint images included in the 9-viewpoint image data, whether the division into small regions has been completed. 小領域への分割が完了している場合には、ステップ504に進む。 If the division into small regions has been completed, the process proceeds to step 504. 一方、領域分割が完了していない場合にはステップ501に戻り、次の視点画像を対象視点画像として、平滑化フィルタをかける処理及び小領域への分割処理を行う。 On the other hand, if the area division is not completed, the processing returns to step 501, as the target viewpoint image for the next viewpoint images, performs division processing to the processing and the small regions applying a smoothing filter.

ステップ504において、距離情報推定部401は、すべての視点画像について、それぞれ周囲の視点画像(ここでは、上下左右に位置する視点画像)を参照して、分割された小領域毎に初期視差量を算出する。 In step 504, the distance information estimation unit 401, for all the viewpoint images (here, viewpoint image located vertically and horizontally) around the viewpoint images respectively with reference to the initial amount of parallax for each of the divided small regions calculate. 例えば、中央の撮像部105に係る視点画像の初期視差量を算出するときは、撮像部102・104・106・108の各視点画像が参照される。 For example, when calculating the initial amount of parallax of viewpoint images according to the center of the imaging unit 105, each viewpoint image of the imaging unit 102, 104, 106, 108 is referred to. 端部の撮像部に係る視点画像の場合、例えば撮像部107の視点画像は撮像部104・108の各視点画像が参照され、撮像部108の視点画像の場合は撮像部105・107・109の各視点画像が参照されて、初期視差量が算出される。 If viewpoint images according to the imaging of the end, for example of the imaging unit 107 viewpoint images are referenced each viewpoint image of the imaging unit 104 · 108, in the case of the viewpoint image of the imaging unit 108 of the imaging unit 105, 107, 109 viewpoint images is referenced, initial amount of parallax is calculated. 初期視差量の算出は以下のようにして行う。 The initial amount of parallax calculation is performed as follows.

まず、初期視差量を求める視点画像の各小領域と、参照する視点画像(参照視点画像)における対応する小領域との比較を行う。 First, each small region of the viewpoint image for obtaining the initial amount of parallax, a comparison with the corresponding small regions in the reference to the viewpoint image (reference viewpoint image) performed. ここで、対応する小領域とは、初期視差量を求める視点画像の各小領域の位置に対して視差量分シフトした参照視点画像における小領域である。 Here, the corresponding small regions, a small region in the reference viewpoint image which parallax amount shifted relative to the position of each small region of the viewpoint image for obtaining the initial amount of parallax.

次に、初期視差量を求める視点画像の各画素と視差量分シフトした参照視点画像における対応する画素との色差を、小領域内の全ての画素について算出し、ヒストグラムを作成する。 Then, the color difference between corresponding pixels in the reference viewpoint image which pixels and parallax amount shift of viewpoint images to determine the initial amount of parallax calculated for all the pixels in the small area, to create a histogram.

そして、視差量を変化させて、それぞれヒストグラムを作成する。 Then, by changing the amount of parallax, respectively to create a histogram.

こうして得られたヒストグラムにおいて、ピークが高い視差量が求める初期視差量となる。 Thus in the resulting histogram, the initial amount of parallax peak high amount of parallax determined. なお、参照する視点画像における対応する領域は、縦方向と横方向で視差量を調整して設定する。 Incidentally, the corresponding area in the reference to the viewpoint image is set by adjusting the amount of parallax in the vertical and horizontal directions. 縦方向の1ピクセルの視差量と横方向の1ピクセルの視差量が同じ距離を示さないためである。 Parallax amount of vertical 1-pixel and the parallax amount of one pixel in the lateral direction is due to not exhibit the same distance.

ここまでの処理について、具体例を用いて説明する。 The processing so far, will be described with reference to specific examples.

図6の(a)は、撮像部105の視点画像の例を示す図であり、オブジェクト601が写っている。 (A) in FIG. 6 is a diagram showing an example of the viewpoint image of the imaging unit 105, it is reflected the object 601. 図6の(b)は、撮像部105の視点画像にエッジ保持型のフィルタをかけ、小領域に分割した状態を示す図である。 (B) in FIG. 6, multiplied by the edge retentive filter to the viewpoint image of the imaging unit 105 is a diagram showing a state divided into small regions. ここで、小領域の一つを小領域602、小領域602の中心座標を603とする。 Here, the small region one small region 602, the center coordinates of the small area 602 603. 図6の(c)は、撮像部104の視点画像の例を示す図である。 (C) in FIG. 6 is a diagram showing an example of the viewpoint image of the imaging unit 104. 撮像部104の場合、同じオブジェクトを撮像部105の右側から撮像することになるため、撮像部104の視点画像におけるオブジェクト604は、撮像部105の視点画像におけるオブジェクト601よりも左側に写っている。 For imaging unit 104, since that will image the same object from the right side of the imaging unit 105, an object 604 at the viewpoint image of the imaging unit 104 is reflected on the left side of the object 601 at the viewpoint image of the imaging unit 105.

いま、対象視点画像を撮像部105の視点画像、参照する視点画像を撮像部104の視点画像として、小領域602を対象とした対応領域の比較を行う。 Now, the viewpoint image of the imaging unit 105 the target viewpoint image, the viewpoint images to be referred to as the viewpoint image of the image capturing unit 104, it performs a comparison of corresponding regions intended for the small region 602. 図6の(d)は撮像部104の視点画像に、撮像部105の視点画像における小領域602を重ねた状態であり、対応領域においてずれがある。 FIG. 6 (d) is to the viewpoint image of the imaging unit 104, a state of repeated small region 602 at the viewpoint image of the imaging unit 105, there is a shift in the corresponding region. そして、撮像部105の視点画像における小領域602の画素値(エッジ保持型のフィルタをかけたもの)と撮像部104の視点画像における画素値(エッジ保持型のフィルタをかけたもの)との比較を行い、ヒストグラムを作成する。 The comparison of the pixel values ​​of the small area 602 (the edge holding type multiplied by the filter) and the pixel value at the viewpoint image of the imaging unit 104 (multiplied by the edge holding type filter) at the viewpoint image of the imaging unit 105 It was carried out, to create a histogram. 具体的には、対応する小領域の各画素の色差を取得し、横軸に色差、縦軸にマッチングした画素数を取る。 Specifically, to get the color difference of each pixel of the corresponding small regions, taken on the horizontal axis color difference, the number of pixels matching the vertical axis. そのようにして、視差量を変化させて(例えば、小領域を1画素ずつ移動させて)、視差量毎のヒストグラムを順次作成する。 As such, by changing the amount of parallax (for example, by moving one pixel small region), and sequentially generates a histogram of parallax amount each. 図7は、ヒストグラムの一例を示しており、図7の(a)のように高いピークを持つヒストグラム分布は視差量の信頼度が高く、図7の(b)のようにピークの低いヒストグラム分布は視差量の信頼度が低いと判断する。 Figure 7 shows an example of a histogram, the histogram distribution with a high peak as shown in (a) of FIG. 7 has a high reliability of the parallax amount histogram distribution lower peaks as shown in (b) of FIG. 7 it is determined that the reliability is low amount of parallax. ここでは、高いピークを持つヒストグラムの視差量を、初期視差量として設定する。 Here, the parallax amount histogram having a high peak is set as the initial amount of parallax. 図6の(e)は、図6の(d)で生じているずれが解消された状態であり、撮像部105の視点画像における小領域602が撮像部104の視点画像における対応領域にずれなく重なっている。 Figure (e) 6 is a state where the deviation has occurred in FIG. 6 (d) is eliminated, the small region 602 at the viewpoint image of the imaging unit 105 is not shifted in the corresponding region in the viewpoint image of the imaging unit 104 overlapping. この図6の(e)における矢印605で示される視差量が、求める初期視差量に相当する。 Parallax amount indicated by the arrow 605 in (e) of FIG. 6 corresponds to the initial amount of parallax to be obtained. なお、ここでは小領域を1画素ずつ移動させてヒストグラムを生成したが、0.5画素ずつ移動させるなど移動量は任意に設定して構わない。 Here, although a histogram is generated by moving one pixel small area, the amount of movement such as moving by 0.5 pixels may be set arbitrarily.

図5のフローチャートの説明に戻る。 Back to the flowchart of FIG.

ステップ505において、距離情報推定部401は、小領域間の色差、初期視差量の差などを用いて反復的に初期視差量を調整する。 In step 505, the distance information estimation unit 401, the color difference between the small regions, iteratively adjusting the initial amount of parallax by using a difference between the initial amount of parallax. 具体的には、色差が近い近隣の小領域は似た視差量を持ち、所期視差量の差が近い近隣の小領域は似た視差量を持つ可能性が高いとの考えに基づいて初期視差量の調整を行う。 Specifically, the small region of neighboring chrominance close has a parallax amount similar, based on the idea that is likely to have a parallax amount subregions where similar points difference of the desired amount of parallax is closer initial adjusting the parallax amount.

図8は、初期視差量の調整を説明する図である。 Figure 8 is a diagram for explaining the adjustment of the initial amount of parallax. 図8の(a)は、図6の(b)の小領域毎に初期視差量を算出した結果(調整前の状態)を示す図であり、図8の(b)は調整を行った後の状態を示す図である。 (A) in FIG. 8 is a diagram showing the initial amount of parallax result of calculating the (unadjusted state) for each small region in (b) of FIG. 6, (b) of FIG. 8 after the adjustment it is a diagram illustrating a state. 図8の(a)では、オブジェクト領域800(太線の内側の領域)における3つの小領域の視差量をそれぞれ斜線801、斜線802、斜線803で表している。 In (a) of FIG. 8, it represents the amount of parallax of three small regions in the object region 800 (the region inside the bold line), respectively hatched 801, hatched 802, with diagonal lines 803. ここで、斜線801/803は左上から右下に向かう斜線であり、斜線802は右上から左下に向かう斜線であるが、これは両者の視差量が異なっていることを示す。 Here, hatching 801/803 is a diagonal line directed from the upper left to the lower right, but the hatched 802 are diagonal line directed from the upper right to the lower left, indicating that the amount of parallax of both are different. この場合において、背景領域(太線の外側の領域)については右上から左下に向かう斜線が正解の視差量であり、オブジェクト領域については左上から右下に向かう斜線が正解の視差量であるとする。 In this case, a parallax amount of hatched correct heading from the upper right to the lower left for the background area (the area outside the thick line), for the object region is hatched directed from top left to bottom right and a parallax amount of correct answers. 図8の(a)では、視差量801及び803に関しては、オブジェクト領域の視差量として正しい視差量が算出できているが、視差量802に関しては、背景領域の視差量を算出してしまっており正しい視差量ができていないことが分かる。 In (a) of FIG. 8, with respect to the parallax amount 801 and 803, although correct parallax amount as the parallax amount of the object area is can be calculated, with respect to the parallax amount 802 is accidentally calculated amount of parallax of the background area it can be seen that not be the correct amount of parallax. 視差量の調整では、このような小領域単位に視差量を推定したときに生じた誤りが、周囲の小領域との関係を利用して正される。 The adjustment of the parallax amount, an error that occurred when the estimated amount of parallax in such small region units is Tadashisa utilizing the relationship with the surrounding small area. 例えば、図8の(a)の場合、背景領域の視差量になってしまっていた視差量802が、隣接する小領域の視差量801及び視差量803を利用して調整された結果、図8の(b)に示すとおり、左上から右下に向かう正しい視差量804となる。 For example, in the case of FIG. 8 (a), results of the parallax amount 802 that has ended up with the amount of parallax of the background region has been adjusted by using a parallax amount 801 and the parallax amount 803 of adjacent small regions, 8 as shown in the (b), the correct parallax amount 804 flowing from top left to bottom right.

ステップ506において、距離情報推定部401は、初期視差量の調整によって得られた視差量を距離に変換する処理を行って距離情報を得る。 In step 506, the distance information estimation unit 401 obtains distance information by performing a process of converting the parallax amount obtained by adjusting the initial amount of parallax in the distance. 距離情報は、(カメラ間隔×焦点距離)/(視差量×1ピクセルの長さ)で算出されるが、1ピクセルの長さは縦と横とでは異なるため、縦と横の視差量が同一距離を示すように必要な変換が施される。 Distance information, which is calculated by (camera interval × focal length) / (the length of the parallax amount × 1 pixels) differ, the parallax amount of vertical and horizontal are identical with the length of 1 pixel between vertical and horizontal necessary conversion is performed to indicate the distance.

さらに、変換された距離情報は、例えば8ビット(256階調)に量子化される。 Further, the converted distance information is quantized, for example, 8 bits (256 gradations). そして8ビットに量子化された距離情報は、8ビットのグレイスケール(256階調)の画像データとして保存される。 The distance information quantized into 8 bits is stored as image data of 8-bit grayscale (256 gradations). 距離情報のグレイスケール画像では、オブジェクトの色は、カメラからの距離が近い程、白(値:255)に近い色、カメラからの距離が遠い程、黒(値:0)に近い色で表現される。 The gray scale image of the distance information, the color of the object, as the distance from the camera is close, white (value: 255) colors close to, as the distance from the camera is far, black (value: 0) expressed in color near the It is. 例えば、図8におけるオブジェクト領域800は白で表現され、背景領域は黒で表現される。 For example, object region 800 in FIG. 8 is represented by white background region is represented in black. もちろん、距離情報は10ビット、12ビットなど他のビット数で量子化しても良いし、量子化せずバイナリファイルとして保存しても構わない。 Of course, the distance information is 10 bits, to the other number of bits such as 12 bits may be quantized, it may be stored as a binary file without quantization.

このようにして、各視点画像の各画素に対応した距離情報が算出される。 Thus, the distance information corresponding to each pixel of each viewpoint image are calculated. 本実施例では、画像を所定の画素数からなる小領域に分割して距離を算出しているが、複数視点画像間の視差を基に距離を得るのであれば他の推定方法を用いても構わない。 In this embodiment, calculates the distance is divided into the sub-area of ​​the image from the predetermined number of pixels, even using other estimation methods as long as obtaining the distance based on the parallax between multi-viewpoint images I do not care.

上記の処理で得られた各視点画像に対応する距離情報と複数視点画像データは、後続の分離情報生成部402および自由視点画像生成部403に送られる。 Distance information and multi-viewpoint image data corresponding to each viewpoint image obtained by the above process is sent to the subsequent separation information generation unit 402 and the free viewpoint image generation unit 403. なお、各視点画像に対応する距離情報と複数視点画像データを分離情報生成部402のみに送り、分離情報生成部402からこれらのデータを自由視点画像生成部403に送るようにしてもよい。 Note that sends distance information and multi-viewpoint image data corresponding to each viewpoint image only separation information generation unit 402, these data from the separation information generation unit 402 may send the free viewpoint image generation unit 403.

(分離情報生成処理) (Separation information generation processing)
次に、分離情報生成部402における、各視点画像を画像中のオブジェクトの境界付近である境界層、オブジェクトの境界以外である主層の2つの層に分離する処理について説明する。 Then, in the separation information generation unit 402 will be described each viewpoint image boundary layer which is near the boundary of the object in the image, the process of separating the two layers of the main layer is other than the boundary of the object. 図9は、本実施例に係る画像分離処理の流れを示すフローチャートである。 Figure 9 is a flowchart showing a flow of image separation processing according to the present embodiment.

ステップ901において、分離情報生成部402は、複数視点画像データ、及び、距離情報推定処理によって得られた距離情報を取得する。 In step 901, the separation information generating unit 402, multi-viewpoint image data, and obtains the distance information obtained by the distance information estimation processing.

ステップ902において、分離情報生成部402は、視点画像内のオブジェクト境界を抽出する。 In step 902, separation information generation unit 402 extracts the object boundary in the viewpoint image. 本実施例では、対象画素の距離情報と近隣画素の距離情報との差分(以下、「距離情報の差分」と呼ぶ。)が閾値以上の箇所をオブジェクトの境界として特定している。 In this embodiment, the difference between the distance information of the distance information and the neighboring pixels of the target pixel (hereinafter, referred to as "difference of distance information.") Is to identify more locations threshold as a boundary of an object. 具体的には、以下のとおりである。 Specifically, as follows.

まず、縦方向に走査し、距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。 First, the scanning in the vertical direction, the distance information difference compared to the threshold of identifying a pixel to be equal to or larger than the threshold. 次に、横方向に走査し、同様に距離情報の差分を閾値と比較して、閾値以上となる画素を特定する。 Then, by scanning in the horizontal direction, compared to a threshold difference similarly distance information, determining the pixel as a threshold or more. そして、縦方向と横方向でそれぞれ特定された画素の和集合をとり、オブジェクト境界として特定する。 Then, taking the union of pixels identified respectively vertical and horizontal direction is specified as the object boundary. なお、閾値としては、距離情報が8ビットで量子化(0〜255)されている場合においては、例えば「10」のような値に設定される。 As the threshold value, when the distance information is quantized (0 to 255) in 8-bit is set to a value such as "10".

ここでは、オブジェクト境界を距離情報に基づいて得ているが、画像を領域分割してオブジェクト境界にするなど他の方法を用いても構わない。 Here, although obtained based object boundary distance information may be used other methods such as the object boundary and area division images. ただ、画像の領域分割により得られるオブジェクト境界と、距離情報から得られるオブジェクト境界とは、出来る限り一致していることが望ましい。 However, the object boundary obtained by segmentation of the image, the object boundary obtained from the distance information, it is desirable to match as much as possible. 画像の領域分割によってオブジェクト境界を得たときは、得られたオブジェクト境界に合わせて距離情報を補正すると良い。 When obtaining the object boundary by image segmentation, it is preferable to correct the distance information in accordance with the obtained object boundary.

ステップ903において、分離情報生成部402は、視点画像内の各画素を、境界画素、通常画素の2種類に分類する。 In step 903, separation information generation unit 402, each pixel in the viewpoint image are classified into boundary pixel, two normal pixel. 具体的には、ステップ901で取得した距離情報を参照して、ステップ902で特定されたオブジェクト境界に隣接する画素を境界画素と決定する。 Specifically, by referring to the obtained distance information at step 901, a pixel adjacent to the object boundary identified at step 902 to determine the boundary pixels. 図10は、視点画像内の各画素が、境界画素、通常画素の2つに分類される様子を説明する図である。 10, each pixel in the viewpoint images, a diagram for explaining a state that fall into two boundary pixels, usually pixel. オブジェクト境界1001を跨ぐ隣接画素が境界画素1002、残りの画素が通常画素1003にそれぞれ分類されている。 Adjacent pixels boundary pixel 1002 across the object boundary 1001, the remaining pixels are respectively classified into normal pixel 1003. ここでは、オブジェクト境界1001に隣接する1画素のみを境界画素としているが、例えば、オブジェクト境界に隣接する2画素(オブジェクト境界1001から2画素の幅)を境界画素としてもよい。 Here, only one pixel adjacent to the object boundary 1001 is a boundary pixel, for example, two pixels adjacent to the object boundary (the width of two pixels from the object boundary 1001) may be used as boundary pixels. オブジェクト境界付近の境界画素とそれ以外の通常画素とを特定することができるのであれば、どのように分類しても構わない。 If it is possible to identify a normal pixel the other and the boundary pixels in the vicinity of the object boundary, it may be classified how.

ステップ904において、分離情報生成部402は、入力された複数視点画像データに含まれるすべての視点画像について画素の分類が完了したかどうかを判定する。 In step 904, separation information generation unit 402 determines whether the pixel classification is completed for all the viewpoint images included in the multi-viewpoint image data inputted. 未処理の視点画像がある場合にはステップ902に戻り、次の視点画像に対しステップ902及びステップ903の処理を行う。 Returning to step 902 if there is an unprocessed viewpoint image, for the next viewpoint image performs the processing of step 902 and step 903. 一方、すべての視点画像について画素の分類が完了していた場合には、ステップ905に進む。 On the other hand, when the pixel classification was completed for all viewpoint images, the process proceeds to step 905.

ステップ905において、分離情報生成部402は、境界画素、通常画素を特定可能な分離情報を自由視点画像生成部403に送る。 In step 905, separation information generation unit 402, a boundary pixel, and sends the normal pixels identifiable separation information to the free viewpoint image generation unit 403. 分離情報としては、例えば境界画素と判定された画素について“1”、通常画素と判定された画素について“0”といったフラグを別途付加すること等が考えられる。 The separation information, for example the determination pixel as a boundary pixel "1", the normal pixels determined as the pixels "0" or the like is conceivable to add a flag separately like. ただし、境界画素が分かれば、その余の画素は通常画素であると判明するので、分離情報としては、境界画素が特定可能な情報であればよい。 However, knowing the boundary pixels, so prove its remaining pixels are normal pixels, the separation information, the boundary pixels may be any identifiable information. 後述の自由視点画像生成処理では、このような分離情報を用いて、所定の視点画像が2つの層(すなわち、境界画素で構成される境界層、通常画素で構成される主層)に分離されることになる。 The free viewpoint image generation processing will be described later, by using such separation information, predetermined viewpoint image of two layers (i.e., boundary layer composed of the boundary pixels, main layer composed of normal pixels) is separated into It becomes Rukoto.

(自由視点画像生成処理) (Free viewpoint image generation processing)
続いて、自由視点画像生成部403における、自由視点画像の生成処理について説明する。 Subsequently, the free viewpoint image generation unit 403, processing for generating free viewpoint image will be described. 図11は、本実施例に係る自由視点画像生成処理の流れを示すフローチャートである。 Figure 11 is a flowchart showing the flow of the free viewpoint image generation processing according to the present embodiment.

ステップ1101において、自由視点画像生成部403は、出力される自由視点画像における任意の視点(以下、「自由視点」と呼ぶ。)の位置情報を取得する。 In step 1101, the free viewpoint image generation unit 403, arbitrary viewpoint (hereinafter, referred to as "free viewpoint".) In the free-viewpoint image outputted acquires position information of. 自由視点の位置情報は、例えば以下のような座標によって与えられる。 Position information of the free viewpoint, for example, given by the above coordinates. 本実施例では、撮像部105の位置を基準となる座標位置(0.0,0.0)とした場合における、自由視点の位置を示す座標情報を与えるものとする。 In this embodiment, in the case where the coordinate position as a reference position of the imaging unit 105 (0.0,0.0), shall be given the coordinate information indicating the position of the free viewpoint. この場合、撮像部101は(1.0,1.0)、撮像部102は(0.0,1.0)、撮像部103は(−1.0,1.0)、撮像部104は(1.0,0.0)の座標でそれぞれ表される。 In this case, the imaging unit 101 (1.0, 1.0), the imaging unit 102 (0.0, 1.0), the imaging unit 103 (-1.0, 1.0), the imaging unit 104 respectively represented by coordinates (1.0, 0.0). 同様に、撮像部106は(−1.0,0.0)、撮像部107は(1.0,−1.0)、撮像部108は(0.0,−1.0)、撮像部109は(−1.0,−1.0)の座標で表される。 Similarly, the imaging unit 106 (-1.0,0.0), the imaging unit 107 (1.0, -1.0), the imaging unit 108 (0.0, -1.0), the imaging unit 109 is represented by coordinates (-1.0, -1.0). ここで、例えば、4つの撮像部101、102、104、105の中間位置を自由視点とした画像を合成したいと考えたとき、ユーザは、座標(0.5,0.5)を入力すればよいことになる。 Here, for example, when you wish to synthesize an image with free viewpoint intermediate positions of the four image pickup unit 101, 102, 104, 105, the user, by entering the coordinates (0.5, 0.5) It will be good. 当然のことながら、座標定義の方法は上記に限るものではなく、撮像部105以外の撮像部の位置を基準となる座標位置としてもよい。 Of course, the method of coordinate definition is not limited to the above, it may be a coordinate position as a reference position of the imaging unit other than the image pickup section 105. また、自由視点の位置情報の入力方法は上述した座標を直接入力する方法に限られるものではなく、例えば、撮像部の配置を示すUI画面(不図示)を表示部206に表示し、タッチ操作等によって所望の自由視点を指定するようにしてもよい。 The input method of the position information of the free viewpoint is not limited to the method of inputting coordinates described above directly, for example, displayed on the display unit 206 a UI screen (not shown) showing the arrangement of the imaging unit, a touch operation it may be designated the desired free viewpoint by like.

なお、本ステップにおける取得対象としては説明していないが、上述のとおり各視点画像に対応する距離情報と複数視点画像データも、距離情報推定部401或いは分離情報生成部402から取得される。 Incidentally, as the acquisition target in this step is not described, the distance information and plurality viewpoint image data corresponding to the respective viewpoint images as described above are also obtained from the distance information estimation unit 401 or the separation information generation unit 402.

ステップ1102において、自由視点画像生成部403は、指定された自由視点の位置における自由視点画像データの生成において参照する、複数の視点画像(以下、「参照画像群」と呼ぶ。)を設定する。 In step 1102, the free viewpoint image generation unit 403 refers to the generation of free viewpoint image data in the position of the specified free viewpoint, a plurality of viewpoint images (hereinafter, referred to as "reference image group".) Is set. 本実施例では、指定された自由視点の位置に近い4つの撮像部で撮像された視点画像を参照画像群として設定する。 In this embodiment sets the viewpoint images captured by the four imaging unit closer to the position of the specified free viewpoint as a reference image group. 上記のように、自由視点の位置として座標(0.5,0.5)が指定されたときの参照画像群は、撮像部101、102、104、105で撮像された4つの視点画像によって構成されることになる。 As described above, the reference image group when the coordinate (0.5, 0.5) is designated as the position of the free viewpoint, it comprises four viewpoint images taken by the imaging unit 101, 102, 104, 105 It is is will be. もちろん、参照画像群を構成する視点画像の数は4つに限定されるものではなく、指定された自由視点の周囲の3つでも構わない。 Of course, the number of viewpoint images constituting the reference image group is not limited to four, but may also one 3 around a specified free viewpoint. さらに、指定された自由視点の位置を内包するものであれば足り、例えば指定された自由始点位置の直近ではない4つの撮像部(例えば、撮像部101、103、107、109)で撮像された視点画像を参照画像群に設定してもよい。 Furthermore, sufficient as long as it encloses the position of the specified free viewpoint, captured by, for example, not the last given free starting position four of the imaging unit (e.g., the imaging unit 101,103,107,109) viewpoint images may be set in the reference image group to.

ステップ1103において、自由視点画像生成部403は、設定された参照画像群に対して、1の代表画像と1以上の補助画像を設定する処理を行う。 In step 1103, the free viewpoint image generation unit 403 performs with respect to the reference image group is set, a process of setting a representative image and one or more auxiliary image. 本実施例では、参照画像群のうち、指定された自由視点の位置に最も近い視点画像を代表画像とし、その他の視点画像を補助画像として設定する。 In this embodiment, among the reference images, closest viewpoint image to the position of the specified free viewpoint as a representative image, sets the other viewpoint image as an auxiliary image. 例えば、自由視点の位置として座標(0.2、0.2)が指定され、撮像部101、102、104、105で撮像された4つの視点画像からなる参照画像群が設定されたとする。 For example, the coordinates (0.2, 0.2) as the position of the free viewpoint is designated, a reference image group composed of four viewpoint images imaged by the imaging unit 101, 102, 104, 105 is set. この場合、指定された自由視点の位置(0.2、0.2)に最も近い撮像部105で撮像された視点画像が代表画像に設定され、撮像部101、102、104で撮像された各視点画像が補助画像に設定される。 In this case, each viewpoint image captured by the image capturing section 105 closest to the position of the specified free viewpoint (0.2, 0.2) is set to the representative image, taken by the imaging unit 101, 102, 104 viewpoint image is set in the auxiliary image. もちろん、代表画像の決定方法はこれに限るものではなく、各撮像部の配置等に応じて、例えばカメラ中心により近い撮像部で撮像された視点画像を代表画像にするなど、他の方法を用いても構わない。 Of course, the method of determining the representative image is not limited to this, depending on the arrangement of the imaging unit, for example, the viewpoint image captured in the near imaging unit by the camera center such as the representative image, using other methods and it may be.

ステップ1104において、自由視点画像生成部403は、代表画像の主層の3次元モデルを生成する処理を行う。 In step 1104, the free viewpoint image generation unit 403 performs processing to generate a three-dimensional model of the main layer of the representative image. 主層の3次元モデルは、オブジェクト境界に掛かっていない通常画素を含む4つの画素を相互に接続して四辺形メッシュを構築することにより生成する。 3-dimensional model of the main layer is produced by constructing a quadrilateral mesh by connecting four pixels including a normal pixel which is not applied to the object boundary to each other. 図12は、代表画像の主層の3次元モデル生成の様子を説明する図である。 Figure 12 is a diagram for explaining a state of a three-dimensional model generated in the main layer of the representative image. 図12において例えば、いずれもオブジェクト境界1001に掛かってない通常画素を含む4つの画素(2つの通常画素1003、1201及び2つの境界画素1202、1203)を接続して四辺形メッシュ1204が構築される。 12 For example, both quadrilateral mesh 1204 connecting four pixels (two normal pixels 1003,1201 and two boundary pixels 1202, 1203) comprising a normal pixel which is not applied to the object boundary 1001 is constructed . このような処理を繰り返し行い、主層の3次元モデルとなるすべての四辺形メッシュが構築される。 Repeated such a process, all quadrilateral mesh of a three-dimensional model of the main layer is constructed. このときの四辺形メッシュの大きさは最小で1画素×1画素である。 The size of the quadrilateral mesh at this time is 1 pixel × 1 pixel at a minimum. 本実施例では、主層は全て1画素×1画素の大きさの四辺形メッシュで構築しているが、より大きな四辺形メッシュとしてもよい。 In this embodiment, the main layer is being constructed in quadrilateral meshes all 1 pixels × 1 pixel in size, may be more as a large quadrilateral mesh. または、四辺形以外の形状、例えば三角形のメッシュを構築するようにしても構わない。 Or, it may be constructed shape other than quadrilateral, for example, a triangular mesh.

上記のようにして構築される、1画素単位の四辺形メッシュのX座標とY座標は撮像装置100のカメラパラメータから算出されたグローバル座標が相当し、Z座標は距離情報から得られる各画素における被写体までの距離が相当する。 Is constructed as described above, in each pixel 1 X and Y coordinates of the quadrilateral meshes in units of pixels corresponds global coordinates calculated from camera parameters of the imaging apparatus 100, resulting from the Z-coordinate is distance information the distance to the subject corresponds. そして、各画素の色情報を四辺形メッシュにテクスチャマッピングして、主層の3次元モデルを生成する。 Then, the color information of each pixel in a texture mapped quadrilateral mesh, to produce a three-dimensional model of the main layer.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1105において、自由視点画像生成部403は、代表画像の主層を補助画像の視点位置でレンダリングする。 In step 1105, the free viewpoint image generation unit 403 renders the main layer of the representative image in the viewpoint position of the auxiliary image. 図13は、代表画像の主層のレンダリングの様子を説明する図である。 Figure 13 is a diagram for explaining a state of rendering the main layer of the representative image. 横軸にX座標、縦軸にZ座標を取っている。 X-coordinate on the horizontal axis, taking the Z-coordinate on the vertical axis. 図13において、線分1301及び1302は、代表画像の視点位置である基準視点(白塗りの逆三角1303)から3次元モデル生成した場合における主層の四辺形メッシュをそれぞれ示している。 13, line segments 1301 and 1302, it shows a quadrilateral mesh of the main layer in the case where three-dimensional model generated from the reference viewpoint is a viewpoint position of the representative image (inverted triangle 1303 white solid) respectively. ここでは、境界画素1304と境界画素1305との間にオブジェクト境界(不図示)が存在するものとする。 Here, it is assumed that there object boundary (not shown) between the boundary pixel 1304 and the boundary pixel 1305. 主層として、通常画素1306と境界画素1304とを接続した四辺形メッシュ1301、及び、通常画素1307と境界画素1305とを接続した四辺形メッシュ1302が3次元モデル生成されている。 The main layer, quadrilateral mesh 1301 connects the normal pixel 1306 and the boundary pixel 1304, and, quadrilateral mesh 1302 normally connects the pixel 1307 and the boundary pixel 1305 is a three-dimensional model generation. このような四辺形メッシュ1301及び1302を、補助画像の視点位置である対象視点(黒塗りの逆三角形1308)でレンダリングした画像がレンダリング画像となる。 Such quadrilateral meshes 1301 and 1302, the image rendered in the target viewpoint is a viewpoint position of the auxiliary image (inverted triangle 1308 black) is rendered image. レンダリング処理において、色が存在しない画素部分は、穴として残ることになる。 In rendering, the pixel portion in which the color is not present, will remain as a hole. 図13において、矢印1309/1310は、四辺形メッシュ1302が、基準視点1303/対象視点1308でどの位置から見えるかを示している。 13, arrows 1309/1310 is quadrilateral mesh 1302, indicates how visible from which position in the reference viewpoint 1303 / target viewpoint 1308. 基準視点1303より左側にある対象視点1308では、四辺形メッシュ1302は、基準視点1303より右側に位置する。 In the target viewpoint 1308 is the reference viewpoint 1303 on the left side, quadrilateral mesh 1302 is located on the right side of the reference viewpoint 1303. 矢印1311/1312も同様に、四辺形メッシュ1301が、基準視点1303/対象視点1308でどの位置から見えるかを示している。 Similarly arrows 1311/1312, quadrilateral mesh 1301, indicates how visible from which position in the reference viewpoint 1303 / target viewpoint 1308.

図14は、代表画像の主層を補助画像の視点位置でレンダリングしたときの一例を示した図である。 Figure 14 is a diagram showing an example of when rendered the main layer of the representative image in the viewpoint position of the auxiliary image. ここでは、撮像部105で撮像された視点画像を代表画像とし、撮像部104で撮像された視点画像を補助画像とした場合のレンダリング結果を示す。 Here, a rendered result of the case where a representative image viewpoint images taken by the imaging unit 105, and the viewpoint image captured by the imaging unit 104 and the auxiliary image. 図14の(a)は代表画像(撮像部105で撮像)、同(b)は補助画像(撮像部104で撮像)をそれぞれ示している。 Of FIG. 14 (a) (image pickup unit 105) the representative image, the (b) shows supplementary images (captured by the imaging unit 104), respectively. 撮像部105と撮像部104によってオブジェクト1401が撮像されているが、撮像部105で撮像された視点画像では右側に、撮像部104で撮像された視点画像では左側にオブジェクト1401が写っているのが分かる。 Although the object 1401 by the imaging unit 105 and the imaging unit 104 is captured, to the right in the captured view image by the imaging unit 105, that the captured view image by the imaging unit 104 is reflected the object 1401 on the left It can be seen. 図14の(c)は、代表画像における主層と境界層を表しており、斜線で示された領域1402が主層であり、黒の太線で示された領域1403が境界層である。 (C) in FIG. 14 represents the main layer and boundary layer in the representative image, an area 1402 indicated by hatching is the main layer, region 1403 indicated by a black thick line is a boundary layer. 図14の(d)は、図14の(c)において斜線で示された領域1402、すなわち、代表画像の主層を、補助画像の視点位置でレンダリングした結果を示している。 FIG. 14 (d), a region 1402 shown by oblique lines in FIG. 14 (c), that is, the results of the main layer of the representative image, rendered in the viewpoint position of the auxiliary image. 代表画像の境界層がレンダリングされないことから境界領域1403が穴として残り、また、代表画像の視点位置で撮像されていないオクルージョン領域1404も穴として残ることが分かる。 The remaining boundary region 1403 as well since the boundary layer of the representative image is not rendered, also you can be seen that the left as well bore occlusion region 1404 that is not captured at the viewpoint position of the representative image. すなわち、図14の(d)では、代表画像の主層を補助画像の視点位置でレンダリングすることにより、境界領域1403及びオクルージョン領域1404が穴として残る。 That is, in FIG. 14 (d), by rendering the main layer of the representative image in the viewpoint position of the auxiliary image, border region 1403 and the occlusion region 1404 remains as well.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1106において、自由視点画像生成部403は、補助画像の補助主層を生成する。 In step 1106, the free viewpoint image generation unit 403 generates an auxiliary main layer of the auxiliary image. ここで、補助主層とは、補助画像における主層と、ステップ1105で得られたレンダリング画像(代表画像の主層を補助画像の視点位置でレンダリングした画像)との差分に相当する。 Here, the auxiliary main layer, corresponding to the difference between the main layer in the auxiliary image, a rendering image obtained in step 1105 (the main layer an image rendered in the viewpoint position of the auxiliary image of the representative image). 図15は、補助主層生成の様子を説明する図である。 Figure 15 is a diagram for explaining a state of the auxiliary main layer produced. ここでも、撮像部105で撮像された視点画像を代表画像とし、撮像部104で撮像された視点画像を補助画像とする。 Again, a representative image viewpoint images taken by the imaging unit 105, a viewpoint image captured by the imaging unit 104 and the auxiliary image. 図15の(a)は、補助画像における境界層と主層を表しており、図14の(c)と同様、斜線で示された領域1501が主層であり、黒の太線で示された領域1502が境界層である。 (A) in FIG. 15 represents the boundary layer and the main layer in the auxiliary image, similar to (c) of FIG. 14, region 1501 indicated by hatching is the main layer, indicated by the black bold line region 1502 is a boundary layer. ここで、図14の(d)で示されたように、代表画像の主層を補助画像の視点位置でレンダリングした画像では、境界領域1403及びオクルージョン領域1404が穴として残っていた。 Here, as shown in FIG. 14 (d), the rendered image of the main layer of the representative image in the viewpoint position of the auxiliary image, border region 1403 and the occlusion region 1404 were left as well. その結果、図15の(a)における斜線領域1501と図14の(d)における斜線領域1402との差分に相当する領域1503(図14の(d)におけるオクルージョン領域1404)が、補助画像の補助主層となる。 Aid of a result, the area 1503 corresponding to the difference between the shaded region 1402 (occlusion region 1404 in FIG. 14 (d)) in (d) of the shaded area 1501 and 14 in (a) of FIG. 15, the auxiliary image the main layer. このように本実施例では、補助主層の生成に視点画像の構造情報のみを利用し、色情報は利用していない。 Thus, in this embodiment, only by using the structural information of the viewpoint image for the generation of auxiliary main layer, the color information is not used. そのため、色情報のレンダリングを省略でき、結果的に計算量を削減することができる。 Therefore, it can be omitted rendering color information, it is possible to eventually reduce the calculation amount.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1107において、自由視点画像生成部403は、補助画像の補助主層の3次元モデルを生成する処理を行う。 In step 1107, the free viewpoint image generation unit 403 performs processing to generate a three-dimensional model of the auxiliary main layer of the auxiliary image. 補助主層の3次元モデルは、ステップ1104で説明した代表画像の主層の3次元モデルと同様の処理で生成される。 Three-dimensional model of the auxiliary main layer is produced by the same process as the three-dimensional model of the main layer of the representative image as described in step 1104. ここでは、補助主層として設定された画素を通常画素、その他の画素を境界画素として扱う。 Here, it deals with pixels set as the auxiliary main layer normal pixel, the other pixels as boundary pixels. 補助主層の3次元モデルは、オブジェクト境界に掛かっていない通常画素を含む4つの画素を相互に接続して四辺形メッシュを構築することにより生成する。 Three-dimensional model of the auxiliary main layer is produced by the build quadrilateral mesh by connecting four pixels including a normal pixel which is not applied to the object boundary to each other. その他の処理はステップ1104と同様のため、ここでの説明は省略する。 For similar other processing to a step 1104, a description thereof will be omitted. 代表画像の主層の3次元モデリングに比べ、補助画像の補助主層の3次元モデリングは、通常画素として処理する画素数が少ないため、3次元モデル生成に要する計算量は少なくて済む。 Compared to the three-dimensional modeling of the main layer of the representative image, 3-dimensional modeling of the auxiliary main layer of the auxiliary image, since a small number of pixels to be processed as a normal pixel, the calculation amount required for the three-dimensional model generated fewer.

ステップ1108において、自由視点画像生成部403は、代表画像の主層を自由視点位置でレンダリングする。 In step 1108, the free viewpoint image generation unit 403 renders the free viewpoint position of the main layer of the representative image. 代表画像の主層の3次元モデルを、ステップ1105では補助画像の視点位置でレンダリングしたが、本ステップでは、ステップ1101で取得した自由視点位置でレンダリングする。 A three-dimensional model of the main layer of the representative image has been rendered in the viewpoint position of the auxiliary image step 1105, in this step, rendering the free viewpoint position acquired in step 1101. これは、図13において、基準視点1303が代表画像の視点位置を指し、対象視点1308が自由視点位置を指すことを意味する。 This is 13, reference viewpoint 1303 points to the viewpoint position of the representative image, the subject Shiten 1308 meant to refer to a free viewpoint position. その他の処理はステップ1105と同様のため、ここでの説明は省略する。 For similar other processing to a step 1105, a description thereof will be omitted.

ステップ1109において、自由視点画像生成部403は、補助画像の補助主層を自由視点位置でレンダリングする。 In step 1109, the free viewpoint image generation unit 403 renders the auxiliary main layer of the auxiliary image at the free viewpoint position. すなわち、ステップ1107で生成した補助画像の補助主層の3次元モデルを、ステップ1101で取得した自由視点位置でレンダリングする。 That is, a three-dimensional model of the auxiliary main layer of the auxiliary image generated in step 1107 to render a free viewpoint position acquired in step 1101. これは、図13において、基準視点1303が補助画像の視点位置を指し、対象視点1308が自由視点位置を指すことを意味する。 This is 13, the reference viewpoint 1303 points to the viewpoint position of the auxiliary image, target viewpoint 1308 is meant to refer to free viewpoint position. その他の処理はステップ1105と同様のため、ここでの説明は省略する。 For similar other processing to a step 1105, a description thereof will be omitted.

ここまでで自由視点画像合成に必要な画像生成を行ったが、計算負荷の大きい処理を整理すると以下のようになる。 It was subjected to image generation necessary for free-viewpoint images synthesized so far is as follows organizing large processing computational load.
・代表画像の主層の3次元モデル生成(ステップ1104) 3-D model generation of the main layer of the representative image (step 1104)
・補助画像の補助主層の3次元モデル生成(ステップ1107) 3-D model generation of the auxiliary main layer of the auxiliary image (step 1107)
・代表画像の主層を補助画像の視点位置でレンダリング(ステップ1105) Rendering the main layer of the representative image in the viewpoint position of the auxiliary image (step 1105)
・代表画像の主層を自由視点位置でレンダリング(ステップ1108) Rendering a free viewpoint position of the main layer of the representative image (step 1108)
・補助画像の補助主層を自由視点位置でレンダリング(ステップ1109) Rendering a free viewpoint position auxiliary main layer of the auxiliary image (step 1109)

ステップ1104及び1107における3次元モデル生成について言えば、補助画像の補助主層の画素数が代表画像の主層の画素数よりも少ないため、複数の参照画像において共に主層を利用する場合と比べて計算量を大幅に削減できる。 As for the three-dimensional model generated in step 1104 and 1107, since the number of pixels auxiliary main layer of the auxiliary image is smaller than the number of pixels in the main layer of the representative image, compared to a case where both utilize the main layer in the plurality of reference images It can greatly reduce the amount of calculation Te.

また、ステップ1105、1108及び1109におけるレンダリング処理を、例えばGPU(画像処理専用の演算装置)を用いて行うなど、3次元モデル生成に対してレンダリング処理を高速化できれば、本発明の効果はより大きくなる。 Further, the rendering processing in step 1105,1108 and 1109, for example, performed using a GPU (dedicated for image processing arithmetic unit), if speed rendering processing with respect to the three-dimensional model generation, the effect of the present invention is greater Become.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1110において、自由視点画像生成部403は、自由視点位置でなされた2つのレンダリング結果(代表画像の主層のレンダリング結果と補助画像の補助主層のレンダリング結果)を統合して、主層と補助主層の統合画像データを生成する。 In step 1110, the free viewpoint image generating unit 403 integrates the free viewpoint position made the two rendering result (rendering result of the auxiliary main layer of the main layer of the rendering result and auxiliary image of the representative image), and a main layer generating the integrated image data of the auxiliary main layer. 本実施例の場合、代表画像の主層をレンダリングした1つのレンダリング画像と、補助画像の補助主層をレンダリングした3つのレンダリング画像とが統合されることになる。 In this embodiment, so that one of the rendered image that renders the main layer of the representative image, and three rendering images rendered auxiliary main layer of the auxiliary image are integrated. 以下、統合処理について説明する。 The following describes the integration process.

まず、統合処理は、画素毎に行われる。 First, integration processing is performed for each pixel. そして、統合後の色は、様々な手法によって取得し得るが、ここでは各レンダリング画像の重み付き平均、具体的には、指定された自由視点の位置と参照画像との距離に基づく重み付き平均を用いる場合について説明する。 The color after integration, but may be obtained by various techniques, wherein the weighted average of the rendered image, specifically, the weighted average based on the distance between the reference image and the position of the specified free viewpoint description will be given of a case where used. 例えば、指定された自由始点位置が、参照画像群を構成する各視点画像に対応する4つの撮像部から等距離だけ離れた位置であった場合には、0.25ずつの等しい重みとなる。 For example, given a free start position, when four of the imaging unit corresponding to each viewpoint images constituting the reference image group was a position apart equidistantly becomes equal weights by 0.25. 指定された自由始点位置が、いずれかの撮像部に近寄った位置であった場合には、その距離が近いほど大きい重みとなる。 It is given free starting position, if there was a position closer to one of the imaging unit, a large weight as the distance is closer. この際、各レンダリング画像で穴が空いている箇所は、統合の色計算には用いない。 At this time, part where a hole in the rendered image is not used for calculating the color integration. つまり穴が空いていないレンダリング画像からの重み付き平均によって統合後の色は計算される。 That color after integration by the weighted average of the rendered image which is not a hole is calculated. 全てのレンダリング画像で穴が空いている箇所は穴として残ることになる。 Places where a hole in all rendered image will remain as well. 図16を用いて、この統合処理の様子を説明する。 With reference to FIG. 16, for explaining the manner of this integration process. ただし、説明の簡易化のために、代表画像を撮像部105で撮像された視点画像、補助画像を撮像部104で撮像された1の視点画像とする。 However, for simplicity of explanation, the captured view image representative image by the imaging unit 105, the first viewpoint image captured the auxiliary image by the imaging section 104. そして、自由視点位置は、撮像部105と撮像部104との中間視点とする。 The free viewpoint position, an intermediate viewpoint between the imaging unit 105 and the imaging unit 104. 図16の(a)では代表画像の主層が、同(b)では補助画像の補助主層が、それぞれ斜線によって表されている。 The main layer of (a) the representative image of FIG. 16, the auxiliary main layer of the (b) in the auxiliary image are respectively represented by hatched. 図16の(a)に示された代表画像の主層を中間視点でレンダリングした結果を表わしているのが図16の(c)であり、網掛けで示される領域1601が主層からのレンダリング領域である。 Figure 16 of the main layer of the representative image shown in (a) of shows the result of rendering the intermediate viewpoint is (c) of FIG. 16, the rendering of the region 1601 is a main layer represented by hatching it is a region. 境界領域1602及びオクルージョン領域1603は穴として残っている。 Boundary region 1602 and an occlusion region 1603 remains as well. そして、図16の(b)に示された補助画像の補助主層を中間視点でレンダリングした結果を表しているのが図16(d)であり、網掛けで示される領域1604が補助主層からのレンダリング領域である。 Then, a that represents the result of rendering the auxiliary main layer of the indicated auxiliary image in (b) of FIG. 16 in the intermediate-viewpoint FIG. 16 (d), the region 1604 indicated by hatching is the auxiliary main layer it is a rendering area from. 境界領域1605とその他の領域1606は穴として残っている。 Other regions 1606 and the border region 1605 remains as well. 図16の(c)を見ると、撮像部105の視点画像におけるオブジェクトよりも左側に(図16の(a)参照)、撮像部104の視点画像におけるオブジェクトよりも右側に(図16の(b)参照)オブジェクトが位置しているのが分かる。 Looking at (c) in FIG. 16, on the left side of the object at the viewpoint image of the imaging unit 105 (see (a) of FIG. 16), than the object at the viewpoint image of the imaging unit 104 on the right side (in FIG. 16 (b ) it is seen that the reference) object is located. そして、図16の(c)では、オブジェクトの右側にオクルージョン領域1603が残っていることが分かる。 Then, in (c) of FIG. 16, it can be seen that there remains a occlusion region 1603 on the right side of the object. 一方、図16の(d)では、図16の(c)におけるオクルージョン領域1603に相当する領域1604が、補助主層からのレンダリング領域となっていることが分かる。 On the other hand, in (d) of FIG. 16, it can be seen that the area 1604 corresponding to the occlusion region 1603 in FIG. 16 (c) has become a rendering region of the auxiliary main layer. このように、補助画像の補助主層をレンダリングした結果、代表画像の主層のレンダリング画像において欠落している部分を補うようなレンダリング領域が得られる。 Thus, a result of rendering the auxiliary main layer of the auxiliary image, rendering regions to compensate for the portions missing in the rendered image of the main layer of the representative image is obtained. このような相互補完の関係にある2つのレンダリング画像(代表画像の主層のレンダリング画像と補助画像の補助主層のレンダリング画像)を統合することで、穴のない画像(図16の(e)参照)が得られることになる。 Two rendering image in a relationship such complementary By integrating (representative images of the rendered image of the auxiliary main layer of the main layer of the rendered image and the auxiliary image), no holes image (in FIG. 16 (e) so that the reference) is obtained. ここでは、説明の便宜上2つの視点画像での中間視点画像を生成しているため、色計算の重みはそれぞれ0.5となる。 Here, since the generated intermediate viewpoint image for convenience two viewpoint images description, the weight of the color calculation is 0.5, respectively. そして、統合された画像における各画素の色は、共に穴が空いていない箇所については、両レンダリング画像の平均色となる。 The color of each pixel in the integrated image, for a portion where no vacant both holes, the average color of the two rendered images. そして、いずれか一方のレンダリング画像において穴が空いている箇所は、穴が空いていない方のレンダリング画像における画素の色が採用されることになる。 The portion where a hole in one of the rendering image, the color of the pixel in the direction of rendering an image that is not a hole is employed. このようにして、撮像部105の視点画像と撮像部104の視点画像との中間視点の画像が生成される。 In this manner, the image of the intermediate viewpoint and view image of the view image and the imaging unit 104 of the imaging unit 105 are generated. 説明の簡易化のために2つの画像(1つの代表画像と1つの補助画像)のレンダリング結果を統合する場合を例に説明したが、4つの画像(1つの代表画像と3つの補助画像)のレンダリング結果を統合する場合も考え方は同じである。 While when integrating rendering result of the two images for simplification of description (one representative image and one auxiliary image) has been described as an example, four image (one representative image and three auxiliary image) the concept is also If you want to integrate the rendering result is the same. なお、この統合処理で穴が埋まらない部分は、後述する境界層のレンダリング結果の統合処理によって埋められることになる。 Incidentally, the portion not filled holes in the integration process will be filled by the integration processing of rendering result described later boundary layer. 本ステップにおける統合処理では、代表画像の主層のレンダリング結果と、補助画像の補助主層のレンダリング結果との間で重複する領域が少ないため、合成時のボケを抑制できると共に、計算量も削減できる。 In the integration process in this step, the rendering result of the main layer of the representative image, since a small overlap region between the rendering result of the auxiliary main layer of the auxiliary image, along with the blur in the synthesis can be suppressed, also reduced the amount of calculation it can.

このようにして、主層の統合画像データが生成される。 In this way, the integrated image data of the main layer is produced.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1111において、自由視点画像生成部403は、代表画像における境界層及び補助画像における境界層の3Dモデルを生成する。 In step 1111, the free viewpoint image generation unit 403 generates a 3D model of the boundary layer in the boundary layer and the auxiliary image in the representative image. オブジェクト境界に接する境界層では、メッシュ生成時に隣接画素との接続を行わない。 In the boundary layer in contact with the object boundary, not connect with adjacent pixels during mesh generation. 具体的には、1つの画素に対して1つの四辺形メッシュを構築して3次元モデルを生成する。 Specifically, to generate a three-dimensional model to build a single quadrilateral mesh for a single pixel. 図17は、境界層の3次元モデル生成の様子を説明する図である。 Figure 17 is a diagram for explaining a state of a three-dimensional model generation of the boundary layer. 本ステップでは、境界画素1701に対して、1画素×1画素の大きさの四辺形メッシュ1702が構築される。 In this step, the boundary pixel 1701, 1 pixel × 1 pixel size of the quadrilateral mesh 1702 is constructed. このような処理をすべての境界画素に対して繰り返し行い、境界層の3次元モデルとなるすべての四辺形メッシュを構築する。 Repeated such processing for all the boundary pixels, to build all the quadrilateral mesh of a three-dimensional model of the boundary layer. このようにして構築される、1画素単位の四辺形メッシュのX座標とY座標は、撮像装置100のカメラパラメータから算出されたグローバル座標が相当し、Z座標は距離情報から得られる各境界画素における被写体までの距離となる。 In this way, the constructed, 1 X and Y coordinates of the quadrilateral mesh pixel corresponds global coordinates calculated from camera parameters of the imaging apparatus 100, each boundary pixel Z coordinates are obtained from the distance information the distance to the subject in. そして、各境界画素の色情報を四辺形メッシュの色として境界層の3次元モデルを生成する。 Then, to generate a three-dimensional model of the boundary layer color information for each boundary pixel as the color of the quadrilateral mesh.
図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1112において、自由視点画像生成部403は、代表画像における境界及び補助画像における境界層のレンダリングを行う。 In step 1112, the free viewpoint image generation unit 403 performs rendering of the boundary layer in the boundary and the auxiliary image in the representative image. 図18は、境界層のレンダリングの様子を説明する図である。 Figure 18 is a diagram for explaining a state of rendering of the boundary layer. 図13と同様、横軸にX座標、縦軸にZ座標を取っており、境界画素1304と境界画素1305との間にオブジェクト境界(不図示)が存在するものとする。 Similar to FIG. 13, X-coordinate on the horizontal axis and the vertical axis takes the Z coordinate, and those present object boundary (not shown) between the boundary pixel 1304 and the boundary pixel 1305. 図18において、線分1801、1802は、白塗りの逆三角で示される参照視点1303から3次元モデル生成した場合における境界層の四辺形メッシュを示している。 18, line segments 1801 and 1802 shows a quadrilateral mesh of the boundary layer in the case of generating three-dimensional model from the reference viewpoint 1303 represented by inverted triangles whitewashed. そして、境界層1801は境界画素1305の距離情報と色情報を持つ1画素単位の四辺形メッシュであり、境界層1802は境界画素1304の距離情報と色情報を持つ1画素単位の四辺形メッシュである。 Then, the boundary layer 1801 is quadrilateral mesh 1 pixel with distance information and color information of the boundary pixel 1305, the boundary layer 1802 in quadrilateral meshes one pixel having the distance information and color information of the boundary pixels 1304 is there. このような1画素単位の四辺形メッシュ1801、1802を、ステップ1101で指定された自由視点の位置(図18中の黒塗りの逆三角1308)でレンダリングした画像が境界層のレンダリング画像となる。 The quadrilateral mesh 1801 and 1802 in such a unit of one pixel, rendered image is rendered image of the boundary layer at the position of the free viewpoint designated in step 1101 (inverted triangle 1308 black in FIG. 18). なお、境界層のレンダリングの場合も、色が存在しない画素部分は、穴として残ることになる。 Even if the rendering of the boundary layer, a pixel portion where color is not present, will remain as a hole. そして、このようなレンダリング処理を、代表画像と補助画像の双方について行い、境界層のレンダリング画像群を得る。 Then, such a rendering process is performed for both the representative image and the auxiliary image to obtain a rendered image group of the boundary layer. 図18において、矢印1803/1804は、四辺形メッシュ1802が、視点1303/視点1308でどの位置から見えるかを示している。 18, arrows 1803/1804 is quadrilateral mesh 1802, indicates how visible from which position the viewpoint 1303 / viewpoint 1308. 視点1303より左側にある視点1308では、四辺形メッシュ1802は、視点1303より右側に位置するのが分かる。 In viewpoint 1308 is from the viewpoint 1303 on the left side, quadrilateral mesh 1802 is seen to positioned on the right side from the viewpoint 1303.

図11のフローチャートの説明に戻る。 Back to the flowchart of FIG. 11.

ステップ1113において、自由視点画像生成部403は、境界層のレンダリング画像群を統合して、境界層の統合画像データを得る。 In step 1113, the free viewpoint image generating unit 403 integrates the rendered images of the boundary layer, to obtain an integrated image data of the boundary layer. 具体的には、ステップ1110と同様の統合処理によって、4つの視点画像(1つの代表画像と3つの補助画像)それぞれから生成された境界層のレンダリング画像(4つ)が統合される。 Specifically, by the same integration processing step 1110, it has been (four) rendered images of the boundary layer generated from the four viewpoint images (one representative image and three auxiliary image), respectively, are integrated.

ステップ1114において、自由視点画像生成部403は、ステップ1110で得た主層と補助主層の統合画像データと、ステップ1113で得た境界層の統合画像データとを統合して、2層(主層(補助主層を含む)と境界層)の統合画像データを得る。 In step 1114, the free viewpoint image generating unit 403 integrates the integrated image data of the main layer and the auxiliary main layer obtained in step 1110, the integrated image data of the resulting boundary layer in step 1113, two-layer (mainly obtain integrated image data of the layers (including the auxiliary main layer) and the boundary layer). この統合処理も画素毎に行われる。 This integration processing is also performed for each pixel. この際、主層と補助主層の統合画像の方が境界層の統合画像よりも安定的に精度の高い画像が得られることから、主層と補助主層の統合画像を優先して利用する。 In this case, stable than the integrated image of the main layer and it is the boundary layer of the integrated image of the auxiliary main layer since the accurate image is obtained, using preferentially the integrated image of the main layer and the auxiliary main layer . すなわち、主層と補助主層の統合画像に穴が空いていて、境界層の統合画像に穴が空いていないという場合にのみ、境界層の統合画像の色で補完がなされる。 That is, though a hole in the integrated image of the main layer and the auxiliary main layer, only if that is not a hole in the integrated image of the boundary layer, complementing is performed by the color of the integrated image of the boundary layer. 主層と補助主層の統合画像と境界層の統合画像との双方に穴が空いているときは、穴として残ることになる。 When a hole in both the integrated image of the main layer and the auxiliary main layer integrated image and the boundary layer of, will remain as a hole.

なお、本実施例において、主層、補助主層のレンダリング、境界層のレンダリングの順に処理を行うのは、オブジェクト境界付近の画質劣化を抑えるためである。 In the present embodiment, the main layer, rendering the auxiliary main layer, perform processing in the order of rendering the boundary layer is to suppress the image quality degradation in the vicinity of the object boundary.

ステップ1115において、自由視点画像生成部403は、穴埋め処理を行う。 In step 1115, the free viewpoint image generation unit 403 performs filling processing. 具体的には、ステップ1114で得た2層統合画像データにおいて穴として残っている部分を周囲の色を用いて補完する。 Specifically complements the remaining portions as Ana in 2-layer integrated image data obtained in step 1114 by using the color of the surrounding. 本実施例では、穴埋め対象画素に隣接する周辺画素のうち距離情報が奥にある画素を選択して穴埋め処理を行う。 In this embodiment, the filling processing performed distance information of the peripheral pixels adjacent to the filling target pixel is selected pixels in the back. もちろん穴埋めの方法は他の方法を用いても構わない。 Of course the method of filling is may be other methods.

ステップ1116において、自由視点画像生成部403は、穴埋め処理の終わった自由視点画像データを、エンコーダ部210に出力する。 In step 1116, the free viewpoint image generation unit 403, a free-viewpoint image data has ended the filling process, and outputs to the encoder unit 210. エンコーダ部210では、任意の符号化方式(例えばJPEG方式)で符号化して画像出力される。 The encoder unit 210, an image is output by coding an arbitrary coding scheme (e.g., JPEG format).

本実施例によれば、複数視点画像データにおける各視点間の撮像画像を高精度、かつ、高速に合成することが可能となり、撮像した画像とは視点数の異なるディスプレイにおける違和感のない表示、リフォーカス処理など画像処理の高画質化、などを実現できる。 According to this embodiment, high-precision sensed image between the viewpoint in multi-viewpoint image data, and it is possible to synthesize a high speed, display without discomfort in different displays of the number of viewpoints is a captured image, Li quality of image processing, and the like can be realized a focus process.

実施例1では、補助主層の生成に、代表画像の主層を補助画像の視点位置でレンダリングしたときに穴が空いた領域の情報を利用した。 In Example 1, the generation of the auxiliary main layer, hole using information of empty areas when rendered the main layer of the representative image in the viewpoint position of the auxiliary image. つまり構造情報のみで補助主層を生成していた。 That was generated only in the auxiliary main layer structure information. 次に、補助主層の生成に、構造情報に加えて色情報を利用することで、より高い画質を実現する態様について、実施例2として説明する。 Next, the generation of the auxiliary main layer, by using the color information in addition to the structure information, the manner of realizing a higher image quality, will be described as a second embodiment. なお、実施例1と共通する部分(距離情報推定部401、分離情報生成部402における処理)については説明を省略し、ここでは差異点である自由視点画像生成部403における処理を中心に説明することとする。 Incidentally, parts common to the first embodiment is omitted the description of (distance information estimation unit 401, the processing in the separation information generation unit 402), will be described here mainly a process in a free-viewpoint image generation unit 403 is the difference point it is assumed that.

本実施例では、自由視点画像生成処理における補助主層の生成処理において、構造情報に加えて色情報を利用する点が異なるのみである。 In this embodiment, in the process of generating the auxiliary main layer in the free viewpoint image generation processing, that utilizes the color information in addition to the structure information is different only. そこで、前述の図11のフローチャートに沿って本実施例に特有な点を中心に説明する。 Therefore, it will mainly be described peculiar to the present embodiment in accordance with the flowchart of FIG. 11 described above.

ステップ1101における自由視点の位置情報の取得、ステップ1102における参照する画像群の設定、ステップ1103における代表画像と補助画像の設定は、実施例1と同様である。 Acquiring location information of the free viewpoint in step 1101, setting of the image group that refers at step 1102, setting the representative image and an auxiliary image in step 1103, the same as in Example 1. また、ステップ1104における代表画像の主層の3Dモデルを生成する処理、ステップ1105における代表画像の主層を補助画像の視点位置でレンダリングする処理も、実施例1と同様である。 The processing of generating a 3D model of the main layer of the representative image in step 1104, the process of rendering the main layer of the representative image in step 1105 at the viewpoint position of the auxiliary image is also the same as in Example 1.

ステップ1106において、自由視点画像生成部403は、補助画像の補助主層を、色情報を用いて生成する。 In step 1106, the free viewpoint image generation unit 403, the auxiliary main layer of the auxiliary image is generated by using the color information. 具体的には、以下のとおりである。 Specifically, as follows.

実施例1の場合と同様、撮像部105で撮像された視点画像を代表画像とし、撮像部104で撮像された視点画像を補助画像とする。 As in Example 1, as a representative image viewpoint images taken by the imaging unit 105, a viewpoint image captured by the imaging unit 104 and the auxiliary image. 本ステップでは、補助画像の境界層と主層を示す情報(図15の(a)参照)、及び代表画像の主層を補助画像の視点位置でレンダリングしたレンダリング画像の情報(図14の(d)参照)から補助画像の補助主層を生成する。 In this step, information indicating the boundary layer and the main layer of the auxiliary image (see (a) of FIG. 15), and the rendered image that renders the main layer of the representative image in the viewpoint position of the auxiliary image information (in FIG. 14 (d ) to generate the auxiliary main layer of the auxiliary image from the reference).

まず、実施例1と同様、構造情報を基に補助主層を決定する。 First, as in Example 1, to determine the auxiliary main layer based on structural information. この段階では、オクルージョン領域1503(図15の(b)参照)が補助主層として決定される。 At this stage, (see (b) of FIG. 15) the occlusion region 1503 is determined as the auxiliary main layer. 続いて、色情報を基に最終的な補助主層を決定する。 Then, to determine the final auxiliary main layer based on the color information. すなわち、代表画像の主層を補助画像の視点位置でレンダリングして得られたレンダリング画像の色情報と補助画像における主層の色情報との差分を取り、当該差分の値が所定の閾値以上となる領域を、さらに補助主層として決定する。 That is, taking the difference between the color information of the main layer in the color information and the auxiliary image rendering image obtained by rendering the main layer of the representative image in the viewpoint position of the auxiliary image, the value of the difference is greater than a predetermined threshold value and the a region further determines as the auxiliary main layer. 所定の閾値としては、例えば、RGBの各色が0〜255で色情報が表される場合であれば10といった任意の値である。 The predetermined threshold value, for example, an arbitrary value such as 10 in the case where each color of the RGB color information is represented by 0 to 255. これにより、色情報の差分値が閾値以上となるような色変化のある領域が、補助主層に追加されることになる。 Thus, the region where the difference value of the color information of the color change as the threshold or more, will be appended that the auxiliary main layer. 図19は、本実施例に係る補助主層の一例を示す図である。 Figure 19 is a diagram showing an example of the auxiliary main layer according to the present embodiment. オクルージョン領域1503に相当する領域に加えて、2つの領域1901が補助主層として決定されているのが分かる。 In addition to the region corresponding to the occlusion region 1503, it can be seen the two areas 1901 is determined as the auxiliary main layer.

このように、本実施例では、補助画像における補助主層の生成に、構造情報だけでなく色情報も利用される。 Thus, in this embodiment, the generation of the auxiliary main layer in the auxiliary image, it is also used color information not only structural information.

以降の処理(ステップ1107からステップ1116)は、実施例1と同様であるため、ここでの説明は省略する。 Subsequent processing (from step 1107 step 1116) is the same as in Example 1, and description thereof is omitted here.

本実施例によれば、補助画像の補助主層の生成に、構造情報に加えて色情報を利用することで、代表画像の主層のみのレンダリングでは表現できない色変化のある領域に対して、補助画像の補助主層からもレンダリングして合成処理を行う。 According to this embodiment, the generation of the auxiliary main layer of the auxiliary image, by using the color information in addition to the structure information, relative area of ​​color change can not be expressed by rendering only the main layer of the representative image, It performs rendering to the synthesis processing from the auxiliary main layer of the auxiliary image. これにより、より高い画質を実現することが可能となる。 Thus, it is possible to achieve higher image quality.

(その他の実施形態) (Other embodiments)
また、本発明の目的は、以下の処理を実行することによっても達成される。 Another object of the present invention can also be realized by a computer of a system or apparatus. 即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。 That is, a storage medium storing software program codes for realizing the functions of the above-described embodiments, to a system or apparatus, the system or apparatus (or CPU or MPU) is stored in a storage medium program it is a process of reading the code. この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above described embodiment, the storage medium storing the program code and the program code constitute the present invention.

Claims (7)

  1. 複数の視点から撮像された複数視点画像の中から、1の代表画像及び当該代表画像とは視点の異なる1以上の補助画像を設定する設定手段と、 From among the plurality of viewpoints images captured from a plurality of viewpoints, and setting means for setting one or more auxiliary images with different viewpoints to the first representative image and the representative image,
    設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成手段とを備え、 Using said auxiliary image and set the representative image, a synthesizing means for generating a composite image in a free viewpoint position,
    前記合成手段は、 It said synthesizing means,
    前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合し、 The integrated rendering image of the main layer exhibiting other than the boundary of an object in the representative image, and a rendered image of the auxiliary main layer of the auxiliary image said from the perspective of the representative images including at least an occlusion region that is not captured,
    前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合する、統合手段を含み、 Integrating a rendered image of the boundary layer showing the boundary of an object in the representative image, and a rendered image of the boundary layer showing the boundary of an object in said auxiliary image comprises integration means,
    前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像との統合は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像との統合よりも後に行われる ことを特徴とする画像処理装置。 And rendering an image of the boundary layer showing the boundary of an object in the representative image, integration of a rendering image of the boundary layer showing the boundary of objects in the auxiliary image, the rendered image of the main layer exhibiting other than the boundary of the object in the representative image If, from the perspective of the representative image is an image processing apparatus characterized by being performed after the integration of the rendered image of the auxiliary main layer of the auxiliary image including at least an occlusion region that is not captured.
  2. 前記合成手段は、前記代表画像におけるオブジェクトの境界以外を示す主層を前記補助画像の視点でレンダリングし、得られたレンダリング画像と前記補助画像におけるオブジェクトの境界以外を示す主層との差分を取ることにより前記代表画像の視点からは撮像されないオクルージョン領域となる領域を取得して、前記補助主層を生成する補助主層生成手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。 Said combining means, renders the main layer exhibiting other than the boundary of the object in the representative image from the perspective of the auxiliary image, a difference between the main layer exhibiting other than the boundary of an object in the resulting rendered image the auxiliary picture wherein from the perspective of the representative image to obtain a region to be the occlusion region that is not captured by the image processing apparatus according to claim 1, further comprising an auxiliary main layer generating means for generating the auxiliary main layer .
  3. 前記補助主層生成手段は、さらに、前記代表画像の前記主層を前記補助画像の視点でレンダリングして得られたレンダリング画像の色情報と前記補助画像における前記主層の色情報との差分を取り、当該差分が閾値以上となる領域を前記補助主層に追加することを特徴とする請求項2に記載の画像処理装置。 The auxiliary main layer generating unit may further generate a difference between the color information of the main layer in the main layer of said color information for rendering obtained was rendered images from the perspective of the auxiliary image auxiliary image of the representative image taken, the image processing apparatus according to claim 2, characterized by adding an area where the difference is equal to or larger than the threshold value to the auxiliary main layer.
  4. 前記主層及び前記境界層は、画像の距離情報を用いて分離されることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 The main layer and the boundary layer, the image processing apparatus according to any one of claims 1 to 3, characterized in that it is separated using the distance information of the image.
  5. 前記主層及び前記境界層は、画像の色情報を用いて分離されることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 The main layer and the boundary layer, the image processing apparatus according to any one of claims 1 to 3, characterized in that it is separated using a color information of an image.
  6. 複数の視点から撮像された複数視点画像の中から、1の代表画像及び当該代表画像とは視点の異なる1以上の補助画像を設定する設定ステップと、 From among the plurality of viewpoints images captured from a plurality of viewpoints, a setting step of setting one or more auxiliary images with different viewpoints to the first representative image and the representative image,
    設定された前記代表画像と前記補助画像とを用いて、自由視点位置での合成画像を生成する合成ステップと、 Using said auxiliary image and set the representative image, a synthesizing step of generating a composite image in a free viewpoint position,
    を含み、 It includes,
    前記合成ステップは、 The synthesis step,
    前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像とを統合し、 The integrated rendering image of the main layer exhibiting other than the boundary of an object in the representative image, and a rendered image of the auxiliary main layer of the auxiliary image said from the perspective of the representative images including at least an occlusion region that is not captured,
    前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像とを統合する、統合ステップを含み、 Integrating a rendered image of the boundary layer showing the boundary of an object in the representative image, and a rendered image of the boundary layer showing the boundary of an object in said auxiliary image comprises integration step,
    前記代表画像におけるオブジェクトの境界を示す境界層のレンダリング画像と、前記補助画像におけるオブジェクトの境界を示す境界層のレンダリング画像との統合は、前記代表画像におけるオブジェクトの境界以外を示す主層のレンダリング画像と、前記代表画像の視点からは撮像されないオクルージョン領域を少なくとも含む前記補助画像の補助主層のレンダリング画像との統合よりも後に行われる ことを特徴とする画像処理方法。 And rendering an image of the boundary layer showing the boundary of an object in the representative image, integration of a rendering image of the boundary layer showing the boundary of objects in the auxiliary image, the rendered image of the main layer exhibiting other than the boundary of the object in the representative image When the image processing method characterized by performed after the integration of the rendered image of the auxiliary main layer of the auxiliary image from the perspective of the representative image including at least an occlusion region that is not captured.
  7. コンピュータを、請求項1乃至5のいずれか1項に記載の画像処理装置として機能させるためのプログラム。 Program for causing a computer to function as the image processing apparatus according to any one of claims 1 to 5.
JP2012201478A 2012-09-13 2012-09-13 Image processing apparatus and method Active JP6021541B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012201478A JP6021541B2 (en) 2012-09-13 2012-09-13 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012201478A JP6021541B2 (en) 2012-09-13 2012-09-13 Image processing apparatus and method
US14/017,848 US20140071131A1 (en) 2012-09-13 2013-09-04 Image processing apparatus, image processing method and program

Publications (3)

Publication Number Publication Date
JP2014056466A JP2014056466A (en) 2014-03-27
JP2014056466A5 JP2014056466A5 (en) 2015-09-17
JP6021541B2 true JP6021541B2 (en) 2016-11-09

Family

ID=50232817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012201478A Active JP6021541B2 (en) 2012-09-13 2012-09-13 Image processing apparatus and method

Country Status (2)

Country Link
US (1) US20140071131A1 (en)
JP (1) JP6021541B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5608803B1 (en) * 2013-10-03 2014-10-15 オリンパス株式会社 Imaging device, imaging method and imaging control program
KR20150052924A (en) * 2013-11-06 2015-05-15 삼성전자주식회사 Method and apparatus for processing image
US9319576B2 (en) 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
US9380226B2 (en) * 2014-06-04 2016-06-28 Toshiba America Electronic Components, Inc. System and method for extraction of a dynamic range zone image
KR20160016466A (en) 2014-08-05 2016-02-15 삼성전자주식회사 An imaging sensor capable of detecting phase difference of focus
CN104266673B (en) 2014-09-26 2016-06-08 博奥生物集团有限公司 A method for identifying the camera unit type reaction using
CN104298970B (en) * 2014-09-26 2017-10-27 博奥生物集团有限公司 Camera identification and detection method based on the color feature
JP6494402B2 (en) * 2015-04-30 2019-04-03 キヤノン株式会社 The image processing apparatus, an imaging apparatus, an image processing method, program
US9769419B2 (en) * 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
CN105761240A (en) * 2016-01-18 2016-07-13 盛禾东林(厦门)文创科技有限公司 System for generating 3D model by using cameras to acquire data
WO2018016316A1 (en) * 2016-07-19 2018-01-25 ソニー株式会社 Image processing device, image processing method, program, and telepresence system
US10140728B1 (en) * 2016-08-11 2018-11-27 Citrix Systems, Inc. Encoder with image filtering and associated methods

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0766445B2 (en) * 1988-09-09 1995-07-19 三洋電機株式会社 Image processing method
US6348918B1 (en) * 1998-03-20 2002-02-19 Microsoft Corporation Stereo reconstruction employing a layered approach
US6469710B1 (en) * 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
JP3593466B2 (en) * 1999-01-21 2004-11-24 日本電信電話株式会社 Virtual viewpoint image generation method and apparatus
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
WO2005027038A2 (en) * 2003-09-08 2005-03-24 Honda Motor Co., Ltd. Systems and methods for directly generating a view using a layered approach
US7292735B2 (en) * 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
US7257272B2 (en) * 2004-04-16 2007-08-14 Microsoft Corporation Virtual image generation
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US7720282B2 (en) * 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
US20090167843A1 (en) * 2006-06-08 2009-07-02 Izzat Hekmat Izzat Two pass approach to three dimensional Reconstruction
US8280149B2 (en) * 2007-09-11 2012-10-02 Motorola Solutions, Inc. Method and apparatus to facilitate processing a stereoscopic image using first and second images to facilitate computing a depth/disparity image
JP5575650B2 (en) * 2007-10-11 2014-08-20 コーニンクレッカ フィリップス エヌ ヴェ Method and apparatus for processing a depth map
JP5011168B2 (en) * 2008-03-04 2012-08-29 日本電信電話株式会社 Virtual viewpoint image generation method, the virtual viewpoint image generation apparatus, the virtual viewpoint image generation program and computer-readable recording medium the program
FR2932911A1 (en) * 2008-06-24 2009-12-25 France Telecom Method and device for filling blanking areas of a depth map or disparity estimated from at least two images.
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
CN102239506B (en) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 Intermediate view synthesis and multi-view data signal extraction
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US9648346B2 (en) * 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
JP2011060116A (en) * 2009-09-11 2011-03-24 Fujifilm Corp Image processing apparatus
JP5199992B2 (en) * 2009-12-28 2013-05-15 シャープ株式会社 Image processing apparatus
JP5465128B2 (en) * 2010-08-11 2014-04-09 株式会社トプコン Point group location data processing unit, point group location data processing system, the point group location data processing method, and point cloud position data processing program
KR101676830B1 (en) * 2010-08-16 2016-11-17 삼성전자주식회사 Image processing apparatus and method
US20130163879A1 (en) * 2010-08-30 2013-06-27 Bk-Imaging Ltd. Method and system for extracting three-dimensional information
JP5620200B2 (en) * 2010-09-06 2014-11-05 株式会社トプコン Point group location data processing unit, point group location data processing method, point group location data processing system, and the point group location data processing program
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8666146B1 (en) * 2011-01-18 2014-03-04 Disney Enterprises, Inc. Discontinuous warping for 2D-to-3D conversions
JP2012186781A (en) * 2011-02-18 2012-09-27 Sony Corp Image processing device and image processing method
EP2745517A1 (en) * 2011-08-15 2014-06-25 Telefonaktiebolaget LM Ericsson (PUBL) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
JP5968107B2 (en) * 2011-09-01 2016-08-10 キヤノン株式会社 Image processing method, image processing apparatus and program

Also Published As

Publication number Publication date
JP2014056466A (en) 2014-03-27
US20140071131A1 (en) 2014-03-13

Similar Documents

Publication Publication Date Title
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
RU2551789C2 (en) Selecting viewpoints for generating additional views in 3d video
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US8447141B2 (en) Method and device for generating a depth map
JP6112824B2 (en) Image processing method and apparatus, program.
JP4052331B2 (en) Virtual viewpoint image generation method and the three-dimensional image display method and apparatus
US7689031B2 (en) Video filtering for stereo images
JP5011316B2 (en) Rendering of the output image
JP4440066B2 (en) Stereoscopic image generating program, the stereoscopic image generation system and a stereoscopic image generation method
JP4214976B2 (en) Pseudo 3D image generating apparatus and the pseudo 3D image generating method and a pseudo three-dimensional image display system
JP5654138B2 (en) 3d hybrid reality for the human-machine interface
ES2676055T3 (en) Effective image receiver for multiple views
JP2005244916A (en) Image processor
JP2015035658A (en) Image processing apparatus, image processing method, and imaging apparatus
CN102812497B (en) Subsequent experience to provide a method capable of providing images of the image providing apparatus, the image
JP2003111101A (en) Method, apparatus and system for processing stereoscopic image
EP2504992A2 (en) Image processing apparatus and method
US20160255333A1 (en) Generating Images from Light Fields Utilizing Virtual Viewpoints
JP4958233B2 (en) Multi vision image generating system and multiple lens vision image generating method
JP2010244220A (en) Image processing apparatus, method, and program
US9341935B2 (en) Image capturing device
JP4762994B2 (en) Parallax map
CN102687515B (en) 3D image interpolation device,3d imaging device,and 3d image interpolation method
US20110064299A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R151 Written notification of patent or utility model registration

Ref document number: 6021541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151