JP6949163B2 - Element image group generator, encoder, decoder, and program - Google Patents
Element image group generator, encoder, decoder, and program Download PDFInfo
- Publication number
- JP6949163B2 JP6949163B2 JP2020050152A JP2020050152A JP6949163B2 JP 6949163 B2 JP6949163 B2 JP 6949163B2 JP 2020050152 A JP2020050152 A JP 2020050152A JP 2020050152 A JP2020050152 A JP 2020050152A JP 6949163 B2 JP6949163 B2 JP 6949163B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- unit
- group
- image group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、要素画像群生成装置、符号化装置、復号装置、およびプログラムに関する。 The present invention relates to an element image group generating device, a coding device, a decoding device, and a program.
任意視点から視認することができる立体テレビ用の撮像方式の1つとして、インテグラル方式が提案され、研究されている。インテグラル方式では、撮像の際に、平面上または球面上に配列されたレンズ群を用いる。配列されたレンズ群は、レンズアレイ(lens array)と呼ばれる。レンズ群を構成する個々のレンズは、要素レンズと呼ばれる。このインテグラル方式を採用した立体テレビカメラ(撮像装置)からの出力信号は、レンズ群から得られる立体撮像信号が集積された信号である。 The integral method has been proposed and studied as one of the imaging methods for 3D television that can be visually recognized from an arbitrary viewpoint. In the integral method, a group of lenses arranged on a plane or a spherical surface is used at the time of imaging. The arranged lens group is called a lens array. The individual lenses that make up the lens group are called element lenses. The output signal from the stereoscopic television camera (imaging apparatus) adopting this integral method is a signal in which the stereoscopic imaging signals obtained from the lens group are integrated.
インテグラル方式で撮像される立体像の解像度は、撮像素子の画素数、および上記の要素レンズの個数に関係することが知られている。要素レンズの個数が増大し、また1つの要素レンズから生成される画像(個々の要素レンズによって生成される画像を、以下において「要素画像」と呼ぶ)の画素数が多ければ、撮影される立体像の解像度も増大する。
また、インテグラル方式による立体像の表示においても同様に、要素レンズの数を多くし、要素画像の画素数を多くすることにより、高解像の自然な立体像を再現することができる。
It is known that the resolution of a stereoscopic image captured by the integral method is related to the number of pixels of the image sensor and the number of the above-mentioned element lenses. If the number of element lenses increases and the number of pixels of the image generated from one element lens (the image generated by each element lens is hereinafter referred to as "element image") is large, the stereoscopic image is taken. The image resolution also increases.
Similarly, in the display of a stereoscopic image by the integral method, a high-resolution natural stereoscopic image can be reproduced by increasing the number of element lenses and the number of pixels of the element image.
インテグラル方式によって表示される立体像を正しく見ることができる範囲を視域という。視域は要素画像が要素レンズによって投影される角度に相当し、要素レンズの焦点距離と要素画像サイズに関係している。 The range in which the stereoscopic image displayed by the integral method can be seen correctly is called the visual range. The visual field corresponds to the angle at which the element image is projected by the element lens, and is related to the focal length of the element lens and the element image size.
インテグラル方式による要素画像群を取得するためには、レンズアレイを通して被写体を撮像素子で撮像する。この方法では、撮影する被写体の大きさは制限されるが、撮像素子において直接要素画像群を取得できることから、撮影から表示までの処理を即座に行える利点がある。被写体の大きさに制限がなく広範囲の空間や被写体をインテグラル方式で撮影するためには、対象となる撮影物を多視点から撮影した多視点映像を取得し、被写体の3次元モデルをコンピューターグラフィクス(CG)空間上で生成する方法が用いられる。 In order to acquire the element image group by the integral method, the subject is imaged by the image sensor through the lens array. In this method, the size of the subject to be photographed is limited, but since the element image group can be directly acquired by the image sensor, there is an advantage that the processing from shooting to display can be performed immediately. In order to shoot a wide range of spaces and subjects in an integral manner without any restrictions on the size of the subject, acquire multi-viewpoint images of the target object from multiple viewpoints and computer graphics the 3D model of the subject. (CG) A method of generating in space is used.
特許文献1には、多視点画像から得られた3次元モデルを、CG上に配置するレンズアレイを通して疑似的に撮影することで要素画像群を取得する方法が記載されている。
特許文献1に記載された方法では、多視点画像を基に3次元モデルを生成するプロセスが必要となるため、要素画像群を生成するためには高い処理能力を持った演算装置が必要となり、また演算処理に時間がかかることが問題である。一方で、3次元モデルを生成する際には、時間軸上での3次元モデルの変化を捉えることができるため、被写体の影になることで表示することのできない領域(この領域を「オクルージョン領域」と呼ぶ)の補間をすることができる。
Since the method described in
さらに多視点画像から3次元モデルを生成せずに要素画像群を生成する方法も知られている。この方法では、レンズアレイの構造によっては、要素画像以外の成分である要素画像外成分を含んだ要素画像群を生成する必要があるため、3次元モデルを生成する場合と同様に複雑な演算処理が必要になり、要素画像群の生成に時間がかかるという問題が生じる。 Further, a method of generating an element image group from a multi-viewpoint image without generating a three-dimensional model is also known. In this method, depending on the structure of the lens array, it is necessary to generate an element image group including a component other than the element image, which is a component other than the element image. Is required, and there arises a problem that it takes time to generate the element image group.
インテグラル立体像を撮像したり表示したりするためのレンズアレイとして代表的なものは、正方配列のレンズアレイや、デルタ配列のレンズアレイである。
デルタ配列は、円形の要素レンズをいわゆる「俵積み」の状態に配置したものである。
つまり、デルタ配列では、同じ大きさの円形の要素レンズを、隣接する要素レンズの中心点同士が正三角形の形を成すように配列する。同じ大きさの円形の要素レンズが互いに重ならないように配置する場合、このデルタ配列は、単位面積当たりの要素レンズ数が最も多くなる配置のしかたである。このデルタ配列のレンズアレイを用いることによって、垂直成分の要素レンズ数を増やし、表示されるインテグラル立体像の解像度を向上させることができる。
Typical lens arrays for capturing and displaying integral stereoscopic images are a square array lens array and a delta array lens array.
The delta array is a so-called "bale-stacked" arrangement of circular element lenses.
That is, in the delta arrangement, circular element lenses of the same size are arranged so that the center points of adjacent element lenses form an equilateral triangle. When circular element lenses of the same size are arranged so as not to overlap each other, this delta arrangement is an arrangement in which the number of element lenses per unit area is the largest. By using this delta-arranged lens array, it is possible to increase the number of element lenses of the vertical component and improve the resolution of the displayed integral stereoscopic image.
デルタ配列のレンズアレイを用いて要素画像群を生成する場合、生成される要素画像群には要素画像の成分だけでなく、要素画像外の成分が含まれてしまう。これは、デルタ配列された円形の要素レンズ間に隙間があり、その隙間を通る光の成分が撮像されるためである。
そして、この要素画像群を多視点画像から生成するには、多視点画像を構成する複数の画素を抽出し、それらの画素値からの内挿処理を行う必要が生じてしまう。そのため、要素画像群を生成するには演算が複雑になり多くの時間が必要となるという問題がある。
When an element image group is generated using a lens array having a delta array, the generated element image group includes not only the components of the element image but also the components outside the element image. This is because there is a gap between the delta-arranged circular element lenses, and the light component passing through the gap is imaged.
Then, in order to generate this element image group from the multi-viewpoint image, it becomes necessary to extract a plurality of pixels constituting the multi-viewpoint image and perform interpolation processing from those pixel values. Therefore, there is a problem that the calculation becomes complicated and a lot of time is required to generate the element image group.
本発明は、上記の課題認識に基づいて行なわれたものであり、少ない計算量あるいは計算時間で要素画像群を生成することのできる要素画像群生成装置を提供しようとするものである。
また、本発明は、上記の要素画像群生成装置の構成を応用することによって、要素画像群を高効率に符号化および復号することのできるシステム(符号化装置および復号装置)を提供しようとするものである。
The present invention has been made based on the above-mentioned problem recognition, and an object of the present invention is to provide an element image group generating device capable of generating an element image group with a small amount of calculation or a calculation time.
Further, the present invention aims to provide a system (encoding device and decoding device) capable of highly efficiently encoding and decoding an element image group by applying the configuration of the element image group generating device described above. It is a thing.
[1]上記の課題を解決するため、本発明の一態様は、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成する要素画像群生成装置であって、多視点からの視た画像を配置してなる多視点画像群を取得する多視点画像群取得部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記多視点画像群取得部が取得した前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を要素画像群に変換する画像変換部と、を具備することを特徴とする要素画像群生成装置である。 [1] In order to solve the above problems, one aspect of the present invention is an element image group generation device that generates an element image group composed of element images for displaying a stereoscopic image by an integral method, and is a multi-viewpoint. The multi-viewpoint image group acquisition unit that acquires the multi-viewpoint image group formed by arranging the images viewed from the above, and the degree to which the components other than the element image are included in the pixels in the multi-viewpoint image group are included in the pixels. From the mask image storage unit that stores the mask image held as the pixel value and the pixel values of the pixels of the multi-viewpoint image group acquired by the multi-viewpoint image group acquisition unit, the mask image stored by the mask image storage unit It is characterized by including an element image external component subtraction unit that subtracts a pixel value of a pixel, and an image conversion unit that converts a multi-viewpoint image group output from the element image external component subtraction unit into an element image group. It is an element image group generator.
[2]また、本発明の一態様は、要素画像からなる要素画像群を取得する要素画像群取得部と、前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、を具備することを特徴とする符号化装置である。 [2] Further, in one aspect of the present invention, an element image group acquisition unit that acquires an element image group composed of element images and the element image group acquired by the element image group acquisition unit are converted into a multi-viewpoint image group. An image conversion unit, a mask image storage unit that stores a mask image that stores a mask image in which a component other than the element image is included in a pixel in the multi-viewpoint image group as a pixel value of the pixel, and the mask image. By referring to the mask image stored in the storage unit, it is determined whether or not the component outside the element image is equal to or less than a predetermined value for the image of each viewpoint included in the multi-viewpoint image group output from the image conversion unit. , A multi-viewpoint image selection unit that selects and outputs only an image of a viewpoint whose component outside the element image is equal to or less than the predetermined value, and a viewpoint selected by the multi-viewpoint image selection unit in the multi-viewpoint image group. It is a coding apparatus including a multi-viewpoint image coding unit that encodes and outputs only an image.
[3]また、本発明の一態様による符号化装置は、上記の符号化装置において、前記要素画像群取得部が取得した前記要素画像群に含まれる前記要素画像の各々について、前記要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する画像サイズ変換部、をさらに具備し、前記画像変換部は、前記画像サイズ変換部によってサイズが変換された前記要素画像群を、前記多視点画像群に変換する、ことを特徴とする。 [3] Further, in the coding device according to one aspect of the present invention, for each of the element images included in the element image group acquired by the element image group acquisition unit, the element image An image size conversion unit that converts an image size by inserting or deleting pixels in at least one of the vertical direction and the horizontal direction so that the pitch is an integral multiple of the pixel pitch is further provided. The conversion unit is characterized in that the element image group whose size has been converted by the image size conversion unit is converted into the multi-viewpoint image group.
[4]また、本発明の一態様による符号化装置は、前記画像サイズ変換部は、画像サイズを変換する際に、変換前の前記要素画像に含まれる画素の画素値を、変換後の前記要素画像に含まれる対応する位置の画素の画素値とする、ことを特徴とする請求項3に記載の符号化装置。
[4] Further, in the coding apparatus according to one aspect of the present invention, when the image size conversion unit converts the image size, the pixel values of the pixels included in the element image before conversion are converted into the above-mentioned after conversion. The coding apparatus according to
[5]また、本発明の一態様は、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する復号装置であって、複数の視点の画像である多視点画像を符号化して得られた符号を復号する多視点画像復号部と、前記多視点画像復号部によって復号された視点の画像に基づき、不足する視点の画像を生成し、前記多視点画像復号部によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する不足多視点画像生成部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記不足多視点画像生成部から出力された前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を前記要素画像群に変換する画像変換部と、を具備することを特徴とする復号装置である。 [5] Further, one aspect of the present invention is a decoding device that decodes a coded multi-viewpoint image, converts it into an element image group consisting of element images for displaying a stereoscopic image by an integral method, and outputs the image. There is a multi-viewpoint image decoding unit that decodes a code obtained by encoding a multi-viewpoint image that is an image of a plurality of viewpoints, and a viewpoint image that is insufficient based on the viewpoint image decoded by the multi-viewpoint image decoding unit. The insufficient multi-viewpoint image generation unit that generates the image of the above and outputs the multi-viewpoint image group consisting of the viewpoint image decoded by the multi-viewpoint image decoding unit and the generated image, and the components other than the element image are described above. A mask image storage unit that stores a mask image that holds the degree of inclusion in the pixels in the multi-viewpoint image group as a pixel value of the pixel, and a pixel of the multi-viewpoint image group output from the insufficient multi-viewpoint image generation unit. The element image includes an element image external component subtraction unit that subtracts the pixel value of the pixel of the mask image stored by the mask image storage unit from the pixel value, and a multi-viewpoint image group output from the element image external component subtraction unit. It is a decoding device characterized by including an image conversion unit for converting into a group.
[6]また、本発明の一態様による復号装置は、前記画像変換部が出力した前記要素画像群に含まれる前記要素画像の各々について、符号化の際に行われた画像サイズの変換の逆変換となるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する画像サイズ変換部、をさらに具備することを特徴とする。 [6] Further, the decoding device according to one aspect of the present invention reverses the conversion of the image size performed at the time of encoding for each of the element images included in the element image group output by the image conversion unit. It is characterized by further including an image size conversion unit that converts an image size by inserting or deleting pixels in at least one of the vertical direction and the horizontal direction so as to perform conversion.
[7]また、本発明の一態様による復号装置は、前記画像サイズ変換部は、画像サイズを変換する際に、変換前の前記要素画像に含まれる画素の画素値を、変換後の前記要素画像に含まれる対応する位置の画素の画素値とする、ことを特徴とする。 [7] Further, in the decoding device according to one aspect of the present invention, when the image size conversion unit converts the image size, the pixel values of the pixels included in the element image before conversion are converted into the element after conversion. It is characterized in that it is the pixel value of the pixel at the corresponding position included in the image.
[8]また、本発明の一態様は、コンピューターを、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成する要素画像群生成装置であって、多視点からの視た画像を配置してなる多視点画像群を取得する多視点画像群取得部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記多視点画像群取得部が取得した前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を要素画像群に変換する画像変換部と、を具備する要素画像群生成装置として機能させるためのプログラム。 [8] Further, one aspect of the present invention is an element image group generation device for generating an element image group composed of element images for displaying a stereoscopic image by an integral method, and the computer is viewed from multiple viewpoints. The pixel value of the pixel value is the degree to which the multi-viewpoint image group acquisition unit that acquires the multi-viewpoint image group formed by arranging the images and the degree to which the components other than the element image are included in the pixels in the multi-viewpoint image group. From the pixel values of the mask image storage unit that stores the mask image to be held and the pixels of the multi-viewpoint image group acquired by the multi-viewpoint image group acquisition unit, the pixels of the pixels of the mask image stored by the mask image storage unit. It functions as an element image group generation device including an element image external component subtraction unit for subtracting a value and an image conversion unit for converting a multi-viewpoint image group output from the element image external component subtraction unit into an element image group. Program for.
[9]また、本発明の一態様は、コンピューターを、要素画像からなる要素画像群を取得する要素画像群取得部と、前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記マスク画像記憶部に記憶されている前記マスク画像を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、前記要素画像外成分が前記所定値以下である視点の画像のみを選定して出力する多視点画像選定部と、前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、を具備する符号化装置として機能させるためのプログラムである。 [9] Further, in one aspect of the present invention, a computer is used to obtain a multi-viewpoint image of an element image group acquisition unit that acquires an element image group composed of element images and the element image group acquired by the element image group acquisition unit. An image conversion unit that converts into a group, a mask image storage unit that stores a mask image that holds the degree to which components other than the element image are included in the pixels in the multi-viewpoint image group as pixel values of the pixels, and a mask image storage unit. By referring to the mask image stored in the mask image storage unit, whether or not the component outside the element image is equal to or less than a predetermined value for the image of each viewpoint included in the multi-viewpoint image group output from the image conversion unit. Is selected by the multi-viewpoint image selection unit that selects and outputs only the image of the viewpoint whose component outside the element image is equal to or less than the predetermined value, and the multi-viewpoint image selection unit of the multi-viewpoint image group. This is a program for functioning as a coding device including a multi-viewpoint image coding unit that encodes and outputs only an image of a viewpoint.
[10]また、本発明の一態様は、コンピューターを、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する復号装置であって、複数の視点の画像である多視点画像を符号化して得られた符号を復号する多視点画像復号部と、前記多視点画像復号部によって復号された視点の画像に基づき、不足する視点の画像を生成し、前記多視点画像復号部によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する不足多視点画像生成部と、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、前記不足多視点画像生成部から出力された前記多視点画像群の画素の画素値から、前記マスク画像記憶部が記憶する前記マスク画像の画素の画素値を減算する要素画像外成分減算部と、前記要素画像外成分減算部から出力される多視点画像群を前記要素画像群に変換する画像変換部と、を具備する復号装置として機能させるためのプログラムである。 [10] Further, in one aspect of the present invention, a computer decodes a coded multi-viewpoint image, converts it into an element image group composed of element images for displaying a stereoscopic image by an integral method, and outputs the image. Based on a multi-viewpoint image decoding unit that is a decoding device and decodes a code obtained by encoding a multi-viewpoint image that is an image of a plurality of viewpoints, and a viewpoint image decoded by the multi-viewpoint image decoding unit. A missing multi-viewpoint image generator that generates an image of the missing viewpoint and outputs a multi-viewpoint image group consisting of the viewpoint image decoded by the multi-viewpoint image decoding unit and the generated image, and a non-deficient multi-viewpoint image generation unit outside the element image. A mask image storage unit that stores a mask image that holds the degree to which a component is included in a pixel in the multi-viewpoint image group as a pixel value of the pixel, and the multi-viewpoint image group output from the insufficient multi-viewpoint image generation unit. The element image external component subtraction unit that subtracts the pixel value of the mask image pixel stored in the mask image storage unit from the pixel value of the pixel, and the multi-viewpoint image group output from the element image external component subtraction unit. This is a program for functioning as a decoding device including an image conversion unit for converting into the element image group.
本発明によれば、マスク画像の画素値を減算する処理で要素画像を生成することが可能となる。つまり、要素画像を生成するための処理量あるいは処理時間を小さくすることが可能となる。 According to the present invention, it is possible to generate an element image by a process of subtracting a pixel value of a mask image. That is, it is possible to reduce the processing amount or processing time for generating the element image.
次に、図面を参照しながら、本発明の実施形態について説明する。
[第1実施形態]
図1は、本実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。この要素画像群生成装置1は、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群を生成するものである。図示するように、要素画像群生成装置1は、マスク画像記憶部10と、多視点画像群取得部21と、画像サイズ変換部22と、要素画像外成分減算部23と、画像変換部31と、画像サイズ変換部32と、要素画像群出力部33とを含んで構成される。
以下において、画像内の画素値は、予め定められた最小値以上であり、且つ予め定められた最大値以下である。ここで、最小値はゼロである。画像が複数のチャンネルから成る(例えば、R(赤),G(緑),B(青)の三原色から成る)ものである場合には、各チャンネルの画素値が、前記最小値以上、且つ前記最大値以下である。
Next, an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic functional configuration of an element image group generating device according to the present embodiment. The element image
In the following, the pixel value in the image is at least a predetermined minimum value and at least a predetermined maximum value. Here, the minimum value is zero. When the image is composed of a plurality of channels (for example, it is composed of the three primary colors of R (red), G (green), and B (blue)), the pixel value of each channel is equal to or more than the minimum value and described above. It is below the maximum value.
マスク画像記憶部10は、マスク画像を記憶する。マスク画像記憶部10が記憶するマスク画像は、立体像の表示に使用するレンズアレイの構造に基づいて予め生成されたものである。なお、マスク画像は、画素ごとの画素値を有するデータである。マスク画像の各画素の画素値は、その画素における要素画像外成分の量の度合いを表すものである。マスク画像の画素値が最小値(ゼロ)のとき、その画素は要素画像外成分を持たないことを表す。マスク画像の画素値が最大値のとき、その画素は要素画像外成分が最大であることを表す。なお、マスク画像記憶部10が記憶するマスク画像は、デルタ配列によるレンズアレイを用いることを前提として生成されたものである。つまり、マスク画像記憶部10は、要素画像の外の成分(要素画像外成分)が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。なお、マスク画像の生成のしかたについては、後述する。
The mask
多視点画像群取得部21は、外部から、多視点画像を取得する。多視点画像群は、被写体を、多視点のカメラによって撮像して得られる画像である。つまり、多視点画像群取得部21は、多視点からの視た画像を配置してなる多視点画像群を取得するものである。例えば、視点が縦8個×横8個の合計64個である場合、それらの視点による多視点画像を、縦8個×横8個に配置された64個のカメラによって撮像することができる。また、視点数より少ないカメラで撮像を行い、補間により多視点画像を得ることもできる。例えば、32個のカメラによって撮像した画像を用いて、それら32個の視点とは異なる他の32個の視点の画像を補間によって生成し、合計64視点の多視点画像を得ることもできる。画像を補間する場合には、内挿補間を用いる。また、多視点画像群取得部21は、それらのカメラから直接多視点画像を得てもよいし、それらのカメラで予め撮像された画像データを外部から取得するようにしてもよい。
The multi-viewpoint image
画像サイズ変換部22は、多視点画像群取得部21で取得した多視点画像のサイズを変換する。具体的には、画像サイズ変換部22は、デルタ配列によるレンズアレイの縦横配置比率に合うように、多視点画像のサイズを変更する。より具体的には、画像サイズ変換部22は、多視点画像の縦方向の画素数が(2/SQRT(3))倍(≒1.1547倍)になるように、画像サイズを変換する。つまり、画像サイズ変換部22は、要素画像群に含まれる要素画像の各々について、要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。ここで、「SQRT()」は、平方根を表す。なお、画像サイズ変換部22は、横方向の画像サイズを変更しない。このとき、画像サイズ変換部22は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。なお、内挿計算を用いる代わりに、後述する変形例3の方法により、サイズ変換後の各画素の画素値を求めるようにしてもよい。
なお、画像サイズ変換処理における画素の比率については、後で、別の図面を参照しながら補足説明する。
The image
The pixel ratio in the image size conversion process will be supplementarily described later with reference to another drawing.
要素画像外成分減算部23は、画像サイズ変換部22によって出力される多視点画像(画像サイズ変換後)から、マスク画像記憶部10から読み出されるマスク画像を減算する処理を行う。要素画像外成分減算部23は、これら両画像の各画素について、画素値の減算を行う。つまり、要素画像外成分減算部23は、多視点画像群取得部21が取得した多視点画像群の画素の画素値から、マスク画像記憶部10が記憶するマスク画像の画素の画素値を減算する。なお、要素画像外成分減算部23は、両画像の対応する画素同士の画素値の減算を行う。なお、画素値の最小値はゼロである。減算の結果の値が負である場合には、その画素の画素値をゼロとする。
The element image external
画像変換部31は、要素画像外成分減算部23から出力される多視点画像群を、要素画像群に変換する。
なお、多視点画像群を要素画像群に変換する処理自体は、既存の技術により行うことができる。視点ごとの画素をまとめて配置してなる多視点画像群を基に、画像変換部31は、画素を再配置することにより、要素レンズごとの画素をまとめて配置してなる要素画像群を生成する。
The
The process itself of converting the multi-viewpoint image group into the element image group can be performed by the existing technique. Based on the multi-viewpoint image group in which the pixels for each viewpoint are arranged together, the
画像サイズ変換部32は、画像変換部31から出力された画像のサイズを変換する。画像サイズ変換部32におけるサイズ変換処理は、前述した画像サイズ変換部22におけるサイズ変換処理の逆変換である。具体的には、画像サイズ変換部32は、画像の縦方向の画素数が(SQRT(3)/2)倍(≒0.8660倍)になるように、画像サイズを変換する。つまり、画像サイズ変換部32は、要素画像群に含まれる要素画像の各々について、要素画像のピッチが画素ピッチの整数倍になるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。なお、画像サイズ変換部32は、横方向の画像サイズを変更しない。ここでも、画像サイズ変換部32は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。なお、内挿計算を用いる代わりに、後述する変形例3の方法により、サイズ変換後の各画素の画素値を求めるようにしてもよい。
なお、画像サイズ変換部32による上記のサイズ変換処理により、要素レンズのピッチが画素ピッチの整数倍になる。
そして、要素画像群出力部33は、以上の処理によって得られた要素画像群を出力する。
The image
By the above size conversion process by the image
Then, the element image
図2は、上記の画像サイズ変換部22および画像サイズ変換部32のそれぞれにおけるサイズ変換比率を説明するための図である。同図は、デルタ配列で配置された多数の要素レンズのうちの一部を平面視した平面図である。同図では、多数の要素レンズのうちの4個の要素レンズのみを示しており、その他の要素レンズを省略している。同図内に示す三角形は、各々の円形の要素レンズの中心点を頂点とする三角形であり、正三角形である。
図示するように、デルタ配列されている場合、横方向の要素レンズのピッチと、縦方向の要素レンズのピッチは、2対SQRT(3)である。そして、この比率に基づき、画像サイズ変換部22および画像サイズ変換部32における変換比率を定めている。
FIG. 2 is a diagram for explaining the size conversion ratio in each of the image
As shown in the figure, in the case of the delta arrangement, the pitch of the element lenses in the horizontal direction and the pitch of the element lenses in the vertical direction are 2 pairs SQRT (3). Then, based on this ratio, the conversion ratio in the image
次に、要素画像群生成装置1で使用するマスク画像を生成する方法について説明する。
図3は、マスク画像生成装置の概略機能構成を示すブロック図である。図示するように、マスク画像生成装置40は、3次元モデル記憶部41と、要素画像群生成部42と、画像サイズ変換部43と、画像変換部44と、反転部45と、マスク画像出力部46とを含んで構成される。ここで説明する方法では、マスク画像生成装置40は、3次元モデルを基に要素画像群を生成し、その要素画像群を多視点画像群に変換する。各部の機能は、次に述べる通りである。
Next, a method of generating a mask image to be used in the element image
FIG. 3 is a block diagram showing a schematic functional configuration of the mask image generator. As shown in the figure, the mask
3次元モデル記憶部41は、コンピューターグラフィクスのための3次元モデルを記憶する。ここで、マスク画像を生成するために、3次元モデル記憶部41が記憶する3次元モデルは、立体像の表示に用いるためのレンズアレイ上の100%白の平面である。3次元モデルが「100%白」であるとき、その3次元モデルを直接描画した場合に得られる画素値は、最大値(RGBの3原色で表現される場合、RGBの各々のチャンネルにおいて、画素値は最大値)である。
The 3D
要素画像群生成部42は、与えられるレンズアレイの構造(位置、個数、サイズ、焦点距離等)にしたがって、3次元モデル記憶部41に記憶されている3次元モデルを被写体としたときの要素画像群を生成する。
The element image
画像サイズ変換部43は、要素画像群生成部42によって生成された要素画像群に対して、画像サイズを変更する処理を行う。ここで、具体的には、画像サイズ変換部43は、縦方向の画像サイズの変更比率を(2/SQRT(3))倍(≒1.1547倍)とする。なお、画像サイズ変換部43は、横方向の画像サイズを変更しない。画像サイズ変換部43は、画像サイズの変換後の各画素の画素値を、変換前の画素値の内挿計算により求める。図2を用いて説明したように、この画像サイズの変更比率は、デルタ配列のレンズアレイを構成する要素レンズのレンズピッチにより決まるものである。画像サイズ変換部43がこのように画像サイズを変更することにより、要素レンズのレンズピッチと、表示装置の画素ピッチとの関係が整数比となる。
なお、画像サイズ変換部43は、処理対象とする多視点画像(マスク画像が表す要素画像外成分の減算の対象となる多視点画像)のサイズに合わせるために、上記のサイズ変換の処理を行う。サイズが既に整合している場合には、この画像サイズ変換部43によるサイズ変換の処理を省略するようにする。
The image
The image
画像変換部44は、画像サイズ変換部43から出力される要素画像群(画像サイズ変更済み)を多視点画像群に変換する。画像変換部44から出力される画像については、後で、図を参照しながら説明する。
なお、要素画像群を多視点画像群に変換する処理自体は、既存の技術により行うことができる。要素レンズごとの画素をまとめて配置してなる要素画像群を基に、画像変換部44は、画素を再配置することにより、視点ごとの画素をまとめて配置してなる多視点画像群を生成する。
The
The process itself of converting the element image group into the multi-viewpoint image group can be performed by the existing technique. Based on the element image group in which the pixels for each element lens are arranged together, the
反転部45は、画像変換部44から出力される多視点画像群について、ネガ/ポジ反転する処理を行う。反転部45は、入力される画像の各画素について、ネガ/ポジ反転を行う。ネガ/ポジ反転の処理は、数式は、出力画素値=最大画素値−入力画素値 と表される。この反転部45の処理により、白の画素は黒に変換され、黒の画素は白に変換される。また、中間階調の画素も同様に反転される。なお、反転部45から出力される画像については、後で、図面を参照しながら説明する。反転部45による処理の結果得られる画像が、マスク画像である。
マスク画像出力部46は、反転部45によって生成されたマスク画像を、外部に出力する。
The
The mask image output unit 46 outputs the mask image generated by the
なお、所定のパラメーターにより定義されるレンズアレイについては、要素画像を求める計算を一度だけ行い、生成されたマスク画像を記憶しておくことにより、同一のレンズアレイに関しては繰り返しそのマスク画像を使用できる。マスク画像記憶部10にマスク画像を記憶させておくようにする。
For a lens array defined by a predetermined parameter, the mask image can be used repeatedly for the same lens array by performing the calculation for obtaining the element image only once and storing the generated mask image. .. The mask
図4は、マスク画像を生成する過程において、上記の画像変換部44から出力される画像の一例を示す概略図である。図示する画像は、画像変換部44によって、要素画像群から多視点画像群に変換された後の画像である。ここに示す画像において、白い画素(画素値の大きい画素)には、元の3次元モデル(100%白の平面)が反映されている。また、この画像において、黒い画素(画素値の小さい画素)には、要素画像外成分が反映されている。中間階調の画素は、その画素値に応じて、要素画像外成分の程度(画素値が小さいほど、要素画像外成分である度合いが高い)を表している。つまり、同図で示す画像は、要素画像外成分が、要素画像群から多視点画像群に変換された後において、どのように分布しているかを示している。
FIG. 4 is a schematic view showing an example of an image output from the
図5は、マスク画像生成装置によって生成されたマスク画像の一例を示す概略図である。図示する画像は、図4に示した画像を上記の反転部45がネガ/ポジ反転処理した結果として得られる画像である。つまり、図5に示す画像において、白の画素(画素値の大きい画素)は、要素画像外成分に対応する画素である。また、画素値が大きいほど、その画素は、要素画像外成分を含む度合いが大きいとも言える。
FIG. 5 is a schematic view showing an example of a mask image generated by the mask image generator. The illustrated image is an image obtained as a result of the negative / positive reversal processing of the image shown in FIG. 4 by the reversing
なお、図3に示したマスク画像生成装置40でマスク画像を生成する代わりに、次の方法によりマスク画像を生成するようにしてもよい。即ち、真っ白なもの(例えば、真っ白な平面状の板など)を、ライトフィールドカメラやIP(integral photography)カメラなどで撮影する。そして、得られた画像の輝度を反転することにより、マスク画像を生成する。
Instead of generating the mask image by the mask
次に、要素画像群生成装置によって処理される多視点画像群の例について説明する。
図6は、要素画像群生成装置1の多視点画像群取得部21が外部から取得し、画像サイズ変換部22によってサイズが変更された多視点画像群の例を示す概略図である。図示する画像は、縦8個×横8個の合計64個の視点から得られた多視点画像である。
Next, an example of a multi-viewpoint image group processed by the element image group generator will be described.
FIG. 6 is a schematic view showing an example of a multi-viewpoint image group acquired by the multi-viewpoint image
図7は、要素画像群生成装置1の要素画像外成分減算部23が出力する多視点画像群の例を示す概略図である。つまり、図5に示したマスク画像が予めマスク画像記憶部10に記憶されており、図6に示した多視点画像から、マスク画像記憶部10から読み出されたマスク画像(図5)を減算した結果として得られる画像が、図7に示す多視点画像である。図6の画像(マスク画像を減算する前の画像)と図7の画像(マスク画像を減算し亜後の画像)とを比べると、主に周辺部の視点に対応する画像において、マスク画像による減算の効果が相対的に強く効いている。これは、図5に示すマスク画像における白っぽい画素(画素値が相対的に大きい画素)の分布に対応している。
FIG. 7 is a schematic view showing an example of a multi-viewpoint image group output by the element image external
このように、本実施形態による要素画像群生成装置1によれば、予め算出して記憶し得置いたマスク画像を、多視点画像から減算するため、要素画像外成分を抑制した多視点画像を生成(要素画像外成分減算部23からの出力)することができる。そして、要素画像外成分減算部23から出力される多視点画像群を、画像変換部31で要素画像群に変換し、その後、画像サイズ変換部32において画像サイズの再変換(画像サイズ変換部22におけるサイズ変換の逆変換)を行うことによって、所望の要素画像群を生成することができる。
As described above, according to the element image
[第2実施形態]
次に、本発明の第2実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図8は、本実施形態による要素画像群生成装置の概略機能構成を示すブロック図である。図示するように、要素画像群生成装置2は、マスク画像記憶部11と、多視点画像群取得部21と、要素画像外成分減算部23と、画像変換部31と、要素画像群出力部33とを含んで構成される。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The matters already described in the previous embodiment may be omitted below. Here, the matters peculiar to the present embodiment will be mainly described.
FIG. 8 is a block diagram showing a schematic functional configuration of the element image group generating device according to the present embodiment. As shown in the figure, the element image
本実施形態において、マスク画像記憶部11がマスク画像を記憶するものである点は、前実施形態におけるマスク画像記憶部10と同様である。ただし、本実施形態によるマスク画像記憶部11は、使用するレンズアレイの構造にしたがってサイズ変更されているマスク画像を記憶する点が特徴である。つまり、マスク画像記憶部11が記憶するマスク画像については、画像の横方向のサイズを1倍に、そして縦方向のサイズを(SQRT(3)/2)倍(≒0.8660倍)に予めサイズ変換されている。
したがって、本実施形態による要素画像外成分減算部23は、多視点画像群取得部21が取得した多視点画像から、上記のマスク画像記憶部11が記憶しているマスク画像を減算する処理を行う。ただし、各画素について、画素値を減算した結果が負のあたいになるばあいには、その画素の画素値をゼロとする。
In the present embodiment, the mask
Therefore, the element image external
したがって、本実施形態では、第1実施形態による要素画像群生成装置1が有していた画像サイズ変換部22および画像サイズ変換部32によるサイズ変換の処理を必要としない。したがって、本実施形態では、さらに高速に要素画像群を生成することが可能となる。
Therefore, in the present embodiment, the size conversion processing by the image
[第3実施形態]
次に、本発明の第3実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
図9は、本実施形態による符号化装置および復号装置の概略機能構成を示すブロック図である。符号化装置3は、入力される要素画像群を多視点画像に変換し符号化する装置である。符号化装置3によって生成された符号は、伝送により、あるいは記録媒体を経由することにより、復号装置4に渡される。復号装置4は、符号化装置3から出力された符号を取得し、復号し、要素画像群に変換して出力する装置である。つまり、復号装置4は、符号化された多視点画像を復号し、インテグラル方式による立体画像の表示のための要素画像からなる要素画像群に変換して出力する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. The matters already described up to the previous embodiment may be omitted below. Here, the matters peculiar to the present embodiment will be mainly described.
FIG. 9 is a block diagram showing a schematic functional configuration of a coding device and a decoding device according to the present embodiment. The
図示するように、符号化装置3は、マスク画像記憶部13と、要素画像群取得部51と、画像サイズ変換部52と、画像変換部53と、多視点画像選定部54と、多視点画像符号化部55とを含んで構成される。
また、復号装置4は、マスク画像記憶部14と、多視点画像復号部61と、不足多視点画像生成部62と、要素画像外成分減算部63と、画像変換部64と、画像サイズ変換部65と、要素画像群出力部66とを含んで構成される。
As shown in the figure, the
Further, the
符号化装置3および復号装置4の各部が有する機能と、これらの装置による処理の流れを以下において説明する。
まず符号化装置3が有する要素画像群取得部51は、外部から、要素画像群を取得する。要素画像群は、複数の要素画像が配置されてなる画像である。要素画像群取得部51は、例えば、要素レンズと撮像素子を用いて撮像された要素画像群を取得する。また、要素画像群取得部51は、静止画としての要素画像群を取得してもよいし、時系列の画像として構成される要素画像群の映像を取得してもよい。
なお、要素画像群取得部51が取得した要素画像群には、要素画像外成分が含まれている。
The functions of each part of the
First, the element image
The element image group acquired by the element image
画像サイズ変換部52は、第1実施形態における画像サイズ変換部22と同様に、画像のサイズを変換する。具体的には、画像サイズ変換部52は、要素画像群取得部51から出力される画像のサイズを変換し、出力する。
画像変換部53は、画像サイズ変換部52から出力される要素画像群を、多視点画像群に変換する。つまり、要素画像群取得部51が取得した要素画像群を、多視点画像群に変換する。
The image
The
マスク画像記憶部13は、第1実施形態におけるマスク画像記憶部10と同様に、要素画像外成分の度合いを表すマスク画像を予め記憶しておくものである。つまり、マスク画像記憶部13は、要素画像の外の成分が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。なお、マスク画像の生成方法については、第1実施形態におけるマスク画像生成装置40の機能として説明した通りである。
Similar to the mask
多視点画像選定部54は、画像変換部53が出力する多視点画像群のうち、要素画像外成分を含む視点からの画像を除外し、要素画像外成分を含まない視点からの画像のみを選択する。このとき、多視点画像選定部54は、マスク画像記憶部13から読み出すマスク画像の各画素の値に基づいて、ある視点からの画像が要素画像外成分を含むものであるか否かを選定する。
なお、多視点画像選定部54において、ある視点の画像が要素画像外成分を含むものであるか否かを判定するためには、例えば、マスク画像の画素値に関して適宜定められた閾値を用いるようにする。そして、多視点画像選定部54は、多視点画像群のうちの特定の視点の画像の領域について、対応するマスク画像の中のその領域に含まれる各画素の画素値の平均値を算出する。そして、算出された平均値が上記の閾値以上であれば、多視点画像選定部54は、その視点の画像は要素画像外成分を含むものであると判定する。逆に、算出された平均値が上記の閾値未満であれば、多視点画像選定部54は、その視点の画像は要素画像外成分を含まないものであると判定する。
つまり、多視点画像選定部54は、マスク画像記憶部13に記憶されているマスク画像を参照することにより、画像変換部53から出力される多視点画像群に含まれる各視点の画像について要素画像外成分が所定値以下か否かを判定し、要素画像外成分が所定値以下である視点の画像のみを選定して出力するものである。
The multi-viewpoint
In the multi-viewpoint
That is, the multi-viewpoint
多視点画像符号化部55は、画像変換部53から出力された多視点画像群のうち、多視点画像選定部54によって選ばれた画像のみを、符号化し出力する。つまり、多視点画像符号化部55は、要素画像外成分を含まない画像のみを符号化し出力する。つまり、多視点画像符号化部55は、多視点画像群のうちの多視点画像選定部54によって選定された視点の画像のみを符号化して出力する。なお、画像(映像)の符号化自体は、既存の技術を適宜適用することのより行うことができる。
The multi-viewpoint
以上のように、本実施形態による符号化装置3は、多視点画像選定部54における判定により、要素画像外の成分を含む多視点画像を符号化の対象から除外する。つまり、符号化装置3は、要素画像成分のみを含む多視点画像を符号化するものであり、要素画像外の成分を含む多視点画像を含んでいない符号を出力する。
As described above, the
復号装置4側では、多視点画像復号部61は、符号化装置3から出力された多視点画像を復号する。前述の通り、符号化装置3の多視点画像選定部54において多視点画像の選定を行っているため、多視点画像復号部61によって復号された画像においては一部の視点の画像が欠けている。つまり、多視点画像復号部61は、複数の視点の画像である多視点画像を符号化して得られた符号を復号する。
On the
不足多視点画像生成部62は、その不足している多視点画像(つまり、要素画像外成分を含む画像として多視点画像選定部54において除外された視点の画像)を生成するものである。そして、不足多視点画像生成部62は、多視点画像復号部61によって復号された画像群と、自らが生成した不足視点の画像群とを合わせてひとつの多視点画像群として、出力する。つまり、不足多視点画像生成部62は、多視点画像復号部61によって復号された視点の画像に基づき、不足する視点の画像を生成し、多視点画像復号部61によって復号された視点の画像と生成した画像とからなる多視点画像群を出力する。
具体的には、不足多視点画像生成部62は、多視点画像復号部61によって復号された多視点画像群に基づいて、不足している視点の画像を生成する。より具体的な方法として、例えば、不足多視点画像生成部62は、不足している視点の画像に最も近い距離の視点位置する画像(多視点画像復号部61によって復号された画像)を複製することによって、その不足している視点の画像を生成する。あるいは、例えば、不足多視点画像生成部62は、不足している視点の画像の周辺の視点の画像(多視点画像復号部61によって復号された画像)を用いた視点の内挿補間処理をすることによって、その不足している視点の画像を生成する。
The deficient multi-viewpoint
Specifically, the missing multi-viewpoint
マスク画像記憶部14は、マスク画像記憶部13と同様に、要素画像外成分の度合いを表すマスク画像を予め記憶しておくものである。つまり、マスク画像記憶部14は、要素画像の外の成分が多視点画像群の中の画素に含まれる程度を画素の画素値として保持するマスク画像を記憶するものである。
要素画像外成分減算部63は、不足多視点画像生成部62によって出力される多視点画像群から、マスク画像記憶部14から読み出すマスク画像を減算する処理を行う。具体的には、要素画像外成分減算部63は、多視点画像群に含まれる各画素の画素値から、マスク画像に含まれる各画素の画素値を減算する。つまり、要素画像外成分減算部63は、不足多視点画像生成部62から出力された多視点画像群の画素の画素値から、マスク画像記憶部14が記憶するマスク画像の画素の画素値を減算する。なお、個々の画素に関して、減算の結果が負である場合には、その画素の画素値をゼロとする。この処理は、要素画像外成分減算部63が、不足多視点画像生成部62によって出力される多視点画像群から要素画像外成分を減算する処理である。
Similar to the mask
The element image external
画像変換部64は、要素画像外成分減算部63から出力される多視点画像を、要素画像に変換する。多視点画像群を要素画像群に変換する技術については、既に述べた通りである。
画像サイズ変換部65は、画像変換部64から出力される要素画像の画像サイズを変換する。画像サイズ変換部65による画像サイズの変換処理は、符号化装置3の画像サイズ変換部52における変換処理の逆変換の処理である。つまり、画像サイズ変換部65は、画像変換部64が出力した要素画像群に含まれる要素画像の各々について、符号化の際に行われた画像サイズの変換の逆変換となるように、縦方向または横方向の少なくともいずれかの方向に画素を挿入または削除することにより、画像サイズを変換する。即ち、画像サイズ変換部65は、第1実施形態における画像サイズ変換部32と同様に、画像のサイズを変換する。
要素画像群出力部66は、画像サイズ変換部65でサイズ変換処理された要素画像を、出力する。
The
The image
The element image
次に、本実施形態での具体的な処理例について、模擬的な画像データを参照しながら説明する。
図10は、多視点画像選定部54における、視点の選定の結果の例を示す概略図である。ここに図示する画像は、多視点画像であり、縦8個(8行)×横8個(8列)の計64個の視点の画像を含んでいる。多視点画像選定部54は、前述の通り、マスク画像記憶部13を参照することによって、要素画像外成分を含む視点の画像を除外し、要素画像外成分を含む視点の画像のみを出力する。同図に示す例では、多視点画像選定部54は、枠線の外側の視点の画像を要素画像外成分の画像として除外し、枠線の内側の視点の画像を出力すべき視点の画像として選定する。具体的には、多視点画像選定部54は、第1行のすべての列の視点の画像と、第2行の第1列,第2列,第7列,第8列の視点の画像と、第3行から第7行までの各行における第1列と第8列の視点の画像と、第8行の第1列,第2列,第7列,第8列の視点の画像とを、要素画像外成分の画像として除外する。また、多視点画像選定部54は、第2行の第3列から第6列までの視点の画像と、第3行から第7行までの各行における第2列から第7列までの視点の画像と、第8行の第3列から第6列までの視点の画像とを、出力すべき画像として選定する。
そして、多視点画像符号化部55は、多視点画像選定部54によって選ばれた視点の画像群(要素画像外成分を含まない画像群)のみを符号化して出力する。
Next, a specific processing example in this embodiment will be described with reference to simulated image data.
FIG. 10 is a schematic view showing an example of the result of selection of viewpoints in the multi-viewpoint
Then, the multi-viewpoint
図を用いて例示したように、本実施形態による符号化装置3は、多視点画像選定部54が要素画像外成分の画像を除外するため、符号化効率を高めることができる。
As illustrated with reference to the figure, in the
図11は、復号装置側での多視点画像を復元する処理での画像の例を示す概略図である。図示するように、この多視点画像群には、符号化装置3の多視点画像選定部54において除外された視点の画像群は含まれていない。そして、前述の通り、復号装置4の不足多視点画像生成部62は、不足している視点の画像を生成することによって、同図に示す多視点画像群を補完する。図示する例では、具体的には、不足多視点画像生成部62は、図内の矢印にしたがって、不足多視点画像を生成する。即ち、第2行第3列の視点の画像を基に、第1行第2列と第3列の視点の画像が生成される。第2行第4列の視点の画像を基に、第1行第4列の視点の画像が生成される。第2行第5列の視点の画像を基に、第1行第5列の視点の画像が生成される。第2行第6列の視点の画像を基に、第1行第6列と第7列の視点の画像が生成される。第3行第2列の視点の画像を基に、第2行第1列と第3行第1列の視点の画像が生成される。第3行第3列の視点の画像を基に、第1行第1列と第2行第2列の視点の画像が生成される。第3行第6列の視点の画像を基に、第1行第8列と第2行第7列の視点の画像が生成される。第3行第7列の視点の画像を基に、第2行第8列と第3行第8列の視点の画像が生成される。第4行から第6行のそれぞれの第2列の視点の画像を基に、当該行の第1列の視点の画像が生成される。第4行から第6行のそれぞれの第7列の視点の画像を基に、当該行の第8列の視点の画像が生成される。第7行第2列の視点の画像を基に、第7行第1列,第8行第1列,第8行第2列の視点の画像が生成される。第7行第7列の視点の画像を基に、第7行第8列,第8行第7列,第8行第8列の視点の画像が生成される。
なお、多視点画像を復元するための方法としてここに示した視点画像の参照パターンは一例にすぎず、他の参照パターンによって、複製または内挿補間の処理をして不足している視点の画像を生成するようにしてもよい。
FIG. 11 is a schematic view showing an example of an image in a process of restoring a multi-viewpoint image on the decoding device side. As shown in the figure, this multi-viewpoint image group does not include the viewpoint image group excluded by the multi-viewpoint
The reference pattern of the viewpoint image shown here as a method for restoring the multi-view image is only an example, and the image of the viewpoint that is lacking due to duplication or interpolation interpolation processing by another reference pattern. May be generated.
図12は、復号装置側での復元した結果の多視点画像群を示す概略図である。図示するように、符号化装置3の多視点画像選定部54によって除外された視点の画像(図10を参照)は、復号装置4の不足多視点画像生成部62によって復元されている。もちろん、符号化前の元の多視点画像(画像変換部53から出力される段階の画像)と、復元後の画像(不足多視点画像生成部62から出力される段階の画像)とは、同一ではない。しかしながら、不足多視点画像生成部62が復元する視点の画像は、近似的な画像として実用上充分であると考えられる。また、復元された視点の画像は、元々、要素画像外成分を含んでいた視点の画像であり、要素画像外成分減算部63における処理で減算の対象(被減数の画像)である。
FIG. 12 is a schematic view showing a group of multi-viewpoint images as a result of restoration on the decoding device side. As shown in the figure, the image of the viewpoint (see FIG. 10) excluded by the multi-viewpoint
以上説明したように、本実施形態では、多視点画像符号化部55が符号化処理する多視点画像の数を少なくすることにより、符号化後(圧縮後)のデータのサイズを小さくすることができる。また、要素画像外成分を含む視点画像には高周波成分が多く存在するため、そのような視点の画像を符号化せずに済むことで、高効率な符号化を行うことが可能になる。したがって、符号化後のデータを通信回線等によって伝送する場合には、伝送効率を良くすることができる。また、符号化後のデータを記録媒体等に記録する場合には、記録効率を良くすることができる。
As described above, in the present embodiment, the size of the coded (compressed) data can be reduced by reducing the number of multi-viewpoint images to be coded by the multi-viewpoint
次に、実施形態の変形例について説明する。
[変形例1]
第3実施形態において、予め生成したマスク画像を、符号化装置3側のマスク画像記憶部13と復号装置4側のマスク画像記憶部14とに記憶させておくようにした。
変形例として、符号化装置3側で、マスク画像をも符号化し、符号化されたマスク画像を復号装置4側に渡すようにしても良い。復号装置4側では、取得した符号からマスク画像を復号し、要素画像外成分減算部63においてそのマスク画像を使用する。
Next, a modified example of the embodiment will be described.
[Modification 1]
In the third embodiment, the mask image generated in advance is stored in the mask
As a modification, the mask image may also be encoded on the
[変形例2]
上記の実施形態では、画像サイズ変換部が画像サイズを変換することにより、画素のピッチがレンズアレイを構成するレンズのサンプリング点に合うようにした。
変形例として、画素のピッチを、レンズアレイを構成するレンズのサンプリング点に合わせるためのサイズ変換の処理を省略するようにしても良い。
サイズ変換の処理を省略した場合にも、マスク画像に基づいて、要素画像外成分を減算する処理(第1実施形態の要素画像外成分減算部23)や、多視点画像を選定する処理(第2実施形態の多視点画像選定部54)の効果を得ることはできる。
ただし、下に説明するように、画像サイズを変換する処理を行うことにより、ノイズを軽減したり、符号化効率を上げたりすることができる。
[Modification 2]
In the above embodiment, the image size conversion unit converts the image size so that the pixel pitch matches the sampling points of the lenses constituting the lens array.
As a modification, the size conversion process for matching the pixel pitch to the sampling points of the lenses constituting the lens array may be omitted.
Even when the size conversion process is omitted, the process of subtracting the components outside the element image based on the mask image (the element image outside
However, as described below, noise can be reduced and coding efficiency can be improved by performing a process of converting the image size.
図13は、画像サイズの変換処理を行わない場合に得られる多視点画像群の例を示す概略図である。図示する例は、縦8個×横8個で、計64個の視点で構成される多視点画像群である。
図14は、画像サイズの変換処理を行った場合に得られる多視点画像群の例を示す概略図である。図示する例は、縦8個×横8個で、計64個の視点で構成される多視点画像群である。
図13に示す画像と図14に示す画像とを比較すると、画像サイズの変更を行わなかった場合の多視点画像群では、ランダムなノイズが多く発生していることがわかる。これは、デルタ配列のレンズアレイが用いられているために、サイズ変換の処理を行わない場合(図13の場合)には、表示するモニターの画素ピッチとレンズアレイを構成するレンズのサンプリング点が一致しないことによる。つまり、この両者が一致しないと、要素画像外成分が拡散してしまうことによりランダムなノイズとして表示されてしまう。一方、サイズ変換の処理を行う場合(図14の場合)には、表示するモニターの画素ピッチとレンズアレイを構成するレンズのサンプリング点が一致する(そのようにサイズを変換する)ため、得られた多視点画像群では要素画像外の成分が特定の位置に集中している。
FIG. 13 is a schematic view showing an example of a multi-viewpoint image group obtained when the image size conversion process is not performed. The illustrated example is a multi-viewpoint image group consisting of a total of 64 viewpoints, which are 8 vertical × 8 horizontal.
FIG. 14 is a schematic view showing an example of a multi-viewpoint image group obtained when the image size conversion process is performed. The illustrated example is a multi-viewpoint image group consisting of a total of 64 viewpoints, which are 8 vertical × 8 horizontal.
Comparing the image shown in FIG. 13 with the image shown in FIG. 14, it can be seen that a large amount of random noise is generated in the multi-viewpoint image group when the image size is not changed. This is because a delta-arranged lens array is used, and when the size conversion process is not performed (in the case of FIG. 13), the pixel pitch of the monitor to be displayed and the sampling points of the lenses constituting the lens array are set. Due to inconsistency. That is, if these two do not match, the components outside the element image are diffused and displayed as random noise. On the other hand, when the size conversion process is performed (in the case of FIG. 14), the pixel pitch of the displayed monitor and the sampling points of the lenses constituting the lens array match (the size is converted in that way), so that the result is obtained. In the multi-viewpoint image group, the components outside the element image are concentrated at a specific position.
なお、多視点画像符号化部55が画像の符号化をする際には、符号化処理の基本単位となるブロックのサイズが大きくなるほど符号化を効率よく行うことができる。したがって、サイズ変換処理を行った場合の多視点画像群(図14)では要素画像外成分が局所に集中する傾向があるため、サイズ変換処理を行わない場合の多視点画像群(図13)よりも高効率な符号化を行うことができる。
When the multi-viewpoint
[変形例3]
前述の各実施形態において、画像サイズ変換部(符号22,32,43,52,65)は、隣接する画素ないしは近傍の画素の画素値の内挿により、サイズ変換後の画素値を算出することとした。
本変形例では、画像サイズ変換部は、画像サイズを変換する際に上記の内挿処理を行わず、代わりに、隣接する画素の画素値を参照し、その画素値をそのままコピーする。つまり、画像サイズ変換部は、画像サイズを変換する際に、変換前の要素画像に含まれる画素の画素値を、変換後の要素画像に含まれる対応する位置の画素の画素値とする。画素値を参照してその画素値をそのままコピーする処理は、画素数が減る方向の画像サイズ変換においても、画素数が増える方向の画像サイズ変換においても、適用可能である。つまり、画素数が減る方向に画像サイズを変換する場合には、参照されずに捨てられる画素値が存在し得る。また、画素数が増える方向に画像サイズを変換する場合には、同じ画素値を持つ複数の画素が生成される箇所が少なくとも画像内の一部において生じ得る。
このような画像サイズの変換を行う場合、画素数が増える場合に追加される画素位置の情報さえあれば、その反対方向への変換(画素数が減るような変換)を可逆変換とすることができる。
[Modification 3]
In each of the above-described embodiments, the image size conversion unit (
In this modification, the image size conversion unit does not perform the above interpolation processing when converting the image size, but instead refers to the pixel values of adjacent pixels and copies the pixel values as they are. That is, when the image size is converted, the image size conversion unit sets the pixel value of the pixel included in the element image before conversion as the pixel value of the pixel at the corresponding position included in the element image after conversion. The process of referring to the pixel value and copying the pixel value as it is can be applied to both the image size conversion in the direction of decreasing the number of pixels and the image size conversion in the direction of increasing the number of pixels. That is, when the image size is converted in the direction in which the number of pixels decreases, there may be pixel values that are discarded without being referenced. Further, when the image size is converted in the direction of increasing the number of pixels, a portion where a plurality of pixels having the same pixel value are generated may occur at least in a part of the image.
When performing such image size conversion, if there is information on the pixel position added when the number of pixels increases, the conversion in the opposite direction (conversion that reduces the number of pixels) can be regarded as reversible conversion. can.
ここで、本変形例における画素位置の計算について説明する。
図15は、画像サイズの変換の前後における画素の位置関係を説明するための概略図である。同図(a)は、画像サイズ変換前の、要素画像の並びを平面視した平面図である。
同図(b)は、画像サイズ変換後の、要素画像の並びを平面視した平面図である。同図(a)および(b)のそれぞれにおいて、要素画像はデルタ配列で配置されている。各要素画像を円形として、その直径のサイズがRであるとき、このデルタ配列の要素画像の縦方向のピッチ(縦方向のレンズピッチ)は{R・(SRQT(3)/2)}である。同図(a)における縦方向のレンズピッチがA画素分に相当し、同図(b)における縦方向のレンズピッチがB画素分に相当するとき、サイズ変換によって新たに追加される画素の位置は、下の式(1)を用いて表される。なお、ここで、B>Aである。
Here, the calculation of the pixel position in this modification will be described.
FIG. 15 is a schematic diagram for explaining the positional relationship of the pixels before and after the conversion of the image size. FIG. 3A is a plan view of the arrangement of the element images before the image size conversion.
FIG. 3B is a plan view of the arrangement of the element images after the image size conversion. In each of the figures (a) and (b), the element images are arranged in a delta array. Each element image as a circular, when the size of the diameter is R, the vertical pitch of the elemental images of the delta arrangement (the vertical direction of the lens pitch) is {R · (SRQT (3) / 2)} be. When the vertical lens pitch in the figure (a) corresponds to the A pixel and the vertical lens pitch in the figure (b) corresponds to the B pixel, the positions of the pixels newly added by the size conversion. Is expressed using the following equation (1). Here, B> A.
式(1)の不等式の両辺において、床関数(floor function)を用いている。床関数は、1個の実引数を取る関数であり、その実引数を超えない最大の整数を返す関数である。
サイズ変換の際に新たに画素が追加される画素位置は、上記の式(1)を満たすときのnの値である。
The floor function is used on both sides of the inequality in equation (1). The floor function is a function that takes one actual argument and returns the maximum integer that does not exceed the actual argument.
The pixel position to which a new pixel is added at the time of size conversion is the value of n when the above equation (1) is satisfied.
なお、ここでは、縦方向のサイズを変換する場合について具体的に説明しているが、横方向のサイズ変換でも、同じ考え方を適用できる。 Although the case of converting the size in the vertical direction is specifically described here, the same concept can be applied to the size conversion in the horizontal direction.
図16は、画像サイズ変換部によるサイズ変換の処理において、画素値の参照関係を示す概略図である。なお、同図は、サイズ変換前とサイズ変換後のそれぞれにおける画素値参照の関係を、画素配列の断面図で表している。同図は、要素画像群の一部分のみの断面を示す。同図において、破線H1,H2,H3のそれぞれは、要素画像の境界を示す。つまり、図示する断面において、破線H1からH2までの範囲が、1つの要素画像に対応する。また、破線H2からH3までの範囲が、別の1つの要素画像に対応する。要素画像の中心部から隣接する他の要素画像の中心部までの距離が、レンズピッチ(要素画像のピッチ)である。なお、破線H1からH2までの距離と、破線H2からH3までの距離もまた、それぞれ、レンズピッチに等しい。そして、図示する例では、サイズ変換前におけるレンズピッチは、5.5画素分(Aの値)に対応する。また、サイズ変換後におけるレンズピッチは、6.0画素分(Bの値)に対応する。つまり、サイズ変換後において、レンズピッチが、画素の整数個分に等しい。つまり、本例で、サイズ変換前においては複数の要素画像に属する画素が存在するのに対して、サイズ変換後においては、ある画素は必ず1つの要素画像のみに属する。なお、本例では、わかりやすく図示するために、A=5.5、B=6.0としている。実際には、1要素画像は、縦・横それぞれ、数十個ないしは数百個の画素の配列として構成されていてもよい。 FIG. 16 is a schematic view showing a reference relationship of pixel values in the size conversion process by the image size conversion unit. In addition, this figure shows the relationship of the pixel value reference before and after the size conversion by the cross-sectional view of the pixel array. The figure shows a cross section of only a part of the element image group. In the figure, each of the broken lines H1, H2, and H3 indicates the boundary of the element image. That is, in the cross section shown, the range from the broken lines H1 to H2 corresponds to one element image. Further, the range from the broken line H2 to H3 corresponds to another element image. The distance from the center of the element image to the center of another adjacent element image is the lens pitch (pitch of the element image). The distance from the broken line H1 to H2 and the distance from the broken line H2 to H3 are also equal to the lens pitch, respectively. Then, in the illustrated example, the lens pitch before the size conversion corresponds to 5.5 pixels (value of A). Further, the lens pitch after the size conversion corresponds to 6.0 pixels (value of B). That is, after the size conversion, the lens pitch is equal to an integer number of pixels. That is, in this example, while there are pixels belonging to a plurality of element images before the size conversion, a certain pixel always belongs to only one element image after the size conversion. In this example, A = 5.5 and B = 6.0 are set for easy understanding. Actually, the one-element image may be configured as an array of tens or hundreds of pixels in each of the vertical and horizontal directions.
同図において、便宜上、各画素に番号を付与している。
サイズ変換前においては1要素画像が5.5画素に相当する。第1の要素画像(破線H1からH2までの範囲)は、1番から5番までの画素を含み、また6番の画素の上半分を含んでいる。また、第2の要素画像(破線H2からH3までの範囲)は、6番の画素の下半分を含み、また7番から11番までの画素を含んでいる。
サイズ変換後においては1要素画像が6.0画素に相当する。第1の要素画像(破線H1からH2までの範囲)は、1番から6番までの画素を含んでいる。また、第2の要素画像(破線H2からH3までの範囲)は、7番から12番までの画素を含んでいる。
In the figure, for convenience, each pixel is numbered.
Before the size conversion, the one-element image corresponds to 5.5 pixels. The first element image (range from broken lines H1 to H2) includes
After the size conversion, the one-element image corresponds to 6.0 pixels. The first element image (range from broken line H1 to H2) includes
画像サイズ変換部は、サイズ変更前の画像の画素値を参照し、サイズ変更後の画像を生成する。図示する例では、サイズ変更後の画像における12番の画素が新たに追加された画素である。画素数が増える方向にサイズ変更する場合、画像サイズ変換部は、常に、レンズの端(要素画像の端)の位置に、追加される画素を配置する。サイズ変換後の画像において、1番から11番までの画素は、それぞれ、サイズ変換前の1番から11番までの画素を参照した画素値を有する。つまり、画像サイズ変換部は、変換前の1番の画素の画素値を変換後の1番の画素の画素値とし、変換前の2番の画素の画素値を変換後の2番の画素の画素値とし、以下同様である。そして、サイズ変換後の画像における12番の画素は、サイズ変換前の画像における11番の画素を参照した画素値を有する。
The image size conversion unit refers to the pixel value of the image before resizing and generates the image after resizing. In the illustrated example, the 12th pixel in the resized image is a newly added pixel. When the size is changed in the direction of increasing the number of pixels, the image size conversion unit always arranges the added pixels at the positions of the ends of the lens (edges of the element images). In the image after the size conversion, the
このように、追加された画素の位置は計算により求まるため、サイズ変更後の画像を基に、サイズ変更前の画像を完全に復元できる。つまり、本変形例では、画素数が増える方向のサイズ変換の処理は、可逆変換である。 In this way, since the positions of the added pixels can be obtained by calculation, the image before resizing can be completely restored based on the image after resizing. That is, in this modification, the process of size conversion in the direction of increasing the number of pixels is reversible conversion.
図17は、本変形例によってサイズ変更処理した要素画像群を基に生成された多視点画像群を示す概略図である。図示する例では、多視点画像群は、縦8個、横8個の合計64個の視点による多視点画像を含む。図示する多視点画像群の基となった要素画像群は、縦方向および横方向の両方向にサイズ変換処理したものである。つまり、サイズ変換処理によって、縦方向および横方向の両方向に、画素が追加されている。そして、サイズ変換処理によって追加された画素を含む多視点画像群を、同図において、枠で囲んで示している。つまり、8行×8列に配置された多視点画像群のうち、第8行のすべての視点の画像と、第8列のすべての視点の画像とに、サイズ変換処理によって追加された画素が含まれる。符号化する際に、これらの視点の画像の圧縮率を高くしても(つまり、符号のサイズを小さくしても)、復号する側では追加された画素はまた削除されるため、画質劣化を抑制することができる。 FIG. 17 is a schematic view showing a multi-viewpoint image group generated based on the element image group that has been resized according to the present modification. In the illustrated example, the multi-viewpoint image group includes a multi-viewpoint image from a total of 64 viewpoints, 8 in the vertical direction and 8 in the horizontal direction. The element image group that is the basis of the multi-viewpoint image group shown is the one that has undergone size conversion processing in both the vertical direction and the horizontal direction. That is, pixels are added in both the vertical direction and the horizontal direction by the size conversion process. Then, the multi-viewpoint image group including the pixels added by the size conversion process is shown by enclosing it in a frame in the figure. That is, among the multi-viewpoint image group arranged in 8 rows × 8 columns, the pixels added by the size conversion process are added to the images of all the viewpoints in the 8th row and the images of all the viewpoints in the 8th column. included. Even if the compression ratio of the images at these viewpoints is increased (that is, the size of the code is reduced) during coding, the added pixels are also deleted on the decoding side, resulting in deterioration of image quality. It can be suppressed.
つまり、この変形例3によれば、次の効果が得られる。
第1の効果は、画像サイズを変換する処理において、変換前の画素の画素値をそのまま変換後の画素の画素値とするため、サイズ変換処理での演算処理量が少なくて済む。つまり、画素値の内挿のための演算処理を行わなくて済む。
第2の効果は、画像サイズの変換を、可逆変換とすることができる。
第3の効果は、サイズ変換処理の際に追加された画素の画質劣化は、最終的な符号劣化とならないことである。これは、符号化側におけるサイズ変換処理の際に追加された画素は、復号側におけるサイズ変換処理の際に削除されるためである。
That is, according to this
The first effect is that in the process of converting the image size, the pixel value of the pixel before conversion is used as it is as the pixel value of the pixel after conversion, so that the amount of calculation processing in the size conversion process can be reduced. That is, it is not necessary to perform arithmetic processing for interpolation of pixel values.
The second effect is that the image size conversion can be a reversible conversion.
The third effect is that the deterioration of the image quality of the pixels added during the size conversion process does not result in the final code deterioration. This is because the pixels added during the size conversion process on the coding side are deleted during the size conversion process on the decoding side.
また、符号化側におけるサイズ変換処理の際に追加された画素を含む多視点画像の情報を、符号に含めないようにしてもよい。これは、例えば図9に示した多視点画像選定部54が、追加された画素を含む多視点画像を選定しないようにすることで、実施できる。
Further, the information of the multi-viewpoint image including the pixels added during the size conversion process on the coding side may not be included in the code. This can be done, for example, by preventing the multi-viewpoint
なお、上述した各実施形態およびその変形例における要素画像群生成装置、符号化装置、復号装置、マスク画像生成装置の機能をコンピューターで実現するようにしても良い。
その場合、これら各装置の機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
The functions of the element image group generating device, the coding device, the decoding device, and the mask image generating device in each of the above-described embodiments and modifications thereof may be realized by a computer.
In that case, a program for realizing the functions of each of these devices may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed. .. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.
本発明は、例えば放送事業やコンテンツ配信事業等、立体画像(映像)によるコンテンツを生成する事業に利用することが可能である。 The present invention can be used in businesses that generate content using stereoscopic images (videos), such as broadcasting businesses and content distribution businesses.
1,2 要素画像群生成装置
3 符号化装置
4 復号装置
10,11,13,14 マスク画像記憶部
21 多視点画像群取得部
22 画像サイズ変換部
23 要素画像外成分減算部
31 画像変換部
32 画像サイズ変換部
33 要素画像群出力部
40 マスク画像生成装置
41 3次元モデル記憶部
42 要素画像群生成部
43 画像サイズ変換部
44 画像変換部
45 反転部
46 マスク画像出力部
51 要素画像群取得部
52 画像サイズ変換部
53 画像変換部
54 多視点画像選定部
55 多視点画像符号化部
61 多視点画像復号部
62 不足多視点画像生成部
63 要素画像外成分減算部
64 画像変換部
65 画像サイズ変換部
66 要素画像群出力部
1, 2, element image
Claims (4)
前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、
前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、
前記マスク画像記憶部に記憶されている前記マスク画像の、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を表す画素値を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について当該視点の画像の領域に対応する前記マスク画像の領域の画素値の平均値を算出し、当該平均値は要素画像外成分が所定値以下であることを表すか否かを判定し、前記要素画像外成分が前記所定値以下であることを表す視点の画像のみを選定して出力する多視点画像選定部と、
前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、
を具備することを特徴とする符号化装置。 An element image group acquisition unit that acquires an element image group consisting of element images,
An image conversion unit that converts the element image group acquired by the element image group acquisition unit into a multi-viewpoint image group, and an image conversion unit.
A mask image storage unit that stores a mask image that holds the degree to which components other than the element image are included in the pixels in the multi-viewpoint image group as pixel values of the pixels.
The image conversion unit by referring to a pixel value indicating the degree to which components other than the element image of the mask image stored in the mask image storage unit are included in the pixels in the multi-viewpoint image group. For the image of each viewpoint included in the multi-viewpoint image group output from, the average value of the pixel values of the area of the mask image corresponding to the area of the image of the viewpoint is calculated, and the average value is determined by the component outside the element image. A multi-viewpoint image selection unit that determines whether or not it represents a value or less, and selects and outputs only an image of a viewpoint indicating that the component outside the element image is equal to or less than the predetermined value.
A multi-viewpoint image coding unit that encodes and outputs only the image of the viewpoint selected by the multi-viewpoint image selection unit in the multi-viewpoint image group, and
A coding device comprising.
をさらに具備し、
前記画像変換部は、前記画像サイズ変換部によってサイズが変換された前記要素画像群を、前記多視点画像群に変換する、
ことを特徴とする請求項1に記載の符号化装置。 For each of the element images included in the element image group acquired by the element image group acquisition unit, at least one of the vertical direction and the horizontal direction so that the pitch of the element image is an integral multiple of the pixel pitch. Image size converter, which converts image size by inserting or deleting pixels in
Further equipped,
The image conversion unit converts the element image group whose size has been converted by the image size conversion unit into the multi-viewpoint image group.
The coding apparatus according to claim 1.
ことを特徴とする請求項2に記載の符号化装置。 When converting the image size, the image size conversion unit sets the pixel value of the pixel included in the element image before conversion as the pixel value of the pixel at the corresponding position included in the element image after conversion.
The coding apparatus according to claim 2.
要素画像からなる要素画像群を取得する要素画像群取得部と、
前記要素画像群取得部が取得した前記要素画像群を、多視点画像群に変換する画像変換部と、
前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を前記画素の画素値として保持するマスク画像を記憶するマスク画像記憶部と、
前記マスク画像記憶部に記憶されている前記マスク画像の、前記要素画像の外の成分が前記多視点画像群の中の画素に含まれる程度を表す画素値を参照することにより、前記画像変換部から出力される多視点画像群に含まれる各視点の画像について当該視点の画像の領域に対応する前記マスク画像の領域の画素値の平均値を算出し、当該平均値は要素画像外成分が所定値以下であることを表すか否かを判定し、前記要素画像外成分が前記所定値以下であることを表す視点の画像のみを選定して出力する多視点画像選定部と、
前記多視点画像群のうちの前記多視点画像選定部によって選定された視点の画像のみを符号化して出力する多視点画像符号化部と、
を具備する符号化装置として機能させるためのプログラム。 Computer,
An element image group acquisition unit that acquires an element image group consisting of element images,
An image conversion unit that converts the element image group acquired by the element image group acquisition unit into a multi-viewpoint image group, and an image conversion unit.
A mask image storage unit that stores a mask image that holds the degree to which components other than the element image are included in the pixels in the multi-viewpoint image group as pixel values of the pixels.
The image conversion unit by referring to a pixel value indicating the degree to which components other than the element image of the mask image stored in the mask image storage unit are included in the pixels in the multi-viewpoint image group. For the image of each viewpoint included in the multi-viewpoint image group output from, the average value of the pixel values of the area of the mask image corresponding to the area of the image of the viewpoint is calculated, and the average value is determined by the component outside the element image. A multi-viewpoint image selection unit that determines whether or not it represents a value or less, and selects and outputs only an image of a viewpoint indicating that the component outside the element image is equal to or less than the predetermined value.
A multi-viewpoint image coding unit that encodes and outputs only the image of the viewpoint selected by the multi-viewpoint image selection unit in the multi-viewpoint image group, and
A program for functioning as an encoding device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020050152A JP6949163B2 (en) | 2016-06-16 | 2020-03-19 | Element image group generator, encoder, decoder, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016120027A JP6751600B2 (en) | 2016-06-16 | 2016-06-16 | Element image group generator, decoder, and program |
JP2020050152A JP6949163B2 (en) | 2016-06-16 | 2020-03-19 | Element image group generator, encoder, decoder, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016120027A Division JP6751600B2 (en) | 2016-06-16 | 2016-06-16 | Element image group generator, decoder, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020108174A JP2020108174A (en) | 2020-07-09 |
JP6949163B2 true JP6949163B2 (en) | 2021-10-13 |
Family
ID=71449610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020050152A Active JP6949163B2 (en) | 2016-06-16 | 2020-03-19 | Element image group generator, encoder, decoder, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6949163B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5452801B2 (en) * | 2010-04-28 | 2014-03-26 | 日本放送協会 | Stereoscopic image generating apparatus and program thereof |
JP2012088549A (en) * | 2010-10-20 | 2012-05-10 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image pickup device, stereoscopic image display device, and stereoscopic image pickup and display device |
JP6031260B2 (en) * | 2012-05-31 | 2016-11-24 | 日本放送協会 | Image encoding apparatus and image decoding apparatus |
JP5906139B2 (en) * | 2012-06-20 | 2016-04-20 | 日本放送協会 | Correction apparatus, program thereof, and stereoscopic imaging system |
JP6341598B2 (en) * | 2014-02-26 | 2018-06-13 | 日本放送協会 | Image encoding device, image decoding device, image encoding program, and image decoding program |
-
2020
- 2020-03-19 JP JP2020050152A patent/JP6949163B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020108174A (en) | 2020-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110136066B (en) | Video-oriented super-resolution method, device, equipment and storage medium | |
CN103828359B (en) | For producing the method for the view of scene, coding system and solving code system | |
US8711248B2 (en) | Global alignment for high-dynamic range image generation | |
TWI433544B (en) | Multi-view video coding method, multi-view video decoding method, multi-view video coding apparatus, multi-view video decoding apparatus, multi-view video coding program, and multi-view video decoding program | |
US7075993B2 (en) | Correction system and method for enhancing digital video | |
CN110612722B (en) | Method and apparatus for encoding and decoding digital light field images | |
US8098959B2 (en) | Method and system for frame rotation within a JPEG compressed pipeline | |
EP2668634B1 (en) | Method and system for acquisition, representation, compression, and transmission of three-dimensional data | |
WO2022016350A1 (en) | Light field image processing method, light field image encoder and decoder, and storage medium | |
KR102314703B1 (en) | Joint dictionary generation method for image processing, interlace based high dynamic range imaging apparatus using the joint dictionary and image processing method of the same | |
US8126281B2 (en) | Image processing apparatus, method, and computer-readable medium for generating motion compensation images | |
US20210152848A1 (en) | Image processing device, image processing method, program, and image transmission system | |
US10827161B2 (en) | Depth codec for 3D-video recording and streaming applications | |
JP4965967B2 (en) | Image display system adjustment system | |
WO2012147523A1 (en) | Imaging device and image generation method | |
JP2014086968A (en) | Image processing device, image processing method, and program | |
JP6575999B2 (en) | Lighting information acquisition device, lighting restoration device, and programs thereof | |
JP6979290B2 (en) | Image coding device and image decoding device, as well as image coding program and image decoding program. | |
JP6949163B2 (en) | Element image group generator, encoder, decoder, and program | |
JP2013150071A (en) | Encoder, encoding method, program and storage medium | |
JP6751600B2 (en) | Element image group generator, decoder, and program | |
JP2010176239A (en) | Image processor, image processing method, image encoding method, image decoding method | |
WO2012128209A1 (en) | Image encoding device, image decoding device, program, and encoded data | |
EP3091742A1 (en) | Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant | |
JP4355305B2 (en) | Image processing apparatus, computer program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6949163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |