JP6529374B2 - Encoding apparatus and control method thereof - Google Patents
Encoding apparatus and control method thereof Download PDFInfo
- Publication number
- JP6529374B2 JP6529374B2 JP2015148849A JP2015148849A JP6529374B2 JP 6529374 B2 JP6529374 B2 JP 6529374B2 JP 2015148849 A JP2015148849 A JP 2015148849A JP 2015148849 A JP2015148849 A JP 2015148849A JP 6529374 B2 JP6529374 B2 JP 6529374B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- image
- information
- encoding
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、画像データを圧縮する符号化技術に関するものである。 The present invention relates to a coding technique for compressing image data.
従来から、測距センサやステレオカメラなどから得られる距離画像を符号化する技術が知られている。距離画像を用いれば、撮影していない視点の映像を合成する自由視点画像合成や、人体検出の高精度化、2点間の3次元的な距離の計測等をすることができる。 2. Description of the Related Art Conventionally, techniques for encoding a distance image obtained from a distance measurement sensor, a stereo camera or the like are known. If a distance image is used, it is possible to perform free viewpoint image composition for combining images of viewpoints that are not captured, to improve human body detection accuracy, and to measure a three-dimensional distance between two points.
距離画像の符号化に関する標準技術として、3D Video Coding(以下、3DV)の策定が行われている。3DVでは自由視点映像合成を高画質に行うための距離画像を生成するが、H.264等のRGB画像の符号化技術と同様、周波数変換を行う為、距離画像のエッジ付近で大きな劣化が生じやすい。このように一部の画素に大きな劣化が発生する圧縮方式は、距離画像の利用方法によっては大きな問題となる。例えば、距離画像を利用して2点間の3次元的な距離の計測を行う場合は、圧縮によって距離情報が大きく劣化した画素値を使用すると、その計測結果も大きく変わってしまう。 3D Video Coding (hereinafter referred to as 3DV) has been formulated as a standard technology for coding of distance images. In 3DV, a distance image for performing free-viewpoint image synthesis with high image quality is generated. In the same manner as the H.264, etc. coding technology for RGB images, since frequency conversion is performed, large deterioration tends to occur near the edge of the distance image. As described above, the compression method in which large deterioration occurs in some pixels is a serious problem depending on how to use the distance image. For example, in the case of measuring a three-dimensional distance between two points using a distance image, if pixel values whose distance information is greatly deteriorated by compression are used, the measurement results will also be greatly changed.
一方で画像の画素値の圧縮による最大歪みを、任意の値に抑える技術が知られている。JPEG−LS(非特許文献1)におけるニアロスレス(準可逆)モードがその代表である。JPEG−LSのニアロスレスモードを距離画像に適用すれば、圧縮により発生する距離画像の各画素の誤差の最大値が抑制され、その結果2点間の距離の計測においても、圧縮により発生する2点間の測距誤差の最大値を、制御することが出来る。 On the other hand, there is known a technique for suppressing the maximum distortion due to the compression of pixel values of an image to an arbitrary value. The near-lossless (quasi-reversible) mode in JPEG-LS (Non-Patent Document 1) is a representative thereof. If the near-lossless mode of JPEG-LS is applied to the distance image, the maximum value of the error of each pixel of the distance image generated by the compression is suppressed, and as a result, also in the measurement of the distance between two points The maximum value of ranging error between points can be controlled.
しかし、JPEG−LSのニアロスレスモードでは、画素値に依らず圧縮により発生する誤差を一定の値に保証する(以下、定数精度保証)ことしかできない。従って、画素値の圧縮による最大歪みを、画素値に応じて異なる許容誤差内に収まることを保証する(以下、画素値に応じた精度保証)符号化が出来ず、必要以上の精度を保つことで符号化データ量の増加する場合がある。 However, in the near lossless mode of JPEG-LS, it is only possible to guarantee an error generated by compression to a constant value (hereinafter, constant accuracy guarantee) regardless of the pixel value. Therefore, the maximum distortion due to the compression of the pixel value can be guaranteed to fall within a different tolerance according to the pixel value (hereinafter, the accuracy guarantee according to the pixel value can not be encoded, and the accuracy beyond the necessity is maintained). May increase the amount of coded data.
ここで、距離情報の符号化の例を以下で述べる。距離情報の符号化においては、2視点の画像からステレオマッチングを行った結果得られる視差(=異なる画像間の対応点のずれ)を画素値としてもつ視差画像で距離情報を符号化することが一般的である。視差表現は、近距離ほど距離情報の分解能が高い表現であり、ステレオマッチングの原理に適した表現である。視差画像に対して、画素値によらず一定の誤差を保証する符号化を適用した場合は、近距離ほど距離情報の圧縮による劣化が少なく、遠距離ほど距離情報の圧縮による劣化が大きくなるという性質がある。一方で、用途によっては、近距離でもある程度の誤差を許容することで、距離情報のデータ量を削減したいという要求があると考えられる。例えば視差画像から得た距離情報を使って人体の身長を測る場合、近距離でも1cm程度の誤差は許容できると考えられる。このとき1cmの誤差を許容することは、視差表現においては、近距離の場合は画素値で大きなずれ(例えば3)、遠距離の場合は画素値小さなずれ(例えば1)が許容できることに対応する。しかし、定数精度保証符号化では、例えば近距離では±3の誤差を、遠距離では±1の誤差を許容するといった具合に、画素値に応じた精度保証を行うことができないため、そのような要求に応えるのが難しい。 Here, an example of coding of distance information will be described below. In encoding of distance information, it is general to encode distance information with a parallax image having as a pixel value the parallax (= shift of corresponding points between different images) obtained as a result of performing stereo matching from images of two viewpoints It is The parallax representation is a representation that the resolution of distance information is higher at closer distances, and is a representation suitable for the principle of stereo matching. When encoding that guarantees a constant error regardless of the pixel value is applied to the parallax image, the deterioration due to the compression of the distance information decreases as the distance increases, and the deterioration due to the compression of the distance information increases as the distance increases. There is a nature. On the other hand, depending on the application, it is considered that there is a demand to reduce the data amount of distance information by allowing a certain degree of error even at a short distance. For example, when measuring the height of a human body using distance information obtained from a parallax image, an error of about 1 cm is considered to be acceptable even at a short distance. At this time, to allow an error of 1 cm corresponds to the fact that in parallax expression, a large deviation (for example, 3) in the pixel value is possible for short distances, and a small deviation (for example 1) in pixel values for long distances. . However, in constant precision assurance coding, for example, an error of ± 3 at a short distance, or an error of ± 1 at a long distance, etc. can not be guaranteed because accuracy can not be guaranteed according to the pixel value. It is difficult to meet the demand.
この課題を解決するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
画像を、画素値に応じた許容誤差を定める許容誤差情報に従って符号化する画像符号化装置であって、
符号化対象の画像の画素値を、第2の画素値に変換するための画素値変換情報を、前記許容誤差情報に応じて設定する設定手段と、
符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第2の画像を生成する画像変換手段と、
符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第2の画像を符号化する第1の符号化制御手段と、
前記画素値変換情報に基づき、前記第2の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、当該画素値逆変換情報を符号化する第2の符号化制御手段とを有し、
前記設定手段は、前記第2の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする。
In order to solve this problem, for example, the coding apparatus of the present invention has the following configuration. That is,
What is claimed is: 1. An image coding apparatus for coding an image according to tolerance information defining a tolerance according to a pixel value, the image coding apparatus comprising:
Setting means for setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion unit that generates a second image configured of the converted pixels by converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means for encoding the second image by using encoding means for encoding the difference between pixel values before and after encoding within a preset constant δ;
Second, pixel value reverse conversion information for converting a pixel value of the second image into a value related to a pixel value of the input image is generated based on the pixel value conversion information, and the pixel value reverse conversion information is encoded. And encoding control means,
The setting means sets, as the pixel value conversion information, information for performing conversion such that the pixel value deviation of the input image falls within an allowable error when the pixel value of the second image is shifted by δ. It is characterized by
本発明によれば、画素値の圧縮による最大歪みを、画素値毎に応じた任意の許容誤差に抑えながら符号化することが可能になる。 According to the present invention, it is possible to encode while suppressing the maximum distortion due to compression of pixel values to an arbitrary tolerance according to each pixel value.
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の1つである。 Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings. Each embodiment described below shows the example which carried out the present invention concretely, and is one of the concrete embodiments of the composition indicated in a claim.
[第1の実施形態]
本実施形態では、視差画像を取得し、非可逆圧縮を行い、復号した視差画像から3D点群を構成し、任意の2点間の3次元空間中の距離を計測する例を述べる。
First Embodiment
In this embodiment, an example will be described in which a parallax image is acquired, non-reversible compression is performed, a 3D point group is configured from the decoded parallax image, and a distance in arbitrary three-dimensional space between two points is measured.
図1は本実施形態に関わる符号化装置及びその周辺装置のブロック図である。以下、同図を構成する各要素とその機能を説明する。 FIG. 1 is a block diagram of an encoding device and its peripheral devices according to the present embodiment. Hereinafter, each element which comprises the figure and its function are demonstrated.
多視点画像撮影部108において、多視点のカラー画像を撮影する。そして、視差推定部109でステレオマッチングを行い、多視点画像から視差画像を推定する。ここで、視差画像とは、各画素の画素値に視差を持たせた画像である。視差とは、異なる2つの視点で同一の被写体(点)を撮影した際に、一方の視点に映った点が、もう一方の視点での撮影画像のどこに写っているかを示す量である。一般には異なる画像間で、同一の被写体が写る点(以下、対応点)同士が何画素ずれているかで表現される。より具体的には、光軸が平行で、水平軸に沿って基線長B[mm]の間隔を置いて並べた2つのカメラで、撮影面(光軸に垂直かつ、2つのカメラを通る平面)からd[mm]離れた点を撮影した場合、2つの撮影画像内の対応点の視差l[pix]は、
l=BFW/(dC)
である。ここで,Fはカメラの焦点距離[mm]、Wは撮影画像の幅[pix]、Cは撮影素子の幅[mm]である。実用上は視差画像のビット深度を小さくする(階調数を少なくする)目的で視差画像の画素値lではなく、lを定数Aにより平行移動させた
n=l+A
を用いることが良くある。そこで本明細書中では、このnを視差と呼ぶこととする。なお、この場合、上記で述べた距離と視差の関係は
n=BFW/(dC)+A …(1)
となる。以下では、視差nを用いて議論を進める。
A multi-viewpoint
l = BFW / (dC)
It is. Here, F is the focal length of the camera [mm], W is the width of the captured image [pix], and C is the width of the imaging element [mm]. In practice, for the purpose of reducing the bit depth of the parallax image (reducing the number of gradations), n = l + A in which l is moved in parallel by the constant A, not the pixel value l
Is often used. Therefore, in the present specification, this n is referred to as disparity. In this case, the relationship between the distance and the parallax described above is n = BFW / (dC) + A (1)
It becomes. In the following, discussion will be made using disparity n.
なお、カメラが左右(水平)に正確に配置されている場合は、対応点の垂直方向の視差は0であることが保証できる(エピポーラ拘束)。従ってここで説明した視差は、対応点同士の水平方向のずれを示していることになる。 In addition, when the camera is correctly arrange | positioned right and left (horizontal), it can be guaranteed that the parallax of the orthogonal | vertical direction of a corresponding point is 0 (epipolar restraint). Therefore, the parallax described here indicates the horizontal shift of the corresponding points.
また、多視点画像撮影部108及び視差推定部109の目的は、視差画像を得ることであるため、上記の方式を置き換えても構わない。視差画像は、撮影装置と被写体の距離を式1に基づく変換を施して表現した量であるため、上で述べた、多視点画像間のステレオマッチング以外の距離情報取得技術も広く用いることができる。例えば、パターン照射した光を別の視点のカメラから捉え、パターンの歪み具合から距離を計測するアクティブステレオ方式や、レーザーが往復してくるまでの時間から距離を推測するタイムオブフライト方式などがある。
In addition, since the purpose of the multi-viewpoint
次に符号化装置101について説明する。本実施形態の符号化装置101は、画像入力部102を介して符号化対象となる視差画像を入力する。そして、符号化装置101は、許容誤差情報取得部105により取得した許容誤差情報に従い、入力した視差画像を圧縮符号化して符号データを生成し、その符号データを出力する。ここで許容誤差情報とは、画素値毎に、許容誤差を指定する情報であり、関数もしくはテーブル等で表現されるものとする。また、符号化装置101は、復号した際に元の画素に対して許容誤差に戻すための情報を生成し、それを符号化する。そして、符号化装置101は、これら2つの符号化データ、つまり、視差画像の符号化データ及び許容誤差に戻すための情報の符号化データを多重化して出力する。
Next, the
実施形態における符号化装置101の特徴は、視差画像を、その視差画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報取得部105が取得した許容誤差情報によって指定される値以下に抑えて、符号化する点にある。それを実現するため、まず、画素値変換情報設定部106(設定手段に相当する)が、許容誤差情報に応じて、入力視差画像の画素値を、第2の画素値に変換する為の画素値変換情報を設定する。画素値変換情報は、視差画素値を第2の画素値への変換を関数やテーブルで表現したものである。次に画像変換部103が、入力視差画像の各画素を画素値変換情報に基づいて変換し、その変換後の画素で構成される第2の画像を生成する。そして、画像符号化部104(第1の符号化制御手段に相当する)は、生成された第2の画像を、画素値の圧縮によるズレが定数δ以内に収まることを保証しながら画像を圧縮する定数精度保証符号化を行う。画像符号化部104は公知技術として挙げたJPEG−LSを用いれば良い。なお、δは任意の値で良く、許容誤差情報から算出しても良いし、事前に定めておいても良い。また、δ=0の場合の符号化は可逆符号化を意味するが、その場合でも符号化装置101は問題なく機能する。画素値に応じた精度保証符号化を行うためには、画素値変換情報設定部106が重要な役割を持つ。画素値変換情報設定部106は、第2の画素値をδ変化させ、それに画素値変換情報で定まる逆変換を施して復号画素値を得た際に、復号画素値と入力視差画像の画素値のズレが許容誤差以内に収まる様に、画素値変換情報を定める。画素値逆変換情報符号化部107(第2の符号化制御手段に相当する)は、第2の画素値を意味のある値に変換する為の情報(以下、画素値逆変換情報)を可逆符号化する。すなわち、画素値逆変換情報符号化部107は、画素値変換情報設定部106の逆変換を特定するための情報を可逆符号化する。なお「意味のある値」とは多くの場合、入力視差画像の画素値を意味する。可逆符号化の方式は特に問わない。また、この画素値逆変換情報は、関数やテーブルの形で与えられる。
The feature of the
実施形態における符号化装置101が出力する符号データには次の2つが含まれる。
(1)画像符号化部104から得られる、第2の画像を復元するための情報
(2)画素値逆変換情報符号化部107から得られる、画素値逆変換情報を復元するための情報
なお、符号化データの出力先は、メモリカード等の記憶媒体とするが、ネットワークであっても構わず、その種類は問わない。
The following two are included in code data output from the
(1) Information for restoring the second image obtained from the image coding unit 104 (2) Information for restoring pixel value reverse conversion information obtained from the pixel value inverse conversion
図3は上記の符号データを復号する復号装置301の構成を示している。復号しようとする符号データは上記の通りメモリカードから入力するものとするが、ネットワークを介して受信しても構わず、入力源の種類は問わない。いずれにしても、復号装置301は符号データを入力し、その画像復号部302が第2の画像を復元する。そして、画素値逆変換情報復号部305が画素値逆変換情報を復元する。そして、画像逆変換部303は、画素値逆変換情報によって第2の画像の逆変換を施し、視差画像を復元する。この復号処理で得られた視差画像の画素値は、符号化装置で符号化対象の視差画像の画素値に対し、許容誤差情報で示された許容誤差の範囲内となっている。復号された視差画像は2点間の距離計測部304に入力される。2点間の距離計測部304では視差画像から3D点群を構成することで、任意の2点間の3次元的な距離の計測を行う。このように、視差を距離に変換する場合には、符号データに、視差から距離への変換に必要な情報を含める必要がある。また、許容誤差情報も合わせて符号データに含めておけば、圧縮によって発生した視差画像の画素値の劣化により、2点間の測距誤差が最大でどれだけ発生するかも知ることができる。なお、視差画像を2点間の距離計測に用いるのは、復号した視差画像の応用例の1つである。例えば、人体検出や、特定領域への侵入者の検知、に視差画像から得られる3次元情報を利用することができる。
FIG. 3 shows the configuration of the
次に符号化装置101の構成とその処理内容のより詳細な説明を行う。特に、許容誤差情報を具体的に定め、その許容誤差を実現するために画素値変換情報設定部106が行う画素値変換情報の設定処理の詳細を述べる。
Next, the configuration of the
本実施形態で定める許容誤差情報の説明のために、まず符号化装置101への入力である視差画像について補足をする。式(1)を変換すると視差n[pix]と距離d[mm]には
d=BFW/(nC) ・・・(2)
=P/(n―A)
=f(n)
という関係が成り立つことは明らかである。ここで、P=BFW/Cとおいた。式(2)の関係から分かる様に、距離と視差は反比例の関係であるため、その関係をグラフにすると図4(a)のようになる。図4(a)から次の事項が言える。
・特性1:カメラと被写体の距離が近いほど、距離の分解能が高く、逆に遠いほど距離の分解能が落ちる。
・特性2:三角測量により距離を求める場合、測距誤差はステレオマッチングの対応点探索誤差に依存する為、視差表現においては、視差の大きさによらず同程度の誤差が発生する一方、距離表現においては遠いほど大きな誤差が発生する。
In order to explain the tolerance information defined in the present embodiment, first, the parallax image which is an input to the
= P / (n-A)
= F (n)
It is clear that the following relationship holds. Here, it is set as P = BFW / C. As can be seen from the relationship of equation (2), since the distance and the parallax are in inverse proportion to each other, the relationship is graphed as shown in FIG. 4 (a). The following can be said from FIG. 4 (a).
Characteristic 1: The resolution of the distance is higher as the distance between the camera and the subject is smaller, and the resolution of the distance is lower as the distance is larger.
Characteristic 2: When obtaining the distance by triangulation, the distance measurement error depends on the corresponding point search error of stereo matching, so in parallax expression, although the same degree of error occurs regardless of the size of the parallax, the distance The further the representation, the larger the error.
上で述べた、2つの特性を考慮し、本実施形態では視差画像に対する許容誤差情報を以下のように定める。
・条件1「視差の誤差δ0[pix]を許容」
・条件2「条件1の誤差を許容した際に、距離誤差がe[mm]以下に収まる領域では、距離の誤差e[mm]を許容」
ここでパラメータδ0はステレオマッチングの誤差分布から定め、eは距離情報を利用する用途に応じた十分な精度を定めるのが望ましい。条件2のe[mm]の誤差を許容するという表現は、距離に対する許容誤差を設定しているが、式(1)の変換式から容易に視差に対する許容誤差へと換算することができる。このように許容誤差情報取得部105への入力は、入力視差画像の画素値に応じた許容誤差を、間接的に特定するための情報を与えても構わない。上記2つの条件は、入力視差画像の画素値nと、符号化装置101および復号装置301を経て復号された画素値n’の間に次の関係が成立することを指定する。
In consideration of the two characteristics described above, in this embodiment, tolerance information on parallax images is determined as follows.
・
Here, it is desirable that the parameter δ 0 be determined from the error distribution of stereo matching, and that e be sufficiently accurate according to the application using distance information. Although the expression of allowing the error of e [mm] of the
なお、図5(a)は視差と許容誤差の関係を示しているが、これは式1の変換式により、図5(b)の曲線A'BCで示すように、距離d[mm]と許容誤差の関係として表すことができる。ここで図5(b)の曲線ABCは、条件1のδ0[pix]の誤差を許容するという視差に対する許容誤差を、距離に対する許容誤差として表現している。図5(b)の曲線BCに示す通り本実施形態では、所定の距離以上の遠方では、測距精度に合わせた誤差を許容しながら符号化を行う。一方所定の距離未満の近距離では条件2で指定された様に、距離の最大誤差が一定の値eになるように画素値の許容誤差を制御する。図5(b)ではe=100[mm]の例を示した。これは図5(b)の直線A’Bに対応する。これにより、圧縮において、近距離部における距離情報の精度を過剰に保証してしまうことなく、符号量を効率よく削減することができる。
5 (a) shows the relationship between the parallax and the tolerance, this is obtained by the conversion equation of
次に画素値変換情報設定部106の詳細を述べる。既に述べたように、画素値変換情報設定部106は、入力画素値nから第2の画素値mへの変換式を求める。またその際には、第2の画素値をδ変化させ、それに画素値変換情報で定まる逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる様に、画素値変換情報を定める必要がある。以下では、入力画素値nから第2の画素値mへの変換を導出するに辺り、まず、mからdへの変換する変換式g(m)を求め、nからmへの以下の変換式(4)を求める。
m=g-1(f(n)) …(4)
以下の導出では許容誤差情報に、条件1が適用される領域と、条件2が適用される領域とに分けてg(m)を導出する。そこで、以下では、g(m)を図4(c)に示すように2つの領域に分け、それぞれの領域で定義する。
Next, the details of the pixel value conversion
m = g -1 (f (n)) ... (4)
In the following derivation, g (m) is derived by dividing into an area to which the
まずg1(m)を求める。g1(m)は条件1が適用される許容誤差が定数δ0の領域である。ここでは変換は不要、つまりg1(m)=f(m)とし、画像符号化部104で定数精度保証精度のパラメータδ=δ0として符号化を行えば良い。この領域では、入力画素値nから第2の画素値への画素値変換はm=nである。
First find g 1 (m). g 1 (m) is an area where the tolerance to which the
次に、g2(m)を求める。g2(m)は許容誤差情報の条件2が適用される領域に対応する関数である。図5(a)のグラフから分かる様に、入力画素値の表現のままでも、許容誤差δ=δ0で符号化すれば、入力画像の誤差が許容誤差以内に収まることは保証できる。しかし、条件2が適用される領域では、それ以上の誤差が許容されるため、δ0より大きな誤差が発生し得る変換を行った方が、より圧縮率が上がると考えられる。本実施形態の許容誤差情報は、条件2が適用される領域においては、下限の方が上限よりも許容誤差(の絶対値)が小さい。そこで、以降では許容誤差の下限のみを考慮して画素値変換情報を定める。実際、以下で導出する変換を施せば、圧縮による入力画素値nの劣化が許容誤差の上限以内に収まることは確認できる。g2(m)の導出の理解のために、図6に本実施形態におけるデータ変換の流れを示し、以下で説明する。与えられた入力画素値nに、変換fを行い距離dに変換する。次にgの逆変換g-1を施し第2の画素値mに変換する。この際、四捨五入604を施し整数に丸める。ここまでが画像変換部103で各画素に施す処理である。次にmに符号化602と復号603を施しm’を得る。mとm’の差は最大でδ=δ0である。この処理は画像符号化部104と画像復号部302で行う。次にm’に変換gを行ってd’を求め、d’にfの逆変換f-1と四捨五入604を施すことで復号画素値n’を得る。この処理は画像逆変換部303で行う。復号画素値n’から距離を求めるには、変換fを施して復号距離 d''を得る。 g2(m)は、図6で示したデータ変換においてdとd''の差が最大でもe以内に収まる様に定める必要がある。g2(m)は図4(c)から分かる様にg1(m)との接続を考慮する必要があるため、導出が少し複雑になる。そこでまず、条件2を満たす単調増加関数g0(m)を求める。図6のデータ変換の中で、発生する誤差は、
・四捨五入601で最大0.5
・符号化602及び復号603で最大δ=δ0
・四捨五入604で最大0.5
である。これらの誤差を考慮した上で、条件2を満たすためには、g0(m)は、次の条件式(5)を満たせば良い。
k(m)=k(0)Rm/(δ+0.5)
であり、
g2(m)=g0(C−m) …(6)
で求められる。なお、Cはg1(m)との接続を考慮して適切な定数を定めればよい。
Next, g 2 (m) is obtained. g 2 (m) is a function corresponding to the area to which the
・ Maximum 0.5 with rounding 601
· Maximum δ = δ 0 in encoding 602 and decoding 603
・ Maximum 0.5 with rounding 604
It is. In consideration of these errors, in order to satisfy the
And
g 2 (m) = g 0 (C−m) (6)
It is determined by Incidentally, C is may be determined with appropriate constant in consideration of the connection with the g 1 (m).
以上で求めた図4(c)のg(m)に対して、式(4)の変換を施すことで、画素値変換情報設定部106は、図4(d)に示す変換情報を得ることが出来る。以上で本実施形態における符号化装置101の各部の説明を終える。
The pixel value conversion
次に、本実施形態の撮影、符号化処理、復号処理、及び、復号情報の利用を行う処理の流れを図2のフローチャートに示した。これらの各処理は基本的には、図1、もしくは図3の各部の処理に対応する。S201では多視点画像撮影が行われる。これは多視点画像撮影部108が行う処理である。S202ではステレオマッチングによる視差推定を行う。これは視差推定部109が行う処理である。S203では、許容誤差情報を入力として取得し、画素値変換情報を設定する。これは画素値変換情報設定部106が行う処理である。S204では設定された画素値変換情報に基づき、S202で求めた視差画像の各画素値を変換することで第2の画像を得る。これは画像変換部103に対応する。S205では第2の画像を符号化する。これは、画像符号化部104が行う処理である。S210では第2の画像の各画素値を入力画素値に変換する情報を符号化する。この処理は画素値逆変換情報符号化部107が行う。S206では、S205で得た第2の画像の符号化データと、S203で設定した画素値変換情報の逆変換を行うための情報の符号化データが伝送される。S207では第2の画像を復号する。これは画像復号部302に対応する。S211では画素値逆変換情報を復号する。これは画素値逆変換情報復号部305が行う。S208では第2の画像に対し、画素値逆変換情報で定まる逆変換を行う。この処理は画像逆変換部303が行う。最後にS209では2点間の距離計測を行う。この処理は2点間の距離計測部304が行う。以上で、図2による、本実施形態の処理フローの説明を終える。
Next, the flow of processing for performing imaging, encoding processing, decoding processing, and use of decoding information according to the present embodiment is shown in the flowchart of FIG. Each of these processes basically corresponds to the process of each part of FIG. 1 or FIG. In S201, multi-viewpoint image shooting is performed. This is processing performed by the multi-viewpoint
上記実施形態では画素値変換情報及び画素値逆変換情報が、少数のパラメータで表せる関数になる例を述べた。一般には画素値逆変換情報は入力画素値に対して第2の画素値を列挙したテーブル情報になり、符号データにもそのテーブルを含めねばならない為、データ量が増大する可能性がある。しかし、本実施形態で述べた例では画素値逆変換情報として少数のパラメータのみを送れば良い為、その分のデータ量が削減できるという効果がある。なお、精度保証符号化の目的を達成するには、画素値逆変換情報は可逆圧縮することが望ましい。しかし、画素値逆変換情報をテーブルで送る場合にはデータ量が多くなるため、そのテーブルを関数近似してそのパラメータを送るなどの、非可逆圧縮を行うことも考えられる。その場合は、非可逆圧縮して復号した画素値逆変換情報を用いても入力画素値nと出力画素値n’の差が許容誤差以内に収まることを符号化装置で確認すれば、精度保証符号化の目的を達成できる。 In the above embodiment, an example was described in which the pixel value conversion information and the pixel value inverse conversion information are functions that can be represented by a small number of parameters. In general, the pixel value reverse conversion information is table information in which the second pixel values are listed with respect to the input pixel values, and since the table must be included in the code data, the data amount may increase. However, in the example described in the present embodiment, only a few parameters need to be sent as pixel value reverse conversion information, so that the amount of data can be reduced accordingly. In addition, in order to achieve the purpose of the accuracy assurance coding, it is desirable that the pixel value reverse conversion information be losslessly compressed. However, when the pixel value reverse conversion information is sent in the form of a table, the amount of data increases. Therefore, it is conceivable to perform irreversible compression such as function approximation of the table and sending its parameters. In that case, if the encoding device confirms that the difference between the input pixel value n and the output pixel value n 'falls within the allowable error even when using the pixel value reverse conversion information that has been irreversibly compressed and decoded, the accuracy is guaranteed The purpose of encoding can be achieved.
次に、理解を助けるため、符号化装置101のより具体的な例を図14を用いて説明する。なお、以下の具体例では、上記説明の中で現れたパラメータの具体的な値は、P=348000、e=100、δ0=2、nmax=1023、C=184、nt=102 である。図14(a)に許容誤差情報を、同図(b)に画素値変換情報を、同図(c)に画素値逆変換情報を、表形式で示す。なお、上で述べた通り、ここに示した表は小数の関数パラメータにより求めることができる。本具体例では視差画像の画素値は10ビットで表されるものとする。10ビットであるから、画素値の取り得る範囲は0〜1023となる。
Next, in order to aid understanding, a more specific example of the
以下では、図14(a)の入力画素値n=147が、符号化装置101で符号化され、復号装置301を通して復号して得られた結果の画素値n’が許容誤差内に収まる事を説明する。画素値nは図14(b)に示した通り、画像変換部103によって、第2の画素値m=132に変換される。そして画素値mは画像符号化部104によって最大でδ=2の誤差で符号化され、画像復号部302で復号される。その結果得られたm’は130〜134の値を取り得る。最後に画像逆変換部303において、m’はn’に変換される。図14(c)の矢印示した通り、n’は144〜153を取り得る。これは図14(a)の許容誤差情報が指定するnの許容誤差の範囲142〜153に収まる為、確かに本符号化装置の目的が果たされることが分かる。
In the following, the input pixel value n = 147 in FIG. 14A is encoded by the
上記では許容誤差情報は許容誤差情報取得部105に対して、条件1と条件2で表した様に曲線のパラメータで入力する方法を述べたが、画像に応じて許容誤差情報を適応的に求める方法も考えられる。例えば、多視点画像撮影部108で取得したカラー画像に対し、人体検出処理を適用し、同一視点の視差画像を参照して人体が存在する領域内の視差画像の画素値分布を求め、その画素値分布で多くの画素が存在する画素値に対しては、許容誤差を小さくする。この処理を、より一般化すれば、許容誤差情報取得部105は注目領域を特定する注目領域特定部と、注目領域内の画素値を参照して、許容誤差情報を算出する許容誤差情報算出部を持つことになる。この場合、画素値変換情報設定部106で求める変換情報は、図4(d)に示したものとは異なる。しかし、既に述べたように、第2の画素値をδ変化させ、それに画素値変換情報で定まる変換の逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる、という原則を満たす変換情報を求めれば良いのは同様である。
Although the tolerance error information is described above as a method of inputting parameters of a curve to the tolerance error
また、上記説明では符号化装置101は視差画像の符号化のみに用いていたが、視差画像に限らず、グレー画像や、カラー画像など、任意の画像に適用することができる。グレー画像の例としては、距離、温度、明るさ等の物理量が考えられる。カラー画像の例としては、多視点画像撮影部108では視差推定を行うために複数のカラー画像を取得するが、ここで取得したカラー画像の1枚、もしくは複数枚を、符号化装置101で符号化することが考えられる。この場合、カラー画像と視差画像を同様の符号化装置で共有でき、システムが簡易になるというメリットがある。
Further, although the
また、上記カラー画像はJPEGなど、符号化装置101とは異なる符号化を適用することも考えられる。この際、JPEGはブロック単位に異なる画質で符号化することができるため、同一視点の視差画像を参照し、許容誤差が大きい画素が多いブロックに対しては、カラー画像も該当ブロックの画質を下げ、高圧縮にすることも考えられる。これはJPEGに限らず、領域毎に圧縮率をコントロール可能な画像符号化方式全般で実現できる。
In addition, it is also conceivable to apply coding different from the
また、上記説明では、画像符号化部104ではJPEG−LSを例に説明した。これは符号化対象の画素値から、それを復号した画素値を引いた差が−δ以上、δ以下に収まることが保証される符号化である。しかし、本発明の基本的な考え方は、発生する最大誤差が正と負の方向で非対象である場合にも適用できる。例えば、符号化対象の画素値から、それを復号した画素値を引いた差が0以上、1以下に収まる符号化にも適用できる。この場合でも、発生する差は−1以上1以下であるため、δ=1における上記で述べた画素値変換を適用すれば良い。また、最大誤差の非対象性を利用してより最適な画素値変換を求めても良い。その場合も、第2の画素値に画像符号化部104で発生し得る最大の誤差が発生しても、復号画素値と入力画素値のズレが許容誤差内に収まる、という原則を満たす変換情報を求めればよい。なお、0以上1以下の誤差を実現する符号化は、JPEG−LSに似た予測符号化により容易に実現できる。つまり、各画素をラスタスキャン順に符号化する方式で、符号化対象の画素値を周囲の画素値から予測し、その予測誤差を2進数表現した際の最下位ビットを切り捨てた値をエントロピー符号化すれば良い。
In the above description, the
以上で本実施形態の説明を終える。上記構成により、符号化装置101は、画像入力部102に入力された画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報取得部105で取得する許容誤差以下に抑えながら画像を符号化することが可能となる。
This is the end of the description of the present embodiment. With the above configuration, the
[第1の実施形態の変形例]
図1に示した符号化装置101の各部はハードウェアで構成しても良いが、ソフトウェア(コンピュータプログラム)として実装しても良い。この場合、このソフトウェアは、PC(パーソナルコンピュータ)等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのCPUがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。第1の実施形態の符号化装置に適用可能なコンピュータのハードウェア構成例について、図7のブロック図を用いて説明する。
[Modification of First Embodiment]
Although each part of the
CPU1501は、RAM1502やROM1503に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。RAM1502は、コンピュータ読み取り可能な記憶媒体の一例である。RAM1502は、外部記憶装置1507や記憶媒体ドライブ1508、更にはネットワークインタフェース(不図示)からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアとして機能する。更に、RAM1502は、CPU1501が各種の処理を実行する際に用いるワークエリアとしても機能する。即ち、RAM1502は、各種のエリアを適宜提供することができる。ROM1503は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。
The
キーボード1504、マウス1505は、コンピュータの操作者が操作することで、各種の指示をCPU1501に対して入力することができる。表示装置1506は、CRTや液晶画面などにより構成されており、CPU1501による処理結果を画像や文字などでもって表示することができる。
The
外部記憶装置1507は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置1507には、OS(オペレーティングシステム)や、図1に示した各処理をCPU1501に実現させるためのコンピュータプログラムやデータ、上記の各種テーブル、データベース等が保存されている。外部記憶装置1507に保存されているコンピュータプログラムやデータは、CPU1501による制御に従って適宜RAM1502にロードされ、CPU1501による処理対象となる。
The
記憶媒体ドライブ1508は、CD−ROMやDVD−ROMなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置1507やRAM1502に出力する。なお、外部記憶装置1507に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ1508に読み取らせても良い。
The
I/F1509は、外部からカラー画像、距離画像、等を入力するインタフェースであり、一例として示すのであればUSB(Universal Serial Bus)である。1510は、上述の各部を繋ぐバスである。
An I /
上述構成において、本コンピュータの電源がONになると、CPU1501はROM1503に格納されているブートプログラムに従って、外部記憶装置1507からOSをRAM1502にロードする。この結果、キーボード1504、マウス1505を介した情報入力操作が可能となり、表示装置1506にGUIを表示することが可能となる。ユーザが、キーボード1504やマウス1505を操作し、外部記憶装置1507に格納された符号化アプリケーションの起動指示を入力すると、CPU1501はこのプログラムをRAM1502にロードし、実行する。これにより、本コンピュータが画像処理装置として機能することになる。
In the above configuration, when the power of the computer is turned on, the
なお、CPU1501が実行する符号化アプリケーションプログラムは、基本的に図1の符号化装置101に属す各部に相当する関数(orサブルーチン)を備えることになる。ここで、画像処理結果は外部記憶装置1507に保存することになる。なお、このコンピュータは、以降の各実施形態に係る符号化装置にも同様に適用可能であることは、以下の説明より明らかである。
The encoding application program executed by the
[第2の実施形態]
第1の実施形態では、図6のデータ変換の流れにおいて、復号画素値(視差)n'を得た上で、復号距離d''を得た。しかし、復号時に視差n'が不要で、距離のみが取得できれば良い場合は、符号化装置101が出力する符号データは次の通りである。
・画像符号化部104から得られる、第2の画像を復元するために必要な情報(m'の復号に必要な情報)
・第2の画像の画素値m'から距離d'を求める為の情報(関数gのパラメータ)
このうち、前者は第1の実施形態と共通であり、後者は「画素値逆変換情報」の第1の実施形態とは異なる具体例である。なお、第1の実施形態では画素値逆変換情報として、第2の画像の画素値m'から復号画素値n'を求めるための情報を符号化した。この考え方をより一般化すると、画素値逆変換情報は、第2の画素値を入力画素値に変換するための情報だけでなく、第2の画素値を入力画素値が本来表現している物理量へ直接変換するための情報であっても良いと言える。
Second Embodiment
In the first embodiment, the decoded distance d ′ ′ is obtained after obtaining the decoded pixel value (disparity) n ′ in the data conversion flow of FIG. However, when the parallax n ′ is unnecessary at the time of decoding and it is only necessary to obtain the distance, the code data output from the
Information necessary for restoring the second image, which is obtained from the image coding unit 104 (information necessary for decoding m ′)
Information for obtaining the distance d ′ from the pixel value m ′ of the second image (parameter of the function g)
Among them, the former is common to the first embodiment, and the latter is a specific example different from the first embodiment of the “pixel value reverse conversion information”. In the first embodiment, information for obtaining a decoded pixel value n ′ from the pixel value m ′ of the second image is encoded as pixel value reverse conversion information. To generalize this idea, the pixel value reverse conversion information is not only information for converting the second pixel value into the input pixel value, but also a physical quantity in which the input pixel value originally represents the second pixel value. It may be said that information for direct conversion may be used.
本第2の実施形態の符号化装置及び復号装置の構成は、基本的には第1の実施形態の図1及び図3と同様である。ただし、画素値変換情報設定部106、画素値逆変換情報符号化部107、画素値逆変換情報復号部305、及び、画像逆変換部303の詳細が異なる。また復号装置301が出力するのは視差画像ではなく、各画素に距離情報d’が入った距離画像となる点である。
The configurations of the encoding apparatus and the decoding apparatus according to the second embodiment are basically the same as those shown in FIGS. 1 and 3 of the first embodiment. However, the details of the pixel value conversion
ここで、画素値変換情報設定部106の役割を、第1の実施形態との違いに重点をおいて説明する。本第2の実施形態の画素値変換情報設定部106の役割は第1の実施形態と同様、第2の画素値をδ変化させ、それに画素値変換情報の逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる変換を求めることである。この原則を満たす変換を得るため、第1の実施形態と同様にまず、mからdへの変換式g(m)を求め、式(4)に基づいてnからmへの変換式を求める。本実実施形態でもg(m)はg1(m)とg2(m)からなり、g1(m) は第1の実施形態と同様である。g2(m)を求める為にまず第1の実施形態同様g0(m)を求める。g0(m)を求めるための条件式、図6の四捨五入604が不要になる為、第1の実施形態の式(5)の代わりに、次式(7)を満たす関数を求めれば良い。
画素値逆変換情報符号化部107では、既に述べたように、第2の画像の画素値m'から距離d'を求める為の情報(関数gのパラメータ)を符号化する。また、画素値逆変換情報復号部305は画素値逆変換情報符号化部107で符号化した画素値逆変換情報(関数g)を復号する。
The pixel value reverse conversion
画像逆変換部303では、第2の画像の各画素値に関数gによる変換を施して距離画像を得る。この距離画像の各画素値は図6のd'に対応する。
The image
なお、本第2の実施形態では復号画素値n'は明示的には復号しないが、d'に変換f-1を施せば非整数復号画素値nd が、そして四捨五入604を施せばn'が復号できる。本実施形態では、ndとnとの差は、許容誤差情報で定める誤差以内に収まることが保証される。ただし、画素値変換情報を求める際に、四捨五入604の誤差を考慮していないため、n’とnの誤差が許容誤差に収まることは保証できない。本実施形態の第1の実施形態に対する大きな違いは、四捨五入604の誤差を考慮せずにg(m)を求めることで、変換式g0(m)が第1の実施形態に比べて単純な変換式で表せることである。これにより、第1の実施形態に比べて、実装が容易、処理が高速、といった効果が得られると考えられる。 The present decoded pixel value in the second embodiment n 'is not decoded explicitly, d' non-integer decoded pixel value n d if Hodokose transformation f -1 in the, and if Hodokose rounding 604 n ' Can be decoded. In this embodiment, it is guaranteed that the difference between n d and n falls within the error defined by the tolerance information. However, since the error of rounding 604 is not taken into consideration when obtaining the pixel value conversion information, it can not be guaranteed that the error between n ′ and n falls within the allowable error. A big difference with respect to the first embodiment of the present embodiment is that the conversion equation g 0 (m) is simpler than that of the first embodiment by finding g (m) without considering the error of rounding 604. It can be expressed by a conversion formula. As a result, it is considered that the effects such as easy mounting and high speed processing can be obtained compared to the first embodiment.
なお、本実施形態では図6の四捨五入604の誤差を考慮しない例を示したが、第2の画素値mが整数以外の値を取り得る場合は、四捨五入601の誤差も考慮しなくても良い。この場合でも本実施形態と同様の考え方で符号化装置を構成することは可能である。 In the present embodiment, an example in which the error of rounding 604 in FIG. 6 is not taken into consideration is shown, but when the second pixel value m can take a value other than an integer, the error of rounding 601 may not be taken into account. . Even in this case, it is possible to configure the coding apparatus in the same way as in the present embodiment.
以上で本第2の実施形態の説明を終える。上記構成により、第1の実施形態と同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら画像を符号化可能な、符号化装置が実現できる。また、本実施形態特有の効果として、第1の実施形態に比べて、実装が容易、処理が高速、といった効果が得られる。 This is the end of the description of the second embodiment. With the above configuration, as in the first embodiment, an encoding apparatus capable of encoding an image while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. realizable. Further, as an effect unique to the present embodiment, an effect such as easy mounting and high speed processing can be obtained as compared with the first embodiment.
[第3の実施形態]
第1の実施形態では、許容誤差情報の具体的な例(条件1、条件2)を定め、その場合において有効な画素値変換方法を説明した。これに対し本実施形態では、許容誤差情報が、画素値に応じて任意の許容誤差を指定するテーブルの形で与えられる場合においても適用できる画素値変換方法を説明する。本実施形態の画素値変換は、第1の実施形態より汎用的に用いることが出来る。
Third Embodiment
In the first embodiment, specific examples (
図8に、本実施形態におけるデータ変換の流れを示す。入力画素値nに画素値変換hを施し画素値mを得る。画素値mを符号化及び復号し画素値m'を得る。mとm'の差は最大で定数δ以内である。次に画素値m'に変換h-1を施して復号画素値n'を得る。図8は第1の実施形態の図6に対応する図であり、図6ではnからmへの変換を、変換fとg-1の2段階で行っていたものを、変換hにまとめたものである。第1の実施形態では入力画素値が視差を表す場合に特に有効な符号化の例を示した為、説明を分かりやすくするために、入力画素値nと第2の画素値mとの間に距離dを挟んだデータ変換の流れを説明した。しかし、本実施形態は画素値がどの物理量に対応していても有効に使える汎用的な手法の為、距離dを介さずに直接nからmへの変換を説明する。なお、本来の逆変換の定義は次式が成立することである。
n=h-1(h(n))
FIG. 8 shows the flow of data conversion in the present embodiment. A pixel value conversion h is applied to the input pixel value n to obtain a pixel value m. The pixel value m is encoded and decoded to obtain a pixel value m '. The difference between m and m 'is at most within a constant δ. Next, a conversion h −1 is applied to the pixel value m ′ to obtain a decoded pixel value n ′. FIG. 8 is a diagram corresponding to FIG. 6 of the first embodiment, and in FIG. 6, the conversion from n to m in two stages of conversion f and g −1 is summarized in conversion h It is a thing. In the first embodiment, an example of encoding that is particularly effective when the input pixel value represents a parallax is shown, so for ease of explanation, between the input pixel value n and the second pixel value m The flow of data conversion across the distance d has been described. However, since the present embodiment is a general-purpose method that can be effectively used regardless of which physical quantity the pixel value corresponds to, the conversion from n to m is directly described without using the distance d. The original definition of the inverse transformation is that the following equation is established.
n = h- 1 (h (n))
しかし、本実施形態で述べる変換hとh-1は、必ずしもその関係を満たさない。しかし、この変換は入力画素値と第2の画素値との相互変換を行うものであるため、対応を分かり易くするために、逆変換と呼ぶ。 However, the transforms h and h -1 described in the present embodiment do not necessarily satisfy the relationship. However, since this conversion performs mutual conversion between the input pixel value and the second pixel value, it is called inverse conversion in order to make the correspondence clear.
本第3の実施形態で説明する符号化装置のブロック図は、図1の符号化装置101と同様である。また、符号化装置1の役割が、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が指定する値以下に抑えながら、画像を符号化することであることも第1の実施形態と同様である。本第3の実施形態と第1の実施形態の大きな違いは、許容誤差情報取得部105に入力される許容誤差情報と、その許容誤差に基づいて画素値変換情報設定部106が設定する画素値変換情報である。以下では第1の実施形態との違いを中心に本第3の実施形態の詳細について説明する。
The block diagram of the coding apparatus described in the third embodiment is the same as that of the
画像入力部102には視差画像が入力される。なお、入力される画像が視差画像に限らないのは第1の実施形態と同様である。以下の説明では簡単のため、入力された視差画像の各画素値は0〜7の計8値をとるものとする。
A parallax image is input to the
許容誤差情報取得部105には、画素値に応じた許容誤差が、テーブルの形で入力される。許容誤差は、正と負の方向に同じ誤差を許す場合は各画素値に対して1つの値を、正と負の方向で異なる誤差を許す場合は、各画素値に対して2つの値を入力する。ここでは後者の例を図9に示す。図9は入力画素値毎の許容誤差を示した表になっており、例えば、入力画素値「4」に対し、正の方向に「2」、負の方向に「1」までの許容誤差が与えられる。つまり入力画素値「4」は、符号化による誤差で3〜6の範囲内で変化することが許される。また、図9において許容誤差の数字が丸印で囲まれているのは、劣化後の画素値が、画素値の有効範囲の上限もしくは下限(本実施形態の例では0もしくは7)を許容誤差内に含む事を示している。
The allowable error according to the pixel value is input to the allowable error
図9の許容誤差情報が定める入力画素値nと復号画素値n’との関係を図10(a)に示す。図10(a)では、横軸が入力画素n、縦軸が復号画素n’を示しており、画素値nに対してn’が取り得る値の範囲を実線で示している。図中の黒丸がn=n’の点であり、その点の上下に許容誤差に応じて実線が伸びている。 The relationship between the input pixel value n and the decoded pixel value n 'determined by the allowable error information of FIG. 9 is shown in FIG. In FIG. 10A, the horizontal axis indicates the input pixel n, and the vertical axis indicates the decoded pixel n ', and the range of possible values of n' for the pixel value n is indicated by a solid line. A black circle in the figure is a point of n = n ', and a solid line extends above and below the point according to the tolerance.
画素値変換情報設定部106は、画素値nからmへの画素値変換hを定義するテーブルを作成する。そして、画素変換部103がそのテーブルに基づいて入力画像の各画素値を変換した第2の画像を生成する。そして画像符号化部104が、生成された第2の画像を、画素値の圧縮によるズレが定数δ以内に収まることを保証しながら画像を圧縮する定数精度保証符号化を施す。この処理の流れは第1の実施形態と同様であるが、画素値変換情報設定部106の詳細が異なる為、以下で説明する。
The pixel value conversion
画素値変換情報設定部106の目的は第1の実施形態と同様である。つまり、第2の画素値mをδ変化させ、それに画素値逆変換情報h-1が定める逆変換を施して復号画素値を得た際に、復号画素値と入力画素値のズレが許容誤差以内に収まる様に、画素値変換情報と画素値逆変換情報を定める。以下では、δ=1とし、入力画素値nと復号画素値n'のズレが図10(a)に示した範囲に収まる画素値(逆)変換テーブルを生成する例を用いて説明する。
The purpose of the pixel value conversion
なお、以下のアルゴリズムはδが任意の値で動作するが、δによって圧縮率が変化する為、適切な値に設定することが望ましい。δが小さすぎる場合、例えばδ=0の場合は、画像符号化部104でロスレス圧縮を行わねばならず、許容誤差内であれば画素値がズレて良いという利点を生かせない為、圧縮率が低下すると考えられる。一方でδを大きくすると第2の画素値のビット深度が入力画素値のビット深度より大きくなり、データ量の増加や符号化時のメモリ使用量の増加を招く。本実施形態では図9に示した許容誤差の表において、丸で囲まれていない許容誤差の中で、最も小さい値(つまり1)にδを設定する。このように設定すると、必ず第2の画素値のビット深度が入力画素値のビット深度より小さくなる。つまり視差画像の画素値の階調数よりも第2の画素値の階調数の方が少なくなる。これにより、視差画像のデータ量を削減し、画像符号化部104で許容誤差内であれば画素値がズレて良いという利点を生かした符号化ができる。
Although the following algorithm operates with an arbitrary value of δ, it is desirable to set the value to an appropriate value because the compression rate changes with δ. If δ is too small, for example, if δ = 0, then the
画素値変換情報設定部106において、第2の画素値mをδ変化させた時に復号画素値n'のズレが許容誤差内に収まるような画素値変換の、本第3の実施形態における実現方法の基本的な考え方を図10(b)を用いて説明する。図10(b)は説明のために図10(a)のn=1及び4に対応する部分だけを残したグラフである。
In the third embodiment, an implementation method of pixel value conversion such that the shift of the decoded pixel value n ′ falls within the allowable error when the second pixel value m is changed by δ in the pixel value conversion
変換は、基本的には、
・変換原則1『nの各画素値の許容誤差内に2δ+1個以上のmの量子化代表値を割り当て、各画素値nは許容誤差内にあるmの量子化代表値の中心にある値に変換』
を満たすように行えばよい。ここで、『許容誤差内にあるmの量子化代表値の中心にある値』というのは、より厳密には、『許容誤差内の上下それぞれにδ個以上の量子化代表値がある値』である。図10(b)の例で言うと、n=4の許容範囲内には点線1001、1002、1003で示すように3個(つまり、2δ+1個)の量子化代表値を割り当て、n=4はその3つの量子化代表値の中心である点線1001に対応する値に変換すれば良い。変換原則1は目的を達成するのに十分な条件であるが、さらに効率的な変換をするために
・変換原則2『許容誤差内に、画素値の有効範囲の上限(下限)が含まれる場合は、nの各画素値の許容誤差内にδ+1個以上のmの量子化代表値を割り当て、各画素値nは許容誤差内にあるmの量子化代表値の小さい値(大きい値)に変換』
を行えば良い。なお、『許容誤差内にあるmの量子化代表値の小さい値(大きい値)に変換』というのはより厳密には、上(下)にδ個以上の量子化代表値がある値である。例えば図10(b)のn=1の例では許容誤差範囲が、画素値の有効範囲の下限を含む為、許容誤差内に2個(つまり、δ+1個)の量子化代表値を割り当て、n=1はその2個のうちの小さい値である点線1004に対応する量子化代表値に変換する。このようにすれば、mの画素値が+δずれた場合も点線1005に示すようにnの許容誤差内に収まることが保証できる。また、nは許容誤差内に画素値の有効範囲の下限を含む為、−δ方向のずれは特に考慮しなくても許容誤差内に収まることを保証できる。この例では、許容誤差内に画素値の有効範囲の下限が含まれる場合を説明したが、上限が含まれる場合も同様の考え方を適用できる。また、
・変換原則3『許容誤差内に、画素値の有効範囲の上限と下限の両方が含まれる場合は許容誤差内に1個以上の量子化代表値を割り当て、各画素値nは許容誤差内にあるmの量子化代表値の任意の値に変換』
を行えば良いが、このような状況の発生は極めて稀であるため、以降では詳細な説明は省く。
The conversion is basically
· Conversion principle 1 'Assign 2δ + 1 or more m quantization representative values within the tolerance of each pixel value of n, and each pixel value n is a value at the center of m quantization representative values within the tolerance conversion"
You can do to meet the Here, "a value at the center of m quantization representative values within the tolerance" more strictly means "a value having δ or more quantization representative values in each of the upper and lower sides within the tolerance." It is. In the example of FIG. 10B, three (that is, 2δ + 1) quantization representative values are assigned within the tolerance range of n = 4 as indicated by
Do. More precisely, “convert to a small value (large value) of the quantization representative value of m within the tolerance” is a value that has δ or more quantization representative values in the upper (lower) . For example, in the example of n = 1 in FIG. 10B, since the allowable error range includes the lower limit of the effective range of the pixel value, two (that is, δ + 1) quantization representative values are allocated within the allowable error. = 1 converts to the quantization representative value corresponding to the dotted line 1004 which is the smaller value of the two. In this way, even when the pixel value of m is deviated by + δ, it can be guaranteed that the tolerance falls within n, as indicated by the dotted line 1005. In addition, since n includes the lower limit of the effective range of the pixel value within the tolerance, it is possible to guarantee that the deviation in the -δ direction falls within the tolerance without taking special consideration. In this example, the case where the lower limit of the effective range of the pixel value is included in the tolerance is described, but the same concept can be applied when the upper limit is included. Also,
·
However, since the occurrence of such a situation is extremely rare, the detailed description will be omitted hereinafter.
上述の変換原則を満たすような画素値(逆)変換を実現するため、本第3の実施形態における画素値変換情報設定部106の画素値変換情報の設定処理を図11のフローに従って処理する。図11の各処理の説明を、図12(a)〜(c)の具体例を示しながら説明する。
In order to realize the pixel value (inverse) conversion satisfying the conversion principle described above, the process of setting the pixel value conversion information of the pixel value conversion
S1101では、画素値変換情報設定部106は各画素値の許容範囲内にmの量子化代表値をいくつ割り当てれば良いかを設定する。図12(a)には図10(a)に示した許容範囲のグラフに対応する画素値スコアの具体例を示した。既に述べた変換原則にのっとり、初期状態では画素値スコアは3(つまり、2δ+1)もしくは2(つまり、δ+1)を割り当てた。
In S1101, the pixel value conversion
S1102では、画素値変換情報設定部106は、全ての画素値スコアが0かを判定する。この判定がYESの場合は、変換原則を満たす「mの量子化代表値割り当て」が行われたと判定できる。
In S1102, the pixel value conversion
S1103では、画素値変換情報設定部106は、各画素値の代表値スコアを求める。代表値スコアは、nのどの画素値にmの量子化代表値を割り当てるかの優先度を表した値である。本実施形態の例では、各画素値の代表値スコアは、「その画素値を許容範囲内に含む画素値の画素値スコアの和」を用いる。これは、代表値スコアは「できるだけ多くの画素値の許容範囲に含まれている値、かつ、多くの量子化代表値を割り合てる必要がある領域」を選ぶのが良いという考えを反映したものである。図12(a)に代表値スコアの具体例が示してある。例えば、nの画素値“3”は、画素値“2〜5”の許容誤差内に含まれている。したがって、画素値“2〜5”の画素値スコアの和である“11”が代表値スコアになっている。
In S1103, the pixel value conversion
S1104では、画素値変換情報設定部106は、代表値スコアが最大となるnの画素値にmの量子化代表値を割り当てる。図12(b)の点線1201で示すように、nの画素値“3”に対して、mの量子化代表値を割り当てる。なお、代表値スコアが最大となるものが複数ある場合の優先度として、画素値スコアの総和をより多く減らせる画素値に割り当てを行うと、S1102の判定条件を早く満たすことが出来る為、望ましいと考えられる。また、次の優先順として、未だ代表値が割り当てられていない画素値に優先的に割り当てると、代表値が一か所に集中的に多く割り当てられるのを防ぐことができるため望ましい。それでも優先度が一意に決まらない場合は、画素値の小さいものを優先して割り当てるなどをすれば良い。
In S1104, the pixel value conversion
再度、S1101にて、画素値変換情報設定部106は、画素値スコアを算出する。図12(b)の例では代表値割り当てによって、nの画素値2〜5の画素値スコアが1ずつ減っている。
Again in S1101, the pixel value conversion
再度、S1102にて、画素値変換情報設定部106は、代表値スコアを更新する。図12(b)の例では画素値スコアの更新に伴い、代表値スコアを更新した例を示した。
Again, in S1102, the pixel value conversion
画素値変換情報設定部106は、以上のS1101からS1104の処理を、S1102にて全ての画素値スコアが0と判定されるまで繰り返す。この結果、図12(c)に示すように、nの画素値0〜6にmの量子化代表値が割り当てられ、それらの代表値を小さい方から順にmの画素値0〜6を対応させた。図12(c)を見ると、nの各画素値の許容範囲内に、3(つまり2δ+1)もしくは2(つまり、δ+1)個の量子化代表値が割り当てられたことが確認できる。つまり、変換原則1、及び、2の条件を満たす量子化代表値の割り当てが出来ていることが確認できる。
The pixel value conversion
次にS1105にて、画素値変換情報設定部106は、S1104で得たnとmの関係をもとに、図8のh及びh-1の画素値変換を求める。画素値変換hは、既に変換原則1及び2で説明した通り、nの各画素値の許容誤差内にあるmの量子化代表値のうち、上下の両方(nの許容誤差が画素値の上限下限を含む場合は適切な一方)にδ個以上の量子化代表値が存在する値に変換すれば良い。また、その条件を満たす候補が複数ある場合は、n自身の画素値に最も近い位置に割り当てられた量子化代表値に変換すれば良い。図13(a)に、図12(c)で得たmの量子化代表値の割り当てから求めた、画素値変換hを定義するテーブルを示した。また画素値変換h-1は図12(c)から、mの各画素値に対応するnを一意に求めることができる。その例を図13(b)に示した。
Next, in S1105, the pixel value conversion
以上で本第3の実施形態における画素値変換情報設定部106の説明を終える。符号化装置101のその他の部位の動作は、画素値変換情報が関数からテーブルに変わった以外は、第1の実施形態と同様である。また、出力された符号データの復号も、第1の実施形態と同様、復号装置301で行うことが出来る。
This is the end of the description of the pixel value conversion
なお、本実施形態では、第2の画素値の量子化代表値は、入力画素値の有効範囲の整数値に割り当てたが、小数値に割り当てることもできる。その場合も、上で述べた変換原則を満たすような変換を行えば、画素値に応じた精度保証符号化を実現できる。また変換原則を満たす変換の中でより好適な変換を求める方法も、本実施形態内で説明したように、代表値スコアを求め、代表値スコアの高い物から優先的に代表値を割り当てるという考え方が適用できる。また、許容誤差情報が定める各画素値の許容誤差が小数の場合にも、本実施形態の考え方は同様に適用できる。 In the present embodiment, the quantization representative value of the second pixel value is assigned to an integer value of the valid range of the input pixel value, but may be assigned to a decimal value. Also in such a case, if conversion that satisfies the conversion principle described above is performed, accurate encoding can be realized according to the pixel value. In addition, as described in this embodiment, also a method of obtaining a more preferable conversion among conversions satisfying the conversion principle, it is a concept that a representative value score is obtained and a representative value is preferentially allocated from a high representative value score. Is applicable. Further, even when the tolerance of each pixel value determined by the tolerance information is a decimal, the concept of the present embodiment can be applied similarly.
以上で本第3の実施形態の説明を終える。上記構成により、第1の実施形態同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら符号化可能な、符号化装置が実現できる。また、本第3の実施形態特有の効果として、許容誤差情報を、画素値に応じて任意の許容誤差を指定するテーブルの形で与えた場合においても適用できる符号化装置となっている。 This is the end of the description of the third embodiment. With the above configuration, as in the first embodiment, it is possible to realize an encoding apparatus that can perform encoding while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. In addition, as an effect unique to the third embodiment, the coding apparatus is applicable even in the case where the tolerance information is given in the form of a table for designating an arbitrary tolerance according to the pixel value.
なお、上記実施形態では、画像符号化部104は、JPEG−LS(のニアロスレスモード)に従って符号化する例を示した。しかし、符号化前後の画素値のずれが定数δ以内に収まることを保証しながら画像を符号化する符号化手段を制御する手段(符号化制御手段)であれば良く、符号化手段そのものは必ずしもJPEG−LSに限るものではない。
In the above embodiment, the
[第4の実施形態]
第1の実施形態では、Cをg1(m)との接続を考慮して適切な定数を定めればよいとしたが、ここではより適切なCの算出方法について説明する。ここでは簡単のために、式2におけるP及びn-Aが常に正であることを仮定する。前述の通り本実施形態では基本的なアプローチとして、(i)画素値変換情報設定部106が、距離画像の各画素値n(小さいほど遠い)を、少階調の距離表現m(大きいほど遠い)に変換し、(ii)画像符号化部104がニアロスレス符号化を行う。(iii)復号時には、画素値逆変換情報復号部305が誤差を含んだ画素値m’を逆変換し復号画素値n’を得る。この時生じる距離の誤差ε(n) は次式(8)
ε(n)=|f(n’)−f(n)| …(8)
により定義される。
Fourth Embodiment
In the first embodiment, an appropriate constant may be determined in consideration of the connection of C with g 1 (m). Here, a more appropriate calculation method of C will be described. Here, for simplicity, it is assumed that P and nA in
ε (n) = | f (n ′) − f (n) | (8)
Defined by
少階調距離表現mを距離に変換する少階調距離取得関数g0(m) が、所定の距離未満である精度過剰部においてε(n)≦e(つまり第1の実施形態で記述した条件2)を満たすための条件を導く。以下に、上の(i)〜(iii)に対応する具体的処理を示す。これらは図15とも対応しており、生じる距離の誤差が最大となる場合の様子を示している。
(i) 画素値nを少階調表現mに変換
m0=k(n)=g0 -1(f(n))
m=ROUND(m0) …(9)
(ここで、ROUND(・)は四捨五入)
整数丸めにより少階調表現で最大 の誤差が発生。
(ii) (i)で得られた少階調画像をJPEG-LSにより符号化する。符号化により少階調表現で最大δの誤差が発生。この時の値をm’とする。
(iii) 逆変換により、復号画素値n’を得る
n’=ROUND(k-1(m’)) …(10)
整数丸めにより元の表現で最大0.5の誤差が発生。
The minor gradation distance acquisition function g 0 (m) for converting the minor gradation distance representation m into a distance is ε (n) ≦ e (that is, described in the first embodiment) in the over precision part where the minor distance is less than a predetermined distance. The condition for satisfying condition 2) is derived. Below, the specific process corresponding to the above (i)-(iii) is shown. These also correspond to FIG. 15, and show the situation where the error of the resulting distance is maximum.
(i) Convert pixel value n to minor gradation representation m m 0 = k (n) = g 0 -1 (f (n))
m = ROUND (m 0 ) (9)
(Here, ROUND (・) is rounded off)
Integer rounding causes maximum error in small gradation expression.
(ii) Encode the low gradation image obtained in (i) by JPEG-LS. Due to encoding, an error of maximum δ occurs in the small gradation expression. The value at this time is m '.
(iii) Obtain a decoded pixel value n 'by inverse transformation n' = ROUND (k -1 (m ')) (10)
Integer rounding causes an error of up to 0.5 in the original representation.
繰り返しになるが、上記処理により(i),(iii)ではそれぞれ最大0.5の丸め誤差が,(ii)では符号化によって最大δの誤差が生じる。これらの誤差を考慮して,階調数を最小化して符号量を削減するには,図15に示されるようにe(n) = Eとなればよく、g0(m)は次の式(12)を満たすことが最適である。
α、βは、
α and β are
次に精度過剰部(d<dt)を定義する。ztは次の式(15)で定義される。
|(f-1)'(d)|=|(g0 -1)'(d)| …(15)
これは、変換によって階調数が削減される範囲であり、dtはg(m)の傾きがf(n)と一致する距離である。この時、画素値変換はn>f-1(dt)の場合に行う。なお、(・)'はdに関する微分を表す。また、変換後の画素値と距離の対応の連続性を保つためには、
k(n)=C−g-1(f(n)) …(16)
Next, the over precision part (d <d t ) is defined. z t is defined by the following equation (15).
| (F -1 ) '(d) | = | (g 0 -1 )' (d) | (15)
This is a range in which the number of gradations is reduced by the conversion, and d t is a distance at which the slope of g (m) matches f (n). At this time, pixel value conversion is performed in the case of n> f −1 (d t ). Note that (·) ′ represents the derivative of d. Also, to maintain the continuity between the converted pixel value and the distance,
k (n) = Cg- 1 (f (n)) (16)
[第5の実施形態]
第1の実施形態では、画素値変換情報設定部106において、許容誤差情報取得部105で取得した許容誤差を満たすような変換を算出し、その結果を設定した。本実施形態では事前に2通りの画素値変換情報を求めておき、画素値変換情報設定部106では、許容誤差情報に応じてそれらを切り替える例を示す。
Fifth Embodiment
In the first embodiment, the pixel value conversion
本実施形態の装置構成、及び処理フローは第1の実施形態と同様、図1、図2で表すことができる。ただし処理の詳細が異なる為、詳細を補足する。 The apparatus configuration and process flow of this embodiment can be represented by FIG. 1 and FIG. 2 as in the first embodiment. However, since the details of the processing are different, the details will be supplemented.
まず、本実施形態では許容誤差情報取得部105において、許容誤差を間接的に指定する情報として撮影モードを受け取る。撮影モードの例を図16に示す。ここでは撮影モードとして人体検出モード及び姿勢認識モードを指定するものとする。それぞれの撮影モードに十分な精度eは、人体検出モードでは100[mm]、姿勢認識モードでは30[mm]とする。これは人体検出に距離情報を利用する場合には、人と背景や、人と人同士の重なりが分離出来れば十分な検出精度が出ると考えられる為である。また、姿勢認識においては、主要な間接同士の位置関係が分かれば姿勢推定精度がでると考えられる為である。なお、上記のパラメータeは図5(b)に図示したパラメータeと同一の物である。
First, in the present embodiment, the allowable error
次に、画素値変換情報設定部106においては、許容誤差情報取得部105で取得した撮影モードに応じて、画素値変換情報を選択する。画素値変換情報は上記2つの撮影モードに応じたそれぞれに対して変換テーブルが事前に算出されて、不図示の記憶部に格納されており、撮影モードに応じてそのいずれかを読み出す。なお、パラメータe毎の変換情報の算出は第1の実施形態に求めた方法で求めることができる。第1の実施形態では変換式の算出方法を述べたが、そこから変換テーブルを求めることは容易である。
Next, in the pixel value conversion
画素値逆変換情報符号化部107では画素値変換情報設定部106で設定した変換テーブルの情報を送る。なお、対応する復号装置にも撮影モードに応じた逆変換テーブルを記憶する記憶部を持たせておけば、変換テーブルの符号化は不要であり、撮影モードを区別するための情報のみを符号化すれば良い。本実施形態の例では撮影モードは2つであるため、1bitのデータを符号化すれば良い。
The pixel value reverse conversion
本実施形態で説明した符号化装置で出力される符号データは、第1の実施形態と同様、図3の復号装置により復号できる。なお、既に述べた通り、画素値逆変換情報復号部305においては、撮影モードに応じて不図示の記憶部から、撮影モードに応じて、事前に算出してある逆変換テーブルのいずれかを選択して読み込んでも良い。
The code data output from the encoding device described in this embodiment can be decoded by the decoding device in FIG. 3 as in the first embodiment. As already described, the pixel value reverse conversion
以上で本実施形態の説明を終える。上記構成により、第1の実施形態と同様、入力画像の各画素の圧縮によって発生する誤差の最大値を、許容誤差情報が定める許容誤差以下に抑えながら画像を符号化可能な、符号化装置が実現できる。また、本実施形態特有の効果として、撮影モードに応じた画素値変換情報を事前に算出しておき、それを選択的に切り替える為、画素値変換情報の算出処理が不要になり、処理負荷が小さくなるという効果がある。 This is the end of the description of the present embodiment. With the above configuration, as in the first embodiment, an encoding apparatus capable of encoding an image while suppressing the maximum value of errors generated by compression of each pixel of the input image to less than or equal to the tolerance defined by the tolerance information. realizable. Further, as an effect unique to the present embodiment, pixel value conversion information corresponding to the imaging mode is calculated in advance and selectively switched, so that the process of calculating the pixel value conversion information becomes unnecessary, and the processing load is increased. It has the effect of becoming smaller.
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU or the like) of the system or apparatus reads the program. It is a process to execute.
101…符号化装置、102…画像入力部、103…画像変換部、104…画像符号化部、105…許容誤差情報取得部、106…画素値変換情報設定部、107…画素値逆変換情報符号化部、108…多視点画像撮影部、109…視差推定部
DESCRIPTION OF
Claims (11)
符号化対象の画像の画素値を、第2の画素値に変換するための画素値変換情報を、前記許容誤差情報に応じて設定する設定手段と、
符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第2の画像を生成する画像変換手段と、
符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第2の画像を符号化する第1の符号化制御手段と、
前記画素値変換情報に基づき、前記第2の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、当該画素値逆変換情報を符号化する第2の符号化制御手段とを有し、
前記設定手段は、前記第2の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする符号化装置。 What is claimed is: 1. An image coding apparatus for coding an image according to tolerance information defining a tolerance according to a pixel value, the image coding apparatus comprising:
Setting means for setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion unit that generates a second image configured of the converted pixels by converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means for encoding the second image by using encoding means for encoding the difference between pixel values before and after encoding within a preset constant δ;
Second, pixel value reverse conversion information for converting a pixel value of the second image into a value related to a pixel value of the input image is generated based on the pixel value conversion information, and the pixel value reverse conversion information is encoded. And encoding control means,
The setting means sets, as the pixel value conversion information, information for performing conversion such that the pixel value deviation of the input image falls within an allowable error when the pixel value of the second image is shifted by δ. An encoding apparatus characterized in that.
前記注目領域内の画素値ほど少ない誤差になる様に、前記許容誤差情報を算出する許容誤差情報算出手段と
を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の符号化装置。 Attention area identification means for specifying an attention area in an image;
The code according to any one of claims 1 to 6, further comprising: tolerance error information calculation means for calculating the tolerance error information such that the smaller the pixel value in the region of interest, the smaller the error. Device.
許容誤差内に画素値の有効範囲の上限と下限が含まれない場合は、許容誤差内に2δ+1個以上の量子化代表値を割り当て、
許容誤差内に画素値の有効範囲の上限もしくは下限の一方が含まれる場合は、許容誤差内にδ+1個以上の量子化代表値を割り当て、
許容誤差内に画素値の有効範囲の上限と下限の両方が含まれる場合は、許容誤差内に1個以上の量子化代表値を割り当てる、代表値割り当て手段を含み、
前記割り当てた代表値をもとに、前記画素値変換情報を算出する
ことを特徴とする請求項1乃至6のいずれか1項に記載の符号化装置。 The setting unit is configured to, for each pixel value of an image to be encoded,
If the upper and lower limits of the effective range of the pixel value are not included in the tolerance error, 2δ + 1 or more quantization representative values are assigned within the tolerance error,
If the tolerance includes one of the upper limit and the lower limit of the effective range of the pixel value, assign δ + 1 or more quantization representative values within the tolerance,
And including representative value assigning means for assigning one or more quantization representative values within the tolerance if the tolerance includes both the upper and lower limits of the effective range of the pixel value.
The encoding device according to any one of claims 1 to 6, wherein the pixel value conversion information is calculated based on the assigned representative value.
設定手段が、符号化対象の画像の画素値を、第2の画素値に変換するための画素値変換情報を、前記許容誤差情報に従って設定する設定工程と、
画像変換手段が、前記符号化対象の画像の各画素値を前記画素値変換情報に基づいて変換することで、変換後の画素で構成される第2の画像を生成する画像変換工程と、
第1の符号化制御手段が、符号化前後の画素値の差が予め設定された定数δ以内で符号化する符号化手段を用いて、前記第2の画像を符号化する第1の符号化制御工程と、
第2の符号化制御手段が、前記画素値変換情報に基づき、前記第2の画像の画素値を入力画像の画素値に関わる値に変換する画素値逆変換情報を生成し、可逆符号化手段を用いて当該画素値逆変換情報を符号化する第2の符号化制御工程とを有し、
前記設定工程では、前記第2の画像の画素値がδずれた場合に、入力画像の画素値のずれが許容誤差以内に収まる様な変換を行うための情報を、前記画素値変換情報として設定することを特徴とする符号化装置の制御方法。 A control method of an image coding apparatus, which codes an image according to tolerance information which defines a tolerance according to a pixel value,
A setting step of setting pixel value conversion information for converting a pixel value of an image to be encoded into a second pixel value according to the allowable error information;
An image conversion step of generating a second image composed of pixels after conversion by the image conversion means converting each pixel value of the image to be encoded based on the pixel value conversion information;
First encoding control means, using a coding means for coding the difference is within δ constant preset pixel values before and after marks Goka, a first code for encoding said second image Control process,
The second encoding control means generates pixel value inverse conversion information for converting the pixel value of the second image into a value related to the pixel value of the input image based on the pixel value conversion information, and a lossless encoding means And second encoding control step of encoding the pixel value inverse transformation information using
In the setting step, when the pixel value of the second image shifts by δ, information for performing conversion such that the shift of the pixel value of the input image falls within an allowable error is set as the pixel value conversion information. And controlling the encoding apparatus.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15185597.0A EP3007448A1 (en) | 2014-10-07 | 2015-09-17 | Disparity data encoding apparatus and method of controlling the same for |
CN201510642273.0A CN105491364B (en) | 2014-10-07 | 2015-09-30 | Code device and its control method |
US14/871,024 US9602842B2 (en) | 2014-10-07 | 2015-09-30 | Encoding apparatus and method of controlling the same |
KR1020150140076A KR101897665B1 (en) | 2014-10-07 | 2015-10-06 | Encoding apparatus, method of controlling the same, program and computer-readable storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014206674 | 2014-10-07 | ||
JP2014206674 | 2014-10-07 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016076920A JP2016076920A (en) | 2016-05-12 |
JP2016076920A5 JP2016076920A5 (en) | 2018-08-30 |
JP6529374B2 true JP6529374B2 (en) | 2019-06-12 |
Family
ID=55951837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015148849A Active JP6529374B2 (en) | 2014-10-07 | 2015-07-28 | Encoding apparatus and control method thereof |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6529374B2 (en) |
KR (1) | KR101897665B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101885258B1 (en) * | 2010-05-14 | 2018-08-06 | 삼성전자주식회사 | Method and apparatus for video encoding, and method and apparatus for video decoding |
US8768073B2 (en) | 2011-07-05 | 2014-07-01 | Texas Instruments Incorporated | Method, system and computer program product for coding a region of interest within an image of multiple views |
JP5729825B2 (en) | 2011-09-26 | 2015-06-03 | 日本電信電話株式会社 | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program |
-
2015
- 2015-07-28 JP JP2015148849A patent/JP6529374B2/en active Active
- 2015-10-06 KR KR1020150140076A patent/KR101897665B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20160041793A (en) | 2016-04-18 |
KR101897665B1 (en) | 2018-09-12 |
JP2016076920A (en) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9602842B2 (en) | Encoding apparatus and method of controlling the same | |
CN113574567B (en) | Point cloud encoding method, point cloud construction method, point cloud encoding device, and storage medium | |
US20170214943A1 (en) | Point Cloud Compression using Prediction and Shape-Adaptive Transforms | |
JP6232076B2 (en) | Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program | |
KR102599314B1 (en) | Quantization step parameters for point cloud compression | |
JP2014107742A (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
JP2015119396A (en) | Intra-prediction mode determination device, intra-prediction mode determination method, and intra-prediction mode determination program | |
WO2015083742A1 (en) | Video encoding device and method, video decoding device and method, and program therefor | |
KR101750421B1 (en) | Moving image encoding method, moving image decoding method, moving image encoding device, moving image decoding device, moving image encoding program, and moving image decoding program | |
JP6529374B2 (en) | Encoding apparatus and control method thereof | |
JP5729825B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program | |
JP6637711B2 (en) | Encoding device and its control method, program, and storage medium | |
JP7076221B2 (en) | Video coding device, video decoding device, and their programs | |
JP6723003B2 (en) | Image coding apparatus, control method thereof, program, and storage medium | |
JP2017011499A (en) | Image processing apparatus, image decoder, and method of controlling these | |
JP7027044B2 (en) | Image coding device, image coding method and program | |
JP6867774B2 (en) | Image coding device and its control method | |
US9948932B2 (en) | Image processing apparatus and control method of image processing apparatus | |
KR20150020593A (en) | Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium | |
JP5759357B2 (en) | Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program | |
JP5711636B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program | |
US20220272341A1 (en) | Decoding device, decoding method, and storage medium | |
JP2014099716A (en) | Image encoder and control method of the same | |
JP2017097815A (en) | Information processing device, information processing method, and program | |
WO2015141549A1 (en) | Video encoding device and method and video decoding device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190514 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6529374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |