JP6996300B2 - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム Download PDF

Info

Publication number
JP6996300B2
JP6996300B2 JP2018000291A JP2018000291A JP6996300B2 JP 6996300 B2 JP6996300 B2 JP 6996300B2 JP 2018000291 A JP2018000291 A JP 2018000291A JP 2018000291 A JP2018000291 A JP 2018000291A JP 6996300 B2 JP6996300 B2 JP 6996300B2
Authority
JP
Japan
Prior art keywords
block
moving image
code amount
picture
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018000291A
Other languages
English (en)
Other versions
JP2019121905A (ja
Inventor
章弘 屋森
智史 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018000291A priority Critical patent/JP6996300B2/ja
Priority to US16/223,230 priority patent/US10757421B2/en
Publication of JP2019121905A publication Critical patent/JP2019121905A/ja
Application granted granted Critical
Publication of JP6996300B2 publication Critical patent/JP6996300B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、例えば、動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化標準として、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）及びHigh Efficiency Video Coding（HEVC|ITU-T H.265）が策定されている。
このような符号化標準では、符号化対象のピクチャは複数のブロックに分割される。そして符号化対象ブロックごとに、既に符号化された他のピクチャまたは符号化対象ピクチャの符号化済みの領域から予測ブロックが生成される。そして符号化対象ブロックと予測ブロック間の予測誤差信号を直交変換して得られる直交変換係数を量子化することで情報量の圧縮が図られる。
動画像データが魚眼レンズといった広角レンズを用いて得られている場合、動画像データに含まれる各ピクチャに表される被写体は、その広角レンズにより生じる歪曲収差などに起因して、大きく歪むことがある。そこで、そのような歪みを補正したピクチャにおける画質の劣化を低減するために、撮影中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量を割り当てる技術が提案されている（例えば、特許文献１を参照）。
特開２０１０－２３９２２１号公報
しかし、撮影中心に相当するピクチャ上の位置と符号化対象ブロック間の距離だけでは、ピクチャ上の被写体の歪みの程度が十分に評価されないことがあり、その結果として、符号化対象ブロックに割り当てられる符号量が必ずしも適正でないことがある。そのため、ピクチャ上の位置により、被写体の歪みが補正されたピクチャの画質がバラつくことがある。
一つの側面では、本発明は、動画像データに含まれるピクチャ上の被写体の歪みを補正したときのピクチャ上の位置に対応した画質のバラつきを抑制できる動画像符号化装置を提供することを目的とする。
一つの実施形態によれば、動画像データに含まれる、符号化対象ピクチャを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャに含まれる第１のブロックについて、第１のブロックの面積に対する、第１のブロックに表された被写体の歪みを補正して得られる補正ブロックの面積の比を算出する面積比算出部と、第１のブロックについての面積の比が大きくなるほど第１のブロックに割り当てられる符号量が増加するように第１のブロックの符号量制御用情報を設定する符号量制御部と、符号化対象ピクチャを分割して得られる複数の第２のブロックのうち、第１のブロックに属する第２のブロックを、第１のブロックについての符号量制御用情報に従って符号化する符号化部とを有する。
一つの側面では、動画像データに含まれるピクチャ上の被写体の歪みを補正したときのピクチャ上の位置に対応した画質のバラつきを抑制できる。
一つの実施形態による動画像符号化装置の概略構成図である。 画像補正処理の概要説明図である。 符号化対象ピクチャと、符号化対象ピクチャから切り出された領域における被写体の歪みを補正して得られる補正画像の一例を示す図である。 動画像符号化処理の動作フローチャートである。 実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。この動画像符号化装置は、撮像光学系として魚眼レンズを用いた全周囲カメラといった、歪曲収差などによる被写体の歪みがピクチャに生じるカメラにより得られた動画像データを平面画像として符号化する。その際、この動画像符号化装置は、ピクチャを分割して得られる複数のブロックのそれぞれについて、そのブロックの面積と、そのブロックに表された被写体の歪みを補正して得られる補正ブロックの面積の比に応じて、そのブロックに割り当てる符号量を制御する。
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また本実施形態では、動画像符号化装置は、動画像データに含まれる各ピクチャを複数のブロックに分割してブロックごとに符号化する様々な符号化標準の何れかに準拠して動画像データを符号化するものとする。なお、そのような符号化標準は、例えば、Advanced Video Coding（MPEG-4 AVC|ITU-T H.264）またはHigh Efficiency Video Coding（HEVC|ITU-T H.265）とすることができる。
図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、面積比算出部１１と、符号量制御部１２と、符号化部１３と、記憶部１４とを有する。動画像符号化装置１が有するこれらの各部は、それぞれ、別個の回路として動画像符号化装置１に実装される。あるいは、動画像符号化装置１が有するこれらの各部は、その各部の機能を実現する回路が集積された一つまたは複数の集積回路として動画像符号化装置１に実装されてもよい。あるいはまた、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
面積比算出部１１は、動画像データに含まれる符号化対象ピクチャについて、そのピクチャを分割して得られる複数のブロックのそれぞれについて、そのブロックの面積に対する、補正ブロックの面積の比を算出する。なお、個々のブロック（第１のブロック）は、例えば、符号量制御の単位となるブロックとすることができる。例えば、個々のブロックは、MPEG-4またはMPEG-4 AVCにおけるマクロブロック、あるいは、HEVCにおけるCTUまたは量子化グループとすることができる。あるいはまた、個々のブロックは、マクロブロック、CTUまたは量子化グループを複数含んでもよい。
そのために、面積比算出部１１は、各ブロックについて、対応する補正ブロックをもとめる。そこで先ず、補正ブロックを求めるための画像補正処理について説明する。
図２は、画像補正処理の概要説明図である。撮像光学系として魚眼レンズを用いて被写体を撮影することにより得られたピクチャは、例えば、撮像面と対応する空間を表す仮想球面上の各点を、その球面と接する平面に射影する射影変換を用いて補正される。図２に示されるように、撮像面２００は、XY平面で表されるものとする。また、Z軸は、魚眼レンズの光軸方向を表す。そして撮像面２００の中心である原点Oが魚眼レンズの光軸と撮像面２００との交点を表す。また、ピクチャ上での魚眼レンズの撮像範囲が仮想球面２０１に相当すると仮定する。ここで、原点Oから仮想球面２０１上の任意の点Qへ向かう視線を中心とするように、魚眼レンズにより得られたピクチャを補正することで、被写体の歪みを補正した補正画像を生成することを考える。この場合、画像の補正は、点Qにおいて仮想球面２０１に接する平面をUV平面２０２とし、UV平面２０２の法線方向をW軸とするUVW直交座標系とXYW直交座標系間の座標変換と、仮想球面２０１上の点についてのUV平面２０２への射影変換で表される。
UV平面２０２上の点P'(UVW直交座標系での座標(u,v,0))を通り、原点Oへ向かう入射光線が、点Pにて仮想球面２０１と交差するものとする。この場合、XYZ直交座標系における点Pの座標を(x,y,z)とすると、点Pは、XY平面における点(x,y,0)で表される、魚眼レンズにより得られる画像上の画素に対応する。ここで、仮想球面２０１の半径、すなわち、ピクチャ上での、魚眼レンズの光軸に対応する画素から魚眼レンズの撮像範囲の外縁に相当する画素までの距離をRとすれば、z={R2-(x2+y2)}1/2となる。また、UVW直交座標系では、原点Oの座標は(0,0,w)となるので、直角三角形の関係から、次式が成立する。
Figure 0006996300000001
 また、OP'/OP=(u2+v2+w2)1/2/Rであるから、点P'のXYZ直交座標系での座標値P'(x',y',z')は、次式で表される。
Figure 0006996300000002
 したがって、撮像面２００上の点の座標から、仮想球面２０１上の点の座標、及び、補正後の撮像面に相当するUV平面２０２上の点の座標を算出できることが分かる。
また、UV平面２０２が、XYZ直交座標系において、z軸周りに回転角αだけ回転し、z軸に対して傾き角βだけ傾き、W軸周りに回転角φだけ回転しているとする。さらに、補正により得られる、UV平面２０２に対応する画像の倍率をmとすると、w=mRとなる。したがって、上記の（２）式から、UV平面２０２上の点P'のUVW直交座標系での座標値(u,v)と、対応する撮像面２００上の座標(x,y)との間に、次式が成立する。
Figure 0006996300000003
図３は、符号化対象ピクチャと、符号化対象ピクチャから切り出された領域における被写体の歪みを補正して得られる補正画像の一例を示す図である。魚眼レンズを用いて被写体を撮影することで得られた符号化対象ピクチャ３００では、被写体が歪んでいる。しかし、（３）式にしたがって、符号化対象ピクチャ３００の着目する切出し領域３０１に含まれる各画素を、平面となる補正画像３１０上に射影することで、被写体の歪みが補正される。なお、補正画像３１０を生成する際には、補正画像３１０の各画素について、（３）式にしたがって、符号化対象ピクチャ３００上の対応画素の位置をもとめればよい。そして対応画素が符号化対象ピクチャの複数の画素に跨っている場合（すなわち、対応画素の座標値が整数でない場合）、その複数の画素の値を用いた補間により、補正画像３１０の画素の値が算出されればよい。
面積比算出部１１は、着目するブロック内の各画素について、（３）式に従って補正画像上の画素の位置を求めることで、着目ブロックに対応する補正ブロックを求める。その際、回転角α、傾き角β及び回転角φは、ピクチャ内のブロックの位置に応じて予め設定されればよい。すなわち、ブロックごとに、そのブロックを含む、ピクチャからの切出し領域が予め設定され、その切出し領域に対応する補正画像の中心（図２における、仮想球面とUV平面との接点Qに相当）を基準点として、回転角α、傾き角β及び回転角φが設定されればよい。なお、切出し領域は、図３に示されるように、被写体の歪みが補正された補正画像と対応する領域である。また、倍率mは、符号化対象ピクチャの切出し領域のサイズと補正画像のサイズの比に応じて設定される。例えば、符号化対象ピクチャ上の被写体に歪みが無い場合において、切出し領域のサイズと補正画像のサイズが等しくなるように補正画像が生成される場合には、倍率mは1に設定される。
本実施形態では、補正ブロックは、符号化対象ピクチャ上の対応ブロックの位置、及び、回転角α、傾き角β及び回転角φに応じて歪んだ形状となる。そこで、面積比算出部１１は、例えば、補正ブロックの外接矩形の面積を、補正ブロックの面積として算出する。あるいは、面積比算出部１１は、補正ブロックを他の形状を持つ図形、例えば、円弧状の図形または扇形で近似して、その近似した図形の面積を、補正ブロックの面積として算出してもよい。
あるいはまた、面積比算出部１１は、着目するブロックの４個のコーナーのそれぞれに（３）式を適用することで、補正画像上での補正ブロックの４個のコーナーの座標を算出してもよい。そして面積比算出部１１は、補正ブロックの４個のコーナーのうちの隣接する二つのコーナー同士を結ぶ直線で囲まれる領域の面積を、補正ブロックの面積として算出してもよい。
面積比算出部１１は、符号化対象ピクチャのブロックごとに、そのブロックの面積に対する補正ブロックの面積の比（以下、単に面積比と呼ぶ）を算出する。そして面積比算出部１１は、符号化対象ピクチャのブロックごとに、そのブロックの面積比を符号量制御部１２へ通知する。
符号量制御部１２は、符号化対象ピクチャのブロックごとに、そのブロックの面積比に応じて、そのブロックの符号量を制御する。本実施形態では、符号量制御部１２は、面積比が大きいブロックほど、そのブロックに割り当てられる符号量が増加するように、各ブロックの符号量制御用情報を設定する。例えば、符号量制御部１２は、面積比が大きいブロックほど、そのブロックの量子化スケールを小さくする。あるいは、符号量制御部１２は、ブロックごとに、面積比が所定の基準値以上となる場合の量子化スケールが、面積比が所定の基準値未満となる場合の量子化スケールよりも小さくなるように、そのブロックの量子化スケールを設定してもよい。所定の基準値は、例えば、補正画像の倍率mとすることができる。符号量制御部１２は、例えば、所定の基準値に対応する量子化スケールを、所定の基準値に対する面積比の比率で除した値となるように、量子化スケールを設定する。量子化スケールは、符号量制御用情報の一例である。
あるいは、符号量制御部１２は、ブロックごとに、上記のように量子化スケールが設定されるように、そのブロックの量子化パラメータを設定してもよい。量子化パラメータは、量子化スケールを規定するためのパラメータであり、例えば、H.264あるいはH.265(HEVC)におけるQP値である。量子化パラメータは、符号量制御用情報の他の一例である。例えば、H.264及びH.265では、QP値が6増加する度に、量子化スケールが2倍、すなわち、符号量が1/2となり、逆に、QP値が6減少する度に、量子化スケールが1/2、すなわち、符号量が2倍となる。そこで、符号量制御部１２は、ブロックごとに、そのブロックについての面積比が2倍になる度にQP値を6減少させればよい。例えば、符号量制御部１２は、次式に従ってQP値を設定すればよい。
Figure 0006996300000004
 ここでrは、面積比であり、Qrefは、補正画像の倍率mに相当するQP値である。そしてnewQは、設定されるQP値である。
これにより、符号化対象ピクチャ上のブロックに含まれる画素数のm倍よりも、補正ブロックに含まれる画素数が増加する場合に、符号量制御部１２は、そのブロックに割り当てられる符号量を多くすることができる。したがって、対応する補正ブロックの面積が大きくなるほど、符号化対象ピクチャのブロックの符号化による画質の劣化が抑制される。その結果として、補正画像の画質の劣化が抑制される。
符号量制御部１２は、符号化対象ピクチャのブロックごとに、そのブロックに割り当てられる符号量制御用情報、例えば、そのブロックについて設定された量子化パラメータを符号化部１３へ通知する。
符号化部１３は、符号化対象ピクチャを符号化する。例えば、符号化部１３は、符号化対象ブロックを複数の符号化単位ブロックに分割し、各符号化単位ブロックと、その符号化単位ブロックに対する予測ブロック間の対応画素間の差分値を予測誤差信号として算出する。なお、符号化単位ブロック（第２のブロック）は、符号量の制御単位となるブロックと同一とすることができる。あるいは、符号量の制御単位となるブロックに、１個または複数の符号化単位ブロックが含まれるように、符号化部１３は、符号化対象ピクチャを分割してもよい。そして符号化部１３は、各符号化単位ブロックを、その符号化単位ブロックが属する、符号量制御単位となるブロックについての符号量制御用情報に従って符号化する。
そこで、符号化部１３は、例えば、符号化単位ブロックごとに、符号量の推定値である符号化コストが最小となるように予測ブロックを生成する。例えば、符号化対象ピクチャが、イントラ予測符号化モードが適用されるIピクチャである場合、符号化部１３は、符号化単位ブロックについて、記憶部１４に記憶されている、その周囲の符号化済みの画素の値に基づいて予測ブロックを生成する。
一方、符号化対象ピクチャが、イントラ予測符号化モードだけでなく、インター予測符号化モードも適用可能なPピクチャ、あるいは、Bピクチャであるとする。この場合、符号化部１３は、各符号化単位ブロックについて、例えば、記憶部１４に記憶されている、符号化済みのピクチャ（局所復号ピクチャと呼ばれる）との間で動き探索を行う。そして符号化部１３は、符号化単位ブロックとの差が最小となる、符号化済みのピクチャ上の領域を特定し、特定した領域を動き補償することで、インター予測符号化モードが適用される場合の予測ブロックを求める。さらに、符号化部１３は、符号化単位ブロックの周囲の符号化済みの画素の値に基づいてイントラ予測符号化モードが適用される場合の予測ブロックを求める。そして符号化部１３は、それら予測ブロックのなかから、符号量が最小となる予測ブロックを、予測誤差信号の生成のために利用する。
符号化部１３は、各符号化単位ブロックの予測誤差信号を直交変換して直交変換係数を求める。そして符号化部１３は、その直交変換係数を、符号化単位ブロックを含む、符号量制御単位のブロックについての符号量制御用情報に従って量子化する。例えば、符号化部１３は、符号化単位ブロックを含む、符号量制御単位のブロックについて設定された量子化パラメータで規定される量子化スケールで直交変換係数を量子化する。これにより、符号量制御単位のブロックの面積比が大きいほど、量子化スケールが小さくなり、その結果として、量子化による画質の劣化が抑制される。
符号化部１３は、量子化された直交変換係数をエントロピー符号化する。さらに符号化部１３は、予測ブロックの生成に利用する情報、例えば、動き補償用の動きベクトルなどもエントロピー符号化してもよい。そして符号化部１３は、符号化対象ピクチャの符号化データを出力する。
さらに、符号化された符号化単位ブロックは、符号化対象ピクチャのうちの未符号の符号化単位ブロック、または、符号化対象ピクチャよりも符号化順序で後のピクチャにより参照されることがある。そこで符号化部１３は、各符号化単位ブロックの量子化された直交変換係数から、各符号化単位ブロックの画素の値を再生する。そのために、符号化部１３は、各符号化単位ブロックの量子化された直交変換係数を逆量子化して直交変換係数を再生する。そして符号化部１３は、再生された各符号化単位ブロックの直交変換係数を逆直交変換して、各符号化単位ブロックの予測誤差信号を再生し、その予測誤差信号を、対応する予測ブロックの各画素の値に加算して、各符号化単位ブロックの画素値を再生する。そして符号化対象ピクチャの全ての符号化単位ブロックについて、画素値が再生されることで、符号化対象ピクチャ全体が再生される。そして符号化部１３は、再生された符号化対象ピクチャを、局所復号ピクチャとして記憶部１４に書き込む。
記憶部１４は、符号化部１３により、一旦符号化されてから復号された局所復号ピクチャなどを記憶する。そして記憶部１４は、符号化部１３へ局所復号ピクチャを出力する。
図４は、動画像符号化装置１により実行される、動画像符号化処理の動作フローチャートである。動画像符号化装置１は、符号化対象ピクチャごとに以下に示される動作フローチャートに従って動画像符号化処理を実行する。
面積比算出部１１は、符号化対象ピクチャを分割した複数のブロックのそれぞれごとに、そのブロックの面積に対する、被写体の歪みを補正した補正ブロックの面積の比である面積比を算出する（ステップＳ１０１）。そして面積比算出部１１は、各ブロックの面積比を符号量制御部１２へ通知する。
符号量制御部１２は、ブロックごとに、そのブロックの面積比が大きいほど、そのブロックに割り当てられる符号量が増加するように、そのブロックの符号量を制御する（ステップＳ１０２）。そして符号量制御部１２は、各ブロックについての符号量制御用情報を符号化部１３へ通知する。
符号化部１３は、符号化対象ピクチャを複数の符号化単位ブロックに分割する（ステップＳ１０３）。符号化部１３は、符号化単位ブロックごとに、予測ブロックを生成し、その符号化単位ブロックと予測ブロック間の予測誤差信号を算出する（ステップＳ１０４）。そして符号化部１３は、符号化単位ブロックごとに、予測誤差信号を直交変換して直交変換係数を算出する。符号化部１３は、各符号化単位ブロックについて算出した直交変換係数を、その符号化単位ブロックが含まれるブロックについての符号量制御用情報に従った量子化スケールで量子化する（ステップＳ１０５）。さらに、符号化部１３は、符号化単位ブロックごとに、量子化された直交変換係数をエントロピー符号化することで、符号化データストリームを生成する（ステップＳ１０６）。そして動画像符号化装置１は、動画像符号化処理を終了する。
以上に説明してきたように、この動画像符号化装置は、魚眼レンズを用いて被写体を撮影することにより得られた動画像データに含まれる符号化対象ピクチャを複数のブロックに分割する。そしてこの動画像符号化装置は、ブロックごとに、そのブロックの面積に対する、そのブロックの被写体の歪みを補正して得られる補正ブロックの面積の比が大きくなるほど、そのブロックに割当てられる符号量が多くなるように、符号量を制御する。そのため、この動画像符号化装置は、被写体の歪みを補正する際に画素数が増加するブロックほど、符号化による画質の劣化を抑制できる。その結果として、この動画像符号化装置は、符号化対象ピクチャ上の位置による、符号化対象ピクチャ上の被写体の歪みを補正したときの画質のバラつきを抑制できる。
なお、変形例によれば、符号化対象ピクチャを分割して得られる複数のブロックのうちの一つ以上について、そのブロックを含む切出し領域が複数設定されてもよい。そして切り出し範囲ごとに、回転角α、傾き角β及び回転角φが設定されてもよい。この場合、面積比算出部１１は、複数の切出し領域に含まれるブロックについて、切出し領域ごとに面積比を算出し、算出された面積比のうちの最大値を符号量制御部１２へ通知してもよい。これにより、予め想定される複数の切出し領域の何れに従って補正画像が生成される場合でも、符号量制御部１２は、複数の切出し領域に含まれるブロックの符号化による画質の劣化を抑制できる。その結果として、動画像符号化装置は、補正画像の画質の劣化を抑制できる。
あるいは、符号化対象ピクチャを分割して得られる複数のブロックのうちの一つ以上について、何れの切出し領域にも含まれなくてもよい。この場合、切出し領域に含まれないブロックについては、符号量制御部１２は、何れかの切出し領域に含まれるブロックよりも、割り当てられる符号量が少なくなるように、各ブロックの符号量を制御してもよい。また、面積比算出部１１は、切出し領域に含まれないブロックについては、面積比を算出しなくてもよい。
また他の変形例によれば、面積比算出部１１は、符号化対象ピクチャを分割した複数のブロックごとに、そのブロックに含まれる何れかの画素を基準点とし、基準点に対応する、図２における仮想球面上の点を点Qとして、回転角α及び傾き角βを設定してもよい。これは、上記の切出し領域の基準点をブロック内に設定したことに相当する。なお、基準点は、例えば、ブロックの中心の画素、あるいは、ブロック中で光軸に相当する画素に最も近い画素とすることができる。そして面積比算出部１１は、ブロックごとに、設定した回転角α及び傾き角βに基づいて補正ブロックを求めることで面積比を算出してもよい。なお、回転角φについては、任意の角度、例えば、0°に設定されればよい。この変形例によれば、符号化対象ピクチャについて切出し領域が設定されていなくても、動画像符号化装置は、符号化対象ピクチャ上の被写体の歪みを補正したときの画質のピクチャ上の位置によるバラつきを抑制するよう、各ブロックの符号量を制御できる。
上記の実施形態または変形例では、動画像データを生成する際に用いられる撮像光学系は、全周囲カメラなどに用いられる魚眼レンズとしたが、上記の実施形態または変形例において、動画像データを生成する際に用いられる撮像光学系は、魚眼レンズ以外の歪曲収差を生じるレンズであってもよい。またこの場合には、例えば、符号化対象ピクチャ上の各画素について、被写体の歪みが補正されたときの補正画像上の対応画素の位置を表す参照テーブルが、記憶部１４に記憶されてもよい。そして面積比算出部１１は、その参照テーブルを参照することで、着目するブロックについての補正ブロックを求め、求めた補正ブロックに基づいて面積比を算出してもよい。なお、符号化対象ピクチャ上の各画素の位置と、補正画像上の対応画素の位置との関係は、撮像光学系の特性に応じて求められる。
上述した実施形態またはその変形例による動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、映像送信装置、テレビ電話システム、コンピュータ、あるいは携帯電話機などに組み込まれる。
図５は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。
コンピュータ１００は、ユーザインターフェース１０１と、通信インターフェース１０２と、メモリ１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース１０１、通信インターフェース１０２、メモリ１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。
ユーザインターフェース１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。
通信インターフェース１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。
さらに、通信インターフェース１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。
この場合には、通信インターフェース１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、動画像データをプロセッサ１０５へ渡す。また通信インターフェース１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。
メモリ１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そしてメモリ１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及び動画像符号化処理の途中または結果として生成されるデータを記憶する。
記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。
プロセッサ１０５は、例えば、少なくとも一つのCPUを有する。またプロセッサ１０５は、数値演算プロセッサをさらに有してもよい。そしてプロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データをメモリ１０３に保存し、または通信インターフェース１０２を介して他の機器へ出力する。
なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
１ 動画像符号化装置
１１ 面積比算出部
１２ 符号量制御部
１３ 符号化部
１４ 記憶部
１００ コンピュータ
１０１ ユーザインターフェース
１０２ 通信インターフェース
１０３ メモリ
１０４ 記憶媒体アクセス装置
１０５ プロセッサ
１０６ 記憶媒体

Claims (6)

  1. 動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化装置であって、
    前記符号化対象ピクチャに含まれる第１のブロックについて、当該第１のブロックの面積に対する、当該第１のブロックに表された被写体の歪みを補正して得られる補正ブロックの面積の比を算出する面積比算出部と、
    前記第１のブロックについての前記比が大きくなるほど前記第１のブロックに割り当てられる符号量が増加するように前記第１のブロックの符号量制御用情報を設定する符号量制御部と、
    前記符号化対象ピクチャを分割して得られる複数の第２のブロックのうち、前記第１のブロックに属する第２のブロックを、前記第１のブロックについての前記符号量制御用情報に従って符号化する符号化部と、
    を有する動画像符号化装置。
  2. 前記動画像データは、魚眼レンズを用いた撮影により生成され、
    前記面積比算出部は、前記符号化対象ピクチャ上の前記第１のブロックが含まれる所定の領域内の基準点に対応する、前記符号化対象ピクチャ上の前記魚眼レンズの光軸に対応する画素から撮像範囲の外縁に相当する画素までの距離を半径とする仮想球面上の点にて前記仮想球面と接する平面に前記第１のブロックを射影することで前記補正ブロックをもとめる、請求項１に記載の動画像符号化装置。
  3. 前記面積比算出部は、前記所定の領域の前記基準点を、前記第１のブロック内に設定する、請求項２に記載の動画像符号化装置。
  4. 前記符号量制御部は、前記第１のブロックについての前記比が大きくなるほど、前記第１のブロックについて設定する量子化スケールが小さくなるよう前記符号量制御用情報を設定し、
    前記符号化部は、前記複数の第２のブロックのうちの前記第１のブロックに含まれる第２のブロックについて、当該第２のブロックと対応する予測ブロックの対応画素間の予測誤差信号を算出し、前記予測誤差信号を直交変換して得られる直交変換係数を当該第１のブロックについて設定された量子化スケールに従って量子化する、請求項１～３の何れか一項に記載の動画像符号化装置。
  5. 動画像データに含まれる符号化対象ピクチャを符号化する動画像符号化方法であって、
    前記符号化対象ピクチャに含まれる第１のブロックについて、当該第１のブロックの面積に対する、当該第１のブロックに表された被写体の歪みを補正して得られる補正ブロックの面積の比を算出し、
    前記第１のブロックについての前記比が大きくなるほど前記第１のブロックに割り当てられる符号量が増加するように前記第１のブロックの符号量制御用情報を設定し、
    前記符号化対象ピクチャを分割して得られる複数の第２のブロックのうち、前記第１のブロックに属する第２のブロックを、前記第１のブロックについての前記符号量制御用情報に従って符号化する、
    ことを含む動画像符号化方法。
  6. 動画像データに含まれる符号化対象ピクチャを符号化するための動画像符号化用コンピュータプログラムであって、
    前記符号化対象ピクチャに含まれる第１のブロックについて、当該第１のブロックの面積に対する、当該第１のブロックに表された被写体の歪みを補正して得られる補正ブロックの面積の比を算出し、
    前記第１のブロックについての前記比が大きくなるほど前記第１のブロックに割り当てられる符号量が増加するように前記第１のブロックの符号量制御用情報を設定し、
    前記符号化対象ピクチャを分割して得られる複数の第２のブロックのうち、前記第１のブロックに属する第２のブロックを、前記第１のブロックについての前記符号量制御用情報に従って符号化する、
    ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。
JP2018000291A 2018-01-04 2018-01-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム Active JP6996300B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018000291A JP6996300B2 (ja) 2018-01-04 2018-01-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US16/223,230 US10757421B2 (en) 2018-01-04 2018-12-18 Information processing device, moving image coding method, and recording medium on which computer program for moving image coding is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018000291A JP6996300B2 (ja) 2018-01-04 2018-01-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2019121905A JP2019121905A (ja) 2019-07-22
JP6996300B2 true JP6996300B2 (ja) 2022-01-17

Family

ID=67058659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018000291A Active JP6996300B2 (ja) 2018-01-04 2018-01-04 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Country Status (2)

Country Link
US (1) US10757421B2 (ja)
JP (1) JP6996300B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239221A (ja) 2009-03-30 2010-10-21 Panasonic Corp 画像通信システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
JP4153202B2 (ja) * 2001-12-25 2008-09-24 松下電器産業株式会社 映像符号化装置
JP5285632B2 (ja) * 2009-01-26 2013-09-11 パナソニック株式会社 動画像処理装置、動画像処理方法および撮像装置
EP3267688A4 (en) 2015-03-05 2018-08-01 Sony Corporation Image processing device and image processing method
KR102343651B1 (ko) * 2016-05-13 2021-12-28 소니그룹주식회사 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010239221A (ja) 2009-03-30 2010-10-21 Panasonic Corp 画像通信システム

Also Published As

Publication number Publication date
US10757421B2 (en) 2020-08-25
JP2019121905A (ja) 2019-07-22
US20190208216A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
KR102413345B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
CN109792520B (zh) 用于利用自适应帧内最可能模式的全向视频译码的方法和装置
JP7354398B2 (ja) 画像データ符号化／復号化方法及び装置
KR20190052129A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US11936900B2 (en) Method and apparatus for motion vector prediction
CN111656777A (zh) 采用360度虚拟现实投影的投影布局的重构的基于投影的帧的解块方法
JP6996300B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US20200351493A1 (en) Method and apparatus for restricted long-distance motion vector prediction
JP2005101720A (ja) 部分画像符号化装置
US11317114B2 (en) Image processing apparatus and image processing method to increase encoding efficiency of two-dimensional image
EP3570544A1 (en) Quantisation for omnidirectional video
WO2019212661A1 (en) Quantisation for omnidirectional video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6996300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150