JPWO2018056181A1 - 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 - Google Patents

符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 Download PDF

Info

Publication number
JPWO2018056181A1
JPWO2018056181A1 JP2018541021A JP2018541021A JPWO2018056181A1 JP WO2018056181 A1 JPWO2018056181 A1 JP WO2018056181A1 JP 2018541021 A JP2018541021 A JP 2018541021A JP 2018541021 A JP2018541021 A JP 2018541021A JP WO2018056181 A1 JPWO2018056181 A1 JP WO2018056181A1
Authority
JP
Japan
Prior art keywords
block
reference block
encoding
unit
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018541021A
Other languages
English (en)
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018056181A1 publication Critical patent/JPWO2018056181A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

広視野角画像の動画像データを良好に符号化する。広視野角画像の動画像データをブロック分割して符号化対象ブロックを得る。符号化対象ブロック毎に動き補償された参照ブロックを抽出する。参照ブロックに回転および/またはスケーリングのアジャスト処理をする。符号化対象ブロック毎にこの符号化対象ブロックの画素値とアジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る。符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報を挿入する。残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。

Description

本技術は、符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置に関し、詳しくは、広視野角画像の動画像データを符号化する符号化装置等に関する。
広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものであるから、画像中心からの距離に応じて変形されたものとなる。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。
この広視野角画像の動画像データの符号化を行う場合、従来方法によるブロック状のデータを参照画像との間で平行移動させて動き予測を行うと、残差が大きくなり、符号化ビットレートが増大することが懸念される。
特開２００９−２００９３９号公報
本技術の目的は、広視野角画像の動画像データを良好に符号化することにある。
本技術の概念は、
広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記符号化装置は、
上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
送信装置にある。
本技術において、送信装置は、符号化装置と、送信部を備えるものとされる。符号化装置により、広視野角画像の動画像データが符号化されて符号化ストリームが得られる。送信部により、符号化ストリームを含む所定フォーマットのコンテナが送信される。例えば、広視野角画像は、全方位画像である、ようにされてもよい。
符号化装置は、ブロック分割部と、参照ブロック抽出部と、参照ブロックアジャスト部と、符号化部と、情報挿入部を有するものとされる。ブロック分割部により、広視野角画像の動画像データがブロック分割されて符号化対象ブロックが得られる。参照ブロック抽出部により、符号化対象ブロック毎に動き補償された参照ブロックが抽出される。
参照ブロックアジャスト部により、参照ブロックに回転および/またはスケーリングのアジャスト処理がされる。例えば、参照ブロックアジャスト部は、回転の角度を、参照ブロックと符号化対象ブロックの位置から自動判定する、ようにされてもよい。
また、例えば、参照ブロックアジャスト部は、参照ブロック抽出部で参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする、ようにされてよい。また、例えば、参照ブロックアジャスト部は、参照ブロック抽出部で参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする、ようにされてもよい。
符号化部により、符号化対象ブロック毎にこの符号化対象ブロックの画素値とアジャスト処理された参照ブロックの画素値に基づいて残差信号が算出され、各符号化対象ブロックの残差信号が符号化されて符号化ストリームが得られる。そして、情報挿入部により、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理の情報が挿入される。
このように本技術においては、参照ブロックに回転および/またはスケーリングのアジャスト処理がされる。そのため、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。また、本技術においては、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理の情報が挿入される。そのため、復号化側では、動きベクトルと共にアジャスト処理の情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。
また、本技術の他の概念は、
広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
上記復号化装置は、
上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
受信装置にある。
本技術において、受信装置は、受信部と、復号化装置を備えるものである。受信部により、広視野角画像の動画像データが符号化されて得られた符号化ストリームを含む所定フォーマットのコンテナが受信される。復号化装置により、符号化ストリームが復号化されて広視野角画像の画像データが得られる。
復号化装置は、復号化部と、参照ブロック抽出部と、画素値算出部を有している。復号化部により、符号化ストリームが復号化されて、復号化対象ブロック毎の残差信号が得られる。符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されている。
参照ブロック抽出部により、ブロック毎の動きベクトルとアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックが抽出される。そして、画素値算出部により、復号化対象ブロック毎に、残差信号に参照ブロックの画素値が加算されて、広視野角画像の動画像データが得られる。
このように本技術においては、符号化ストリームに挿入されている、ブロック毎の動きベクトルとアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックが抽出される。そのため、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。
本技術によれば、広視野角画像の動画像データを良好に符号化し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 全方位カメラでキャプチャされた全方位画像の一例を示す図である。 全方位画像をパノラマ展開した後の画像の一例を示す図である。 送信装置の構成例を示すブロック図である。 従来のブロック平行移動による動き予測の適用例を示す図である。 参照ブロックアジャストを経た動き予測適用例を示す図である。 従来のブロック平行移動による動き予測の適用例と参照ブロックアジャストを経た動き予測適用例を比較して示す図である。 送信装置のエンコーダの符号化処理部分の構成例を示すブロック図である。 動き予測/動き補償回路および参照画アジャスト情報処理部における処理フローの一例を示す図である。 動き予測/動き補償回路および参照画アジャスト情報処理部における処理フローの他の一例を示す図である。 スライスのＮＡＬユニットの構造例を示す図である。 スライス・セグメント・データの構造例を示す図である。 「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例を示す図である。 「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 受信装置のデコーダの復号化処理部分の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、広視野角画像、この実施の形態においては全方位画像の動画像データを符号化して得られた符号化ストリーム（ビデオストリーム）が含まれている。
図２は、全方位カメラでキャプチャされた全方位画像の一例を示している。この全方位カメラでは、従来周知のように、例えば双曲面ミラーを用いて撮像が行われる。全方位画像には基準点（Target Point）Ｏが設定される。全方位画像は、この基準点Ｏを中心とした３６０度の画像を持っている。この全方位画像をパノラマ展開することで、図３に示すような２次元３６０度の画像が得られる。全方位画像は、例えば上述したように双曲面ミラーを用いて撮像が行われことから、基準点Ｏからの距離や角度位置に応じて変形を伴うものとなる。
送信装置１００は、動き補償予測符号化を行うが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリング（リニア、ノンリニア）のアジャスト処理を施す。これにより、全方位画像に上述の変形があっても、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。例えば、回転の角度は、参照ブロックと符号化対象ブロックの位置から自動判定される。
送信装置１００は、符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報を挿入する。これにより、受信側（復号化側）では、動きベクトルと共にアジャスト処理情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行って、全方位画像の動画像データを良好に得ることができる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、全方位画像の動画像データを符号化して得られた符号化ストリーム（ビデオストリーム）が含まれている。そして、この符号化ストリームに、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入されている。
受信装置２００は、符号化ストリームに挿入されている、ブロック毎の動きベクトルと回転および/またはスケーリングのアジャスト処理情報に基づいて、復号化対象ブロック毎に参照ブロックを抽出する。これにより、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行って、全方位画像の動画像データを良好に得ることができる。
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、全方位カメラ１０２と、エンコーダ１０３と、圧縮データバッファ１０４と、ＴＳフォーマッタ１０５と、送信部１０６を有している。
ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。全方位カメラ１０２は、被写体を撮像して全方位画像の動画像データＶＤを得る。エンコーダ１０３は、全方位画像の動画像データＶＤをＡＶＣあるいはＨＥＶＣなどで符号化して符号化ストリーム（ビデオストリーム）を得る。
エンコーダ１０３は、動き補償予測符号化を行うが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリングのアジャスト処理を施す。これにより、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。例えば、回転の角度は、参照ブロックと符号化対象ブロックの位置から自動判定される。
図５は、従来のブロック平行移動による動き予測の適用例を示している。左側はＴ０の時刻の参照フレーム（過去フレーム）を示し、右側はＴ１の時刻の符号化対象フレーム（現フレーム）を示している。符号化対象フレームの符号化対象ブロックに対応して、例えばブロックマッチング法などによる動き検出処理により、符号化対象ブロックとの間の差分である残差が最も小さくなるように、参照フレームに参照ブロックが定められる。ＭＶは、動きベクトルを示している。
実空間においてオブジェクトが時間経過により平行移動したとしても、全方位画像にあっては単なる平行移動とはならず、回転および/またはスケーリングを伴った移動となる。そのため、上述の符号化対象ブロック内の画像は、参照ブロック内の画像に対して回転および/またはスケーリングを伴ったものとなっている。したがって、図７（ａ）に示すように、参照ブロックの画素値と符号化対象ブロックの画素値との間の差分を取った場合、残差は大きくなる。
図６は、参照ブロックアジャストを経た動き予測適用例を示している。左側はＴ０の時刻の参照フレーム（過去フレーム）を示し、右側はＴ１の時刻の符号化対象フレーム（現フレーム）を示している。符号化対象フレームの符号化対象ブロックに対応して、例えばブロックマッチング法などによる動き検出処理により、符号化対象ブロックとの間の差分である残差が最も小さくなるように、参照フレームに参照ブロック（アジャスト処理前）が定められる。ＭＶは、動きベクトルを示している。
基準点Ｏに対する符号化対象ブロックと参照ブロックとがなす角度θを求める。そして、参照フレームに、参照ブロックを含む範囲を持つアジャスト処理範囲が設定され、このアジャスト処理範囲の画像に対して角度θの回転、さらに必要に応じて所定のスケーリングの処理が施される。そのため、図７（ｂ）に示すように、アジャスト処理後の参照ブロック内の画像は、アジャスト処理前の参照ブロック内の画像が角度θだけ回転され、さらにスケーリングされたものとなり、参照ブロックの画素値と符号化対象ブロックの画素値との間の差分を取った場合、残差は小さくなる。
図８は、エンコーダ１０３の符号化処理部分の構成例を示している。このエンコーダ１０３は、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、参照画アジャスト情報処理部１２９と、エントロピー符号化回路１３０を有している。
全方位画像の動画像データＶＤは、ブロック化回路１２１に入力される。このブロック化回路１２１では、動画像データＶＤを構成する各ピクチャの画像データが符号化処理単位としての符号化対象ブロック（ＭＢ：マクロブロック）に分割される。各符号化対象ブロックは減算回路１２２に順次供給される。
動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、符号化対象ブロック毎に、動き補償された参照ブロック（予測参照ブロック）が抽出される。この参照ブロックは、参照画アジャスト情報処理部１２９で、上述したように回転および/またはスケーリングのアジャスト処理が施されたものである（図６、図７（ｂ）参照）。
なお、（１）参照画アジャスト情報処理部１２９は、動き予測/動き補償回路１２３で参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理やスケーリング処理をする。あるいは、（２）参照画アジャスト情報処理部１２９は、動き予測/動き補償回路１２３で参照ブロックを抽出するためのブロックマッチングの結果について回転処理やスケーリング処理をする。
図９は、（１）の場合における動き予測/動き補償回路１２３および参照画アジャスト情報処理部１２９における処理フローを示している。まず、ステップＳＴ１において、処理を開始する。次に、ステップＳＴ２において、参照ブロックのトップ・レフト（top-left）位置を設定する。次に、ステップＳＴ３において、符号化対象ブロックと参照ブロックとの間の回転角θを求める。
次に、ステップＳＴ４において、参照ブロックをθだけ回転させる。また、このとき、参照ブロックを比率Ｓだけスケーリングさせる。なお、回転、拡大縮小の基準点は参照ブロックのトップ・レフト（top-left）の点とする。次に、ステップＳＴ５において、回転（スケーリング）させた参照ブロック と符号化対象ブロックとの間で残差成分ｊを計算し、回転（スケーリング）前の参照ブロック設定位置の残差成分ｋとの間で、残差パワーがＰ（ｋ）＞Ｐ（ｊ）の場合、動きベクトルと回転角θ（スケーリング比Ｓ）を記憶する。
なお、回転（スケーリング）させた各参照ブロックの作成は、角度情報による先取り処理で符号化対象ブロックの近傍領域に対して予め求めておくことが可能である。ステップＳＴ６において、前回までのループで記憶された、動きベクトルと回転角θ（スケーリング比Ｓ）による残差パワーと比較し、残差パワーの小さい方の動きベクトルと回転角θ（スケーリング比Ｓ）とで更新する。また、ステップＳＴ７において、当該ループにおける残差パワーが最小残差パワーと判断されないとき、参照ブロックのトップ・レフト（top-left）位置を変更して上述した処理を繰り返す。一方、当該ループにおける残差パワーが最小と判定されたらループを抜け、ステップＳＴ８において、ＳＴ７の残差パワーと従来のブロックマッチング法による残差パワーとを比較し、値の小さい方を採用する。その後、ステップＳＴ９において、処理を終了する。
図１０は、（１）の場合における動き予測/動き補償回路１２３および参照画アジャスト情報処理部１２９における処理フローを示している。まず、ステップＳＴ１１において、処理を開始する。次に、ステップＳＴ１２において、従来のブロックマッチング法による動きベクトルを求める。
次に、ステップＳＴ１３において、動きベクトルの位置の参照ブロックのトップ・レフト（top-left）位置を設定する。次に、ステップＳＴ１４において、符号化対象ブロックと参照ブロックとの間の回転角θを求める。次に、ステップＳＴ１５において、参照ブロックをθだけ回転させる。また、このとき、参照ブロックを比率Ｓだけスケーリングさせる。なお、回転、拡大縮小の基準点は参照ブロックのトップ・レフト（top-left）の点とする。
次に、ステップＳＴ１６において、回転（スケーリング）させた参照ブロックと符号化対象ブロックとの間で残差成分ｊを計算する。次に、ステップＳＴ１７において、従来のブロックマッチング法による残差成分ｋと比較をし、残差パワーがＰ（ｋ）＞Ｐ（ｊ）の場合、アジャスト情報（回転角θとスケーリング比Ｓの情報）を記憶する。それ以外は、アジャスト情報（回転角θ＝０とスケーリング比Ｓ＝１）を記憶する。ステップＳＴ１７の処理の後、ステップＳＴ１８において、処理を終了する。
図８に戻って、動き予測/動き補償回路１２３で得られた各参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られた符号化対象ブロック毎に、参照ブロックとの間で減算処理が行われて、予測誤差（残差信号）が得られる。この符号化対象ブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
整数変換/量子化回路１２４で得られた符号化対象ブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測誤差が得られる。この予測誤差は、加算回路１２６に供給される。
この加算回路１２６では、予測誤差に動き補償された参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
また、整数変換/量子化回路１２４で得られた符号化対象ブロック毎の量子化データは、エントロピー符号化回路１３０に供給されて、エントロピー符号化が行われて、符号化ストリーム（ビデオストリーム）が得られる。なお、この符号化ストリームには、符号化対象ブロック毎に、参照ピクチャインデックス、動きベクトル、アジャスト処理情報などの情報が、受信側における復号化のために、ＭＢヘッダ情報として付加される。
図１１（ａ）は、符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例を示している。このＮＡＬユニットは、スライス・セグメント・ヘッダ（slice_segment_header()）と、スライス・セグメント・データ（slice_segment_data()）とからなっている。図１１（ｂ）は、スライス・セグメント・ヘッダの構造例を示している。「angled_prediction_enable_flag」のフィールドは、符号化に際して参照ブロックにアジャスト処理が施されているか否かを示すフラグ情報である。“１”はアジャスト処理が施されていることを示し、“０”はアジャスト処理が施されていないことを示す。
図１２は、スライス・セグメント・データの構造例を示している。なお、この構造例は、双方向予測を行う場合の例を示している。「ref_idx_l0」および「ref_idx_l1」のフィールドは、それぞれ、参照ピクチャインデックスを示す。「mvd_coding( x0, y0, mvx0_l0, mvy0_l0, ref_idx_l0)」および「mvd_coding( x0, y0, mvx0_l1, mvy0_l1, ref_idx_l1)」のフィールドは、それぞれ、予測元の符号化ブロックの位置と動きベクトル、参照ピクチャのインデックスを示す。
また、「angled_prediction_enable_flag」が“１”であるとき、「ref_block_adjust_proc(x0, y0, mvx0, mvy0, ref_idx_l0 )」および「ref_block_adjust_proc(x0, y0, mvx1, mvy1, ref_idx_l1 )」のフィールドが存在する。これらのフィールドは、それぞれ、アジャスト処理情報（予測元の符号化ブロックの位置と動きベクトル、参照ピクチャのインデックスと共に回転角θとスケーリング比Ｓの情報）を与える。
図１３は、「ref_block_adjust_proc(x, y, mvx, mvy, ref_idx )」のフィールドの構造例を示している。図１４は、その構造例における主要な情報の内容を示している。「rotation_degree」のフィールドは、回転角θを示す。このフィールドは、参照ブロックを回転させる角度を反時計回りに１００倍の値で示す。なお、拡大縮小の基準点は、参照ブロックのトップ・レフト（top-left）の点とする。例えば、「rotation_degree = 1250」は、反時計回りに１２．５度であることを示す。
「scaling_ratio」のフィールドは、スケーリング比Ｓを示す。このフィールドは、参照対象の画像のブロックのサイズを基準とした拡大縮小比を１００倍の値で示す。例えば、「scaling_ratio = 100」は１倍（等倍）を示し、「「scaling_ratio = 15」は０．１５倍を示し、「scaling_ratio = 366」は３．６６倍を示す。
図４に戻って、圧縮データバッファ(ｃｐｂ)１０４は、エンコーダ１０３で生成された符号化ストリームを、一時的に蓄積する。ＴＳフォーマッタ１０５は、圧縮データバッファ１０４に蓄積されている符号化ストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０６は、ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
図４に示す送信装置１００の動作を簡単に説明する。全方位カメラ１０２で得られた全方位画像の動画像データは、エンコーダ１０３に供給される。エンコーダ１０３では、動画像データＶＤがＡＶＣあるいはＨＥＶＣなどで符号化されて、符号化ストリーム（ビデオストリーム）が得られる。
エンコーダ１０３では、動き補償予測符号化が行われるが、符号化対象ブロック毎に動き補償された参照ブロックを抽出する際に、この参照ブロックに回転および/またはスケーリングのアジャスト処理が施される（図９、図１０参照）。全方位画像の動画像データＶＤであっても、残差信号を小さくでき、符号化効率が高められる。符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入される（図１２、図１３参照）。
エンコーダ１０３で生成された符号化ストリームは、圧縮データバッファ(ｃｐｂ)１０４に一時的に蓄積される。ＴＳフォーマッタ１０５では、圧縮データバッファ１０４に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳは、送信部１０６に送られる。送信部１０６では、ＴＳフォーマッタ１０５で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、デコーダ２０５と、ピクチャフォーマットコンバータ２０６と、表示部２０７を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる全方位画像の動画像データＶＤに係る符号化ストリーム（ビデオストリーム）を取り出して圧縮データバッファ２０４に送る。この符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報（回転角θとスケーリング比Ｓの情報）が挿入されている。圧縮データバッファ(ｃｐｂ)２０４は、ＴＳ解析部２０３から送られてくるビデオストリームが一時的に蓄積される。
デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、全方位画像の動画像データＶＤを得る。この際、デコーダ２０５は、復号化対象ブロック毎に、動きベクトルおよびアジャスト処理情報に基づいて参照ブロックを抽出し、残差信号に参照ブロックの画素値を加算して、動画像データＶＤを得る。
図１６は、デコーダ２０５の復号化処理部分の構成例を示している。このデコーダ２０５は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６と、参照画アジャスト情報処理部２１７を有している。
エントロピー復号化回路２１１では、符号化ストリームにエントロピー復号化が施されて、復号化対象ブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２１２に供給される。この逆量子化/逆整数変換回路２１２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測誤差（残差信号）が得られる。この復号化対象ブロック毎の予測誤差は、加算回路２１４に供給される。
動き補償回路２１３では、メモリ２１６に記憶されている参照ピクチャの画像データに基づいて、復号化対象ブロック毎に、動き補償された参照ブロック（予測参照ブロック）が抽出される。この場合、符号化ストリームに、ブロック毎に挿入されている動きベクトルおよびアジャスト処理情報に基づいて、符号化時と同様にアジャスト処理された参照ブロックが抽出される。
動き補償回路２１３で得られた各参照ブロックは、加算回路２１４に順次供給される。加算回路２１４では、各復号化対象ブロックの予測残差（残差信号）に対応する参照ブロックが加算されて、全方位画像の動画像データＶＤを構成する各ブロックが得られる。このように加算回路２１４で得られる各ブロックは、ループフィルタ２１５で量子化ノイズが除去された後に、メモリ２１６に蓄積される。そして、このメモリ２１６からの蓄積データの読み出しにより、全方位画像の動画像データＶＤが得られる。
図１５に戻って、ピクチャフォーマットコンバータ２０６は、デコーダ２０５で得られた全方位画像の動画像データＶＤにパノラマ展開の画像処理を施して、パノラマの表示用画像データを得る。表示部２０７は、ピクチャフォーマットコンバータ２０６からの表示用画像データによる画像表示をする。この表示部２０７は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０７は、受信装置２００に接続される外部機器であってもよい。
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。
ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる全方位画像の動画像データＶＤに係る符号化ストリーム（ビデオストリーム）が取り出され、圧縮データバッファ２０４に送られる。この符号化ストリームには、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報（回転角θとスケーリング比Ｓの情報）が挿入されている圧縮データバッファ(ｃｐｂ)２０４では、ＴＳ解析部２０３から送られてくるビデオストリームが一時的に蓄積される。
デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされ、全方位画像の動画像データＶＤが得られる。この際、デコーダ２０５では、復号化対象ブロック毎に、動きベクトルおよびアジャスト処理情報に基づいて符号化時と同様の参照ブロックが抽出され、残差信号に参照ブロックの画素値が加算されて、動画像データＶＤが得られる。
デコーダ２０５で得られた全方位画像の動画像データＶＤは、ピクチャフォーマットコンバータ２０６に供給される。ピクチャフォーマットコンバータ２０６では、動画像データＶＤにパノラマ展開の画像処理が施されて、パノラマの表示用画像データが得られる。表示部２０７では、ピクチャフォーマットコンバータ２０６で得られた表示用画像データによる画像表示が行われる。この場合、表示部２０７は、パノラマの全体画像を表示することもでき、あるいは、例えばユーザの選択操作に応じて、選択的に、一部の範囲の画像のみを表示することもできる。
以上説明したように、図１に示す送受信システム１０において、送信側のエンコーダ１０３では、参照ブロックに回転および/またはスケーリングのアジャスト処理が施される。そのため、残差を小さくでき、符号化ビットレートを低減でき、従って動き予測の符号化性能を向上させることが可能となる。
また、図１に示す送受信システム１０において、送信側のエンコーダ１０３では、符号化対象ブロック毎に、動きベクトルと共にアジャスト処理情報が挿入される。そのため、受信画側のデコーダ２０５では、動きベクトルと共にアジャスト処理情報に基づいて、動き補償された参照ブロックを容易かつ適切に得ることができ、復号化処理を容易かつ適切に行い得る。
＜２．変形例＞
なお、上述実施の形態においては、全方位画像の動画像データを取り扱う例を示した。しかし、本技術は、全方位画像の動画像データに限定されるものではなく、その他の広視野角画像の動画像データを取り扱う場合にも同様に適用し得るものである。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を備える
符号化装置。
（２）上記参照ブロックアジャスト部は、上記回転の角度を、上記参照ブロックと上記符号化対象ブロックの位置から自動判定する
前記（１）に記載の符号化装置。
（３）上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする
前記（１）または（２）に記載の符号化装置。
（４）上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする
前記（１）または（２）に記載の符号化装置。
（５）ブロック分割部が、広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るステップと、
参照ブロック抽出部が、上記符号化対象ブロック毎に参照ブロックを抽出するステップと、
参照ブロックアジャスト部が、上記参照ブロックに回転および/またはスケーリングのアジャスト処理をするステップと、
符号化部が、上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得るステップと、
情報挿入部が、上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入するステップを有する
符号化方法。
（６）広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化信号を含む符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を備え、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに備える
復号化装置。
（７）復号化部が、広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得るステップを有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
参照ブロック抽出部が、上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出するステップと、
画素値算出部が、上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画素データを得るステップをさらに有する
復号化方法。
（８）広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記符号化装置は、
上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
送信装置。
（９）広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
上記復号化装置は、
上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
受信装置。
本技術の主な特徴は、全方位画像（広視野角画像）の動画像データの予測符号化をする際に、参照ブロックに回転および/またはスケーリングのアジャスト処理を施すことで、残差を小さくして、符号化効率を高めるようにしたことである（図６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・全方位カメラ
１０３・・・エンコーダ
１０４・・・圧縮データバッファ
１０５・・・ＴＳフォーマッタ
１０６・・・送信部
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・参照画アジャスト情報処理部
１３０・・・エントロピー符号化回路
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・ＴＳ解析部
２０４・・・圧縮データバッファ
２０５・・・デコーダ
２０６・・・ピクチャフォーマットコンバータ
２０７・・・表示部
２１１・・・エントロピー復号化回路
２１２・・・逆量子化/逆整数変換回路
２１３・・・動き補償回路
２１４・・・加算回路
２１５・・・ループフィルタ
２１６・・・メモリ
２１７・・・参照画アジャスト情報処理部

Claims (9)

  1. 広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
    上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
    上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
    上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
    上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を備える
    符号化装置。
  2. 上記参照ブロックアジャスト部は、上記回転の角度を、上記参照ブロックと上記符号化対象ブロックの位置から自動判定する
    請求項１に記載の符号化装置。
  3. 上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの前に各候補に回転処理をする
    請求項１に記載の符号化装置。
  4. 上記参照ブロックアジャスト部は、上記参照ブロック抽出部で上記参照ブロックを抽出するためのブロックマッチングの結果について回転処理をする
    請求項１に記載の符号化装置。
  5. ブロック分割部が、広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るステップと、
    参照ブロック抽出部が、上記符号化対象ブロック毎に参照ブロックを抽出するステップと、
    参照ブロックアジャスト部が、上記参照ブロックに回転および/またはスケーリングのアジャスト処理をするステップと、
    符号化部が、上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得るステップと、
    情報挿入部が、上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入するステップを有する
    符号化方法。
  6. 広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化信号を含む符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を備え、
    上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
    上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
    上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに備える
    復号化装置。
  7. 復号化部が、広視野角画像の動画像データがブロック分割されて得られた各符号化対象ブロックの符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得るステップを有し、
    上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
    参照ブロック抽出部が、上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出するステップと、
    画素値算出部が、上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画素データを得るステップをさらに有する
    復号化方法。
  8. 広視野角画像の動画像データを符号化して符号化ストリームを得る符号化装置と、
    上記符号化ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記符号化装置は、
    上記広視野角画像の動画像データをブロック分割して符号化対象ブロックを得るブロック分割部と、
    上記符号化対象ブロック毎に動き補償された参照ブロックを抽出する参照ブロック抽出部と、
    上記参照ブロックに回転および/またはスケーリングのアジャスト処理をする参照ブロックアジャスト部と、
    上記符号化対象ブロック毎に該符号化対象ブロックの画素値と上記アジャスト処理された参照ブロックの画素値に基づいて残差信号を算出し、各符号化対象ブロックの残差信号を符号化して符号化ストリームを得る符号化部と、
    上記符号化ストリームに、上記符号化対象ブロック毎に、動きベクトルと共に上記アジャスト処理の情報を挿入する情報挿入部を有する
    送信装置。
  9. 広視野角画像の動画像データを符号化して得られた符号化ストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記符号化ストリームを復号化して上記広視野角画像の画像データを得る復号化装置を備え、
    上記復号化装置は、
    上記符号化ストリームを復号化して、復号化対象ブロック毎の残差信号を得る復号化部を有し、
    上記符号化ストリームには、符号化対象ブロック毎に、参照ブロックを得るための動きベクトルと回転および/またはスケーリングのアジャスト処理情報が挿入されており、
    上記ブロック毎の動きベクトルとアジャスト処理情報に基づいて、上記復号化対象ブロック毎に参照ブロックを抽出する参照ブロック抽出部と、
    上記復号化対象ブロック毎に、上記残差信号に上記参照ブロックの画素値を加算して、上記広視野角画像の動画像データを得る画素値算出部をさらに有する
    受信装置。
JP2018541021A 2016-09-26 2017-09-14 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 Pending JPWO2018056181A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016186798 2016-09-26
JP2016186798 2016-09-26
PCT/JP2017/033332 WO2018056181A1 (ja) 2016-09-26 2017-09-14 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置

Publications (1)

Publication Number Publication Date
JPWO2018056181A1 true JPWO2018056181A1 (ja) 2019-07-04

Family

ID=61689565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018541021A Pending JPWO2018056181A1 (ja) 2016-09-26 2017-09-14 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置

Country Status (5)

Country Link
US (2) US10791342B2 (ja)
EP (1) EP3518534B1 (ja)
JP (1) JPWO2018056181A1 (ja)
CN (1) CN109716763A (ja)
WO (1) WO2018056181A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3301928A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Methods, devices and stream to encode global rotation motion compensated images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153273A (ja) * 2001-11-09 2003-05-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体
JP2003339017A (ja) * 2002-05-20 2003-11-28 Hitachi Ltd 画像符号化装置およびこれを用いたビデオカメラ装置
JP2004159132A (ja) * 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
JP2008193458A (ja) * 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
US8369406B2 (en) * 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
JP2007318596A (ja) * 2006-05-29 2007-12-06 Opt Kk 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
JP4427553B2 (ja) * 2007-02-06 2010-03-10 シャープ株式会社 動画像復号化装置
JP5082548B2 (ja) * 2007-03-30 2012-11-28 富士通株式会社 画像処理方法、符号化器および復号化器
JP5045320B2 (ja) * 2007-09-05 2012-10-10 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009200939A (ja) 2008-02-22 2009-09-03 Sony Corp 画像処理装置と画像処理方法および画像処理システム
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
JP2011082622A (ja) * 2009-10-02 2011-04-21 Sony Corp 画像信号処理装置、画像信号処理方法、画像表示装置、画像表示方法、プログラム、および画像表示システム
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US10033997B2 (en) * 2010-06-23 2018-07-24 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, integrated circuit, and program
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
JP2012034225A (ja) * 2010-07-30 2012-02-16 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
US20130194386A1 (en) * 2010-10-12 2013-08-01 Dolby Laboratories Licensing Corporation Joint Layer Optimization for a Frame-Compatible Video Delivery
US9462280B2 (en) * 2010-12-21 2016-10-04 Intel Corporation Content adaptive quality restoration filtering for high efficiency video coding
JP5631229B2 (ja) * 2011-01-31 2014-11-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9600744B2 (en) 2012-04-24 2017-03-21 Stmicroelectronics S.R.L. Adaptive interest rate control for visual search
JP2015519016A (ja) * 2012-05-14 2015-07-06 ロッサト、ルカ 支持情報に基づく残存量データのエンコードおよび再構成
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
JP5894301B2 (ja) * 2012-12-28 2016-03-23 日本電信電話株式会社 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
KR20160079068A (ko) * 2013-12-03 2016-07-05 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법, 및 그 프로그램
CN104869399A (zh) * 2014-02-24 2015-08-26 联想(北京)有限公司 一种信息处理方法及电子设备
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) * 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US20160212423A1 (en) * 2015-01-16 2016-07-21 Microsoft Technology Licensing, Llc Filtering to mitigate artifacts when changing chroma sampling rates
KR102256855B1 (ko) * 2016-02-09 2021-05-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
FI20165256A (fi) * 2016-03-24 2017-09-25 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen
WO2017203098A1 (en) * 2016-05-24 2017-11-30 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153273A (ja) * 2001-11-09 2003-05-23 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、画像復号方法及び装置、プログラム及び記録媒体
JP2003339017A (ja) * 2002-05-20 2003-11-28 Hitachi Ltd 画像符号化装置およびこれを用いたビデオカメラ装置
JP2004159132A (ja) * 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそのプログラムを記録した記録媒体
JP2008193458A (ja) * 2007-02-06 2008-08-21 Victor Co Of Japan Ltd カメラ画像圧縮処理装置及び圧縮処理方法

Also Published As

Publication number Publication date
CN109716763A (zh) 2019-05-03
US20200068222A1 (en) 2020-02-27
US11363300B2 (en) 2022-06-14
WO2018056181A1 (ja) 2018-03-29
US20200382811A1 (en) 2020-12-03
EP3518534A1 (en) 2019-07-31
US10791342B2 (en) 2020-09-29
EP3518534B1 (en) 2023-05-17
EP3518534A4 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
JP6567747B2 (ja) 受信装置および受信方法
TW424389B (en) Method and apparatus for adaptively scaling motion vector information in an information stream decoder
US20190349598A1 (en) An Apparatus, a Method and a Computer Program for Video Coding and Decoding
US8428122B2 (en) Method and system for frame buffer compression and memory resource reduction for 3D video
WO2017038800A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20080285648A1 (en) Efficient Video Decoding Accelerator
JP6856105B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2011061302A (ja) 動画像符号化装置
US11363300B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
JP6760290B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7178907B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR20240050412A (ko) 비디오 처리를 위한 방법, 기기 및 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211109