JP6065952B2 - 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム - Google Patents

画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム Download PDF

Info

Publication number
JP6065952B2
JP6065952B2 JP2015147562A JP2015147562A JP6065952B2 JP 6065952 B2 JP6065952 B2 JP 6065952B2 JP 2015147562 A JP2015147562 A JP 2015147562A JP 2015147562 A JP2015147562 A JP 2015147562A JP 6065952 B2 JP6065952 B2 JP 6065952B2
Authority
JP
Japan
Prior art keywords
motion
motion information
prediction
vector
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015147562A
Other languages
English (en)
Other versions
JP2015222980A (ja
JP2015222980A5 (ja
Inventor
上田 基晴
基晴 上田
福島 茂
茂 福島
和美 荒蔭
和美 荒蔭
智 坂爪
智 坂爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2015147562A priority Critical patent/JP6065952B2/ja
Publication of JP2015222980A publication Critical patent/JP2015222980A/ja
Publication of JP2015222980A5 publication Critical patent/JP2015222980A5/ja
Application granted granted Critical
Publication of JP6065952B2 publication Critical patent/JP6065952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測に利用する画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラムに関する。
MPEG−4 AVC/H.264(以後、AVC)等に代表される動画像符号化では
、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対
象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い
、所定の符号化処理単位で、対象ピクチャと参照ピクチャとの間での動き量(以後、動き
ベクトル)を検出し、予測信号を生成する動き補償予測が用いられる。
AVCでは、動き補償予測において1つの参照ピクチャから1本の動きベクトルを利用
して単一方向に予測信号を生成する片方向予測と、2つの参照ピクチャから2本の動きベ
クトルを利用して双方向に予測信号を生成する双方向予測が用いられる。これらを所定の
符号化処理単位となる16×16画素の2次元ブロック内で処理対象となっているブロッ
ク(以後、予測対象ブロック)の大きさを可変にする手法や、複数の参照ピクチャの中か
ら予測に用いる参照ピクチャを選択する手法に適用することで、予測信号の情報量を削減
している。符号化側では、予測モード情報や参照画像を指定する情報を選択して伝送し、
復号側では、伝送された予測モード情報や参照画像を指定する情報に従って動き補償予測
処理が施される。
動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベ
クトルを予測動きベクトル(以降、予測ベクトル)とし、処理対象ブロックの動きベクト
ルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで
圧縮効率を向上させている。
更に、AVCにおいては、予測対象ブロックと同一位置にある参照ピクチャのブロック
の符号化に用いられた動きベクトルを利用して、符号化ベクトルを伝送することなく動き
補償予測を実現するダイレクト動き補償予測が知られている。
また、他の符号化ベクトルを伝送しない手法として、処理対象ブロックに隣接するブロ
ックの動き情報を利用して、動き補償予測を実現する動き補償予測が知られている(例え
ば、特許文献1参照)。
特開平10−276439号公報
上述したダイレクト動き補償予測は、予測対象ブロックと同一位置にある参照ピクチャ
のブロックにおける時間方向の動きの連続性に着目し、上述した符号化ベクトルを伝送し
ない動き補償予測は、予測対象ブロックと予測対象ブロックに隣接する符号化済ブロック
における空間方向の動きの連続性に着目することで、他のブロックの動き情報をそのまま
利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに符号化効率を
向上させている。
しかしながら、動きの連続性が十分保たれていない場合や、他ブロックの動き情報にお
ける動きベクトルが正確な動きを示していない場合などに、他のブロックの動き情報をそ
のまま利用する方式を用いた際には、ずれの生じた動き情報を用いた予測画像が生成され
る。その場合、精度良い動き補償予測画像を生成できず、符号化効率が向上しないという
難しい面がある。
また、差分動きベクトルを符号化せずに動き補償を行わない場合には、差分動きベクト
ルを符号化する従来の動き補償予測が用いられるが、従来の動き補償予測を行う際には、
予測モード情報や参照画像の指定情報、更に指定された参照画像に対して用いられる動き
ベクトルを予測ベクトルとの差分ベクトルとして、それぞれ符号化する必要がある。この
場合、動き補償予測手法を指定する符号量が増大し、十分に符号化効率が向上しないとい
う難しい面がある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測を使用
する際の符号化効率を向上させる技術を提供することにある。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化装置であって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成部と、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除部と、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定部と、前記予測モード判定部から供給される動き情報を符号化する動き情報符号化部とを備え、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする画像符号化装置を提供する。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化方法であって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとを有し、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする画像符号化方法を提供する。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化プログラムであって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとをコンピュータに実行させ、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする画像符号化プログラムを提供する。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信装置であって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成部と、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除部と、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定部と、前記予測モード判定部から供給される動き情報を符号化する動き情報符号化部とを備え、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする送信装置を提供する。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信方法であって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとを有し、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする送信方法を提供する。
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信プログラムであって、符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとをコンピュータに実行させ、前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルであることを特徴とする送信プログラムを提供する。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記
録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有
効である。
本発明によれば、動き補償予測を使用する際の符号化効率を向上させることができる。
本発明の実施の形態1に係る動画像符号化装置の構成を示す図である。 符号化対象画像の一例を示す図である。 予測ブロックサイズの詳細な定義を示す図である。 図4(a)〜(d)は、動き補償予測の予測方向について説明するための図である。 本発明の実施の形態1に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。 本発明の実施の形態1に係る動画像復号装置の構成を示す図である。 本発明の実施の形態1に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。 図8(a)、(b)は、本発明の実施の形態1における動き補償予測において使用される動き情報を符号化するための3つの予測モードを説明するための図である。 動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。 実施の形態1の動画像符号化装置におけるモード判定部の詳細な構成を示す図である。 予測ベクトル算出部の構成を示す図である。 結合動き情報算出部の構成を示す図である。 結合動き修正動き補償予測生成部の構成を示す図である。 図10の予測モード判定部を介して動作する、図5のステップS502である動き補償予測モード/予測信号生成の動作について説明するためのフローチャートである。 図14のステップS1400における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。 空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。 空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。 時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。 時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。 時間結合動き情報に対する基準動きベクトル値ColMvに対する、L0予測、L1予測に対して登録する動きベクトル値mvL0t、mvL1tの算出手法を説明するための図である。 図19のステップS1401における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。 図14のステップS1402における結合動き修正予測モード評価値生成の詳細動作を説明するためのフローチャートである。 図23(a)〜(c)は、結合動き修正予測モードにおける結合動き情報に対するスケーリング処理の概念を示す図である。 各結合動き情報に対して存在するスケーリングされて生成した動きベクトル数を示す図である。 図25(a)〜(c)は、実施の形態1における差分動きベクトル伝送参照画像確定アルゴリズムを示す概念図である。 図22のステップS2203の詳細動作を説明するためのフローチャートである。 図26のステップS2601の詳細動作を説明するためのフローチャートである。 図27のステップS2702の詳細動作を説明するためのフローチャートである。 図14のステップS1403の詳細動作を説明するためのフローチャートである。 図29のステップS2901の詳細動作を説明するためのフローチャートである。 空間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。 時間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。 図14のステップS1404の詳細動作を説明するためのフローチャートである。 図5のステップS504の詳細動作を説明するためのフローチャートである。 実施の形態1における動き予測フラグの一例を示す図である。 図34のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す図である。 図6に示した実施の形態1の動画像復号装置における動き情報復号部の詳細な構成を示す図である。 図7のステップS701の詳細動作を説明するためのフローチャートである。 図38のステップS3802の詳細動作を説明するためのフローチャートである。 図38のステップS3807の詳細動作を説明するためのフローチャートである。 図38のステップS3811の詳細動作を説明するためのフローチャートである。 図38のステップS3810の詳細動作を説明するためのフローチャートである。 実施の形態2における動き予測モードの構成を示す図である。 実施の形態2における、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスを示す図である。 実施の形態2の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。 実施の形態2の動画像復号装置における動き情報復号処理を説明するためのフローチャートである。 実施の形態3における、図10の結合動き修正動き補償予測生成部における詳細構成を示す図である。 実施の形態3における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。 図49(a)〜(c)は、実施の形態4における距離優先アルゴリズムを示す概念図である。 実施の形態4における、双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。 図51(a)〜(c)は、実施の形態5における、結合動き情報が空間BiPredである場合、空間UniPredである場合、時間BiPredである場合における、差分ベクトルを伝送する参照画像を特定する処理構成の概念図を示す図である。 実施の形態5における、各予測モードにおける伝送する動き情報の関係を示す図である。 実施の形態5における双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。 実施の形態5における、符号化シンタックスの一例を示す図である。 実施の形態5の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。 実施の形態5の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。 図57(a)、(b)は、実施の形態5における常に2つの参照画像を送る構成における空間BiPred及び空間UniPredの差分ベクトルの状態の概念図を示す図である。 常に2つの参照画像に対して差分ベクトルを伝送する構成を取る場合に採用可能な符号化シンタックスの一例を示す図である。 実施の形態6の動画像符号化装置における予測モード判定部の構成を示す図である。 実施の構成6の動画像復号装置における動き情報復号部の構成を示す図である。 実施の形態6における符号化シンタックスの一例を示す図である。 実施の形態6における各予測モードで適用する結合情報を異なるものとする一例を示す図である。 図63(a)、(b)は、実施の形態7における差分ベクトルの2つの参照画像に対する作用を示す概念図である。 実施の形態7における、2つの参照画像の結合動きベクトル値を基準とした動きベクトル探索手法の一例を示す図である。 実施の形態7における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。 実施の形態7における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。 実施の形態7における差分ベクトルの作用を両方の参照画像に適用する別構成を示す概念図である。 実施の形態8における動き補償予測モードの定義を示す図である。 実施の形態8の動画像符号化装置における予測モード判定部の構成を示す図である。 実施の形態8の動画像符号化装置における動き補償予測モード/予測信号生成処理を説明するためのフローチャートである。 実施の形態8の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。 実施の形態8における動き情報に関する符号化シンタックスの一例を示す図である。 実施の形態8の動画像復号装置における動き情報復号部の構成を示す図である。 実施の形態8の動画像復号装置における動き情報復号処理を説明するためのフローチャートである。 図74のステップS3810の詳細動作を説明するためのフローチャートである。 図76(a)〜(c)は、実施の形態8における別構成の結合動き修正予測モードの差分ベクトル伝送手法を示す概念図である。 実施の形態9の動画像符号化装置における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。 実施の形態9における別構成の結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。 実施の形態9の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。 結合動き情報候補数が5の場合のTruncated Unary符号列を示す図である。
以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、
動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラ
ムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一
符号を付与して重複する説明を省略する。
(実施の形態1)
[動画像符号化装置全体構成]
図1は、本発明の実施の形態1に係る動画像符号化装置の構成を示す図である。以下、
各部の動作について説明する。実施の形態1に係る動画像符号化装置は、入力端子100
、減算部101、直交変換・量子化部102、予測誤差符号化部103、逆量子化・逆変
換部104、加算部105、復号画像メモリ106、動きベクトル検出部107、動き補
償予測部108、予測モード判定部109、動き情報符号化部110、動き情報メモリ1
11、多重化部112、及び出力端子113を備える。
入力端子100より入力される画像信号から符号化処理対象の予測ブロックの画像信号
が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロック
の画像信号は、減算部101、動きベクトル検出部107及び予測モード判定部109に
供給される。
図2は、符号化対象画像の一例を示す図である。実施の形態1に係る予測ブロックサイ
ズに関しては、図2に示すように符号化対象画像が64×64画素の符号化ブロック(C
U)単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成
される。最大予測ブロックサイズは符号化ブロックと同じ64×64画素で、最小予測ブ
ロックサイズは4×4画素である。符号化ブロックの予測ブロックへの分割構成は、非分
割(2N×2N)、水平・垂直への分割(N×N)、水平方向のみへの分割(2N×N)
、垂直方向のみへの分割(N×2N)が可能である。水平・垂直への分割の場合のみ、更
に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、そ
の階層をCU分割数で表現する。
図3は、予測ブロックサイズの詳細な定義を示す図である。CU分割数が0であって最
大の予測ブロックサイズである64画素×64画素から、CU分割数が3であって最小の
予測ブロックサイズである4画素×4画素までの13の予測ブロックサイズが存在するこ
とになる。
本発明の実施の形態1に係る予測ブロックの分割構成に関して、この組み合わせに限定
されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロッ
ク単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態
1は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものである
ため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動
画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説
明する。
図1に戻り、減算部101は、入力端子100より供給される画像信号と予測モード判
定部109より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直
交変換・量子化部102に供給する。
直交変換・量子化部102は、減算部101より供給される予測誤差信号に直交変換及
び量子化を施し、量子化された予測誤差信号を予測誤差符号化部103及び逆量子化・逆
変換部104に供給する。
予測誤差符号化部103は、直交変換・量子化部102より供給される量子化された予
測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化
部112に供給する。
逆量子化・逆変換部104は、直交変換・量子化部102より供給される量子化された
予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生
成し加算部105に供給する。
加算部105は、逆量子化・逆変換部104より供給される復号予測誤差信号と、予測
モード判定部109より供給される予測信号を加算して、復号画像信号を生成し、復号画
像信号を復号画像メモリ116に供給する。
復号画像メモリ106は、加算部105より供給される復号画像信号を格納する。また
、画像全体の復号が完了した復号画像については参照画像として1以上の所定画像数記憶
し、参照画像信号を動きベクトル検出部107と動き補償予測部108に供給する。
動きベクトル検出部107は、入力端子100より供給される予測ブロックの画像信号
と、復号画像メモリ106に記憶された参照画像信号の入力を受けて、各参照画像に対す
る動きベクトルを検出し、動きベクトル値を予測モード判定部109に供給する。
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動さ
せた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる
移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和SAD(
Sum of Absolute Difference)や、画素毎の二乗誤差値の総
和SSE(Sum of Square Error)等を利用する。さらに、動きベク
トルの符号化に関わる符号量も誤差評価値に含めることも可能である。
動き補償予測部108は、予測モード判定部109より指定される参照画像指定情報と
、動きベクトル値に従って、復号画像メモリ106内の参照画像指定情報で示される参照
画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画
像信号を取得して予測信号を生成する。
予測モード判定部109より指定される予測モードが片方向予測の場合には、1つの参
照画像から取得した予測信号を動き補償予測信号とし、予測モードが双方向予測の場合に
は、2つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号と
し、動き補償予測信号を予測モード判定部109に供給する。ここでは双方向予測の重み
づけ平均の比率を1:1とする。
図4(a)〜(d)は、動き補償予測の予測方向について説明するための図である。単
一の参照画像からの予測を行う処理を片方向予測と定義し、片方向の場合はL0方向また
はL1方向という2つの参照画像管理リストに登録された参照画像のいずれか一方を利用
する。
図4(a)は片方向であってL0方向の参照画像(RefL0Pic)が符号化対象画
像(CurPic)より前の時刻にある場合を示している。図4(b)は片方向であって
L0方向の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図
4(a)および図4(b)のL0方向の参照画像をL1方向の参照画像(RefL1Pi
c)に置き換えて片方向予測を行うこともできる。
2つの参照画像からの予測を行う処理を双方向予測と定義し、双方向の場合はL0方向
とL1方向の双方を利用してBI方向と表現する。図4(c)は双方向であってL0方向
の参照画像が符号化対象画像より前の時刻にあって、L1方向の参照画像が符号化対象画
像より後の時刻にある場合を示している。図4(d)は双方向であってL0方向の参照画
像とL1方向の参照画像が符号化対象画像より前の時刻にある場合を示している。このよ
うに、L0/L1の予測方向と時間の関係は、L0が過去方向、L1が未来方向とは限定
されずに用いることが可能である。
実施の形態1では、参照画像及び符号化対象画像の時刻を示す情報としてPOC(Pi
cture Order Count)を用いる。POCはAVCで定義された画像の表
示順序を示すカウンタである。画像の表示順序が1増加するとPOCも1増加する。した
がって、画像間のPOC差から画像間の時間差(距離)を取得できる。
図1に戻り、予測モード判定部109は、動きベクトル検出部107より入力される各
参照画像に対して検出された動きベクトル値と、動き情報メモリ111に格納された動き
情報(予測方向、動きベクトル値、及び参照画像指定情報)をもとに、実施の形態1にお
いて定義した動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動
きベクトル値を動き補償予測部108に設定する。設定した値によって、動き補償予測部
108から供給される動き補償予測信号と、入力端子100より供給される予測ブロック
の画像信号を用いて、最適な動き補償予測モードを決定する。
予測モード判定部109は、決定した予測モード、及び予測モードに応じた予測方向、
動きベクトル、及び参照画像指定情報を特定する情報を、動き情報符号化部110に供給
し、決定した予測モード及びその予測モードに対する、予測方向、動きベクトル値、及び
参照画像指定情報を動き情報メモリ111に供給すると共に、減算部101及び加算部1
05に決定した予測モードに対応する予測信号を供給する。
動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号
化済画像を用いて予測を行う画面内予測が行われるが、実施の形態1は画面間予測に注目
したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部10
9の詳細な構成については後述する。
動き情報符号化部110は、予測モード判定部109より供給される予測モード、及び
予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所
定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部
112に供給する。動き情報符号化部110の詳細な構成については後述する。
動き情報メモリ111は、予測モード判定部109より供給される動き情報(予測方向
、動きベクトル、及び参照画像インデックス)を、最小予測ブロックサイズ単位を基準と
して所定画像分記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補
ブロック群とし、処理対象の予測ブロックと同一位置にあるColPic上のブロックと
その周辺ブロックの動き情報を時間候補ブロック群とする。
ColPicとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画
像メモリ106に参照画像として記憶されている。実施の形態1では、ColPicは直
前に復号した参照画像とする。なお、実施の形態1では、ColPicは直前に復号した
参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化
ストリーム中に、ColPicに用いる参照画像を直接指定することも可能である。
動き情報メモリ111は、空間候補ブロック群と時間候補ブロック群の動き情報を、候
補ブロック群の動き情報として予測モード判定部109に供給する。多重化部112は、
予測誤差符号化部103から供給される予測誤差の符号化列と、動き情報符号化部110
から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し
、出力端子113経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する
図1に示した動画像符号化装置の構成は、CPU(Central Processi
ng Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置等のハー
ドウェアによっても実現可能である。
図5は、本発明の実施の形態1に係る動画像符号化装置における符号化処理の動作の流
れ示すフローチャートである。予測ブロック単位毎に、入力端子100より処理対象の予
測ブロック画像を取得する(S500)。動きベクトル検出部107は、処理対象の予測
ブロック画像と復号画像メモリ106に格納された複数の参照画像より、参照画像毎の動
きベクトル値を算出する(S501)。
続いて、予測モード判定部109は、動きベクトル検出部107より供給される動きベ
クトルと、動き情報メモリ111に格納された動き情報を用いて、実施の形態1において
定義した動き補償予測モードのそれぞれに対する予測信号を、動き補償予測部108を用
いて取得し、最適な予測モードを選択し、予測信号を生成する(S502)。ステップS
502の処理の詳細については後述する。
続いて、減算部101は、処理対象の予測ブロック画像と予測モード判定部109より
供給された予測信号との差分を予測誤差信号として算出する(S503)。動き情報符号
化部110は、予測モード判定部109より供給される予測モード、及び予測モードに応
じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタック
ス構造に従って符号化し、動き情報の符号化データを生成する(S504)。ステップS
504の処理の詳細については後述する。
続いて、予測誤差符号化部103は、直交変換・量子化部102で生成された量子化さ
れた予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する(S5
05)。多重化部112は、動き情報符号化部110から供給される動き情報の符号化デ
ータと、予測誤差符号化部103から供給される予測誤差の符号化データを多重化し、符
号化ビットストリームを生成する(S506)。
加算部105は、逆量子化・逆変換部104より供給される復号予測誤差信号と、予測
モード判定部109より供給される予測信号を加算して、復号画像信号を生成する(S5
07)。加算部105によって、生成された復号画像信号が復号画像メモリ106に供給
、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる(S508)
。動き情報メモリ111は、動きベクトル検出部107より供給される動き情報(予測方
向、動きベクトル、及び参照画像指定情報)を最小の予測ブロックサイズ単位で格納する
(S509)。
[動画像復号装置全体構成]
図6は、本発明の実施の形態1に係る動画像復号装置の構成を示す図である。以下、各
部の動作について説明する。実施の形態1に係る動画像復号装置は、入力端子600、多
重分離部601、予測差分情報復号部602、逆量子化・逆変換部603、加算部604
、復号画像メモリ605、動き情報復号部606、動き情報メモリ607、動き補償予測
部608、及び出力端子609を備える。
入力端子600より符号化ビットストリームが多重分離部601に供給される。多重分
離部601は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と
、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情
報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号
化列を予測差分情報復号部602に供給し、当該動き情報の符号化列を動き情報復号部6
06に供給する。
予測差分情報復号部602は、多重分離部601より供給された予測誤差情報の符号化
列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部602は、生成
した量子化された予測誤差信号を逆量子化・逆変換部603に供給する。
逆量子化・逆変換部603は、予測差分情報復号部602より供給される量子化された
予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予
測誤差信号を加算部604に供給する。
加算部604は、逆量子化・逆変換部603より供給される復号予測誤差信号と、動き
補償予測部608より供給される予測信号を加算して復号画像信号を生成し、復号画像信
号を復号画像メモリ605に供給する。
復号画像メモリ605は、図1の動画像符号化装置における復号画像メモリ106と同
じ機能を有し、加算部604から供給された復号画像信号を格納し、参照画像信号を動き
補償予測部608に供給する。また、復号画像メモリ605は、格納された復号画像信号
を再生時刻に合わせて、画像の表示順序に従い出力端子609に供給する。
動き情報復号部606は、多重分離部601より供給される動き情報の符号化列より、
予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報
を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ607
より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測方向、動きベ
クトル及び参照画像指定情報を再生し、動き補償予測部608に供給する。また、動き情
報復号部606は再生した動き情報を、動き情報メモリ607に供給する。動き情報復号
部606の詳細な構成については後述する。
動き情報メモリ607は、図1の動画像符号化装置における動き情報メモリ111と同
じ機能を持ち、動き情報復号部606より供給される再生した動き情報を最小予測ブロッ
クサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ607は、空間候
補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き
情報復号部606に供給する。
動き補償予測部608は、図1の動画像符号化装置における動き補償予測部108と同
じ機能を持ち、動き情報復号部606より供給される動き情報に基づいて、復号画像メモ
リ605内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画
像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補
償予測の予測方向が双方向であれば、各予測方向の予測信号を平均したものを予測信号と
して生成し、予測信号を加算部604に供給する。
出力端子609は、復号画像メモリ605より供給された復号画像信号を、ディスプレ
イなどの表示媒体に出力することで、復号画像信号が再生される。
図6に示した動画像復号装置の構成も、図1に示した動画像符号化装置の構成と同様に
、CPU、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェア
によっても実現可能である。
図7は、本発明の実施の形態1に係る動画像復号装置における復号処理の動作の流れを
示すフローチャートである。多重分離部601は、入力端子600より供給された符号化
ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する(S70
0)。分離された動き情報の符号化列は動き情報復号部606に供給され、動き情報メモ
リ607より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情
報を復号する(S701)。
分離された予測誤差情報の符号化列は、予測差分情報復号部602に供給され、量子化
された予測誤差信号として復号され、逆量子化・逆変換部603で逆量子化や逆直交変換
などの処理を施されることで、復号予測誤差信号が生成される(S702)。ステップS
702の処理の詳細については後述する。
動き情報復号部606より、復号対象ブロックの動き情報が動き補償予測部608に供
給され、動き補償予測部608は動き情報にしたがって動き補償予測を行い予測信号を算
出する(S703)。加算部604は、逆量子化・逆変換部603から供給された復号予
測誤差信号と、動き補償予測部608から供給された予測信号とを加算し、復号画像信号
を生成する(S704)。
加算部604より供給された復号画像信号は、復号画像メモリ605に格納される(S
705)と共に、動き情報復号部606より供給された復号対象ブロックの動き情報が動
き情報メモリ607に格納される(S706)。これで、予測ブロック単位の復号処理が
終了する。
[実施の形態1の詳細機能説明]
本発明の実施の形態1に係る動画像符号化装置の予測モード判定部109及び動き情報
符号化部110の動作、図5のフローチャートにおけるステップS502及びステップS
504の処理、並びに本発明の実施の形態1に係る動画像復号装置における動き情報復号
部606の動作、図7のフローチャートにおけるステップS702の処理の詳細動作を、
以下説明する。
[実施の形態1における動き補償予測モードの定義]
図8(a)、(b)は、本発明の実施の形態1における動き補償予測において使用され
る動き情報を符号化するための3つの予測モードを説明するための図である。第一の予測
モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおけ
る時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報
を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する
手法であり、結合予測モード(マージモード)と呼ぶ。
結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が
定義でき、動き情報は使用する隣接ブロックを指定する情報(インデックス)を符号化す
ることで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、
結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測さ
れた予測信号を復号ピクチャとするSkipモードを定義し、結合した動き情報のみの少
ない情報で復号画像が再生できる構成を有する。Skipモードにおいて伝送する動き情
報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。
第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対
して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き
検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、参照画像を特定す
るための情報(参照画像インデックス)と、動きベクトルを特定するための情報が別々に
符号化される。
動き検出予測モードには、片方向予測と双方向予測のどちらを使用するか予測モードで
指示し、片方向予測の場合には1つの参照画像に対する参照画像を特定する情報と、動き
ベクトルの予測ベクトルとの差分ベクトルを符号化する。双方向予測の場合には2つの参
照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される
。動きベクトルに対する予測ベクトルは、AVCと同様に隣接ブロックの動き情報から生
成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用い
る動きベクトルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定
する情報(インデックス)と差分ベクトルの2つを符号化することで伝送される。
第三の予測モードは、隣接ブロックの動き情報に対して、動きベクトル値を修正するた
めの差分ベクトル値を追加で符号化することで、隣接ブロックから生成される動き情報に
対して一部の動きベクトルに対する修正を行い、動き情報として符号化する手法であり、
結合動き修正予測モード(マージMVDモード)と呼ぶ。結合動き修正予測モードにおい
て伝送する動き情報は、結合予測モードと同様に、隣接ブロックを指定する情報に加えて
、修正する動きベクトルに対する差分ベクトル値となる。実施の形態1における、結合動
き修正予測モードでは、差分ベクトル値は常に1つ伝送され、動き補償予測の予測方向は
双方向予測となる。
この結合動き修正予測モードを有する構成が、結合動き修正予測モードを有さない従来
の構成に対して符号化効率を向上させる要因となる。つまり、結合動き修正予測モードで
は、結合予測モードにおいて符号化する情報に対して、動きベクトルを修正するための差
分ベクトルを符号化して追加する。これにより、動きの連続性が十分保たれていない場合
や、他ブロックの動き情報における動きベクトルが正確な動きを示していない場合などに
、隣接ブロックから生成される動き情報に対して、動きベクトルのみを修正することで、
予測残差が少ない動き補償予測信号を生成する動き情報を、少ない情報で表現することが
できる。
図9は、動き補償予測および動き補償予測を実施しない画面内予測における、動き補償
の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して
説明するための図である。
動き検出予測モードの内、予測方向が片方向である片方向予測モード(UniPred
)の場合は、符号化する動き情報として1つの符号化ベクトル、1つの参照画像インデッ
クス、1つの予測ベクトルインデックスが伝送される。
同様に予測方向が双方向である双方向予測モード(BiPred)の場合は、符号化す
る動き情報として2つの符号化ベクトル、2つの参照画像インデックス、2つの予測ベク
トルインデックスが伝送される。
結合予測モード(Merge)の場合には、1つの結合動き情報インデックスのみが符
号化する動き情報として伝送され、動き情報に基づいて片方向もしくは双方向の動き補償
予測が施される。
結合動き修正予測モード(MergeMvd)の場合には、1つの結合動き情報インデ
ックスと1つの符号化ベクトルが符号化する動き情報として伝送され、動き情報と動きベ
クトルの修正情報に従って、双方向の動き補償予測が施される。
動き補償予測を実施しない予測符号化モードであるイントラモード(Intra)にお
いては、動き情報は符号化されない。
隣接する動き情報との時間的・空間的な相関性が非常に高い場合には、結合予測モード
が有効な動き補償予測モードとして選択される。相関性が低い場合もしくは一部の動き情
報のみが有効に予測ブロックの動き情報として利用できる場合には、動き検出予測モード
が有効な動き補償予測モードとして選択される。相関性が高いが動きに微小なずれを生じ
ている場合や、隣接するブロックの動き情報が正確な動きを示していない場合、また大部
分の動き情報が有効であるが一部の動き情報のみ相関性が十分でない場合などに、結合動
き修正予測モードが有効な動き補償予測モードとして選択される。このように、状況に応
じて、符号化効率の高い動き補償予測を選択できる。
[実施の形態1における動画像符号化装置における予測モード判定部の詳細動作説明]
図10は、実施の形態1の動画像符号化装置における予測モード判定部109の詳細な
構成を示す図である。予測モード判定部109は、最適な動き補償予測モードを決定する
機能を有する。
予測モード判定部109は、片方向動き補償予測生成部1000、双方向動き補償予測
生成部1001、予測誤差算出部1002、予測ベクトル算出部1003、差分ベクトル
算出部1004、動き情報符号量算出部1005、予測モード評価部1006、結合動き
情報算出部1007、結合動き補償予測生成部1008、及び結合動き修正動き補償予測
生成部1009を含む。
図1における予測モード判定部109に対して、動きベクトル検出部107より入力さ
れた動きベクトル値が、片方向動き補償予測生成部1000、双方向動き補償予測生成部
1001、及び結合動き修正動き補償予測生成部1009に供給され、動き情報メモリ1
11より入力された動き情報が、予測ベクトル算出部1003、及び結合動き情報算出部
1007に供給される。
また、動き補償予測部108に対して、片方向動き補償予測生成部1000、双方向動
き補償予測生成部1001、結合動き補償予測生成部1008、及び結合動き修正動き補
償予測生成部1009から、動き補償予測に用いる参照画像指定情報と動きベクトルが出
力される。また、動き補償予測部108より、生成された動き補償予測画像が予測誤差算
出部1002に供給される。予測誤差算出部1002には更に、入力端子100より符号
化対象となる予測ブロックの画像信号が供給される。
また、予測モード評価部1006から、動き情報符号化部110に対して符号化する動
き情報と確定した予測モード情報を供給し、動き情報メモリ111に動き情報を供給し、
動き補償予測信号を減算部101及び加算部105に供給する。
片方向動き補償予測生成部1000は、片方向予測に使用可能な各参照画像に対して算
出された動きベクトル値を受信し、参照画像指定情報を予測ベクトル算出部1003に供
給し、参照画像指定情報と動きベクトルを動き補償予測部108に出力する。
双方向動き補償予測生成部1001も同様に、双方向予測に使用可能な各参照画像に対
して算出された動きベクトル値を受信し、それぞれの参照画像に対する参照画像指定情報
を予測ベクトル算出部1003に供給し、それぞれの参照画像に対する参照画像指定情報
と動きベクトルを動き補償予測部108に出力する。
予測誤差算出部1002は、入力された動き補償予測画像と処理対象の予測ブロック画
像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベ
クトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和SADや、画素毎の
二乗誤差値の総和SSE等を使用できる。更に、予測残差の符号化を行う際に施される、
直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、よ
り正確な誤差評価値が算出可能である。この場合には、予測誤差算出部1002内に、図
1における減算部101、直交変換・量子化部102、逆量子化・逆変換部104、加算
部105の機能を有することで実現できる。予測誤差算出部1002は、各予測モードに
おいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部1006に供
給する。
予測ベクトル算出部1003は、片方向動き補償予測生成部1000及び双方向動き補
償予測生成部1001より参照画像指定情報を供給され、動き情報メモリ111から供給
される隣接ブロックの動き情報における候補ブロック群より、指定された参照画像に対す
る動きベクトル値を特定する。そして、複数の予測ベクトルを予測ベクトル候補リストと
共に生成し、差分ベクトル算出部1004に、参照画像指定情報と共に供給する。
図11は、予測ベクトル算出部1003の構成を示す図である。予測ベクトル算出部1
003は、予測ベクトル候補リスト生成部1100及び予測ベクトル候補リスト削除部1
101を含み、候補ブロック群より所定の順番で予測ベクトルの候補を作成し、その中か
ら同一の動きベクトル値を示す候補を削除することで、有効な予測ベクトルのみを予測ベ
クトル候補として登録する。予測ベクトル算出部1003の詳細動作に関しては、後述す
る。
図10に戻り、差分ベクトル算出部1004は、予測ベクトル算出部1003より供給
された、予測ベクトル候補のそれぞれに対して、片方向動き補償予測生成部1000及び
双方向動き補償予測生成部1001から供給される動きベクトル値との差分を計算し、差
分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情
報である予測ベクトルインデックスを符号化した際の符号量が最も少ない情報量で、動き
ベクトル値を表現出来る差分ベクトルとなる。従って、最も少ない情報量である予測ベク
トルに対する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動
き情報符号量算出部1005に供給する。
動き情報符号量算出部1005は、差分ベクトル算出部1004より供給される、片方
向予測モード及び双方向予測モードの差分ベクトル値、参照画像指定情報、予測ベクトル
インデックス、予測モードより、各予測モードにおける動き情報に要する符号量を算出す
る。また、動き情報符号量算出部1005は、結合動き補償予測生成部1008より、結
合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示
すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。
同様に、動き情報符号量算出部1005は、結合動き修正動き補償予測生成部1009
より、結合動き修正予測モードにおいて伝送する必要がある、結合動き情報インデックス
と差分ベクトル値と予測モードを示すための情報を受け取り、結合動き修正予測モードに
おける動き情報に要する符号量を算出する。動き情報符号量算出部1005は、各予測モ
ードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部100
6に供給する。
予測モード評価部1006は、予測誤差算出部1002より供給された各予測モードの
予測誤差評価値と、動き情報符号量算出部1005から供給された各予測モードの動き情
報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評
価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き
情報を、動き情報符号化部110及び動き情報メモリ111に出力する。また、予測モー
ド評価部1006は同様に、予測誤差算出部1002より供給された動き補償予測信号に
対して、選択した予測モードにおける予測信号を選択して減算部101及び加算部105
に出力する。
結合動き情報算出部1007は、動き情報メモリ111より供給される隣接ブロックの
動き情報における候補ブロック群を用いて、片方向であるか双方向であるかを示す予測方
向、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を
結合動き情報候補リストと共に生成し、結合動き補償予測生成部1008及び結合動き修
正動き補償予測生成部1009に供給する。
図12は、結合動き情報算出部1007の構成を示す図である。結合動き情報算出部1
007は、結合動き情報候補リスト生成部1200及び結合動き情報候補リスト削除部1
201を含む。結合動き情報算出部1007は、候補ブロック群より所定の順番で動き情
報の候補を作成し、その中から、動き情報の各要素(予測方向、参照画像指定情報、及び
動きベクトル値)が全て同一の値を示している候補を削除することで、有効な動き情報の
みを結合動き情報候補として登録する。結合動き情報算出部1007の詳細動作に関して
は、後述する。
図10に戻り、結合動き補償予測生成部1008は、結合動き情報算出部1007より
供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対し
て、動き情報より、予測方向に応じて1つの参照画像(片方向)もしくは2つの参照画像
(双方向)の参照画像指定情報と動きベクトル値を動き補償予測部108に指定して、動
き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号
量算出部1005に供給する。結合動き補償予測生成部1008の詳細動作に関しては、
後述する。
図10の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、
予測モード評価部1006で施されるが、予測誤差評価値及び動き情報符号量を予測誤差
算出部1002及び動き情報符号量算出部1005より受け取り、結合動き補償予測生成
部1008内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他
の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。
結合動き修正動き補償予測生成部1009は、結合動き情報算出部1007より供給さ
れた結合動き情報候補リスト、登録された結合動き情報候補に対して、双方向の動き情報
を算出する。そして、その中で動きベクトル値を修正する参照画像を特定し、特定した参
照画像の参照画像指定情報に対して、動きベクトル検出部107で検出された動きベクト
ル値を入力し、差分ベクトル値を計算する。そして、双方向の参照画像指定情報と修正し
た動きベクトル値を含む、動き補償予測に用いる動きベクトル値を動き補償予測部108
に指定して、動き補償予測画像を生成すると共に、それぞれに結合動き情報インデックス
と伝送する差分ベクトル値を動き情報符号量算出部1005に供給する。
図13は、結合動き修正動き補償予測生成部1009の構成を示す図である。結合動き
修正動き補償予測生成部1009は、基準参照画像・動き修正参照画像選択部1300、
動き修正参照画像動きベクトル取得部1301、結合動き情報修正動き補償予測生成部1
302、及び差分ベクトル算出部1303を含む。
基準参照画像・動き修正参照画像選択部1300は登録された結合動き情報候補に対し
て、双方向の動き情報を算出して動きベクトル値を修正する参照画像を特定する機能を有
する。動き修正参照画像動きベクトル取得部1301は特定した参照画像の参照画像指定
情報に対する動きベクトル値を入力する機能を有する。結合動き情報修正動き補償予測生
成部1302は動き補償予測に用いる動きベクトル値と参照画像指定情報を動き補償予測
部108に出力する機能をする。差分ベクトル算出部1303は基準参照画像・動き修正
参照画像選択部1300で算出された動き情報の動きベクトル値と、動きベクトル検出部
107から入力された動きベクトル値の差分ベクトル値を算出する機能を有する。結合動
き修正動き補償予測生成部1009の詳細動作は後述する。
図14は、図10の予測モード判定部109を介して動作する、図5のステップS50
2である動き補償予測モード/予測信号生成の動作について説明するためのフローチャー
トである。最初に、結合動き情報候補リスト生成を行い(S1400)、結合予測モード
評価値を生成する(S1401)。
続いて、ステップS1400で生成された結合動き情報候補リストを用いて、結合動き
修正予測モード評価値を生成し(S1402)、片方向予測モード評価値を生成し(S1
403)、双方向予測モード評価値を生成し(S1404)、生成した評価値を比較する
ことで最適な予測モードを選択する(S1405)。ただし、ステップS1401、ステ
ップS1402、ステップS1403、及びステップS1404の評価値生成の順序はこ
の順序に限らない。
選択された予測モードに従い予測信号を出力し(S1406)、選択された予測モード
に従い動き情報を出力する(S1407)ことで、予測ブロック単位の動き補償予測モー
ド/予測信号生成処理が終了する。ステップS1400、ステップS1401、ステップ
S1402、ステップS1404、及びステップS1404の詳細動作に関しては後述す
る。
図15は、図14のステップS1400における結合動き情報候補リスト生成の詳細動
作を説明するためのフローチャートである。この動作は、図10の結合動き情報算出部1
007における構成の詳細動作を示している。図12の結合動き情報候補リスト生成部1
200は、動き情報メモリ111より供給される空間候補ブロック群から領域外である候
補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、空間結合
動き情報候補リストを生成する(S1500)。空間結合動き情報候補リスト生成の詳細
な動作は後述する。
結合動き情報候補リスト生成部1200は、続いて動き情報メモリ111より供給され
る時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロッ
クを除いた候補ブロック群から、時間結合動き情報候補リストを生成する(S1501)
。時間結合動き情報候補リスト生成の詳細な動作は後述する。
続いて、結合動き情報候補リスト削除部1201において、生成された空間結合動き情
報候補リストと時間結合動き情報候補リストを統合した結合動き情報候補リストより、重
複している動き情報を持つ結合動き情報候補が複数存在する場合には1つの結合動き情報
候補を残して削除して動き情報候補リストを更新する(S1502)。
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、結合動き情報候
補が存在しない場合(S1503:YES)、固定の動き情報を結合動き情報候補リスト
に追加して(S1504)、処理を終了する。実施の形態1における固定の動き情報とし
ては、予測方向が双方向で、参照画像指定情報(インデックス)が0、2つの動きベクト
ル値が共に(0,0)の値を設定する。実施の形態1における固定の動き情報としては、
上記設定には限定されず、暗黙的に指定できる手法で設定されることにより、動画像復号
装置においても同じ動き情報が再現できる。なお、上記処理において隣接ブロックに有効
な動き情報が存在し、結合動き情報候補が存在する場合(S1503:NO)、ステップ
S1504をスキップして、処理を終了する。
動き情報メモリ111より、結合動き情報算出部1007に供給される動き情報の候補
ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合
動き情報候補リスト生成について説明する。
図16は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図であ
る。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像
のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、図
16に示すようなA1〜A4、B1〜B4、C、D、Eの位置のブロックが隣接するブロ
ック群となる。候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、
隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予
測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態1
においては、これら隣接するブロック群の内、空間候補ブロック群をブロックA1、ブロ
ックB1、ブロックC、ブロックDの4ブロックとする。
図17は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャー
トである。空間候補ブロック群に含まれる4つの候補ブロックであるブロックA1、ブロ
ックB1、ブロックC、ブロックDについて以下の処理を繰り返し行う(S1700から
S1703)。
最初に候補ブロックの有効性を検査する(S1701)。候補ブロックが領域外でなく
イントラモードでない場合(S1701:YES)、候補ブロックは有効となる。候補ブ
ロックが有効であれば、候補ブロックの動き情報を空間結合動き情報候補リストに追加す
る(S1702)。
ここでは、空間結合動き情報候補リストには4以下の候補ブロックの動き情報が含まれ
るとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも1以
上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リ
ストの数が変動すればよく、これに限定されない。なお、候補ブロックが領域外またはイ
ントラモードの場合(S1701:NO)、ステップS1702をスキップし、次の候補
ブロックの有効/無効判定が行われる。
続いて、時間結合動き情報候補リスト生成について説明する。図18は、時間結合動き
情報候補リスト生成に用いる時間候補ブロック群を示す図である。時間候補ブロック群は
、予測対象ブロックとは別の復号済みの画像ColPicにおける予測対象ブロックと同
位置及びその周辺にあるブロックを示す。図18におけるA1〜A4、B1〜B4、C、
D、E、F1〜F4、G1〜G4、H、I1〜I16の位置のブロックが、時間的に隣接
するブロック群となる。実施の形態1においては、これら時間的に隣接するブロック群の
内、時間候補ブロック群をブロックHとブロックI6の2ブロックとする。
図19は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャー
トである。時間候補ブロック群に含まれる2つの候補ブロックであるブロックHとブロッ
クI6について(ステップ1900、ステップS1905)、候補ブロックの有効性を検
査する(S1901)。候補ブロックが有効である場合(S1901:YES)、ステッ
プS1902〜ステップS1904の処理が行われ、生成された動き情報が時間結合動き
情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場
合や、候補ブロックがイントラ予測ブロックである場合(S1901:NO)、候補ブロ
ックが有効でなく、次の候補ブロックの有効/無効判定が行われる。
候補ブロックが有効である場合(S1901:YES)、候補ブロックの動き情報をも
とに結合動き情報候補に登録する参照画像選択候補を確定する(S1902)。実施の形
態1ではL0方向の参照画像を、L0方向の参照画像のうち処理対象画像に最も近い距離
にある参照画像とし、L1方向の参照画像を、L1方向の参照画像のうち処理対象画像に
最も近い距離にある参照画像とする。
ここでの参照画像選択候補の確定手法は、L0方向の参照画像とL1方向の参照画像が
決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像
を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、
例えばL0方向の参照画像及びL1方向の参照画像の参照画像インデックスが0である参
照画像を選択する手法や、空間隣接ブロックが使用しているL0参照画像及びL1参照画
像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択
する手法や、符号化ストリーム中で各方向の参照画像を指定する手法を用いることが可能
である。
次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を
確定する(S1903)。実施の形態1における、時間結合動き情報は、候補ブロックの
動き情報で有効な予測方向である動きベクトル値をもとに、双方向の動き情報を算出する
。候補ブロックの予測方向がL0予測もしくはL1予測の片方向の場合には、予測に用い
られている方向(L0方向或いはL1方向)の動き情報を選択し、その参照画像指定情報
と動きベクトル値を双方向動き情報生成の基準値とする。
候補ブロックの予測方向が双方向である場合には、L0予測或いはL1予測のどちらか
一方の動き情報を基準値として選択する。基準値の選択方法は、例えばColPicと同
じ予測方向に存在する動き情報を選択する、候補ブロックのL0予測、L1予測のそれぞ
れの参照画像でColPicとの画像間距離が近い方を選択する、或いは候補ブロックの
L0予測、L1予測のそれぞれの動きベクトルが符号化処理対象画像と交差する方を選択
する等が挙げられる。
双方向動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登
録する動きベクトル値を算出する。
図20は、時間結合動き情報に対する基準動きベクトル値ColMvに対する、L0予
測、L1予測に対して登録する動きベクトル値mvL0t、mvL1tの算出手法を説明
するための図である。基準動きベクトル値ColMvに対するColPicと候補ブロッ
クの基準とする動きベクトルの対象となる参照画像との画像間距離をColDistとす
る。L0予測、L1予測の各参照画像と処理対象画像との画像間距離をCurrL0Di
st、CuurL1Distとする。ColMvを、ColDistとCurrL0Di
st、CurrL1Distの距離比率でスケーリングした動きベクトルを、それぞれに
登録する動きベクトルとする。具体的には、登録する動きベクトル値mvL0t、mvL
1tは、下記式1、2で算出される。
mvL0t=mvCol×CurrL0Dist/ColDist ・・・(式1)
mvL1t=mvCol×CurrL1Dist/ColDist ・・・(式2)
となる。
図19に戻り、このようにして生成された、双方向の参照画像選択情報(インデックス
)と、動きベクトル値を結合動き情報候補に追加し(S1904)、時間結合動き情報候
補リスト作成処理が終了する。
図21は、図19のステップS1401における結合予測モード評価値生成の詳細動作
を説明するためのフローチャートである。この動作は、図10の結合動き補償予測生成部
1008を用いた構成の詳細動作を示している。
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデッ
クスを初期化(例えば、−1などのリスト外の値)する(S2100)。結合動き情報候
補リスト生成処理により、生成された結合動き情報候補リストの数をnum_of_in
dexとすると、i=0からnum_of_index−1までの結合動き情報候補につ
いて以下の処理を繰り返し行う(S2101からS2109)。
先ず、結合動き情報候補リストよりインデックスiに格納された動き情報を取得する(
S2102)。続いて動き情報符号量を算出する(S2103)。結合予測モードにおい
ては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスの
みが動き情報符号量となる。結合動き情報インデックスの符号列としては、実施の形態1
では、Truncated Unary符号列を用いる。
続いて、動き情報の予測方向が片方向である場合(S2104:YES)、1つの参照
画像に対する参照画像指定情報と動きベクトルを、図1における動き補償予測部108に
設定して、片方向動き補償予測ブロックを生成する(S2105)。動き情報が片方向で
ない場合(S2104:NO)、2つの参照画像に対する参照画像指定情報と動きベクト
ルを動き補償予測部108に設定して、双方向動き補償予測ブロックを生成する(S21
06)。
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、
予測誤差評価値を算出し(S2107)、予測誤差評価値が最小値である場合には評価値
を更新すると共に、予測誤差最小インデックスを更新する(S2108)。
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測
誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予
測誤差最小値、動き補償予測ブロックと共に出力し(S2110)、結合予測モード評価
値生成処理を終了する。
図22は、図14のステップS1402における結合動き修正予測モード評価値生成の
詳細動作を説明するためのフローチャートである。この動作は、図10の結合動き修正動
き補償予測生成部1009を用いた構成の詳細動作を示している。
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インック
スを初期化(例えば、−1などのリスト外の値)する(S2200)。結合動き情報候補
リスト生成処理により、生成された結合動き情報候補リストの数をnum_of_ind
exとすると、i=0からnum_of_index−1までの結合動き情報候補につい
て以下の処理を繰り返し行う(S2201からS2210)。
先ず、結合動き情報候補リストよりインデックスiに格納された動き情報を取得する(
S2202)。続いて、取得した動き情報より双方向予測の動きベクトル値と参照画像指
定情報、及び差分ベクトルを伝送する参照画像となる動き修正参照画像を確定する(S2
203)。ステップS2203の詳細動作に関しては、後述する。
次に、ステップS2203により確定された動き補正参照画像に対して、図1の動きベ
クトル検出部107より動き補正参照画像に対する検出した動きベクトル値を入力する(
S2204)。入力された動きベクトル値を動き補償予測に用いるため、結合動き情報候
補より算出された動き情報における、動き補正参照画像の動きベクトル値との差分ベクト
ルが生成される(S2205)。
続いて、動き情報符号量を算出する(S2206)。結合動き修正予測モードにおいて
は、結合動き情報インデックスと差分ベクトル値が符号化されることで、必要な動き情報
が伝送される。そのため、結合動き情報インデックスの符号量と差分ベクトル値の符号量
が加算され、結合動き修正予測モードにおける動き情報符号量となる。
結合修正動き予測モードの場合に、結合動き情報より生成された双方向予測の動きベク
トルと参照画像選択情報に対して、動き修正参照画像に対する修正した動きベクトルのみ
を入れ替えた動き情報を、図1における動き補償予測部108に設定して、双方向動き補
償予測ブロックを生成する(S2207)。
動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差
評価値を算出し(S2208)、予測誤差評価値が最小値である場合には評価値を更新す
ると共に、予測誤差最小インデックスを更新する(S2209)。
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測
誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予
測誤差最小値、動き補償予測ブロックと共に出力し(S2211)、結合動き修正予測モ
ード評価値生成処理を終了する。
次に、ステップS2203の詳細動作を説明する前に、結合動き修正予測モードにおけ
る結合動き情報に対するスケーリング処理の説明を行う。図23(a)〜(c)は、結合
動き修正予測モードにおける結合動き情報に対するスケーリング処理の概念を示す図であ
る。結合動き情報としては、図23(a)に示す空間隣接ブロックから算出された予測方
向が双方向である空間BiPredと、図23(b)に示す空間隣接ブロックから算出さ
れた予測方向が片方向である空間UniPredと、図23(c)に示す時間連接ブロッ
クから算出された時間BiPredが存在する。
実施の形態1における、結合動き情報に対するスケーリング処理は、双方向の動き情報
が取得できる空間BiPred及び時間BiPredにおいては、結合動き情報算出時に
施された動きベクトルをそのまま用い、時間UniPredに関しては、片方向で定義さ
れている動きベクトル値を、符号化対象画像とL0画像、L1画像との距離比率でスケー
リングすることで、使用されていなかった方向の動き情報を生成する。
図24は、各結合動き情報に対して存在するスケーリングされて生成した動きベクトル
数を示す図である。空間UniPredが上記スケーリング処理における1個、空間Bi
Predは結合動き情報算出時にスケーリング処理が施されていないため0個、時間Bi
Predは結合動き情報算出時の2つの動きベクトル値の算出時にスケーリング処理が施
されているため2個となる。
上記スケーリング処理が施された動きベクトル値は、隣接ブロックで使用された動きベ
クトル値をそのまま動きベクトル値として採用した結合動き情報と比較すると、スケーリ
ングによる演算誤差の影響や、動き量の時間変化が一定でない場合の影響があり、その動
き情報の精度にずれが生じている可能性が高い。また、隣接ブロックに使用された動きベ
クトル値は、符号化対象から時間的に離れた参照画像になるほど画面の変化が大きくなる
ため、その値の精度が低下する。
実施の形態1においては、これらの結合動き情報に登録された動きベクトルの算出時の
特性を利用して、差分ベクトルを送って動きベクトルを修正する必要のある動きベクトル
を、付加情報を伝送することなく特定し、差分ベクトルのみを追加で符号化する。これに
より、動き補償予測の予測精度が高い動き情報を、少ない動き情報の伝送で実現すること
ができる。
実施の形態1においては、スケーリングされて算出された動きベクトル値を持つ参照画
像を優先的に、差分ベクトルを伝送する動き修正参照画像に設定する。2つの動きベクト
ルが共にスケーリングされている場合や、共にスケーリングされていない場合には、予測
対象画像からの時間的距離が離れた参照画像を、差分ベクトルを伝送する動き修正参照画
像に設定する。
図25(a)〜(c)は、実施の形態1における差分動きベクトル伝送参照画像確定ア
ルゴリズムを示す概念図である。図25(a)に示す空間BiPredでは、スケーリン
グされた動きベクトルが0個のため、時間的距離の遠い参照画像の動きベクトルに差分ベ
クトルを追加する。図25(b)に示す空間UniPredでは、スケーリングされた動
きベクトルが1個のため、スケーリングされた動きベクトルに差分ベクトルを追加する。
図25(c)に示す時間BiPredでは、スケーリングされた動きベクトルが2個のた
め、時間的距離の遠い参照画像の動きベクトルに差分ベクトルを追加する。
図26は、図22のステップS2203の詳細動作を説明するためのフローチャートで
ある。図22のステップS2203では、上記差分ベクトルを伝送する参照画像の確定処
理が行われる。
最初に、取得した結合動き情報の予測方向が片方向である場合には(S2600:YE
S)、空間UniPredで導出された結合動き情報であり、双方向の動き補償予測を行
うための第2参照画像と第2参照画像の動きベクトル値を確定する処理を行う(S260
1)。ステップS2601の詳細動作に関しては、後述する。
続いて、双方向の参照画像の動きベクトル値のうちスケーリングされた動きベクトルが
片方向の1つの動きベクトルのみである場合(S2602:YES)、スケーリングされ
た動きベクトル値を持つ参照画像を動き修正参照画像に設定する(S2603)。
スケーリングされた動きベクトルが片方向の1つの動きベクトルでない場合(S260
2:NO)、符号化対象画像、L0参照画像、L1参照画像の時間情報を示すPOC値を
取得し、それぞれPOCcur、POC_L0、POC_L1に設定する(S2604)
符号化対象画像と2つの参照画像の間での時間的距離を下記式3で比較する。
abs(POCcur−POC_L0)>abs(POCcur−POC_L1)
・・・(式3)
上記式3を満たす場合(S2605:YES)、L0参照画像が遠い参照画像と判断し
、L0参照画像を動き修正参照画像に設定する(S2606)。上記式3を満たさない場
合(S2605:NO)、L1参照画像を動き修正参照画像に設定する(S2607)。
以上で、双方向の動きベクトル値と差分ベクトルを伝送する参照画像を確定する処理が終
了する。
図27は、図26のステップS2601の詳細動作を説明するためのフローチャートで
ある。最初に、結合動き情報に格納されている動き情報がL0予測であった場合(S27
00:YES)、第2参照画像としてL1予測の参照画像インデックスを確定する(S2
701)。L0予測でない場合(S2700:NO)、第2参照画像としてL0予測の参
照画像インデックスを確定する(S2702)。ステップS2702における参照画像イ
ンデックスの確定処理に関しては、後述する。
続いて、符号化対象画像、結合動き情報に格納されている参照画像、第2参照画像のP
OC値を取得し、POCcur、POC_Lx、POC_Lyに設定する(S2703)
。上記POC値を用いて、結合動き情報に格納されている動きベクトル値を2つの参照画
像と符号化対象画像との距離比率でスケーリングする(S2704)。
結合動き情報に格納されている動き情報がL0予測であった場合(S2705:YES
)、スケーリングして生成された動きベクトル値をL1予測の参照画像に対する基準動き
ベクトル値として設定する(S2706)。L0予測でない場合(S2705:NO)、
スケーリングして生成された動きベクトル値をL0予測の参照画像に対する基準動きベク
トル値として設定し(S2707)、処理を終了する。
図28は、図27のステップS2702の詳細動作を説明するためのフローチャートで
ある。図27のステップS2702では、参照画像インデックスを確定する処理が行われ
る。
最初に、結合動き情報に格納されている参照画像を基準参照画像として取得するととも
に、第2参照画像を設定する予測方向における参照画像リストを第2参照画像候補リスト
として取得する(S2800)。
次に、符号化対象画像を挟んで基準参照画像と反対方向の時間位置に存在する参照画像
が第2参照画像候補リスト内に存在するかを調べる(S2801)。存在する場合(S2
801:YES)、その中で最も符号化対象画像に近い時間位置に存在する参照画像を第
2参照画像に対する参照画像インデックスとして確定する(S2802)。存在しない場
合(S2801:NO)、符号化対象に最も近い時間位置に存在する参照画像を第2参照
画像候補と設定し(S2803)、基準参照画像と第2参照画像候補が同一画像であるか
を調べる(S2804)。
基準参照画像と第2参照画像候補が同一画像でない場合(S2804:NO)、第2参
照画像候補を第2参照画像に対する参照画像インデックスとして確定する(S2805)
。基準参照画像と第2参照画像候補が同一画像である場合(S2804:YES)、他の
参照画像が第2参照画像候補リストに存在するかを調べる(S2806)。存在する場合
(S2806:YES)、時間位置で次に符号化対象画像に近い参照画像を取得し、第2
参照画像に対する参照画像インデックスとして確定する(S2807)。他の参照画像が
存在しない場合(S2806:NO)、ステップS2805に進み、第2参照画像候補を
第2参照画像に対する参照画像インデックスとして確定する。以上で全ての場合における
第2参照画像に対する参照画像インデックスが確定し、処理を終了する。
実施の形態1における第2参照画像の確定アルゴリズムは、動き補償予測処理が双方向
予測において符号化対象画像を挟んで反対方向に存在する参照画像で構成される補間型(
内挿型)の双方向予測の方が、符号化対象画像を挟まずに同一方向に存在する参照画像で
構成する補間(外挿型)の双方向予測よりも、動きや物体の時間変化の影響を平均化でき
るために予測精度が良い点、符号化対象画像から近い参照画像の方が動きや物体の時間変
化の影響が少なく動き補償予測の精度が良い点、同じ参照画像を重ね合わせて生成する予
測画像よりも、2つの異なる参照画像より生成される双方向予測画像の方が動きを正しく
捉えた場合の予測画像の予測精度が高い点の3つの知見に基づく確定アルゴリズムである
。この手法により、双方向予測に適した参照画像を第2参照画像として設定できる利点が
ある。
しかしながら、上述した参照画像インデックスの確定処理に関しては、第2参照画像の
参照画像インデックスが確定できればよく、異なる確定アルゴリズムを用いることも可能
である。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意
図した参照画像を確定できる。他の確定方法として、他ブロックの動き情報における動き
ベクトルが正確な動きを示していない場合に、同じ参照画像を重ね合わせて生成する予測
画像を用いることで、参照画像に微小な変化を加えた動き補償予測信号を新たな候補とし
て加えることが出来る効果を重視して、図28のフローチャートにおける、基準参照画像
と第2参照画像候補が同一画像であるかを調べる処理であるステップS2804を無くし
て、同一画像であっても第2参照画像候補として確定する方法を用いることができる。
更に他の確定方法として、第2参照画像として確定する予測方向の参照画像の中で、単
純に符号化対象画像に最も近い距離にある参照画像を選択する方法や、常に参照画像イン
デックスが0で示される参照画像を取得する方法や、空間隣接ブロックが使用しているL
0参照画像及びL1参照画像で、最も多く使用されている参照画像を予測対象ブロックに
おける参照画像として選択する方法などの、時間BiPredにおける参照画像確定処理
に用いた確定手段を用いることも可能である。また、図28に示したアルゴリズムを用い
て、時間BiPredにおける参照画像確定処理に応用することも可能である。
図29は、図14のステップS1403の詳細動作を説明するためのフローチャートで
ある。図14のステップS1403では、片方向予測モード評価値生成処理が行われる。
最初に、片方向予測に対する参照画像指定情報(インデックス)と動きベクトル値を取
得する(S2900)。続いて、予測ベクトル候補リストを生成し(S2901)、予測
ベクトルの中から最適予測ベクトルを選択し、差分ベクトルを生成する(S2902)。
最適予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを
実際に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分
ベクトルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的
に算出してもよい。ステップS2901の詳細動作については、後述する。
続いて、動き情報符号量を算出する(S2903)。片方向予測モードの場合に、符号
化する動き情報としては、1つの参照画像に対する、参照画像指定情報、差分ベクトル値
、及び予測ベクトルインデックスの3要素となり、各々符号化された符号量の総量が動き
情報符号量として算出される。実施の形態1における予測ベクトルインデックスの符号列
生成手法としては、結合動き情報インデックスの符号列と同様にTruncated U
nary符号列を用いるものとする。
続いて、1つの参照画像に対する参照画像指定情報と動きベクトルを図1における動き
補償予測部108に設定して、片方向動き補償予測ブロックを生成する(S2904)。
さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予
測誤差評価値を算出し(S2905)、予測誤差評価値と、1つの参照画像に対する動き
情報である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償
予測ブロックと共に出力し(S2906)、片方向予測モード評価値生成処理を終了する
図30は、図29のステップS2901の詳細動作を説明するためのフローチャートで
ある。図29のステップS2901では、予測ベクトル候補リスト生成が行われる。この
動作は、図10の予測ベクトル算出部1003における構成の詳細動作を示している。
図11の予測ベクトル候補リスト生成部1100は、動き情報メモリ111より供給さ
れる空間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブ
ロックを除いた候補ブロック群から空間動き情報利用予測ベクトル候補リストを生成する
(S3000)。空間動き情報利用予測ベクトル候補リスト生成の詳細な動作は後述する
予測ベクトル候補リスト生成部1100は、続いて動き情報メモリ111より供給され
る時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロッ
クを除いた候補ブロック群から時間動き情報利用予測ベクトル候補リストを生成する(S
3001)。時間動き情報利用予測ベクトル候補リスト生成の詳細な動作は後述する。
続いて、予測ベクトル候補リスト削除部1101は、生成された空間動き情報利用予測
ベクトル候補リストと時間動き情報利用予測ベクトル候補リストを統合した予測ベクトル
候補リストより、重複している動きベクトルを持つ予測ベクトル候補が複数存在する場合
には1つの予測ベクトル候補を残して削除して予測ベクトル候補リストを更新する(S3
002)。
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、予測ベクトル候
補が存在しない場合(S3003:YES)、固定ベクトル値(0,0)を予測ベクトル
候補リストに追加して(S3004)、処理を終了する。
図31は、空間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するための
フローチャートである。動き情報メモリ111より、予測ベクトル算出部1003に供給
される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含ま
れる。空間候補ブロック群と時間候補ブロック群の概念は、図16や図18に示した、結
合動き情報に対する動き情報の候補ブロックと同様である。
実施の形態1においては、空間候補ブロック群としては図16におけるブロックA1、
ブロックB1、ブロックC、ブロックDの4ブロックとする。実施の形態1において、候
補ブロックの数や位置に関しては限定されず、また結合動き情報において用いる候補ブロ
ックの数や位置と、予測ベクトルにおいて用いる候補ブロックの数や位置は、一致しても
一致しなくてもかまわない。
最初に、空間候補ブロック群に含まれる4つの候補ブロックであるブロックA1、ブロ
ックB1、ブロックC、ブロックDについて以下の処理を繰り返し行う(S3100から
S3103)。
最初に候補ブロックにおいて指定した参照画像における動きベクトル値の有効性を検査
する(S3101)。候補ブロックが領域外でなくイントラモードでない場合だけでなく
、片方向予測で指定した参照画像が使用されない場合や、参照インデックスが異なる場合
に、動きベクトル値は無効となる。ただし、実施の形態1においては、片方向予測で指定
した参照画像が使用されない場合や、参照インデックスが異なる場合に、他の参照画像の
動きベクトル値をスケーリングして動きベクトルを求めるなどの追加の処理を行い、有効
な動きベクトルとして扱うことも可能であり、上記動きベクトル値の有効/無効判断手法
は、実施の形態1の手法に限定されない。
続いて、動きベクトル値が有効であれば(S3101:YES)、候補ブロックの動き
ベクトル値を予測ベクトル候補リストに追加する(S3102)。動きベクトル値が無効
であれば(S3101:NO)、ステップS3102をスキップし、次の候補ブロックの
動きベクトル値の有効/無効判断を行う。
図32は、時間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するための
フローチャートである。実施の形態1においては、図18における時間的に隣接するブロ
ック群の内、時間候補ブロック群をブロックHとブロックI6の2ブロックとする。時間
動き情報利用予測ベクトル候補リスト生成においても、候補ブロックの数や位置に関して
は限定されず、また結合動き情報において用いる候補ブロックの数や位置と別に設定する
ことが可能である。
時間候補ブロック群に含まれる2つの候補ブロックであるブロックHとブロックI6に
ついて(ステップ3200、ステップS3204)、候補ブロックの有効性を検査する(
S3201)。候補ブロックが有効である場合(S3201:YES)、ステップS32
02〜ステップS3203の処理が行われ、生成された動きベクトル値が予測ベクトル候
補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、
候補ブロックがイントラ予測ブロックである場合には、候補ブロックが有効でなく(S3
201:NO)、次の候補ブロックの有効/無効判定が行われる。
候補ブロックが有効である場合(S3201:YES)、候補ブロックの動き情報をも
とに予測ベクトル候補に登録する動きベクトル値を確定する(S3202)。確定した動
きベクトル値を予測ベクトル候補リストに追加して(S3203)、時間動き情報利用予
測ベクトル候補リスト生成が終了する。
図33は、図14のステップS1404の詳細動作を説明するためのフローチャートで
ある。図14のステップS1404では、双方向予測モード評価値生成処理が行われる。
最初に、L0予測に対する参照画像指定情報(インデックス)と動きベクトル値を取得
する(S3300)。続いて、L0予測ベクトル候補リストを生成し(S3301)、予
測ベクトルの中からL0予測における最適予測ベクトルを選択し、差分ベクトルを生成す
る(S3302)。これらの処理は、図29のフローチャート内の片方向予測モード評価
値生成処理における、ステップ2900〜ステップS2902までの処理と同じ処理であ
る。
続いて、L1予測に対する参照画像指定情報(インデックス)と動きベクトル値を取得
する(S3303)。続いて、L1予測ベクトル候補リストを生成し(S3304)、予
測ベクトルの中からL1予測における最適予測ベクトルを選択し、差分ベクトルを生成す
る(S3305)。これらの処理も同様に、図29のフローチャート内の片方向予測モー
ド評価値生成処理における、ステップ2900〜ステップS2902までの処理と同じ処
理である。
続いて、動き情報符号量を算出する(S3306)。双方向予測モードの場合には、符
号化する動き情報としては、L0とL1の2つの参照画像に対する、参照画像指定情報、
差分ベクトル値、及び予測ベクトルインデックスの計6要素となり、各々符号化された符
号量の総量が動き情報符号量として算出される。そのため、結合予測モードや結合動き修
正予測モードと比較して、符号化される動き情報の符号量は大きくなる。
続いて、2つの参照画像に対する参照画像指定情報と動きベクトルを図1における動き
補償予測部108に設定して、双方向動き補償予測ブロックを生成する(S3307)。
さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予
測誤差評価値を算出し(S3308)、予測誤差評価値と、L0、L1の2つの参照画像
に対する動き情報である、2つの参照画像指定情報と2つの差分ベクトル値と2つの予測
ベクトルインデックスを動き補償予測ブロックと共に出力し(S3309)、双方向予測
モード評価値生成処理を終了する。
以上の処理が、実施の形態1における動画像符号化装置における予測モード判定部10
9の詳細動作となる。
[実施の形態1における動画像符号化装置における動き情報符号化部の詳細動作説明]
図34は、図5のステップS504の詳細動作を説明するためのフローチャートである
。図5のステップS504の処理は、実施の形態1の動画像符号化装置の動き情報符号化
部110における、各動き補償予測モードに対する動き情報を符号化する処理を示す。
動き情報符号化部110には、予測モード判定部109において決定された動き補償予
測モードにおける、予測モードを示す情報と、各予測モードの動き情報を表現するために
必要な情報が供給され、動き情報符号化部110は動き情報符号化データ生成処理を開始
する。
最初に、予測モードが結合予測モードである場合(S3400:YES)、ステップS
3401に進み、対象となる予測ブロックで予測誤差信号を符号化しない(Skipモー
ド)状態である場合(S3401:YES)、Skipフラグを符号化し(S3402)
、そうでない場合(S3401:NO)、マージフラグを1として符号化する(S340
3)。
Skipフラグ或いはマージフラグを符号化した後、結合動き情報候補リストが1より
大きい場合(S3404:YES)、結合動き情報インデックスを符号化し(S3405
)、処理を終了する。結合動き情報候補リストが1の場合(S3404:NO)、結合動
き情報が特定できるため、結合動き情報インデックスは伝送されない。
次に、予測モードが結合予測モードでない場合(S3400:NO)、マージフラグを
0として符号化し(S3406)、動き予測フラグを符号化する(S3407)。動き予
測フラグは、予測方向が片方向予測であるか双方向予測であるかを指示する情報として符
号化される。
図35は、実施の形態1における動き予測フラグの一例を示す図である。動き予測フラ
グ(inter_pred_flag)として、片方向を示す値(Pred_LC)が0
、双方向を示す値(Pred_BI)が1で符号化される。結合動き修正予測モードに関
しては、動き補償予測の構造は双方向予測となり、Pred_BIとして動き予測フラグ
が送られる。
続いて、動き予測フラグで示された予測方向が片方向予測である場合(S3408:Y
ES)、片方向予測モードの動き情報伝送が行われる。最初に、参照画像指定情報(イン
デックス)を符号化し(S3409)、続いて、差分ベクトルを符号化する(S3410
)。予測ベクトル候補リストが1より大きい場合(S3411:YES)、予測ベクトル
インデックスを符号化し(S3412)、処理を終了する。予測ベクトル候補リストが1
の場合(S3411:NO)、予測ベクトルが特定できるため、インデックスは伝送され
ない。
一方、動き予測フラグで示された予測方向が片方向予測でない場合(S3408:NO
)において、予測モードが結合動き修正予測モードである場合(S3413:YES)、
結合動き修正予測モードの動き情報伝送が行われる。
最初に、結合動き修正予測モードを特定するためのマージMvdフラグを1で符号化す
る(S3414)。続いて、結合動き情報候補リストが1より大きい場合(S3415:
YES)、結合動き情報インデックスを符号化する(S3416)。結合動き情報候補リ
ストが1の場合(S3415:NO)、結合動き情報インデックスは伝送されない。最後
に、結合動き修正予測モードで特定された動き修正参照画像の動きベクトル値に対して、
結合動き情報の動き修正参照画像の修正前動きベクトルとの差分ベクトル値を符号化し(
S3417)、処理を終了する。
予測モードが結合動き修正予測モードでない場合(S3413:NO)、予測モードは
双方向予測モードとなり、双方向予測モードの動き情報伝送が行われる。最初に、結合動
き修正予測モードでないことを示すためにマージMvdフラグを0で符号化する(S34
18)。続いて、L0予測の動き情報であるL0参照画像指定情報を符号化し(S341
9)、L0差分ベクトル値を符号化する(S3420)。L0予測の予測ベクトル候補リ
ストが1より大きい場合(S3421:YES)、L0予測ベクトルインデックスを符号
化する(S3422)。L0予測の予測ベクトル候補リストが1の場合(S3421:N
O)、L0予測ベクトルインデックスは伝送されない。
続いて、L1予測の動き情報であるL1参照画像指定情報を符号化し(S3423)、
L1差分ベクトル値を符号化する(S3424)。L1予測の予測ベクトル候補リストが
1より大きい場合(S3425:YES)、L1予測ベクトルインデックスを符号化する
(S3426)。L1予測の予測ベクトル候補リストが1の場合(S3425:NO)、
L1予測ベクトルインデックスは伝送されない。以上の処理により、動き情報符号化デー
タの生成が終了する。
図36は、図34のフローチャートで示した、動き情報符号化データ生成処理によって
生成される符号化ストリームのシンタックスの一例を示す。図36の符号化シンタックス
においては、Skipフラグの伝送は予測ブロック単位での動き情報の符号化より上の階
層での符号化ブロック単位で選択される。従って、上位の符号化ブロックの単位で、図3
4の予測誤差信号を符号化しない(Skipモード)状態であるか否かの判定(S340
1)が行われる。
[実施の形態1における動画像復号装置における動き情報復号部の詳細動作説明]
図37は、図6に示した実施の形態1の動画像復号装置における動き情報復号部606
の詳細な構成を示す図である。動き情報復号部606は、動き情報ビットストリーム復号
部3700、予測ベクトル算出部3701、ベクトル加算部3702、片方向動き補償予
測復号部3703、双方向動き補償予測復号部3704、結合動き情報算出部3705、
結合動き補償予測復号部3706、及び結合動き修正動き補償予測復号部3707を含む
図6における動き情報復号部606に対して、多重分離部601より入力された動き情
報ビットストリームが、動き情報ビットストリーム復号部3700に供給され、動き情報
メモリ607より入力された動き情報が、予測ベクトル算出部3701、及び結合動き情
報算出部3705に供給される。
また、動き補償予測部608に対して、片方向動き補償予測復号部3703、双方向動
き補償予測復号部3704、結合動き補償予測復号部3706、及び結合動き修正動き補
償予測復号部3707から、動き補償予測に用いる参照画像指定情報と動きベクトルが出
力され、予測方向を示す情報を含めた復号された動き情報が、動き情報メモリ607に格
納される。
動き情報ビットストリーム復号部3700は、多重分離部601より入力された動き情
報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測
モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き
情報インデックスは、予測モードに応じて結合動き補償予測復号部3706、もしくは結
合動き修正動き補償予測復号部3707に供給され、参照画像指定情報が予測ベクトル算
出部3701に供給され、予測ベクトルインデックスがベクトル加算部3702に供給さ
れ、差分ベクトル値が予測モードに応じてベクトル加算部3702、もしくは結合動き修
正動き補償予測復号部3707に供給される。
予測ベクトル算出部3701は、動き情報メモリ607より供給された隣接ブロックの
動き情報と、動き情報ビットストリーム復号部3700より供給された参照画像指定情報
から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生成し、参
照画像指定情報と共にベクトル加算部3702に供給する。予測ベクトル算出部3701
の動作に関しては、図10の動画像符号化装置における予測ベクトル算出部1003と同
一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生成される
ベクトル加算部3702は、予測ベクトル算出部3701より供給された予測ベクトル
候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部3700から供給
された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示
された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予
測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル
値は、参照画像指定情報と共に、予測モードに応じて片方向動き補償予測復号部3703
、もしくは双方向動き補償予測復号部3704に供給される。
片方向動き補償予測復号部3703は、ベクトル加算部3702より1つの参照画像に
対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参
照画像指定情報を動き補償予測部608に設定することで、動き補償予測信号を生成する
双方向動き補償予測復号部3704は、ベクトル加算部3702より双方向の2つの参
照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクト
ル値と参照画像指定情報を動き補償予測部608に設定することで、動き補償予測信号を
生成する。
結合動き情報算出部3705は、動き情報メモリ607から供給される隣接ブロックの
動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の
構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、予測モードに
応じて結合動き補償予測復号部3706、もしくは結合動き修正動き補償予測復号部37
07に供給する。
結合動き情報算出部3705の動作に関しては、図10の動画像符号化装置における結
合動き情報算出部1007と同一の動作が行われ、符号化時の結合動き情報候補リストと
同一の候補リストが生成される。
結合動き補償予測復号部3706は、結合動き情報算出部3705より供給される結合
動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と
動きベクトル値と、動き情報ビットストリーム復号部3700より供給される結合動き情
報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにお
ける参照画像指定情報と動きベクトル値を再生し、動き補償予測部608に設定すること
で、動き補償予測信号を生成する。
結合動き修正動き補償予測復号部3707は、結合動き情報算出部3705より供給さ
れる結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指
定情報と動きベクトル値と、動き情報ビットストリーム復号部3700より供給される結
合動き情報インデックスより、結合動き修正予測モードに対する動き情報を算出し、動き
修正参照画像を確定する。そして、動き修正参照画像の動きベクトル値に対して差分ベク
トル値を加算することで、双方向予測の参照画像指定情報と動きベクトル値を再生し、動
き補償予測部608に設定することで、動き補償予測信号を生成する。
図38は、図7のステップS701の詳細動作を説明するためのフローチャートである
。動き情報ビットストリーム復号部3700、予測ベクトル算出部3701、結合動き情
報算出部3705、及び結合動き修正動き補償予測復号部3707により、図7のステッ
プS701における動き情報復号処理が行われる。
動き情報復号処理は、図36のシンタックス構造で符号化された符号化ビットストリー
ムより動き情報を復号する処理である。最初に符号化ブロックの所定単位でSkipフラ
グを復号する(S3800)。以降は予測ブロック単位の処理となる。Skipフラグが
Skipモードを示している場合(S3801:YES)、結合予測動き情報復号を行う
(S3802)。ステップS3802の詳細処理については、後述する。
Skipモードでない場合(S3801:NO)、マージフラグを復号する(S380
3)。マージフラグが1を示している場合(S3804:YES)、ステップS3802
の結合予測動き情報復号に進む。
マージフラグが1でない場合(S3804:NO)、動き予測フラグを復号する(S3
805)。動き予測フラグが片方向予測モードである場合(S3806:YES)、即ち
図35におけるinter_pred_flagがPred_LCを示す場合、片方向予
測動き情報復号を行う(S3807)。ステップS3807の詳細動作については、後述
する。
動き予測フラグが片方向予測モードを示していない場合(S3806:NO)、マージ
Mvdフラグを復号する(S3808)。マージMvdフラグが1である場合(S380
9:YES)、結合動き修正予測動き情報復号が行われ(S3810)、マージMvdフ
ラグが1でない場合(S3809:NO)、双方向予測動き情報復号が行われる(S38
11)。ステップS3810、及びステップS3811の詳細動作については、後述する
図39は、図38のステップS3802の詳細動作を説明するためのフローチャートで
ある。図38のステップS3802では、結合予測動き情報復号処理が行われる。
最初に予測モードに結合予測モードを設定し(S3900)、結合動き情報候補リスト
を生成する(S3901)。ステップS3901の処理は、図14のフローチャート内の
、動画像符号化装置における結合動き情報候補リスト生成であるステップS1401と同
一の処理である。
結合動き情報候補リストが1よりも大きい場合(S3902:YES)、即ち複数の結
合動き情報候補がある場合には、結合動き情報インデックスを復号し(S3903)、結
合動き情報候補リストが1つの場合(S3902:NO)、結合動き情報インデックスに
0を設定する(S3904)。
続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納さ
れている動き情報を取得する(S3905)。取得する動き情報としては、片方向/双方
向を示す予測方向、参照画像指定情報、動きベクトル値となる。生成された動き情報は、
結合予測モードの動き情報として格納され(S3906)、結合動き補償予測復号部37
06に供給される。
図40は、図38のステップS3807の詳細動作を説明するためのフローチャートで
ある。図38のステップS3807では、片方向予測動き情報復号処理が行われる。
最初に参照画像指定情報を復号し(S4000)、差分ベクトル値を復号する(S40
01)。次に、予測ベクトル候補リストを生成し(S4002)、予測ベクトル候補リス
トが1より大きい場合(S4003:YES)、予測ベクトルインデックスを復号し(S
4004)、予測ベクトル候補リストが1の場合(S4003:NO)、予測ベクトルイ
ンデックスに0を設定する(S4005)。
ここで、ステップS4002では、動画像符号化装置における図29のフローチャート
のステップS2901と同様の処理が行われる。次に、予測ベクトル候補リストより、予
測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する(S40
006)。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再
生する(S4007)。生成された動き情報として、1つの参照画像に対する参照画像指
定情報と動きベクトル値が、片方向予測モードの動き情報として格納され(S4008)
、片方向動き補償予測復号部3703に供給される。
図41は、図38のステップS3811の詳細動作を説明するためのフローチャートで
ある。図38のステップS3811では、双方向予測動き情報復号処理が行われる。
最初にL0予測の参照画像指定情報を復号し(S4100)、差分ベクトル値を復号す
る(S4101)。次に、L0予測の予測ベクトル候補リストを生成し(S4102)、
予測ベクトル候補リストが1より大きい場合(S4103:YES)、L0予測の予測ベ
クトルインデックスを復号する(S4104)。予測ベクトル候補リストが1の場合(S
4103:NO)、L0予測の予測ベクトルインデックスに0を設定する(S4105)
。ステップS4102では、動画像符号化装置における図33のフローチャートのステッ
プS3301と同様の処理が行われる。
次に、予測ベクトル候補リストより、L0予測の予測ベクトルインデックスで示す位置
に格納されている動きベクトル値を取得する(S4106)。復号した差分ベクトル値と
動きベクトル値を加算することで動きベクトルを再生する(S4107)。
続いて、同様の動き情報復号処理がL1予測の参照画像に対して行われる。L1予測の
参照画像指定情報を復号し(S4108)、差分ベクトル値を復号し(S4109)。L
1予測の予測ベクトル候補リストを生成し(S4110)、予測ベクトル候補リストが1
より大きい場合(S4111:YES)、L1予測の予測ベクトルインデックスを復号す
る(S4112)。予測ベクトル候補リストが1の場合(S4111:NO)、L1予測
の予測ベクトルインデックスに0を設定する(S4113)。ステップS4113では、
動画像符号化装置における図33のフローチャートのステップS3304と同様の処理が
行われる。
次に、予測ベクトル候補リストより、L1予測の予測ベクトルインデックスで示す位置
に格納されている動きベクトル値を取得する(S4114)。復号した差分ベクトル値と
動きベクトル値を加算することで動きベクトルを再生する(S4115)。生成された動
き情報として、2つの参照画像に対する参照画像指定情報と動きベクトル値が、双方向予
測モードの動き情報として格納され(S4116)、双方向動き補償予測復号部3704
に供給される。
図42は、図38のステップS3810の詳細動作を説明するためのフローチャートで
ある。図38のステップS3810では、結合動き修正予測動き情報復号処理が行われる
最初に予測モードに結合動き修正予測モードを設定し(S4200)、結合動き情報候
補リストを生成する(S4201)。ステップS4201では、動画像符号化装置におけ
る図14のフローチャートのステップS1401と同一の処理が行われる。
結合動き情報候補リストが1よりも大きい場合(S4202:YES)、即ち複数の結
合動き情報候補がある場合には、結合動き情報インデックスを復号し(S4203)、結
合動き情報候補リストが1つの場合(S4202:NO)、結合動き情報インデックスに
0を設定する(S4204)。
続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納さ
れている動き情報を取得する(S4205)。取得する動き情報としては、片方向/双方
向を示す予測方向、参照画像指定情報、動きベクトル値となる。
次に、取得された結合動き情報インデックスと動き情報をもとに、結合動き修正動き補
償予測復号部3707において、双方向動きベクトル値と差分ベクトルを伝送する参照画
像確定処理を行う(S4206)。ステップS4206では、動画像符号化装置における
図22のフローチャートのステップS2203と同一の処理が行われる。更に詳細な処理
内容に関しては、図26、図27、図28に示されるフローチャートの処理が施され、動
画像符号化装置と同じ双方向動きベクトル値と差分ベクトルを伝送する参照画像の確定が
行われる。
次に、確定した差分ベクトルを伝送する参照画像である動き修正参照画像に対して、動
き情報として格納された修正前の動きベクトル値に対する、差分ベクトルを復号し(S4
207)、修正前の動きベクトル値に差分ベクトルを加算することで、動き修正参照画像
の動きベクトル値を算出する(S4208)。
結合動き情報インデックスで示す位置に格納されている動き情報に対して、予測方向は
双方向に設定されると共に、動き情報が片方向予測であった場合の第2参照画像を指定す
る参照画像指定情報と動き修正参照画像における更新された動きベクトル値が、動き情報
として格納され(S4209)、結合動き修正動き補償予測復号部3707より、図6に
おける動き補償予測部608及び動き情報メモリ607に出力される。
実施の形態1における、動画像符号化装置及び動画像復号装置においては、従来の動画
像符号化手法であるAVCにおける動き補償予測に対して、より多くの隣接ブロックの動
き情報を選択候補として用いることで、周囲の動き情報をより有効に利用できる候補とし
て登録し、周囲の動き情報に対して動きベクトル値の修正情報を差分ベクトルとして符号
化する構成を取る新規の予測モードである結合動き修正予測モードを用いた。これにより
、動き情報の相関性が高いが動きの連続性が十分保たれていない場合や、他ブロックの動
き情報における動きベクトルが予測残差を符号化した際の歪などの要因で正確な動きに対
してずれを生じている場合などに、隣接ブロックから生成される動き情報に対して、少な
い情報で適切な動きベクトルの修正が出来、少ない付加情報で予測残差が少ない動き補償
予測信号を生成する、符号化装置及び復号装置を実現できる。
また、実施の形態1における、動画像符号化装置及び動画像復号装置においては、動き
ベクトルを修正する参照画像の設定を、周囲の動き情報に格納された予測モードや周囲の
動き情報から結合する動き情報を取得する際の取得方法を基準に、結合する動き情報にお
ける動きベクトルの信頼度を評価し、修正する必要のある参照画像を特定する。これによ
り、符号化時に伝送する指定情報を追加せずに、適切な動きベクトルの修正を可能とする
効果を有する。
また、実施の形態1における、動画像符号化装置及び動画像復号装置においては、結合
予測モードと共用して結合動き修正予測モードの基準参照画像及び基準動きベクトルが決
定・算出される。これにより、結合動き修正予測モード用の新たな処理を最小限に抑制し
つつ、付加情報を少なく符号化できる結合動き修正予測モードを具備することができる。
また、実施の形態1における、動画像符号化装置及び動画像復号装置においては、少な
い負荷と符号量で双方向予測を行う結合動き修正予測モードを増やすことができ、以降に
符号化・復号するブロックで参照する隣接ブロックの動き情報を増やすことができるため
、符号化効率を向上させることができる。
(実施の形態2)
次に、本発明の実施の形態2についての説明を行う。実施の形態2は、実施の形態1に
対して、結合動き修正予測モードを符号化する際の符号化処理が異なる。図43は、実施
の形態2における動き予測モードの構成を示す図である。実施の形態1における、予測方
向が片方向予測であるか双方向予測であるかを指示する情報として符号化される動き予測
フラグ(inter_pred_flag)を、実施の形態2においては、図43に示す
ように、動き予測モード(inter_pred_mode)として、結合動き修正予測
モードを示す値(Pred_MergeMvd)が0、片方向を示す値(Pred_LC
)が1、双方向を示す値(Pred_BI)が2で符号化を行う。このため、実施の形態
1におけるマージMvdフラグを伝送する必要は無くなり、3つの予測モードを識別する
2つのフラグが1つのモード情報に統合される。
実施の形態2のシンタックスを使用すると、予測モードの発生頻度に偏りの大きい場合
に、算術符号化などの発生頻度に応じた情報量で符号化できるエントロピー符号化を用い
ることで、予測モードに対する符号量を削減することが可能となる。
図44は、実施の形態2における、動き情報符号化データ生成処理によって生成される
符号化ストリームのシンタックスを示す図である。実施の形態2における、動画像符号化
装置及び動画像復号装置は、図34で示された動き情報符号化データ生成処理のフローチ
ャート、及び図38で示された動き情報復号処理のフローチャートに記載された処理の一
部のみが、実施の形態1における、動画像符号化装置及び動画像復号装置と異なる動作を
行う。
図45は、実施の形態2の動画像符号化装置における動き情報符号化データ生成処理を
説明するためのフローチャートである。以下、図34のフローチャートに示す動作と異な
る部分のみを説明する。
図45のフローチャートにおいては、図34で示されたフローチャートにおける動き予
測フラグの符号化処理であるステップS3407と、マージMvdフラグの符号化処理で
あるステップS3414及びステップS3418の処理が無くなり、動き予測モードの符
号化処理であるステップS4500が新たに加わる処理構成を取る。
予測モードが結合予測モードでない場合(S3400:NO)、マージフラグを0で符
号化し(S3401)、動き予測モードを符号化し(S4500)、片方向予測モードで
あるか否か判断する(S3408)。
また、予測モードが結合動き修正予測モードである場合(S3413:YES)、マー
ジMvdモードを符号化する処理(S3414)を介さず、統合動き情報候補リストの大
きさを判定する処理(S3415)に直接繋がると共に、予測モードが結合動き修正予測
モードでない場合(S3413:NO)にも、マージMvdモードを符号化する処理(S
3414)を介さず、L0参照画像指定情報の符号化処理(S3420)に直接繋がる処
理構成となる。
図46は、実施の形態2の動画像復号装置における動き情報復号処理を説明するための
フローチャートである。以下、図38のフローチャートに示す動作と異なる部分のみを説
明する。
図46のフローチャートにおいては、図38で示されたフローチャートにおける動き予
測フラグの復号処理であるステップS3805と、マージMvdフラグの復号処理である
ステップS3808、及びマージMvdフラグが1であるか否かを判断する処理であるス
テップS3809の処理が無くなり、動き予測モードの復号処理であるステップS460
0と、動き予測モードが結合動き修正予測モードであるか否かを判定する処理であるステ
ップS4601が新たに加わる処理構成を取る。
マージフラグが1でない場合(S3804:NO)、動き予測モードを復号し(S46
00)、片方向予測モードであるか否か判断する(S3806)。また、片方向予測モー
ドでない場合(S3806:NO)、動き予測モードが結合動き修正予測モードであるか
否かを判定し(S4601)、結合動き修正予測モードである場合(S4601:YES
)、結合動き修正予測動き情報復号処理を行い(S3810)、結合動き修正予測モード
でない場合(S4601:NO)、双方向予測動き情報復号処理を行う(S3811)。
(実施の形態3)
次に、本発明の実施の形態3についての説明を行う。実施の形態3においては、実施の
形態1に対して、結合動き修正動き補償予測モードで動き情報を符号化する際に適した動
きベクトル値を、動き修正を行う参照画像と基準となる動きベクトル値が確定した後に、
その周囲の動きに対して動きベクトルを検出することで、より予測効率の高い動き補償予
測を実現出来る。
実施の形態3における、動画像符号化装置及び動画像復号装置と、実施の形態1におけ
る、動画像符号化装置及び動画像復号装置とを比較すると、動画像復号装置は同じであり
、動画像符号化装置の構成の一部が異なる。具体的には、実施の形態1の動画像符号化装
置に対して、図10の結合動き修正動き補償予測生成部1009における詳細構成である
図13のブロック構成、及びその具体的処理を説明するフローチャートである図22に示
された結合動き修正予測モード評価値生成処理が、異なる構成を取る。
図47は、実施の形態3における、図10の結合動き修正動き補償予測生成部1009
における詳細構成を示す図である。結合動き修正動き補償予測生成部1009は、基準参
照画像・動き修正参照画像選択部1300、動き修正参照画像動きベクトル検出部470
0、結合動き情報修正動き補償予測生成部1302、及び差分ベクトル算出部1303を
含む。
基準参照画像・動き修正参照画像選択部1300、結合動き情報修正動き補償予測生成
部1302、及び差分ベクトル算出部1303に関しては、図13に示した実施の形態1
と同じ動作が行われ、図13における動き修正参照画像動きベクトル取得部1301の機
能が、動き修正参照画像動きベクトル検出部4700の機能に置き換わった構成を取る。
動き修正参照画像動きベクトル検出部4700には、入力端子100より符号化対象ブ
ロックの画像信号と、復号画像メモリ106に記憶された参照画像信号が入力され、動き
修正参照画像動きベクトル検出部4700は、基準参照画像・動き修正参照画像選択部1
300より供給される、基準参照画像指定情報/基準参照画像動きベクトル値、及び動き
修正参照画像指定情報/動き修正参照画像予測ベクトル値を用いて、動き修正参照画像に
対する動きベクトルを検出する。
実施の形態3においては、上記機能を有するため、図1の予測モード判定部109に復
号画像メモリ106からの入力が加わると共に、図10の結合動き修正動き補償予測生成
部1009に、入力画像信号と復号画像メモリ106からの入力が加わる。
動き修正参照画像に対する動きベクトルの検出においては、2つの参照画像の内、基準
参照画像に対しては確定した動きベクトル値で画像信号と同一位置より動きベクトル値だ
け移動させた参照画像に相当する画像信号を取得する。動き修正参照画像に対しては動き
情報として設定された動き修正参照画像予測ベクトル値を中心とした所定範囲の動きに対
して、画像信号と同一位置より動き量だけ移動させた参照画像に相当する画像信号を取得
し、2つの画像信号の加算平均を取った画像信号(双方向予測に相当する画像信号となる
)を生成する。そして、符号化対象となる予測ブロック画像との誤差評価値を算出し、誤
差評価値が最小となる動き修正参照画像の動き量を動き修正参照画像動きベクトルとする
動き修正参照画像の動きベクトルの探索範囲がそのまま、伝送される差分ベクトルの値
の範囲となるため、結合動き修正予測モードにおいて符号化に適した動きベクトルとして
は、少ない探索範囲で良い。例えば水平・垂直に±2画素程度の範囲で探索を行うことで
、結合動き修正予測モードに有効な動きベクトルを検出可能である。差分ベクトルの符号
量に関しても換算し、誤差評価値に加えることにより、より精度の良い動きベクトル検出
が可能である。
動き修正参照画像動きベクトル検出部4700により生成された、動き修正参照画像に
対する動きベクトル値は、結合動き情報修正動き補償予測生成部1302及び差分ベクト
ル算出部1303に供給される。
図48は、実施の形態3における結合動き修正予測モード評価値生成処理を説明するた
めのフローチャートである。図48のフローチャートは、実施の形態1における結合動き
修正予測モード評価値生成処理のフローチャートである図22に対して、動き修正参照画
像の動きベクトル値を取得する処理であるステップS2204が無くなり、代わりに動き
修正参照画像の結合動きベクトル値を基準に動きベクトルを補正する処理であるステップ
S4800が加わる構成を取る。
ステップS4800では、動き修正参照画像の結合動きベクトル値を基準に動きベクト
ルを探索し、検出された修正参照画像動きベクトル値を補正された動きベクトルとして格
納する処理となる。
実施の形態3においては、結合動き修正予測モードの特性に合わせて、差分ベクトルを
生成する基準となる動き情報から生成された動き修正参照画像の動きベクトル値を中心と
した微小範囲において、2つの参照画像を用いた予測誤差の判定を行い、動き補償予測に
用いる動きベクトル値を確定する。これにより、結合動き修正予測モードにおける最適な
動き補償予測信号を予測モードの候補として用いることが出来、符号化効率を向上させる
ことができる。
実施の形態3において、動きベクトルを探索する処理であるステップS4800におけ
る、別の方法として、ステップS4800の前に、実施の形態1における図1の動きベク
トル検出部107より動き補正参照画像に対する検出した動きベクトル値を入力する処理
であるステップS2204を行い、ステップS4800の代わりに、入力した動きベクト
ル値を基準に動きベクトルを探索する方法を用いることも可能である。
上述した別の方法は、隣接ブロックの動き情報と大きく異なる、動き修正参照画像の補
正される動きベクトルを検出することが可能であり、その場合には、結合動き修正予測モ
ードが双方向予測モードに対して、双方向の参照画像指定情報及び予測ベクトル候補のイ
ンデックスを伝送しないことで、少ない動き情報で符号化できる効果を発揮できる。
上述した別の方法は、ステップS4800の動き修正参照画像の結合動きベクトル値を
基準に動きベクトルを探索する方法と併用して、結果として検出される動きベクトル値の
予測誤差が少ない動きベクトル値を用いることも可能であり、隣接ブロックの動き情報と
微妙に異なる動きと大きく異なる動きの両方に対して、動き修正参照画像の補正される動
きベクトルとして適切な動きベクトル値を検出することが可能となる。
(実施の形態4)
次に、本発明の実施の形態4についての説明を行う。実施の形態4においては、実施の
形態1に対して、動き修正参照画像判定のアルゴリズムが異なる。実施の形態4において
は、動き修正参照画像を判定する基準が符号化対象画像と参照画像の時間的距離を基準と
する手法をとる。
図49(a)〜(c)は、実施の形態4における距離優先アルゴリズムを示す概念図で
ある。図49(a)〜(c)に示すように、結合動き情報が空間BiPredである場合
、空間UniPredである場合、時間BiPredである場合のすべてにおいて、導出
されたL0参照画像、L1参照画像の内で、符号化対象画像に時間的に遠い参照画像を、
動きベクトルの信頼度が低いと判定し、差分ベクトルを伝送する修正動き参照画像に設定
する。
動きの連続性が高い動画像シーケンスの場合には、符号化対象画像により近い参照画像
からの動きベクトルの信頼度が高くなるため、遠い参照画像に対して動きベクトル値を補
正することで、より適した動き補償予測信号が生成できる。
実施の形態4においては、実施の形態1における、動画像符号化装置及び動画像復号装
置のそれぞれに適用される、図26に示した双方向動きベクトル値、差分ベクトルを伝送
する参照画像確定処理のフローチャートが異なる処理になる。
図50は、実施の形態4における、双方向動きベクトル値、差分ベクトルを伝送する参
照画像確定処理を説明するためのフローチャートである。図50のフローチャートは、実
施の形態1における図26のフローチャートに対して、スケーリングされた動きベクトル
が片方向(1つ)であるか否かの判定処理であるステップS2602と、片方向であった
場合(S2602:YES)における、スケーリングされた動きベクトルを持つ参照画像
を修正参照画像に設定する処理であるステップS2603が無くなった処理構成となる。
(実施の形態5)
次に、本発明の実施の形態5についての説明を行う。実施の形態5においては、実施の
形態1に対して、結合動き修正動き補償予測モードで動き修正を行う参照画像をスケーリ
ングを用いて生成された動きベクトルに対して全て設定し、2つのスケーリング動きベク
トルを有する場合には、2つの差分ベクトルを符号化する構成を取る。
実施の形態5においては、スケーリング処理で生成された際の動きベクトルの精度が直
接空間隣接ブロックの動き情報を適用した場合の動きベクトルよりも低いという判断基準
で、スケーリング処理で生成された動きベクトルを持つ参照画像の全てに差分ベクトルを
伝送する。
図51(a)〜(c)は、実施の形態5における、結合動き情報が空間BiPredで
ある場合、空間UniPredである場合、時間BiPredである場合における、差分
ベクトルを伝送する参照画像を特定する処理構成の概念図を示す。実施の形態5において
は、実施の形態1と同様に、図24に示されるように結合動き情報の種類に応じて、スケ
ーリングされた動きベクトルが動き情報として生成される。
図51(a)に示すように結合動き情報が空間BiPredである場合には、スケーリ
ングベクトル数が0であるため、実施の形態1と同様に、差分ベクトルを伝送する参照画
像は符号化画像からの時間距離の長い参照画像を選択する。
図51(b)に示すように結合動き情報が空間UniPredである場合には、スケー
リングベクトル数が1であるため、実施の形態1と同様に、スケーリングされた動きベク
トルを持つ1つの参照画像が、差分ベクトルを伝送する参照画像として指定される。
図51(c)に示すように結合動き情報が時間BiPredである場合には、スケーリ
ングベクトル数が2であるため、実施の形態1と異なり、スケーリングされた動きベクト
ルを持つ2つの参照画像が、差分ベクトルを伝送する参照画像として指定される。
図52は、実施の形態5における、各予測モードにおける伝送する動き情報の関係を示
す図である。実施の形態5においては、結合動き修正予測モードの場合にて、空間Uni
Pred及び空間BiPredの場合には、1つの結合動き情報インデックスと1つの差
分ベクトルを伝送することで、動き情報を符号化する。時間BiPredの場合には、1
つの結合動き情報インデックスと2つの差分ベクトルを伝送することで、動き情報を符号
化する。
実施の形態5における動画像符号化装置及び動画像復号装置は、実施の形態1における
動画像符号化装置及び動画像復号装置と比較し、図26に示した双方向動きベクトル値、
差分ベクトルを伝送する参照画像確定処理のフローチャート、図34に示した動画像符号
化装置による動き情報符号化データ生成処理のフローチャート、及び図42に示した動画
像復号装置による結合動き修正予測動き情報復号処理のフローチャートの処理が一部異な
る。
図53は、実施の形態5における双方向動きベクトル値、差分ベクトルを伝送する参照
画像確定処理を説明するためのフローチャートである。双方向動きベクトル値、差分ベク
トルを伝送する参照画像確定処理は、実施の形態1における図26のフローチャートに対
して、スケーリングされた動きベクトル数が1であるか否かの判断処理であるステップS
2602を無くし、スケーリングされた動きベクトル数を管理するパラメータであるSc
aled_Merge_ref_numを新たに設けて条件判断を行う。
双方向の参照画像の動きベクトル値のうちスケーリングされた動きベクトルの数をSc
aled_Merge_ref_numに設定する処理を行う(S5300)。Scal
ed_Merge_ref_numが1の場合(S5301:YES)、スケーリングさ
れた動きベクトルを持つ参照画像を動き修正参照画像に設定する(S2603)。Sca
led_Merge_ref_numが2の場合(S5302:YES)、両方の参照画
像を動き修正参照画像に設定する(S5303)。Scaled_Merge_ref_
numが0の場合(S5302:NO)、実施の形態1と同様に距離に応じた参照画像を
設定するためのステップS2604に進む。
図54は、実施の形態5における、符号化シンタックスの一例を示す図である。動き修
正予測動き情報復号処理において生成するScaled_Merge_ref_numを
もとに、差分ベクトルを2つ(水平・垂直で計4要素)伝送するか、1つ(計2要素)伝
送するかが切り替わる構成になっている。
図55は、実施の形態5の動画像符号化装置における動き情報符号化データ生成処理を
説明するためのフローチャートである。動き情報符号化データ生成処理は、実施の形態1
における図34のフローチャートに対して、結合動き情報候補リストが1より大きい場合
(S3415:YES)、結合動き補償インデックスを符号化する処理(S3416)を
行う。
Scaled_Merge_ref_numが2である場合(S5500:YES)、
L0差分ベクトル値を符号化し(S5501)、更にL1差分ベクトル値を符号化する(
S5502)処理が新たに加わる処理構成となる。
図56は、実施の形態5の動画像復号装置における結合動き修正予測動き情報復号処理
を説明するためのフローチャートである。結合動き修正予測動き情報復号処理は、実施の
形態1における図42のフローチャートに対して、図53で示した双方向動きベクトル値
、差分ベクトルを伝送する参照画像確定処理(S4206)の後に、Scaled_Me
rge_ref_numが2である場合(S5600:YES)、L0差分ベクトル値を
復号し(S5601)、L0参照画像の動き情報より算出された動きベクトル値に加算す
ることでL0参照画像の動きベクトル値を算出する(S5602)。更にL1差分ベクト
ル値を復号し(S5603)、L1参照画像の動き情報より算出された動きベクトル値に
加算することでL1参照画像の動きベクトル値を算出する(S5604)処理が、新たに
加わる処理構成となる。
また、実施の形態5における別の構成として、常に2つの参照画像に対して差分ベクト
ルを伝送する構成を取ることも可能である。図57(a)、(b)は、実施の形態5にお
ける常に2つの参照画像を送る構成における空間BiPred及び空間UniPredの
差分ベクトルの状態の概念図を示す。図57(a)は空間BiPredにおいて2本の差
分ベクトルを伝送する例を示し、図57(b)は空間UniPredにおいて2本の差分
ベクトルを伝送する例を示す。
図58は、常に2つの参照画像に対して差分ベクトルを伝送する構成を取る場合に採用
可能な符号化シンタックスの一例を示す図である。結合動き修正予測モードであるmer
ge_mvd_flagが1の場合には、常に2つの差分ベクトル(計4要素)が符号化
される。
(実施の形態6)
次に、本発明の実施の形態6についての説明を行う。実施の形態6においては、実施の
形態1に対して、結合予測モードに用いる結合動き情報候補リストと、結合動き修正予測
モードに用いる結合動き情報候補リストを異なるアルゴリズムで生成する構成を取る。
実施の形態1では、結合動き修正予測モードにおいて、差分ベクトル値が(0、0)で
ある場合であって、空間BiPRed及び時間BiPredの場合に、結合予測モードと
同じ動き補償予測画像が生成される。実施の形態6においては、重複する動き情報を結合
動き情報候補リストの生成時に切り分け、もしくは異なる位置の隣接ブロックからの動き
情報適用を行うことで、結合予測モードと結合動き修正予測モードの、同一動き情報伝送
機能の重複を抑制し尚且つより多くの動き情報を選択可能にする利点を有する。
実施の形態6における動画像符号化装置及び動画像復号装置と、実施の形態1おける動
画像符号化装置及び動画像復号装置との構成の違いは、図10に示した動画像符号化装置
における予測モード判定部109の構成、及び図37に示した動画像復号装置における動
き情報復号部606の構成となる。
図59は、実施の形態6の動画像符号化装置における予測モード判定部109の構成を
示す図である。図59の構成において、実施の形態1において結合動き修正動き補償予測
生成部1009に入力されていた結合動き情報算出部1007からのデータの流れが削除
され、結合動き修正動き情報算出部5900が追加される。
結合動き修正動き情報算出部5900は、図1の動き情報メモリ111より供給される
隣接ブロックの動き情報における候補ブロック群を用いて、片方向であるか双方向である
かを示す予測方向、参照画像指定情報、動きベクトル値で構成される動き情報として、複
数の動き情報を結合動き修正動き情報候補リストと共に生成し、結合動き修正動き補償予
測生成部1009に供給する。
結合動き修正動き情報算出部5900は、結合動き情報算出部1007とは異なる動き
情報の候補を取得することで、異なる動き情報と動き情報の候補リストを生成することが
可能である。一例としては、図16に示される空間方向予測ブロックや、図18に示され
る時間方向予測ブロックからの取得候補数を変化させる方法、異なる位置であるブロック
Eや、ブロックB4、ブロックA4などを空間候補ブロック群の候補に加える方法、空間
方向の候補ブロックと時間方向の候補ブロックのリストへの追加順を変化させる方法、あ
る特定の動き情報に制限してリストへの追加を行う方法などが挙げられる。
図60は、実施の構成6の動画像復号装置における動き情報復号部606の構成を示す
図である。図60の構成において、実施の形態1において結合動き修正動き補償予測復号
部3707に入力されていた結合動き情報算出部3705からのデータの流れが削除され
、結合動き修正動き情報算出部6000が追加される。
結合動き修正動き情報算出部6000では、図59における動画像符号化装置の結合動
き修正動き情報算出部5900と同じ処理が行われ、結合動き修正動き情報算出部600
0は、図6の動き情報メモリ607より供給される隣接ブロックの動き情報における候補
ブロック群を用いて、片方向であるか双方向であるかを示す予測方向、参照画像指定情報
、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き修正動き情報
候補リストと共に生成し、結合動き修正動き補償予測復号部3707に供給する。
図61は、実施の形態6における符号化シンタックスの一例を示す図である。結合予測
モードにおけるインデックス情報であるmerge_idxと異なる情報として、結合動
き修正予測モードにおけるインデックス情報であるmerge_mvd_idxが取得・
管理される構造を取る。
実施の形態6の他の構成として、結合予測モードにおけるSkipモードと非Skip
モードにおける、適用可能な動き情報の候補を異なるものとする構成も考えられる。図6
2は、実施の形態6における各予測モードで適用する結合情報を異なるものとする一例を
示す図である。図62に示すように、Skipモードにおいては空間BiPredの候補
動き情報のみが適用され、非Skipモードの結合予測モード(Merge)においては
、空間UniPred及び空間BiPredの候補動き情報が適用され、結合動き修正予
測モード(MergeMvd)では、空間UniPred及び時間BiPredの候補動
き情報が適用される。
Skipモードと非Skipモードで適用可能な動き情報の候補を変える場合、図61
のSkipモードである場合の候補インデックスは結合予測モードと異なるため、mer
ge_idxはskip_idxに置き換えられる。
結合動き修正予測モードにおいては、より差分ベクトル伝送による効果が高いスケーリ
ングされた動き情報が生成される時間BiPredや、新しい動き情報をスケーリングで
生成する空間UniPredを有効にし、結合予測モードにおいては、動きの連続性が高
い動き情報が生成されやすい空間UniPredと空間BiPredを有効にし、Ski
pモードにおいては、動きの連続性が高い場合により品質の良い予測画像が生成できる空
間BiPredのみを有効にすることで、結合予測モードと結合動き修正予測モードの機
能の重複を抑制し、候補数に依存するインデックス情報量を削減しつつ、有効な動き補償
予測信号を生成できる構成を取ることが出来る。
(実施の形態7)
次に、本発明の実施の形態7についての説明を行う。実施の形態7においては、実施の
形態1に対して、結合動き修正予測モードにおいて伝送する1つの差分ベクトル値を2つ
の参照画像に作用する構成を取る。
図63(a)、(b)は、実施の形態7における差分ベクトルの2つの参照画像に対す
る作用を示す概念図である。図63(a)、(b)に示すように、1つの差分ベクトルが
伝送され、差分ベクトル値を双方向予測の両方の参照画像に対して補正ベクトル値として
作用させる。
実施の形態1においては、差分ベクトル値は、動き修正参照画像として選択された1つ
の参照画像に対して、結合動き情報より生成された動きベクトル値と動き補償予測に用い
た動きベクトル値の差分を示していた。実施の形態1における差分ベクトルは、結合動き
情報における動きベクトルの一部にずれがあるが、正しい(結合動き情報による動きをそ
のまま反映させることが可能な)動きベクトルも存在し、その動きベクトルを信頼した状
態における補正情報である。
実施の形態7における差分ベクトルは、動き情報の時間相関(時間的連続性)が高く保
たれている状態における、結合動き情報全体に対する補正情報となり、特に結合動き情報
が時間BiPredの場合などの時間相関をもとに生成された動き情報の補正において、
少ない情報で有効な補正情報が伝送され、符号化効率を向上できる。
実施の形態7における差分ベクトルの作用は、差分ベクトルを送る基準参照画像におい
ては、実施の形態1における差分ベクトルと同様に、結合動き情報より生成された動きベ
クトル値と動き補償予測に用いた動きベクトル値の差分を示す。差分ベクトルを送る基準
参照画像でない、双方向予測の他方の参照画像においては、その作用に2つの手法を用い
ることが可能である。
1つは、図63(a)に示すように、差分ベクトルをスケーリングした値が、他方の参
照画像における結合動き情報より生成された動きベクトル値と動き補償予測に用いた動き
ベクトル値の差分を示す(ミラータイプ)手法である。もう1つは、図63(b)に示す
ように、スケーリングを行わずに、基準参照画像と同様に差分ベクトル値が他方の参照画
像における結合動き情報より生成された動きベクトル値と動き補償予測に用いた動きベク
トル値の差分を示す(平行移動タイプ)手法である。
以降の実施の形態7の説明においては、ミラータイプの差分ベクトルの作用手法を用い
るが、ミラータイプと平行移動タイプの手法を、動画像の特性や符号化時の予測構造など
により適応的に切り替えることも可能である。
実施の形態7における動画像符号化装置と、実施の構成1における動画像符号化装置と
の構成の違いは、図10の結合動き修正動き補償予測生成部1009における詳細構成で
ある図13のブロック構成、及びその具体的処理を説明するフローチャートである図22
に示された結合動き修正予測モード評価値生成処理である。実施の形態7における動画像
復号装置と、実施の構成1における動画像復号装置との構成の違いは、図42に示した結
合動き修正予測動き情報復号処理の処理フローチャートである。
実施の形態7における図13のブロック構成は、実施の形態3における図10の結合動
き修正動き補償予測生成部1009における詳細構成である図47と同じ構成を取る。図
64は、実施の形態7における、2つの参照画像の結合動きベクトル値を基準とした動き
ベクトル探索手法の一例を示す図である。
動き修正参照画像動きベクトル検出部4700が差分ベクトルの候補としての検出範囲
に対して、動き修正参照画像に対してはそのまま差分ベクトルとして、基準参照画像に対
してはスケーリングされた差分ベクトルとして結合動き情報より生成された各々の参照画
像に対する動きベクトル値に対して作用させて取得した画像信号を、加算平均することで
生成し、符号化対象となる予測ブロック画像との誤差評価値を算出し、誤差評価値が最小
となる動き修正参照画像の動き量を動き修正参照画像動きベクトルとする。
実施の形態7における説明では、他の実施の形態との処理の共通性を取るために、動き
修正参照画像の差分ベクトル値を、伝送する差分ベクトル値に設定しているが、基準参照
画像の差分ベクトル値を、伝送する差分ベクトル値に設定する手法をとることも可能であ
り、これに限定されない。つまり、実施の形態7のミラータイプの差分ベクトルを伝送す
る構成では、どちらの参照画像を基準に差分動きベクトルを伝送しても良いため、通常は
、差分ベクトルの符号量を小さくするため、符号化対象画像から距離の近い方の参照画像
を動き修正参照画像に設定し、動き修正参照画像に対する差分動きベクトルを伝送する。
他方(符号化対象画像から距離の遠い又は同一)の参照画像では、伝送する差分動きベク
トルに対して倍率の絶対値が1以上のスケーリング処理を行い、伝送した差分動きベクト
ルと同じかそれ以上の大きさのスケーリング差分動きベクトルを得る。
図65は、実施の形態7における結合動き修正予測モード評価値生成処理を説明するた
めのフローチャートである。実施の形態1における結合動き修正予測モード評価値生成処
理のフローチャートである図22に対して、動き修正参照画像の動きベクトル値を取得す
る処理であるステップS2204が無くなり、代わりに2つの参照画像の結合動きベクト
ル値を基準に動きベクトルを補正する処理であるステップS6500が加わる。
ステップS6500では、基準参照画像と動き修正参照画像のそれぞれの結合動きベク
トル値を基準に、動き修正参照画像の補正動き量に対してスケーリングされた動き量が基
準参照画像の補正動き量になるようにして、動きベクトルを探索し、それぞれの参照画像
に補正動き量を加算した動きベクトル値を格納する処理となる。
図66は、実施の形態7における結合動き修正予測動き情報復号処理を説明するための
フローチャートである。実施の形態1における結合動き修正予測動き情報復号処理のフロ
ーチャートである図42に対して、動き修正参照画像の動きベクトル値を算出する処理で
あるステップS4208が無くなり、代わりに動き修正参照画像及び他方の参照画像(基
準参照画像)の動きベクトル値を算出する処理であるステップS6600が加わる。
動きベクトル値の算出は、復号した差分ベクトル値を動き修正参照画像に対する動き情
報より生成された動きベクトル値に加算し、差分ベクトル値をスケーリングした値を基準
参照画像に対する動きベクトル値に加算することで、2つの参照画像の動きベクトル値を
算出する。
図67は、実施の形態7における差分ベクトルの作用を両方の参照画像に適用する別構
成を示す概念図である。差分ベクトルをその対象となる参照画像の結合動き情報の動きベ
クトルに加算して復号した動きベクトル値をスケーリングすることにより、他方の参照画
像の動きベクトル値を生成する手法も考えられ、ミラータイプにおける動き補償予測信号
とほぼ同等の予測信号が生成できる。
この手法は、結合動き情報が時間BiPredの場合に、結合動き情報候補生成処理と
結合動き修正予測動き情報復号処理を統合して行うことで実現出来る。この手法では、結
合動き情報の動きベクトルに差分動きベクトルを加算した後にスケーリング処理が1回の
み行われるため、スケーリングの演算精度に起因する劣化が発生しにくく、より精度の良
い動き補償予測信号を生成できる。
また、実施の形態7と他の実施の形態を結合動き情報の特性によって切り替える構成を
取ることも拡張構成として可能であり、時間BiPredなどの実施の形態7の有効性が
高い条件において採用し、他の条件では実施の形態1を施すことで、更に効率のよい動き
情報の伝送が可能となる。例えば、実施の形態7の有効性が高い条件とは、符号化対象画
像と基準参照画像との距離が、符号化対象画像と動き修正参照画像の距離と同一の場合で
ある。この場合、伝送する差分ベクトルをスケーリングせずに(スケーリング倍率の絶対
値が1)他方の参照画像に対する差分ベクトルを算出できるため、スケーリングの演算精
度に起因する劣化が発生しない。
(実施の形態8)
次に、本発明の実施の形態8についての説明を行う。実施の形態8においては、実施の
形態1に対して、結合予測モードと結合動き修正予測モードを統合し、結合予測モードを
符号化するシンタックス構造上で結合動き修正予測モードにおける差分ベクトル値の伝送
を行う構成を取る。
実施の形態1における結合動き修正予測モードにおいて、差分ベクトル値が(0、0)
である場合で且つ、空間BiPRed及び時間BiPredの場合に、結合予測モードと
同一の動き補償予測画像が生成される冗長性(機能の重複)を、結合予測モードと結合動
き修正予測モードを統合して、結合動き情報を用いる場合に後述するSkipモード以外
では常に差分ベクトル値が伝送される形で削減し、尚且つ動き補償予測モードとその符号
化シンタックスを軽量化できる利点を有する。
図68は、実施の形態8における動き補償予測モードの定義を示す図である。動き補償
予測モードは、動き検出予測モードと結合動き修正予測モード(マージMVDモード)の
2つのモードで構成され、動き検出予測モードとして片方向予測と双方向予測の2つの予
測方法が定義される。
実施の形態1において、予測差分情報を符号化伝送しない結合予測モードとして定義さ
れていたSkipモードは、実施の形態8においては、予測差分情報と差分ベクトル情報
を符号化伝送しない結合動き修正予測モードとして定義し、Skipモードにおいては、
実施の形態1と同様に結合動き情報インデックスのみを伝送する。
実施の形態8における動画像符号化装置と、実施の構成1における動画像符号化装置と
の構成の違いは、図10に示される予測モード判定部109の構成と、図14で示される
動き補償予測モード/予測信号生成の処理、及び図34で示される動き情報符号化データ
生成処理である。また、実施の形態8における動画像復号装置と、実施の構成1における
動画像復号装置との構成の違いは、図37に示される動き情報復号部606の構成と、図
38で示される動き情報復号処理、及び図42で示される結合動き修正予測動き情報復号
処理のフローチャートである。
図69は、実施の形態8の動画像符号化装置における予測モード判定部109の構成を
示す図である。実施の形態8における予測モード判定部109の構成は、図10で示され
た実施の形態1における構成から、結合動き補償予測生成部1008とその動作が無くな
った構成を取る。
図70は、実施の形態8の動画像符号化装置における動き補償予測モード/予測信号生
成処理を説明するためのフローチャートである。実施の形態8における動き補償予測モー
ド/予測信号生成処理は、図14のフローチャートで示される実施の形態1における処理
から、結合予測モード評価値生成処理であるステップS1401が無くなった構成を取る
図71は、実施の形態8の動画像符号化装置における動き情報符号化データ生成処理を
説明するためのフローチャートである。実施の形態8における動き情報符号化データ生成
処理は、図34のフローチャートに示される実施の形態1における処理から、ステップS
3400、ステップS3401、ステップS3413、ステップS3414及びステップ
S3418の処理が無くなり、代わりに予測モードが結合動き修正予測モードであるか否
かの判断であるステップS7100と、予測誤差信号を符号化せず、且つ差分ベクトルが
0であるか否かの判断であるステップS7101が加わる構成を取る。
最初に、予測モードが結合動き修正予測モードである場合(S7100:YES)、予
測誤差信号を符号化せず、且つ差分ベクトルが0である場合(S7101:YES)、ス
テップS3402、ステップS3404、及びステップS3405で構成されるSkip
条件の動き情報符号化処理が行われる。予測誤差信号を符号化するか、差分ベクトルが0
である場合(S7101:NO)、マージフラグを1として符号化し(S3403)、結
合動き修正予測モードの動き情報符号化処理であるステップS3415、ステップS34
16、及びステップS3417の処理が行われる。ここで、実施の形態8のマージフラグ
は、結合動き修正予測モードであるかどうかに使用され、実施の形態1のように、結合予
測モードであるかどうかを表していないことに注意する。
予測モードが結合動き修正予測モードでない場合(S7100:NO)、マージフラグ
を0として符号化し(S3406)、動き予測フラグを符号化する(S3407)。片方
向予測モードである場合(S3408:YES)、片方向予測モードの動き情報符号化処
理であるステップS3409、ステップS3410、ステップS3411、及びステップ
S3412が行われ、片方向予測モードでない場合(S3408:NO)、ステップS3
419からステップS3426までの双方向予測モードの動き情報符号化処理が行われる
図72は、実施の形態8における動き情報に関する符号化シンタックスの一例を示す図
である。図72に示す例では、merge_flagで結合動き修正予測モードが指定さ
れ、Skipモードでない結合動き修正予測の場合には、差分ベクトルが伝送される構造
になる。
図73は、実施の形態8の動画像復号装置における動き情報復号部606の構成を示す
図である。実施の形態8における動き情報復号部606の構成は、図37で示された実施
の形態1における構成から、結合動き補償予測復号部3706とその動作が無くなった構
成を取る。
図74は、実施の形態8の動画像復号装置における動き情報復号処理を説明するための
フローチャートである。実施の形態8における動き情報復号処理は、図38で示された実
施の形態1における処理から、結合予測動き情報復号処理であるステップS3802と、
マージMvdフラグの復号処理であるステップS3808と、マージMvdフラグが1で
あるか否かの判断であるステップS3809が無くなり、実施の形態1においては、マー
ジMvdフラグが1の場合に処理が施されていた結合動き修正予測動き情報復号処理であ
るステップS3810が、Skipモードである場合(S3801:YES)及びマージ
フラグが1である場合(S3804:YES)に処理を行う構成を取る。
図75は、図74のステップS3810の詳細動作を説明するためのフローチャートで
ある。図74のステップS3810では、結合動き修正予測動き情報復号処理が行われる
実施の形態8の動画像復号装置における結合動き修正予測動き情報復号処理は、図42
で示された実施の形態1における結合予測動き情報復号処理に対して、双方向動きベクト
ル値、差分ベクトルを伝送する参照画像確定処理であるステップS4205の後に、Sk
ipモードであるか否かの判断処理であるステップS7500と、差分ベクトル値を0に
セットする処理であるステップS7501が挿入される構成を取る。
Skipモードである場合(S7500:YES)、差分ベクトルは伝送されず動きベ
クトル補正を行わないので、差分ベクトル値として0をセットして(S7501)、差分
ベクトルの復号処理であるステップS4207を行わずに、動き修正参照画像の動きベク
トル値の算出処理であるステップS4208に進む。
図76(a)〜(c)は、実施の形態8における別構成の結合動き修正予測モードの差
分ベクトル伝送手法を示す概念図である。実施の形態8における第2の処理構造として、
結合動き情報が空間UniPredで生成される場合に、実施の形態1における結合予測
モードでそのまま片方向予測として動き情報を用いる条件が失われることを回避し、図7
6(b)に示すように空間UniPredの場合には片方向予測のままで差分ベクトルを
伝送し、動きベクトルを補正する手法をとることも可能である。実施の形態1における結
合予測モードの利点を活かしつつ、結合動き修正予測モードの利点を取り入れた動き補償
予測構造を取ることが可能である。この場合の空間UniPredでは、基準参照画像を
設定せず、片方向予測で指定される参照画像を動き修正参照画像に指定する。
実施の形態8における第3の処理構造として、結合動き情報が空間UniPredで生
成される場合に、図28に示した第2参照画像インデックス確定処理において、最初に基
準参照画像と同じ参照画像が第2参照画像候補リスト内に存在する場合に、基準参照画像
と同じ参照画像に対する参照画像インデックスを第2参照画像インデックスに確定して、
双方向予測の動き情報を算出する手法をとることも可能である。
第2参照画像として基準参照画像と同一参照画像が設定された場合に、差分ベクトル値
が(0,0)の場合には、結合予測モードにおける空間UniPred動き情報を用いた
場合と同じ動き補償予測信号を生成出来るため、第2の処理構造と同様に実施の形態1に
おける結合予測モードでそのまま片方向予測として動き情報を用いる条件が失われること
を回避できる。
第2参照画像として基準参照画像と同一参照画像が設定された場合に、差分ベクトル値
として(0,0)以外が伝送される場合には、同一参照画像の微小に異なる動きで表現さ
れる動き補償予測信号を平均化することで、参照画像に微小な変化を加えた動き補償予測
信号を新たな候補として加えることが出来、符号化効率を向上させることが可能である。
これら実施の形態8の各構成は、それぞれの構成を組み合わせた構成で適用することも
可能である。例えば第3の処理構造を基本とする場合に、第2参照画像として基準参照画
像と同じ参照画像が設定出来ない場合(基準参照画像と同じ参照画像が第2参照画像候補
リスト内に存在しない場合)に、他の参照画像を第2参照画像として選択して双方向予測
の動き情報を生成する処理構成が適用できる。
また、第3の処理構造を基本とする場合に、第2参照画像として基準参照画像と同じ参
照画像が設定出来ない場合に、第2の処理構造に示したように片方向予測として動き情報
を生成し、片方向予測の参照画像の動きベクトルに対する差分ベクトルを符号化する処理
構成も適用可能である。この場合には第2の処理構造と同様に、結合予測モードと同じ動
き補償予測信号を生成する全ての条件を結合動き修正予測モードとして符号化出来るとい
う効果が加わる。
これらの処理構造は、符号化の予測構造や画像シーケンスの特性に応じて、所定単位で
切り替えることも可能であり、符号化処理を行う画像の特性に適した動き情報を用いた動
き補償処理が実現できる。
(実施の形態9)
次に、本発明の実施の形態9についての説明を行う。実施の形態9においては、実施の
形態1に対して、結合予測モードにおいて表現可能な、結合動き修正予測モードで差分ベ
クトルが(0,0)の場合に、復号される動きベクトル値に差分動きベクトルが(0,0
)以外の場合と別の定義を行う事で、符号化する動き情報の冗長性を削減しつつ新たな動
き情報の候補を伝送可能にする構成を取る。
実施の形態9においては、復号時に結合動き修正予測モードにおいて差分ベクトル値が
0である場合に、動きベクトル値として固定値である(0,0)ベクトルを復号する構成
を取る。尚、復号する動きベクトル値自体は、暗黙で復号できる値であれば良く、(0,
0)でない固定値を設定したり、結合動き情報として算出される動きベクトル値に対して
、所定の値を加算したり(ある程度の差分ベクトル符号量を有する値)、上記条件用の動
きベクトル値を隣接ブロックの別の動き情報を用いて取得する構成も、実施の形態9にお
ける効果を実現する構成とすることが可能である。
実施の形態9における動画像符号化装置と実施の形態1の動画像符号化装置との構成の
違いは、図22に示される結合動き修正予測モード評価値生成処理である。また、実施の
形態9の動画像復号装置と実施の形態1の動画像復号装置との構成の違いは、図42で示
される結合動き修正予測動き情報復号処理である。
図77は、実施の形態9の動画像符号化装置における結合動き修正予測モード評価値生
成処理を説明するためのフローチャートである。実施の形態9における結合動き修正予測
モード評価値生成処理は、図22で示された実施の形態1における処理に対して、動き修
正参照画像の動きベクトルを取得する処理であるステップS2204の後に、動き修正参
照画像の動きベクトルが(0,0)であるか否かの判定処理であるステップS7700と
、差分ベクトルに(0,0)を設定する処理であるステップS7701と、動き修正参照
画像の動きベクトルを固定値に置き換える処理であるステップS7702が加わり、差分
ベクトル値生成処理であるステップS2205の後に、差分ベクトルが(0,0)である
か否かの判定処理であるステップS7703が加わる構成を取る。
図1の動きベクトル検出部107より取得した動き修正画像に対する動きベクトル値が
(0,0)となる場合(S7700:YES)、実施の形態9における結合動き修正予測
モードにおいては、差分ベクトルを(0,0)に設定することで少ない符号量で動き情報
が符号化できるため、差分ベクトル値を(0,0)に設定し(S7701)、結合動き情
報より設定された動き修正画像に対する動きベクトル値に固定値である(0,0)を設定
して(S7702)、以降の双方向動き補償予測信号生成処理を行う。
また、動き修正画像に対する動きベクトル値と、結合動き情報より設定された動き修正
画像に対する動きベクトル値が同一である場合には、差分ベクトル値が(0,0)となる
ため、差分ベクトル値が(0,0)の場合(S7703:YES)、結合動き情報より設
定された動き修正画像に対する動きベクトル値に固定値である(0,0)を設定して(S
7702)、以降の双方向動き補償予測信号生成処理を行い、予測誤差値を評価すること
で、(0,0)ベクトルを用いた動き補償予測を選択候補としてモード判定を行うことが
可能となる。
実施の形態9において、実施の形態3の動画像符号化装置のように、結合動き修正予測
モード評価値生成の中で、動きベクトルの探索を可能とする構成を取る場合には、結合動
き修正予測モード評価値生成処理を行うことが可能である。図78は、実施の形態9にお
ける別構成の結合動き修正予測モード評価値生成処理を説明するためのフローチャートで
ある。図22で示された実施の形態1における処理に対して、動き修正参照画像の動きベ
クトルを取得する処理であるステップS2204が無くなり、代わりに動き修正参照画像
の結合動きベクトル値を基準に差分ベクトル(0,0)の場合を除いて動きベクトルを検
出する処理であるステップS7800、動き修正参照画像の動きベクトル値を固定値(0
,0)にした際の予測誤差を算出するステップS7801、補正した動きベクトル値によ
り予測誤差と動きベクトル値を固定値(0,0)での予測誤差を比較する処理であるステ
ップS7802、及び動き修正参照画像の結合動きベクトル値を固定値に置き換え、差分
ベクトルを(0,0)に設定する処理であるステップS7803が加わる構成を取る。
ステップS7800では、結合動き情報から算出した修正参照画像の動きベクトル値を
そのまま利用する条件を排除しているため、動きベクトルの補正が0になる差分ベクトル
(0,0)での動きベクトル探索を行わないことで、動きベクトル値の候補に登録されな
いようにする。
その後で、動き修正参照画像の動きベクトル値を固定値に指定した状態の予測誤差評価
値を算出し(S7801)、ステップS7800で検出された動きベクトル値を用いた場
合に予測誤差評価値と比較して、固定値における予測誤差が少ない場合(S7802:Y
ES)、動き修正参照画像の結合動きベクトル値を固定値に置き換えて、差分ベクトル値
を0に設定して(S7803)、動き情報符号量算出処理であるステップS2206に進
む。
上記処理を行うことで、実施の形態9で結合動き修正予測モードが取りうる動き情報の
中で最良の動き補償予測を可能とする動き情報を生成でき、符号化効率を向上できる。
図79は、実施の形態9の動画像復号装置における結合動き修正予測動き情報復号処理
を説明するためのフローチャートである。実施の形態9における結合動き修正予測動き情
報復号処理は、図42で示された実施の形態1における処理に対して、差分ベクトル値を
復号する処理であるステップS4207の後に、差分ベクトル値が(0,0)であるか否
かを判定する処理であるステップS7900と、動き修正参照画像の動きベクトル値を固
定値に置き換える処理であるステップ7901が加わる構成を取る。
実施の形態9における動画像復号装置においては、上述したように差分ベクトルが0の
場合(S7900:YES)、復号される動きベクトル値を固定値(0,0)に設定する
ために動き修正参照画像の動きベクトル値を固定値(0,0)に置き換える(S7901
)。ステップS7901の後で、動き修正参照画像の動きベクトル値を算出する(S42
08)ことで、固定値(0,0)に差分ベクトル(0,0)が加算された復号値として、
固定値が動き修正参照画像の動きベクトル値として算出される。
実施の形態9において、結合動き修正予測モードの全ての結合動き情報候補に対して、
差分ベクトル値が(0,0)の場合の固定値置換え処理を行っているが、空間UniPr
edの場合には、結合予測モードにおける動き情報と結合動き修正予測モードにおける動
き情報は異なる。つまり、空間UniPredの場合には、結合予測モードにおける動き
情報と結合動き修正予測モードに間に機能の重複が存在しないため、差分ベクトル(0,
0)の条件で動きベクトルを固定値に置き換える必要はなく、結合動き情報の種類に応じ
て、置換え処理を行うか否かを切り替える手法を用いる事が可能であり、より適した動き
情報の表現を可能とする。
以上述べた実施の形態において、双方向予測が利用可能なピクチャ(Bピクチャ)を前
提に説明したが、適応双方向予測を有さないピクチャ(Pピクチャ)においても、本発明
の実施の形態を適用することは可能である。つまり、本発明の実施の形態をPピクチャに
適用すると、結合動き修正予測モードでは、常に片方向予測で動き補償を行うことになり
、結合予測モードで指定される参照画像と同一の参照画像に対して差分ベクトルを加算し
、動きベクトルを修正する処理を行う。
これにより、動き検出予測モードを選択する場合と比較して、結合予測モードと同一の
予測動きベクトルを利用すること、及び、動き検出予測モードで必要となる参照画像指定
情報が不要となる。そのため、結合動き修正予測モードが統合予測モードと動き検出予測
モードの間の性質を持つ予測モードとなり、隣接する動き情報との時間的・空間的な相関
性が高いが動きに微小なずれを生じている場合や、隣接するブロックの動き情報が正確な
動きを示していない場合などに、符号化効率を向上させることができる。
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実
施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォ
ーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータ
フォーマットの符号化ストリームを復号することができる。
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有
線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に
適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符
号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネット
ワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ス
トリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモ
リと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化デ
ータをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化さ
れた符号化データをネットワークを介して受信する受信部と、受信された符号化データを
バッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動
画像復号装置に提供するパケット処理部とを含む。
また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信
装置として実現することができるのは勿論のこと、ROM(Read Only Mem
ory)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソ
フトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウ
ェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、
有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛
星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変
形例も本発明の範囲にあることは当業者に理解されるところである。
実施の形態1の図21のフローチャートの説明では、結合動き情報インデックスの符号
列としては、Truncated Unary符号列を用いる例を説明した。ここで、T
runcated Unary符号列の具体例を挙げる。
図80は、結合動き情報候補数が5の場合のTruncated Unary符号列を
示す図である。Truncated Unary符号列を用いて結合動き情報インデック
スの値を符号化する場合には、結合動き情報候補数が少ないほど、結合動き情報インデッ
クスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報インデックスが1
である場合、結合動き情報候補数が2個であれば‘1’の1ビットで表現されるが、結合
動き情報候補数が3個であれば‘10’の2ビットで表現される。なお、ここでは上記の
ように結合動き情報インデックスの符号化にTruncated Unary符号列を利
用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。
100 入力端子、 101 減算部、 102 直交変換・量子化部、 103 予
測誤差符号化部、 104 逆量子化・逆変換部、 105 加算部、 106 復号画
像メモリ、 107 動きベクトル検出部、 108 動き補償予測部、 109 予測
モード判定部、 110 動き情報符号化部、 111 動き情報メモリ、 112 多
重化部、 113 出力端子、 600 入力端子、 601 多重分離部、 602
予測差分情報復号部、 603 逆量子化・逆変換部、 604 加算部、 605 復
号画像メモリ、 606 動き情報復号部、 607 動き情報メモリ、 608 動き
補償予測部、 609 出力端子、 1000 片方向動き補償予測生成部、 1001
双方向動き補償予測生成部、 1002 予測誤差算出部、 1003 予測ベクトル
算出部、 1004 差分ベクトル算出部、 1005 動き情報符号量算出部、 10
06 予測モード評価部、 1007 結合動き情報算出部、 1008 結合動き補償
予測生成部、 1009 結合動き修正動き補償予測生成部、 1100 予測ベクトル
候補リスト生成部、 1101 予測ベクトル候補リスト削除部、 1200 結合動き
情報候補リスト生成部、 1201 結合動き情報候補リスト削除部、 1300 基準
参照画像・動き修正参照画像選択部、 1301 動き修正参照画像動きベクトル取得部
、 1302 結合動き情報修正動き補償予測生成部、 1303 差分ベクトル算出部
、 3700 動き情報ビットストリーム復号部、 3701 予測ベクトル算出部、
3702 ベクトル加算部、 3703 片方向動き補償予測復号部、 3704 双方
向動き補償予測復号部、 3705 結合動き情報算出部、 3706 結合動き補償予
測復号部、 3707 結合動き修正動き補償予測復号部、 4700 動き修正参照画
像動きベクトル検出部、 5900,6000 結合動き修正動き情報算出部。

Claims (6)

  1. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化装置であって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成部と、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除部と、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定部と、
    前記予測モード判定部から供給される動き情報を符号化する動き情報符号化部とを備え、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする画像符号化装置。
  2. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化方法であって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、
    前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとを有し、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする画像符号化方法。
  3. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化プログラムであって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、
    前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとをコンピュータに実行させ、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする画像符号化プログラム。
  4. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信装置であって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成部と、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除部と、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除部で同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定部と、
    前記予測モード判定部から供給される動き情報を符号化する動き情報符号化部とを備え、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする送信装置。
  5. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信方法であって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、
    前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとを有し、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする送信方法。
  6. 動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化した符号列を送信する送信プログラムであって、
    符号化対象ブロックと空間的又は時間的に隣接する符号化済みブロックのいずれかの動き情報から予測して複数の動き情報候補を導出し、動き情報候補リストを生成する動き情報候補リスト生成ステップと、
    前記導出された複数の動き情報候補の中から動き情報が同一である候補を前記動き情報候補リストから削除する動き情報候補削除ステップと、
    前記符号化対象ブロックの動き情報として、予測方向が双方向予測の場合であって、かつ前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補に含まれる一方の動きベクトルを修正する場合において、前記動き情報候補削除ステップで同一である候補を削除した後の動き情報候補リストの動き情報候補を示すインデックス、及び前記符号化対象ブロックの動きベクトルと前記一方の動きベクトルとの差分ベクトルを符号化対象として使用するモードを選択可能な予測モード判定ステップと、
    前記予測モード判定ステップにより選択されたモードで使用される動き情報を符号化する動き情報符号化ステップとをコンピュータに実行させ、
    前記差分ベクトルの対象となる前記一方の動きベクトルは、前記インデックスで示される動き情報候補から特定される、予測方向によって決定される動きベクトルである
    ことを特徴とする送信プログラム。
JP2015147562A 2015-07-27 2015-07-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム Active JP6065952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015147562A JP6065952B2 (ja) 2015-07-27 2015-07-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015147562A JP6065952B2 (ja) 2015-07-27 2015-07-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011146783A Division JP5786498B2 (ja) 2011-06-30 2011-06-30 画像符号化装置、画像符号化方法及び画像符号化プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2016088939A Division JP6172327B2 (ja) 2016-04-27 2016-04-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2016088940A Division JP6172328B2 (ja) 2016-04-27 2016-04-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2016088938A Division JP6172326B2 (ja) 2016-04-27 2016-04-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム

Publications (3)

Publication Number Publication Date
JP2015222980A JP2015222980A (ja) 2015-12-10
JP2015222980A5 JP2015222980A5 (ja) 2016-03-31
JP6065952B2 true JP6065952B2 (ja) 2017-01-25

Family

ID=54785751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015147562A Active JP6065952B2 (ja) 2015-07-27 2015-07-27 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム

Country Status (1)

Country Link
JP (1) JP6065952B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6495835B2 (ja) * 2016-01-06 2019-04-03 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
TWI826518B (zh) * 2018-09-05 2023-12-21 日商王子控股股份有限公司 透明構件貼合用黏著片、積層體的製造方法及積層體

Also Published As

Publication number Publication date
JP2015222980A (ja) 2015-12-10

Similar Documents

Publication Publication Date Title
JP5786498B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP7015013B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP6226044B2 (ja) 受信装置
JP6344508B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム
JP6065952B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP5786499B2 (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP6065951B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6172325B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6172326B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6172324B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6344509B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム
JP6428869B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP6172327B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP6142943B2 (ja) 画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
JP6172328B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム
JP2013106312A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2013042241A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2013042239A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2013042240A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP6414307B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP2020109936A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2013042242A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP2013106313A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP6406408B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム
JP6406409B2 (ja) 動画像復号装置、動画像復号方法、及び、動画像復号プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161212

R150 Certificate of patent or registration of utility model

Ref document number: 6065952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350