JP6080726B2 - 動画像符号化装置及び画面内予測モード決定方法及びプログラム - Google Patents
動画像符号化装置及び画面内予測モード決定方法及びプログラム Download PDFInfo
- Publication number
- JP6080726B2 JP6080726B2 JP2013176107A JP2013176107A JP6080726B2 JP 6080726 B2 JP6080726 B2 JP 6080726B2 JP 2013176107 A JP2013176107 A JP 2013176107A JP 2013176107 A JP2013176107 A JP 2013176107A JP 6080726 B2 JP6080726 B2 JP 6080726B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction mode
- image
- prediction
- vector
- intra
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
フレーム間予測と画面内予測とが行われる動画像符号化装置であって、
動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルを解析して、画像ブロックごとに、複数の画面内予測モードの中から、画面内予測に適用する画面内予測モードを選択する画面内予測モード決定部を有することを特徴とする動画像符号化装置。
図1は、本実施の形態に係る動画像符号化装置100を示す構成図である。
そして、画面内予測モード決定部101は、評価した情報と設定用パラメータを基に画面内予測方向を決定し、予測方向を画面内予測画生成部102に出力する。
なお、符号化対象ブロックとは、動画像を構成する画像フレームから分割された画像ブロックである。
そして、画面内予測画生成部102は、画面内予測モードに対応した画面内予測画像を生成して出力する。
そして、局部復号画像メモリ103は、画面内予測画生成部102へ画素を出力する。
そして、動き補償予測部104は、画面内予測モード決定部101および符号化制御部111へ参照画像の最も類似度が高い位置情報の動きベクトルを出力する。
そして、フレームメモリ105は、動き補償予測部104から入力する動きベクトルによる位置情報を基にフレーム間予測画生成に必要な画素を動き補償予測部104に出力する。
そして、周波数変換量子化部108は、量子化した周波数変換係数をエントロピー符号化部110と逆周波数変換逆量子化部109に出力する。
また、「〜部」を、プログラムにより実現することも可能である。
「〜部」をプログラムにより実現する場合は、動画像符号化装置100を、例えば、図8に示すハードウェア構成とすることが考えられる。
つまり、「〜部」の機能を実現するプログラムを外部記憶装置902に格納しておき、「〜部」のプログラムを主記憶装置903にロードし、演算装置901が、ロードされたプログラムを実行する。
本実施の形態に係る動画像符号化装置100は画面内予測モード決定部101に主な特徴があるため、以下では、画面内予測モード決定部101の動作について説明する。
設定用のパラメータは、具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値である。
フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のために画面内予測モード決定部101に動きベクトルを入力する。
図2の矢印の向きは参照画像が参照される方向を示すものであるため、画面内予測は矢印とは逆方向に行われる。
一般的に、方向性予測のうちDC予測は方向を持たずエッジのない平坦なテクスチャ領域の予測に適しており、Planar予測はグラデーションなどの画素値の変化の少ない平坦なテクスチャの予測に適している。
動きベクトルの長さは、画面間予測の際の参照画像の位置の遠近を表している。
すなわち動きベクトルが長い場合にはフレーム間参照画像は符号化対象ブロックから離れた位置にあり、短い場合にはフレーム間参照画像は符号化対象ブロックから近い位置にあることを意味している。
動きベクトルが長い場合には符号化対象はある方向にある程度の動きを持ったブロックであり、画面内予測に関してもDC予測以外の方向性予測が適している可能性が高いと考えられる。
逆に動きベクトルが短い場合には符号化対象はあまり動きを持たないブロックであり、方向性予測の中でも方向を持たないDC予測やPlanar予測が向いている可能性が高いと考えられる。
動きベクトルの傾きは画面間予測の際の参照画像からの動きの向きを表している。
画面内予測では符号化対象ブロックの上方向と左方向の画素から予測するため、画面間予測と比較すると動きの方向が制限される。
動きベクトルの傾きが画面内予測のDC予測を除いた33方向の方向性予測のバリエーションから遠いものである場合、方向を持つ方向性予測が適さない可能性があると考えられる。
逆に動きベクトルの傾きが方向性予測のバリエーションのうちどれかと近い場合には、その方向性予測が画面内予測に適する可能性が高いと考えられる。
画面内予測モードの決定手順について図3に示す。
動きベクトルは符号化対象ブロックを原点とした参照画像への座標として入力され、画面内予測モード決定部101は、座標から長さを算出する。
一方、ベクトル長判定しきい値以下である場合(S302でNO)には、方向性の画面内予測が適さないブロックとして、画面内予測モード決定部101は、Planar予測またはDC予測を選択してモードの決定を終了する(S303)。
比較した結果、傾きの差分絶対値の最小値が、傾き判定用しきい値より大きい場合(S305でYES)には、方向を持つ方向性予測での予測に適さないと判定して、画面内予測モード決定部101は、Planar予測またはDC予測を選択して画面内予測の決定を終了する。
傾きの差分絶対値の最小値が、傾き判定用しきい値以下である場合(S305でNO)には、その予測方向の方向性予測が符号化対象ブロックの画面内予測に適すると判定し、画面内予測モード決定部101は、その方向の予測モードを画面内予測モードとして選択して、画面内予測モードの決定を終了する。
動画像を入力とし、画面内予測モード決定部、画面内予測画生成部、局部復号画像メモリ、動き補償予測部、フレームメモリ、減算器、周波数変換量子化部、逆周波数変換逆量子化部、加算器、エントロピー符号化部、符号化制御部、デブロッキングフィルタからなる、動画像符号化装置を説明した。
画面内予測モード決定部が、動き補償予測部から符号化対象ブロックの動きベクトルと外部から設定用のパラメータを入力し、動きベクトルを評価し、評価した情報と設定用パラメータを基に画面内予測方向を決定し、予測方向を画面内予測画生成部に出力することを説明した。
画面内予測画生成部が、画面内予測モード決定部で決定した画面内予測モードと局部復号画像メモリから予測画像生成に必要な符号化対象ブロック周辺の局部復号画素を入力し、予測モードに対応した画面内予測画像を生成して出力することを説明した。
局部復号画像メモリが、加算器および画面内予測画生成部から符号化対象ブロックの周辺画像を入力し、画面内予測画像生成のために必要な画素を蓄積し、画面内予測画生成部へ画素を出力することを説明した。
動き補償予測部が、符号化対象ブロックの原画像とフレームメモリから参照するための画像を入力し、符号化対象ブロックと参照画像を比較して最も類似度が高い位置の参照画像をフレームメモリから取り出しフレーム間予測画像としてセレクタに出力、画面内予測モード決定部および符号化制御部へ参照画像の最も類似度が高い位置情報の動きベクトルを出力することを説明した。
フレームメモリが、デブロッキングフィルタ部からデブロッキングフィルタ処理した局部復号画像を入力し、フレーム間予測画生成のために必要な画素を蓄積し、動き補償予測部から入力する動きベクトルによる位置情報を基にフレーム間予測が生成に必要な画素を動き補償予測部に出力することを説明した。
加算器が、逆周波数変換逆量子化部から符号化対象ブロックの局部復号した画素差分値とセレクタから予測画像を入力し、加算してデブロッキングフィルタ部と局部復号画像メモリに出力することを説明した。
減算器が、符号化対象ブロックと符号化対象ブロックの予測画像を入力し、減算して周波数変換量子化部に出力することを説明した。
周波数変換量子化部が、減算器から画素差分値を入力し、直行変換、ディスクリートコサイン変換(DCT)などの周波数変換演算をしてからその演算結果に対して量子化を行い、量子化した周波数変換係数をエントロピー符号化部と逆周波数変換逆量子化部に出力することを説明した。
逆周波数変換逆量子化部が、周波数変換量子化部から量子化した周波数変換係数を入力し、その係数に対して逆量子化を行ったあとに逆周波数変換演算をして、復号した画素差分値を加算器に対して出力することを説明した。
エントロピー符号化部が、量子化後の周波数変換係数を入力し、エントロピー符号化して符号化ストリームとして出力することを説明した。
符号化制御部が、符号化全体の制御を行うことを説明した。
デブロッキングフィルタ部が、加算器から入力した局部復号画像に対してデブロッキングフィルタ演算を行い、フレームメモリに出力することを説明した。
図4は、実施の形態2に係る動画像符号化装置100の構成例を示す。
図4では、図1の構成に比べて、画像特徴量抽出部114が追加されている。
画像特徴量抽出部114は符号化対象ブロックの画像を入力し、符号化対象ブロックに含まれる画素の画素値の分散を求め画面内予測モード決定部101に出力する。
画像特徴量抽出部114以外の要素は、図1で示したものと同じである。
なお、本実施の形態では、実施の形態1と異なる点を説明し、実施の形態1と同じ点については、説明を省略する。
設定用のパラメータは具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値と符号化対象ブロック分散評価用しきい値であり、フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のため画面内予測モード決定部101に動きベクトルを入力する。
符号化対象ブロック分散評価用しきい値に対する符号化対象ブロックの評価について説明する。
符号化対象ブロックの分散値が小さい場合にはブロック内画素値のばらつきが小さくブロックが平坦な領域であり、DC予測とPlanar予測を比較した場合にDC予測が適する可能性が高い。
逆に、ばらつきが大きい場合にはブロックは平坦な領域でなく、DC予測とPlanar予測を比較した場合にPlanar予測が適する可能性が高い。
画面内予測モードの決定手順について図5に示す。
以下では、S503〜S506の動作について説明する。
そして、画面内予測モード決定部101は、分散判定用しきい値と算出された符号化対象ブロックの分散値を比較する(S504)。
なお、これ以降の画面内予測モード選択については、すでに方向を持つ方向性予測が適さないと判断されているため、DC予測とPlanar予測から選択することとなる。
比較した結果、符号化対象ブロックの分散値が分散判定用しきい値より小さい場合(S504でYES)は、符号化対象ブロックは画素のばらつきが小さく平坦な領域であると判定し、画面内予測モード決定部101は、DC予測を選択する(S505)。
一方、符号化対象ブロックの分散値が分散判定用しきい値より大きい場合(S504でNO)は、符号化対象ブロックは画素のばらつきが比較的大きく平坦な領域でないと判定し、画面内予測モード決定部101は、Planar予測を選択する(S506)。
図6は、実施の形態3に係る動画像符号化装置の構成例を示す。
図6では、図1の構成に比べて、周辺動きベクトル保持部115が追加されている。
周辺動きベクトル保持部115は、動き補償予測部104から動きベクトルを入力し、符号化対象ブロックの周辺のブロックの動きベクトルを保持して画面内予測モード決定部101に符号化対象ブロック周辺ブロックの動きベクトルを出力する。
周辺動きベクトル保持部115以外の要素は、図1で示したものと同じである。
なお、本実施の形態では、実施の形態1と異なる点を説明し、実施の形態1と同じ点については、説明を省略する。
設定用のパラメータは、具体的にはベクトルの長さ評価用のしきい値とベクトルの傾き評価用しきい値と周辺動きベクトル評価用のしきい値であり、フレーム間の参照画像を用いないで画面内予測するピクチャにおいてもフレーム間予測相当の動きベクトルを導出して、画面内予測モード決定のため画面内予測モード決定部101に動きベクトルを入力する。
S704〜S708は、図3のS301〜S306と同様のためここでは説明を省略する。
それ以外の場合(S702でNO)は、方向を持つ方向性予測に適する可能性があるため、画面内予測モード決定部101は、動きベクトルのベクトル長を算出以降の手順に進む。
あるいは、これらの実施の形態のうち、1つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、2つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
Claims (7)
- フレーム間予測と画面内予測とが行われる動画像符号化装置であって、
動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルのベクトル長を算出し、画像ブロックごとに、算出したベクトル長とベクトル長判定用しきい値とを比較し、算出したベクトル長がベクトル長判定用しきい値以下である場合に、画面内予測に適用する画面内予測モードとして、Planar予測モード及びDC予測モードのうちのいずれかを選択する画面内予測モード決定部を有することを特徴とする動画像符号化装置。 - 前記画面内予測モード決定部は、
算出したベクトル長がベクトル長判定用しきい値よりも大きい場合に、
入力した動きベクトルのベクトル傾きを算出し、
算出したベクトル傾きと、DC予測モードを除く複数の方向性予測モードの各々に対応付けられている傾きとの差分絶対値を算出し、
算出した複数の差分絶対値のうちの最小の差分絶対値を選択し、
選択した最小の差分絶対値と傾き判定用しきい値とを比較し、
選択した最小の差分絶対値が傾き判定用しきい値よりも大きい場合に、Planar予測モード及びDC予測モードのうちのいずれかを選択し、
選択した最小の差分絶対値が傾き判定用しきい値以下である場合に、選択した最小の差分絶対値が対象としている方向性予測モードを選択することを特徴とする請求項1に記載の動画像符号化装置。 - 前記動画像符号化装置は、更に、
前記画面内予測モード決定部が画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出する画像特徴量抽出部を有し、
前記画面内予測モード決定部は、
算出したベクトル長がベクトル長判定用しきい値以下である場合に、
前記画像特徴量抽出部に、画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出させ、前記画像特徴量抽出部から分散値を入力し、
入力した分散値と分散判定用しきい値とを比較し、
入力した分散値が分散判定用しきい値よりも小さい場合に、DC予測モードを選択し、
入力した分散値が分散判定用しきい値以上である場合に、Planar予測モードを選択することを特徴とする請求項1又は2に記載の動画像符号化装置。 - 前記動画像符号化装置は、更に、
前記画面内予測モード決定部が画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出する画像特徴量抽出部を有し、
前記画面内予測モード決定部は、
選択した最小の差分絶対値が傾き判定用しきい値よりも大きい場合に、
前記画像特徴量抽出部に、画面内予測モードの選択の対象としている画像ブロックに含まれる画素の画素値の分散値を算出させ、前記画像特徴量抽出部から分散値を入力し、
入力した分散値と分散判定用しきい値とを比較し、
入力した分散値が分散判定用しきい値よりも小さい場合に、DC予測モードを選択し、
入力した分散値が分散判定用しきい値以上である場合に、Planar予測モードを選択することを特徴とする請求項2に記載の動画像符号化装置。 - 前記動画像符号化装置は、更に、
前記画面内予測モード決定部が画面内予測モードの選択の対象とする画像ブロックの周辺に所在する画像ブロックに対して算出された動きベクトルを保持する周辺動きベクトル保持部を有し、
前記画面内予測モード決定部は、
前記周辺動きベクトル保持部から、画面内予測モードの選択の対象とする画像ブロックの周辺に所在する画像ブロックの動きベクトルを入力し、
画面内予測モードの選択の対象とする画像ブロックと、前記周辺動きベクトル保持部から入力した動きベクトルとの差分を算出し、算出した差分おける分散値を算出し、
算出した分散値と周辺ベクトル評価用しきい値とを比較し、
算出した分散値が周辺ベクトル評価用しきい値よりも大きい場合に、Planar予測モード及びDC予測モードのうちのいずれかを選択し、
算出した分散値が周辺ベクトル評価用しきい値以下である場合に、
画面内予測モードの選択の対象とする画像ブロックの動きベクトルのベクトル長を算出し、算出したベクトル長とベクトル長判定用しきい値とを比較することを特徴とする請求項1〜4のいずれかに記載の動画像符号化装置。 - 動画像に対するフレーム間予測と画面内予測とが行われるコンピュータによる画面内予測モード決定方法であって、
前記コンピュータが、動画像を構成する画像フレームから分割された画像ブロックごとに、フレーム間予測のために算出された動きベクトルを入力し、入力した動きベクトルのベクトル長を算出し、画像ブロックごとに、算出したベクトル長とベクトル長判定用しきい値とを比較し、算出したベクトル長がベクトル長判定用しきい値以下である場合に、画面内予測に適用する画面内予測モードとして、Planar予測モード及びDC予測モードのうちのいずれかを選択することを特徴とする画面内予測モード決定方法。 - コンピュータを、請求項1に記載された動画像符号化装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176107A JP6080726B2 (ja) | 2013-08-27 | 2013-08-27 | 動画像符号化装置及び画面内予測モード決定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013176107A JP6080726B2 (ja) | 2013-08-27 | 2013-08-27 | 動画像符号化装置及び画面内予測モード決定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015046723A JP2015046723A (ja) | 2015-03-12 |
JP6080726B2 true JP6080726B2 (ja) | 2017-02-15 |
Family
ID=52671919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013176107A Expired - Fee Related JP6080726B2 (ja) | 2013-08-27 | 2013-08-27 | 動画像符号化装置及び画面内予測モード決定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6080726B2 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244354A (ja) * | 2011-05-18 | 2012-12-10 | Sony Corp | 画像処理装置および方法 |
-
2013
- 2013-08-27 JP JP2013176107A patent/JP6080726B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015046723A (ja) | 2015-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2015213341B2 (en) | Video decoder, video encoder, video decoding method, and video encoding method | |
US9723316B2 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and image prediction device | |
JP2008227670A (ja) | 画像符号化装置 | |
JP4937224B2 (ja) | 画像符号化装置 | |
US20210297666A1 (en) | Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored | |
JPWO2010067529A1 (ja) | 動画像復号化方法及び装置、動画像符号化方法及び装置 | |
JP5613319B2 (ja) | 映像符号化装置、映像符号化方法および映像符号化プログラム | |
JP2017069866A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
JP2013115583A (ja) | 動画像符号化装置及びその制御方法並びにプログラム | |
JP5748225B2 (ja) | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム | |
JP2007228519A (ja) | 画像符号化装置及び画像符号化方法 | |
JP6339977B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
JP2010041191A (ja) | 画像符号化方法及び画像符号化装置 | |
JP6080726B2 (ja) | 動画像符号化装置及び画面内予測モード決定方法及びプログラム | |
JP4971817B2 (ja) | 画像符号化装置 | |
JP2018056699A (ja) | 符号化装置、符号化方法、復号化装置、及び復号化方法 | |
JP6239838B2 (ja) | 動画像符号化装置、その制御方法、及び撮像装置 | |
JP2008153802A (ja) | 動画像符号化装置及び動画像符号化プログラム | |
JP2009049513A (ja) | 動画像符号化装置及び動画像符号化方法 | |
US20130201367A1 (en) | Image encoding apparatus and its control method | |
KR102125969B1 (ko) | 화면 내 예측 방법 및 이러한 방법을 사용하는 장치 | |
JP2009188630A (ja) | 画像符号化装置 | |
JP2015179943A (ja) | 予測モードコスト計算方法及び予測モードコスト計算プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6080726 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |