JPWO2016203539A1

JPWO2016203539A1 - 画像符号化方式変換装置及び画像符号化方式変換方法

Info

Publication number: JPWO2016203539A1
Application number: JP2017524174A
Authority: JP
Inventors: 勝大草野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-06-16
Filing date: 2015-06-16
Publication date: 2017-08-31
Anticipated expiration: 2035-06-16
Also published as: JP6312934B2; TW201701663A; TWI558171B; WO2016203539A1

Abstract

少ない計算量で再圧縮ができ、符号化画像信号のデータ量を低減することができる画像符号化方式変換装置を得るため、符号化画像信号が画面内符号化されているか画面間符号化されているかを判定する符号化種別判定部と、画面間符号化画像信号と判定した符号化画像信号にエントロピー復号処理を実施し、エントロピー復号された画像が所定の単位で区切られた領域ごとの符号化情報を出力するエントロピー復号部と、符号化情報をもとに画面間符号化画像信号の動きの有無を判定する動き判定部と、動き判定部で動きがないと判定した画面間符号化画像信号を削除する画像削除部と、符号化種別判定部で画面内符号化画像信号と判定した符号化画像信号を再符号化するか否かを判定する画像再符号化判定部と、画像再符号化判定部にて再符号化すると判定した画面内符号化信号を復号する復号部と、復号部にて復号した復号画像信号を画面間符号化する符号化部と、を備えた。

Description

この発明は、符号化された画像信号を再符号化する画像符号化方式変換装置に関するものである。

近年、動画像を圧縮して符号化する技術が広く用いられている。動画像の符号化方式としては、例えば、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）−ＶＩＤＥＯに採用されているＭＰＥＧ−２（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）方式や、携帯端末向けの地上デジタル放送（ワンセグ放送）やＢｌｕ−ｒａｙ（登録商標）Ｄｉｓｋに採用されているＭＰＥＧ−４ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）／ＩＴＵ−ＴＨ．２６４方式などがある（例えば非特許文献１）。

また、特許文献１のように、符号化された画像信号に対して、動きのないＢ（Ｂｉ−ＤｉｒｅｃｔｉｏｎａｌＰｒｅｄｉｃｔｉｖｅ）ピクチャを削除することで、動画像のデータをより圧縮しようとする発明もある。

特開２００４−２８９８７６号公報

ＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）／ＩＴＵ−ＴＨ．２６４規格

従来の画像符号化方式変換装置では、画像復号装置にて符号化画像信号を画像信号に復号した後、復号画像信号に対して画像解析を実施し、解析結果に基づいて復号画像信号を再符号化するため、多くの計算量が必要になるという課題があった。
また、特許文献１の記録装置では、動きのないＢピクチャを削除しているが、ＢピクチャはＩ（Ｉｎｔｒａ）ピクチャやＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャに比べてデータ量が小さいため、高い圧縮効果を得ることができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、ＧＯＰ（Ｇｒｏｕｐ
ｏｆＰｉｃｔｕｒｅｓ）を一つの処理単位とし、ＧＯＰの最後のＰピクチャから処理を実施していく。符号化されたＰピクチャ画像信号に対して、エントロピー復号を実施し、マクロブロック単位のマクロブロックタイプや動きベクトル等の符号化情報を取得する。取得した符号化情報をもとにしてピクチャ内に動きがあるか否かを判定し、動きがない場合は、該当ピクチャを削除する。
また、Ｉピクチャに後続するＰピクチャ全てを削除した場合は、Ｉピクチャに動きがないと判定し、Ｐピクチャへ再符号化を行う。
上記により、Ｐピクチャに対してエントロピー復号、Ｉピクチャのみを再符号化対象としているため、画像符号化方式変換に係る計算量を低減することができる。

この発明に係る画像符号化方式変換装置は、
画面内符号化画像信号と画面間符号化画像信号が複数まとまった符号化画像信号を入力し、前記符号化画像信号が画面内符号化されているか画面間符号化されているかを判定する符号化種別判定部と、
前記符号化種別判定部で画面間符号化画像信号と判定した符号化画像信号にエントロピー復号処理を実施し、所定の単位で区切られた前記符号化画像信号の領域ごとの符号化情報を出力するエントロピー復号部と、
前記符号化情報をもとに前記画面間符号化画像信号の動きの有無を判定する動き判定部と、
前記動き判定部で動きがないと判定した前記画面間符号化画像信号を削除する画像削除部と、
前記符号化種別判定部で画面内符号化画像信号と判定した符号化画像信号を再符号化するか否かを判定する画像再符号化判定部と、
前記画像再符号化判定部にて再符号化すると判定した画面内符号化信号を復号する復号部と、
前記復号部にて復号した復号画像信号を画面間符号化する符号化部と、
を備えたことを特徴とするものである。

この発明によれば、符号化Ｐピクチャに対してエントロピー復号処理を実施するエントロピー復号部と、エントロピー復号部が出力する符号化情報から動きの有無を判定する動き判定部と、動き判定部で動きがないと判定した場合に、該当符号化Ｐピクチャを削除するピクチャ削除部と、符号化Ｉピクチャに後続する全ての符号化Ｐピクチャを削除した場合に、符号化Ｉピクチャの再符号化を判定するピクチャ再符号化判定部と、符号化Ｉピクチャを復号する画像信号復号部と、復号画像信号をＰピクチャに再符号化する画像信号符号化部とを備え、符号化Ｐピクチャに対してエントロピー復号のみで動きの有無判定ができ、符号化ＩピクチャをＰピクチャに再符号化するように構成したので、少ない計算量で再圧縮ができ、符号化画像信号のデータ量を低減することができる。

この発明の実施の形態１に係る画像符号化装置の一例を示す構成図である。この発明の実施の形態１に係る画像符号化装置の動き判定部１０３における動きの判定方法を説明するための図である。この発明の実施の形態１に係る画像符号化装置の動き判定を実施するピクチャの順序を示したものである。この発明の実施の形態１に係る画像符号化装置の１ＧＯＰに対する処理のフローチャートを示すものである。この発明の実施の形態１に係る画像符号化装置のＧＯＰに対する処理を実施した例を示すものである。この発明の実施の形態１に係る画像符号化装置のＧＯＰに対する処理を実施した例を示すものである。

以下に、本発明に係る画像符号化方式変換装置及び画像符号化方式変換方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
この発明の実施の形態１では、符号化Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャに対してエントロピー復号処理を実施するエントロピー復号部と、エントロピー復号部より出力される符号化情報から動きの有無を判定する動き判定部と、動き判定部で動きがないと判定された場合に、該当符号化Ｐピクチャを削除するピクチャ削除部と、符号化Ｉ（Ｉｎｔｒａ）ピクチャに後続する全ての符号化Ｐピクチャが削除された場合に、符号化Ｉピクチャの再符号化を判定するピクチャ再符号化判定部と、符号化Ｉピクチャを復号する画像信号復号部と、復号画像信号をＰピクチャに再符号化する画像信号符号化部と、を備え、符号化Ｐピクチャに対してエントロピー復号のみで動きの有無判定ができ、符号化ＩピクチャをＰピクチャに再符号化するように構成したので、少ない計算量で再圧縮ができ、符号化画像信号のデータ量を低減することができる画像符号化方式変換装置について説明する。

図１は、この発明の実施の形態１に係る画像符号化方式変換装置の一例を示す構成図である。図において、符号化種別判定部であるピクチャタイプ判別部１０１は入力符号化画像信号がＩピクチャであるかＰピクチャであるかを判定する。エントロピー復号部１０２は、ピクチャタイプ判別部１０１でＰピクチャと判定した符号化Ｐピクチャに対してエントロピー復号を実施し、符号化情報を出力する。動き判定部１０３は、エントロピー復号部が出力した符号化情報を用いて符号化Ｐピクチャの動きの有無を判定する。画像削除部であるピクチャ削除部１０４は、動き判定部１０３で動きがないと判定した場合に、符号化Ｐピクチャを削除するとともにピクチャ削除情報を出力する。

画像再符号化判定部であるピクチャ再符号化判定部１０５は、ピクチャタイプ判別部１０１でＩピクチャと判定した場合、ピクチャ削除部１０４が出力するピクチャ削除情報をもとに符号化Ｉピクチャを再符号化するか否かの判定を行う。復号部である画像信号復号部１０６は、ピクチャ再符号化判定部１０５で再符号化すると判定した符号化Ｉピクチャを復号し、復号画像信号を出力する。符号化部である画像信号符号化部１０７は、画像信号復号部１０６が出力した、復号画像信号をピクチャバッファ１０８に蓄積した過去の復号画像信号を参照して画像符号化を行い、再符号化Ｐピクチャを出力する。ピクチャバッファ１０８は、画像信号復号部１０６が出力した復号画像信号を蓄積する。

図２は、動き判定部１０３における動きの判定方法を説明するための図である。符号化画像信号は、図に示すように１ピクチャがマクロブロックと呼ばれるブロック単位で分割されている。マクロブロックは例えば１６画素×１６ラインのブロックであり、マクロブロックごとに符号化情報を持っている。符号化情報には、量子化パラメータ、マクロブロックタイプ（ブロック分割種別を含む、図２の１６×１６、１６×８、８×１６、８×８）を持ち、さらに、イントラマクロブロックの場合は、イントラ予測モードを、インターマクロブロックの場合は、参照ピクチャ情報、動きベクトル（図２の矢印）を持つ。

動きベクトルはマクロブロックが参照ピクチャに対してどれだけ動いたかを示すものであり、例えば、ピクチャ内の動きベクトルの長さ（ノルム）の最大値が、ある任意の閾値を超えている場合に、動き判定部１０３は当該部分に動きがあると判定する。さらに、ピクチャ内の細かい動きをとらえるために、インターマクロブロックのブロック分割種別で１６×１６より小さいブロック（図２の１６×８、８×１６、８×８）が存在する場合には、動きベクトルの長さの最大値が上記の閾値よりも小さくても動きがあると判定する。

図３は、動き判定部１０３が動き判定を実施するピクチャの順序を示したものである。図には２つのＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）が存在しており、処理の順番はＧＯＰ１の最終ピクチャであるＰ１−Ｎから始め、Ｐ１−（Ｎ−１）と遡って行き、ＧＯＰの先頭であるＩ１−１まで処理を実施した後に、ＧＯＰ２に移る。ＧＯＰ２でも同様に最終ピクチャであるＰ２−Ｎから遡って処理を実施していく。

図４は、この発明の実施の形態１に係る１ＧＯＰに対する処理のフローチャートを示すものである。ピクチャタイプ判別部１０１は、入力されたピクチャがＩピクチャであるかＰピクチャであるかを判定する（ＳＴ１１）。Ｐピクチャであった場合、エントロピー復号部１０２は、エントロピー復号を実施し、符号化情報を出力する（ＳＴ１２）。動き判定部１０３はエントロピー復号部１０２が出力した符号化情報から動きの有無を判定する（ＳＴ１３）。動きがある場合は、処理を終了する。動きがない場合は、該当ピクチャを削除し（ＳＴ１４）、一つ前のピクチャの処理を開始する。全てのＰピクチャが削除され、ピクチャタイプ判別部１０１にてＩピクチャと判定された場合は、直前のＧＯＰにおいて先頭ピクチャ以外のピクチャを削除しているか否かを確認し（ＳＴ１５）、削除している場合は、ＩピクチャをＰピクチャに再変換する処理を実施する（ＳＴ１６）。削除していない場合は、再変換は実施せず処理を終了する。

図５は、ＧＯＰ１の先頭ピクチャ以外を削除して、ＧＯＰ２の処理を実施した例を示すものである。図５において、実線で囲まれたピクチャは削除されていないピクチャを表し、点線で囲まれたピクチャは削除されたピクチャを表している。ＧＯＰ２において全てのＰピクチャで動きがないと判定した場合、Ｉピクチャを直前のＧＯＰ１の先頭ピクチャを参照するＰピクチャへと再変換する。

図６は、ＧＯＰ１の先頭ピクチャと２番目のピクチャ以外削除して、ＧＯＰ２の処理を実施した例を示すものである。図５と同様に、削除されていないピクチャと削除されたピクチャを、実線および点線とで表している。ＧＯＰ２において全てのＰピクチャで動きがないと判定した場合でも、直前のＧＯＰ１に２つのピクチャが残っているため、Ｉピクチャの再変換は実施しない。

なお、この実施の形態１では、動きの有無を動きベクトルの長さの最大値とインターマクロブロックのブロック種別を用いて判定する場合を説明したが、エントロピー復号によって得られる他の符号化情報を用いて判定するように構成してもよい。

また、この実施の形態１では、ＩピクチャとＰピクチャのみで構成されたＧＯＰについての処理を説明したが、Ｂ（ＢｉｄｉｒｅｃｔｉｏｎａｌｌｙＰｒｅｄｉｃｔｉｖｅ）ピクチャも符号化情報内に動き情報を含んでいるため、Ｂピクチャを含んだＧＯＰに対して実施するように構成してもよい。

この場合、Ｂピクチャであっても、ピクチャ間の参照順序を考慮したうえでＰピクチャと同様の処理を行なうことができる。

以上のように、この実施の形態１に係る画像符号化方式変換装置によれば、符号化Ｐピクチャに対してエントロピー復号処理を実施するエントロピー復号部と、エントロピー復号部が出力する符号化情報から動きの有無を判定する動き判定部と、動き判定部で動きがないと判定した場合に、該当符号化Ｐピクチャを削除するピクチャ削除部と、符号化Ｉピクチャに後続する全ての符号化Ｐピクチャを削除した場合に、符号化Ｉピクチャの再符号化を判定するピクチャ再符号化判定部と、符号化Ｉピクチャを復号する画像信号復号部と、復号画像信号をＰピクチャに再符号化する画像信号符号化部とを備え、符号化Ｐピクチャに対してエントロピー復号のみで動きの有無判定ができ、符号化ＩピクチャをＰピクチャに再符号化するように構成したので、少ない計算量で再圧縮ができ、符号化画像信号のデータ量を低減することができる。

以上のように、本発明にかかる画像符号化方式変換装置は、符号化された画像信号を再符号化する画像符号化方式変換装置として適用できる。

１０１ピクチャタイプ判別部、１０２エントロピー復号部、１０３動き判定部、１０４ピクチャ削除部、１０５ピクチャ再符号化判定部、１０６画像信号復号部、１０７画像信号符号化部、１０８ピクチャバッファ

Claims

画面内符号化画像信号と画面間符号化画像信号が複数まとまった符号化画像信号を入力し、前記符号化画像信号が画面内符号化されているか画面間符号化されているかを判定する符号化種別判定部と、
前記符号化種別判定部で画面間符号化画像信号と判定した符号化画像信号にエントロピー復号処理を実施し、所定の単位で区切られた前記符号化画像信号の領域ごとの符号化情報を出力するエントロピー復号部と、
前記符号化情報をもとに前記画面間符号化画像信号の動きの有無を判定する動き判定部と、
前記動き判定部で動きがないと判定した前記画面間符号化画像信号を削除する画像削除部と、
前記符号化種別判定部で画面内符号化画像信号と判定した符号化画像信号を再符号化するか否かを判定する画像再符号化判定部と、
前記画像再符号化判定部にて再符号化すると判定した画面内符号化信号を復号する復号部と、
前記復号部にて復号した復号画像信号を画面間符号化する符号化部と、
を備えたことを特徴とする画像符号化方式変換装置。
前記動き判定部は、
前記符号化情報のうち決められた単位で区切られた領域ごとの動きを示す情報をもとに動きの有無を判定する
ことを特徴とする請求項１に記載の画像符号化方式変換装置。
前記動き判定部は、
前記符号化情報のうち決められた単位で区切られた領域ごとの領域内のさらなる分割単位をもとに動きの有無を判定する
ことを特徴とする請求項１または請求項２に記載の画像符号化方式変換装置。
前記動き判定部は、
前記符号化情報のうち決められた単位で区切られた領域ごとの情報量をもとに動きの有無を判定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像符号化方式変換装置。
前記画像再符号化判定部は、
前記動き判定部にて全ての画面間符号化信号に動きがないと判定した場合に再符号化をすると判定する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像符号化方式変換装置。
画面内符号化画像信号と画面間符号化画像信号が複数まとまった符号化画像信号を入力し、前記符号化画像信号が画面内符号化されているか画面間符号化されているかを判定する符号化種別判定ステップと、
前記符号化種別判定ステップで画面間符号化画像信号と判定した符号化画像信号にエントロピー復号処理を実施し、所定の単位で区切られた前記符号化画像信号の領域ごとの符号化情報を出力するエントロピー復号ステップと、
前記符号化情報をもとに前記画面間符号化画像信号の動きの有無を判定する動き判定ステップと、
前記動き判定ステップで動きがないと判定した前記画面間符号化画像信号を削除する画像削除ステップと、
前記符号化種別判定ステップで画面内符号化画像信号と判定した符号化画像信号を再符号化するか否かを判定する画像再符号化判定ステップと、
前記画像再符号化判定ステップにて再符号化すると判定した画面内符号化信号を復号する復号ステップと、
前記復号ステップにて復号した復号画像信号を画面間符号化する符号化ステップと、
を備えたことを特徴とする画像符号化方式変換方法。