JP4668878B2

JP4668878B2 - 符号化装置

Info

Publication number: JP4668878B2
Application number: JP2006257853A
Authority: JP
Inventors: 和男大石
Original assignee: NTT Electronics Corp
Current assignee: NTT Electronics Corp
Priority date: 2006-09-22
Filing date: 2006-09-22
Publication date: 2011-04-13
Anticipated expiration: 2026-09-22
Also published as: JP2008079148A

Description

本発明は、動画像を符号化する符号化装置に関するものである。

動画像では、フレームあたりの総符号量（レート）と画質がトレードオフの関係にある。また、動画像を伝送する帯域は限られている。よって、動画像の符号化では、総符号量を一定に維持しかつ高画質にみせることができるレート制御が必要となる。

動画像の符号化の国際基準としては、ＭＰＥＧ−２があり、ＭＰＥＧ−２では、レート制御として、ＴｅｓｔＭｏｄｅｌ５（ＴＭ５）が提案されている（非特許文献１を参照）。

ＴＭ５は、以下の３階層から構成されている。
ＳＴＥＰ１…各ピクチャへのビット配分を行う。
ＳＴＥＰ２…仮想バッファを用いたレート制御を行う。
ＳＴＥＰ３…視覚特性を考慮した適応量子化を行う。

ＳＴＥＰ３は、人間の視覚の空間周波数特性、つまり、人間の視覚は、輪郭部などの高周波成分の多い複雑な（アクティビティの大きい）部分では画質低下を識別しにくく、平坦部などの高周波成分の少ない（アクティビティの小さい）部分では画質低下を識別しやすいという特性に着目した処理である。

つまり、ＳＴＥＰ３では、アクティビティの大きい部分では画質低下を識別しにくいので低画質にし、アクティビティの小さい部分では画質低下を識別しやすいので高画質にすることで、ＳＴＥＰ２後の総符号量を維持しかつ高画質にみせるようにしている。

厳密な意味でのレート制御はＳＴＥＰ１と２で行っており、ＳＴＥＰ３ではレート制御ではなく高画質化手法を実行する。よって、ＳＴＥＰ３では、ＳＴＥＰ１と２で完了しているレート制御の結果を崩さずに処理することが求められる。

具体的には、まず、フレームの原画像情報を構成する各マクロブロックについて、以下の演算により、そのマクロブロックでの画像の複雑さを現す指標であるアクティビティを求め、そのマクロブロックでの量子化ステップを決定する。

ここで、ｊはマクロブロック番号、ｓｂｌｋはマクロブロック中に含まれる８×８画素の輝度ブロック、Ｐｋは、同一の輝度ブロックを構成する画素ｋの輝度信号、Ｐｍｅａｎは、Ｐｋの平均値、ａｖｇ＿ａｃｔは前フレームのａｃｔ（ｊ）の平均値、ａｃｔ（ｊ）はマクロブロックのアクティビティ、Ｎ＿ａｃｔ（ｊ）は、ａｃｔ（ｊ）を０．５〜２．０の範囲に正規化した値、Ｑ（ｊ）は、ＳＴＥＰ２までに求めたマクロブロックｊの量子化ステップ、Ｍｑ（ｊ）は、最終的なマクロブロックｊの量子化ステップである。

Ｍｑ（ｊ）の式からわかるように、アクティビティの大きいマクロブロックの量子化ステップを大きくし、一方、アクティビティの小さいマクロブロックの量子化ステップを小さくする。つまり、アクティビティの大きい部分の量子化ステップを大きくして低画質にし、一方、アクティビティの小さい部分の量子化ステップを小さくして高画質にし、かかる高画質化による符号量増加を低画質化による符号量減少により相殺するようにして、ＳＴＥＰ２後の総符号量を維持している。
特開２００６−１２９０６７号公報 ISO/IEC JTC/SC29/WG11

しかしながら、画面全体がカメラワーク等によって動いた場合、動きベクトル符号量の増加や予測誤差の増加などにより、識別可能なほどに画質が低下する場合がある。特に、アクティビティの大きな部分では、故意に画質を低下させているため、画質低下がより識別しやすい。そのような画質低下はモスキートノイズなどといわれる。

この対策として、輪郭部を検出し、その輪郭部での画質低下を少なくする技術がある。例えば、特許文献１に開示された技術では、あるマクロブロックと周囲のマクロブロックでアクティビティ同士を比較することによって輪郭部を検出し、輪郭部のマクロブロックではＳＴＥＰ３をせずに、量子化ステップを小さくすることで、高画質化させる。

しかし、高画質化するのは、輪郭部においてであり、アクティビティの大きなマクロブロックは高画質化しない。また、高画質化による符号量増加を相殺するようにして、符号量を低下させる手だてがないので、ＳＴＥＰ２後の総符号量を維持できない。

また、画面全体が動いた場合の画質低下は当然との認識があるから、これまではそれが問題にならなかったが、近年では、画面全体が動かない場合の高画質化がめざましいので、画面全体が動いた場合の画質低下が問題視されることがある。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、画面全体に動きがある動画像の総符号量維持が図れかつ高画質に見せることができる符号化装置を提供することにある。

上記の課題を解決するために、本発明の符号化装置は、動画像の原画像情報における画面全体の動きの有無を判定するときに使用される値を計算する計算手段と、前記値を使用して前記判定を行い、画面全体の動きがないと判定した場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量によって、第１の量子化、第２の量子化、第３の量子化のいずれかを行う手段であり、第１の量子化では、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、第２の量子化では、予めアクティビティによらずに求めた量子化ステップで各部分を量子化して、前記原画像情報を量子化し、第３の量子化では、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくして、前記原画像情報を量子化する符号化手段とを備えることを特徴とする。

また、本発明の符号化装置は、動画像の原画像情報における画面全体の動きの有無を判定するときに使用される値を計算する計算手段と、前記値を使用して前記判定を行い、画面全体の動きがないと判定した場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量が大きいほど満たしやすいように予め定められた第１の条件が満たされるか否かを判定し、第１の条件が満たされない場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、第１の条件が満たされた場合、当該動き量が大きいほど満たしやすいように予め定められた第２の条件が満たされるか否かを判定し、第２の条件が満たされない場合、予めアクティビティによらずに求めた量子化ステップで各部分を量子化して、前記原画像情報を量子化し、第２の条件が満たされた場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくして、前記原画像情報を量子化する符号化手段とを備えることを特徴とする。

本発明によれば、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量によって、第１の量子化、第２の量子化、第３の量子化のいずれかを行い、第１の量子化では、原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくし、第２の量子化では、予めアクティビティによらずに求めた量子化ステップで各部分を量子化し、第３の量子化では、原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくすることで、画面全体の動きがない場合との比較で、第２または第３の量子化を行った場合ではあるが、アクティビティが大きい部分で画質が高まり、しかも、アクティビティが小さい部分で符号量が減少するので、画面全体に動きがある動画像の総符号量維持が図れかつ高画質に見せることができる。

また、本発明によれば、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量が大きいほど満たしやすいように予め定められた第１の条件が満たされるか否かを判定し、第１の条件が満たされない場合、アクティビティが大きい部分ほど量子化ステップを大きくし、第１の条件が満たされた場合、当該動き量が大きいほど満たしやすいように予め定められた第２の条件が満たされるか否かを判定し、第２の条件が満たされない場合、予めアクティビティによらずに求めた量子化ステップで各部分を量子化し、第２の条件が満たされた場合、アクティビティが大きい部分ほど量子化ステップを小さくすることで、画面全体の動きがない場合との比較で、特に各条件が満たされた場合ではあるが、画面全体の動きがある場合は、アクティビティが大きい部分で画質が高まり、しかも、アクティビティが小さい部分で符号量が減少するので、画面全体に動きがある動画像の総符号量維持が図れかつ高画質に見せることができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本実施の形態に係る符号化装置１の構成図である。

符号化装置１は、動画像（動画像ＭＶという）を構成する原画像情報をＭＰＥＧ−２の規定に基づいて符号化する装置である。符号化装置１は、符号化前の複数のフレーム分の原画像情報が記憶されたメモリ１１と、メモリ１１内の原画像情報における画面全体の動きの有無を判定するときに使用される値を計算する計算部１２と、当該値を使用した判断結果に応じた方法でメモリ１１内の原画像情報を符号化する符号化部１３とを備える。符号化された情報であって、他のフレームの符号化時に参照されない情報はメモリ１１から取り出されることとなる。また、新たな符号化前の原画像情報がメモリ１１に記憶されるようになっている。また、符号化部１３は、伝送帯域に合わせたビットレートになるように各原画像情報を符号化するようになっている。

（符号化装置１の動作）
計算部１２は、符号化の各タイミングで以下のことを行う。つまり、メモリ１１にアクセスし、そのタイミングで符号化すべきフレーム（ｆ１）の原画像情報を読み出し、該原画像情報における画素の輝度信号と当該フレームの前のフレームの原画像情報における同一位置の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和であるフレーム間差分Δｆと、フレーム（ｆ１）の原画像情報における画素の輝度信号と、動画像ＭＶを視認する方向に見て当該画素の垂直方向の隣の位置の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和である垂直方向隣接画素間差分Δｖと、フレーム（ｆ１）の原画像情報における画素の輝度信号と、動画像ＭＶを視認する方向に見て当該画素の水平方向の隣の位置の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和である水平方向隣接画素間差分Δｈを計算し、計算したフレーム間差分Δｆと垂直方向隣接画素間差分Δｖ、水平方向隣接画素間差分Δｈを符号化部１３に与える。

フレームｆ１での座標（ｘ、ｙ）の画素の輝度信号をＹ（ｘ、ｙ、ｔ）とし、前のフレームでの座標（ｘ、ｙ）の画素の輝度信号をＹ（ｘ、ｙ、ｔ−１）とすると、フレーム間差分Δｆは、Σ（｜Ｙ（ｘ、ｙ、ｔ）−Ｙ（ｘ、ｙ、ｔ−１）｜）で与えられる。ただし、ｘ＝１，２，３，…，ｘｍａｘ（水平方向の画素数）、ｙ＝１，２，…，ｙｍａｘ（垂直方向の画素数）である。

垂直方向隣接画素間差分Δｖは、Σ（｜Ｙ（ｘ、ｙ、ｔ）−Ｙ（ｘ、ｙ−１、ｔ）｜）で与えられる。ただし、ｘ＝１，２，…，ｘｍａｘ（水平方向の画素数）、ｙ＝２，３，…，ｙｍａｘ（垂直方向の画素数）である。

水平方向隣接画素間差分Δｈは、Σ（｜Ｙ（ｘ、ｙ、ｔ）−Ｙ（ｘ−１、ｙ、ｔ）｜）で与えられる。ただし、ｘ＝２，３，…，ｘｍａｘ（水平方向の画素数）、ｙ＝１，２，…，ｙｍａｘ（垂直方向の画素数）である。

図２は、カメラを動かさない（カメラワークなし）で撮像された動画像ＭＶ内でのフレーム間差分Δｆと垂直方向隣接画素間差分Δｖと水平方向隣接画素間差分Δｈの時間的な変化を示す図である。

この動画像ＭＶでは、フレーム間差分Δｆが増加すると、垂直方向隣接画素間差分Δｖも増加し、フレーム間差分Δｆが減少すると、垂直方向隣接画素間差分Δｖも減少する。

図３は、撮像中に垂直方向のカメラワークがあった場合の動画像ＭＶ内でのフレーム間差分Δｆと垂直方向隣接画素間差分Δｖと水平方向隣接画素間差分Δｈの時間的な変化を示す図である。

垂直方向のカメラワークがあったとき、つまり、動画像ＭＶの画面全体が垂直方向に動くときは、フレーム間差分Δｆが増加し、垂直方向隣接画素間差分Δｖが減少する。

なお、水平方向のカメラワークがあったとき、つまり、動画像ＭＶの画面全体が水平方向に動くときは、フレーム間差分Δｆが増加し、水平方向隣接画素間差分Δｈが減少する。

よって、かかる変化により、画面全体の動きの有無を判定すればよい。

図４は、符号化部１３が符号化の各タイミングで行う処理の流れを示すフローチャートである。

符号化部１３は、図示しないが、まず、前述のＴＭ５におけるＳＴＥＰ２と同様に量子化ステップＱ（ｊ）、すなわち、アクティビティによらないで量子化ステップを求める。

次に、画面全体の動きの有無を判定する（Ｓ１）。

ここでは、今回のタイミングで与えられたフレーム間差分Δｆから、カメラワークがないときのフレーム間差分Δｆ（例えば、カメラワークがないときに得られた複数のフレーム間差分Δｆの平均値である。かかる値は、動的につまり差分の計算に伴い、随時計算されて記憶されている。）を減じた結果が零より大きく（フレーム間差分Δｆが増加し）、かつ、今回の垂直方向隣接画素間差分Δｖから、カメラワークがないときの垂直方向隣接画素間差分Δｖ（例えば、カメラワークがないときに得られた複数の垂直方向隣接画素間差分Δｖの平均値である。かかる値は、動的につまり差分の計算に伴い、随時計算されて記憶されている。）を減じた結果が零より小さい（垂直方向隣接画素間差分Δｖが減少した）場合つまり垂直方向のカメラワークがある場合、あるいは、フレーム間差分Δｆが増加し、かつ、今回の水平方向隣接画素間差分Δｈから、カメラワークがないときの水平方向隣接画素間差分Δｈ（例えば、カメラワークがないときに得られた複数の水平方向隣接画素間差分Δｈの平均値である。かかる値は、動的につまり差分の計算に伴い、随時計算されて記憶されている。）を減じた結果が零より小さい（水平方向隣接画素間差分Δｈが減少した）場合つまり水平方向のカメラワークがある場合、または、両方の場合は、画面全体の動きがあった（Ｓ１：ＹＥＳ）と判定し、そうでない場合は、画面全体の動きがなかった（Ｓ１：ＮＯ）と判定する。

符号化部１３は、画面全体の動きがなかった（Ｓ１：ＮＯ）場合、原画像情報Ｇ１を構成する各部分（マクロブロック、以下同じ）のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、原画像情報を量子化する（Ｓ１１）。前述のＱ（ｊ）、Ｎ＿ａｃｔ（ｊ）を用いて表すと、符号化部１３は、マクロブロックｊの量子化ステップＭｑ（ｊ）＝Ｑ（ｊ）×Ｎ＿ａｃｔ（ｊ）を計算し、マクロブロックｊを量子化ステップＭｑ（ｊ）で量子化する。

このように、アクティビティが大きい部分つまり画面全体の動きがない場合において画質が目立たない部分を低画質にし、アクティビティが大きい部分つまり画面全体の動きがない場合において画質が目立つ部分を高画質にすることで、画面全体を高画質に見せることができる。

一方、画面全体の動きがあった（Ｓ１：ＹＥＳ）場合、符号化部１３は、原画像情報Ｇ１の画面全体の動きを示す動き量を計算し、当該動き量が大きいほど満たしやすいように予め符号化部１３に設定された第１の条件が満たされるか否かを判定する（Ｓ２）。

図５は、画面全体の動きの大きさに変化があった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。なお、このΔｆ／ΔｖとΔｆ／Δｈは、図３のものである。

画面全体の動きが小さいときは、Δｆ／Δｖ、Δｆ／Δｈが小さく、一方、画面全体の動きが大きいときは、Δｆ／Δｖ、Δｆ／Δｈが大きい。つまり、Δｆ／ΔｖやΔｆ／Δｈは画面全体の動きを示す動き量ということができる。

符号化部１３は、Δｆ／Δｖのために予め第１の閾値「１．５」と第２の閾値「３」を記憶しており、また、Δｆ／Δｈのために予め第１の閾値「２．５」と第２の閾値「５」を記憶している。

なお、これら閾値は、ＨＤＴＶ（１９２０×１０８０ｉ）のフォーマット用の閾値であり、符号化装置１でＳＤＴＶなどの異なるフォーマットの動画像を扱う場合は、これら閾値に補正を加えるようにしてもよい。また、補正後の閾値を予め記憶し、それを用いてもよい。

図４のステップＳ２では、ステップＳ１で画面全体の垂直方向への動きが検出された場合はΔｆ／Δｖを計算し、Δｆ／Δｖ＞第１の閾値「１．５」が成立するか否かを判定する。ステップＳ２では、ステップＳ１で画面全体の水平方向への動きが検出された場合はΔｆ／Δｈを計算し、Δｆ／Δｈ＞第１の閾値「２．５」が成立するか否かを判定する。ステップＳ２では、ステップＳ１で画面全体の垂直方向への動きと水平方向への動きが検出された場合は、Δｆ／ΔｖとΔｆ／Δｈを計算し、Δｆ／Δｖ＞第１の閾値「１．５」またはΔｆ／Δｈ＞第１の閾値「２．５」が成立するか否かを判定する。

ステップＳ２でＮＯと判定された場合は、画面全体の動きが小さく、動きがないとみなせるので、符号化部１３は、画面全体の動きがない場合と同様に、量子化ステップＭｑ（ｊ）で原画像情報Ｇ１を量子化する（Ｓ１１）。これにより、画面全体の動きがなかった場合と同様に、画面全体を高画質に見せることができる。

ステップＳ２でＹＥＳと判定された場合は、符号化部１３は、動き量が大きいほど満たしやすいように予め符号化部１３に設定された第２の条件が満たされるか否かを判定する（Ｓ３）。

このステップＳ３では、ステップＳ１で画面全体の垂直方向への動きが検出された場合はΔｆ／Δｖ＞第２の閾値「３」が成立するか否かを判定する。ステップＳ３では、ステップＳ１で画面全体の水平方向への動きが検出された場合はΔｆ／Δｈ＞第２の閾値「５」が成立するか否かを判定する。ステップＳ３では、ステップＳ１で画面全体の垂直方向への動きと水平方向への動きが検出された場合は、Δｆ／Δｖ＞第２の閾値「３」またはΔｆ／Δｈ＞第２の閾値「５」が成立するか否かを判定する。

ステップＳ３でＮＯと判定された場合は、画面全体の動きが大きいとみなせるので、符号化部１３は、原画像情報Ｇ１を構成する各部分を量子化ステップＱ（ｊ）、つまり、予めアクティビティによらずに求めた量子化ステップで量子化して、原画像情報Ｇ１を量子化する（Ｓ３１）。

図５の時刻ｔａでは、Δｆ／Δｈ＝４＞２．５、Δｆ／Δｖ＝２．５＞１．５であり、第１の条件が満たされ、Δｆ／Δｈ＝４≦５、Δｆ／Δｖ＝２．５≦３であり、第２の条件が満たされないので、時刻ｔａのフレームの原画像情報では、ステップＳ３１で量子化が行われる。

なお、前述のように、図５のΔｆ／ΔｖとΔｆ／Δｈは、図３のものであり、つまり、この場合のカメラワークは垂直方向だけなので、閾値との比較判定では、Δｆ／Δｖだけが使用される。

画面全体の動きが大きい場合においては、アクティビティが大きい部分でモスキートノイズなどが発生することがあるので、この部分では、画面全体の動きがない場合と小さい場合よりも高画質にすることで、つまり、量子化ステップＱ（ｊ）で量子化する（Ｓ３１）ことで、画面全体を高画質に見せることができる。

図６は、撮像中にカメラワークがなかった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。

図６の時刻ｔｂでは、Δｆ／Δｈ＝３．５＞２．５、Δｆ／Δｖ＝１≦１．５であり、第１の条件が満たされ、Δｆ／Δｈ＝３．５≦５、Δｆ／Δｖ＝１≦３であり、第２の条件が満たされるのだが、カメラワークがないので、ステップＳ１でＮＯと判定され、画面全体の動きがない場合における、原画像情報Ｇ１の量子化がなされる（Ｓ１１）。

図４に戻り、ステップＳ３でＹＥＳと判定された場合は、画面全体の動きが非常に大きいとみなせるので、今回の原画像情報Ｇ１を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくして、原画像情報Ｇ１を量子化する（Ｓ４１）。前述のＱ（ｊ）、Ｎ＿ａｃｔ（ｊ）を用いて表すと、符号化部１３は、マクロブロックｊの量子化ステップＭｑ（ｊ）＝Ｑ（ｊ）／Ｎ＿ａｃｔ（ｊ）を計算し、マクロブロックｊを量子化ステップＭｑ（ｊ）で量子化する。これにより、ステップＳ４１におけるアクティビティが大きい部分での量子化ステップは、ステップＳ３１におけるアクティビティが大きい部分での量子化ステップより小さくなる。

図７は、撮像中に斜め方向のカメラワークがあった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。

図７の時刻ｔｃでは、Δｆ／Δｈ＝６＞２．５、Δｆ／Δｖ＝１．５≦１．５であり、第１の条件が満たされ、Δｆ／Δｈ＝６＞５、Δｆ／Δｖ＝１．５≦３であり、第２の条件が満たされるので、時刻ｔｂのフレームの原画像情報を符号化するときは、ステップＳ４１での量子化がなされる。

この場合のカメラワークは斜め方向なので、閾値との比較判定では、Δｆ／ΔｖとΔｆ／Δｈの両方が使用される。

画面全体の動きが非常に大きい場合においては、ステップＳ３１において、量子化ステップＱ（ｊ）で量子化を行ったとしても、アクティビティが大きい部分で画質劣化が目立つことがあるので、この部分では、画面全体の動きが大きい場合よりも高画質にすることで、つまり、ステップＳ４１におけるアクティビティが大きい部分での量子化ステップを、量子化ステップＱ（ｊ）で量子化を行った（Ｓ３１）場合のアクティビティが大きい部分での量子化ステップより小さくすることで、画面全体を高画質に見せることができる。

なお、本実施の形態では、ステップＳ２、Ｓ３により、画質調整を細かくできるが、その必要がなければ、一方または両方を行わず、ステップＳ１やステップＳ２でＹＥＳの場合、直ちに、ステップＳ３１や、ステップＳ４１へ制御を移してもよい。

以上説明したように、本実施の形態の符号化装置１によれば、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量によって、第１の量子化（Ｓ１１）、第２の量子化（Ｓ３１）、第３の量子化（Ｓ４１）のいずれかを行い、第１の量子化では、原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくし、第２の量子化では、予めアクティビティによらずに求めた量子化ステップ（Ｑ（ｊ））で各部分を量子化し、第３の量子化では、原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくすることで、画面全体の動きがない場合との比較で、第２または第３の量子化を行った場合ではあるが、アクティビティが大きい部分で画質が高まり、しかも、アクティビティが小さい部分で符号量が減少するので、画面全体に動きがある動画像の総符号量維持が図れかつ高画質に見せることができる。

また、本実施の形態の符号化装置１によれば、画面全体の動きがあると判定した場合、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量が大きいほど満たしやすいように予め定められた第１の条件が満たされるか否かを判定し（Ｓ２）、第１の条件が満たされない場合、アクティビティが大きい部分ほど量子化ステップを大きくし（Ｓ１１）、第１の条件が満たされた場合、当該動き量が大きいほど満たしやすいように予め定められた第２の条件が満たされるか否かを判定し（Ｓ３）、第２の条件が満たされない場合、予めアクティビティによらずに求めた量子化ステップ（Ｑ（ｊ））で各部分を量子化し（Ｓ３１）、第２の条件が満たされた場合、アクティビティが大きい部分ほど量子化ステップを小さくする（Ｓ４１）ことで、画面全体の動きがない場合との比較で、特に各条件が満たされた場合ではあるが、画面全体の動きがある場合は、アクティビティが大きい部分で画質が高まり、しかも、アクティビティが小さい部分で符号量が減少するので、画面全体に動きがある動画像の総符号量維持が図れかつ高画質に見せることができる。

また、特許文献１に開示された技術のように、原画像情報の一部にだけ着目し、その部分だけを高画質化するのでなく、本実施の形態の符号化装置１によれば、原画像情報の画面全体を鑑み、符号量を減少させることも行っているので、動画像の総符号量を一定に保つことができる。

また、本実施の形態では、輝度信号を用いて垂直方向隣接画素間差分Δｖ、水平方向隣接画素間差分Δｈを求め、このΔｖ、Δｈを含む動き量と閾値との比較判定を行ったが、この比較判定ではさらに色差信号を用いることで、より確実な処理が可能となる。

なお、符号化装置１はコンピュータで構成でき、その場合、コンピュータプログラムが符号化装置１に上記の符号化方法を実行させる。このコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録したり、インターネットなどの通信網を介して伝送させて、広く流通させることができる。

本実施の形態に係る符号化装置１の構成図である。カメラワークなしで撮像された動画像ＭＶ内でのフレーム間差分Δｆと垂直方向隣接画素間差分Δｖと水平方向隣接画素間差分Δｈの時間的な変化を示す図である。撮像中に垂直方向のカメラワークがあった場合の動画像ＭＶ内でのフレーム間差分Δｆと垂直方向隣接画素間差分Δｖと水平方向隣接画素間差分Δｈの時間的な変化を示す図である。符号化部１３が符号化の各タイミングで行う処理の流れを示すフローチャートである。画面全体の動きの大きさに変化があった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。撮像中にカメラワークがなかった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。撮像中に斜め方向のカメラワークがあった場合の動画像ＭＶ内でのΔｆ／ΔｖとΔｆ／Δｈの時間的な変化を示す図である。

符号の説明

１…符号化装置、１１…メモリ、１２…計算部、１３…符号化部

Claims

動画像の原画像情報における画面全体の動きの有無を判定するときに使用される値を計算する計算手段と、
前記値を使用して前記判定を行い、画面全体の動きがあると判定した場合、前記値を使用して、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量によって、第１の量子化、第２の量子化、第３の量子化のいずれかを行う手段であり、前記第１の量子化では、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、前記第２の量子化では、予めアクティビティによらずに求めた量子化ステップで各部分を量子化して、前記原画像情報を量子化し、前記第３の量子化では、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくして、前記原画像情報を量子化し、画面全体の動きがないと判定した場合、前記第１の量子化と同じ量子化を行う符号化手段と
を備えることを特徴とする符号化装置。
動画像の原画像情報における画面全体の動きの有無を判定するときに使用される値を計算する計算手段と、
前記値を使用して前記判定を行い、画面全体の動きがあると判定した場合、前記値を使用して、原画像情報の画面全体の動きを示す動き量を計算し、当該動き量が予め定められた第１の閾値より大きいという第１の条件が満たされるか否かを判定し、前記第１の条件が満たされない場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを大きくして、前記原画像情報を量子化し、前記第１の条件が満たされた場合、当該動き量が前記第１の閾値より大きく定められた第２の閾値より大きいという第２の条件が満たされるか否かを判定し、前記第２の条件が満たされない場合、予めアクティビティによらずに求めた量子化ステップで各部分を量子化して、前記原画像情報を量子化し、前記第２の条件が満たされた場合、前記原画像情報を構成する各部分のアクティビティを求め、求めたアクティビティが大きい部分ほど量子化ステップを小さくして、前記原画像情報を量子化し、画面全体の動きがないと判定した場合、前記第１の条件が満たされない場合の量子化と同じ量子化を行う符号化手段と
を備えることを特徴とする符号化装置。
前記動き量は２つの値を含み、一方の値は、動画像を構成する複数のフレームの原画像情報の１つにおける画素の輝度信号と当該フレームの前のフレームの原画像情報における同一位置の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和であるフレーム間差分を、同一のフレームの原画像情報における画素の輝度信号と当該動画像を視認する方向に見て当該画素の垂直方向の隣の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和である垂直方向隣接画素間差分で除した値であり、他方の値は、フレーム間差分を、同一のフレームの原画像情報における画素の輝度信号と当該動画像を視認する方向に見て当該画素の水平方向の隣の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和である水平方向隣接画素間差分で除した値であり、
前記第１の条件は、フレーム間差分を垂直方向隣接画素間差分で除した値が２つの前記第１の閾値の一方より大きくなることと、フレーム間差分を水平方向隣接画素間差分で除した値が当該他方の第１の閾値より大きくなることのいずれかが満たされる条件であり、
前記第２の条件は、フレーム間差分を垂直方向隣接画素間差分で除した値が２つの前記第２の閾値の一方でありかつ前記一方の第１の閾値より大きい第２の閾値より大きくなることと、フレーム間差分を水平方向隣接画素間差分で除した値が当該他方の第２の閾値でありかつ前記他方の第１の閾値より大きい第２の閾値よりも大きくなることのいずれかが満たされる条件であることを特徴とする請求項２記載の符号化装置。
画面全体の動きの有無を判定するときに使用される前記値は、動画像を構成する複数のフレームの原画像情報の１つにおける画素の輝度信号と当該フレームの前のフレームの原画像情報における同一位置の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和であるフレーム間差分と、同一のフレームの原画像情報における画素の輝度信号と当該画素の隣の画素の輝度信号との差分の絶対値を複数の画素について求めたときの当該各絶対値の和である隣接画素間差分であり、前記符号化手段は、フレーム間差分が増加し、隣接画素間差分が減少した場合、原画像情報に画面全体の動きがあると判定することを特徴とする請求項１ないし３のいずれかに記載の符号化装置。