JP3738511B2

JP3738511B2 - Video coding system

Info

Publication number: JP3738511B2
Application number: JP00776597A
Authority: JP
Inventors: 喜子幡野; まさ子浅村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-01-20
Filing date: 1997-01-20
Publication date: 2006-01-25
Anticipated expiration: 2017-01-20
Also published as: JPH10210474A

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像の時間軸方向の相関を利用して符号化を行う動画像符号化方式に関する。
【０００２】
【従来の技術】
図７は、例えば、特公平８−２１０６号公報に示された従来の動画像符号化方式を示すブロック図である。図７において、入力端子１より供給される入力画像信号は減算器２の第一の入力に与えられる。減算器２の出力は遅延器３ａを介して、切替器４の第一の入力に与えられる。入力端子１より供給される入力画像信号は遅延器３ｂを介して、切替器４の第二の入力にも与えられる。切替器４の第三の入力には零信号が与えられる。一方、入力端子１より供給される入力画像信号と減算器２の出力は、有効ブロック判定部およびフレーム間／フレーム内選択部（以下、「判定および選択部」という）５にも入力される。この判定および選択部５の第一，第二の出力は、それぞれ、切替器４の第四，第五の入力に与えられる。切替器４の出力は直交変換器６および量子化器７を介して図示していない復号器側に送出されるが、合わせて逆量子化器８にも送られる。逆量子化器８の出力は逆直交変換器９を介して、加算器１０の第一の入力に与えられる。加算器１０の出力は動き補償予測器１１の第一の入力に与えられる。動き補償予測器１１の第二の入力には入力端子１から供給される入力画像信号が与えられ、動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力には判定および選択部５の第一の出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【０００３】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、判定および選択部５に送られる。この判定および選択部５は、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す第一の制御信号と、各ブロックが有効ブロックであるか否かを示す第二の制御信号とを出力する。遅延器３ａおよび３ｂは判定および選択部５内で生ずる遅延分を補正するためのものである。切替器４は判定および選択部５から出力される２つの制御信号に基づき、フレーム間予測誤差信号、フレーム内信号、零信号のいずれかを選択して出力する。切替器４の出力は直交変換され、量子化されて、図示していない復号器側へ出力される。
【０００４】
この量子化された変換係数は、逆量子化器８を介して逆直交変換器９にも入力され、再生値が出力される。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、前記フレーム間／フレーム内選択部５からの第一の制御信号により決定され、切替器１２で選択される。
【０００５】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【０００６】
判定および選択部５は、両部分を別々に構成することもできるが、共通化できる部分も多数あるため、両者を合わせた判定および選択部５で示している。一般に、テレビ会議信号のような動画像信号を対象とする場合、背景などの静止している部分については、フレーム間予測誤差信号が０となるので、この誤差信号を送らないことにより伝送効率を高めることが可能である。しかしながら、このような静止部分においても、入力画像信号に雑音が乗っていたりするために、予測誤差信号が０とならず、これを直交変換するとある変換係数に大きな値が生じることがある。この場合、本来なら情報を送らなくてよいブロックについても信号を送らなくてはならないことになる。このような場合には、伝送効率の低下となるばかりでなく、隣り合うブロックで情報を送ったり送らなかったりするために、ブロック歪みが生じて視覚的妨害となることがある。そこで、直交変換を行う前に、予測誤差信号をブロック毎にまとめて有効／無効の判定を行い、無効ブロックについては予測誤差信号を０にリセットすることで、効率の低下を防いでいる。
【０００７】
また、動きの大きなブロックやシーンチェンジにおいては、予測誤差が大きくなるため、入力画像信号をそのまま直交変換した方が伝送効率が高くなることがある。そこで、ブロック毎に、フレーム間／フレーム内符号化を選択することが有効となる。
【０００８】
まず、有効ブロック判定部は、ブロック毎に予測誤差信号の２乗和Ｓｍをとり、この評価量Ｓｍが予め定められた閾値Ｔ１以上のときは現入力ブロックを有効ブロックとしてフレーム間予測誤差信号をそのまま直交変換符号化するが、Ｔ１未満のときは現入力ブロックを無効ブロックとし、以後このブロックの予測誤差信号を全て零とする。また、フレーム間／フレーム内選択部は、上記評価値Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【０００９】
【発明が解決しようとする課題】
従来の動画像符号化方式においては、静止している部分の画像に雑音が乗っている場合も、画質劣化や伝送効率の低下を生じないように、有効ブロックの判定を行なっていた。しかしながら、従来、有効ブロックの判定には予測誤差信号のみを用いているため、予測誤差信号を符号化するときの量子化歪みについては考慮されていない。特に低レートの固定レート符号化においては、有効ブロックが多いと量子化が粗くなり、無効ブロックが多いと量子化が細かくなるので、無効ブロックとして予測誤差信号が送られないことによる劣化より、有効ブロックとしたために生じる量子化歪みの方が視覚的に目だつことがあるという問題があった。
【００１０】
また、従来の動画像符号化方式においては、有効ブロックの判定において入力画像の性質を考慮していないので、視覚的に目立たない予測誤差も符号化を行い、符号量削減の妨害となっているという問題があった。
【００１１】
この発明は上記のような問題点を解消するためになされたもので、有効ブロックとしたときの量子化歪みと、予測誤差信号の大きさとを比較することにより、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１２】
また、この発明は、有効ブロックとしたときの量子化歪みと、無効ブロックとした場合の視覚的妨害の大きさとを比較することにより、視覚的な歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることを目的とする。
【００１３】
また、この発明は、無効ブロックとした場合の視覚的妨害の大きさを用いて有効ブロック判定を行うことにより、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることを目的とする。
【００１４】
【課題を解決するための手段】
この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えるものである。
【００１５】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えるものである。
【００１６】
さらにこの発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するものである。
【００１８】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の一実施形態による動画像符号化方式を示すブロック図である。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器（Ｔ）３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器（Ｔ）３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器（Ｑ）７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器（Ｔ）３ｃを介して切替器４ｂの第一の入力に与えられる。切替器４ｂの第二の入力には零信号が与えられる。
【００１９】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器（Ｑ^-1）８の出力は逆直交変換器９に入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｂの第三の入力に与えられる。切替器４ｂの出力は可変長符号器１０２に入力され、可変長符号器（ＶＬＣ）１０２の出力は図示していない復号器側へ伝送される。
【００２０】
逆直交変換器９の出力は切替器４ｃの第一の入力に与えられる。切替器４ｃの第二の入力には零信号が与えられ、切替器４ｃの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｃの出力は加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００２１】
次に動作について説明する。入力信号は動画像信号を複数画素分まとめてブロック化したものである。この入力信号は入力端子１から供給されて、減算器２において動き補償予測値との差分がとられ、フレーム間予測誤差信号が得られる。この予測誤差信号と入力画像信号は、フレーム間／フレーム内選択部５ａに送られる。このフレーム間／フレーム内選択部５ａは、各ブロックをフレーム間で符号化するかフレーム内で符号化するかを示す制御信号を出力する。遅延器３ａおよび３ｂはフレーム間／フレーム内選択部５ａ内で生ずる遅延分を補正するためのものである。切替器４ａはフレーム間／フレーム内選択部５ａから出力される制御信号に基づき、フレーム間予測誤差信号、フレーム内信号のいずれかを選択して出力する。切替器４ａの出力は直交変換され、量子化される。量子化された変換係数は、遅延器３ｃに入力されるとともに、逆量子化器８で逆量子化される。
【００２２】
切替器４ａから出力される直交変換前の信号と、量子化前の変換係数と、量子化・逆量子化された変換係数とは、有効ブロック判定部１０１に送られる。有効ブロック判定部１０１は各ブロックが有効ブロックか無効ブロックかを示す制御信号を出力する。遅延器３ｃは有効ブロック判定部１０１内で生ずる遅延分を補正するためのものである。切替器４ｂは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときには量子化された変換係数を、無効ブロックを示しているときは零信号を選択して出力する。切替器４ｂの出力は可変長符号器１０２で可変長符号化されて、図示していない復号器側へ伝送される。
【００２３】
一方、逆量子化器８の出力は、逆直交変換器９で逆直交変換される。切替器４ｃは、有効ブロック判定部１０１から出力される制御信号が有効ブロックを示しているときは逆直交変換器９の出力を、無効ブロックを示しているときは零信号を選択して出力する。この切替器４ｃにより、復号器側で得られるのと同じ再生値が得られる。加算器１０において、この再生値に動き補償予測値を加えるか、零を加えるかは、先のフレーム間／フレーム内選択部５ａからの制御信号により決定され、切替器１２で選択される。
【００２４】
加算器１０から出力される信号は復号信号であり、動き補償予測器１１の中に記憶され、以後の予測符号化に使用される。動き補償予測器１１は、入力端子１から供給される入力信号と、記憶されている復号信号との比較により動き量を検出し、動き補償予測値を出力する。
【００２５】
フレーム内／フレーム間選択部５ａの動作は、前記従来例のフレーム内／フレーム間選択部５と同様である。すなわち、予測誤差の二乗和Ｓｍと、入力ブロックの分散値Ｓｉとを用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でかつＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよう制御する。
【００２６】
有効ブロック判定部１０１は、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量と、量子化前の変換係数と量子化・逆量子化された変換係数の誤差の評価量とから、各ブロックが有効ブロックか無効ブロックかを判定する。例えば、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いる。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、量子化前の変換係数をｄ（ｉ，ｊ）、量子化・逆量子化後の変換係数をｄｑ（ｉ，ｊ）とすると、
【００２７】
【数１】

【００２８】
【数２】

【００２９】
とする。
【００３０】
一般に、直交変換の性質から、ｐ（ｉ，ｊ）と、これを直交変換した変換係数ｄ（ｉ，ｊ）の間には、
【００３１】
【数３】

【００３２】
という関係が成り立つ。また、逆直交変換器９の出力をｐｑ（ｉ，ｊ）とすると、ｄｑ（ｉ，ｊ）はｐｑ（ｉ，ｊ）を直交変換したときの変換係数であるから、直交変換の線形性より、ｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）の直交変換がｄ（ｉ，ｊ）−ｄｑ（ｉ，ｊ）となる。従って、
【００３３】
【数４】

【００３４】
が成り立つ。よって、予測誤差信号の量子化歪みｐ（ｉ，ｊ）−ｐｑ（ｉ，ｊ）は、変換係数の量子化誤差の評価量Ｅｑで表わすことができる。そこで、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定すると、予測誤差信号を送らないことによる劣化より量子化歪みの方が大きいときは無効ブロック、そうでないときは有効ブロックと判定される。ただし、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム内符号化を示している場合は、すべてのブロックを有効ブロックとする。
【００３５】
既に述べたように、無効ブロックと判定された場合には切替器４ｂおよび４ｃにより、そのブロックの変換係数および予測誤差信号が０に置き換えられるため、当該ブロックに関する予測誤差情報は送られない。
【００３６】
なお、上記実施の形態１においては、予測誤差信号の評価量Ｅｍとして予測誤差の二乗和を用い、変換係数の量子化誤差の評価量Ｅｑとして量子化誤差の二乗和を用いたが、評価量Ｅｍ、Ｅｑはこれに限るものではなく、それぞれ、予測誤差、量子化誤差の、絶対値和、絶対値の最大値、またこれらの値にオフセット値を加えたものなど、大きさの指標となる評価量を用いることができる。
【００３７】
実施の形態２．
図２は、この発明の実施の形態２による動画像符号化方式を示すブロック図である。図中、図１と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１の第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１の第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００３８】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１の第三の入力に与えられる。有効ブロック判定部１０１の第四の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１の出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００３９】
遅延器（Ｔ）３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１の出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４０】
次に動作について説明する。この実施の形態２による動画像符号化方式は、有効ブロック判定部１０１の判定が無効ブロックを示している場合に、当該ブロックの予測誤差の平均値のみを伝送する点が、実施の形態１と異なる。すなわち、有効ブロック判定部１０１から出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。なお、遅延器３ｃと３ｄは有効ブロック判定部１０１内で生じる遅延分を補正するためのものである。
【００４１】
実施の形態３．
図３は、この発明の実施の形態３による動画像符号化方式を示すブロック図である。図中、図２と同一符号は同一または相当部分を示している。図において、１は入力端子であり、入力端子１から入力された画像信号は減算器２の第一の入力と遅延器３ｂの入力とフレーム内／フレーム間選択部５ａの第一の入力と誤差許容度演算部１０３と動き補償予測器１１の第一の入力に与えられる。減算器２の出力は遅延器３ａに入力されるとともに、フレーム内／フレーム間選択部５ａの第二の入力にも与えられる。遅延器３ａの出力は切替器４ａの第一の入力に与えられる。切替器４ａの第二の入力には遅延器３ｂの出力が与えられ、切替器４ａの第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器４ａの出力は直交変換器６の入力と有効ブロック判定部１０１ａの第一の入力に与えられる。直交変換器６の出力は量子化器７の入力と有効ブロック判定部１０１ａの第二の入力に与えられる。量子化器７の出力は遅延器３ｃを介して切替器４ｄの第一の入力に与えられる。切替器４ｄの第二の入力には零信号が与えられる。
【００４２】
一方、量子化器７の出力は逆量子化器８にも入力される。逆量子化器８の出力は遅延器３ｄに入力されるとともに、有効ブロック判定部１０１ａの第三の入力に与えられる。有効ブロック判定部１０１ａの第四の入力には誤差許容度演算部１０３の出力が、第五の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。有効ブロック判定部１０１ａの出力は切替器４ｄの第三の入力に与えられる。切替器４ｄの出力は可変長符号器１０２に入力され、可変長符号器１０２の出力は復号器側へ伝送される。
【００４３】
遅延器３ｄの出力は切替器４ｅの第一の入力に与えられる。切替器４ｅの第二の入力には零信号が与えられ、切替器４ｅの第三の入力には有効ブロック判定部１０１ａの出力が与えられる。切替器４ｅの出力は逆直交変換器９を介して加算器１０の第一の入力に与えられ、加算器１０の出力は動き補償予測器１１の第二の入力に与えられる。動き補償予測器１１の出力は減算器２の第二の入力と切替器１２の第一の入力に与えられる。切替器１２の第二の入力には零信号が与えられ、切替器１２の第三の入力にはフレーム内／フレーム間選択部５ａの出力が与えられる。切替器１２の出力は加算器１０の第二の入力に与えられる。
【００４４】
次に動作について説明する。この実施の形態３による動画像符号化方式は、有効ブロック判定部１０１ａの判定に、誤差許容度演算部１０３の出力が使われる点が、実施の形態２と異なる。一般に、図４（ａ）のような画像信号があった場合、図４（ｂ）のように、平坦部に乗ったノイズは目立ちやすいが、エッジ部に乗ったノイズは目立ちにくい。すなわち、同じ大きさのノイズでも、元の画像信号の特徴により、主観的に許容できる画質になる場合と許容できない画質になる場合とがある。そこで、誤差許容度演算部１０３は入力画像信号から画面内の各画素がどの程度のレベルまで誤差を許容できるかを示す誤差許容度を求める。
【００４５】
図５は誤差許容度演算部１０３の一構成例を示すブロック図である。図において、５０１は水平変化度演算部、５０２は垂直変化度演算部、５０３は最小値検出器、５０４は誤差許容度変換部である。まず、入力画像は、水平変化度演算部５０１および垂直変化度演算部５０２において、水平および垂直方向の変化度が各画素毎に求められる。たとえば、入力画像信号をｇ（ｘ，ｙ）（０≦ｘ＜Ｌ、０≦ｙ＜Ｍ；Ｌ、Ｍは画像の水平、垂直方向の画素数）とすると、各画素（ｘ，ｙ）について、水平変化度Ｃｈ（ｘ，ｙ）を
【００４６】
【数５】

【００４７】
により求め、垂直変化度Ｃｖ（ｘ，ｙ）を
【００４８】
【数６】

【００４９】
により求める。最小値検出器５０３は、水平変化度と垂直変化度のうち小さい方、すなわち、Ｃ（ｘ，ｙ）＝ｍｉｎ｛Ｃｈ（ｘ，ｙ），Ｃｖ（ｘ，ｙ）｝を出力する。誤差許容度変換部５０４は、この変化度Ｃ（ｘ，ｙ）を
Ｄ（ｘ，ｙ）＝ｆ（Ｃ（ｘ，ｙ））
により誤差許容度Ｄ（ｘ，ｙ）に変換する。ここで、ｆ（ｚ）は図６のような特性をもつ関数である。従って、変化度が小さいときには誤差許容度は小さく、変化度が大きいときには誤差許容度は大きくなる。この誤差許容度Ｄ（ｘ，ｙ）は有効ブロック判定部１０１ａに出力される。
【００５０】
有効ブロック判定部１０１ａは、フレーム内／フレーム間選択部５ａから出力される制御信号がフレーム間予測誤差信号の選択を示している場合に、予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとを求め、評価量Ｅｍが評価量Ｅｑ以上のときは当該ブロックを有効ブロック、評価量Ｅｑ未満のときは無効ブロックと判定する。このとき、予測誤差信号の大きさの評価に、誤差許容度Ｄ（ｘ，ｙ）を用いる。例えば、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとする。すなわち、ブロックの大きさをＮ画素×Ｎライン（Ｎは自然数）とし、各ブロックの予測誤差信号をｐ（ｉ，ｊ）（０≦ｉ，ｊ＜Ｎ；ｉ，ｊは整数）、このブロックの誤差許容度をＤｂ（ｉ，ｊ）＝Ｄ（ｘ０＋ｉ，ｙ０＋ｊ）（ここで（ｘ０，ｙ０）は当該ブロックの左上の画素の位置）とすると、
【００５１】
【数７】

【００５２】
とする。これにより、予測誤差信号の評価量Ｅｍは視覚特性を考慮した誤差の評価となる。評価量Ｅｑは実施の形態１、２と同様に求める。有効ブロック判定部１０１ａは、これらの評価量Ｅｍ、Ｅｑをもとに、有効ブロック／無効ブロックの判定を行う。
【００５３】
他の動作は実施の形態２と同様である。すなわち、有効ブロック判定部１０１ａから出力される制御信号が無効ブロックを示している場合に、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換える。これにより、無効ブロックについては、ブロックの予測誤差信号の平均値のみが伝送されることになる。
【００５４】
なお、上記実施の形態３においては、予測誤差信号の大きさから誤差許容度Ｄ（ｘ，ｙ）を差し引き、その二乗和を評価量Ｅｍとしたが、予測誤差信号の評価量Ｅｍはこれに限るものではなく、例えば、二乗和の代わりに、絶対値和、絶対値の最大値を用いてもよい。
また、誤差許容度Ｄ（ｘ，ｙ）の用い方も、減算だけでなく、割り算で反映させてもよく、例えば、予測誤差信号の大きさに誤差許容度Ｄ（ｘ，ｙ）の逆数をかけた値の二乗和を評価量Ｅｍとしてもよい。
【００５５】
また、誤差許容度Ｄ（ｘ，ｙ）も、水平変化度Ｃｈ（ｘ，ｙ）と垂直変化度Ｃｖ（ｘ，ｙ）の最小値から求めることに限定されるものではなく、高域通過フィルタの出力などを用いてもよい。
【００５６】
また、上記実施の形態３においては、切替器４ｄと４ｅは、ＤＣ以外の変換係数を０に置き換えるとしたが、切替器４ｄと４ｅは、すべての変換係数を０に置き換えるよう構成してもよい。
【００５７】
さらに、上記実施の形態３においては、有効ブロック判定部１０１ａが予測誤差信号の評価量Ｅｍと、変換係数の量子化誤差の評価量Ｅｑとから有効ブロック／無効ブロックの判定を行なったが、有効ブロック判定部１０１ａは、誤差許容度Ｄ（ｘ，ｙ）を用いて求めた予測誤差信号の評価量Ｅｍのみを使って、有効ブロック／無効ブロックの判定を行なってもよい。すなわち、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する。
【００５８】
【発明の効果】
以上のように、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合にゼロ信号を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることが出来る。
【００５９】
また、この発明による動画像符号化方式は、動画像信号を複数画素分まとめてブロック化した入力画像信号と前記入力画像信号より前に入力された画像信号とを比較して動き量検出を行い動き補償予測値を出力する動き補償予測部と、前記動き補償予測値および前記入力画像信号に基づき求めたフレーム間予測誤差と前記入力画像信号とに基づきフレーム間符号化またはフレーム内符号化のいずれかを行うことを選択する選択部と、前記選択部がフレーム内符号化を選択した場合に前記入力画像信号を出力し、フレーム間符号化を選択した場合に前記フレーム間予測誤差を出力する第１の切替器と、この第一の切替器からの出力を直交変換する直交変換部と、この直交変換部からの出力を量子化する量子化部と、この量子化部からの出力を逆量子化する逆量子化部と、前記選択部においてフレーム内符号化を行うことが選択された場合に、すべてのブロックを有効ブロックと判定するとともに、前記選択部においてフレーム間符号化を行うことが選択された場合に、前記直交変換部の出力と前記逆量子化部の出力から算出される量子化誤差の評価量と、前記フレーム間予測誤差の評価量とを比較して前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が小さい場合に有効ブロックと判定し、前記フレーム間予測誤差の評価量に対して前記量子化誤差の評価量が大きい場合に無効ブロックと判定する有効ブロック判定部と、前記前記有効ブロック判定部の判定に基づき、前記有効ブロックと判定された場合に前記直交変換部の出力する前記フレーム間予測誤差値を直交変換した信号を出力し、前記無効ブロックと判定された場合に前記フレーム間予測誤差の平均値を出力する第２の切替部を備えたので、歪みを最小にするという意味で最適な有効ブロック判定を行う動画像符号化方式を得ることができる。
【００６０】
さらに、この発明による動画像符号化方式は、前記入力画像信号の各画素について水平方向の変化度と垂直方向の変化度とを比較して、いずれか小さい方を選択し、この選択された前記水平または垂直方向の変化度に基づいて誤差許容度を算出する誤差許容度演算部をさらに備え、前記有効ブロック判定部は、算出した誤差許容度の大きさに応じて前記フレーム間予測誤差信号の評価量を下げ、この下げた前記フレーム間予測誤差信号を用いて有効ブロックか無効ブロックかを判定するので符号量の削減できる動画像符号化方式を得ることができる。
【００６１】
また、この発明による動画像符号化方式は、入力画像信号から画面の各画素の誤差許容度を求める手段と、この誤差許容度をもとに予測誤差信号の評価量Ｅｍを求め、評価量Ｅｍが所定値以上のときは当該ブロックを有効ブロック、所定値未満のときは無効ブロックと判定する有効ブロック判定部を有し、無効ブロックと判定された場合には当該ブロックに関する予測誤差情報は送らず、有効ブロックと判定された場合には直交変換した後にその変換係数を量子化し、非零信号が生じた場合には量子化された変換係数値を伝送するので、視覚的に目立たない予測誤差の伝送を行なわず、符号量削減のできる動画像符号化方式を得ることができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による動画像符号化方式を示すブロック図である。
【図２】この発明の実施の形態２による動画像符号化方式を示すブロック図である。
【図３】この発明の実施の形態３による動画像符号化方式を示すブロック図である。
【図４】実施の形態３による動画像符号化方式の動作を説明するための、画像信号の波形図である。
【図５】実施の形態３による動画像符号化方式の誤差許容度演算部の一構成例を示すブロック図である。
【図６】実施の形態３による動画像符号化方式の誤差許容度の求め方を示す概念図である。
【図７】従来の動画像符号化装置を示すブロック図である。
【符号の説明】
２減算器、３ａ，３ｂ，３ｃ，３ｄ遅延器、４ａ，４ｂ，４ｃ，４ｄ切替器、５ａフレーム内／フレーム間選択部、６直交変換器、７量子化器、８逆量子化器、９逆直交変換器、１０加算器、１１動き補償予測器、１０１，１０１ａ有効ブロック判定部、１０３誤差許容度演算部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving picture coding system that performs coding using correlation in the time axis direction of moving pictures.
[0002]
[Prior art]
FIG. 7 is a block diagram showing a conventional moving picture encoding method disclosed in, for example, Japanese Patent Publication No. 8-2106. In FIG. 7, the input image signal supplied from the input terminal 1 is given to the first input of the subtractor 2. The output of the subtracter 2 is given to the first input of the switch 4 via the delay device 3a. The input image signal supplied from the input terminal 1 is also given to the second input of the switch 4 via the delay device 3b. A zero signal is given to the third input of the switch 4. On the other hand, the input image signal supplied from the input terminal 1 and the output of the subtracter 2 are also input to an effective block determination unit and an interframe / intraframe selection unit (hereinafter referred to as “determination and selection unit”) 5. The first and second outputs of the determination and selection unit 5 are given to the fourth and fifth inputs of the switch 4, respectively. The output of the switch 4 is sent to the decoder side (not shown) via the orthogonal transformer 6 and the quantizer 7, but is also sent to the inverse quantizer 8 together. The output of the inverse quantizer 8 is given to the first input of the adder 10 via the inverse orthogonal transformer 9. The output of the adder 10 is given to the first input of the motion compensated predictor 11. The input image signal supplied from the input terminal 1 is given to the second input of the motion compensation predictor 11, and the output of the motion compensation predictor 11 is the second input of the subtracter 2 and the first input of the switch 12. Given to input. A zero signal is given to the second input of the switch 12, and the first output of the determination and selection unit 5 is given to the third input of the switch 12. The output of the switch 12 is given to the second input of the adder 10.
[0003]
Next, the operation will be described. The input signal is a moving image signal which is a block made up of a plurality of pixels. This input signal is supplied from the input terminal 1, and the subtracter 2 calculates a difference from the motion compensated prediction value to obtain an inter-frame prediction error signal. The prediction error signal and the input image signal are sent to the determination and selection unit 5. The determination and selection unit 5 includes a first control signal indicating whether each block is encoded between frames or within a frame, and a second control indicating whether each block is an effective block. Signal. The

delay units

3a and 3b are for correcting a delay generated in the determination and selection unit 5. The switch 4 selects and outputs any of the inter-frame prediction error signal, the intra-frame signal, and the zero signal based on the two control signals output from the determination and selection unit 5. The output of the switch 4 is orthogonally transformed, quantized, and output to a decoder side (not shown).
[0004]
The quantized transform coefficient is also input to the inverse orthogonal transformer 9 via the inverse quantizer 8, and a reproduction value is output. In the adder 10, whether to add a motion compensation predicted value or zero to this reproduction value is determined by the first control signal from the inter-frame / intra-frame selector 5 and is selected by the switch 12. .
[0005]
The signal output from the adder 10 is a decoded signal, stored in the motion compensated predictor 11, and used for subsequent predictive coding. The motion compensation predictor 11 detects a motion amount by comparing the input signal supplied from the input terminal 1 with the stored decoded signal, and outputs a motion compensation prediction value.
[0006]
The determination and selection unit 5 can be configured separately for both parts, but since there are many parts that can be shared, the determination and selection unit 5 is shown together. In general, when a moving image signal such as a video conference signal is targeted, an inter-frame prediction error signal is 0 for a stationary part such as a background. Therefore, transmission efficiency is reduced by not sending this error signal. It is possible to increase. However, even in such a stationary portion, noise is added to the input image signal, so that the prediction error signal does not become 0, and if this is orthogonally transformed, a large value may be generated in a certain conversion coefficient. In this case, a signal must be sent even for a block that normally does not need to send information. In such a case, not only the transmission efficiency is lowered, but also information is not sent or not sent between adjacent blocks, so that block distortion may occur, resulting in visual disturbance. Therefore, before performing orthogonal transform, the prediction error signal is collectively determined for each block to determine whether it is valid / invalid, and for the invalid block, the prediction error signal is reset to 0 to prevent a reduction in efficiency.
[0007]
In addition, in a block or scene change with a large motion, a prediction error becomes large, so that the transmission efficiency may be higher when the input image signal is subjected to orthogonal transformation as it is. Therefore, it is effective to select interframe / intraframe coding for each block.
[0008]
First, the effective block determination unit calculates the sum of squares Sm of prediction error signals for each block, and when this evaluation amount Sm is equal to or greater than a predetermined threshold T1, the current input block is set as an effective block to generate an inter-frame prediction error signal. Orthogonal transform coding is performed as it is, but when it is less than T1, the current input block is set as an invalid block, and thereafter the prediction error signals of this block are all set to zero. The inter-frame / intra-frame selection unit uses the evaluation value Sm and the variance value Si of the input block to select an input image signal when Sm ≧ T2 and Sm> Si for a predetermined threshold T2. Then, control is performed so that intra-frame coding is performed, and control is performed so as to select an inter-frame prediction error signal when Sm <T2 or Sm ≦ Si.
[0009]
[Problems to be solved by the invention]
In the conventional moving image coding method, the effective block is determined so that the image quality is not deteriorated and the transmission efficiency is not lowered even when noise is added to the still image. However, conventionally, only the prediction error signal is used to determine the effective block, and therefore, quantization distortion when encoding the prediction error signal is not taken into consideration. Especially in low-rate fixed-rate coding, if there are many effective blocks, the quantization becomes coarse, and if there are many invalid blocks, the quantization becomes fine, so it is more effective than deterioration due to the fact that no prediction error signal is sent as an invalid block. There was a problem that the quantization distortion caused by the block may be visually noticeable.
[0010]
In addition, in the conventional moving image encoding method, since the property of the input image is not considered in the determination of the effective block, the prediction error that is visually inconspicuous is also encoded, which hinders the code amount reduction. There was a problem.
[0011]
The present invention has been made to solve the above problems, and in the sense that the distortion is minimized by comparing the quantization distortion when the effective block is used with the size of the prediction error signal. An object of the present invention is to obtain a moving picture coding system that performs optimum effective block determination.
[0012]
In addition, the present invention compares the quantization distortion when an effective block is used with the magnitude of visual interference when an invalid block is used, thereby reducing the optimum effective block in the sense of minimizing visual distortion. An object is to obtain a moving image coding method for performing the determination.
[0013]
The present invention also provides a moving picture code capable of reducing the amount of codes without performing visually inconspicuous prediction error transmission by performing effective block determination using the magnitude of visual interference in the case of an invalid block. The purpose is to obtain a system.
[0014]
[Means for Solving the Problems]
  The moving image encoding system according to the present invention is:A motion-compensated prediction unit that detects a motion amount by comparing an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, and outputs a motion-compensated prediction value; A selection unit that selects either interframe coding or intraframe coding based on the interframe prediction error obtained based on the motion compensation prediction value and the input image signal and the input image signal; A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected; and the first switch An orthogonal transform unit that orthogonally transforms the output from the output unit, a quantization unit that quantizes the output from the orthogonal transform unit, an inverse quantization unit that dequantizes the output from the quantization unit, and the selection unit. When it is selected to perform intra-frame coding, all blocks are determined to be valid blocks, and when the selection unit is selected to perform inter-frame coding, the output of the orthogonal transform unit The quantization error evaluation amount calculated from the output of the inverse quantization unit and the inter-frame prediction error evaluation amount are compared, and the quantization error evaluation amount is compared with the inter-frame prediction error evaluation amount. A valid block determining unit that determines that the block is an effective block when the evaluation amount of the quantization error is large with respect to the evaluation amount of the inter-frame prediction error, and a determination of the effective block determination unit Based on the above, when the effective block is determined, a signal obtained by orthogonally transforming the inter-frame prediction error value output from the orthogonal transform unit is output, and the invalid block is determined. In which a second switching section for outputting a zero signal when.
[0015]
  In addition, the moving picture coding system according to the present invention is:A motion-compensated prediction unit that detects a motion amount by comparing an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, and outputs a motion-compensated prediction value; A selection unit that selects either interframe coding or intraframe coding based on the interframe prediction error obtained based on the motion compensation prediction value and the input image signal and the input image signal; A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected; and the first switch An orthogonal transform unit that orthogonally transforms the output from the output unit, a quantization unit that quantizes the output from the orthogonal transform unit, an inverse quantization unit that dequantizes the output from the quantization unit, and the selection unit. When it is selected to perform intra-frame coding, all blocks are determined to be valid blocks, and when the selection unit is selected to perform inter-frame coding, the output of the orthogonal transform unit The quantization error evaluation amount calculated from the output of the inverse quantization unit and the inter-frame prediction error evaluation amount are compared, and the quantization error evaluation amount is compared with the inter-frame prediction error evaluation amount. An effective block determining unit that determines that the block is an effective block when the evaluation amount of the quantization error is large with respect to the evaluation amount of the inter-frame prediction error, and the effective block determining unit Based on the determination, outputs a signal obtained by orthogonally transforming the inter-frame prediction error value output by the orthogonal transform unit when the valid block is determined, and the invalid block In which a second switching unit that outputs the average value of the inter-frame prediction error if it is constant.
[0016]
  Furthermore, the moving picture coding system according to the present invention is:For each pixel of the input image signal, the degree of change in the horizontal direction is compared with the degree of change in the vertical direction, and the smaller one is selected, and an error is allowed based on the selected degree of change in the horizontal or vertical direction. An error tolerance calculation unit for calculating a degree, and the effective block determination unit reduces the evaluation amount of the inter-frame prediction error signal according to the calculated error tolerance, and the reduced inter-frame prediction The error signal is used to determine whether the block is a valid block or an invalid block.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a moving picture coding system according to an embodiment of the present invention. In the figure, 1 is an input terminal, and an image signal input from the input terminal 1 is a first input of a subtracter 2, an input of a delay unit (T) 3b, and a first of an intra-frame / inter-frame selection unit 5a. Input and given to the first input of the motion compensated predictor 11. The output of the subtracter 2 is input to the delay unit 3a and also supplied to the second input of the intra-frame / inter-frame selector 5a. The output of the delay device (T) 3a is given to the first input of the switch 4a. The output of the delay unit 3b is given to the second input of the switch 4a, and the output of the intra-frame / inter-frame selector 5a is given to the third input of the switch 4a. The output of the switch 4 a is given to the input of the orthogonal transformer 6 and the first input of the effective block determination unit 101. The output of the orthogonal transformer 6 is given to the input of the quantizer (Q) 7 and the second input of the effective block determination unit 101. The output of the quantizer 7 is given to the first input of the switch 4b via the delay device (T) 3c. A zero signal is given to the second input of the switch 4b.
[0019]
On the other hand, the output of the quantizer 7 is also input to the inverse quantizer 8. Inverse quantizer (Q^-1) 8 is input to the inverse orthogonal transformer 9 and also to the third input of the effective block determination unit 101. The fourth input of the valid block determination unit 101 is given the output of the intra-frame / inter-frame selection unit 5a. The output of the valid block determination unit 101 is given to the third input of the switch 4b. The output of the switch 4b is input to the variable length encoder 102, and the output of the variable length encoder (VLC) 102 is transmitted to the decoder side (not shown).
[0020]
The output of the inverse orthogonal transformer 9 is given to the first input of the switch 4c. A zero signal is given to the second input of the switch 4c, and the output of the effective block determination unit 101 is given to the third input of the switch 4c. The output of the switch 4 c is given to the first input of the adder 10, and the output of the adder 10 is given to the second input of the motion compensation predictor 11. The output of the motion compensation predictor 11 is given to the second input of the subtracter 2 and the first input of the switch 12. A zero signal is given to the second input of the switch 12, and the output of the intra-frame / inter-frame selector 5 a is given to the third input of the switch 12. The output of the switch 12 is given to the second input of the adder 10.
[0021]
Next, the operation will be described. The input signal is a moving image signal which is a block made up of a plurality of pixels. This input signal is supplied from the input terminal 1, and the subtracter 2 calculates a difference from the motion compensated prediction value to obtain an inter-frame prediction error signal. The prediction error signal and the input image signal are sent to the inter-frame / intra-frame selection unit 5a. The inter-frame / intra-frame selection unit 5a outputs a control signal indicating whether each block is encoded between frames or within a frame. The

delay devices

3a and 3b are for correcting a delay generated in the inter-frame / intra-frame selector 5a. The switch 4a selects and outputs either the inter-frame prediction error signal or the intra-frame signal based on the control signal output from the inter-frame / intra-frame selection unit 5a. The output of the switch 4a is orthogonally transformed and quantized. The quantized transform coefficient is input to the delay unit 3 c and is inversely quantized by the inverse quantizer 8.
[0022]
The signal before orthogonal transform, the transform coefficient before quantization, and the quantized / dequantized transform coefficient output from the switch 4a are sent to the effective block determination unit 101. The valid block determination unit 101 outputs a control signal indicating whether each block is a valid block or an invalid block. The delay unit 3 c is for correcting a delay generated in the effective block determination unit 101. The switch 4b selects and outputs a quantized transform coefficient when the control signal output from the valid block determination unit 101 indicates a valid block, and a zero signal when the control signal indicates an invalid block. The output of the switch 4b is variable-length encoded by the variable-length encoder 102 and transmitted to a decoder (not shown).
[0023]
On the other hand, the output of the inverse quantizer 8 is inversely orthogonally transformed by the inverse orthogonal transformer 9. The switch 4c selects and outputs the output of the inverse orthogonal transformer 9 when the control signal output from the valid block determination unit 101 indicates a valid block, and selects the zero signal when the control signal indicates an invalid block. . By this switch 4c, the same reproduction value as that obtained on the decoder side can be obtained. In the adder 10, whether to add a motion compensation prediction value or zero to this reproduction value is determined by the control signal from the previous inter-frame / intra-frame selection unit 5 a and is selected by the switch 12.
[0024]
The signal output from the adder 10 is a decoded signal, stored in the motion compensated predictor 11, and used for subsequent predictive coding. The motion compensation predictor 11 detects a motion amount by comparing the input signal supplied from the input terminal 1 with the stored decoded signal, and outputs a motion compensation prediction value.
[0025]
The operation of the intra-frame / inter-frame selector 5a is the same as that of the intra-frame / inter-frame selector 5 in the conventional example. That is, using the sum of squares Sm of prediction errors and the variance value Si of the input block, when Sm ≧ T2 and Sm> Si for a predetermined threshold T2, an input image signal is selected and intra-frame coding is performed. The control is performed so that the inter-frame prediction error signal is selected when Sm <T2 or Sm ≦ Si.
[0026]
When the control signal output from the intra-frame / inter-frame selection unit 5a indicates the selection of the inter-frame prediction error signal, the effective block determination unit 101 determines the prediction error signal evaluation amount and the transform coefficient before quantization. Whether each block is a valid block or an invalid block is determined from the error and the evaluation amount of the quantized / dequantized transform coefficient. For example, a square sum of prediction errors is used as the evaluation amount Em of the prediction error signal, and a square sum of quantization errors is used as the evaluation amount Eq of the quantization error of the transform coefficient. That is, the block size is N pixels × N lines (N is a natural number), the prediction error signal of each block is p (i, j) (0 ≦ i, j <N; i and j are integers), and quantization is performed. If the previous transform coefficient is d (i, j) and the transform coefficient after quantization / inverse quantization is dq (i, j),
[0027]
[Expression 1]

[0028]
[Expression 2]

[0029]
And
[0030]
In general, due to the nature of orthogonal transformation, between p (i, j) and the transformation coefficient d (i, j) obtained by orthogonal transformation thereof,
[0031]
[Equation 3]

[0032]
This relationship holds. If the output of the inverse orthogonal transformer 9 is pq (i, j), dq (i, j) is a transform coefficient when pq (i, j) is orthogonally transformed. , P (i, j) -pq (i, j) is d (i, j) -dq (i, j). Therefore,
[0033]
[Expression 4]

[0034]
Holds. Therefore, the quantization distortion p (i, j) -pq (i, j) of the prediction error signal can be expressed by the evaluation amount Eq of the quantization error of the transform coefficient. Therefore, when the evaluation amount Em is equal to or greater than the evaluation amount Eq, if the block is determined to be an effective block, and if the evaluation amount Em is less than the evaluation amount Eq, the quantization distortion is larger than the deterioration caused by not sending the prediction error signal. Is determined to be an invalid block, otherwise it is determined to be a valid block. However, if the control signal output from the intra-frame / inter-frame selector 5a indicates intra-frame coding, all blocks are valid blocks.
[0035]
As described above, when the block is determined to be an invalid block, the switching units 4b and 4c replace the transform coefficient and the prediction error signal of the block with 0, so that the prediction error information regarding the block is not sent.
[0036]
In the first embodiment, the sum of squares of prediction errors is used as the evaluation amount Em of the prediction error signal, and the square sum of quantization errors is used as the evaluation amount Eq of the quantization error of the transform coefficient. Em and Eq are not limited to these, and are indicators of magnitude, such as the sum of absolute values of prediction errors and quantization errors, the maximum value of absolute values, and the value obtained by adding an offset value to these values, respectively. Evaluation quantities can be used.
[0037]
Embodiment 2. FIG.
FIG. 2 is a block diagram showing a moving picture coding system according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same or corresponding parts. In the figure, reference numeral 1 denotes an input terminal, and an image signal input from the input terminal 1 moves with the first input of the subtracter 2, the input of the delay unit 3b, and the first input of the intra-frame / inter-frame selector 5a. This is given to the first input of the compensation predictor 11. The output of the subtracter 2 is input to the delay unit 3a and also supplied to the second input of the intra-frame / inter-frame selector 5a. The output of the delay device 3a is given to the first input of the switch 4a. The output of the delay unit 3b is given to the second input of the switch 4a, and the output of the intra-frame / inter-frame selector 5a is given to the third input of the switch 4a. The output of the switch 4 a is given to the input of the orthogonal transformer 6 and the first input of the effective block determination unit 101. The output of the orthogonal transformer 6 is given to the input of the quantizer 7 and the second input of the effective block determination unit 101. The output of the quantizer 7 is given to the first input of the switch 4d via the delay unit 3c. A zero signal is given to the second input of the switch 4d.
[0038]
On the other hand, the output of the quantizer 7 is also input to the inverse quantizer 8. The output of the inverse quantizer 8 is input to the delay unit 3d and also supplied to the third input of the effective block determination unit 101. The fourth input of the valid block determination unit 101 is given the output of the intra-frame / inter-frame selection unit 5a. The output of the valid block determination unit 101 is given to the third input of the switch 4d. The output of the switch 4d is input to the variable length encoder 102, and the output of the variable length encoder 102 is transmitted to the decoder side.
[0039]
The output of the delay device (T) 3d is given to the first input of the switch 4e. A zero signal is given to the second input of the switch 4e, and the output of the effective block determination unit 101 is given to the third input of the switch 4e. The output of the switch 4e is given to the first input of the adder 10 via the inverse orthogonal transformer 9, and the output of the adder 10 is given to the second input of the motion compensation predictor 11. The output of the motion compensation predictor 11 is given to the second input of the subtracter 2 and the first input of the switch 12. A zero signal is given to the second input of the switch 12, and the output of the intra-frame / inter-frame selector 5 a is given to the third input of the switch 12. The output of the switch 12 is given to the second input of the adder 10.
[0040]
Next, the operation will be described. The moving picture coding method according to the second embodiment is different from the first embodiment in that, when the determination by the effective block determination unit 101 indicates an invalid block, only the average value of the prediction error of the block is transmitted. Different. That is, when the control signal output from the valid block determination unit 101 indicates an invalid block, the switches 4d and 4e replace conversion coefficients other than DC with 0. As a result, for the invalid block, only the average value of the prediction error signal of the block is transmitted. The

delay units

3c and 3d are for correcting a delay generated in the effective block determination unit 101.
[0041]
Embodiment 3 FIG.
FIG. 3 is a block diagram showing a moving picture coding system according to Embodiment 3 of the present invention. In the figure, the same reference numerals as those in FIG. 2 denote the same or corresponding parts. In the figure, reference numeral 1 denotes an input terminal, and an image signal input from the input terminal 1 is an error between the first input of the subtracter 2, the input of the delay unit 3b, the first input of the intra-frame / inter-frame selection unit 5a. This is given to the first input of the tolerance calculation unit 103 and the motion compensation predictor 11. The output of the subtracter 2 is input to the delay unit 3a and also supplied to the second input of the intra-frame / inter-frame selector 5a. The output of the delay device 3a is given to the first input of the switch 4a. The output of the delay unit 3b is given to the second input of the switch 4a, and the output of the intra-frame / inter-frame selector 5a is given to the third input of the switch 4a. The output of the switch 4a is given to the input of the orthogonal transformer 6 and the first input of the effective block determination unit 101a. The output of the orthogonal transformer 6 is given to the input of the quantizer 7 and the second input of the effective block determination unit 101a. The output of the quantizer 7 is given to the first input of the switch 4d via the delay unit 3c. A zero signal is given to the second input of the switch 4d.
[0042]
On the other hand, the output of the quantizer 7 is also input to the inverse quantizer 8. The output of the inverse quantizer 8 is input to the delay unit 3d and is also supplied to the third input of the effective block determination unit 101a. The fourth block of the valid block determination unit 101a is supplied with the output of the error tolerance calculation unit 103, and the fifth input is supplied with the output of the intra-frame / inter-frame selection unit 5a. The output of the valid block determination unit 101a is given to the third input of the switch 4d. The output of the switch 4d is input to the variable length encoder 102, and the output of the variable length encoder 102 is transmitted to the decoder side.
[0043]
The output of the delay device 3d is given to the first input of the switch 4e. A zero signal is given to the second input of the switch 4e, and the output of the effective block determination unit 101a is given to the third input of the switch 4e. The output of the switch 4e is given to the first input of the adder 10 via the inverse orthogonal transformer 9, and the output of the adder 10 is given to the second input of the motion compensation predictor 11. The output of the motion compensation predictor 11 is given to the second input of the subtracter 2 and the first input of the switch 12. A zero signal is given to the second input of the switch 12, and the output of the intra-frame / inter-frame selector 5 a is given to the third input of the switch 12. The output of the switch 12 is given to the second input of the adder 10.
[0044]
Next, the operation will be described. The moving picture coding system according to the third embodiment is different from the second embodiment in that the output of the error tolerance calculation unit 103 is used for the determination by the effective block determination unit 101a. In general, when there is an image signal as shown in FIG. 4A, the noise on the flat part is noticeable as shown in FIG. 4B, but the noise on the edge part is not noticeable. That is, even with the same amount of noise, depending on the characteristics of the original image signal, there may be a case where the subjectively acceptable image quality is obtained or an unacceptable image quality. Therefore, the error tolerance calculation unit 103 obtains an error tolerance indicating from what level the error can be allowed for each pixel in the screen from the input image signal.
[0045]
FIG. 5 is a block diagram illustrating a configuration example of the error tolerance calculation unit 103. In the figure, reference numeral 501 denotes a horizontal change degree calculation unit, 502 denotes a vertical change degree calculation unit, 503 denotes a minimum value detector, and 504 denotes an error tolerance conversion unit. First, the degree of change in the horizontal and vertical directions of the input image is obtained for each pixel in the horizontal change degree calculation unit 501 and the vertical change degree calculation unit 502. For example, if the input image signal is g (x, y) (0 ≦ x <L, 0 ≦ y <M; L and M are the number of pixels in the horizontal and vertical directions of the image), each pixel (x, y) , Horizontal change Ch (x, y)
[0046]
[Equation 5]

[0047]
The vertical change degree Cv (x, y) is obtained by
[0048]
[Formula 6]

[0049]
Ask for. The minimum value detector 503 outputs the smaller one of the horizontal change degree and the vertical change degree, that is, C (x, y) = min {Ch (x, y), Cv (x, y)}. The error tolerance conversion unit 504 calculates the change degree C (x, y).
D (x, y) = f (C (x, y))
To convert to error tolerance D (x, y). Here, f (z) is a function having characteristics as shown in FIG. Therefore, the error tolerance is small when the degree of change is small, and the error tolerance is large when the degree of change is large. The error tolerance D (x, y) is output to the effective block determination unit 101a.
[0050]
The effective block determination unit 101a, when the control signal output from the intra-frame / inter-frame selection unit 5a indicates selection of the inter-frame prediction error signal, the prediction error signal evaluation amount Em and the transform coefficient quantization An error evaluation amount Eq is obtained. When the evaluation amount Em is equal to or greater than the evaluation amount Eq, the block is determined to be an effective block, and when the evaluation amount Em is less than the evaluation amount Eq, it is determined to be an invalid block. At this time, the error tolerance D (x, y) is used for evaluating the magnitude of the prediction error signal. For example, the error tolerance D (x, y) is subtracted from the magnitude of the prediction error signal, and the sum of squares thereof is set as the evaluation amount Em. That is, the block size is N pixels × N lines (N is a natural number), the prediction error signal of each block is p (i, j) (0 ≦ i, j <N; i and j are integers), and this block Let Db (i, j) = D (x0 + i, y0 + j) (where (x0, y0) is the position of the upper left pixel of the block),
[0051]
[Expression 7]

[0052]
And Thereby, the evaluation amount Em of the prediction error signal is an error evaluation considering the visual characteristics. The evaluation amount Eq is obtained in the same manner as in the first and second embodiments. The valid block determining unit 101a determines a valid block / invalid block based on these evaluation quantities Em and Eq.
[0053]
Other operations are the same as those in the second embodiment. That is, when the control signal output from the valid block determination unit 101a indicates an invalid block, the switches 4d and 4e replace conversion coefficients other than DC with 0. As a result, for the invalid block, only the average value of the prediction error signal of the block is transmitted.
[0054]
In the third embodiment, the error tolerance D (x, y) is subtracted from the magnitude of the prediction error signal, and the square sum thereof is used as the evaluation amount Em. For example, the sum of absolute values and the maximum value of the absolute values may be used instead of the sum of squares.
The usage of the error tolerance D (x, y) may be reflected not only by subtraction but also by division. For example, the inverse of the error tolerance D (x, y) is added to the magnitude of the prediction error signal. The sum of squares of the multiplied values may be used as the evaluation amount Em.
[0055]
Further, the error tolerance D (x, y) is not limited to being obtained from the minimum values of the horizontal change rate Ch (x, y) and the vertical change rate Cv (x, y). May be used.
[0056]
In the third embodiment, the switches 4d and 4e replace conversion coefficients other than DC with 0. However, the switches 4d and 4e may be configured to replace all conversion coefficients with 0. Good.
[0057]
Further, in the third embodiment, the valid block determination unit 101a determines the valid block / invalid block from the evaluation amount Em of the prediction error signal and the evaluation amount Eq of the quantization error of the transform coefficient. The block determination unit 101a may determine the valid block / invalid block using only the evaluation amount Em of the prediction error signal obtained using the error tolerance D (x, y). That is, when the evaluation amount Em is equal to or greater than a predetermined value, the block is determined as a valid block, and when the evaluation amount Em is less than the predetermined value, it is determined as an invalid block.
[0058]
【The invention's effect】
  As described above, the moving picture coding method according to the present invention is as follows.A motion-compensated prediction unit that detects a motion amount by comparing an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, and outputs a motion-compensated prediction value; A selection unit that selects either interframe coding or intraframe coding based on the interframe prediction error obtained based on the motion compensation prediction value and the input image signal and the input image signal; A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected; and the first switch An orthogonal transform unit that orthogonally transforms the output from the output unit, a quantization unit that quantizes the output from the orthogonal transform unit, an inverse quantization unit that dequantizes the output from the quantization unit, and the selection unit. When it is selected to perform intra-frame coding, all blocks are determined to be valid blocks, and when the selection unit is selected to perform inter-frame coding, the output of the orthogonal transform unit The quantization error evaluation amount calculated from the output of the inverse quantization unit and the inter-frame prediction error evaluation amount are compared, and the quantization error evaluation amount is compared with the inter-frame prediction error evaluation amount. A valid block determining unit that determines that the block is an effective block when the evaluation amount of the quantization error is large with respect to the evaluation amount of the inter-frame prediction error, and a determination of the effective block determination unit Based on the above, when the effective block is determined, a signal obtained by orthogonally transforming the inter-frame prediction error value output from the orthogonal transform unit is output, and the invalid block is determined. The so with a second switching unit for outputting a zero signal ifThus, it is possible to obtain a moving picture coding system that performs optimum effective block determination in the sense of minimizing distortion.
[0059]
    In addition, the moving picture coding system according to the present invention is:A motion-compensated prediction unit that detects a motion amount by comparing an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, and outputs a motion-compensated prediction value; A selection unit that selects either interframe coding or intraframe coding based on the interframe prediction error obtained based on the motion compensation prediction value and the input image signal and the input image signal; A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected; and the first switch An orthogonal transform unit that orthogonally transforms the output from the output unit, a quantization unit that quantizes the output from the orthogonal transform unit, an inverse quantization unit that dequantizes the output from the quantization unit, and the selection unit. When it is selected to perform intra-frame coding, all blocks are determined to be valid blocks, and when the selection unit is selected to perform inter-frame coding, the output of the orthogonal transform unit The quantization error evaluation amount calculated from the output of the inverse quantization unit and the inter-frame prediction error evaluation amount are compared, and the quantization error evaluation amount is compared with the inter-frame prediction error evaluation amount. An effective block determining unit that determines that the block is an effective block when the evaluation amount of the quantization error is large with respect to the evaluation amount of the inter-frame prediction error, and the effective block determining unit Based on the determination, outputs a signal obtained by orthogonally transforming the inter-frame prediction error value output by the orthogonal transform unit when the valid block is determined, and the invalid block Since a second switching unit that outputs the average value of the inter-frame prediction error if it is a constant,It is possible to obtain a moving picture coding system that performs optimum effective block determination in the sense of minimizing distortion.
[0060]
  Furthermore, the moving picture coding system according to the present invention is:For each pixel of the input image signal, the degree of change in the horizontal direction is compared with the degree of change in the vertical direction, and the smaller one is selected, and an error is allowed based on the selected degree of change in the horizontal or vertical direction. An error tolerance calculation unit for calculating a degree, and the effective block determination unit reduces the evaluation amount of the inter-frame prediction error signal according to the calculated error tolerance, and the reduced inter-frame prediction Determine whether the block is valid or invalid using the error signalTherefore, it is possible to obtain a moving image encoding method that can reduce the amount of code.
[0061]
In addition, the moving picture coding system according to the present invention obtains an evaluation amount Em of the prediction error signal based on the means for obtaining the error tolerance of each pixel of the screen from the input image signal, and the evaluation amount Em. Has an effective block determination unit that determines that the block is an effective block when the value is greater than or equal to a predetermined value, and an invalid block when the value is less than the predetermined value. If it is determined to be an effective block, the transform coefficient is quantized after orthogonal transformation, and if a non-zero signal is generated, the quantized transform coefficient value is transmitted, so that the prediction error that is not visually noticeable It is possible to obtain a moving picture coding method capable of reducing the code amount without performing transmission.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a moving picture coding system according to Embodiment 1 of the present invention.
FIG. 2 is a block diagram showing a moving picture coding system according to Embodiment 2 of the present invention.
FIG. 3 is a block diagram showing a moving picture coding system according to Embodiment 3 of the present invention.
FIG. 4 is a waveform diagram of an image signal for explaining the operation of the moving picture coding system according to the third embodiment.
FIG. 5 is a block diagram illustrating a configuration example of an error tolerance calculation unit of a moving image coding system according to a third embodiment.
FIG. 6 is a conceptual diagram showing how to obtain an error tolerance of the moving picture coding system according to the third embodiment.
FIG. 7 is a block diagram showing a conventional moving image encoding apparatus.
[Explanation of symbols]
2 Subtractor, 3a, 3b, 3c, 3d Delayer, 4a, 4b, 4c, 4d Switcher, 5a Intraframe / interframe selector, 6 Orthogonal transformer, 7 Quantizer, 8 Inverse quantizer, 9 Inverse orthogonal transformer, 10 adder, 11 motion compensation predictor, 101, 101a effective block determination unit, 103 error tolerance calculation unit.

Claims

A motion-compensated prediction unit that compares an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, detects a motion amount, and outputs a motion-compensated prediction value; ,
A selection unit that selects whether to perform inter-frame coding or intra-frame coding based on the motion compensation prediction value and the inter-frame prediction error obtained based on the input image signal and the input image signal;
A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected;
An orthogonal transform unit that orthogonally transforms the output from the first switch;
A quantization unit for quantizing the output from the orthogonal transformation unit;
An inverse quantization unit that inversely quantizes the output from the quantization unit;
When the selection unit selects to perform intra-frame encoding, all the blocks are determined to be effective blocks, and when the selection unit selects to perform inter-frame encoding, the orthogonal transform is performed. The quantization error evaluation amount calculated from the output of the output unit and the output of the inverse quantization unit and the evaluation amount of the inter-frame prediction error are compared, and the quantization is performed on the evaluation amount of the inter-frame prediction error An effective block determining unit that determines an effective block when the error evaluation amount is small, and determines an invalid block when the quantization error evaluation amount is large with respect to the inter-frame prediction error evaluation amount;
Based on the determination of the effective block determination unit, outputs a signal obtained by orthogonally transforming the inter-frame prediction error value output from the orthogonal transform unit when determined as the effective block, and when determined as the invalid block A moving image coding system comprising a second switching unit that outputs a zero signal.

A motion-compensated prediction unit that compares an input image signal obtained by blocking a plurality of pixels of a moving image signal and an image signal input before the input image signal, detects a motion amount, and outputs a motion-compensated prediction value; ,
A selection unit that selects whether to perform inter-frame coding or intra-frame coding based on the motion compensation prediction value and the inter-frame prediction error obtained based on the input image signal and the input image signal;
A first switch that outputs the input image signal when the selection unit selects intra-frame coding, and outputs the inter-frame prediction error when inter-frame coding is selected;
An orthogonal transform unit that orthogonally transforms the output from the first switch;
A quantization unit for quantizing the output from the orthogonal transformation unit;
An inverse quantization unit that inversely quantizes the output from the quantization unit;
When the selection unit selects to perform intra-frame encoding, all the blocks are determined to be effective blocks, and when the selection unit selects to perform inter-frame encoding, the orthogonal transform is performed. The quantization error evaluation amount calculated from the output of the output unit and the output of the inverse quantization unit and the evaluation amount of the inter-frame prediction error are compared, and the quantization is performed on the evaluation amount of the inter-frame prediction error An effective block determining unit that determines an effective block when the error evaluation amount is small, and determines an invalid block when the quantization error evaluation amount is large with respect to the inter-frame prediction error evaluation amount;
When a signal obtained by orthogonally transforming the inter-frame prediction error value output from the orthogonal transform unit when it is determined as the valid block based on the determination of the valid block determination unit is determined as the invalid block And a second switching unit that outputs an average value of the inter-frame prediction errors.

For each pixel of the input image signal, the degree of change in the horizontal direction is compared with the degree of change in the vertical direction, and the smaller one is selected, and an error is allowed based on the selected degree of change in the horizontal or vertical direction. An error tolerance calculation unit for calculating the degree,
The effective block determination unit reduces the evaluation amount of the inter-frame prediction error signal according to the calculated error tolerance, and uses the reduced inter-frame prediction error signal to determine the effective block. 3. The moving picture encoding method according to claim 1, wherein it is determined whether the block is an invalid block or not.