JP3644056B2 - 符号化装置および符号化方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、例えば画像信号や音声信号などの情報を符号化し、伝送路を介して伝送したり、あるいは記録媒体に記録する場合などに用いて好適な符号化装置、並びに符号化方法に関する。
【０００２】
【従来の技術】
従来、例えば画像信号を符号化する画像符号化装置などにおいては、画像信号を、例えばＤＣＴ（離散コサイン変換）処理し、その結果得られるＤＣＴ係数を量子化して、さらに可変長符号化するようになされている。
【０００３】
さらに、このような画像符号化装置では、画像信号の符号化にあたって、発生する符号化データのデータ量（発生符号量）と、復号画像の画質とをバランスさせるように、例えばＤＣＴ係数を量子化する量子化ステップや、符号化モード（例えば、符号化対象の画像信号そのものを符号化（イントラ符号化）したり、あるいは符号化対象の画像信号と、その画像信号の予測画像との差分を符号化（インター符号化）するモードなど）、符号化対象の画像信号をフィルタリングするフィルタの特性などが設定されるようになされている（以下、このような符号化において設定されるパラメータを、適宜、符号化パラメータという）。
【０００４】
また、符号化データの伝送や、記録媒体への記録は、通常、所定の一定のレートで行う必要があるため、画像符号化装置では、符号化データが、一時バッファに記憶され、所定の一定のレートで出力されるようになされている。
【０００５】
【発明が解決しようとする課題】
ところで、例えば複雑な画像信号が連続して符号化されるなどして、発生符号量が局所的に増加し、これによりバッファがオーバーフローしそうになると、画像符号化装置では、例えば量子化ステップを粗くするなどの、画像の画質の劣化より、バッファのオーバーフローの防止の方を優先した符号化パラメータの制御が行われるようになされている。
【０００６】
これは、バッファがオーバーフローすると、符号化データに致命的なエラー（回復できないエラー）が生じ、復号画像が得られなくなるためである。
【０００７】
従って、上述したような符号化パラメータの制御が行われた場合に対応する復号画像は、局所的に、その画質が著しく劣化したものになる課題があった。
【０００８】
そこで、少なくとも２回符号化を行うようにし、１パス目の符号化結果に基づいて、局所的に画質が劣化している部分を検出し、２パス目以降の符号化において、その劣化を低減するように、例えば１パス目で検出された部分に、画質の劣化のほとんどない部分に割り当てられた符号量の一部を割り当てるようにすることなどが考えられる。
【０００９】
しかしながら、従来の画像符号化装置においては、画像信号の絶対的な時間を表す情報（例えば、いま符号化している画像信号のフレームが、その画像信号の最初のフレームから何フレーム目のものかや、あるフレームの画像信号を構成するブロックを符号化している場合に、そのブロックが、画像信号のどの部分にいちするものなのかなどを示す情報）を取り扱うようにはなされておらず、従って１パス目の符号化で、画質の劣化の著しい部分を検出しても、その部分が、画像信号の先頭フレームから何フレーム目のもので、またそのフレームのどこに位置するブロックにあたるのかを特定することが困難であった。
【００１０】
このため、２パス目以降の符号化時に、画像信号のどのタイミングで、画質の劣化を低減する処理を行えば良いかわからず、上述した画質の局所的な劣化を改善することが困難であった。
【００１１】
そこで、画像符号化装置の符号化アルゴリズムを変更する方法が考えられるが、その変更後のアルゴリズムが、局所的に発生する画質の劣化を低減するように作用するかどうかは不明であった。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、画質の局所的な劣化が生じた画像信号の部分を特定することができるようにし、これによりその劣化を低減した符号化を行うことができるようにするものである。
【００１３】
【課題を解決するための手段】
請求項１に記載の符号化装置は、絶対的な時間情報と対応付けられた時系列の情報を符号化する符号化装置であって、情報を符号化する符号化手段（例えば、図１や図３に示す符号化器１１など）と、符号化手段より出力される符号化データを復号化する復号化手段（例えば、図１や図３に示す復号化器１２など）と、復号化手段より出力される復号化データの劣化している部分を認識し、その部分に対応する時間情報である劣化部分時間情報を検出する検出手段（例えば、図１に示すＳ／Ｎ比較器３や、図３に示す画質評価器３０など）と、検出手段により検出された劣化部分時間情報を記憶する記憶手段（例えば、図１や図３に示すメモリ１４など）と、符号化手段により情報が再度符号化される場合に、記憶手段に記憶された劣化部分時間情報と対応する復号化データの部分の劣化が低減されるように、符号化手段を制御する制御手段（例えば、図１や図３に示す制御部１５など）とを備えることを特徴とする。
【００１４】
請求項２に記載の符号化装置は、検出手段が、情報に対する復号化データのＳ／Ｎを測定し、その測定結果に基づいて、復号化データの劣化している部分を認識することを特徴とする。
【００１５】
請求項３に記載の符号化装置は、情報または復号化データそれぞれを、時間情報とともに記録し、記録した情報または復号化データそれぞれを、時間情報とともに再生する第１または第２の記録再生手段（例えば、図３に示すＶＴＲ２１または２２など）と、第１の記録再生手段により再生された情報を、符号化手段に供給する供給手段（例えば、図３に示すスイッチＳＷ１など）とをさらに備え、検出手段が、第１または第２の記録再生手段によりそれぞれ再生される情報または復号化データを出力する出力手段（例えば、図３に示すモニタ３１または３２など）と、出力手段より出力された情報に比較して、復号化データの劣化している部分を指定する指定手段（例えば、図３に示す操作部２４など）とを含み、指定手段により指定された復号化データの部分を認識し、その部分に対応する時間情報を、劣化部分時間情報として検出し、制御手段が、第１の記録再生手段により再生された情報が、供給手段により符号化手段に供給され、符号化手段により再度符号化される場合に、記憶手段に記憶された劣化部分時間情報と対応する復号化データの劣化が低減されるように、符号化手段を制御することを特徴とする。
【００１６】
請求項４に記載の符号化方法は、絶対的な時間情報と対応付けられた時系列の情報を符号化する符号化方法であって、情報を符号化し、その結果得られる符号化データを復号化し、その結果得られる復号化データの劣化している部分を認識し、その部分に対応する時間情報である劣化部分時間情報を検出し、劣化部分時間情報を記憶し、劣化部分時間情報と対応する復号化データの部分の劣化が低減されるように、情報を、再度符号化することを特徴とする。
【００１７】
請求項５に記載の符号化方法は、情報に対する復号化データのＳ／Ｎを測定し、その測定結果に基づいて、復号化データの劣化している部分を検出することを特徴とする。
【００１８】
請求項６に記載の符号化方法は、情報を符号化するとともに、その情報と、時間情報とを第１の記録媒体に記録し、符号化データを復号化するとともに、その結果得られる復号化データと、時間情報とを第２の記録媒体に記録し、第１または第２の記録媒体から、記録した時間情報に基づいて、記録した情報または復号化データそれぞれを同期させて再生し、再生した情報または復号化データを出力し、情報に比較して、復号化データの劣化している部分を指定し、指定された復号化データの部分を認識し、その部分に対応する時間情報を、劣化部分時間情報として検出し、第１の記録媒体から情報を再生し、劣化部分時間情報と対応する復号化データの部分の劣化が低減されるように、再生された情報を再度符号化することを特徴とする。
【００１９】
【作用】
請求項１に記載の符号化装置および請求項４に記載の符号化方法においては、絶対的な時間情報と対応付けられた時系列の情報を符号化して復号化し、その結果得られる復号化データの劣化している部分を認識して、その部分に対応する時間情報である劣化部分時間情報を検出する。そして、その劣化部分時間情報を記憶し、記憶された劣化部分時間情報と対応する復号化データの部分の劣化が低減されるように、情報を、再度符号化する。従って、符号化による、局所的な情報の劣化を低減することができる。
【００２０】
請求項２に記載の符号化装置および請求項５に記載の符号化方法においては、情報に対する復号化データのＳ／Ｎを測定し、その測定結果に基づいて、復号化データの劣化している部分を認識する。従って、局所的な情報のＳ／Ｎの劣化を低減することができる。
【００２１】
請求項３に記載の符号化装置および請求項６に記載の符号化方法においては、情報を符号化するとともに、その情報と、時間情報とを記録し、符号化データを復号化するとともに、その結果得られる復号化データと、時間情報とを記録する。そして、記録した時間情報に基づいて、記録した情報または復号化データそれぞれを同期させて再生し、情報に比較して、復号化データの劣化している部分を指定する。さらに、この指定された復号化データの部分を認識し、その部分に対応する時間情報を、劣化部分時間情報として検出する。その後、記録された情報を再生し、劣化部分時間情報と対応する復号化データの部分の劣化が低減されるように、再生された情報を符号化する。従って、局所的な情報の劣化を低減することができる。
【００２２】
【実施例】
図１は、本発明を適用した画像符号化装置の第１実施例の構成を示すブロック図である。この装置は、符号化装置１、遅延回路２、およびＳ／Ｎ比較器３から構成され、そこには、時系列の情報である画像信号が、それと同期した（対応付けられた）絶対的な時間情報（例えば、タイムコード（例えば、ＳＭＰＴＥ ＴＩＭＥ ＣＯＤＥなど）など）とともに入力されるようになされている。装置に入力された画像信号（以下、適宜、原信号という）は、符号化装置１の符号化器１１並びに遅延回路２に供給されるようになされており、また装置に入力された時間情報は、符号化装置１を構成する遅延回路１３および制御部１５に供給されるようになされている。
【００２３】
符号化装置１は、符号化器１１、復号化器１２、遅延回路１３、メモリ１４、および制御部１５から構成されている。符号化器１１は、入力された画像信号を、例えばＤＣＴ（離散コサイン変換）処理し、その結果得られるＤＣＴ係数を量子化して、さらに可変長符号化することにより、符号化データにして出力するようになされている。なお、符号化器１１における符号化パラメータは、例えば符号化データのデータ量などに基づいて制御される他、制御部１５によっても制御することができるようになされている。
【００２４】
復号化器１２は、符号化器１１より出力される符号化データを復号化し（例えば、可変長復号化して逆量子化し、その結果得られるＤＣＴ係数を逆ＤＣＴ処理し）、その結果得られる復号画像信号（復号化データ）を、Ｓ／Ｎ比較器３に出力するようになされている。
【００２５】
遅延回路１３は、符号化器１１および復号化器１２が、画像信号を処理（符号化および復号化）するのに必要な時間だけ、その画像信号とともに装置に入力された時間情報を遅延し、Ｓ／Ｎ比較器３に出力するようになされている。従って、符号化装置１から出力される復号画像信号（画像信号を符号化し、復号化したもの）と時間情報との位相関係は、符号化装置１に入力される画像信号と時間情報との位相関係と同一になるようになされている。
【００２６】
即ち、いま、例えば時間情報をタイムコード（ＳＭＰＴＥ ＴＩＭＥ ＣＯＤＥ）とした場合、符号化装置１に入力される画像信号の先頭フレーム（始まりのフレーム）から、例えば００：００：００：００，００：００：００：０１，００：００：００：０２，・・・などのようにタイムコードが付されているとき、符号化装置１（復号化器１２）より、復号画像信号の先頭フレームが出力されるタイミングで、同じく符号化装置１（遅延回路１３）からは、時間情報として、００：００：００：００のタイムコードが出力され、その後、復号画像信号の先頭フレームに続くフレームが順次出力されるタイミングて、００：００：００：０１，００：００：００：０２，・・・のように時間情報であるタイムコードも順次出力されるようになされている。
【００２７】
ここで、上述のように、時間情報をタイムコード（ＳＭＰＴＥ ＴＩＭＥ ＣＯＤＥ）とした場合、時間情報は、画像信号の位置（時間的な位置）を、フレーム単位で表す。従って、この場合、時間情報によれば、１フレーム単位で画像信号を特定することはできるが、それより小さな単位（例えば、１フレームの画像信号内にある、任意のブロックや画素など）を特定することはできない。以下、このように、時間情報が特定することのできる画像信号の範囲を、最小領域という。
【００２８】
メモリ１４は、Ｓ／Ｎ比較器３から出力される、後述する時間／位置情報を記憶するようになされている。制御部１５は、一度符号化された原信号が再度、符号化器１１で符号化される場合に、その原信号に対応付けられた時間情報を参照し、メモリ１４に記憶された時間／位置情報に対応する原信号の部分が、符号化器１１で符号化されるタイミングで、符号化器１１の符号化パラメータを制御するようになされている。
【００２９】
遅延回路２は、原信号を、遅延回路１３における遅延時間と同じだけ、即ち符号化器１１および復号化器１２が、原信号を処理するのに必要な時間だけ遅延し、Ｓ／Ｎ比較器３に出力するようになされている。従って、Ｓ／Ｎ比較器３には、原信号と、その原信号を符号化して復号化した復号画像信号とが、同一のタイミングで（同期して）出力されるようになされている。
【００３０】
即ち、遅延回路２から、原信号の先頭からＮ番目のフレームが出力されるタイミングでは、符号化装置１（復号化器１２）からは、復号画像信号の先頭からＮ番目のフレームが出力されるようになされている。
【００３１】
Ｓ／Ｎ比較器３は、遅延回路２より出力される原信号に対する、符号化装置１より出力される復号画像信号のＳ／Ｎを測定し、その測定値が、所定の閾値以下となる復号画像信号の部分（あるいは、その部分に対応する、遅延回路２からの原信号の部分でも良い）を検出し、その部分を、復号画像信号のＳ／Ｎが極端に劣化している部分として認識するようになされている。さらに、Ｓ／Ｎ比較器３は、上述のＳ／Ｎが所定の閾値以下になる復号画像信号の部分（Ｓ／Ｎが極端に劣化している部分）（以下、適宜、劣化部分という）に対応する、遅延回路１３からの時間情報を検出し、これを時間／位置情報としてメモリ１４に出力するようになされている。
【００３２】
ここで、上述したように、時間情報をタイムコードとした場合には、最小領域はフレームとなるため、劣化部分が微少な範囲（例えば、極端な場合には１画素）であっても、その劣化部分を含むフレームを示すタイムコードが、時間／位置情報として出力されることになる。即ち、この場合、劣化部分が微少な範囲であっても、その劣化部分を含むフレーム全体が劣化しているとされることになる。
【００３３】
このように、時間情報を、そのまま時間／位置情報としたのでは、劣化部分が小さい範囲であるほど、その劣化部分の位置を正確に表すことができなくなる。
【００３４】
そこで、Ｓ／Ｎ比較器３では、１フレームを、例えばいわゆるマクロブロックや、８画素×８画素の小ブロックなどに分割して、劣化部分を含むマクロブロックや小ブロックの、フレーム上の位置（例えば、ブロック番号（フレームをマクロブロックなどに分割した場合に、各ブロックに、そのブロックを識別するために付される番号）など）（以下、適宜、位置情報という）を検出し、この位置情報を、上述の時間情報に加え、時間／位置情報として出力することができるようになされている。
【００３５】
なお、時間／位置情報が示す画像信号の最小単位は、画素とすることが可能であるが、符号化器１１が原信号を符号化する符号化単位とすることが好ましい。即ち、例えば符号化器１１が、マクロブロック単位で符号化を行うようになされている場合には、時間／位置情報が示す画像信号の最小単位は、マクロブロックとすることが好ましい。
【００３６】
次に、図２のフローチャートを参照して、その動作について説明する。時間情報とともに、それと対応付けられた画像信号（原信号）が入力されると、その原信号が、符号化器１１および遅延回路２に供給されるとともに、時間情報が、遅延回路１３および制御部１５に供給される。
【００３７】
そして、ステップＳ１において、符号化器１１で原信号が符号化され、その結果得られる符号化データが復号化器１２に出力されて、ステップＳ２に進む。ステップＳ２では、符号化器１１からの符号化データが復号され、これにより復号画像信号とされて、Ｓ／Ｎ比較器３に出力される。
【００３８】
一方、遅延回路２または１３に供給された原信号または時間情報は、そこで、ステップＳ１およびＳ２の処理、即ち符号化器１１における符号化処理および復号化器１２における復号化処理にかかる時間だけそれぞれ遅延され、Ｓ／Ｎ比較器３に出力される。
【００３９】
従って、遅延回路２，１３、または復号化器１２からは、原信号、時間情報、または復号画像信号それぞれが、それらの位相が同期した状態で、Ｓ／Ｎ比較器３に出力される。
【００４０】
その後、ステップＳ３において、Ｓ／Ｎ比較器３で、遅延回路２からの原信号に対する、復号化器１２からの復号画像信号のＳ／Ｎが測定され、ステップＳ４に進み、そのＳ／Ｎが、所定の閾値より大きいか否かが判定される。ステップＳ４において、Ｓ／Ｎ比較器３で測定された復号画像信号のＳ／Ｎが、所定の閾値より大きいと判定された場合、符号化器１１における符号化により、原信号の画質が、極端に劣化している部分はないものとされ、処理を終了する。この場合、符号化器１１から出力された符号化データは、そのまま伝送路を介して伝送され、あるいは記録媒体に記録される。
【００４１】
一方、ステップＳ４において、Ｓ／Ｎ比較器３で測定された復号画像信号のＳ／Ｎが、所定の閾値より大きくないと判定された場合、即ち復号画像信号に、Ｓ／Ｎの小さい部分（極端に小さい部分）がある場合、ステップＳ５に進み、Ｓ／Ｎ比較器３で、そのＳ／Ｎの極端に小さい部分、即ち劣化部分に対応する、遅延回路１３からの時間情報が検出され、さらに必要に応じて、その劣化部分の位置情報が検出される。そして、これらは、時間／位置情報として、Ｓ／Ｎ比較器３からメモリ１４に出力されて記憶される。
【００４２】
その後、原信号（前回のステップＳ１の処理で符号化された画像信号と同一のもの）が、その時間情報とともに、再度入力されると（原信号が、符号化器１１および遅延回路２に供給され、時間情報が、遅延回路１３および制御部１５に供給されると）、ステップＳ１に戻り、その原信号が再度符号化される。
【００４３】
但し、この場合には、制御部１５において、メモリ１４に記憶された時間／位置情報が読み出され、その時間／位置情報に、原信号に対応付けられた時間情報が一致するタイミングで符号化器１１により符号化される原信号に割り当てられる符号量が、前回の符号化のときより増加するように、符号化器１１の符号化パラメータが制御される。
【００４４】
メモリ１４に記憶された時間／位置情報と一致する時間情報のタイミングで符号化される原信号は、上述した劣化部分に対応するから、この部分に割り当てる符号量を、前回のときより増加することにより、その部分の符号化によるＳ／Ｎの劣化を低減することができる。
【００４５】
なお、制御部１５は、劣化部分に対応する原信号の部分に割り当てた符号量の増加分だけ、その前後の部分や、Ｓ／Ｎの高い部分に割り当てる符号量を減少させることにより、原信号全体の発生符号量またはその部分付近における符号化レートを、前回のときとほぼ同一になるように調整するようになされている。
【００４６】
また、時間／位置情報が示す原信号の最小単位が、時間情報のそれ（時間情報の最小領域）より小さい場合においては、制御部１５は、時間情報が示すタイミングから、符号化器１１の処理速度を考慮して、時間／位置情報が示すタイミングを算出し、そのタイミングで符号化される原信号の部分に割り当てられる符号量を増加するように、符号化器１１の符号化パラメータを制御するようになされている。
【００４７】
以上のようにして符号化が行われた後、ステップＳ２以下に順次進み、上述したステップＳ４において、Ｓ／Ｎ比較器３で測定された復号画像信号のＳ／Ｎが、所定の閾値より大きいと判定されるまで、ステップＳ１乃至Ｓ５の処理が繰り返される。
【００４８】
従って、この場合、最終的に得られた符号化データを復号した復号画像に、極端にＳ／Ｎの劣化した部分が生じること、即ち復号画像にＳ／Ｎのばらつきが生じることを防止することができる。
【００４９】
ところで、図１に示した画像符号化装置には、絶対的な時間情報と対応付けられた原信号を複数回入力する必要があるときがあり、従って、この装置では、例えばいま撮影を行っているビデオカメラなどの出力を、上述したように復号画像の劣化部分を低減するように符号化することが困難なときがある。
【００５０】
そこで、図３は、本発明を適用した画像符号化装置の第２実施例の構成を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。
【００５１】
この場合、符号化装置１には、例えばビデオカメラ（図示せず）などの出力である画像信号（原信号）、またはそれと同期した絶対的な時間情報が、スイッチＳＷ１またはＳＷ２を介して、それぞれ入力されるようになされている。また、この原信号または時間情報それぞれは、ＶＴＲ２１の画像入力端子ｓ_inまたは時間情報入力端子（タイムコード入力端子）ｔ_inにも入力されるようになされている。
【００５２】
ＶＴＲ２１は、その入力端子ｓ_inまたはｔ_inを介してそれぞれ入力される原信号またはそれと同期した時間情報を記録し、また記録した原信号または時間情報を再生し、それぞれを、その画像出力端子ｓ_outまたは時間情報出力端子（タイムコード出力端子）ｔ_outを介して出力するようになされている。ＶＴＲ２１から出力された画像信号（原信号）は、スイッチＳＷ１の端子ｂ１および画質評価器３０のモニタ３２に供給されるようになされている。また、ＶＴＲ２１から出力された時間情報は、スイッチＳＷ２の端子ｂ２およびシンクロナイザ２３に供給されるようになされている。
【００５３】
スイッチＳＷ１は、端子ａ１およびｂ１のいずれかを選択し、これにより符号化装置１に対し、ビデオカメラおよびＶＴＲ２１のうちのいずれかから出力される原信号を供給するようになされている。スイッチＳＷ２は、端子ａ２およびｂ２のいずれかを選択し、これにより符号化装置１に対し、ビデオカメラおよびＶＴＲ２１のうちのいずれかから出力される時間情報を供給するようになされている。
【００５４】
ＶＴＲ２２には、その画像入力端子ｓ_inまたは時間情報入力端子ｔ_inそれぞれを介して、符号化装置１から復号画像信号または時間情報が供給されるようになされている。ＶＴＲ２２は、符号化装置１からの復号画像信号または時間情報を記録し、また記録した復号画像信号または時間情報を再生し、それぞれを、その画像出力端子ｓ_outまたは時間情報出力端子ｔ_outを介して、画質評価器３０のモニタ３１または表示器３３に出力するようになされている。さらに、ＶＴＲ２２により再生された時間情報は、シンクロナイザ２３にも供給されるようになされている。
【００５５】
シンクロナイザ２３は、ＶＴＲ２２または２３それぞれからの時間情報に基づいて、原信号または復号画像信号が同期して再生されるように、ＶＴＲ２２または２３それぞれを制御するようになされている。
【００５６】
画質評価器３０は、モニタ３１，３２、および表示器３３から構成されている。モニタ３１または３２は、ＶＴＲ２２または２１が再生する復号画像信号または原信号を、それぞれ表示するようになされている。モニタ３２に表示された原信号に比較して、モニタ３１に表示された復号画像信号に、その画質が劣化している部分（極端に劣化している部分）がある場合、操作部２４は、その部分を指定するように、使用者によって操作され、そこからは、モニタ３１に表示された復号画像信号における画質の劣化した部分を示す劣化箇所指定信号が、表示器３３に出力されるようになされている。
【００５７】
表示器３３は、劣化箇所指定信号が示す復号画像信号の劣化部分に対応する、ＶＴＲ２２からの時間情報を検出するとともに、その劣化部分の上述した位置情報を検出し、これらを時間／位置情報として、符号化装置１のメモリ１４に出力するようになされている。
【００５８】
次に、図４のフローチャートを参照して、その動作について説明する。例えばビデオカメラなどから、絶対的な時間情報とともに、それと対応付けられた画像信号（原信号）が、装置に入力されると、スイッチＳＷ１またはＳＷ２それぞれが、端子ａ１またはａ２を選択するように切り換えられ、これによりそのビデオカメラで撮影された、いわばリアルタイムの原信号およびそれに対応付けられた時間情報が、符号化装置１およびＶＴＲ２１に供給される。符号化装置１では、そこに入力された原信号または時間情報が、符号化器１１または遅延回路１３に、それぞれ供給される。
【００５９】
そして、ステップＳ１１において、符号化器１１で原信号が符号化され、その結果得られる符号化データが復号化器１２に出力されるのと同時に、ＶＴＲ２１で原信号が、その時間情報とともに記録され、ステップＳ１２に進む。ステップＳ１２では、符号化器１１からの符号化データが復号され、これにより復号画像信号とされて、ＶＴＲ２２に出力される。
【００６０】
一方、遅延回路１３に供給された時間情報は、そこで、符号化器１１における符号化処理および復号化器１２における復号化処理にかかる時間だけ遅延され、ＶＴＲ２２に出力される。
【００６１】
即ち、復号化器１２または遅延回路１３からは、復号画像信号または時間情報それぞれが、それらの位相が同期した状態（符号化器１１に供給される原信号と、遅延回路１３に供給される時間情報との対応関係と同一の関係が保持された状態）で、ＶＴＲ２２に出力される。
【００６２】
ＶＴＲ２２では、符号化装置１（復号化器１２、遅延回路１３それぞれ）からの復号画像信号と時間情報とが記録される。
【００６３】
その後、ステップＳ１３に進み、ＶＴＲ２１で原信号およびそれに対応付けられた時間情報（以下、適宜、原時間情報という）が再生され、同時にＶＴＲ２２で復号画像信号およびそれに対応付けられた時間情報（以下、適宜、復号時間情報問）が再生される。
【００６４】
原信号または復号画像信号は、それぞれモニタ３２または３１に供給されて表示される。また、原時間情報および復号時間情報は、シンクロナイザ２３に供給される。なお、復号時間情報は、シンクロナイザ２３の他、表示器３３にも供給される。
【００６５】
シンクロナイザ２３では、原時間情報と復号時間情報とが同期する（一致する）ようにＶＴＲ２１および２２の再生動作が制御される（ＶＴＲ２１とＶＴＲ２２とが同期して動作するように制御される）。これにより、モニタ３２に、あるフレームの原信号が表示されている場合には、モニタ３１に、そのフレームの原信号を符号化して復号化した復号画像信号が表示される。即ち、モニタ３１または３２それぞれには、同一フレームの復号画像信号または原信号が表示される。
【００６６】
そして、ステップＳ１４に進み、モニタ３２に表示されている原信号に比較して、モニタ３１に表示されている復号画像信号の画質が劣化している（極端に劣化している）か否かが、使用者によって判定される。即ち、使用者は、まずモニタ３１と３２とにそれぞれ表示されている復号画像信号と原信号とを比較し、原信号に比較して、復号画像信号に劣化している部分があるか否かを、主観的に判断する（復号画像信号の主観的評価を行う）。そして、使用者は、主観的に劣化していると感じた復号画像信号の部分がある場合、その劣化部分を指定するように、操作部２４を操作する。操作部２４が劣化部分を指定するように操作されると、そこからは、その劣化部分の位置を示す劣化箇所指定信号が、表示器３３に出力される。
【００６７】
ここで、ＶＴＲ２１および２２を、通常の再生状態にしたままでは、画面表示が順次進んでしまうので、使用者が劣化部分を見つけても、その部分を指定するように操作部２４を操作するのか困難となる。そこで、ＶＴＲ２１および２２には、操作部２４を操作することにより、例えばいわゆるスロー再生や、コマ送り、スチル再生などの特殊再生を行わせるようにすることができるようになされている。
【００６８】
従って、使用者は、まず、例えばＶＴＲ２１および２２に通常の再生をさせ、劣化部分を見つけ、その付近（その付近のフレーム）を特殊再生をさせるように、操作部２４を操作する。そして、例えばその付近の特殊再生を繰り返すことにより、劣化部分を含むフレームを特定し、その後、そのフレームにおける劣化部分の位置を指示するように、操作部２４を操作する。
【００６９】
なお、ＶＴＲ２１および２２に、特殊再生などを繰り返させるのは、そこにセット（装着）されたビデオテープ（原信号または復号画像信号が、時間情報とともに記録されたビデオテープ）に負担をかけることになるので、使用者が劣化部分を見つけたときには、ＶＴＲ２１および２２に、その付近を通常再生させ、その再生画像を、例えばメモリなどに記憶させておくようにすることができる。この場合、劣化部分の付近を、モニタ３１および３２に繰り返し表示させるにあたって、メモリに記憶させた再生画像を読み出して用いるようにすることにより、ＶＴＲ２１および２２にセットされたビデオテープの劣化を防止することができる。
【００７０】
ステップＳ１４において、モニタ３２に表示されている原信号に比較して、モニタ３１に表示されている復号画像信号の画質が劣化していない（極端に劣化していない）と判定された場合、即ち操作部２４からの劣化箇所指定信号の出力がなかった場合、符号化器１１における符号化により、復号画像信号の画質が、極端に劣化する部分はないものとされ、処理を終了する。この場合、符号化器１１から出力された符号化データは、そのまま伝送路を介して伝送され、あるいは記録媒体に記録される。
【００７１】
一方、ステップＳ１４において、モニタ３２に表示されている原信号に比較して、モニタ３１に表示されている復号画像信号の画質が劣化している（極端に劣化している）と判定された場合、即ち操作部２４からの劣化箇所指定信号の出力があった場合、その劣化箇所指定信号が示す復号画像信号の部分（劣化部分）を含むフレームに対応する、ＶＴＲ３３からの復号時間情報が、表示器３３によって検出され、さらに劣化箇所指定信号が示す劣化部分の位置情報が検出される。そして、これらは、時間／位置情報として、表示器３３からメモリ１４に出力されて記憶される。
【００７２】
使用者は、主観評価した復号画像信号の画質が満足することができるものではない場合（操作部２４を操作して、劣化部分を指示した場合）、スイッチＳＷ１またはＳＷ２を、端子ａ１またはａ２側から、端子ｂ１またはｂ２側へ、それぞれ切り換える。そして、ステップＳ１５に進み、ＶＴＲ２１が操作され、そこに記録された原信号および原時間情報が再生される。ＶＴＲ２１で再生された原信号は、端子ｂ１およびスイッチＳＷ１を介して、符号化器１１に供給される。同じく、ＶＴＲ２１で再生された原時間情報は、端子ｂ２およびスイッチＳＷ２を介して、制御部１５および遅延回路１３に供給される。
【００７３】
同時に、メモリ１４に記憶された時間／位置情報が、制御部１５によって読み出され、ステップＳ１６に進み、制御部１５の制御の下、符号化器１１で、ＶＴＲ２１からの原信号が、再度符号化される。
【００７４】
但し、この場合には、上述した図１の画像符号化装置における場合と同様に、制御部１５において、原信号に対応付けられた原時間情報が、メモリ１４から読み出された時間／位置情報と一致するタイミングで符号化器１１により符号化される原信号に割り当てられる符号量が、前回の符号化のときより増加するように、符号化器１１の符号化パラメータが制御される。
【００７５】
従って、前回のときより、符号化による画質の劣化が低減されることになる。
【００７６】
なお、この場合においても、上述した場合と同様に、制御部１５では、原信号全体の発生符号量または劣化部分付近における符号化レートが調整される。さらに、時間／位置情報が示す原信号の最小単位が、原時間情報のそれより小さい場合には、原時間情報が示すタイミングから、符号化器１１の処理速度を考慮して、時間／位置情報が示すタイミングが算出され、そのタイミングで符号化される原信号の部分に割り当てられる符号量が増加するように、符号化器１１の符号化パラメータが制御される。
【００７７】
以上のようにして符号化が行われた後、ステップＳ１２に戻り、上述したステップＳ１４において、モニタ３２に表示されている原信号に比較して、モニタ３１に表示されている復号画像信号の画質が劣化していない（極端に劣化していない）と判定されるまで、ステップＳ１２乃至Ｓ１６の処理が繰り返される。
【００７８】
従って、この場合、最終的に得られた符号化データを復号した復号画像に、極端に画質の劣化した部分が生じることを防止することができる。
【００７９】
以上、本発明を、画像信号を符号化する画像符号化装置に適用した場合について説明したが、本発明は、この他、音声信号その他を符号化する符号化装置に適用することが可能である。
【００８０】
なお、本実施例においては、時間情報としてタイムコードを用いるようにしたが、これに限られるものではない。即ち、例えば画像信号の開始フレームを示すパルスなどを時間情報として、符号化装置１に入力するようにし、符号化装置１において、そのパルスのタイミングで、所定のクロックを発生させるようにして、このクロックに基づいて、劣化部分を特定するようにすることができる。また、時間情報としては、上述した時間／位置情報と同様のものを用いるようにすることもできる。
【００８１】
さらに、本実施例では、符号化装置１で、時間情報を、遅延回路１３で遅延して出力するようにしたが、この他、例えば時間情報を、画像信号とともに、符号化器１１で符号化し、その出力を、復号化器１２で復号化して出力するようにしても良い。この場合、遅延回路１３を設けずに済むので、装置を小型に構成することができるようになる。
【００８２】
また、本実施例では、割り当てられる符号量（割当符号量）が増加するように、符号化器１１の符号化パラメータを制御する方法について言及しなかったが、例えば次のようにして、割当符号量を増加させるようにすることができる。即ち、例えば、量子化ステップを細かくしたり、符号化モードをイントラ符号化にしたり、あるいは原信号をフィルタリングするフィルタの特性を、より高域まで通過させるものにしたりすることなどにより、割当符号量を増加させることができる。
【００８３】
さらに、本実施例においては、劣化部分に対する割当符号量を増加させることにより、その劣化を低減するようにしたが、この他の手法により、その劣化を低減するようにすることも可能である。
【００８４】
また、符号化器１１または復号化器１２それぞれにおける符号化アルゴリズムまたは復号化アルゴリズムは、上述したものに限定されるものではない。
【００８５】
【発明の効果】
以上の如く、本発明によれば、復号画像に極端な画質の劣化が生じないように、符号化を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の第１実施例の構成を示すブロック図である。
【図２】図１の実施例の動作を説明するフローチャートである。
【図３】本発明を適用した画像符号化装置の第２実施例の構成を示すブロック図である。
【図４】図３の実施例の動作を説明するフローチャートである。
【符号の説明】
１ 符号化装置
２ 遅延回路
３ Ｓ／Ｎ比較器
１１ 符号化器
１２ 復号化器
１３ 遅延回路
１４ メモリ
１５ 制御部
２１，２２ ＶＴＲ（ビデオテープレコーダ）
２３ シンクロナイザ
２４ 操作部
３０ 画質評価器
３１，３２ モニタ
３３ 表示器

Claims (6)

1. 絶対的な時間情報と対応付けられた時系列の情報を符号化する符号化装置であって、
   前記情報を符号化する符号化手段と、
   前記符号化手段より出力される符号化データを復号化する復号化手段と、
   前記復号化手段より出力される復号化データの劣化している部分を認識し、その部分に対応する前記時間情報である劣化部分時間情報を検出する検出手段と、
   前記検出手段により検出された劣化部分時間情報を記憶する記憶手段と、
   前記符号化手段により前記情報が再度符号化される場合に、前記記憶手段に記憶された前記劣化部分時間情報と対応する前記復号化データの部分の劣化が低減されるように、前記符号化手段を制御する制御手段とを備える
   ことを特徴とする符号化装置。
2. 前記検出手段は、前記情報に対する復号化データのＳ／Ｎを測定し、その測定結果に基づいて、前記復号化データの劣化している部分を認識する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記情報または復号化データそれぞれを、前記時間情報とともに記録し、記録した前記情報または復号化データそれぞれを、前記時間情報とともに再生する第１または第２の記録再生手段と、
   前記第１の記録再生手段により再生された前記情報を、前記符号化手段に供給する供給手段と
   をさらに備え、
   前記検出手段は、
   前記第１または第２の記録再生手段によりそれぞれ再生される前記情報または復号化データを出力する出力手段と、
   前記出力手段より出力された前記情報に比較して、前記復号化データの劣化している部分を指定する指定手段とを含み、
   前記指定手段により指定された前記復号化データの部分を認識し、その部分に対応する前記時間情報を、前記劣化部分時間情報として検出し、
   前記制御手段は、前記第１の記録再生手段により再生された前記情報が、前記供給手段により前記符号化手段に供給され、前記符号化手段により再度符号化される場合に、前記記憶手段に記憶された前記劣化部分時間情報と対応する前記復号化データの劣化が低減されるように、前記符号化手段を制御する
   ことを特徴とする請求項１に記載の符号化装置。
4. 絶対的な時間情報と対応付けられた時系列の情報を符号化する符号化方法であって、
   前記情報を符号化し、
   その結果得られる符号化データを復号化し、
   その結果得られる復号化データの劣化している部分を認識し、その部分に対応する前記時間情報である劣化部分時間情報を検出し、
   前記劣化部分時間情報を記憶し、
   前記劣化部分時間情報と対応する前記復号化データの部分の劣化が低減されるように、前記情報を、再度符号化する
   ことを特徴とする符号化方法。
5. 前記情報に対する復号化データのＳ／Ｎを測定し、その測定結果に基づいて、前記復号化データの劣化している部分を検出する
   ことを特徴とする請求項４に記載の符号化方法。
6. 前記情報を符号化するとともに、その情報と、前記時間情報とを第１の記録媒体に記録し、
   前記符号化データを復号化するとともに、その結果得られる前記復号化データと、前記時間情報とを第２の記録媒体に記録し、
   前記第１または第２の記録媒体から、記録した前記時間情報に基づいて、記録した前記情報または前記復号化データそれぞれを同期させて再生し、
   再生した前記情報または復号化データを出力し、
   前記情報に比較して、前記復号化データの劣化している部分を指定し、
   指定された前記復号化データの部分を認識し、その部分に対応する前記時間情報を、前記劣化部分時間情報として検出し、
   前記第１の記録媒体から前記情報を再生し、
   前記劣化部分時間情報と対応する前記復号化データの部分の劣化が低減されるように、再生された前記情報を再度符号化する
   ことを特徴とする請求項４に記載の符号化方法。

Images