JP3783238B2 - 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法 - Google Patents

Description

技術分野
本発明は、撮像装置に関し、動き補償により画像データをデータ圧縮して記録するカメラ一体型ビデオテープレコーダ等に適用して、撮像結果の利得制御に連動してノイズ抑圧レベルを可変することにより、利得を可変した場合でも、撮像結果に対するビット配分がノイズ成分に集中しないようにする技術に関する。
背景技術
従来、カメラ一体型ビデオテープレコーダ（「カムコーダ（camcoder）」とも呼ばれる。）等の撮像装置においては、操作部からカメラマンにより又は自動的にゲインアップ操作がされると、撮像結果を処理する信号処理ブロックにおいてゲイン（利得）を切り換えて信号処理するように形成され、これにより例えば照明の不足している被写体を確実に撮影出来るようになされている。
一方、近年において動画像の画像圧縮技術が開発され、例えばＭＰＥＧ（Moving Picture Experts Group）等のような動画像符号化標準に規定されたデータ圧縮技術を適用することにより、画像信号を、例えばビットレートを約１／１０程度にデータ圧縮して、例えばビデオテープ，相変化形光磁気ディスク，固定ディスク等の記録媒体に記録するものが提案されている。
この種のデータ圧縮技術は、連続するフレーム間、フィールド間で動き補償して得られる差分データをディスクリート・コサイン変換処理した後、量子化するように形成され、これより動き補償して残る差分データに対して記録に供するデータのビット配分を割り当て、この種の画像データの相関を有効に利用して効率よく画像データを記録している。カメラ一体型ビデオテープレコーダにおいても、この種のデータ圧縮技術を適用して、撮像結果をディジタル信号の形式で効率よく記録することが検討されている。
ところで、カメラ一体型ビデオテープレコーダのような撮像装置にこの種のデータ圧縮技術を適用した場合、ゲインアップした際のビット配分がランダムノイズに集中し、その分画質が劣化する問題がある。
即ち、この種のデータ圧縮技術においては、動き補償により連続するフレーム間で共通する成分を除去し、残る差分データを符号化することにより、効率よくデータ蓄積又は伝送するようになされている。これに対して、一般に、カメラ一体型ビデオテープレコーダのような撮像装置における撮像信号にはランダムにノイズが含まれ、ランダムノイズは連続するフレーム相互間で相関がないためノイズを「動き」と捉えられて、ここに多くのビットが割り当てられ、即ち、ビットが集中してしまう。
更に、このような撮像信号に対しゲインアップ操作がなされると、その分ノイズが増大してしまう欠点がある。特に、この種の撮像装置は、ガンマ補正することにより相対的に低輝度部分にランダムノイズが集中するように撮像結果が出力され、ゲインアップする時は、暗い被写体を撮影する場合が多いことにより、この低輝度部分のランダムノイズが著しく増大する。
従って、ゲインアップした状態で撮像結果を動き補償すると、その分差分データにおけるランダムノイズの信号成分が増大し、結果的に、記録に供するデータのビット配分がランダムノイズに集中するようになる。この結果、ゲインアップに伴うランダムノイズの増大による画質劣化だけでなく、必要なフレーム間の情報が伝送できなくなり、その分記録されたディジタル信号の画質処理が著しく劣化し、具体的には、映像部分に偽輪郭等が発生し易くなる。
この問題を解決する１つの方法として、ノイズ・リダクション・システムを適用してこの種のランダムノイズを除去する方法が考えられるが、単にノイズ・リダクション・システムを適用しただけでは、ゲインアップしない場合の解像度が劣化する問題がある。
本発明は、上述の問題を考慮してなされたもので、画像信号の利得を可変した場合でも、撮像結果に対するビット配分がノイズに集中しないようにすることが出来る撮像装置を提案することを目的とする。
更に、本発明は、利得を変化させた場合に、この利得の変化に連動してノイズを減少するようにすることが可能な撮像装置を提案することを目的とする。
発明の開示
本発明に斯る撮像システムは、撮像デバイスを備えた撮像システムであって、
（ａ）上記撮像デバイスから出力されたビデオデータのゲインを制御するゲイン制御手段と、
（ｂ）上記ゲイン制御手段によってゲインが制御されたビデオデータのランダムノイズを抑圧するためのフィルタ手段と、上記フィルタ手段によってフィルタリングされたビデオデータを符号化する符号化手段とを有したビットレートエンコーダと、
（ｃ）上記ビデオデータのゲインが、カメラマンによって指定されたゲインとなるように上記ゲイン制御手段を制御すると共に、上記フィルタ手段のフィルタリング特性が、上記指定されたゲインに対応したフィルタリング特性となるように上記フィルタ手段を制御するシステムコントローラとを備えている。
更に本発明に係る符号化装置は、ビデオデータをマクロブロックデータ単位で符号化する符号化装置であって、
（ａ）上記符号化されるビデオデータのゲインを符号化する符号化装置において、
（ｂ）上記ゲイン制御手段によってゲインが制御されたビデオデータのノイズを抑圧するためのフィルタ手段と、上記フィルタ手段によってフィルタリングされたビデオデータを符号化する符号化手段とを有したビットレートエンコーダと、
（ｃ）上記符号化されるビデオデータのゲインが、所望のゲインとなるように上記ゲイン制御手段を制御すると共に、上記フィルタ手段のフィルタリング特性が、上記所望のゲインに対応したフィルタリング特性となるように上記フィルタ手段を制御する制御手段とを備えている。
更に本発明に係るビデオデータをマクロブロック単位で符号化する符号化方法は、
（ａ）上記符号化されるビデオデータが所望のゲインとなるようにゲインを制御するステップと、
（ｂ）上記所望のゲインに対応したフィルタリング特性となるようにフィルタリング特性が可変させられたフィルタ手段によって、上記ゲイン制御されたビデオデータをフィルタリングすることによってノイズを抑圧するステップと、
（ｃ）上記フィルタリングされたビデオデータを符号化するステップを含む方法である。
更に本発明に係る画像処理装置は、画像データのゲインを任意のゲインに制御するゲイン制御手段と、
前記画像データを動画像圧縮標準にしたがってデータ圧縮するビット・レート・エンコーダ手段とを備えた撮像装置において、
画像データの相関を利用し、該画像データをフィルタリングすることによって、該画像データに含まれるランダムノイズを抑圧するフィルタ回路を設け、該フィルタ回路は前記ゲインに連動して該フィルタ回路のフィルタリング特性を変化させている。
更に本発明に係る画像処理装置は、撮像ブロックと、信号処理ブロックと、記録再生ブロックとを有した撮像装置において、
撮像データのゲインを任意に切換可能なゲイン制御手段と、
撮像データのフィルタリングを行うフィルタ回路と、
撮像データのデータ圧縮を行うデータ圧縮手段とをもち、
前記フィルタリングは前記ゲインの切り換えに連動して該フィルタ回路のフィルタリング特性を変更して、上記撮像データに含まれるランダムノイズを減少している。
更に本発明に係るランダムノイズを除去する方法は、画像データのゲインを任意に切り換えるステップと、
所定の画像データから、前記ゲインの切り換えに連動して、可変されるフィルタリング特性を有したフィルタ手段によって、フィルタリングデータを生成するステップと、
フィルタリングされた画像データを画像圧縮するステップと、
画像圧縮された前記画像データを記録するステップとを含む画像データに含まれるランダムノイズを除去している。
【図面の簡単な説明】
第１図は、本実施例に係るカメラ一体型ビデオテープレコーダの撮像装置の要部を示す図である。
第２図は、第１図に示すビットレート・エンコーダの構成を示す図である。
第３図は、画像の３つのタイプを説明する図である。
第４図は、第２図に示す動き検出回路の詳細を示す図である。
第５図は、第２図に示すフィルタ回路の詳細を示す図である。
発明を実施するための最良の形態
本発明に係る撮像装置の実施形態に付いて、カメラ一体型ビデオテープレコーダを例にとり、添付図面を参照しながら詳細に説明する。なお、図面上、同一の要素に関しては同じ符号を付して、重複した説明を省略する。
〔撮像装置の要部の構成 第１図〕
先ず、第１図を参照しながら、本実施形態のカメラ一体型ビデオテープレコーダに使用されている撮像装置の要部の構成を説明する。この撮像装置は、入射光を撮像装置の前面に光学的に集光するためのレンズブロック１と、レンズブロック１からの入射光をＲ（赤），Ｇ（緑），Ｂ（青）の電気的な撮像信号に変換する撮像ブロック２と、撮像信号に対して所定の信号処理を行う信号処理ブロック３と、記録再生ブロック４と、これらレンズブロック，撮像ブロック，信号処理ブロック及び記録再生ブロックを制御するシステム・コントローラ５とを備えている。
（レンズブロック）
レンズブロック１は、カメラ一体型ビデオテープレコーダ等の本体に対して着脱可能に設けられる。このレンズブロックは、図示していないが、光学的な要素として、光軸に沿って移動させることによって、結像点の位置を同一平面に保ったまま、全体の焦点距離を連続的に変更可能とし、被写体の像をズーミング（画像の連続的な拡大，縮小）するためのズームレンズと、被写体に対して焦点調節するためのフォーカスレンズと、開口の直径を変えること（虹彩絞り）によって撮像素子の前面に入射する光量を調節するアイリス機構とを有している。
同様に図示していないが、レンズブロック１は、更に、ズームレンズの光軸方向のレンズ位置を検出する位置検出検出センサと、ズームレンズを光軸方向に移動させるための駆動モータと、駆動モータに駆動制御信号を与えるためのズームレンズ駆動回路と、フォーカスレンズの光軸方向のレンズ位置を検出する位置検出センサと、フォーカスレンズを光軸方向に移動させるための駆動モータと、駆動モータに駆動制御信号を与えるためのフォーカスレンズ駆動回路と、アイリス機構の開口位置を検出する位置検出センサと、アイリス機構を開口及び閉口させるための駆動駆動モータと、駆動モータに駆動制御信号を与えるためのアイリス機構駆動回路とを有している。
ここで、位置検出センサの検出信号は、常時、システム・コントローラ５に送られると共に、ズームレンズ駆動回路、フォーカスレンズ駆動回路と、アイリス機構駆動回路は、システム・コントローラ５から制御信号が供給されるように電気的に接続されている。
（撮像ブロック）
撮像ブロック２は、レンズブロック１からの入射光をＲ，Ｇ，Ｂの３原色光に色分解するための色分解プリズム１１と、この色分解プリズム１１で分離されたＲ成分，Ｇ成分及びＢ成分の各光が撮像面に結像され、結像された各色成分の撮像光を、電気的な撮像信号（Ｒ），（Ｇ）及び（Ｂ）に夫々変換して出力する撮像素子１２Ｒ，１２Ｇ，１２Ｂとを有している。例えば、これら撮像素子１２Ｒ，１２Ｇ，１２Ｂは、ＣＣＤ（電荷結合素子）からなる。
撮像ブロック２は、更に、撮像素子１２Ｒ，１２Ｇ，１２Ｂから夫々出力された撮像信号（Ｒ），（Ｇ），（Ｂ）のレベルを増幅すると共に、これによってリセット雑音を除去するために相関二重サンプリングを行うプリアンプ１３Ｒ，１３Ｇ，１３Ｂを有している。
更に、撮像ブロック２は、内部に設けられた基準クロック発生回路からの基準クロックに基づいて、撮像装置内の各回路要素が動作する際の基本クロックとなるＶＤ信号，ＨＤ信号及びＣＬＫ信号を発生するためのタイミング信号発生回路１５と、タイミング回路発生回路１５から供給されたＶＤ信号，ＨＤ信号及びＣＬＫ信号に基づいて、撮像素子１２Ｒ，１２Ｇ及び１２Ｂに対して駆動クロックを与えるＣＣＤ駆動回路１４とを有している。
尚、ＶＤ信号は一垂直期間を表すクロック信号であり、ＨＤ信号は一水平期間を表すクロック信号であり、ＣＬＫ信号は一画素クロックを表すクロック信号であり、これらのＶＤ，ＨＤ及びＣＬＫ信号からなるタイミングクロックは、図示していないが、システム・コントローラ５を介して、撮像装置の各回路要素に対し供給される。
（信号処理ブロック）
信号処理ブロック３は、撮像装置本体の内部に設けられ、撮像ブロック２から供給される撮像信号（Ｒ），（Ｇ），（Ｂ）に対して所定の信号処理を施すためのブロックである。信号処理ブロック３は、撮像信号（Ｒ），（Ｇ），（Ｂ）をアナログ形式からディジタル形式のビデオ信号（Ｒ），（Ｇ），（Ｂ）に夫々変換するＡ／Ｄ変換回路２１Ｒ，２１Ｇ及び２１Ｂと、システム・コントローラ５からのゲイン切換信号に基づいて、ディジタル・ビデオ信号（Ｒ），（Ｇ），（Ｂ）の各ゲインを夫々制御するゲイン制御回路２２Ｒ，２２Ｇ及び２２Ｂと、ディジタルビデオ信号（Ｒ），（Ｇ），（Ｂ）に対して所定の信号処理を行う信号処理回路２３Ｒ，２３Ｇ，２３Ｂと、色信号であるビデオ信号（Ｒ），（Ｇ），（Ｂ）から輝度信号Ｙ及び色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を生成するマトリクス・エンコーダ２４と、これら輝度信号及び色差信号Ｙ，（Ｒ−Ｙ），（Ｂ−Ｙ）をデータ圧縮するビット・レート・エンコーダ３１とを備えている。
ここで、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂは、各々、図示していないが、利得の異なる複数個の増幅器とこれら増幅器の出力を選択的に切り換えるゲイン切り換え回路とを有し、赤色，緑色，青色の色信号（Ｒ），（Ｇ），（Ｂ）を夫々選択的に増幅する。即ち、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂは、各々、図に示していないが、例えば＋Ｏ〔ｄＢ〕，＋６〔ｄＢ〕，＋９〔ｄＢ〕，＋１２〔ｄＢ〕，＋１８〔ｄＢ〕，＋２４〔ｄＢ〕，＋３Ｏ〔ｄＢ〕の利得の異なる複数個の増幅器を有し、各増幅器の出力をゲイン切り換え回路に入力し、システム・コントローラ５より出力されるゲイン切換信号に対応して、利得の異なる増幅器からの増幅結果を選択的に出力する。こうしてカメラ一体形ビデオテープレコーダでは、カメラマンが必要に応じて撮影結果をゲインアップすることが出来るようになっている。
信号処理回路２３Ｒ，２３Ｇ，２３Ｂは、例えば、ビデオ信号の或るレベル以上を圧縮（白圧縮）するニー回路２３１Ｒ，２３１Ｇ，２３１Ｂと、ビデオ信号のレベルを予め設定されたγカーブ（非線形特性）にしたがって補正するγ補正回路２３２Ｒ，２３２Ｇ，２３２Ｂと、所定レベル以下の黒レベル及び所定レベル以上の白レベルをクリップするＢ／Ｗクリップ回路２３３Ｒ，２３３Ｇ，２３３Ｂとをもっている。
尚、信号処理回路２３Ｒ，２３Ｇ，２３Ｂは、これらニー回路，γ補正回路，Ｂ／Ｗクリップ回路のほかに、図示していないが、公知のブラックγ補正回路，輪郭強調回路，リニアマトリクス回路等を備えていてもよい。
更に、信号処理ブロック３は、信号処理回路２３Ｒ，２３Ｇ，２３Ｂから出力されたビデオ信号（Ｒ），（Ｇ），（Ｂ）を夫々受け取り、その信号レベルに基づいて撮像素子１２Ｒ，１２Ｇ，１２Ｂに入射する光量が適切な光量となるようにアイリスを制御するアイリス制御回路２５と、信号処理回路２３Ｒ，２３Ｇ，２３Ｂから出力されたビデオ信号（Ｒ），（Ｇ），（Ｂ）を受け取り、その信号レベルに基づいてホワイトバランス制御を行うためのホワイトバランス制御回路２６とを備えている。
アイリス制御回路２５は、供給されたビデオ信号（Ｒ），（Ｇ），（Ｂ）の中でも最も信号レベルが最大である信号を選択するＮＡＭ回路と、選択された信号の画面におけるエリアを分割して、各エリア毎におけるビデオ信号を全積分する回路をもっている。アイリス制御回路２５は、この各エリア毎の積分データに基づいて複写体の逆照明，順照明，フラット照明，スポット照明等のあらゆる照明条件を判断して、アイリスを制御するためのアイリス制御信号を生成し、このアイリス制御信号をシステム・コントローラ５に送出する。システム・コントローラ５は、このアイリス制御信号に基づいて、レンズブロック１のアイリス駆動回路（図示せず。）に対して制御信号を供給する。
ホワイトバランス制御回路２６は、供給されたビデオ信号（Ｒ），（Ｇ），（Ｂ）から、（Ｒ−Ｙ）＝０，（Ｂ−Ｙ）＝０となるようにホワイトバランス制御信号を生成し、このホワイトバランス制御信号をシステム・コントローラ５に送出する。システム・コントローラ５は、このホワイトバランス制御信号に基づいて、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂに対して、ゲイン切換信号を供給する。
更に、信号処理ブロック２は、信号処理回路２３Ｒ，２３Ｇ，２３Ｂから出力されたビデオ信号（Ｒ），（Ｇ），（Ｂ）を受け取り、ビデオ信号（Ｒ），（Ｇ），（Ｂ）から輝度信号（Ｙ）と、色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を生成するためのマトリクス・エンコーダ２４とを備えている。
マトリクス・エンコーダ２４の後段のビット・レート・エンコーダ３１において、データの圧縮が行われるが、この画像圧縮技術に関しては、第２図を用いて後で説明する。
（記録再生ブロック）
記録再生ブロックは記録／再生部３３を有し、この記録／再生部３３は、本実施例のようにカメラ一体型ビデオテープレコーダの場合にはビデオテープレコーダであり、また、その他の撮像装置の場合には、例えば光磁気ディスク駆動装置，固定ディスク装置等であってよい。
［ビット・レート・エンコーダ 第２図及び第３図］
（構成）
第２図は、第１図に示したビット・レート・エンコーダ３１の詳細を示す図である。ビット・レート・エンコーダ３１は、フレームメモリ（ＦＭ）３１１，３１２及び３１３と、セレクタ３１４と、フィルタ回路３１５と、動き検出ブロックと、動き補償ブロックと、加算回路３１６と、インター／イントラ判定回路３２３と、スイッチ３１７と、圧縮符号化ブロックと、エンコーダ・コントローラ３３８とを備えている。
ここで、動き検出ブロックは、動き検出回路３２７と、動き検出回路３３４とを有する。
また、動き補償ブロックは、逆量子化回路３２４と、ＩＤＣＴ（Inverse Discrete Cosine Transform逆離散的コサイン変換）回路３３１と、加算回路３３０と、スイッチ３２９と、フレームメモリ３２８及び３３５と、動き補償回路３２６及び３３３と、重み付け回路３３６と、合成回路３３７と、スイッチ３２５とを有する。
また、圧縮符号化ブロックは、ＤＣＴ（Discrete Cosine Transform離散的コサイン変換）回路３１８と、量子化回路３１９と、ＶＬＣ（Variable Length Code可変長符号）エンコーダ３２０と、符号化回路３２１とを有する。
ビット・レート・エンコーダ３１に付いて具体的に説明すると、ビット・レート・エンコーダ３１は、入力端子３１０を介して供給される画像データを順次蓄積するためのフレームメモリ３１１，３１２及び３１３と、これらフレームメモリ３１１，３１２及び３１３からの各出力を、エンコーダ・コントローラ３３８からの制御信号により符号化される画像データを選択的に出力するセレクタ３１４と、ノイズを減少するため符号化される画像データをフィルタ処理するフィルタ回路３１５と、動き検出を行って動きベクトルデータを得る動き検出ブロックと、この動き検出ブロックにおいて求められた動きベクトルデータに基づいて動き補償処理を行う動き補償ブロックと、フィルタ回路３１５からの１６ライン×１６画素の大きさのマクロブロックデータと上記動き補償ブロックからの動き補償処理後の１６ライン×１６画素の大きさのマクロブロックデータとの差分を得る加算回路３１６と、フィルタ回路３１５からのマクロブロックデータ若しくは加算回路３１６からの差分データを選択するインター／イントラ判定回路３２３と、このインター／イントラ判定回路３２３の制御により、フィルタ回路３１５からのマクロブロックデータ若しくは加算回路３１６からの差分データを選択するスイッチ３１７と、このスイッチ３１７からの出力を圧縮符号化する符号化ブロックと、上記各構成要素を夫々制御するエンコーダ・コントローラ３３８とを備えている。
（フレームメモリ）
画像データが入力端子３１０を介して順次入力される。この入力データは、順次フレームメモリ３１１に記憶され、次の１フレーム期間にフレームメモリ３１１から読み出した画像データは順次フレームメモリ３１２に記憶され、次の１フレーム期間にフレームメモリ３１２から読み出した画像データは順次フレームメモリ３１３に記憶される。３フレーム分の時間の経過後、フレームメモリ３１３には第１フレームの画像データが、フレームメモリ３１２には第２フレームの画像データが、フレームメモリ３１１には第３フレームの画像データが、夫々記憶されている。従って、フレームメモリ３１２の出力を、カレント（現在）フレームの画像データとすると、フレームメモリ３１１の出力は時間的に後なのでフューチャ（「未来」）のフレームの画像データ、フレームメモリ３１３の出力はパースト（「過去」）フレームの画像データということになる。
（セレクタ回路）
セレクタ回路３１４は、フレームメモリ３１１，３１２及び３１３からの出力を、エンコーダ・コントローラ３３８からの制御信号により選択的に出力するのであるが、ここでは説明の便宜上、符号化の対象をフレームメモリ３１２に蓄積されたカレント（現在）フレームとし、このカレントフレームのマクロブロックデータを、後段のフィルタ回路３１５に対し順次供給するものとする。
（フィルタ回路）
フィルタ回路３１５は、ノイズを減少する目的で設けられている。即ち、従来技術の問題点で指摘したように、動画像圧縮技術を採用した場合には、動き補償を行った時、画像データのランダムノイズを動きと捉えて、ここに多くのビットが割り当てられてしまう。更に、このような撮像データに対してゲインアップ操作がなされると、その分ノイズが増大してしまう欠点がある。このフィルタ回路３１５は、このような場合でも、ランダムノイズを減少するように、ローパスフィルタと同様の働きをする。
尚、フィルタ回路３１５は、その入力として、カレント（現在）フレームのマクロブロックデータＭＢ（Ｃ）のほか、動き補償されたパースト（過去）フレームのマクロブロックデータＭＢ（Ｐ）及び動き補償されたフューチャ（未来）フレームのマクロブロックデータＭＢ（Ｆ）を使用するため、これらが生成される画像圧縮過程を先に説明し、その後で第５図を参照しながらフィルタ回路３１５に付いて説明する。ここでは、フィルタ回路３１５に対して、カレント（現在）フレームのマクロブロックデータＭＢ（Ｃ），動き補償されたパースト（過去）フレームのマクロブロックデータＭＢ（Ｐ）及び動き補償されたフューチャ（未来）フレームのマクロブロックデータＭＢ（Ｆ）が供給され、フィルタリングされた、結果的にランダムノイズが減少したカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）が出力されるものと理解されたい。
（圧縮符号化ブロック）
圧縮符号化ブロックは、スイッチ３１７からのマクロブロックデータＭＢ′（Ｃ）若しくは差分データを、８ライン×８画素のブロック単位で直流成分から高次交流成分の係数に変換するＤＣＴ回路３１８と、このＤＣＴ回路３１８からの係数データを所定の量子化ステップサイズで量子化する量子化回路３１９と、この量子化回路３１９からの係数データをランレングス，ハフマン等の方法により可変長符号化するＶＬＣエンコーダ３２０と、このＶＬＣエンコーダ３２０からの可変長符号化されたデータを記録若しくは伝送のためにインナーパリティ及びアウターパリティを付加して積符号形式にする符号化回路３２１とを有する。
量子化回路３１９は、このＤＣＴ変換回路３１８より得られる係数データを量子化して出力し、この時符号化制御によりこの量子化のテーブルを切換える。この種の符号化制御においては、符号化処理結果のデータ量に応じてこの量子化テーブルを切換えることにより、各符号化単位（例えば、マクロブロック，スライス単位でなる）でデータ量を規定値に保持するようになされている。従って、予め適当な処理において又はディスクリートコサイン変換処理においてランダムノイズにより発生する高次の係数が軽減されれば、その分ノイズ以外の本来の画像データに対して充分なビット配分を確保することができ、これにより画質劣化を有効に回避することが出来る。
（動き検出ブロック）
動き検出ブロックは、フレームメモリ３１１からのフューチャ（未来）フレームのマクロブロックデータＭＢ（Ｆ）とフレームメモリ３１２からのカレント（現在）フレームのマクロブロックデータＭＢ（Ｃ）とにより、動き検出を行って動きベクトルデータを得る動き検出回路３２７と、フレームメモリ３１３からのパースト（過去）フレームのマクロブロックデータＭＢ（Ｐ）とフレームメモリ３１２からのカレント（現在）フレームのマクロブロックデータＭＢ（Ｃ）とにより、動き検出を行って動きベクトルデータを得る動き検出回路３３４とを有する。
（動き補償ブロック）
動き補償ブロックは、量子化回路３１９からの係数データを逆量子化してＤＣＴ回路３１８による係数データを得る逆量子化回路３２４と、この逆量子化回路３２４からの係数データを元のマクロブロックデータ若しくは差分データに変換するＩＤＣＴ回路３３１と、このＩＤＣＴ回路３３１からの出力と動き補償済みのマクロブロックデータを加算する加算回路３３０と、この加算回路３３０の出力とＩＤＣＴ回路３３１の出力を、インター／イントラ判定回路３２３からのスイッチング制御信号に基づいてフレームメモリ３２８に供給するスイッチ３２９と、このスイッチ３２９からの出力を記憶領域に記憶するフレームメモリ３２８と、このフレームメモリ３２８から読み出されたマクロブロックデータを順次記憶するフレームメモリ３３５と、動き検出回路３２７からの動きベクトルデータに基づいてフレームメモリ３２８に記憶されているフレームデータから適切なマクロブロックデータを選択し、この選択したマクロブロックデータを動き補償済みのマクロブロックデータとして出力する動き補償回路３２６と、動き検出回路３３４からの動きベクトルデータに基づいてフレームメモリ３３５に記憶されているフレームデータから適切なマクロブロックデータを選択し、この選択したマクロブロックデータを動き補償済みのマクロブロックデータとして出力する動き補償回路３３３と、動き補償回路３２６及び３３３の動き補償済みのマクロブロックデータに対し夫々現在（カレント）フレームとの時間的距離に応じた重み付けを行う重み付け回路３３６と、この重み付け回路３３６により重み付けされた２つのマクロブロックデータを合成する合成回路３３７と、動き補償回路３２６からの動き補償済みのマクロブロックデータ，動き補償回路３３３からの動き補償済みのマクロブロックデータ及び合成回路３３７からの合成マクロブロックデータをエンコーダ・コントローラ３３８からのスイッチング制御信号により選択的に出力するスイッチ３２５とを有している。
ここで、インター／イントラ判定回路３２３は、フィルタ回路３１５からのマクロブロックデータ及び加算回路３１６からの差分データの分散値等を比較し、その分散値の小さい方を選択するよう制御する。
また、動き補償回路３２６は、フィルタ回路３１５から出力されるカレントフレームのマクロブロックよりも時間的に後つまり未来のフレームのマクロブロックデータＭＢ（Ｆ）に対して動き補償処理を施すものである。動き補償回路３３３は、フィルタ回路３１５から出力されるカレントフレームのマクロブロックよりも、時間的に前つまり過去のフレームのマクロブロックデータＭＢ（Ｐ）に対して動き補償処理を施すものである。
また、重み付け回路３３６及び合成回路３３７は、動き補償回路３２６及び３３３からの補償後の２つのマクロブロックデータに重み付けをし合成することにより、フィルタ３１５から出力されるカレントフレームのマクロブロックよりも、時間的に未来及び過去のマクロブロックデータＭＢ（Ｆ），ＭＢ（Ｐ）に対して夫々動き補償を施し、補償処理を施した２つのマクロブロックデータの合成マクロブロックデータを得ることと等価な処理を行うものである。
フィルタ３１５から順次出力されるカレントフレームのマクロブロックデータＭＢ′（Ｃ）は、加算回路３１６において上記３つの系のいずれかの出力（即ち、補償済みのマクロブロックデータ）と差分が取られることによって符号化される。加算回路３１６からの差分データは、フレーム間の差分であり、このフレーム間の差分データが符号化されるので、これをフレーム間符号化（インター符号化）と呼び、また、セレクタ３１４からの出力はそのまま符号化されるので、これをフレーム内符号化（イントラ符号化）と呼ぶ。
（Ｉピクチャ，Ｂピクチャ，Ｐピクチャ）
セレクタ３１４から出力され、符号化される各フレームの画像データは、その符号化形態に応じて、一般に、Ｉピクチャ（Intra-Pictueフレーム内符号化画像）、Ｂピクチャ（Bidirectionally predictive-Picture双方向予測符号化画像）、又は、Ｐピクチャ（Predictive-Pictureフレーム間順方向予測符号化画像）と称される。
ここで、「Ｉピクチャ」は、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）をフレーム内符号化したデータからなる１フレーム分の符号化後の画像データである。ここでいう符号化とは、ＤＣＴ回路３１８，量子化回路３１９及びＶＬＣエンコーダ３２０による符号化のことである。従って、Ｉピクチャに場合には、インター／イントラ判定回路３２３の制御により、スイッチ３１７及び３２９の可動接点ｃは、必ず固定接点ａに夫々接続される。なお、ここでいうカレント（現在）フレームとは、セレクタ３１４からフィルタ回路３１５を介して出力されそのまま符号化（フレーム内符号化）されるか、差分が取られて符号化（フレーム間符号化）されるマクロブロックデータを意味する。
「Ｐピクチャ」は、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）と、カレントフレームのマクロブロックデータＭＢ′（Ｃ）に対し時間的に前のフレームとなる、Ｉ若しくはＰピクチャの動き補償済みのマクロブロックデータとの差分データを符号化（フレーム間符号化）したデータや、カレントフレームのマクロブロックデータをフレーム内符号化したデータからなる１フレーム分の符号化後の画像データである。但し、Ｐピクチャを生成する時に、Ｉピクチャとしての画像データに対して動き補償を行うための動きベクトルデータは、ビット・レート・エンコーダ３１に入力された順序で見て、Ｐピクチャとして符号化すべき画像データと、この画像データの１つ前の画像データとで求められたものとなる。
「Ｂピクチャ」は、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）と、次に示す６種類のマクロブロックデータとの差分データを、符号化（フレーム間符号化）したデータである。
６種類のマクロブロックデータは、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）と、カレントフレームのマクロブロックデータに対し、時間的に過去のフレームとなる、Ｉ若しくはＰピクチャの動き補償済みのマクロブロックデータ、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）と、カレントフレームのマクロブロックデータＭＢ′（Ｃ）に対し、時間的に未来のフレームとなる、Ｉ若しくはＰピクチャの動き補償済みのマクロブロックデータ、フィルタ回路３１５から出力されるカレントフレームのマクロブロックデータＭＢ′（Ｃ）に対し、時間的に過去のフレームとなるＩピクチャと、時間的に未来のフレームとなるＰピクチャとから生成される補間マクロブロックデータ、フィルタ回路３１５から出力されるカレント（現在）フレームのマクロブロックデータＭＢ′（Ｃ）に対し、時間的に過去フレームとなるＰピクチャと、時間的に未来のフレームとなるＰピクチャとから生成される補間マクロブロックデータである。
以上の説明から分かるように、Ｐピクチャは、カレント（現在）フレーム以外の画像データが用いられて符号化されたデータ、即ち、フレーム間符号化されたデータを含み、また、Ｂピクチャは、フレーム間符号化されたデータのみで構成されるものであるから、単独では復号化することは出来ない。そこで、周知なように、関連する複数枚のピクチャを１つのＧＯＰ（Group OF Pictures）とし、このＧＯＰを単位として処理するよう規定されている。
通常、ＧＯＰは、１又は複数枚のＩピクチャと、ゼロ又は複数枚の非Ｉピクチャとで構成される。以下の例では、説明の便宜上、１つのＧＯＰが、Ｉピクチャ，Ｐピクチャ及び２つのＢピクチャで構成されているものとする。
また、以下の説明においては、ＢピクチャはこのＢピクチャの前後の画像データとの差分が取られることによって得られ、ＰピクチャはＩピクチャから得られるものとして説明する。実際は、エンコード時には、上述した前方向動き補償，双方向動き補償及び後方向動き補償において補償された補償マクロブロックデータの内、最も符号化効率の良いマクロブロックデータが選択され、デコード時には、エンコード時の補償と同じ補償がマクロブロック単位で行われる。つまり、１つのＢピクチャ内の差分データは、前方向動き補償，双方向動き補償及び後方動き補償の何れかの動き補償により補償された補償マクロブロックデータが、符号化すべきマクロブロックデータから減算されたデータとなり、１つのＰピクチャ内の差分データは、前方動き補償若しくは後方動き補償の何れかの動き補償により補償された補償マクロブロックデータが、符号化すべきマクロブロックデータから減算されたデータとなる。
（エンコード時の動作）
次に、第２図に示したビット・レート・エンコーダの動作に付いて説明する。
入力端子３１０に供給される画像データは、フレームメモリ３１１，３１２及び３１３に順次記憶される。動き検出回路３２７は、フレームメモリ３１１からのフューチャフレーム・マクロブロックデータＭＢ（Ｐ）と、フレームメモリ３１２からのカレントフレーム・マクロブロックデータＭＢ（Ｃ）とに基づいて動き検出を行い、その結果得られた動きベクトルデータを動き補償回路３２６に供給する。一方、動き検出回路３３４は、フレームメモリ３１３からのパーストフレーム・マクロブロックデータＭＢ（Ｐ）と、フレームメモリ３１２からのカレントフレーム・マクロブロックデータＭＢ（Ｃ）とに基づいて動き検出を行い、その結果得られた動きベクトルデータを動き補償回路３３３に供給する。以上のようにして、各動き検出回路３２７及び３３４において、マクロブロックデータ毎に動きベクトルデータが得られる。
カレントフレームの全てのマクロブロックデータＭＢ（Ｃ）とパーストフレームの全てのマクロブロックデータＭＢ（Ｐ）との間の動きベクトルを示す動きベクトルデータと、カレントフレームの全てのマクロブロックデータＭＢ（Ｃ）とパーストフレームの全てのマクロブロックデータＭＢ（Ｐ）との間の動きベクトルを示す動きベクトルデータとが得られると、符号化処理にはいる。
（符号化処理）
ここで、第３ａ図及び第３ｂ図も参照しながら、フィルタ回路３１５から出力されたマクロブロックデータＭＢ′（Ｃ）が、どのようにして符号化されるかに付いて説明する。
第３ａ図は入力端子３１０に供給されるフレーム毎の画像データを示し、第３ｂ図はフィルタ回路３１５から出力されるフレーム毎の画像データを示している。各フレームとしての図形内に示す符号の内、数字は入力される順序を示し、英文字は、「Ｂ」ならばそのフレームの画像データが符号化されてＢピクチャとなり、「Ｉ」ならば符号化されてＩピクチャとなり、「Ｐ」ならば符号化されてＰピクチャとなることを意味している。
ここで、矢印で示す画像データは、符号化される画像データを示し、矢印の根元の画像データは、符号化される画像データの符号化時に用いられる画像データを示す。つまり、第３ａ図中に示す矢印は、各矢印で示される各フレームの画像データが符号化される際に、どのフレームの画像データが予測画像として用いられるかを示している。例えば、符号化されてＢピクチャとなる第３フレームの画像データは、符号化されてＩピクチャとなる第２フレームの画像データと、符号化されてＰピクチャとなる第４フレームの画像データの片方、若しくはこれら２つの画像データの合成画像データと差分がとられて符号化される。なお、Ｐピクチャについては、予測画像として用いられるフレームを示すための矢印を省略する。
さて、第３ａ図及び第３ｂ図の内、ＧＯＰ２内のフレームを例にとって説明するが、前提として、第２図に示したフレームメモリ３３５には、第３ａ図に示す画像データＢ５の予測画像として用いられる画像データＰ４が記憶されているものとし、更に、説明の便宜上、符号化してＢピクチャを得る場合は、常に、合成回路３３７からの予測画像データが用いられるものとする。
まず最初に符号化される画像データはＩ６である。第３ｂ図に示すように、画像データＩ６は、カレントマクロブロックデータＭＢ（Ｃ）としてマクロブロックデータ毎に、セレクタ３１４から（フィルタ回路３１５を介して）順次出力される。この時、スイッチ３１７及び３２９の各可動接点ｃは、イントラ側の固定接点ａに夫々接続されている。従って、画像データＩ６のマクロブロックデータは、スイッチ３１７を通過した後、ＤＣＴ回路３１８，量子化回路３１９，ＶＬＣエンコーダ３２０及び符号化回路３２１において順次処理された後、出力端子３２２を介して出力される。
一方、量子化回路３１９において量子化された画像データＩ６の係数データは、逆量子化回路３２４及びＩＤＣＴ回路３３１によって、元の８ライン×８画素の大きさのマクロブロックデータに戻された後、スイッチ３２９を介してフレームメモリ３２８に供給され、このフレームメモリ３２８に順次記憶される。
フレームメモリ３３５に画像データＰ４が記憶され、フレームメモリ３２８に画像データＩ６が記憶されていることになる。セレクタ３１４から画像データＢ５が出力される前の段階においては、フレームメモリ３１１にはフューチャフレームとして画像データＩ６が記憶され、フレームメモリ３１２にはカレントフレームとして画像データＢ５が記憶され、フレームメモリ３１３にはパーストフレームとして画像データＰ４が記憶されている。
この時、動き検出回路３２７においては、フレームメモリ３１２に記憶されている画像データＢ５の各マクロブロックと、フレームメモリ３１１に記憶されている画像データＩ６の各マクロブロックとで動き検出が行われ、画像データＢ５の各マクロブロックが、夫々画像データＩ６のどの部分（マクロブロックデータ）に一致するかを示す動きベクトルデータが得られる。これらのマクロブロック毎の動きベクトルデータは、動き補償回路３２６において、フレームメモリ３２８に記憶される画像データＩ６の内の対応するマクロブロックデータを順次読み出す、即ち、動き補償を行うために用いられる。
一方、動き検出回路３３４においては、フレームメモリ３１２に記憶されている画像データＢ５の各マクロブロックと、フレームメモリ３１３に記憶されている画像データＰ４の各マクロブロックとで動き検出が行われ、画像データＢ５の各マクロブロックが、夫々画像データＰ４のどの部分（マクロブロックデータ）に一致するのかを示す動きベクトルデータが得られる。これらのマクロブロック毎の動きベクトルデータは、動き補償回路３３３において、フレームメモリ３３５に記憶される画像データＰ４の内の対応するマクロブロックデータを順次読み出す、即ち、動き補償を行うために用いられる。
さて、セレクタ３１４から、カレントマクロブロックデータＭＢ（Ｃ）として出力された画像データＢ５は、フィルタ回路３１５に供給される。この時、フィルタ回路３１５には、動き補償回路３２６によって動き補償された画像データＩ６が、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）として供給されると共に、動き補償回路３３３によって動き補償された画像データＰ４が、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）として供給される。フィルタ回路３１５は、カレントマクロブロックデータＭＢ（Ｃ）を、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）とに基づいてフィルタリング処理し、カレントマクロブロックデータＭＢ（Ｃ）のランダムノイズを低減する。このフィルタ回路３１５の構成及び動作に関しては後で詳しく説明する。
次に、フィルタ回路３１５から、フィルタリングされた画像データＢ５のマクロブロックデータＭＢ′（Ｃ）が出力されるのに伴い、合成回路３３７から、動き補償回路３２６からの動き補償済みの画像データＩ６のマクロブロックデータＭＢ（Ｆ）と、動き補償回路３３３からの動き補償済みの画像データＰ４のマクロブロックデータＭＢ（Ｐ）との合成マクロブロックデータが出力され、この合成マクロブロックデータがスイッチ３２５を介して加算回路３１６に供給される。従って、加算回路３１６において、画像データＢ５のマクロブロックデータから、合成マクロブロックデータが減算される。この減算によって得られた差分データは後段の各階路によって符号化される。以上の処理は、画像データＢ５の全マクロブロックデータに対して行われる。
次に符号化されるのは、画像データＰ８である。セレクタ３１４から画像データＰ８が出力される前の段階において、フレームメモリ３１１には画像データＰ８が記憶され、フレームメモリ３１２には画像データＢ７が記憶され、フレームメモリ３１３には画像データＩ６が記憶されている。
この場合、動き検出回路３２７においては、フレームメモリ３１２に記憶されている画像データＢ７の各マクロブロックと、フレームメモリ３１１に記憶されている画像データＰ８の各マクロブロックとで動き検出が行われ、画像データＢ７の各マクロブロックが、夫々画像データＰ８のどの部分（マクロブロックデータ）に一致するのかを示す動きベクトルデータが得られる。これらのマクロブロック毎の動きベクトルデータは、動き補償回路３２６において、フレームメモリ３２８に記憶されている画像データＩ６の内の対応するマクロブロックデータを順次読み出す、即ち、動き補償を行うために用いられる。ここで注意すべきことは、画像データＰ８とＢ７で得られた動きベクトルデータに基づいて、画像データＩ６のマクロブロックデータが補償されることである。
さて、セレクタ３１４から、カレントマクロブロックデータＭＤ（Ｃ）として出力された画像データＰ８は、フィルタ回路３１５に供給される。この時、フィルタ回路３１５には、動き補償回路３２６によって動き補償された画像データＩ６が、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）として供給される。フィルタ回路３１５は、カレントマクロブロックデータＭＤ（Ｃ）を、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）に基づいてフィルタリング処理し、カレントマクロブロックデータＭＤ（Ｃ）のランダムノイズを低減する。
次に、フィルタ回路３１５から、フィルタリングされた画像データＰ８のマクロブロックデータＭＢ′（Ｃ）が出力されるのに伴い、動き補償回路３２６から、画像データＩ６の動き補償済みのマクロブロックデータＭＢ（Ｆ）が、スイッチ３２５を介して加算回路３１６に供給される。従って、加算回路３１６においては、画像データＰ８のマクロブロックデータから、画像データＩ６の動き補償済みのマクロブロックデータが減算される。この減算によって得られた差分データは、後段の各回路によって符号化された後に出力端子３２２を介して出力される。以上の処理は、画像データＰ８の全マクロブロックデータに対して行われる。尚、この画像データＰ８に対して符号化処理が行われた後、フレームメモリ３２８に記憶されている画像データＩ６は、フレームメモリ３３５に記憶される。
以上の処理の間、量子化回路３１９からの符号化後の差分データは、逆量子化回路３２４及びＩＤＣＴ回路３３１において元の差分データに戻された後に、加算回路３３０に供給され、この加算回路３３０において、動き補償回路３２６からスイッチ３２５を介して供給される動き補償済みのマクロブロックデータと加算されることにより、画像データＰ８のマクロブロックデータに変換される。この画像データＰ８のマクロブロックデータは、スイッチ３２９を介してフレームメモリ３２８に供給される。以上の処理は、画像データＰ８をフレームメモリ３２８に対する記憶が終了する迄行われる。
次に符号化されるのは、画像データＢ７である。セレクタ３１４から画像データＢ７が出力される前の段階においては、フレームメモリ３１１にはフューチャフレームとして画像データＰ８が記憶され、フレームメモリ３１２にはカレントフレームとして画像データＢ７が記憶され、フレームメモリ３１３にはパーストフレームとして画像データＩ６が記憶されている。
そして、動き検出回路３２７においては、フレームメモリ３１２に記憶されている画像データＢ７の各マクロブロックと、フレームメモリ３１１に記憶されている画像データＰ８の各マクロブロックとで動き検出が行われ、画像データＢ７の各マクロブロックが、夫々画像データＰ８のどの部分（マクロブロックデータ）に一致するのかを示す動きベクトルデータが得られる。これらのマクロブロック毎の動きベクトルデータは、動き補償回路３２６において、フレームメモリ３２８に記憶されている画像データＰ８の内の対応するマクロブロックデータを順次読み出す、即ち、動き補償するために用いられる。
一方、動き検出回路３３４においては、フレームメモリ３１２に記憶されている画像データＢ７の各マクロブロックと、フレームメモリ３１３に記憶されている画像データＩ６の各マクロブロックとで動き検出が行われ、画像データＢ７の各マクロブロックが、夫々画像データＩ６のどの部分（マクロブロックデータ）に一致するのかを示す動きベクトルデータが得られる。これらのマクロブロック毎の動きベクトルデータは、動き補償回路３３３において、フレームメモリ３３５に記憶されている画像データＩ６の内の対応するマクロブロックデータを順次読み出す、即ち、動き補償するために用いられる。
さて、セレクタ３１４から、カレントマクロブロックデータＭＤ（Ｃ）として出力された画像データＢ７は、フィルタ回路３１５に供給される。この時、フィルタ回路３１５には、動き補償回路３２６によって動き補償された画像データＰ８が、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）として供給されると共に、動き補償回路３３３によって動き補償された画像データＩ６が、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）として供給される。フィルタ回路３１５は、カレントマクロブロックデータＭＤ（Ｃ）を、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）とに基づいてフィルタリング処理し、カレントマクロブロックデータＭＤ（Ｃ）のランダムノイズを低減する。
次に、フィルタ回路３１５から、フィルタリングされた画像データＢ７のマクロブロックデータＭＢ′（Ｃ）が出力されるのに伴い、合成回路３３７から、動き補償回路３２６からの動き補償済みの画像データＰ８のマクロブロックデータＭＢ（Ｆ）と、動き補償回路３３３からの動き補償済みの画像データＩ６のマクロブロックデータＭＢ（Ｐ）との合成マクロブロックデータが出力され、この合成マクロブロックデータが、スイッチ３２５を介して加算回路３１６に供給される。従って、加算回路３１６においては、画像データＢ７のマクロブロックデータから、合成マクロブロックデータが減算される。この減算によって得られた差分データは後段の各回路によって符号化され、出力端子３２２を介して出力される。以上の処理は、画像データＢ７の全マクロブロックデータに対して行われる。尚、この画像データＢ７に対して符号化処理が行われた後、フレームメモリ３２８に記憶されている画像データＰ８は、フレームメモリ３３５に記憶される。
以上のようにして、ＧＯＰ２の各フレームの画像データが符号化される。尚、他のＧＯＰも同様にして符号化される。尚、エンコーダ・コントローラ３３８は、動き検出回路３２７及び３３４からの動きベクトルデータ，動き補償のタイプを示すデータ（或いは符号化時に減算されたデータを示すデータ）等やピクチャタイプを示すデータを、符号化回路３２１に供給される圧縮差分データに付加し、更に、ＧＯＰ毎にＧＯＰの先頭を示すデータや、符号化順序を示すデータを付加する。これらのデータを付加された圧縮差分データは、上述したように、符号化回路３２１において積符号形式にされた後に出力端子３２２を介して出力され、記録又は伝送される。
［動き検出回路の一例 第４図］
次に、第４図を参照して、第２図に示した動き検出回路３２７及び３３４の一例に付いて説明する。第４図に示す動き検出回路は、ブロックマッチングと称される方法により動き検出を行うものである。尚、第２図に示したフレームメモリ３１２が、この第４図に示す現フレームメモリ４２１に対応し、第２図に示したフレームメモリ３１１や３１３が、この第４図に示す参照フレームメモリ４２３に対応する。
（動き検出回路の接続及び構成）
この第４図に示す動き検出回路は、現フレームメモリ４２１と、参照フレームメモリ４２３と、アドレス移動回路４３３と、加算回路４２４と、絶対値回路４２５と、ラッチ回路４２７と、加算回路４２６と、メモリ４２８と、最小値検出回路４２９と、ベクトル検出回路４３０と、コントローラ４３２とを備えている。
即ち、この動き検出回路は、カレント（現在）フレームの画像データを記憶するための現フレームメモリ４２１と、未来若しくは過去のフレーム（参照フレーム）の画像データを記憶するための参照フレームメモリ４２３と、参照フレームメモリ４２３に順次異なるアドレスデータを供給するアドレス移動回路４３３と、現フレームメモリ４２１からのカレントフレームの注目マクロブロックの画素データから、参照フレームメモリ４２３からの参照マクロブロックの画素データを減算する加算回路４２４と、この加算回路４２４からの減算結果の差分絶対値を得る絶対値回路４２５と、この絶対値回路４２５からの絶対値データを保持するラッチ回路４２７と、絶対値回路４２５からの出力とラッチ回路４２７からのラッチ出力を加算して各参照マクロブロック毎の差分絶対値和データを得るための加算回路４２６と、この加算回路４２６からの差分絶対値和データを記憶するメモリ４２８と、このメモリ４２８に記憶された差分絶対値和データの内の最小値を検出する最小値検出回路４２９と、この最小値検出回路４２９からの最小の差分絶対値和データによって１つの注目マクロブロックに対応する１つの動きベクトルデータを得、この動きベクトルデータを、コントローラ４３２及び第２図に示したエンコーダ・コントローラ３３８に夫々供給する動きベクトル検出回路４３０と、最小値検出回路４２９からの最小の差分絶対値和データと、動きベクトル検出回路３３０からの動きベクトルデータに基づいてアドレス移動回路４３３を制御すると共に、現フレームメモリ４２１に対する画像データの書き込みや、記憶されている画像データの読み出しの制御を行うためのコントローラ４３２とを備えている。
ここで、動きベクトル検出回路４３０は、例えば入力される差分絶対値和データに対応する動きベクトルデータ、例えば縦方向及び横方向の移動量データをＲＯＭ等から読み出すことで、入力される差分絶対値和データを動きベクトルデータに変換する。
（動き検出回路の動作）
コントローラ４３２の制御により、現フレームメモリ４２１から注目ブロックとしてのマクロブロック（８×８画素、或いは１６×１６画素）の画素データが順次繰り返し読み出される。一方、コントローラ４３２の制御により、アドレス移動回路４３３が、参照フレームメモリ４２３の記憶空間上にサーチエリアを設定し、更にそのサーチエリア内においてマクロブロックと同じ大きさの参照ブロックを設定し、その参照ブロック内においてマクロブロックと同じ大きさの参照ブロックを設定し、その参照ブロック内の画素データを順次読み出すためのアドレスデータを順次参照フレームメモリ４２３に供給する。そして、設定した参照ブロック内の画素データの読み出しが全て終了すると、アドレス移動回路４３３は、参照フレームメモリ４２３に対してアドレスデータを供給することにより、その参照ブロックの位置をサーチエリア内において１画素分ずらし、続いて順次アドレスデータを参照フレームメモリ４２３に供給することにより、１画素分ずらした参照ブロック内の画素データの読み出しを行う。
加算回路４２４においては、現フレームメモリ４２１から読み出された注目ブロック内の画素データから、参照フレームメモリ４２３から読み出された参照ブロック内の画素データが減算される。この減算結果は絶対値回路４２５に供給されて絶対値データにされた後、加算回路４２６を介してラッチ回路４２７に供給される。ラッチ回路４２７には、順次、加算回路４２６からの加算結果、即ち、差分絶対値和データが保持され、これによって、現フレームメモリ４２１内の注目ブロックと、参照フレームメモリ４２３内の１つの参照ブロックとの差分絶対値和データが、メモリ４２８に順次記憶される。そして、最終的にメモリ４２８内には、サーチエリア内に順次１画素分ずつずらされて設定される多数の注目ブロックの数だけ差分絶対値和データが記憶される。
１つの注目マクロブロックの画素データと、１つのサーチエリア内における複数個のマクロブロックの画素データとの演算が全て終了すると、最小値検出回路４２９は、メモリ４２８内の全差分絶対値和データ中から最も値の小さい差分絶対値和データを選択し、その差分絶対値和データを動きベクトル検出回路４３０に供給すると共に、コントローラ４３２に次の注目マクロブロックに付いて処理を開始させるための制御信号を供給する。
最小値検出回路４２９からの差分絶対値和データは、動きベクトル検出回路４３０に供給する。動きベクトル検出回路４３０は、最小値検出回路４２９からの差分絶対値和データに対応する動きベクトルデータを得る。動きベクトル検出回路４３０において得られた動きベクトルデータは、出力端子４３１を介して第２図に示した動き補償回路３２６，３３３及びエンコーダ・コントローラ３３８に夫々供給される。そして、エンコーダ・コントローラ３３８は、上述した手順と同様に、サーチエリアを設定した後、再び次の注目マクロブロック内の画素データと、参照ブロック内の画素データとで演算処理を行うべく、アドレス移動回路４３３及び現フレームメモリ４２１を制御する。
尚、このブロックマッチングに関する技術に付いては、米国特許第４，８９７，７２０号に記載されているので、これ以上の詳細に関しては、この米国特許を参照されたい。
再び第２図を参照すると、次の段階で、上述したビット・レート・エンコーダによって高能率符号化されたデータが、記録／再生部３３にある記録媒体に蓄積される。この記録装置としては、本実施例のようにカメラ一体型ビデオテープレコーダの場合にはビデオテープレコーダであり、また、その他の撮像装置の場合には、例えば光磁気ディスク駆動装置，固定ディスク装置等であってよい。
更に、こうして蓄積された画像圧縮データは、適当なデコーダによって復号化される。
［フィルタ回路 第５図］
第５図は、第２図に示すフィルタ回路３１５の全体の構成を示す図である。第５図に示すように、フィルタ回路は、加算回路５１１，５１９と、絶対値化回路５１２，５２０と、閾値設定回路５１７，５１８と、比較回路５１３，５２１と、カウンタ５１４，５２２と、比較回路５１５，５２３と、演算回路５１６と、フィルタ制御回路５２４とを備えている。
フィルタ制御回路５２４には、システムコントローラ５から、エンコーダコントローラ３３８を介して、フィルタ制御信号が供給される。このフィルタ制御信号は、システムコントローラ５がゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂに対して供給したゲイン制御信号に対応している信号である。フィルタ制御回路５２４は、システムコントローラから供給されたフィルタ制御信号に基づいて、閾値設定回路５１７に対して供給される閾値係数αと、閾値設定回路５１８に対して供給される閾値係数βと、演算回路５１６に供給されるフィルタ係数ｋとを生成する。尚、閾値係数αと、閾値係数ｋは、ゲイン制御信号によって示されるゲインレベルと連動している。
加算回路５１１は、セレクタ回路（第２図の符号３１４）から入力されたカレントフレームのマクロブロックデータＭＢ（Ｃ）から、これに対応するパーストフレームの動き補償済みのマクロブロックデータＭＢ（Ｐ）を減算し、減算結果となる差分データを絶対値化回路５１２に対して出力する。一方、加算回路５１９は、セレクタ（第２図の符号３１４）から供給されたカレントフレームのマクロブロックデータＭＢ（Ｃ）から、これに対応するフューチャフレームの動き補償済みのマクロブロックデータＭＢ（Ｆ）を減算し、減算結果となる差分データを絶対値化回路５２０に対して出力する。
絶対値化回路５１２は、加算回路５１１から入力された差分データの絶対値を算出し、その絶対値を差分絶対値データとして比較回路５１３の一方の入力に対し出力する。同様に、絶対値化回路５２０は、加算回路５１９から入力された差分データの絶対値を算出し、その絶対値を差分絶対値データとして比較回路５２１の一方の入力に対し出力する。
閾値設定回路５１７は、比較回路５１３と比較回路５２１に供給される閾値を生成するための回路である。閾値設定回路５１７は、フィルタ制御回路５２４から供給される閾値係数αに基づいて、閾値Ｔαを生成する。生成された閾値Ｔαは、比較回路５１３及び比較回路５２１の他方の入力に夫々供給される。
比較回路５１３は、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間に相関があるか否かを判断するための回路である。具体的には、絶対値化回路５１２から供給される差分絶対値データと、閾値設定回路５１７から供給される閾値Ｔαとを比較して、この比較結果に応じて、相関判定データＣＪ（Ｐ）を、カウンタ回路５１４及び演算回路５１６に供給する。比較回路５１３は、差分絶対値データが閾値Ｔαより小さい場合には、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間に相関があると判断して、相関判定データＣＪ（Ｐ）として理論値「１」を出力する。一方、比較回路５１３は、差分絶対値データが閾値Ｔαより大きい場合には、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間に相関がないと判断して、相関判定データＣＪ（Ｐ）として理論値「０」を出力する。
同様に、比較回路５２１は、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）との間に相関があるか否かを判断するための回路である。具体的には、絶対値化回路５２０から供給される差分絶対値データと、閾値設定回路５１７から供給される閾値Ｔαとを比較して、この比較結果に応じて、相関判定データＣＪ（Ｆ）を、カウント回路５２２及び演算回路５１６に供給する。比較回路５２１は、差分絶対値データが閾値Ｔαより小さい場合には、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）との間に相関があると判断して、相関判定データＣＪ（Ｆ）として理論値「１」を出力する。一方、比較回路５１３は、差分絶対値データが閾値Ｔαより大きい場合には、カレントマクロブロックデータＭＢ（Ｃ）と動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）との間に相関がないと判断して、相関判定データＣＪ（Ｆ）として理論値「０」を出力する。
ここで、閾値設定回路５１７によって設定される閾値Ｔαは、フィルタ制御回路５２４から供給される閾値係数αによって設定される値である。この閾値Ｔαの値は、システムコントローラ５が、ゲイン制御信号によって可変されたゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルと関連づけられており、ゲインレベルと比例するように可変される。例えば、閾値Ｔαが固定値であり、且つ、説明上、カレントマクロブロックデータＭＤ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間に相関がある場合について考えてみる。ゲインが０ｄＢの状態においては、カレントマクロブロックデータＭＤ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間には相関があるので、絶対値化回路５１２の出力の差分データが、固定閾値Ｔαより小さくなり、相関判定データＣＪ（Ｐ）として「１」が出力される。この状態において、０ｄＢから９ｄＢにゲインアップしたとすると、カレントマクロブロックデータＭＤ（Ｃ）とバーストマクロブロックデータＭＢ（Ｐ）との差分データがこのゲインアップによって大きくなってしまい、結果として、この差分データが固定閾値Ｔαより大きくなってしまう場合がある。このように、ゲインアップすることによって、この例においては、カレントマクロブロックデータＭＤ（Ｃ）と動き補償されたパーストマクロブロックデータＭＢ（Ｐ）との間の相関判定が異なっては問題である。
したがって、本実施例においては、閾値設定回路５１７は、システムコントローラ５からのフィルタ制御信号に基づいて、制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルに比例したレベルを有する閾値Ｔαを生成する。具体的には、システムコントローラ５が、ゲイン制御信号を供給することによって、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルを０ｄＢから９ｄＢにゲインアップすると、このフィルタ回路５２４は、システムコントローラ５からゲインアップを示すフィルタ制御信号を受け取り、閾値設定回路５１７に対して閾値係数αを供給する。閾値設定回路５１７は、閾値係数αに基づいて、閾値Ｔαのレベルを０ｄＢから９ｄＢに可変する。このようにすることによって、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインが可変されたとしても、相関判定データＣＪ（Ｐ）の結果が変わることはない。
カウンタ回路５１４は、比較回路５１３の相関判定データＣＪ（Ｐ）が理論値１となるカレントフレームのマクロブロックデータの画素数をマクロブロック毎に計数し、その計数値Ｃ（Ｐ）を比較回路５１５に対して出力する。即ち、相関有りが、マクロブロック内でどの位有るかをカウントしている。同様に、カウンタ回路５２２は、比較回路５２１の相関判定データＣＪ（Ｆ）が理論値１となるカレントフレームのマクロブロックデータの画素数をマクロブロック毎に計数し、その計数値Ｃ（Ｆ）を比較回路５２３に対して出力する。
比較回路５１５は、動き補償されたバーストマクロブロックデータＭＢ（Ｐ）の動き補償回路３３３における動き補償処理が適切であったか否かを判断するための回路である。カウンタ５１４から供給される係数値Ｃ（Ｐ）と、閾値設定回路５１８から供給される閾値Ｔβとをマクロブロック毎に比較して、この比較結果に応じて、動き補償判定データＶＪ（Ｐ）を、演算回路５１６に供給する。比較回路５１５は、係数値Ｃ（Ｐ）が閾値Ｔβより大きい場合には、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）の動き補償処理が適切であったと判断して、動き補償判定データＶＪ（Ｐ）として理論値「１」を出力する。一方、比較回路５１５は、計数値Ｃ（Ｐ）が閾値Ｔβより小さい場合には、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）の動き補償処理が不適切であったと判断して、動き補償判定データＶＪ（Ｐ）として理論値「０」を出力する。
同様に、比較回路５２３は、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）の、動き補償回路３２６における動き補償処理が適切であったか否かを判断するための回路である。カウンタ５２２から供給される計数値Ｃ（Ｆ）と、閾値設定回路５１８から供給される閾値Ｔβとをマクロブロック毎に比較して、この比較結果に応じて、動き補償判定データＶＪ（Ｆ）を、演算回路５１６に供給する。比較回路５２３は、計数値Ｃ（Ｆ）が閾値Ｔβより大きい場合には、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）の動き補償処理が適切であったと判断して、動き補償判定データＶＪ（Ｆ）として理論値「１」を出力する。一方、比較回路５２３は、計数値Ｃ（Ｆ）が閾値Ｔβより小さい場合には、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）の動き補償処理が不適切であったと判断して、動き補償判定データＶＪ（Ｆ）として理論値「０」を出力する。
閾値設定回路５１８は、フィルタ制御回路５２４から供給された閾値計数に基づいて、閾値Ｔβを生成する。この閾値Ｔβは、閾値設定回路５１７において生成される閾値Ｔαとは異なって、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルと関連付けられてはいない。従って、閾値Ｔβは固定値であってもよいが、より好ましくは、動き補償回路３２６及び３３３の動き補償精度に応じて可変することが良い。
演算回路５１６には、相関判定データＣＪ（Ｐ），ＣＪ（Ｆ）と、動き補償判定データＶＪ（Ｐ），ＶＪ（Ｆ）と、カレント（現在）フレームのマクロブロックデータＭＢ（Ｃ）と、パースト（過去）フレームの動き補償済みのマクロブロックデータＭＢ（Ｐ）と、フューチャ（未来）フレームの動き補償済みのマクロブロックデータＭＢ（Ｆ）と、フィルタ制御回路５２４からフィルタ係数ｋとが入力される。そして、演算回路５１６は、パースト（過去）フレームのマクロブロックデータＭＢ（Ｐ）及びフューチャ（未来）フレームのマクロブロックデータＭＢ（Ｆ）の両方又はいずれか一方を用いてカレント（現在）フレームのマクロブロックデータＭＢ（Ｃ）をフィルタリングし、フィルタリングデータＭＢ′（Ｃ）として出力する。
演算回路５１６は、第１段階として、式（１）
MB″(C)={P・MB(P)＋C・MB(C)+F・MB(F)}/4 ………（１）
に基づいて、加重平均ＭＢ″（Ｃ）を演算する。ここで、ＭＢ（Ｐ）は、パーストマクロブロックデータＭＢ（Ｐ）の画素データであって、ＭＢ（Ｃ）は、カレントマクロブロックデータＭＤ（Ｃ）の画素データであって、ＭＢ（Ｆ）は、フューチャマクロブロックデータＭＢ（Ｆ）の画素データである。また、「Ｐ」、「Ｃ」，「Ｆ」は、夫々ＭＢ（Ｐ）、ＭＢ（Ｃ）、ＭＢ（Ｆ）の重み付け計数を示す。この重み付け計数は、演算回路５１６に供給される相関判定データと動き補償判定データとに基づいて選択される。具体的には、表１に示されるように、重み付け計数「Ｐ」，「Ｃ」，「Ｆ」が設定されている。

但し、表１中、「×」は、「don't care」を意味し、０又は１の何れであってもよい。
この表１において示されるように、相関判定データＣＪ（Ｐ）が「１」、相関判定データＣＪ（Ｆ）が「０」、動き補償判定データＶＪ（Ｐ）が「１」、且つ、動き補償判定データＶＪ（Ｆ）が「１」のときは、重み付け係数Ｐ，Ｃ，Ｆは、夫々「１」「２」「１」とされる。つまり、この場合は、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）及び動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）の両方のマクロブロックデータを使用して、カレントマクロブロックデータＭＤ（Ｃ）をフィルタリングすることになる。しかし、相関判定データＣＪ（Ｐ）が「１」及び動き補償判定データＶＪ（Ｐ）が「１」であったとしても、相関判定データＣＪ（Ｆ）が「０」又は動き補償判定データＶＪ（Ｆ）が「０」のときは、重み付け係数Ｐ，Ｃ，Ｆは、夫々、「２」「２」「０」とされる。つまり、この場合は、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）を使用せずに、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）のみを使用して、カレントマクロブロックデータＭＤ（Ｃ）をフィルタリングすることになる。また、相関判定データＣＪ（Ｆ）が「１」及び動き補償判定データＶＪ（Ｆ）が「１」であったとしても、相関判定データＣＪ（Ｐ）が「０」又は動き補償判定データＶＪ（Ｐ）が「０」のときは、重み付け計数Ｐ，Ｃ，Ｆは、夫々、「０」「２」「２」とされる。つまり、この場合は、動き補償されたパーストマクロブロックデータＭＢ（Ｐ）を使用せずに、動き補償されたフューチャマクロブロックデータＭＢ（Ｆ）のみを使用して、カレントマクロブロックデータＭＢ（Ｃ）をフィルタリングすることになる。
次に、演算回路５１６は、第２段階として、式（２）
MB′(C)=MB(C)-k[MB(C)-{P・MB(P)+C・MB(C)+F・MB(F)}/4]
=(1-k)MB(C)+K[{P・MB(P)+C・MB(C)+F・MB(F)}/4]
=(1-k)MB(C)+KMB″(C) （２）
に基づいて、フィルタリングされたカレントマクロブロックデータＭＢ′（Ｃ）を演算する。但しフィルタ係数ｋの値は０≦ｋ≦１の範囲の値を有し、フィルタ制御回路５２４から供給される値である。このフィルタ係数は、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルの変動に応じて可変される値であって、例えば、表２のように予め設定されている。

即ち、ゲインが低い時、例えば、０ｄＢの時は、ｋ＝０．３となり、ＭＢ（Ｃ）：ＭＢ″（Ｃ）＝０．７：０．３とり、フィルタリングデータＭＢ′（Ｃ）における加重平均ＭＢ″（Ｃ）の比率が相対的に低い。その後、カメラマンによってゲインが高く切り換えられ、例えば１２ｄＢとなると、ｋ＝０．８となり、ＭＢ（Ｃ）：ＭＢ″（Ｃ）＝０．２：０．８となり、フィルタリングデータＭＢ′（Ｃ）における加重平均ＭＢ″（Ｃ）の比率が相対的に高くなる。更に、ゲインが高く切り換えられ、例えば２４ｄＢ以上になると、ｋ＝１．０となり、ＭＢ（Ｃ）：ＭＢ″（Ｃ）＝０：１．０となり、式（１）に示すように、フィルタリングデータＭＢ′（Ｃ）は加重平均ＭＢ″（Ｃ）の値と等しくなる。
この例では、フィルタ係数ｋの値として、表２のように予め設定された値を使用するようにしたが、ゲイン制御回路２２Ｒ，２２Ｇ，２２Ｂのゲインレベルに応じて、閾値係数ｋの値を線型的に可変するようにしても良い。
このように、式（１）によって、フレーム間の画像データの加重平均を算出することは、カレントフレームのデータを時間的にローパスフィルタによりフィルタリングすることと等価であり、カレントデータをそのまま映像化した場合に比較してノイズ等が少なくなるので画質が向上する。表１に示すように重み付けを行うことにより、動き補償が適切に行われなかったマクロブロック間の加重平均及び相関が小さい画素間の加重平均の算出によるフィルタリングを防止することが出来るので、演算回路５１６によるフィルタリングの結果、かえってフィルタリングデータＭＢ′（Ｃ）の画質が低下することはない。
さらに、式（２）によって、フィルタ回路３１５の演算回路５１６は、ゲイン制御レベルに連動したフィルタ係数ｋを使用してカレントマクロブロックデータＭＢ′（Ｃ）を演算しているので、ゲイン制御レベルに応じたマクロブロックデータＭＢ′（Ｃ）を生成することができる。言い換えると、ゲイン制御レベルに連動した閾値係数ｋに応じて、マクロブロックデータＭＢ′（Ｃ）に使用されるカレントマクロブロックデータＭＢ（Ｃ）との比重と加重平均ＭＢ″（Ｃ）の比重とを可変している。従って、ゲインアップするとそれに連動してフィルタ係数ｋの値が高くなり、マクロブロックデータＭＢ′（Ｃ）における加重平均ＭＢ″（Ｃ）の比重を高くすることができる。よって、ゲインをアップするほど、フィルタリング特性がアップする。
（フィルタ回路の動作）
フィルタ回路３１５において、加算回路５１１，絶対値化回路５１２及び比較回路５１３は、カレントデータの画像データＭＢ（Ｃ）とパーストデータの画像データＭＢ（Ｐ）との画素毎の相関を判定して相関判定データＣＪ（Ｐ）を比較回路５１５及び演算回路５１６に対して出力する。
また、加算回路５１９，絶対値化回路５２０及び比較回路５２１は、カレントデータの画像データＭＢ（Ｃ）とフューチャデータの画像データＭＢ（Ｆ）との画素毎の相関を判定して相関判定データＣＪ（Ｆ）を比較回路５２３及び演算回路５１６に対して出力する。
カウンタ回路５１４及び動き補償適否判定のための比較回路５１５は、カレントデータのマクロブロックの画像データＭＢ（Ｃ）とパーストデータの対応するマクロブロックの画像データＭＢ（Ｐ）との画素毎の相関、即ち、ビット・レート・エンコーダ３１（第２図参照）においてこれらのマクロブロック間に行われた動き補償処理が適切であったか否かを判定し、動き補償判定データＶＪ（Ｐ）を演算回路５１８に対して出力する。
カウンタ回路５２２及び動き補償のための比較回路５２３は、カレントデータのマクロブロックの画像データＭＢ（Ｃ）とフューチャデータの対応するマクロブロックの画像データＭＢ（Ｆ）との画素毎の相関、即ち、ビット・レート・エンコーダ・エンコーダ３１においてこれらのマクロブロック間に行われた動き補償処理が適切であったか否かを判定し、動き補償判定データＶＪ（Ｆ）を演算回路５１６に対して出力する。
演算回路５１６は、相関判定データＣＪ（Ｐ），ＣＪ（Ｆ）及び動き補償判定データＶＪ（Ｐ），ＶＪ（Ｆ）夫々の論理値に基づいて、カレントデータＭＢ（Ｃ），パーストデータＭＢ（Ｐ）及びフューチャデータＭＢ（Ｆ）に対して、表１に示した重み付け係数を選択する。演算回路５１６は式（１）に示した演算処理を行ってカレントデータＭＢ（Ｃ）をフィルタリングし、フィルタリングデータＭＢ′（Ｃ）として出力する。
上述のように、フィルタ回路３１５は、カレントデータＭＢ（Ｃ）と相関が大きい画像データのみを用いてフィルタリングを行うので、カレントデータＭＢ（Ｃ）とは相関が全く無いか又は有っても非常に小さいランダムノイズは実質的に排除され、加重平均ＭＢ″（Ｃ）に影響を与えない。この時、カメラマンのゲインアップに連動して変動するフィルタ係数ｋにより、フィルタリングデータＭＢ′（Ｃ）における加重平均ＭＢ″（Ｃ）の比率を一層高いものとすることにすることにより、ゲインアップをしてもランダムノイズは実質的に排除されたものとなる。
また、フィルタ回路３１５によりフィルタリングを行うことにより、圧縮符号化の際にＤＣＴを行った場合にカレントデータＭＢ（Ｃ）に生じ易いモスキートノイズを抑えることができ、映像のＳ／Ｎ比も改善される。同様に、この時、カメラマンのゲインアップに連動して、動き補償適否判定の閾値が変化し、高いものとなっている。
なお、実施例においては、フィルタ回路３１５はＭＰＥＧデータのＢピクチャに対応するカレントデータＭＢ（Ｃ）の画像データのみをフィルタリングするように構成したが、他のピクチャの画像データに対してもフィルタリングを行うように構成してもよい。
また、フィルタ回路３１５はカレントデータＭＢ（Ｃ）の直前及び直後のフレームの画像データのみを用いてフィルタリングを行うように構成したが、更に２つ前のフレーム或いは２つ後のフレームの画像データを用いてフィルタリングするように構成してもよい。
また、実施例においては、フィルタ３１５がカレントデータＭＢ（Ｃ），パーストデータＭＢ（Ｐ）及びフューチャデータＭＢ（Ｆ）に対する重み付けを、処理の容易性の観点から整数比としたが、フィルタリング特性の向上のために他の値としてもよい。
発明の効果
以上説明したように、本発明に係る撮像装置及び撮像信号のノイズを除去する方法によれば、ランダムノイズを実質的に除去した画像データを画像圧縮して記憶又は伝送することが出来る。
ノイズの除去は、上述のフィルタ回路においてなされ、ノイズが除去された画像データを用いて画像圧縮がなされる。従って、カメラマンが撮像信号のゲインを上げたとしても、その後段でなされる画像圧縮過程でノイズが動きと捉えられるようなことはない。
ゲインアップしたときのランダムノイズが減少し、その結果としてランダムノイズに対してビットの割り当てが減少するので、画像データに対して十分なビットを確保することができ、符号化時のビット割り当て減少による画質劣化を有効に回避することができる。
さらに、フィルタ回路に供給される動き補償されたマクロブロックデータを生成するための動き補償回路と、相方向の符号化に使用される動き補償回路とを共通の回路としているので、フィルタリングするために新たに動き補償回路を設ける必要がなく、非常に簡単な回路構成が実現できる。
本発明によれば、画像信号の利得を可変した場合でも、撮像結果に対するビット配分がノイズに集中しない撮像装置を提供することが出来る。
更に、本発明によれば、利得が変化させた場合に、この利得の変化に連動してノイズを減少する撮像装置を提供することが出来る。

Claims (18)

1. 撮像デバイスを備えた撮像システムにおいて、
   （ａ）上記撮像デバイスから出力されたビデオデータのゲインを制御するゲイン制御手段と、
   （ｂ）上記ゲイン制御手段によってゲインが制御されたビデオデータのランダムノイズを抑圧するためのフィルタ手段と、上記フィルタ手段によってフィルタリングされたビデオデータを符号化する符号化手段とを有したビットレートエンコーダと、
   （ｃ）上記ビデオデータのゲインが、カメラマンによって指定されたゲインとなるように上記ゲイン制御手段を制御すると共に、上記フィルタ手段のフィルタリング特性が、上記指定されたゲインに対応したフィルタリング特性となるように上記フィルタ手段を制御するシステムコントローラとを備えた撮像システム。
2. 上記システムコントローラは、
   上記ゲイン制御手段によってゲインアップに連動して、上記フィルタ手段のフィルタリング特性を向上させるように上記フィルタ手段を制御する請求項１記載の撮像システム。
3. 上記ビットレートエンコーダは、
   現在フレームのビデオデータに対して時間的に未来のデータとなる未来フレームのビデオデータの動き補償をマクロブロック単位で行なう動き第１の動き補償手段と、現在フレームのビデオデータに対して時間的に過去のデータとなる過去フレームのビデオデータの動き補償をマクロブロック単位で行なう第２の動き補償手段とを備え、
   上記フィルタ手段は、
   上記第１の動き補償手段によって動き補償された未来フレームのマクロブロックデータと、上記第２の動き補償手段によって動き補償された過去フレームのマクロブロックデータとに基づいて、上記現在フレームのマクロブロックデータをフィルタリングする請求項１記載の撮像システム。
4. 上記ビットレートエンコーダの符号化手段は、
   上記第１の補償手段によって動き補償された未来フレームのマクロブロックデータ及び上記第２の動き補償手段によって動き補償された過去フレームのマクロブロックデータの両方のマクロブロックデータを使用して、上記現在フレームのマクロブロックデータを符号化する、又は、上記第１の補償手段によって動き補償された未来フレームのマクロブロックデータ又は上記第２の動き補償手段によって動き補償された過去フレームのマクロブロックデータの何れか一方を使用して、上記現在フレームのマクロブロックデータを符号化する請求項３記載の撮像システム。
5. 上記フィルタ手段の動き補償手段は、上記符号化手段の動き補償手段と共通の回路である請求項４記載の撮像システム。
6. 上記フィルタ手段は、
   第１の重み付け係数によって重み付けされた上記現在フレームのマクロブロックデータと、第２の重み付け係数によって重み付けされた上記動き補償された未来フレームのマクロブロックデータと、第３の重み付け係数によって重み付けされた上記動き補償された過去フレームのマクロブロックデータと加重平均の値となる加重平均マクロブロックデータを生成する請求項３記載の撮像システム。
7. 上記フィルタ手段は、
   上記現在のマクロブロックデータと上記加算平均マクロブロックデータとから、上記フィルタ手段から出力されるフィルタリングマクロブロックデータを生成する請求項６記載の撮像システム。
8. 上記フィルタ手段は、
   上記現在フレームのマクロブロックデータに対する上記動き補償された未来フレームのマクロブロックデータ又は上記動き補償された過去フレームのマクロブロックデータの相関、及び、上記第１の動き補償手段又は上記第２の動き補償手段における動き補償処理の適切さとに基づいて、上記第１の重み付け係数、上記第２の重み付け係数及び上記第３の重み付け係数を選択する請求項６記載の撮像システム。
9. 上記現在フレームのマクロブロックデータに対して上記動き補償された未来フレームのマクロブロックデータが相関がない場合には、上記第２の重み付け係数は０とされ、上記現在フレームのマクロブロックデータに対して上記動き補償された過去フレームのマクロブロックデータが相関がない場合には、上記第３の重み付け係数は０とされる請求項６記載の撮像システム。
10. 上記フィルタ手段は、
    上記指定されたゲインに対応するように生成されたフィルタ係数に基づいて、上記フィルタ手段から出力される上記フィルタリングマクロブロックデータにおける、上記現在のマクロブロックデータ及び上記加重平均マクロブロックデータの割合を可変する請求項７記載の撮像システム。
11. 上記フィルタ手段は、
    上記ゲイン制御手段のゲインのアップに伴って、上記フィルタリングマクロブロックデータにおける上記加重平均マクロブロックデータの割合をアップする請求項７記載の撮像システム。
12. 上記現在フレームのマクロブロックデータと上記動き補償された未来フレームのマクロブロックデータとの間の相関を有無を示す第１の相関判定データと、上記現在フレームマクロブロックデータと上記動き補償された過去フレームのマクロブロックデータとの間の相関の有無を示す第２の相関判定データと、上記第１の動き補償手段によって動き補償された未来フレームのマクロブロックデータの動き補償が適切であたっか否かを示す第１の動き補償判定データと、上記第２の動き補償手段によって動き補償された過去フレームのマクロブロックデータの動き補償が適切であったか否かを示す第２の動き補償判定データとに基づいて、上記第１の重み付け係数、上記第２の重み付け係数及び上記第３の重み付け係数を選択する請求項６記載の撮像システム。
13. 上記第１の相関判定データは、
    上記現在フレームのマクロブロックデータと上記動き補償された未来フレームのマクロブロックデータとの差分データと設定閾値との比較結果に基づいて得られ、
    上記フィルタ手段は、
    上記ゲイン制御手段のゲインに応じて、上記設定閾値を可変する請求項１２記載の撮像システム。
14. ビデオデータをマクロブロックデータ単位で符号化する符号化装置において、
    （ａ）上記符号化されるビデオデータのゲインを符号化する符号化装置において、
    （ｂ）上記ゲイン制御手段によってゲインが制御されたビデオデータのノイズを抑圧するためのフィルタ手段と、上記フィルタ手段によってフィルタリングされたビデオデータを符号化する符号化手段とを有したビットレートエンコーダと、
    （ｃ）上記符号化されるビデオデータのゲインが、所望のゲインとなるように上記ゲイン制御手段を制御すると共に、上記フィルタ手段のフィルタリング特性が、上記所望のゲインに対応したフィルタリング特性となるように上記フィルタ手段を制御する制御手段とを備えた符号化装置。
15. ビデオデータをマクロブロック単位で符号化する符号化方法において、
    （ａ）上記符号化されるビデオデータが所望のゲインとなるようにゲインを制御するステップと、
    （ｂ）上記所望のゲインに対応したフィルタリング特性となるようにフィルタリング特性が可変させられたフィルタ手段によって、上記ゲイン制御されたビデオデータをフィルタリングすることによってノイズを抑圧するステップと、
    （ｃ）上記フィルタリングされたビデオデータを符号化するステップとから成る符号化方法。
16. 画像データのゲインを任意のゲインに制御するゲイン制御手段と、
    前記画像データを動画像圧縮標準にしたがってデータ圧縮するビット・レート・エンコーダ手段とを備えた撮像装置において、
    画像データの相関を利用し、該画像データをフィルタリングすることによって、該画像データに含まれるランダムノイズを抑圧するフィルタ回路を設け、該フィルタ回路は前記ゲインに連動して該フィルタ回路のフィルタリング特性を変化させることを特徴とする画像処理装置。
17. 撮像ブロックと、信号処理ブロックと、記録再生ブロックとを有した撮像システムにおいて、
    撮像データのゲインを任意に切換可能なゲイン制御手段と、
    撮像データのフィルタリングを行うフィルタ回路と、
    撮像データのデータ圧縮を行うデータ圧縮手段とをもち、
    前記フィルタリングは前記ゲインの切り換えに連動して該フィルタ回路のフィルタリング特性を変更して、上記撮像データに含まれるランダムノイズを減少する撮像システム。
18. 画像データのゲインを任意に切り換えるステップと、
    所定の画像データから、前記ゲインの切り換えに連動して、可変されるフィルタリング特性を有したフィルタ手段によって、フィルタリングデータを生成するステンップと、
    フィルタリングされた画像データを画像圧縮するステップと、
    画像圧縮された前記画像データを記録するステップとを含む画像データに含まれるランダムノイズを除去する方法。

Images