JPH1175154A - 画像記録装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 動画像を効率的に符号化するようにする。 【解決手段】 撮像装置１により撮像された動画像は、
Ａ／Ｄ変換器２においてデジタルの動画像データに変換
された後、カメラ圧縮制御装置６および圧縮装置３に供
給される。圧縮装置３に供給された動画像データは、圧
縮され、動きベクトルや動き補償した結果の残差等がカ
メラ圧縮制御装置６に供給される。カメラ圧縮制御装置
６により、動きベクトルや動き補償した結果の残差等に
基づいて、入力画像の解像度や画素数が設定され、圧縮
装置３により、次に入力された動画像データが、いま設
定された解像度や画素数のデータに変換された後、圧縮
され、書き込み装置４により記録媒体５に記録される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像記録装置およ
び方法に関し、例えば、撮像した画像に応じた圧縮符号
化を行い、所定の記録媒体に記録する画像記録装置およ
び方法に関する。

【０００２】

【従来の技術】従来より、入力された画像を一旦符号化
し、符号化によって発生した情報量を全シーケンスに渡
って測定し、入力画像系列の特徴を割り出してから、入
力画像に対してその特徴に合わせた符号化制御を行うこ
とにより、圧縮伸張後の画質を向上させる手法が知られ
ている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記手
法は、符号化処理のリアルタイム性が必須とされるシス
テムでは全く意味をなさない。なぜなら、動画を撮像す
るデジタルビデオカメラ等のように、随時入力される画
像を圧縮符号化しながら記録媒体上で書き換えを行うよ
うな場合には、処理の負荷が大きすぎて実行不可能であ
る課題があった。

【０００４】また、対象とする動画像に対してやみくも
にエンコード設定し、圧縮符号化処理を行っても、その
画像系列の特徴に合わせた符号化処理には及ばない。例
えば、圧縮するときの各ピクチャへの情報量の割り振り
を、何のデータもなく決定し、圧縮符号化処理を実行し
たとしても、その撮影対象の画像系列の特徴に合致する
とは限らない課題があった。

【０００５】従って、１回の実時間符号化処理で、少し
でも圧縮符号化対象となる動画像の系列の特徴に応じた
符号化処理を行うことが求められる。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、画像系列の変化に対して、適応的にエンコ
ード制御を行い、効率の良い符号化を行うことができる
ようにするものである。

【０００７】

【課題を解決するための手段】請求項１に記載の画像記
録装置は、撮影開始後の所定数の第１のフレームを圧縮
符号化したときの情報量を計測する計測手段と、計測手
段によって計測された情報量に応じて、第１のフレーム
の後に続く所定数の第２のフレームの圧縮符号化方法を
決定する決定手段と、決定手段により決定された圧縮符
号化方法に従って、第２のフレームを圧縮符号化する圧
縮符号化手段と、圧縮符号化手段によって圧縮符号化さ
れた第２のフレームを記録媒体に記録する記録手段とを
備えることを特徴とする。

【０００８】請求項５に記載の画像記録方法は、撮影開
始後の所定数の第１のフレームを圧縮符号化したときの
情報量を計測する計測ステップと、計測ステップによっ
て計測された情報量に応じて、第１のフレームの後に続
く所定数の第２のフレームの圧縮符号化方法を決定する
決定ステップと、決定ステップにより決定された圧縮符
号化方法に従って、第２のフレームを圧縮符号化する圧
縮符号化ステップと、圧縮符号化ステップによって圧縮
符号化された第２のフレームを記録媒体に記録する記録
ステップとを備えることを特徴とする。

【０００９】請求項６に記載の画像記録装置は、フレー
ムを構成する各マクロブロック毎に動きベクトルを検出
する検出手段と、動きベクトルに基づいて各マクロブロ
ックに対して動き補償を行い、動き補償する前後の対応
するマクロブロック同士の残差を演算する演算手段と、
動きベクトルおよび残差に基づいて、フレームを入力す
るときの解像度および画素数を所定数のフレーム単位で
決定する決定手段と、フレームを決定手段によって決定
された解像度および画素数のフレームに変換し、圧縮符
号化する圧縮符号化手段とを備えることを特徴とする。

【００１０】請求項７に記載の画像記録方法は、フレー
ムを構成する各マクロブロック毎に動きベクトルを検出
する検出ステップと、動きベクトルに基づいて各マクロ
ブロックに対して動き補償を行い、動き補償する前後の
対応するマクロブロック同士の残差を演算する演算ステ
ップと、動きベクトルおよび残差に基づいて、フレーム
を入力するときの解像度および画素数を所定数のフレー
ム単位で決定する決定ステップと、フレームを決定ステ
ップによって決定された解像度および画素数のフレーム
に変換し、圧縮符号化する圧縮符号化ステップとを備え
ることを特徴とする。

【００１１】請求項１に記載の画像記録装置および請求
項５に記載の画像記録方法においては、撮影開始後の所
定数の第１のフレームを圧縮符号化したときの情報量を
計測し、計測された情報量に応じて、第１のフレームの
後に続く所定数の第２のフレームの圧縮符号化方法を決
定し、決定された圧縮符号化方法に従って、第２のフレ
ームを圧縮符号化し、圧縮符号化された第２のフレーム
を記録媒体に記録する。

【００１２】請求項６に記載の画像記録装置および請求
項７に記載の画像記録方法においては、フレームを構成
する各マクロブロック毎に動きベクトルを検出し、動き
ベクトルに基づいて各マクロブロックに対して動き補償
を行い、動き補償する前後の対応するマクロブロック同
士の残差を演算し、動きベクトルおよび残差に基づい
て、フレームを入力するときの解像度および画素数を所
定数のフレーム単位で決定し、フレームを決定された解
像度および画素数のフレームに変換し、圧縮符号化す
る。

【００１３】

【発明の実施の形態】図１は、本発明の画像記録装置を
応用したデジタルビデオカメラ等の動画像圧縮記録装置
の一実施の形態の構成例を示すブロック図である。撮像
装置１は、所定の被写体の画像を撮像し、対応する画像
信号を出力するようになされている。Ａ／Ｄ変換器２
は、撮像装置１からの画像信号をデジタルの画像データ
に変換し、圧縮装置３（圧縮符号化手段）およびカメラ
圧縮制御装置６（計測手段）に供給するようになされて
いる。圧縮装置３は、Ａ／Ｄ変換器２からの画像データ
に対して符号化処理を施し、符号化されたビットストリ
ームを書き込み装置４（記録手段）に供給するととも
に、動きベクトル等の情報をカメラ圧縮制御装置６に供
給するようになされている。

【００１４】カメラ圧縮制御装置６は、圧縮装置３から
の情報に基づいて、Ａ／Ｄ変換器２より供給される画像
データに応じた適切な符号化のためのパラメータ（例え
ば、後述するフィルタ係数や画素数）等を決定し、圧縮
制御信号として圧縮装置３に供給したり、後述する書き
込み装置４に対して、記録の開始や停止等を指示する記
録制御信号を供給するようになされている。書き込み装
置４は、カメラ圧縮制御装置６からの記録制御信号に基
づいて、圧縮装置３より供給される符号化された画像デ
ータを光ディスク等の記録媒体５に書き込むようになさ
れている。

【００１５】図２は、図１の圧縮装置３の詳細な構成例
を示すブロック図である。前処理装置１１は、フィルタ
演算器１２および間引き処理器１３により構成され、図
１のカメラ圧縮制御装置６より供給される圧縮制御信号
（符号化のためのパラメータ）に基づいて、入力画像を
適切な解像度および画素数の画像に変換し、出力するよ
うになされている。動きベクトル検出装置１４（検出手
段）は、画像データを一時的に蓄えるフレームメモリ１
５と、順方向および逆方向のフレーム間の動きベクトル
を検出する動き検出器１６により構成され、前処理装置
１１からの画像データから、動きベクトル、即ち、フレ
ーム間の動き量を検出し、符号化装置１７（演算手段）
に供給するようになされている。

【００１６】符号化装置１７は、動きベクトル検出装置
１４より供給される動きベクトルに基づいて、前処理装
置１１からの画像データに対して符号化処理を施し、図
１の書き込み装置４に供給するようになされている。即
ち、符号化装置１７を構成する離散コサイン変換（ＤＣ
Ｔ）器２０は、加算器１８を介して供給される画像デー
タに対して離散コサイン変換処理を行い、量子化器２１
に供給するようになされいている。量子化器２１は、Ｄ
ＣＴ器２０からの画像データに対して量子化処理を施
し、可変長符号化器２７および逆量子化器２２に供給す
るようになされている。

【００１７】逆量子化器２２は、量子化器２１より供給
される量子化された画像データに対して、逆量子化処理
を施し、逆ＤＣＴ器２３に供給するようになされてい
る。逆ＤＣＴ器２３は、逆量子化器２２からの逆量子化
された画像データに対して逆ＤＣＴ変換を施した後、加
算器２４に供給するようになされている。加算器２４
は、逆ＤＣＴ器２３からの画像データと、後述する動き
補償器２６からの動き補償された画像データとを加算
し、フレームメモリ２５に供給するようになされてい
る。

【００１８】フレームメモリ２５は、加算器２４からの
画像データを記憶し、動き補償器２６に供給する。動き
補償器２６は、フレームメモリ２５からの画像データに
対して動き補償を行い、加算器２４に供給するととも
に、スイッチ１９を介して加算器１８にも供給するよう
になされている。

【００１９】可変長符号化器２７は、量子化器２１から
の画像データに対して、可変長符号化処理を行い、バッ
ファ２８に供給するようになされている。バッファ２８
は、可変長符号化器２７からの画像データを一旦記憶
し、量子化制御器２９に供給するようになされている。
量子化制御器２９は、バッファ２８より供給された可変
長符号化された画像データをカメラ圧縮制御装置６に供
給するようになされている。また、カメラ圧縮制御装置
６からの圧縮制御信号に基づいて、量子化器２１に対し
て量子化のレートを制御するためのレート制御信号を供
給するようになされている。

【００２０】次に、その動作について説明する。撮像装
置１により撮像された被写体の画像に対応する画像信号
は、Ａ／Ｄ変換器２においてデジタルの画像データに変
換され、圧縮装置３およびカメラ圧縮制御装置６に供給
される。

【００２１】圧縮装置３に供給された画像データは、圧
縮装置３を構成する前処理装置１１に入力される。そし
て、前処理装置１１を構成するフィルタ演算器１２にお
いて、カメラ圧縮制御装置６からの圧縮制御信号に基づ
いて、入力された画像データに適した解像度変換、即ち
周波数特性を変換する処理が施され、間引き処理器１３
に供給される。間引き処理器１３に供給された画像デー
タは、間引き処理器１３により圧縮制御信号に基づい
て、入力された画像データに適した画素数変換、即ち標
本化数を変換する処理が施され、符号化装置１７および
動きベクトル検出装置１４に供給される。

【００２２】前処理装置１１の間引き処理器１３より動
きベクトル検出装置１４に供給された前処理装置１１か
らの画像データは、動きベクトル検出装置１４を構成す
るフレームメモリ１５に一旦記憶される。そして、動き
ベクトル検出器１６により、フレームメモリ１５に記憶
された画像データが読み出され、順方向および逆方向の
フレーム間の動きベクトルが検出される。動きベクトル
検出装置１４において検出された動きベクトルは、符号
化装置１７を構成する動き補償器２６に供給される。

【００２３】また、前処理装置１１の間引き処理器１３
より符号化装置１７に供給された画像データは、加算器
１８において、後述するように、スイッチ１９を介して
供給される動き補償器２６からの動き補償された画像デ
ータによって減算され、ＤＣＴ器２０に供給される。Ｄ
ＣＴ器２０に供給された画像データは、離散コサイン変
換が施され、量子化器２１に供給される。量子化器２１
に供給された画像データは、量子化された後、可変長符
号化器２７および逆量子化器２２に供給される。

【００２４】逆量子化器２２に供給された画像データは
逆量子化処理が施され、次に、逆ＤＣＴ器２３において
逆ＤＣＴ処理が施され、画像データが再構築される。こ
の再構築された画像データは、加算器２４において、動
き補償器２６より供給される既に再構築した参照フレー
ムの画像データと加算され、フレームメモリ２５に供給
され、記憶される。フレームメモリ２５に記憶された画
像データは、動き補償器２６により読み出され、動きベ
クトル検出装置１４において検出された動きベクトルに
基づいて動き補償が行われる。

【００２５】動き補償された画像データは、再構築され
た画像データがフレーム間で符号化されるモードの場合
においては、スイッチ１９が端子ａ側に接続が切り替え
られ、加算器１８に供給される。そして、加算器１８に
おいて、前処理装置１１より供給される画像データから
動き補償器２６よりスイッチ１９を介して供給される画
像データが引き算される。また、フレーム内で符号化さ
れるモードの場合においては、スイッチ１９は端子ｂ側
に接続が切り替えられ、加算器１８には値０のデータが
供給される。

【００２６】可変長符号化器２７より出力されるビット
ストリームは、バッファ２８を介して図１の書き込み装
置４に供給される。また、バッファ２８でのバッファ量
や、図１のカメラ圧縮制御装置６からの量子化に関する
指令に基づいて、量子化制御器２９において量子化器２
１の量子化パラメータが制御されることにより、量子化
器２１において行われる量子化のビットレートが制御さ
れる。

【００２７】上記デジタルビデオカメラにおいて、１フ
レーム分の入力画像信号は、例えば、ＤＶＤ(digital v
ersatile disc)等の場合のように水平方向に７０４画
素、垂直方向に４８０画素からなり、水平・垂直両方向
に１６画素ずつ分割して得られる１６画素×１６画素の
大きさのマクロブロックは、水平方向に４４個、垂直方
向に３０個存在する。従って、１フレームは、１３２０
個のマクロブロックで構成される。また、入力される動
画像系列は、１秒間に３０フレームとする。

【００２８】上記実施の形態においては、デジタルビデ
オカメラの記録開始を指示するスイッチが操作されると
同時に、圧縮符号化されたビットストリームの記録媒体
５への記録は開始されない。即ち、図３に示すように、
例えば、最初の１５フレーム分の入力画像に対して試験
的な意味での圧縮符号化が行われ、発生した符号量（ビ
ットストリームのビット量）等を用いて、その１５フレ
ームの直後（例えば、０．５秒後）からの実際に撮影対
象とする画像に対する圧縮符号化のパラメータが設定さ
れ、このパラメータに基づいて圧縮符号化され、生成さ
れたビットストリームの記録媒体５への記録が開始され
る。

【００２９】具体的には、試験的に行う圧縮符号化で
は、通常行われるフレームやマクロブロック単位の量子
化制御を動的には実施せずに、例えば量子化係数を一定
にしたままで圧縮符号化を行い、そのときに発生する符
号量を計測する。その結果から見積もられる例えば動画
像系列の圧縮における難易度といったような特徴を利用
して、実撮影対象となる動画像系列を符号化するときの
符号化パラメータの設定が行われる。

【００３０】上記実施の形態においては、実時間処理に
よる仮想的な２パスエンコードを実現することができ
る。即ち、入力された動画像系列の特徴抽出を、実際に
撮影記録する直前の画像系列で行った結果から、直後の
実際の撮影対象画像に対してより精緻な符号化割り当て
を実現することができる。これにより、圧縮伸張による
劣化を軽減することができる。

【００３１】また、動画デジタルカメラに適用する場合
においては、通常の映画やＴＶで見られるようなシーン
チェンジと呼ばれる映像の切れ目が、１回の記録動作に
おいて撮影対象の動画像系列には存在しない。即ち、記
録開始時ごとに、撮影する対象画像に見合った圧縮符号
化のための諸設定を最適化することにより、シーン毎に
より効果的な圧縮符号化処理を行うことができる。逆
に、動画カメラで撮影中の急激なパン、チルト、ズー
ム、手振れといったカメラ特有の操作によって、１つの
ショットの中で起きる入力画像の大きな変化に対して
も、実時間処理で対応することができる。

【００３２】図３に示したように、試験的に符号化する
画像系列１５フレームに対しては、図１の記録媒体５に
は書き込まずに圧縮符号化のみを行う。そのとき、カメ
ラ圧縮制御装置６からは、書き込み装置４に対して書き
込み開始の指示は出ていない。また、圧縮装置３に対し
ては、量子化制御に関わる処理を学習モードとし、１フ
レームおよび１マクロブロックあたりの制御目標ビット
量の設定を符号化装置１７に行わず、さらに１フレーム
を構成する画素数や、その周波数特性も入力画像のまま
で固定の設定を前処理装置１１に指示するようにし、ビ
ットストリームを測定し、そのフレームが潜在的に持つ
情報量を推し量る。

【００３３】そして、実際に撮影が行われるときには、
試験的に符号化した結果を図１のカメラ圧縮制御装置６
で解析し、決定した指針に従って、前処理装置１１での
解像度の設定および画素数変換の設定が行われる。その
変換例としては、図４に示すように、例えば、デジタル
フィルタを用いてそのフィルタ係数を変えることによ
り、周波数成分の通過域特性を制御し、解像度変換を行
ったり、図５に示すように、水平方向および垂直方向の
少なくともいずれか一方の画素を間引くことにより、画
素数変換を行うものがある。

【００３４】図４は、解像度変換用フィルタの周波数特
性の例を示すグラフである。横軸が周波数、縦軸が利得
を表しており、図４（Ａ）は、全ての帯域を通す例を示
している。また、図４（Ｂ）は、高域成分の多い画像か
ら高域の周波数成分を取り除く例を示している。

【００３５】このように前処理された結果の画像信号
が、動きベクトル検出装置１４および符号化装置１７に
供給される。

【００３６】動きベクトル検出装置１４においては、各
フレームの時間的な並びにおいて順方向および逆方向に
対応するフレーム間の各マクロブロック毎の動き量が求
められる。即ち、ブロックマッチング法を用いて最適な
動きベクトル値を求める演算が行われ、その値が蓄えら
れる。

【００３７】図６（Ａ）に示すように、一般的に、動き
ベクトルを求めるときのフレーム間の動き量の予測方向
によって、フレーム間符号化するフレームは、順方向の
みの予測によるＰピクチャと、順方向および逆方向の両
方向予測によるＢピクチャに分けられ、フレーム内符号
化するフレームは、Ｉピクチャと呼ばれる。図６（Ａ）
および後述する図６（Ｂ）においては、Ｉピクチャおよ
びＰピクチャの周期Ｍを３とし、ＧＯＰ(Group of Pict
ures)ピクチャの数Ｎを１５としている。

【００３８】また、図６（Ｂ）に示すように、前処理装
置１１で行われる画素数変換処理において、最低でも１
ＧＯＰ毎に異なる画素数を有する画像系列への変換を行
ったときには、ＧＯＰの切れ目と最初のＩピクチャの間
にあるＢピクチャに関してのみ、順方向予測を用いず、
逆方向予測のみのフレーム間予測符号化を行う構造とし
て、一般的にｃｌｏｓｅｄ ＧＯＰと呼ばれる構造を取
るようにする。

【００３９】符号化装置１７においては、動きベクトル
検出装置１４より供給された動きベクトル値を用いて動
き補償が行われ、時間軸方向のデータの冗長度が削減さ
れ、かつＤＣＴによる空間軸方向からの周波数軸方向へ
の変換により冗長度が削減されたデータに対して、周波
数軸に対して重み付けを施した量子化が行われる。

【００４０】その時、カメラ圧縮制御装置６からの指令
も反映しながら、量子化制御器２９が動作する。それと
同時に、動き補償のための逆量子化および逆変換の処理
が行われる。そして、可変長符号化器２７において、最
終的なビットストリームを得るための可変長符号化処理
が行われる。

【００４１】以上の圧縮符号化は、学習モード時に発生
するビット量、動きベクトル、動き補償後のブロック内
差分値を、カメラ圧縮制御装置６で計測し、解析するこ
とにより、撮影する対象画像系列の特徴を予測する過程
を有する。また、事前の学習だけではなく、撮影中も常
にカメラ圧縮制御装置６で画像系列の特徴を観測するこ
とにより、次のＧＯＰあるいはフレームを逐次予測して
いくようにすることができる。

【００４２】次に、上記実施の形態の学習過程における
カメラ圧縮制御装置６の動作について説明する。図３に
示すように、記録を行わずに、学習のために試験的な圧
縮符号化のみを行う最初の１５ピクチャに対して、各々
のピクチャタイプを図６に示すように、Ｉピクチャ、Ｐ
ピクチャ、Ｂピクチャに割り振る。即ち、図６での動き
予測方向の分類によって定義された各Ｉピクチャ、Ｐピ
クチャ、Ｂピクチャがそれぞれ１，４，１０枚ずつ計１
５枚で構成されるピクチャの集合をＧＯＰと呼び、その
割り振りを学習区間の１５ピクチャに先頭からそのまま
当てはめる。それ以降の実撮影対象の動画像系列に対し
ても、同様に、１５ピクチャ毎に１ＧＯＰに当てはめ
る。

【００４３】一般的にこのようなＧＯＰ構造を有する動
画像系列の圧縮符号化においては、各ピクチャタイプ毎
に、１枚あたりの符号化によって発生するビット量に大
きな差が生じる。例えば、フレーム内だけで符号化する
Ｉピクチャに比べて、時間軸方向の画像の並びに対して
順方向のみのフレームの動き予測を用いてフレーム間の
冗長度を削減したＰピクチャや、順方向だけでなく逆方
向のピクチャ間の動き予測も用いるＢピクチャで発生す
るビット量は明かに少ない。さらに、ＰピクチャとＢピ
クチャを比べると、その発生ビット量は、両方向からの
フレーム間の動きに関する情報で冗長度を削減すること
ができるＢピクチャの方が一般的に少ない。即ち、圧縮
符号化するフレームに割り振られるピクチャタイプに応
じた１ピクチャタイプあたりの符号量割り当てが重要と
なる。

【００４４】また、入力される動画像系列の内容によっ
ても、その各ピクチャタイプ毎の発生ビット量にばらつ
きが生じる。即ち、圧縮符号化する対象となる動画像系
列の並びが非常に激しい動きを持つものであるときと、
比較的動きが少なく静止画に近いものであるときとで
は、大きな差が生じる。例えば、動きベクトルを算出す
るときに、その検索範囲に収まりきらないくらいに動き
量が大きい、あるいは、完全に動きがフレームの外には
み出してしまう程であったりし、最適な値を求めること
ができないような場合が想定される。あるいは、カメラ
操作による速いパンニング映像やズームイン、ズームア
ウト映像などでも、同様に動きベクトルをうまく求める
ことができなくなる。

【００４５】このような場合の傾向として、激しく動く
映像であるようなとき、Ｉピクチャでの発生ビット量に
対して、Ｐ，Ｂピクチャでの発生ビット量の比率が通常
の場合に比べて大きくなることがある。これは、本来、
Ｐ，Ｂピクチャの動き予測によるフレーム間差分値が小
さくならないため、結果的にＰ，Ｂピクチャの符号量が
増加する。

【００４６】一方、画面にあまり動きのない静止画に近
いような映像の場合には、Ｉピクチャでの発生ビット量
に対して、Ｐ，Ｂピクチャでの発生ビット量が小さくな
る。これは、動きがほとんどなければ動きベクトルの値
のための符号量も小さくて済み、うまく検索できた動き
ベクトルによって、Ｐ，Ｂピクチャの動き予測によるフ
レーム間差分値が十分に小さくなり、結果的にＰ，Ｂピ
クチャの符号量も減少するからである。

【００４７】即ち、圧縮符号化するフレームの動きや動
き予測によるフレーム間差分値から、その画像系列が持
つ動きに対する特徴を捉え、その特徴に応じたピクチャ
タイプ毎の符号量の割り当てが重要となる。

【００４８】さらに、入力画像の動きの性質によって引
き起こされるピクチャタイプ間のばらつきに拘らず、入
力される動画像系列の絵柄によっても、発生するビット
量には大きな差が生じる。即ち、入力動画像系列の動き
の激しさとは別に、どのピクチャタイプであろうと、本
質的に持っているフレーム内の画像データの圧縮符号化
における複雑さの要因がある。言い換えれば、異なる入
力動画像系列に対して、動きに関する特徴が似通ったも
のをお互いに持っていた場合でも、１フレームに含まれ
る潜在的な情報量が多いときと少ないときとでは、結果
として発生するビット量には大きな隔たりが生じる。

【００４９】このフレーム内の符号化の複雑さの特徴
は、Ｉピクチャでの発生ビット量から読み取ることがで
きる。あるいは、ＤＣＴ係数の符号量を左右するフレー
ム内に含まれる画像信号の高域成分を推し量る指標とし
て、例えば隣接する画素の差分値の累積のような、フレ
ーム内の変動量に対応するものや、その分布から見積も
ることも可能である。また、逆に、フレーム内の画像信
号の平坦さからも見積もることができる。

【００５０】即ち、圧縮符号化するフレームが本来持つ
符号化の複雑さから、目標ビットレートに対して、どれ
だけ入力動画像系列が複雑であるかを判断することが重
要となる。

【００５１】以上のことから、入力される動画像系列の
圧縮符号化に関する各種の特徴に応じた処理を実現する
ことにより、より効率的な圧縮符号化が可能となり、圧
縮伸張後の画質を向上させることができる。さらには、
上記フレームおよびＧＯＰ単位の特徴に加え、マクロブ
ロック単位の特徴もフレーム内の位置的情報を加えるこ
とにより、利用することができる。即ち、画面の中のマ
クロブロック毎の動きや符号量の情報を用いて、より効
率のよい圧縮符号化が可能となる。

【００５２】実際には、実時間処理での与えられた目標
ビットレート内で、効率よく圧縮符号化を実行すること
が求められる。そのために、上記実施の形態において
は、カメラを想定して実際に記録を開始する直前の入力
動画像系列を利用して、目標ビットレートに対する圧縮
のための各種パラメータを学習させ、直後の実際に記録
が行われる実撮影動画像系列に対して、より適した圧縮
符号化のためのレートコントロールを実現するようにし
ている。即ち、ビデオカメラでの入力画像系列は、撮影
者が撮影開始の操作を行った瞬間と、その直後の入力画
像系列にはそれほど差異がないと仮定することができる
ので、そのことを利用して入力動画像系列の特徴を割り
出し、直後の実際に記録が行われる入力動画像系列の圧
縮符号化に役立てるための処理を行う。この処理は、カ
メラ圧縮制御装置６によって行われる。

【００５３】また、カメラ圧縮制御装置６は、撮影開始
後も一連の画像系列には連続的な特徴があることを利用
して、撮影開始時の場合と同様に、入力画像の特徴量を
常に観測し、それによって得られる結果を例えばＧＯＰ
およびフレーム単位で逐次圧縮符号化に反映させていく
処理を行う。逆に、撮影中に速いパンニングやズームな
どのカメラ操作、あるいは、撮影対象の大きな動きなど
によって引き起こされる急激な入力画像系列の変化があ
った場合にも、その変化を各種の特徴量の観測結果を用
いて検出し、それに対応する処理を行う。

【００５４】次に、図７のフローチャートを参照して、
カメラ圧縮制御装置６の動作の詳細について説明する。
最初に、ステップＳ１において、カメラの撮影開始釦が
押されたか否かが判定される。撮影開始釦が押された瞬
間であった場合、書き込み装置４は動作させずに、その
瞬間から１５フレーム（１ＧＯＰ）の期間だけ、学習モ
ードに入る。学習モードでは、入力画像が有する情報量
がどの程度のものなのかを定量的に測定するため、ステ
ップＳ２において、通常のレートコントロールは行われ
ず、量子化係数をある一定値に設定して圧縮符号化のみ
が実行される。

【００５５】次に、ステップＳ３において、そのとき発
生した総ビット量、ピクチャタイプ毎の発生ビット量、
マクロブロック毎の発生ビット量、動きベクトル値、動
き補償後のブロック差分値、フレーム内複雑度の各種特
徴量が求められる。また、このとき、発生した総ビット
量の２（＝３０フレーム／１５フレーム）倍の値が、１
秒あたりの発生情報量、即ちレートコントロールを行わ
ない場合のビットレートとされる。

【００５６】次に、ステップＳ４において、実撮影記録
期間であるか否かが判定される。いまの場合、実撮影記
録期間ではないと判定され、ステップＳ７に進む。ステ
ップＳ７においては、上記ビットレートと目標ビットレ
ートとの大小関係から、即ち、入力動画像系列が本来必
要とする大まかなビットレートと目標ビットレートとの
差異の度合いや、動きによる直接的な発生情報量への反
映として、動き補償後のブロック差分値の大きさや分布
などから、記録撮影モード時の前処理装置１１での解像
度、画素数の初期設定が行われる。

【００５７】例えば、極端に発生情報量が大きくなる結
果が得られた場合、また、画面全体として動きの激しさ
や動き補償のマッチング具合を示すブロック差分値が同
様に大きくなるような場合、撮影対象である画像系列が
目標ビットレートに比べて非常に符号化が難しいと判断
され、解像度や画素数変換において情報量が少なくなる
ように、フィルタ特性を高域成分を減少させるように設
定したり、水平方向の画素数を減らすような画素数変換
の設定が行われる。

【００５８】また、ピクチャタイプ毎の発生ビット量か
ら、１ピクチャタイプあたりの割り振りビット量を目標
ビットレートから逆算して、効率よく１ＧＯＰで消費で
きるような制御と初期設定が行われる。例えば、動きが
少なく、ＰピクチャやＢピクチャでの発生ビット量が少
ないような場合、Ｉピクチャに対する目標ビット量が他
のピクチャタイプに比べて多く割り振られる。逆に、動
きに伴う情報が大きくて、ＰピクチャやＢピクチャの発
生ビット量が多い場合、Ｉピクチャに対する割り振りが
減らされ、ＰピクチャやＢピクチャに多く割り振られ
る。また、マクロブロック毎の発生ビット量から画面内
に存在するマクロブロックに必要なビット量が割り出さ
れ、Ｉピクチャ内で消費されるビット量の各マクロブロ
ック単位での効率のよい割り振りビット量の設定が行わ
れる。

【００５９】例えば、マクロブロック毎の動きベクトル
や動き補償後のブロック差分値から、画面の中の動きが
激しい、あるいは、穏やかなマクロブロックが観測され
る。その結果から、１ピクチャに割り当てられた目標ビ
ット量を画面内の位置レベルで効率よく割り振るための
設定が行われる。

【００６０】一方、ステップＳ４において、実撮影記録
期間であると判定された場合、ステップＳ５に進み、レ
ート制御を行いながら、入力画像列に対する符号化と記
録媒体への記録が行われ。また、その間、ステップＳ３
において得られた各種特徴量に基づいて、次のＧＯＰや
フレーム、マクロブロック等に対して、上記設定が行わ
れる。

【００６１】次に、ステップＳ６において、カメラ撮影
が停止したか否かが判定され、カメラ撮影が停止してい
ないと判定された場合、ステップＳ７に戻り、ステップ
Ｓ３乃至Ｓ７の処理が繰り返し実行される。一方、カメ
ラ撮影が停止されたと判定された場合、処理を終了す
る。

【００６２】次に、上記各種設定のうち、入力シーケン
スに対するＧＯＰの単位での動的な解像度・画素数変換
を伴った制御の特徴的な例について説明する。以降、上
述したｃｌｏｓｅｄ ＧＯＰ構成を持つことを条件とす
る。

【００６３】図８は、解像度や画素数を変換する制御装
置の構成例を示すブロック図である。この制御装置は、
動き補償後のブロック差分値とフレーム内変動量を示す
フレーム内複雑度といったマクロブロックやフレームの
持つ特徴量を用いて、解像度や画素数の変換を行うよう
になされている。

【００６４】前処理装置１１を構成するフィルタ演算器
１２では、適宜フレーム単位で一般的に低域通過特性を
有する間引き用のデジタルフィルタが用いられるが、こ
の例では、そのタップ数やフィルタ係数を変更して、カ
ットオフ周波数等のフィルタ特性を変化させることによ
り、図４（Ａ）、図４（Ｂ）に示すような２種類の周波
数特性の解像度変換を選択する。そのとき、デジタルフ
ィルタの一例して、図９に示すような構造の９タップの
１次元ＦＩＲ(finite impulse response)型デジタルフ
ィルタを用いて処理を行う。図９において、Ｃ０乃至Ｃ
８は、デジタルフィルタのフィルタ係数を表し、遅延素
子（Ｚ^-1）４１乃至４８は、それぞれ１画素サイクル分
の遅延素子を表している。これらの係数値と水平方向に
並ぶ画像信号のレベル値が乗算器５１乃至５９において
それぞれ乗算され、各乗算結果が加算器６０において加
算され、フィルタ出力が得られる。

【００６５】間引き処理器１３においては、適宜ＧＯＰ
単位で水平方向の画素数の変換が行われる。この例で
は、例えば、図５の（Ａ）に示すような７０４画素（１
×１変換）と、図５（Ｃ）に示すような３５２画素（１
×２変換）の２種類の間引き処理による画素数変換が選
択される。図１３を参照して後述するように、符号化し
て生成したビットストリームを復号化し、画像信号に戻
す場合には、間引き処理で選択された画素数変換の逆変
換として、水平方向に元の７０４画素に戻すことを前提
とする。

【００６６】以上の動作選択は、フィルタ演算器１２で
実現する周波数特性を与えるためのフィルタ係数設定を
行うフィルタ係数設定器３３（決定手段）と、間引き処
理器１３で実現する画素数を決める画素数設定器３４
（決定手段）の２つで実行される。即ち、フィルタ係数
設定器３３と画素数設定器３４が図１のカメラ圧縮制御
装置６の構成要素となっている。

【００６７】ここで利用する特徴量の１つとしての上述
したフレーム内複雑度に、入力画像の水平方向の画素の
持つレベル差の１フレームに渡る絶対値和（以下では、
フレーム・コンプレキシティ（ＦＣ）と呼ぶことにす
る）が用いられる。この例では、任意の画素の水平方向
座標ｉ番目、垂直方向座標ｊ番目について、画素の持つ
レベル値をｄ（ｉ，ｊ）と表すと、フレーム・コンプレ
キシティ（ＦＣ）は次式（１）から求められる。

【００６８】

【数１】

【００６９】ここで、ｍは１ラインの画素数を表し、ｎ
は１フレームのライン数を表している。

【００７０】即ち、入力された画像を画像の左上から右
下に順次走査するように１次元系列化し、そのときの隣
合う画素同士について上記式（１）に従った演算が行わ
れ、ＦＣが算出される。この演算は、図８の演算部３２
において行われる。図１０は、演算部３２を構成する回
路の例を示している。入力された画素値は、演算回路７
２および遅延素子７１に供給され、演算回路７２におい
ては、いま入力された画素値と、遅延素子７１を介して
供給される１つ前の画素の画素値との間の差分の絶対値
が求められる。そして、上記式（１）に示すように、全
ての画素についてこの演算が行われ、順次加算されてい
く。

【００７１】また、図１１に示すように、動き補償後の
ブロック差分値には、Ｐピクチャの水平方向および垂直
方向の両方向に１６画素ずつ分割したマクロブロック毎
に求められた動きベクトルを用いて、動き補償を行った
ときのマクロブロック毎の差分値の絶対値和（以下で
は、ブロック・ディファレンス（ＢＤ）と呼ぶ）が用い
られる。１フレーム中の水平方向にｋ番目、垂直方向に
ｌ番目のマクロブロックＭＢ（ｋ，ｌ）でのブロック・
ディファレンスＢＤ（ｋ，ｌ）は次式（２）のように表
される。

【００７２】

【数２】

【００７３】ここで、ｍｖｘ（ｋ，ｌ）はマクロブロッ
クＭＢ（ｋ，ｌ）での水平方向の動きベクトル値を表
し、ｍｖｙ（ｋ，ｌ）はマクロブロックＭＢ（ｋ，ｌ）
での垂直方向の動きベクトル値を表している。また、時
間軸方向で前に位置するフレーム、即ち、動きベクトル
を探索するフレーム中の任意の画素の水平方向座標ｉ番
目、垂直方向座標ｊ番目について、画素の持つレベル値
をｄｔ（ｉ，ｊ）と表し、逆に動き補償し、予測符号化
するフレーム中での同様のレベル値をｄｃ（ｉ，ｊ）と
表す。

【００７４】従って、フレーム全体でのブロック・ディ
ファレンス値ＢＤは、ＢＤ（ｋ，ｌ）を１フレームに渡
って足し込んだものとなり、次式（３）で表される。

【００７５】

【数３】

【００７６】ブロック・ディファレンス値ＢＤは、演算
部３１により算出される。

【００７７】以上のフレーム・コンプレキシティ値ＦＣ
とブロック・ディファレンス値ＢＤのフレームおよびＧ
ＯＰ中での値を解析し、次のフレームおよびＧＯＰに対
するフィルタ係数と画素数の設定を行う。このとき得ら
れたＧＯＰ中のＰピクチャでのブロック・ディファレン
ス値ＢＤが基準となる値よりも大きいか小さいかを判定
し、次のＧＯＰに対して行う画素数変換の画素数設定を
多段階的に選択する。さらに、ＧＯＰ中の１フレーム毎
のフレーム・コンプレキシティ値ＦＣについても、基準
となる値よりも大きいかあるいは小さいかを判定し、次
のフレームに対して行う解像度変換のフィルタ係数を多
段階的に選択する。

【００７８】この例の場合、ブロック・ディファレンス
値ＢＤが、所定の基準値よりも大きければ、画素数をよ
り少なくするように変換し、それと同時に、フレーム・
コンプレキシティ値ＦＣが所定の基準値よりも大きけれ
ば、フィルタ特性をより高周波成分を減衰させるように
するフィルタ係数による解像度変換を施す。

【００７９】次に、図１２のフローチャートを参照し
て、解像度および画素数を選択する処理手順の例につい
て説明する。最初に、ＧＯＰ単位の処理では、ステップ
Ｓ１１において、現在処理するフレームが、図６（Ｂ）
に示すように、ｃｌｏｓｅｄＧＯＰ毎の時間的に１２フ
レーム目のＰピクチャであるか否かが判定される。１２
フレーム目のＰピクチャであると判定された場合、ステ
ップＳ１２に進み、演算部３１によりブロック・ディフ
ァレンス値ＢＤが演算される。

【００８０】次に、ステップＳ１３において、現在のＧ
ＯＰでの水平画素数が７０４画素であるかあるいは３５
２画素であるかが判定される。現在のＧＯＰでの水平画
素数が７０４画素であると判定された場合、ステップＳ
１４に進み、ブロック・ディファレンス値ＢＤが、次の
ＧＯＰでの画素数変換を規定する基準ブロック・ディフ
ァレンス値Ｖ_BD1より小さいか否かが判定される。ブロ
ック・ディファレンス値ＢＤが基準ブロック・ディファ
レンス値Ｖ_BD1より小さいと判定された場合、ステップ
Ｓ１６に進み、画素数設定器３４は、次のＧＯＰに対す
る画素数の設定を、現在のＧＯＰの場合と同様に７０４
画素（１／１変換）にする。

【００８１】ステップＳ１４において、ブロック・ディ
ファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ
_BD1より大きいかまたは等しいと判定された場合、ステ
ップＳ１７に進み、次のＧＯＰに対する画素数の設定
を、現在のＧＯＰの場合の１／２の３５２画素（１／２
変換）にする。

【００８２】一方、ステップＳ１３において、現在のＧ
ＯＰの水平方向の画素数が７０４画素ではない、即ち、
３５２画素であると判定された場合、ステップＳ１５に
進み、ブロック・ディファレンス値ＢＤが基準ブロック
・ディファレンス値Ｖ_BD2より小さいか否かが判定され
る。ブロック・ディファレンス値ＢＤが基準ブロック・
ディファレンス値Ｖ_BD2より小さいと判定された場合、
ステップＳ１６に進み、次のＧＯＰの画素数を７０４画
素（１／１変換）に設定する。ブロック・ディファレン
ス値ＢＤが基準ブロック・ディファレンス値Ｖ_BD2より
大きいかまたは等しいと判定された場合、ステップＳ１
７に進み、次のＧＯＰの画素数を現在のＧＯＰの場合と
同様に３５２画素（１／２変換）に設定する。

【００８３】ステップＳ１６またはステップＳ１７にお
ける処理が終了すると、ＧＯＰ単位での全ての処理を終
了する。

【００８４】また、フレーム単位での処理では、ステッ
プＳ１８において、フレーム毎に上記フレーム・コンプ
レキシティ演算を行う。次に、ステップＳ１９におい
て、ステップＳ１８において得られたフレーム・コンプ
レキシティ値ＦＣが、次のフレームでの解像度変換のた
めのフィルタ係数を規定する基準フレーム・コンプレキ
シティ値Ｖ_FCより小さいか否かが判定される。フレーム
・コンプレキシティ値ＦＣが、基準フレーム・コンプレ
キシティ値Ｖ_FCより小さいと判定された場合、ステップ
Ｓ２０に進み、フィルタ係数設定器３３により、次のフ
レームに対してフィルタ係数Ｃ_f1が選択される。一方、
フレーム・コンプレキシティ値ＦＣが、基準フレーム・
コンプレキシティ値Ｖ_FCより大きいかまたは等しいと判
定された場合、ステップＳ２１に進み、フィルタ係数Ｃ
_f2が選択される。

【００８５】本実施の形態の場合、フィルタ特性Ｃ_f2に
よって実現されるディジタルフィルタ（例えば、図４
（Ｂ））は、フィルタ特性Ｃ_f1によって実現されるディ
ジタルフィルタ（例えば、図４（Ａ））よりもカットオ
フ周波数が低い特性を有している。

【００８６】ステップＳ２０またはステップＳ２１の処
理が終了すると、フレーム単位での全ての処理を終了す
る。

【００８７】以上の過程を経て、入力画像に対するＧＯ
Ｐ単位での画素数変換のための設定が、ブロック・ディ
ファレンスを評価規範として、また、入力画像に対する
フレーム単位での解像度変換のための設定が、フレーム
・コンプレキシティを評価規範として、図８に示したカ
メラ圧縮制御装置６により行われる。

【００８８】図１３は、図１に示した動画像圧縮記録装
置によって記録媒体５に記録された動画像を再生する再
生装置の一実施の形態の構成例を示すブロック図であ
る。読み取り装置８１は、記録媒体５に記録された圧縮
された動画像データを読み出すようになされている。伸
張装置８２は、読み取り装置８１によって読み出された
動画像データに対して伸張処理を施すようになされてい
る。Ｄ／Ａ変換器８３は、伸張装置８２により伸張され
た動画像データをアナログのビデオ信号に変換するよう
になされている。表示装置８４は、Ｄ／Ａ変換器８３よ
り供給されるアナログのビデオ信号に対応する動画を表
示するようになされている。

【００８９】図１４は、図１３の伸張装置８２の詳細な
構成例を示すブロック図である。伸張装置８２は、復号
化装置９１と後処理装置９９より構成されている。復号
化装置９１を構成するバッファ９２は、読み取り装置８
１より供給された符号化データを一時的に記憶するよう
になされている。可変長復号化器９３は、バッファ９２
より供給される符号化データに対して可変長復号化処理
を施し、逆量子化器９４に供給するとともに、動きベク
トルを動き補償器９７に供給するようになされている。

【００９０】逆量子化器９４は、可変長復号化器９３よ
り供給されたデータに対して、逆量子化処理を行うよう
になされている。逆ＤＣＴ器９５は、逆量子化器９４に
おいて逆量子化されたデータに対して、逆ＤＣＴ演算を
施すようになされている。加算器９６は、逆ＤＣＴ器９
５により逆ＤＣＴ処理が施されたデータと、動き補償器
９７からの動き補償されたデータとを加算し、後処理装
置９９の補間処理器１００に供給するとともに、動き補
償器９７およびフレームメモリ９８にも供給するように
なされている。

【００９１】動き補償器９７は、可変長復号化器９３よ
り供給される動きベクトルと、加算器９６を介して供給
されるデータおよびフレームメモリ９８より供給される
データに基づいて、動き補償したデータを生成し、出力
するようになされている。

【００９２】後処理装置９９は、図２の前処理装置１１
の間引き処理器１３における画素数変換の結果に従っ
て、元の画素数に変換するための補間処理を行うように
なされている。フィルタ演算器１０１は、補間処理器１
００からの補間処理が施されたデータに対して、所定の
フィルタ演算を施した後、出力するようになされてい
る。

【００９３】次に、その動作について説明する。まず、
読み取り装置８１によって記録媒体５に記録されている
画像データが読み出され、伸張装置８２に供給される。
この画像データは、伸張装置８２を構成する復号化装置
９１のバッファ９２に入力され、一旦記憶される。その
後、可変長復号化器９３に供給され、可変長復号化処理
が施される。可変長復号化処理が施されたデータは、逆
量子化器９４に供給される。また、動きベクトルが動き
補償器９７に供給される。

【００９４】逆量子化器９４に供給されたデータは、逆
量子化処理が施された後、逆ＤＣＴ処理器９５に供給さ
れ、逆ＤＣＴ処理が施される。逆ＤＣＴ処理が施された
データは、加算器９６に供給される。加算器９６におい
ては、後述するように、動き補償器９７において生成さ
れた動き補償のための信号と逆ＤＣＴ処理が施されたデ
ータとが加算され、後処理装置９９に供給されるととも
に、動き補償器９７およびフレームメモリ９８に供給さ
れる。

【００９５】動き補償器９７においては、可変長復号化
器９３より供給された動きベクトルと、加算器９６を介
して供給されたデータ、およびフレームメモリ９８より
供給されるデータに基づいて、動き補償したデータが生
成され、加算器９６に供給される。

【００９６】後処理装置９９に供給されたデータは、補
間処理器１００により補間処理が施された後、フィルタ
演算器１０１に供給され、所定のフィルタ演算処理が施
される。これにより、元の画素数のフレームのデータに
変換される。フィルタ演算器１０１においてフィルタ処
理が施されたデータは、Ｄ／Ａ変換器８３に供給され、
アナログのビデオ信号に変換された後、表示装置８４に
供給され、対応する動画が表示される。

【００９７】以上のように、上記実施の形態において
は、特に動画をディジタルビデオカメラ等で撮影すると
き、撮影対象の動画像系列の特徴を、直前の入力画像か
ら推測することにより、効率の良い圧縮符号化が可能と
なり、伸張後の画像の画質を向上させることができる。
また、撮影開始時に学習することで初期設定を行うだけ
でなく、撮影中においても圧縮符号化を行いながら、入
力画像の特徴量を検出し、逐次圧縮符号化のパラメータ
の設定を行うことにより、撮影中の入力画像の変化にも
追従させることが可能となり、画質を向上させることが
できる。

【００９８】なお、上記実施の形態の場合、カメラの撮
影を開始させる操作が行われた時点を起点として、入力
画像の特徴を学習させるようにしたが、撮影を開始させ
る操作ではなく、ポーズ状態のときから、常に学習を行
わせるようにしてもよい。

【００９９】また、上記実施の形態においては、ブロッ
ク・ディファレンス演算による判定において、ＧＯＰ内
の１２フレーム目のＰピクチャのみを参照するようにし
たが、ＧＯＰ内の他の予測符号化フレーム（Ｐピクチ
ャ、Ｂピクチャ）であってもよい。また、ＧＯＰ内での
これらの予測符号化フレームのブロック・ディファレン
スの値の変動を観測することにより、上記判定を行うよ
うにすることも可能である。

【０１００】また、上記実施の形態においては、１５フ
レームで１ＧＯＰを構成するようにしたが、その他の任
意の数のフレームで１ＧＯＰを構成するようにしてもよ
い。

【０１０１】さらに、上記実施の形態においては、本発
明をデジタルビデオカメラに適用した場合について説明
したが、静止画を記録再生するデジタルスチルカメラに
も本発明を適用することができる。

【０１０２】

【発明の効果】請求項１に記載の画像記録装置および請
求項５に記載の画像記録方法によれば、撮影開始後の所
定数の第１のフレームを圧縮符号化したときの情報量を
計測し、計測された情報量に応じて、第１のフレームの
後に続く所定数の第２のフレームの圧縮符号化方法を決
定し、決定された圧縮符号化方法に従って、第２のフレ
ームを圧縮符号化し、圧縮符号化された第２のフレーム
を記録媒体に記録するようにしたので、画像の特徴に応
じて、効率的に圧縮符号化を行うことができる。

【０１０３】請求項６に記載の画像記録装置および請求
項７に記載の画像記録方法によれば、フレームを構成す
る各マクロブロック毎に動きベクトルを検出し、動きベ
クトルに基づいて各マクロブロックに対して動き補償を
行い、動き補償する前後の対応するマクロブロック同士
の残差を演算し、動きベクトルおよび残差に基づいて、
続くフレームを入力するときの解像度および画素数を所
定数のフレーム単位で決定し、フレームを決定された解
像度および画素数のフレームに変換し、圧縮符号化する
ようにしたので、対象とする画像の変化に適応した効率
的な圧縮符号化を行うことができる。

【図面の簡単な説明】

【図１】本発明の画像記録装置を応用した動画像圧縮記
録装置の一実施の形態の構成例を示すブロック図であ
る。

【図２】図１の圧縮装置３の構成例を示すブロック図で
ある。

【図３】ピクチャ処理のタイミングを説明する図であ
る。

【図４】解像度変換用のフィルタの周波数特性の例を示
す図である。

【図５】画素数変換の例を示す図である。

【図６】動き予測方向とＧＯＰ構造の例を示す図であ
る。

【図７】図１のカメラ圧縮制御装置６の動作を説明する
フローチャートである。

【図８】解像度・画素数変換のための制御装置の構成例
を示すブロック図である。

【図９】フィルタ演算器１２を構成するデジタルフィル
タの構成例を示すブロック図である。

【図１０】フレーム・コンプレキシティ演算の方法を説
明する図である。

【図１１】動きベクトルとフレーム関係を示す図であ
る。

【図１２】解像度および画素数を選択する処理手順を説
明するフローチャートである。

【図１３】再生装置の構成例を示すブロック図である。

【図１４】伸張装置８２の構成例を示すブロック図であ
る。

【符号の説明】

１ 撮像装置， ２ Ａ／Ｄ変換器， ３ 圧縮装置，
４ 書き込み装置，５ 記録媒体， ６ カメラ圧縮
制御装置， １１ 前処理装置， １２ フィルタ演算
器， １３ 間引き処理器， １４ 動きベクトル検出
装置， １５フレームメモリ， １６ 動き検出器，
１７ 符号化装置， １８ 加算器， ２０ ＤＣＴ
器， ２１ 量子化器， ２２ 逆量子化器， ２３
逆ＤＣＴ器， ２４ 加算器， ２５ フレームメモ
リ， ２６ 動き補償器， ２７可変長符号化器， ２
８ バッファ， ２９ 量子化制御器， ３１，３２演
算部， ３３ フィルタ係数設定器， ３４ 画素数設
定器， ４１乃至４８，７１ 遅延素子， ５１乃至５
９ 乗算器， ６０ 加算器， ８１ 読み取り装置，
８２ 伸張装置， ８３ Ｄ／Ａ変換器， ８４ 表
示装置， ９１復号化装置， ９２ バッファ， ９３
可変長復号化器， ９４ 逆量子化器， ９５ 逆Ｄ
ＣＴ器， ９６ 加算器， ９７ 動き補償器， ９８
フレームメモリ， ９９ 後処理装置， １００ 補
間処理器， １０１ フィルタ演算器

Claims (7)

【特許請求の範囲】
1. 【請求項１】 複数のフレームより構成される動画像を
   撮影し、圧縮符号化した後、所定の記録媒体に記録する
   画像記録装置において、 撮影開始後の所定数の第１のフレームを圧縮符号化した
   ときの情報量を計測する計測手段と、 前記計測手段によって計測された前記情報量に応じて、
   前記第１のフレームの後に続く所定数の第２のフレーム
   の圧縮符号化方法を決定する決定手段と、 前記決定手段により決定された圧縮符号化方法に従っ
   て、前記第２のフレームを圧縮符号化する圧縮符号化手
   段と、 前記圧縮符号化手段によって圧縮符号化された前記第２
   のフレームを前記記録媒体に記録する記録手段とを備え
   ることを特徴とする画像記録装置。
2. 【請求項２】 前記第１のフレームを構成する各マクロ
   ブロック毎に動きベクトルを検出する検出手段と、 前記動きベクトルに基づいて前記各マクロブロックに対
   して動き補償を行い、動き補償する前後の対応するマク
   ロブロック同士の残差を演算する演算手段とをさらに備
   え、 前記決定手段は、前記動きベクトルおよび前記残差に基
   づいて、前記第２のフレームを入力するときの解像度お
   よび画素数を決定することを特徴とする請求項１に記載
   の画像記録装置。
3. 【請求項３】 前記第１のフレームを構成する各マクロ
   ブロック毎に動きベクトルを検出する検出手段と、 前記動きベクトルに基づいて前記各マクロブロックに対
   して動き補償を行い、動き補償する前後の対応するマク
   ロブロック同士の残差を演算する演算手段とをさらに備
   え、 前記決定手段は、前記動きベクトルおよび前記残差に基
   づいて、前記第２のフレームを圧縮符号化するとき、前
   記第２のフレームを構成する各ピクチャおよびマクロブ
   ロック毎の符号量の割り振りを決定することを特徴とす
   る請求項１に記載の画像記録装置。
4. 【請求項４】 前記計測手段は、所定数の前記第１のフ
   レームを量子化係数を固定にして圧縮符号化したときの
   情報量を計測することを特徴とする請求項１に記載の画
   像記録装置。
5. 【請求項５】 複数のフレームより構成される動画像を
   撮影し、圧縮符号化した後、所定の記録媒体に記録する
   画像記録方法において、 撮影開始後の所定数の第１のフレームを圧縮符号化した
   ときの情報量を計測する計測ステップと、 前記計測ステップによって計測された前記情報量に応じ
   て、前記第１のフレームの後に続く所定数の第２のフレ
   ームの圧縮符号化方法を決定する決定ステップと、 前記決定ステップにより決定された圧縮符号化方法に従
   って、前記第２のフレームを圧縮符号化する圧縮符号化
   ステップと、 前記圧縮符号化ステップによって圧縮符号化された前記
   第２のフレームを前記記録媒体に記録する記録ステップ
   とを備えることを特徴とする画像記録方法。
6. 【請求項６】 複数のフレームより構成される動画像を
   撮影し、圧縮符号化した後、所定の記録媒体に記録する
   画像記録装置において、 前記フレームを構成する各マクロブロック毎に動きベク
   トルを検出する検出手段と、 前記動きベクトルに基づいて各マクロブロックに対して
   動き補償を行い、動き補償する前後の対応するマクロブ
   ロック同士の残差を演算する演算手段と、 前記動きベクトルおよび前記残差に基づいて、前記フレ
   ームを入力するときの解像度および画素数を所定数のフ
   レーム単位で決定する決定手段と、 前記フレームを前記決定手段によって決定された解像度
   および画素数のフレームに変換し、圧縮符号化する圧縮
   符号化手段とを備えることを特徴とする画像記録装置。
7. 【請求項７】 複数のフレームより構成される動画像を
   撮影し、圧縮符号化した後、所定の記録媒体に記録する
   画像記録方法において、 前記フレームを構成する各マクロブロック毎に動きベク
   トルを検出する検出ステップと、 前記動きベクトルに基づいて前記各マクロブロックに対
   して動き補償を行い、動き補償する前後の対応するマク
   ロブロック同士の残差を演算する演算ステップと、 前記動きベクトルおよび前記残差に基づいて、前記フレ
   ームを入力するときの解像度および画素数を所定数のフ
   レーム単位で決定する決定ステップと、 前記フレームを前記決定ステップによって決定された解
   像度および画素数のフレームに変換し、圧縮符号化する
   圧縮符号化ステップとを備えることを特徴とする画像記
   録方法。