JP4411220B2 - 映像信号処理装置、及びその映像信号処理方法 - Google Patents

Description

本発明は、例えばデジタルカメラ、デジタルビデオカメラ、監視カメラの画像を管理する装置、コンピュータ内等に備えられる映像信号処理装置、及びその映像信号処理方法に係り、詳しくは、フレーム内符号化処理で符号化された圧縮フレーム画像情報群を、フレーム間予測符号化処理とフレーム内符号化処理とを併用して符号化された圧縮動画情報に変換する映像信号処理装置、及びその映像信号処理方法に関する。

近年、デジタルカメラにおいては、静止画撮影モードに加えて動画像撮影モード（モーションＪＰＥＧ、ＭＰＥＧ１／２／４などのフレーム内符号化方式）や音声録音モードを有するものも実用化されるに至り、撮影された静止画像と動画像さらに音声データを統合的に管理、鑑賞するためのフォーマット変換技術の進歩が望まれている。

一般に、デジタルカメラにより撮影された静止画像や、デジタルカメラ或いは監視カメラ等により撮影された動画像の圧縮符号化方式では、単一の画像内だけに圧縮アルゴリズムを適用するフレーム内圧縮方式が用いられる。ＪＰＥＧフォーマットやＪＰＥＧ２０００フォーマット等が代表的なフレーム内圧縮符号化方式である。一方、高圧縮率を目的とする動画像圧縮方式では、フレーム間予測符号化とフレーム内符号化の両方式を併用する圧縮方式が用いられる。ＭＰＥＧフォーマットが代表的な動画像圧縮符号化方式である。このように静止画像圧縮方式と動画像圧縮方式の本質的相違点はフレーム間予測を行うか否かにある。

静止画像フォーマットから動画像フォーマットへフォーマット変換するものとして、前述のフレーム間予測符号化処理を行えるフレーム間について、その処理を行うものが提案されている（特許文献１参照）。このものは、入力圧縮データのＤＣＴ係数を用いて動きの判定や動き方向検出を行い、動きベクトルを求めるための処理量の削減を実現している。即ち、動き判定結果が「動き有り」となったフレーム間には動き方向検出を行ってフレーム間予測符号化処理を行い、「動きなし」となったブロックには動き方向検出を行わずに（動きベクトルを求めるための処理を行わずに）、フレーム内符号化処理を行っていた。

特開２００１−７８１９９号公報

ところで、デジタルカメラは、従来のアナログカメラとは異なりフィルムを必要としないため、撮影者は失敗を恐れず多数枚の撮影をしたり、連写したりする傾向がある。このように撮影された大量のデジタル写真の静止画像は、例えばカメラ内蔵の液晶表示装置等で確認した後、不要なものを選択してメモリから消去し、必要なものだけ残す作業が行われがちである。

このようなデジタルカメラの使用状態も起因し、デジタルカメラの撮影画像（静止画像）群に、上述のように入力圧縮データのＤＣＴ係数を用いて動きの判定を行っても、動き判定結果が「動きなし」となる確率が高い。そのため、全ての静止画像群に動き判定処理を行うこと自体が非効率であり、処理時間が増大してしまうという問題があった。そこで、動き判定をより効率的にすることが可能な装置の開発が望まれていた。

そこで本発明は、動き予測処理を適用し得るフレーム間の判定を効率的にすることが可能な映像信号処理装置、及びその映像信号処理方法を提供することを目的とするものである。

上記課題を解決するため、本発明は、フレーム内符号化処理で符号化された圧縮フレーム画像情報群を、フレーム間予測符号化処理とフレーム内符号化処理とを併用して符号化された圧縮動画情報に変換する映像信号処理装置であって、
前記圧縮フレーム画像情報群の各圧縮フレーム画像情報をフレーム画像情報に復号する復号手段と、
前記各圧縮フレーム画像情報に付帯された時間情報又は方向情報を抽出する付帯情報抽出手段と、
前記付帯された時間情報又は方向情報から連続するフレーム画像情報間の時間差又は方向差を求め、該時間差又は方向差に基づき、前記フレーム画像情報に前記フレーム間予測符号化処理を適用するか否かを判定する動き予測処理適用判定手段と、
前記動き予測処理適用判定手段の出力に基づき、前記フレーム内符号化処理又は前記フレーム間予測符号化処理と前記フレーム内符号化処理との併用の何れかを選択して前記フレーム画像情報を符号化し、前記圧縮動画情報を生成する圧縮動画生成手段とを備えたことを特徴とする。

また、本発明は、フレーム内符号化処理で符号化された圧縮フレーム画像情報群を、フレーム間予測符号化処理とフレーム内符号化処理とを併用して符号化された圧縮動画情報に変換する映像信号処理方法であって、
前記圧縮フレーム画像情報群の各圧縮フレーム画像情報をフレーム画像情報に復号するステップと、
前記各圧縮フレーム画像情報に付帯された時間情報又は方向情報を抽出するステップと、
前記付帯された時間情報又は方向情報から連続するフレーム画像情報間の時間差又は方向差を求め、該時間差又は方向差が所定の範囲内に収まっている場合に、前記フレーム間予測符号化処理を適用して前記フレーム画像情報を符号化し、前記圧縮動画情報を生成するステップとを有することを特徴とする。

本発明によると、圧縮フレーム画像情報の時間情報又は方向情報に基づき、フレーム間予測符号化処理を適用するフレームとしないフレームを判定し、それに基づき、前記フレーム内符号化処理又はフレーム間予測符号化処理とフレーム内符号化処理との併用の何れかを選択してフレーム画像情報を符号化し、圧縮動画情報に生成するので、圧縮フレーム画像情報群の信号内容を精査することなくフレーム間予測符号化処理の適用判定ができ、即ち全てのフレーム画像情報に対して動き検出処理を行うことなく、必要なフレーム画像情報に対してだけフレーム間予測符号化処理を適用することができて、効率的にフレーム画像情報を圧縮動画情報に変換する処理を行うことができる。

以下、本発明に係る第１乃至第３の実施の形態について図に沿って説明する。

（第１の実施の形態）
第１の実施の形態においては、フレーム内符号化された圧縮フレーム画像情報群として付帯情報付ＪＰＥＧ画像データを入力し、フレーム間予測符号化とフレーム内符号化を併用する圧縮動画情報としてＭＰＥＧ２ビデオデータを出力する映像信号符号化装置の一例を説明する。

図１は本発明の第１の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図である。なお、図１に示す映像信号符号化装置２００は、説明の便宜上、その他の機能を構成する各部（各手段）を省略して示したものである。

映像信号符号化装置２００は、付帯情報付ＪＰＥＧ画像データが入力される分離部（付帯情報抽出手段）１、ＪＰＥＧ画像データの可変長符号を復号するＶＬＤ部（復号手段）２、ＪＰＥＧ画像データの逆量子化処理を行う逆量子化部（復号手段）３、ＪＰＥＧ画像データの逆離散コサイン変換を行うＩＤＣＴ部（復号手段）４、ＪＰＥＧ画像データより再生した画像をＭＰＥＧ２のビデオデータにエンコードするエンコード部（圧縮動画生成手段）５、付帯情報付ＪＰＥＧ画像データより付帯情報として撮影時刻データを抽出する撮影時刻データ抽出部（付帯情報抽出手段）６、抽出した撮影時刻データを記憶する撮影時刻データメモリ（付帯情報抽出手段）７、撮影時刻間の時間差を求める差分器（付帯情報抽出手段）８、フレーム画像間の動きベクトル検出を行う動き検出部（動き予測処理適用判定手段）９を備えて構成されている。

つづいて、映像信号符号化装置２００の動作について説明する。なお、図７はＥｘｉｆ規格の一例を示す図である。

図１に示すように、分離部１は付帯情報付ＪＰＥＧ画像データ（圧縮フレーム画像情報）からＪＰＥＧ画像データ部分と付帯情報部分とを分離し、ＪＰＥＧ画像データはＶＬＤ部２に対して出力し、付帯情報は撮影時刻データ抽出部６へ出力する。次に抽出された前記ＪＰＥＧ画像データはＶＬＤ部２、逆量子化部３、ＩＤＣＴ部４の順に復号されてもとの静止画像（フレーム画像）を得る。再生された静止画像はＭＰＥＧ２動画像フォーマットに変換するためにエンコード部５に入力される。一方、分離部１から撮影時刻データ抽出部６へ渡された一番目の付帯情報は、一番目の撮影時刻データと不要情報に分けられ、撮影時刻データを保持すると同時に差分器８へ出力し、不要情報は廃棄される。撮影時刻データ抽出部６は続いて二番目の付帯情報を受け取ると一番目の撮影時刻データを撮影時刻データメモリ７に送り、前記と同様に撮影時刻データと不要情報に分けられ、二番目の撮影時刻データを保持すると同時に差分器８へ出力し、不要情報は廃棄される。次に差分器８は一番目と二番目の撮影時刻の差分をとり撮影時間間隔データを得て、該撮影時間間隔データを動き検出部９に送る。動き検出部９は前記撮影時刻間隔が所定値以下の場合に、エンコード部５が保持している画像に対して、動きベクトル検出処理を実行する。エンコード部５は前記動き検出部から動きベクトル情報を受け取った画像、即ち「動き有り」となった画像に対しては、Ｐピクチャーとしてエンコード（即ちフレーム間予測符号化処理）を行い、その他の画像、即ち撮影時刻間隔が所定値以上の場合の画像や「動きなし」となった画像は、ＩピクチャーとしてＭＰＥＧ２ビデオ形式でエンコード（即ちフレーム内符号化処理）を行って、ＭＰＥＧ２形式の動画像データ（圧縮動画情報）を生成する。

ここで付帯情報について説明する。付帯情報付ＪＰＥＧ画像データのフォーマット例としては、図７に一例を示すように、ＪＥＩＤＡ（社団法人日本電子工業振興協会）で規格化されたデジタルスチルカメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）がある。本実施の形態においては、付帯情報の中から撮影時刻データ（Ｄａｔｅ Ｔｉｍｅ Ｏｒｉｇｉｎａｌ、Ｓｕｂ Ｓｅｃ Ｔｉｍｅ Ｏｒｉｇｉｎａｌ）を利用して動き検出処理を実施したが、これに限るものではなく、撮影日時情報、被写体距離、被写体位置、撮影方向、進行方向、進行速度、緯度、経度、高度などのデータの中から何れのデータであっても利用可能である。

［実施例１］
ついで、映像信号符号化装置２００の動作を実施例１に沿って説明する。図２は第１の実施の形態に係る映像信号符号化の実施例を説明する説明図である。なお、以下に説明する実施例１においては、付帯情報から撮影時刻データだけでなく、撮影方向データも利用するものについて説明する。

図２において、１１は一枚目のＪＰＥＧ画像、３１は一枚目のＪＰＥＧ画像に付帯する撮影時刻データ、３２は一枚目のＪＰＥＧ画像に付帯する撮影方向データである。同様に１２から１７までが、二枚目から七枚目までの付帯情報付のＪＰＥＧ画像である。１８は前記一枚目のＪＰＥＧ画像をフォーマット変換したＭＰＥＧ２ビデオ形式のＩフレーム、１９は前記二枚目のＪＰＥＧ画像をフォーマット変換したＭＰＥＧ２ビデオ形式のＰフレーム、同様に２０から２２はＰフレーム、２３、２４はＩフレームである。２５は一枚目の撮影時刻と二枚目の撮影時刻の時間差、同様に２６から３０は、二枚目以降の撮影時間差を示す。

図２に示すように、一枚目の付帯情報付きＪＰＥＧ画像１１には撮影時刻データ３１と撮影方向データ３２が付帯（付属）している。前記撮影時刻データ３１と撮影方向データ３２によると、一枚目のＪＰＥＧ画像が２００２年１２月２日１０時２３分１１．３３３秒に、方角４５．１３度方向に向かって撮影されたことが分かる。ここで撮影方向データは真北を０度として時計回りに角度をとり撮影方向を表すように定義されている。同様に二枚目の付帯情報付きＪＰＥＧ画像１２は２００２年１２月２日１０時２３分１１．６６６秒に、方角４５．２６度方向に向かって撮影されたことが分かる。時間間隔２５に示すように、一枚目ＪＰＥＧ画像と二枚目画像ＪＰＥＧとは１／３秒間おいて連続撮影されたことが分かる。同時に、撮影方向は０．１３度しか変化していないので、撮影者は同一方向にカメラを向けて連続撮影したと推定できる。

ここで、上記動き検出部９が動き検出処理を行う条件として、所定の撮影時間間隔を２秒以下、撮影方向差を±３度以内とし、この条件範囲内に撮影時刻間隔、及び撮影方向差が収まっている場合に、上記エンコード部５により動き検出処理するものと規定する。この規定によれば、一枚目ＪＰＥＧ画像１１と二枚目ＪＰＥＧ画像１２との間でフレーム間予測符号化（動き予測処理）を適用できる可能性があるので、これら二つのフレーム間で動きベクトルの検出を試みる。

本実施例１では動きベクトルの検出に成功したので、Ｉフレーム１８を参照するようなＰフレーム１９に変換することができた。同様に二枚目ＪＰＥＧ画像１２と三枚目ＪＰＥＧ画像１３間、三枚目ＪＰＥＧ画像１３と四枚目ＪＰＥＧ画像１４間、四枚目ＪＰＥＧ画像１４と五枚目ＪＰＥＧ画像１５間においても動きベクトル検出を行い、それぞれＰフレーム２０、２１、２２に変換することができた。

次に五枚目ＪＰＥＧ画像１５と六枚目ＪＰＥＧ画像１６間は付帯情報によると、撮影時間間隔が約２４秒あり、撮影方向差は約４度である。前述の規定によると、撮影時間間隔が２秒以下、撮影方向差を±３度以内である場合には、動き検出処理を適用するが、それ以外は動き検出処理を適用せず、フレーム間予測符号化をあきらめることになる。よって、五枚目ＪＰＥＧ画像１５と六枚目ＪＰＥＧ画像１６間は動き検出処理することなく、Ｉフレーム２３に変換された。同様に六枚目ＪＰＥＧ画像１６と七枚目ＪＰＥＧ画像１７間も、撮影時間間隔、撮影方向差が規定値以上なので、動き検出処理をおこなうことなく、Ｉフレーム２４に変換された。

以上の説明したように、本発明の第１の実施の形態に係る映像信号符号化装置２００によると、ＪＰＥＧ画像の付帯情報に基づき、動き予測処理を適用するフレームとしないフレームを判定し、該判定結果に基づきフレーム間予測符号化方式とフレーム内符号化方式とを選択して、該ＪＰＥＧ画像情報群をＭＰＥＧ２ビデオ形式の動画情報に生成するので、ＪＰＥＧ画像の信号内容を精査することなく動き予測処理の適用判定ができ、即ち全てのフレームに対して動き検出処理を行うことなく、必要なフレームに対してだけ動き予測処理を適用することができて、効率的にＪＰＥＧ画像情報群をＭＰＥＧ２ビデオ形式の動画情報に変換する処理を行うことができる。

（第２の実施の形態）
第２の実施の形態においては、フレーム内符号化された圧縮フレーム画像情報群として付帯情報付ＪＰＥＧ画像データを入力し、フレーム間予測符号化とフレーム内符号化を併用する圧縮動画情報としてフレーム数が自動調整されたＭＰＥＧ２ビデオデータを出力する映像信号符号化装置の一例を説明する。

図３は本発明の第２の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図である。なお、図３に示す映像信号符号化装置２４０も、第１の実施の形態と同様に、説明の便宜上、その他の機能を構成する各部（各手段）を省略して示したものである。

映像信号符号化装置２４０は、付帯情報付ＪＰＥＧ画像データが入力される分離部（付帯情報抽出手段）４０、ＪＰＥＧ画像データの可変長符号を復号するＶＬＤ部（復号手段）４１、ＪＰＥＧ画像データの逆量子化処理を行う逆量子化部（復号手段）４２、ＪＰＥＧ画像データの逆離散コサイン変換を行うＩＤＣＴ部（復号手段）４３、ＪＰＥＧ画像データより再生した画像をＭＰＥＧ２のビデオデータにエンコードするエンコード部（圧縮動画生成手段）４４、付帯情報付ＪＰＥＧ画像データより付帯情報として撮影時刻データを抽出する撮影時刻データ抽出部（付帯情報抽出手段）４５、抽出した撮影時刻データを記憶する撮影時刻データメモリ（付帯情報抽出手段）４６、撮影時刻間の時間差を求める差分器（付帯情報抽出手段）４７、フレーム画像間の動きベクトル検出を行う動き検出部（動き予測処理適用判定手段）４８、ＭＰＥＧ２ビデオデータに挿入するフレーム数を指示する挿入フレーム指示部（挿入フレーム決定手段）４９を備えて構成されている。

つづいて、映像信号符号化装置２４０の動作について説明する。

図３に示すように、分離部４０は付帯情報付ＪＰＥＧ画像データからＪＰＥＧ画像データ部分と付帯情報部分とを分離し、ＪＰＥＧ画像データはＶＬＤ部４１に対して出力し、付帯情報は撮影時刻データ抽出部４５へ出力する。次に抽出された前記ＪＰＥＧ画像データはＶＬＤ部４１、逆量子化部４２、ＩＤＣＴ部４３の順に復号されてもとの静止画像を得る。再生された静止画像はＭＰＥＧ２動画像フォーマットに変換するためにエンコード部４４に入力される。一方、分離部４０から撮影時刻データ抽出部４５へ渡された一番目の付帯情報は、一番目の撮影時刻データと不要情報に分けられ、撮影時刻データを保持すると同時に差分器４７へ出力し、不要情報は廃棄される。撮影時刻データ抽出部４５は続いて二番目の付帯情報を受け取ると一番目の撮影時刻データを撮影時刻データメモリ４６に送り、前記と同様に撮影時刻データと不要情報に分けられ、二番目の撮影時刻データを保持すると同時に差分器４７へ出力し、不要情報は廃棄される。次に差分器４７は一番目と二番目の撮影時刻の差分をとり撮影時間間隔データを得て、該撮影時間間隔データを動き検出部４８と挿入フレーム指示部４９に送る。動き検出部４８は前記撮影時刻間隔が所定値以下の場合に、エンコード部４４が保持している画像に対して、動きベクトル検出処理を実行する。エンコード部４４は前記動き検出部から動きベクトル情報を受け取った画像、即ち「動き有り」となった画像に対しては、Ｐピクチャーとしてエンコード（即ちフレーム間予測符号化処理）を行い、その他の画像、即ち撮影時刻間隔が所定値以上の場合の画像や「動きなし」となった画像は、ＩピクチャーとしてＭＰＥＧ２ビデオ形式でエンコード（即ちフレーム内符号化処理）を行って、ＭＰＥＧ２形式の動画像データを生成する。

次に、挿入フレーム指示部４９は前記差分器４７から撮影時間差データを受け取り、更に前記動き検出部４８から動き検出結果を受け取る。挿入フレーム指示部４９は撮影時間差データと動き検出結果により挿入フレーム数を決定し、エンコード部４４に通知する。たとえば、挿入フレーム数の決定規則は次のように与える。
ａ）動き検出処理を適用しない場合は、ｍフレーム挿入
ｂ）動き検出結果が「非検出」の場合は、ｍフレーム挿入
ｃ）動き検出結果が「検出」の場合は、ｎフレーム挿入
ここでｍ＞ｎ、挿入フレーム画像は挿入直前フレームの画像と同一画像とする。

エンコード部４４は、挿入フレーム指示部４９から上記決定規則により決定されたフレーム数、即ちｍフレームかｎフレームかに応じて、挿入直前フレームの画像と同一画像のＰフレームをｍフレーム分又はｎフレーム分だけ生成し、その同一画像の直後に挿入して、ＭＰＥＧ２ビデオ形式の動画像を生成する。

［実施例２］
ついで、映像信号符号化装置２４０の動作を実施例２に沿って説明する。図４は第２の実施の形態に係る映像信号符号化の実施例を説明する説明図である。なお、以下に説明する実施例２においては、付帯情報から撮影時刻データだけでなく、撮影方向データも利用するものについて説明する。

図４において、５０は一枚目のＪＰＥＧ画像、７６は一枚目のＪＰＥＧ画像に付帯する撮影時刻データ、７７は一枚目のＪＰＥＧ画像に付帯する撮影方向データである。同様に５１から５６までが、二枚目から七枚目までの付帯情報付のＪＰＥＧ画像である。５７は前記一枚目のＪＰＥＧ画像をフォーマット変換したＭＰＥＧ２ビデオ形式のＩフレーム、５８は前記二枚目のＪＰＥＧ画像をフォーマット変換したＭＰＥＧ２ビデオ形式のＰフレーム、同様に５９から６１はＰフレーム、６２、６３はＩフレームである。７０は一枚目の撮影時刻と二枚目の撮影時刻の時間差、同様に７１から７５は、二枚目以降の撮影時間差を示す。さらに、６４はＩフレーム５７の直後に挿入されるＰフレーム、６５はＰフレーム５８の直後に挿入されるＰフレーム、以下同様に６６、６７、６８、６９はそれぞれ挿入されるＰフレームを示す。

図４に示すように、一枚目の付帯情報付きＪＰＥＧ画像５０には撮影時刻データ７６と撮影方向データ７７が付属している。前記撮影時刻データ７６と撮影方向データ７７によると、一枚目のＪＰＥＧ画像が２００２年１２月２日１０時２３分１１．３３３秒に、方角４５．１３度方向に向かって撮影されたことが分かる。ここで撮影方向データは真北を０度として時計回りに角度をとり撮影方向を表すように定義されている。同様に二枚目の付帯情報付きＪＰＥＧ画像１２は２００２年１２月２日１０時２３分１１．６６６秒に、方角４５．２６度方向に向かって撮影されたことが分かる。時間間隔７０に示すように、一枚目ＪＰＥＧ画像と二枚目画像ＪＰＥＧとは１／３秒間おいて連続撮影されたことが分かる。同時に、撮影方向は０．１３度しか変化していないので、撮影者は同一方向にカメラを向けて連続撮影したと推定できる。

ここで、上記動き検出部４８が動き検出処理を行う条件として、所定の撮影時間間隔を２秒以下、撮影方向差を±３度以内とし、この条件範囲内に撮影時刻間隔、及び撮影方向差が収まっている場合に、上記エンコード部４４により動き検出処理するものと規定する。この規定によれば、一枚目ＪＰＥＧ画像５０と二枚目ＪＰＥＧ画像５１との間でフレーム間予測符号化を適用できる可能性があるので、これら二つのフレーム間で動きベクトルの検出を試みる。

本実施例２では動きベクトルの検出に成功したので、Ｉフレーム５７を参照するようなＰフレーム５８に変換することができた。同様に二枚目ＪＰＥＧ画像５１と三枚目ＪＰＥＧ画像５２間、三枚目ＪＰＥＧ画像５２と四枚目ＪＰＥＧ画像５３間、四枚目ＪＰＥＧ画像５３と五枚目ＪＰＥＧ画像５４間においても動きベクトル検出を行い、それぞれＰフレーム５９、６０、６１に変換することができた。

次に五枚目ＪＰＥＧ画像５４と六枚目ＪＰＥＧ画像５５間は付帯情報によると、撮影時間間隔が約２４秒あり、撮影方向差は約４度である。前述の規定によると、撮影時間間隔が２秒以下、撮影方向差を±３度以内である場合には、動き検出処理を適用するが、それ以外は動き検出処理を適用せず、フレーム間予測符号化をあきらめることになる。よって、五枚目ＪＰＥＧ画像５４と六枚目ＪＰＥＧ画像５５間は動き検出処理することなく、Ｉフレーム６２に変換された。同様に六枚目ＪＰＥＧ画像５５と七枚目ＪＰＥＧ画像５６間も、撮影時間間隔、撮影方向差が規定値以上なので、動き検出処理をおこなうことなく、Ｉフレーム６３に変換された。

ここで前述の挿入フレーム数の決定規則において、ｍ＝８９、ｎ＝９とすると、
ａ）動き検出処理を適用しない場合は、８９フレーム挿入
ｂ）動き検出結果が「非検出」の場合は、８９フレーム挿入
ｃ）動き検出結果が「検出」の場合は、９フレーム挿入
となる。ただし、ｍとｎの値は上記の値に限るものではない。

この挿入フレーム数の決定規則に従って挿入フレーム指示部４９は、まず、Ｉフレーム５７の直後に９フレーム分のＰフレーム群６４を挿入を決定してエンコード部４４に指定し、該エンコード部４４は、挿入フレーム指示部４９の決定に基づき、Ｉフレーム５７の直後に９フレーム分のＰフレーム群６４を挿入する。同様にエンコード部４４は、挿入フレーム指示部４９の指示に基づき、動き検出結果が「検出」であった箇所、すなわちＰフレーム５８の直後、Ｐフレーム５９の直後、Ｐフレーム６０の直後に、それぞれ９フレーム分のＰフレーム群６５，６６，６７を挿入する。また、Ｐフレーム６１とＩフレーム６２との直後には、動き検出結果が「非検出」であったので、それぞれ８９フレーム分のＰフレーム群６８，６９を挿入する。なお、本実施例において、Ｉフレーム６３の直後には、特に挿入フレームを挿入していないが、例えば８９フレーム分のＰフレーム群を挿入してもよい。

以上の説明したように、本発明の第２の実施の形態に係る映像信号符号化装置２４０によると、付帯情報或いは動き検出部４８の検出結果に基づき、各フレームの直後に挿入するフレーム数を決定し、当該フレームと同一の画像を形成するためのフレームを決定されたフレーム数だけ挿入して、ＭＰＥＧ２ビデオ形式の動画情報を生成するので、ＪＰＥＧ画像毎に鑑賞に適した再生時間を有するＭＰＥＧ２ビデオ形式の動画情報を自動的に生成することができ、それにより、ＭＰＥＧ２ビデオ形式の動画情報を再生した際に、各フレームの表示時間が短くなりすぎることを防ぐことができる。

なお、以上説明した第２の実施の形態においては、挿入フレーム指示部４９が、付帯情報（動き検出処理の適用判定）と動き検出結果（非検出又は検出）に基づき、挿入するフレーム数を決定するものについて説明したが、付帯情報だけ（動き検出処理の適用判定だけ）に基づき挿入するフレーム数を決定してもよい。この際は、動き検出結果が「非検出」であっても少ないフレーム数（例えば９フレーム）を挿入することになるが、撮影時刻間隔が短いもの（及び撮影方向が近いもの）であり、即ち類似した画像であるはずなので、特に再生時間が短くなっても問題はない。

（第３の実施の形態）
第３の実施の形態においては、フレーム内符号化された圧縮フレーム画像情報群として付帯情報付ＪＰＥＧ画像データを入力し、フレーム間予測符号化とフレーム内符号化を併用する圧縮動画情報として複数フレームが画像合成されたＭＰＥＧ２ビデオデータを出力する映像信号符号化装置の一例を説明する。

図５は本発明の第３の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図である。なお、図５に示す映像信号符号化装置２８０も、第１及び第２の実施の形態と同様に、説明の便宜上、その他の機能を構成する各部（各手段）を省略して示したものである。

映像信号符号化装置２８０は、付帯情報付ＪＰＥＧ画像データが入力される分離部（付帯情報抽出手段）８０、ＪＰＥＧ画像データの可変長符号を復号するＶＬＤ部（復号手段）８１、ＪＰＥＧ画像データの逆量子化処理を行う逆量子化部（復号手段）８２、ＪＰＥＧ画像データの逆離散コサイン変換を行うＩＤＣＴ部（復号手段）８３、ＪＰＥＧ画像データより再生した画像をＭＰＥＧ２のビデオデータにエンコードするエンコード部（圧縮動画生成手段）８４、付帯情報付ＪＰＥＧ画像データより付帯情報として撮影時刻データを抽出する撮影時刻データ抽出部（付帯情報抽出手段）８５、抽出した撮影時刻データを記憶する撮影時刻データメモリ（付帯情報抽出手段）８６、撮影時刻間の時間差を求める差分器（付帯情報抽出手段）８７、フレーム画像間の動きベクトル検出を行う動き検出部（動き予測処理適用判定手段）８８、マルチ画面化を指示する合成指示部（合成画像判定手段）８９を備えて構成されている。

つづいて、映像信号符号化装置２８０の動作について説明する。

図５に示すように、分離部８０は付帯情報付ＪＰＥＧ画像データからＪＰＥＧ画像データ部分と付帯情報部分とを分離し、ＪＰＥＧ画像データはＶＬＤ部８１に対して出力し、付帯情報は撮影時刻データ抽出部８５へ出力する。次に抽出された前記ＪＰＥＧ画像データはＶＬＤ部８１、逆量子化部８２、ＩＤＣＴ部８３の順に復号されてもとの静止画像を得る。再生された静止画像はＭＰＥＧ２動画像フォーマットに変換するためにエンコード部８４に入力される。一方、分離部８０から撮影時刻データ抽出部８５へ渡された一番目の付帯情報は、一番目の撮影時刻データと不要情報に分けられ、撮影時刻データを保持すると同時に差分器８７へ出力し、不要情報は廃棄される。撮影時刻データ抽出部８５は続いて二番目の付帯情報を受け取ると一番目の撮影時刻データを撮影時刻データメモリ８６に送り、前記と同様に撮影時刻データと不要情報に分けられ、二番目の撮影時刻データを保持すると同時に差分器８７へ出力し、不要情報は廃棄される。次に差分器８７は一番目と二番目の撮影時刻の差分をとり撮影時間間隔データを得て、該撮影時間間隔データを動き検出部８８と合成指示部８９に送る。動き検出部８８は前記撮影時刻間隔が所定値以下の場合に、エンコード部８４が保持している画像に対して、動きベクトル検出処理を実行する。エンコード部８４は前記動き検出部から動きベクトル情報を受け取った画像、即ち「動き有り」となった画像に対しては、Ｐピクチャーとしてエンコード（即ちフレーム間予測符号化処理）を行い、その他の画像、即ち撮影時刻間隔が所定値以上の場合の画像や「動きなし」となった画像は、ＩピクチャーとしてＭＰＥＧ２ビデオ形式でエンコード（即ちフレーム内符号化処理）を行って、ＭＰＥＧ２形式の動画像データを生成する。

次に、合成指示部８９は前記差分器８７から撮影時間差データを受け取り、さらに前記動き検出部９０から動き検出結果を受け取る。合成指示部８９は撮影時間差データと動き検出結果により画像合成を判定し、エンコード部８５に通知する。たとえば、画像合成判定の決定規則は次のように与える。
ｄ）動き検出処理を適用しない場合は、画像合成を判定せず、そのまま１フレーム画像とする
ｅ）動き検出結果が「非検出」の場合は、画像合成を判定せず、そのまま１フレーム画像とする
ｆ）動き検出結果が「検出」の場合は、画像合成を判定し、類似した他の画像をｘフレームまでマルチ画面合成する
ここで類似した画像とは、動き検出を行った元の画像（直前フレームの画像）、及び動き検出結果が連続して「検出」になった画像である。また、マルチ画面合成とは、１つの画面において、領域をｘ個に分割し、ｘフレームの画像を縮小して、それぞれ各領域に割当てる形で１つの画像に合成することである。

マルチ画像合成の指示をする際には、主に動き検出結果が連続して「検出」になった画像をｘフレームのマルチ合成画面内に合成するように指示するが、動き検出結果が連続して「検出」になった画像の合計のフレーム数がｘフレームに満たない場合には、直前フレームの画像もｘフレームのマルチ合成画面内に合成するように指示する。なお、それら動き検出結果が連続して「検出」になった画像と直前フレームの画像との合計がｘフレームに満たない場合には、マルチ合成画面内に空白部分を形成してもよく、また、分割する領域の個数を変更、即ち合成するフレーム数を変更してもよい。

なお、本実施の形態における画像合成は、マルチ画面合成を行うものを一例として説明しているが、特にマルチ画面表示に限るものではなく、複数フレームを半透明化して重ね合わせるアルファブレンドやフェードイン／フェードアウトなどの各種の画像合成処理が実施可能である。

［実施例３］
ついで、映像信号符号化装置２８０の動作を実施例３に沿って説明する。図６は第３の実施の形態に係る映像信号符号化の実施例を説明する説明図である。なお、以下に説明する実施例３においては、付帯情報から撮影時刻データだけでなく、撮影方向データも利用するものについて説明する。

図６において、１００は一枚目のＪＰＥＧ画像、１２８は一枚目のＪＰＥＧ画像に付帯する撮影時刻データ、１２９は一枚目のＪＰＥＧ画像に付帯する撮影方向データである。同様に１０１から１０６までが、二枚目から七枚目までの付帯情報付のＪＰＥＧ画像である。１０７は前記一枚目のＪＰＥＧ画像を一時的にフォーマット変換したＭＰＥＧ２ビデオ形式のＩフレーム、１０８は前記二枚目のＪＰＥＧ画像を一時的にフォーマット変換したＭＰＥＧ２ビデオ形式のＰフレーム、同様に１０９から１１１はＰフレーム、１１２、１１３はＩフレームである。１２２は一枚目の撮影時刻と二枚目の撮影時刻の時間差、同様に１２３から１２７は、二枚目以降の撮影時間差を示す。さらに、１１４は一枚目のＪＰＥＧ画像を最終的にＭＰＥＧ２ビデオ形式に変換したＩフレーム、１１５は上記Ｐフレーム１０８，１０９，１１０，１１１を縮小した縮小画像１１８，１１９，１２０，１２１をマルチ画像合成したマルチ合成画像、１１６、１１７は同様に六枚目、七枚目のＪＰＥＧ画像を最終的にＭＰＥＧ２ビデオ形式に変換したＩフレームである。

図６に示すように、一枚目の付帯情報付きＪＰＥＧ画像１００には撮影時刻データ１２８と撮影方向データ１２９が付属している。前記撮影時刻データ１２８と撮影方向データ１２９によると、一枚目のＪＰＥＧ画像が２００２年１２月２日１０時２３分１１．３３３秒に、方角４５．１３度方向に向かって撮影されたことが分かる。ここで撮影方向データは真北を０度として時計回りに角度をとり撮影方向を表すように定義されている。同様に二枚目の付帯情報付きＪＰＥＧ画像１０１は２００２年１２月２日１０時２３分１１．６６６秒に、方角４５．２６度方向に向かって撮影されたことが分かる。時間間隔１２２に示すように、一枚目ＪＰＥＧ画像と二枚目画像ＪＰＥＧとは１／３秒間おいて連続撮影されたことが分かる。同時に、撮影方向は０．１３度しか変化していないので、撮影者は同一方向にカメラを向けて撮影したと推定できる。

ここで上記動き検出部８８が動き検出処理を行う条件として、所定の撮影時間間隔を２秒以下、撮影方向差を±３度以内とし、この条件範囲内に撮影時刻間隔、及び撮影方向差が収まっている場合に、上記エンコード部８４により動き検出処理するものと規定する。この規定によれば、一枚目ＪＰＥＧ画像１００と二枚目ＪＰＥＧ画像１０１との間でフレーム間予測符号化を適用できる可能性があるので、これら二つのフレーム間で動きベクトルの検出を試みる。

本実施例３では動きベクトルの検出に成功したので、Ｉフレーム１０７を参照するようなＰフレーム１０８に変換することができた。同様に二枚目ＪＰＥＧ画像１０１と三枚目ＪＰＥＧ画像１０２間、三枚目ＪＰＥＧ画像１０２と四枚目ＪＰＥＧ画像１０３間、四枚目ＪＰＥＧ画像１０３と五枚目ＪＰＥＧ画像１０４間においても動きベクトル検出を行い、それぞれＰフレーム１０９、１１０、１１１に変換することができた。

次に五枚目ＪＰＥＧ画像１０４と六枚目ＪＰＥＧ画像１０５間は付帯情報によると、撮影時間間隔が約２４秒あり、撮影方向差は約４度である。前述の規定によると、撮影時間間隔が２秒以内、撮影方向差を±３度以内である場合には、動き検出処理を適用するが、それ以外は動き検出処理を適用せず、フレーム間予測符号化をあきらめることになる。よって、五枚目ＪＰＥＧ画像１０４と六枚目ＪＰＥＧ画像１０５間は動き検出処理することなく、Ｉフレーム１１２に変換された。同様に六枚目ＪＰＥＧ画像１０５と七枚目ＪＰＥＧ画像１０６間も、撮影時間間隔、撮影方向差が規定値以上なので、動き検出処理をおこなうことなく、Ｉフレーム１１３に変換された。

ここで前述の画像合成判定の規則において、ｘ＝４とすると、
ｄ）動き検出処理を適用しない場合は、画像合成を判定せず、そのまま１フレーム画像とする
ｅ）動き検出結果が「非検出」の場合は、画像合成を判定せず、そのまま１フレーム画像とする
ｆ）動き検出結果が「検出」の場合は、画像合成を判定し、類似した他の画像を４フレームまでマルチ画面合成する
となる。ただし、ｘの値は上記の値に限るものではない。

この画像合成判定の決定規則に従って合成指示部８９がエンコード部８４に指示し、該エンコード部８４は、まず、Ｉフレーム１０７は画像合成せずに１フレーム全画面の画像にするのでＩフレーム１１４をエンコード出力する。Ｐフレーム１０８は、例えばＩフレーム１０７との差分に基づき一旦デコードされた後、１／２（面積的には１／４）に縮小されてＩフレーム１１５の左上の部分画面１１８に、同様にＰフレーム１０９、１１０、１１１も１／２に縮小されてＩフレーム１１５の部分画面１１９、１２０、１２１になるようにマルチ画面合成し、エンコード出力する。また、Ｉフレーム１１２は画像合成せずに１フレーム全画面の画像にするのでＩフレーム１１６を、更に、Ｉフレーム１１３も画像合成せずに１フレーム全画面の画像にするのでＩフレーム１１７を、それぞれエンコード出力する。

なお、本実施の形態においては、説明の便宜上、一時的にエンコードされ、中間段階のＰフレーム（例えば１０８，１０９，１１０，１１１）を生成した後、合成して合成画像を生成するものについて説明したが、付帯情報或いは動き検出に基づいてＪＰＥＧ画像から復号された静止画像（例えば１０１，１０２，１０３，１０４）をそのまま合成して合成画像を生成してもよく、この方が演算処理量が少ないことは、勿論のことである。また、この際は、付帯情報だけに基づいて画像合成を判定して合成画面を生成した後、単一の画像及び合成画像をＭＰＥＧ方式にエンコードするようにしてもよい。

以上の説明したように、本発明の第３の実施の形態に係る映像信号符号化装置２８０によると、動き予測処理の適用が判定されたフレーム画像１０１，１０２，１０３，１０４を合成画像１１５として合成して、該合成画像１１５を含むＭＰＥＧ２ビデオ形式の動画情報を生成するので、効率よく適切な数のフレームを縮小、合成することができて、ＪＰＥＧ画像毎に鑑賞に適した単一の画像又は合成画像が含まれたＭＰＥＧ２ビデオ形式の動画情報を自動的に生成することができる。それにより、ＭＰＥＧ２ビデオ形式の動画情報を再生した際に、画像内容が類似した複数のフレーム画像の表示時間が長くなることを防ぐことができる。

なお、以上説明した第１乃至第３の実施の形態においては、ＪＰＥＧ方式で圧縮された画像情報を復号し、ＭＰＥＧ方式で圧縮した動画情報にフォーマット変換するものについて説明したが、同一フレーム画像内で圧縮されたフレーム内符号化方式で符号化された圧縮フレーム画像情報が複数集合したものを、複数のフレーム画像間で異なる部分だけを差分として記録するフレーム間予測符号化方式とフレーム内符号化方式とを併用して符号化された圧縮動画情報にフォーマット変換するものであれば、これらの圧縮方式はどのようなものであってもよい。

第１の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図。 第１の実施の形態に係る映像信号符号化過程を説明する説明図。 第２の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図。 第２の実施の形態に係る映像信号符号化過程を説明する説明図。 第３の実施の形態に係る映像信号符号化装置の一部構成を示すブロック図。 第３の実施の形態に係る映像信号符号化過程を説明する説明図。 Ｅｘｉｆ規格の一例を示す図。

符号の説明

１ 付帯情報抽出手段（分離部）
２ 復号手段（ＶＬＤ部）
３ 復号手段（逆量子化部）
４ 復号手段（ＩＤＣＴ）
５ 圧縮動画生成手段（エンコード部）
６ 付帯情報抽出手段（撮影時刻データ抽出部）
７ 付帯情報抽出手段（撮影時刻データメモリ）
８ 付帯情報抽出手段（差分器）
９ 動き予測処理適用判定手段（動き検出部）
４０ 付帯情報抽出手段（分離部）
４１ 復号手段（ＶＬＤ部）
４２ 復号手段（逆量子化部）
４３ 復号手段（ＩＤＣＴ）
４４ 圧縮動画生成手段（エンコード部）
４５ 付帯情報抽出手段（撮影時刻データ抽出部）
４６ 付帯情報抽出手段（撮影時刻データメモリ）
４７ 付帯情報抽出手段（差分器）
４８ 動き予測処理適用判定手段（動き検出部）
４９ 挿入フレーム決定手段（挿入フレーム指示部）
８０ 付帯情報抽出手段（分離部）
８１ 復号手段（ＶＬＤ部）
８２ 復号手段（逆量子化部）
８３ 復号手段（ＩＤＣＴ）
８４ 圧縮動画生成手段（エンコード部）
８５ 付帯情報抽出手段（撮影時刻データ抽出部）
８６ 付帯情報抽出手段（撮影時刻データメモリ）
８７ 付帯情報抽出手段（差分器）
８８ 動き予測処理適用判定手段（動き検出部）
８９ 合成画像判定手段（合成指示部）
２００ 映像信号符号化装置
２４０ 映像信号符号化装置
２８０ 映像信号符号化装置

Claims (5)

1. フレーム内符号化処理で符号化された圧縮フレーム画像情報群を、フレーム間予測符号化処理とフレーム内符号化処理とを併用して符号化された圧縮動画情報に変換する映像信号処理装置であって、
   前記圧縮フレーム画像情報群の各圧縮フレーム画像情報をフレーム画像情報に復号する復号手段と、
   前記各圧縮フレーム画像情報に付帯された時間情報又は方向情報を抽出する付帯情報抽出手段と、
   前記付帯された時間情報又は方向情報から連続するフレーム画像情報間の時間差又は方向差を求め、該時間差又は方向差に基づき、前記フレーム画像情報に前記フレーム間予測符号化処理を適用するか否かを判定する動き予測処理適用判定手段と、
   前記動き予測処理適用判定手段の出力に基づき、前記フレーム内符号化処理又は前記フレーム間予測符号化処理と前記フレーム内符号化処理との併用の何れかを選択して前記フレーム画像情報を符号化し、前記圧縮動画情報を生成する圧縮動画生成手段とを備えたことを特徴とする映像信号処理装置。
2. 前記動き予測処理適用判定手段は、前記時間情報又は方向情報に基づきフレーム画像間における動きを検出する動き検出処理の実行可否を決定し、かつ前記動き検出処理により動きが検出された場合に、前記フレーム間予測符号化処理を使用する信号を前記圧縮動画生成手段に出力することを特徴とする請求項１記載の映像信号処理装置。
3. 前記時間情報又は方向情報と前記動き予測処理適用判定手段の判定結果との少なくとも一方に基づき、各フレーム画像情報の直後に挿入するフレーム数を決定する挿入フレーム決定手段を備え、
   前記圧縮動画生成手段は、各フレーム画像情報の直後に、当該各フレーム画像情報と同一のフレーム画像情報を、前記挿入フレーム決定手段により決定されたフレーム数だけ挿入することを特徴とする請求項１または２記載の映像信号処理装置。
4. 前記圧縮フレーム画像情報は、ＪＰＥＧフォーマット又はＪＰＥＧ２０００フォーマットのフレーム内符号化処理により圧縮された静止画像情報であり、
   前記圧縮動画情報は、ＭＰＥＧフォーマットにより圧縮された動画像情報であることを特徴とする請求項１ないし３のいずれか記載の映像信号処理装置。
5. フレーム内符号化処理で符号化された圧縮フレーム画像情報群を、フレーム間予測符号化処理とフレーム内符号化処理とを併用して符号化された圧縮動画情報に変換する映像信号処理方法であって、
   前記圧縮フレーム画像情報群の各圧縮フレーム画像情報をフレーム画像情報に復号するステップと、
   前記各圧縮フレーム画像情報に付帯された時間情報又は方向情報を抽出するステップと、
   前記付帯された時間情報又は方向情報から連続するフレーム画像情報間の時間差又は方向差を求め、該時間差又は方向差が所定の範囲内に収まっている場合に、前記フレーム間予測符号化処理を適用して前記フレーム画像情報を符号化し、前記圧縮動画情報を生成するステップとを有することを特徴とする映像信号処理方法。

Images