JP4850683B2 - 映像信号処理装置、映像信号処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は撮像記録装置及び撮像記録方法に係り、更に詳しくは撮像した画像の情報量圧縮のため動き補償付きピクチャ間予測で動き検出を適切に行うために用いて好適な技術に関する。

近年、音声信号、映像信号など所謂マルチメディアに関連する情報のデジタル化が急速に行われており、これに対応する映像信号の圧縮符号化及び復号化技術の必要性に強い注目が集まっている。圧縮符号化及び復号化技術は、映像信号の格納に必要な記憶容量や伝送に必要な帯域を減少させることが可能なため、マルチメディア産業において極めて重要な技術である。

これらの圧縮符号化及び復号化技術は、映像信号が有している自己相関性の高さ（すなわち、冗長性）を利用して情報量／データ量を圧縮している。映像信号が有する冗長性には、時間冗長性及び二次元の空間冗長性がある。時間冗長性は、ブロック単位の動き検出及び動き補償を用いて低減することが可能であり、空間冗長性は、離散コサイン変換（ＤＣＴ）などを用いて低減させることが可能である。

圧縮符号化及び復号化技術として知られるＭＰＥＧ方式などではこれらの手法により映像信号の冗長性を低減させ、経時的に変わるビデオフレーム／フィールドのデータ圧縮効果を向上させることが可能となる。

時間冗長性を低減させるためのブロック単位の動き検出とは、連続して入力する参照フレーム／フィールド（過去のフレーム／フィールド）と、現在フレーム／フィールドとの間で最も近似するブロックを探し出す作業である。そして、対応するブロックの移動方向、移動量を表すベクトルを動きベクトルという。したがって、動き検出とは動きベクトルの検出と同義である。

一般に、動きベクトルを検出する方法としては、ブロックマッチング方式が用いられる。ブロックマッチング方式とは、参照フレーム／フィールドと現在フレーム／フィールドのように、２枚の映像信号をブロック単位で比較する。そして、信号の類似度に基づいてブロック単位で動きを検出する方法をいう。このブロックマッチング方式によって、参照フレーム／フィールドと現在フレーム／フィールドとからブロック単位ごとに動きベクトルを検出し、検出された動きベクトルを用いて動き補償予測を行う。このブロックマッチング方式については、例えば特許文献１に記載されている。

しかし、このような符号化方式はフレーム／フィールド間の相関を利用して符号化を行うようにしている。このため、明るさが時間的に変化するフェード効果や２つのシーンが混ざり合うクロスフェード効果等の特殊効果を用いて映像信号を記録した場合には、フレーム／フィールド間の相関が損なわれ動きベクトルの検出が上手くいかず画質が劣化するという問題点がある。

この問題を解決するために、例えば、特許文献２において、復号画像データに動き補償をして得られる画像データに対し、２以上のフレームのそれぞれの輝度を基に補正を行って予測画像データを得るようにした動画像予測復号方法が提案された。

特開平０４ー３２３７８０号公報（第２頁） 特開平０６−０４６４１２号公報

前記特許文献２において提案された「動画像予測符号化方法」においては、フェード時にフレーム／フィールド間の平均輝度差分による補正を行っているが、フェード時に輝度が直線的に変化していない場合には効率的な符号化を行うことができない問題点があった。

このため、例えば、特殊効果を施した映像信号を符号化する際のように、フェード時に輝度が直線的に変化しない場合には、動きベクトルを適切に検出することができず、効率的な符号化を行うことが困難であった。

本発明は前述の問題点に鑑み、特殊効果を施した映像信号を符号化する際にも、動きベクトル検出を正確に行うことを可能にして、画質の低下が少ない記録画像を出力できるようにすることを目的としている。

本発明の映像信号処理装置は、映像信号を取得する取得手段と、前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、を有し、前記特殊効果手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施し、前記符号化手段は、前記特殊効果が経過時間に応じて前記取得手段により得られた映像信号の輝度を変化させる特殊効果である場合、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化することを特徴とする。

本発明によれば、特殊効果を施した映像信号を符号化する際にも、動きベクトル検出を正確に行うことを可能にして、画質の低下が少ない記録画像を出力することができる。

（第１の実施形態）
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
まず始めに、本発明の撮像記録装置に適用可能な動きベクトル検出装置の一例について説明する。
図２は、ブロックマッチング方式を用いた動きベクトル検出装置の構成例を説明するブロック図である。

図２において、この動きベクトル検出装置は、現在フレーム／フィールド保存部２０、参照フレーム／フィールド保存部２１、現在マクロブロック保存バッファ２２、参照サーチウィンドウ保存バッファ２３、動きベクトル探索部２４から構成されている。

現在フレーム／フィールド保存部２０と参照フレーム／フィールド保存部２１には、現在フレーム／フィールドと参照フレーム／フィールドがそれぞれ保存され、動きベクトルの検出に用いられる。

現在マクロブロック保存バッファ２２は、現在フレーム／フィールド保存部２０から現在のマクロブロックの画像を取り出す。参照サーチウィンドウ保存バッファ２３は、現在のマクロブロックの中心に探索領域の中心を設定して探索領域の範囲（以下、サーチウィンドウと呼ぶ）分だけ参照フレーム／フィールド保存部２１から画像を取り出す。動きベクトル探索部２４では、サーチウィンドウ内で現在のマクロブロックの画像を探索し、現在のマクロブロックについての最終的な動きベクトル（入力された映像信号間の動き情報）を検出する。

次に、図３を参照しながらブロックマッチング方式の他の構成例を説明する。
図３に示すように、この例の場合は、図２の動きベクトル検出装置に、動きベクトル探索部２４で検出された動きベクトルを保存する動きベクトル保存部３５を配設している。

このように構成することにより、参照フレーム／フィールド保存部２１に対して、一つ前のマクロブロックについて検出した動きベクトルを動きベクトル保存部３５から提供する。参照フレーム／フィールド保存部２１は、一つ前のマクロブロックの動きベクトル分だけ現在マクロブロックからずらした位置に探索領域の中心位置を設定し、参照サーチウィンドウ保存バッファ２３へ参照画像を出力する。

次に、図１を参照しながら本実施形態の撮像記録装置の構成例を説明する。
図１は、本実施形態に係る撮像記録装置の構成例を説明するブロック図である。本実施形態における撮像記録装置は、撮像部１００、信号処理回路１０１、符号化回路１０２、記録部１０３、撮像開始スイッチ１０４、制御回路１０５、特殊効果設定スイッチ１０６、特殊効果比率設定回路１０７等とから構成される。

係る構成において撮像部１００は、図示しないレンズ、CCD、A/D変換器等を有し、入射した光信号を電気信号に変換し、更にアナログ信号からデジタル信号に変換して映像信号を出力する。

信号処理回路１０１は、デジタル化された映像信号に対してガンマ補正、ホワイトバランス等、公知の技術を用いて輝度信号および色差信号からなるデジタル信号を生成する。また、特殊効果設定スイッチ１０６において映像に特殊効果を施す設定がされている場合には、特殊効果比率設定回路１０７から与えられる特殊効果の比率に相当するように、映像信号に特殊効果を施したデジタル信号を生成する。

符号化回路１０２は、フレーム／フィールド間予測符号化などの符号化方式を用いて符号化を行う。ただし、特殊効果映像の生成が行われている際には特殊効果比率設定回路１０７から提供される情報に従って映像信号を補正し動き検出を行う。

記録部１０３は、符号化回路１０２で符号化された映像信号を光ディスクなどの記録媒体（不図示）に記録する。撮影開始スイッチ１０４はユーザによって操作され、この撮像開始スイッチ１０４を押すことで撮影記録動作が開始される。

制御回路１０５は、撮影開始スイッチ１０４が操作されることによって撮影記録動作が開始されたことを検出し、信号処理回路１０１、符号化回路１０２、記録部１０３の制御を行う。また、特殊効果設定スイッチ１０６で設定された特殊効果及び撮影開始からの経過時間を信号処理回路１０１、符号化回路１０２、特殊効果比率設定回路１０７に出力する。

特殊効果設定スイッチ１０６は、映像に与える特殊効果のON／OFFを指示し、特殊効果を与える際に特殊効果の内容を設定する（特殊効果を設定することを選択可能にする）スイッチである。特殊効果比率設定回路１０７は、特殊効果が設定されたときに、制御回路１０５から送信される特殊効果の内容、特殊効果開始からの経過時間によって予め定められた特殊効果比率を決定し、信号処理回路１０１及び符号化回路１０２に特殊効果比率情報を送信する。

続いて、特殊効果設定スイッチ１０６で特殊効果映像の生成を設定した際に符号化回路１０２で行われる動作を、図４〜図６を用いて説明する。なお、符号化回路１０２は動き補償付きフレーム間予測符号化を用いる符号化回路であれば特定の符号化方式に限定されるものではないが本実施形態では符号化方式としてMPEG２を用いたものを説明する。また、特殊効果設定スイッチ１０６で設定される特殊効果としてフェードインが設定された例をあげて説明する。

図４は、符号化回路１０２の内部構成例を示したブロック図である。また、図５は符号化回路１０２の動作を説明するフローチャートである。
本実施形態における符号化装置１０２は、ピクチャ並び替え部３００、映像信号補正回路３０１、動きベクトル検出回路３０２、動き補償回路３０３、ＤＣＴ回路３０４、量子化回路３０５、逆量子化回路３０６、逆ＤＣＴ回路３０７、ビデオメモリ３０８、可変長符号化回路３０９から構成される。

係る構成において、ピクチャ並び替え部３００は、符号化回路１０２に入力された映像信号を符号化順に並び替える（図５のステップＳ４０１）。次に、ステップＳ４０２において、特殊効果設定スイッチ１０６で特殊効果が設定（特殊効果スイッチON）されか否かを判断する。

この判断の結果、特殊効果設定スイッチ１０６で特殊効果が設定されている場合、映像信号補正回路３０１は特殊効果比率設定回路１０７から送信されてくる各映像信号に対する特殊効果の比率情報を用いて、符号化対象ピクチャを参照ピクチャの特殊効果と同比率に補正した映像信号を生成する。そして、動きベクトル検出回路３０２に送信する（図５のステップＳ４０３）。

図６を例に挙げると、特殊効果１００％の時の輝度値が「０」とし、「特殊効果比率α」で「輝度値Ｙα」の符号化対象ピクチャの画素を参照ピクチャの「特殊効果比率βに合わせて「輝度値Ｙβ」に補正するためには下記「数１」の演算を行えばよい。

一方、ステップＳ４０２の判断の結果、特殊効果設定スイッチ１０６で特殊効果が設定されていない場合は、映像信号補正回路３０１では何も処理を行わず、映像信号を動きベクトル検出回路３０２に送信する。すなわち、ステップＳ４０３をジャンプしてステップＳ４０４に進む。

ステップＳ４０４において、動きベクトル検出回路３０２は、ビデオメモリ３０８に保存されている参照ピクチャ及び前記映像信号補正回路３０１から出力された符号化対象ピクチャを予め定められたブロック単位に分割する。そして、符号化対象ピクチャの各ブロックについて、参照ピクチャにおける相関の強い位置を探索する。そして、最も相関が強いと判断された位置を動きベクトルとし、動き補償回路３０３及び可変長符号化回路３０９に送信する。

なお、最大相関度を有する動きベクトルを推定するためには、次のようなMSE(Mean Square Error)(数２)、MAE(Mean Absolute Error)（数３）、あるいはMAD(Mean Absolute Difference)などの評価関数を用いることができる。

ここで、Ｓ_refは（補正された）参照ピクチャ、Ｓ_cur,kは（補正された）符号化対象ピクチャでk番目のマクロブロックを示す。（ｉ，ｊ）は符号化対象ピクチャのｋ番目のマクロブロックに対する参照ピクチャの空間的な位置をそれぞれ示している。

但し、Ｘ及びＹをサーチウィンドウの水平及び垂直が疎数とすると、ｘ＝ｇ×ｕ，ｙ＝ｈ×ｖである。ｇ、ｈは０≦ｘ≦Ｘ、ｌ≦ｇ≦Ｘ、０≦ｙ≦Ｙ、ｌ≦ｈ≦Ｙを満たす自然数である。また、Ｕ、Ｖは「Ｘ−ｇ≦Ｕ≦Ｘ、Ｙ−ｈ≦Ｖ≦Ｙ」を満たす。

この評価関数は画素の差に基づいたものであり、最も小さいMAE値やMSE値を有する場合を現在のマクロブロックにおける最終的な動きベクトルとして選定する。その際に、特殊効果が施された映像であっても、映像信号補正回路３０１を前記符号化対象ピクチャと参照ピクチャの特殊効果比率が同比率に補正されているため、フレーム／フィールド間の相関が失われることなく符号化効率の良い動きベクトルを検出することが可能になる。

また、前述した「数１」の特殊効果比率α、βは、前記特殊効果比率設定回路１０７から与えられる。このため、図６のようにフェード時の輝度（特殊効果比率）が直線的に変化していない場合でも、符号化対象ピクチャと参照ピクチャの特殊効果比率を確実に同比率に補正する（同等となるように補正する）ことが可能である。

動き補償回路３０３は、動きベクトル検出回路３０２から送信されてくる動きベクトルと前記参照ピクチャから前記符号化対象ピクチャの予測ピクチャを生成する（図５のステップＳ４０５）。

ＤＣＴ回路３０４は、符号化対象ピクチャと予測ピクチャの差分に対して離散コサイン変換され、更に量子化回路３０５で量子化され逆量子化回路３０６、可変長符号化回路３０９に送信される（図５のステップＳ４０６）。

逆量子化回路３０６は、送信されてくる信号を逆量子化する。逆ＤＣＴ回路３０７は、逆コサイン変換を行い、加算器３１０に出力する。そして、加算器３１０において、動き補償回路３０３で生成される予測ピクチャと加算することでビデオメモリ３０８に保存される参照ピクチャを生成する。

可変長符号化回路３０９は、前記量子化回路３０５で量子化された信号を、動きベクトル検出回路３０２の検出出力に応じて可変長符号化し、符号化データを出力する（図５のステップＳ４０７）。

本実施形態によれば、前述の構成により、符号化対象ピクチャと参照ピクチャの特殊効果比率を同比率にすることができる。これにより、明るさが時間的に変化するフェード効果や２つのシーンが混ざり合うクロスフェード効果などの特殊効果を用いて映像信号を記録した場合にもフレーム／フィールド間の相関を損なうことなく動きベクトル検出を行うことが可能である。

したがって、特殊効果を用いて映像信号を記録した場合にはフレーム／フィールド間の相関が損なわれる。この結果、動きベクトルの検出が上手くできないことにより、画質が劣化するという従来の撮影記録装置の問題点を解決して、画質を向上させることが可能になる。

また、図６のように直線的に輝度が変化していない映像であっても、動き予測に適したピクチャを生成することが可能である。また、直線的に輝度が変化していない映像では効率的な符号化を行うことができないという従来の撮影記録装置の問題点を解決することができ、画質を向上させることが可能になる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における撮像記録装置を構成する各手段、並びに撮像記録方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、予め定められた条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係る撮像記録装置の構成例を示すブロック図である。 動きベクトル検出装置の構成例を示すブロック図である。 動きベクトル検出装置の構成のもう一つの構成例を示すブロック図である。 本発明の実施形態に係る撮像記録装置の符号化回路の構成例を示すブロック図である。 本発明の実施形態に係る符号化回路の動作を説明するフローチャートである。 本発明でフェードイン時に画素を同比率に補正する動作を説明するための特性図である。

符号の説明

１００ 撮像部
１０１ 信号処理回路
１０２ 符号化回路
１０３ 記録部
１０４ 撮像開始スイッチ
１０５ 制御回路
１０６ 特殊効果設定スイッチ
１０７ 特殊効果比率設定回路
２０ 現在フレーム／フィールド保存部
２１ 参照フレーム／フィールド保存部
２２ 現在マクロブロック保存バッファ
２３ 参照サーチウィンドウ保存バッファ
２４ 動きベクトル探索部
３５ 動きベクトル保存部
３００ ピクチャ並べ替え部
３０１ 映像信号補正回路
３０２ 動きベクトル検出回路
３０３ 動き補償回路
３０４ ＤＣＴ回路
３０５ 量子化回路
３０６ 逆量子化回路
３０７ 逆ＤＣＴ回路
３０８ ビデオメモリ
３０９ 可変長符号化回路

Claims (9)

1. 映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   を有し、
   前記特殊効果手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施し、
   前記符号化手段は、前記特殊効果が経過時間に応じて前記取得手段により得られた映像信号の輝度を変化させる特殊効果である場合、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化することを特徴とする映像信号処理装置。
2. 映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   を有し、
   前記特殊効果手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施し、
   前記符号化手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように、前記符号化対象画像を補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化することを特徴とする映像信号処理装置。
3. 前記符号化手段により符号化された映像信号を記録媒体に記録する記録手段を更に有することを特徴とする請求項１又は２記載の映像信号処理装置。
4. 前記取得手段は、撮像手段により得られた映像信号を取得することを特徴とする請求項１乃至３の何れか１項記載の映像信号処理装置。
5. 映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   を有する映像信号処理装置が実行する映像信号処理方法であって、
   前記特殊効果手段が、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施す第１のステップと、
   前記符号化手段が、前記特殊効果が経過時間に応じて前記取得手段により得られた映像信号の輝度を変化させる特殊効果である場合、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化する第２のステップと、
   を含む映像信号処理方法。
6. 映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   を有する映像信号処理装置が実行する映像信号処理方法であって、
   前記特殊効果手段が、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施す第１のステップと、
   前記符号化手段が、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように、前記符号化対象画像を補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化する第２のステップと、
   を含む映像信号処理方法。
7. コンピュータを、
   映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   して機能させ、
   前記特殊効果手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施し、
   前記符号化手段は、前記特殊効果が経過時間に応じて前記取得手段により得られた映像信号の輝度を変化させる特殊効果である場合、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化することを特徴とするプログラム。
8. コンピュータを、
   映像信号を取得する取得手段と、
   前記取得手段により取得された映像信号に特殊効果を施して出力する特殊効果手段と、
   前記特殊効果手段より出力された映像信号の符号化対象画像と参照画像とに基づいて動きベクトルを検出し、前記動きベクトルを用いて前記特殊効果手段より出力された映像信号を符号化する符号化手段と、
   前記映像信号に施す特殊効果の内容及び特殊効果開始からの経過時間によって、予め定められた特殊効果比率を決定し、前記特殊効果手段及び前記符号化手段に前記決定した特殊効果比率を送信する特殊効果比率設定手段と、
   して機能させ、
   前記特殊効果手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じた特殊効果を前記取得手段により取得された映像信号に施し、
   前記符号化手段は、前記特殊効果比率設定手段により送信された前記特殊効果比率に応じて、前記符号化対象画像と参照画像の輝度値が同等となるように、前記符号化対象画像を補正してから前記動きベクトルを検出し、検出された動きベクトルに基づいて前記映像信号を符号化することを特徴とするプログラム。
9. 請求項７又は８記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images