JPH10233996A - 映像信号再生装置および映像信号再生方法 - Google Patents

Abstract

(57)【要約】 【課題】 間欠的に記録された映像信号を再生する際
に、画像の平行移動を検出したときに違和感の少ない画
像を再生する映像信号再生装置および映像信号再生方法
を提供する。 【解決手段】 入力信号処理部２には、監視ビデオ、テ
レビジョン電話等からの間欠画像の映像信号が入力され
る。システムコントロール部８は、付加情報処理部４又
は動きベクトル検出部５からの情報に基づき間欠画像が
平行移動したことを検出する。システムコントロール部
８は、平行移動をしたことを検出すると、付加情報処理
部４で検出した間欠画像の間欠間隔から内挿する補間フ
レームの挿入枚数等を決定して、内挿処理部６の制御を
行う。内挿処理部６は、間欠画像から補間フレームを生
成し、この補間フレームをこの間欠画像に合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号の各フレ
ーム間に補間フレームを内挿する映像信号再生装置およ
び映像信号再生方法に関し、特に間引き率が多い間欠画
像からなる映像信号から補間フレームを生成してこの補
間フレームを元の間欠画像に合成する映像信号再生装置
および映像信号再生方法に関する。

【０００２】

【従来の技術】例えば、監視ビデオやＡＶ（オーディオ
ビジュアル）サーバ等で用いられる長時間記録を目的と
した映像信号の記録装置では、記録媒体の容量の制限か
らフレームのコマ落としを行いいわゆる間欠的な映像信
号が記録がされている。

【０００３】また、テレビジョン電話等のように映像信
号を伝送する場合も、その伝送系の伝送容量の制限によ
りフレームのコマ落としを行い間欠的な映像信号の伝送
がされている。

【０００４】

【発明が解決しようとする課題】ところが、そのコマ落
としを行い記録された映像や伝送された映像、すなわち
間欠画像を再生する際、画像の内容に応じた表示処理が
行われていない。そのため、その映像の視聴者は映像に
違和感が生じ、また、再生する画像の内容によっては若
干のレートダウンであっても非常に大きな違和感を間欠
画像により受けることとなる。特に、静止している画像
の平行移動が発生するような動画像では、画像内の物体
の動きがスムーズに再現できない。

【０００５】また、このような間欠的な信号を再生する
ことは、例えば、映画等のために撮影されたフィルムか
らテレビジョン放送のための映像信号に変換する場合
や、放送の映像信号の方式が異なる場合などで一般的に
行われている。しかしながら、これよりはるかに多い映
像の間引きを行った画像を再生する際に、その画像の補
間処理は行われていない。

【０００６】本発明は、このような実情を鑑みてなされ
たものであり、間欠的に記録された映像信号を再生する
際に、画像の平行移動を検出したときに違和感の少ない
画像を再生する映像信号再生装置および映像信号再生方
法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る映像信号再生装置は、間欠的な映像
信号を再生する再生手段と、上記間欠的な映像信号が平
行移動した場合の動きベクトルを検出する動きベクトル
検出手段と、上記動きベクトルと上記間欠的な映像信号
の時間的に連続した２つのフレームとに基づき、上記２
つの画像を補間する補間フレームを生成する補間フレー
ム生成手段と、上記補間フレームを上記映像信号に合成
して出力する出力手段とを備えることを特徴とする。

【０００８】この映像信号再生装置では、動きベクトル
検出手段が間欠的な映像信号のフレーム間で平行移動し
た場合の動きベクトルを検出し、この平行移動した場合
の動きベクトルを検出すると補間フレームを生成して、
上記フレーム間にこの補間フレームを合成する。

【０００９】また、本発明に係る映像信号再生装置で
は、２つのフレーム間の差分を検出する差分検出手段を
設けることを特徴とする。

【００１０】この映像信号再生装置では、平行移動した
場合の動きベクトルを検出して補間フレームを生成する
際に、上記差分検出手段により平行移動していない領域
については補間をしない。

【００１１】本発明に係る映像信号再生方法は、間欠的
な映像信号を再生し、上記間欠的な映像信号が平行移動
した場合の動きベクトルを検出し、上記動きベクトルと
上記間欠的な映像信号の時間的に連続した２つのフレー
ムとに基づき、上記２つの画像を補間する補間フレーム
を生成し、上記補間フレームを上記映像信号に合成して
出力することを特徴とする。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００１３】図１は、本発明を適用した映像信号再生装
置１のブロック構成図である。

【００１４】映像信号再生装置１は、入力された信号の
入力処理をする入力信号処理部２と、入力信号処理部２
により処理をした信号から映像信号を再生する映像信号
処理部３と、外部から供給され又は入力信号処理部２に
より処理をした信号から付加情報を再生する付加情報処
理部４と、映像信号処理部３により再生した映像信号か
ら動きベクトルを検出する動きベクトル検出部５と、映
像信号処理部３により再生した映像信号に内挿処理をす
る内挿処理部６と、内挿処理部６により内挿処理をした
映像信号を出力する出力信号処理部７と、付加情報と動
きベクトルに基づき内挿処理部６を制御するシステムコ
ントロール部８とを備える。

【００１５】入力信号処理部２は、入力された信号を適
切な信号レベルに変換する処理を行う。ここで、この入
力信号処理部２に入力される信号は、動画像から一定の
映像信号が間引かれたコマ落ち画像、すなわち、間欠画
像である。例えば、監視ビデオ、ＡＶ（オーディオビジ
ュアル）サーバ、テレビジョン電話等の信号で、２〜３
（枚／秒）の間欠間隔の比較的大きい映像信号である。

【００１６】映像信号処理部３は、上記入力信号処理部
２により処理をされた間欠的な映像信号から以後の処理
で行う際に適した信号に変換する処理を行う。例えば、
エラー訂正処理や画像圧縮処理をされている場合は対応
したデコード処理、また、輝度信号と色信号とに分離す
る処理等を行う。映像信号処理部３は、この間欠画像を
動きベクトル検出部５及び内挿処理部６に供給する。

【００１７】付加情報処理部４は、装置外部から供給さ
れる付加情報および入力信号処理部２により処理された
信号に含まれる付加情報を再生する。

【００１８】この付加情報は、映像信号や音声信号の他
に付加的に記録媒体に記録されている情報や装置外部か
ら伝送されてくる情報であり、いわゆるサブコード、垂
直帰線期間又はパイロット信号などに含まれている情報
である。この付加情報には、動きベクトルのベクトル情
報、間欠画像情報（間欠間隔）、映像のジャンル情報
（ニュース、スポーツ等）、カメラワーク情報（パンニ
ング、ズームアップ等）、映像信号の信号形式、画像圧
縮の情報などが含まれている。付加情報処理部４は、こ
の付加情報をシステムコントロール部８に供給する。

【００１９】動きベクトル検出部５は、映像信号処理部
３により再生された映像信号から、間欠画像の各フレー
ム間の動きベクトルを検出する。この動きベクトルの検
出処理についての詳細は後述する。動きベクトル検出部
５は、検出した動きベクトルをシステムコントロール部
８に供給する。

【００２０】内挿処理部６は、映像信号処理部３により
再生された映像信号の各フレームから補間フレームを生
成して、この各フレーム間に補間フレームを挿入する内
挿処理を行う。この内挿処理についは詳しくは後述す
る。内挿処理部６は、補間フレームを内挿した映像信号
を出力信号処理部７に供給する。

【００２１】システムコントロール部８は、例えば、マ
イクロコンピュータからなる制御部である。このシステ
ムコントロール部８では、動きベクトルの平行移動を検
出して、間欠的な映像信号に補間フレームを内挿するか
否かを決定する。システムコントロール部８は、付加情
報処理部４において検出した付加情報や、動きベクトル
検出部５で検出した動きベクトルに基づき平行移動の動
きベクトルを検出する。そして、間欠画像が平行移動し
たことを検出したときには、付加情報処理部４で検出し
た間欠画像の間欠間隔から内挿する補間フレームの挿入
枚数等を決定して、内挿処理を行うべく内挿処理部６の
制御を行う。

【００２２】出力信号処理部７は、映像信号をモニタに
より再生することができるようにするため、映像信号の
デジタル／アナログ変換処理や増幅処理等を行う。この
出力信号処理部７からの出力をモニタ等に供給すること
により、視聴者は内挿処理をされた映像を視聴すること
ができる。

【００２３】次に、上述した動きベクトル検出部５が行
う動きベクトルの検出処理とこの動きベクトル検出部５
の構成について説明する。この動きベクトル検出部５で
は、再生する間欠画像の連続したフレーム間の動きベク
トルを求める。この動きベクトルの検出処理として、こ
こでは、代表点マッチング法を例に挙げて説明する。こ
の動きベクトル検出処理では、画面上に、いくつかの検
出領域を設定する。そして、各検出領域をさらに分割し
てサーチエリアを設定し、そのサーチエリアに代表する
点（代表点）を設ける。例えば、図２（ａ）に示すよう
に、画面上に４個の検出領域を設定し、この検出領域の
中に１２個のサーチエリアを設定する。

【００２４】そして、このサーチエリアの代表点を、図
２（ｂ）に示すように、現フレームの１のフィールド
（ここでは、ｎ＋１フィールド）を前フレームの１のフ
ィールド（ここでは、ｎフィールド）と比較し、フィー
ルド（ｎ）の代表点のフィールド（ｎ＋１）においての
位置を求め、この代表点の移動した距離と方向、すなわ
ち、動きベクトルを検出する。

【００２５】具体的に、前フィールド（ｎ）のサーチエ
リアＡとこのサーチエリアＡに対応する現フィールド
（ｎ＋１）のサーチエリアＡ′を用いて説明する。

【００２６】サーチエリアＡ及びＡ′は、図３に示すよ
うに、それぞれ７Ｌｉｎｅと７ｐｉｘｅｌの画素を有し
ている。サーチエリアＡとサーチエリアＡ′の各画素の
輝度の値は、図３に示すとおりである。また、サーチエ
リアＡの中点のアドレス（４，４）に代表点を設けてい
る。

【００２７】このサーチエリアＡの代表点がサーチエリ
アＡ′においてどこに移動したかを求めるため、サーチ
エリアＡとサーチエリアＡ′の各画素の輝度の値を減算
する。この減算した値が、図４（ａ）に示す値である。
ここで減算した値の最小値は、アドレス（６，２）の０
である。つまり、図４（ｂ）に示すように、代表点のア
ドレスの移動量は、（６，２）−（４，４）＝（２，−
２）となり、これが動きベクトルとなる。

【００２８】このように、各サーチエリア毎に動きベク
トルが検出できる。図２（ａ）に示した場合には、１２
×４個の動きベクトルが検出できることとなる。また、
各動きベクトルの信頼性の向上のため、各検出領域内で
各サーチエリアの差分データの同じアドレス同士での積
和をとり、各検出領域毎にベクトルを求める。この場合
は、最終的に４個のベクトルを得ることとなる。

【００２９】このような動きベクトルの検出範囲となる
サーチエリアは、再生される映像信号の間欠間隔に応じ
てその範囲が拡大され、また、縮小される。例えば、図
５に示すように、間欠間隔が大きいときは、サーチエリ
アを拡大し、間欠間隔が小さいときはサーチエリアを縮
小する。すなわち、映像信号の間欠間隔が大きいとき、
つまり、コマ落ちが多いときは、画像間の時間経過が大
きくなるため、被写体の動きも大きくなるからであり、
その反対に、映像信号の間欠間隔が小さいときは被写体
の動きが小さくなるからである。

【００３０】また、このサーチエリアは、図６に示すよ
うに、検出範囲を直前に求めた動きベクトルの方向に移
動させて検出範囲を拡大することもできる。すなわち、
画像の動きベクトルは連続性があるため、サーチエリア
を動きベクトルの方向に移動することによって、画像の
内容に応じた検出ができる。

【００３１】なお、ここでは、動きベクトル検出とし
て、代表点マッチング方法について説明したが、この他
にブロックマッチング法等でも実現ができる。

【００３２】このような動きベクトルの検出を行う動き
ベクトル検出部５は、図７に示すように、代表点を記憶
するメモリ１１と、代表点の画素とサーチエリアの各画
素との差分をとる加算器１２と、メモリ１４を用いて各
検出領域の演算処理を行う演算処理回路１３と、最終的
な動きベクトルの決定を行うベクトル判定回路１５と、
これらを制御するコントローラ１６とを有する。

【００３３】この動きベクトル検出部５には、映像信号
処理部３からのデジタル輝度信号と、その同期信号が入
力される。また、映像信号処理部５からアナログの映像
信号が供給される場合は、例えば、図８に示すような、
映像信号から同期信号を分離する同期分離回路２１と、
映像信号から色信号と輝度信号に分離するクロマデコー
ダ２２と、輝度信号及び色信号をデジタル信号に変換す
るアナログ／デジタルコンバータ２３，２４とを上述の
図７に示した回路の前段に設ければよい。なお、ベクト
ル検出は、輝度信号のみにより演算が行われる。

【００３４】図７に示すメモリ１１及び加算器１２に
は、デジタル輝度信号が供給される。また、コントロー
ラ１６には、同期信号が供給される。

【００３５】コントローラ１６は、メモリ１１に供給さ
れたデジタル輝度信号から代表点を検出し、加算器１２
に供給する。加算器１２では、代表点とサーチエリアの
各画素との差分をとる。このとき、代表点は、前フレー
ムのフィールドのものである。すなわち、コントローラ
１６によりタイミングを制御され、メモリ１１において
１フィールド分遅れた代表点が加算器１２に供給され
る。

【００３６】各サーチエリアの画素の差分のデータは、
演算処理回路１３に供給される。演算処理回路１３は、
サーチエリア毎の動きベクトルを求め、メモリ１４上で
検出領域毎に積和演算をして各検出領域毎の動きベクト
ルを求める。

【００３７】そして、ベクトル判定回路１５で各検出領
域の動きベクトルに基づき、時間的に連続したフレーム
間の最終的な動きベクトルを求めて出力する。

【００３８】なお、上述したようなサーチエリアの変更
は、コントローラ１６がシステムコントロール部８から
の制御入力に基づきサーチエリアの拡大縮小をし、ま
た、演算処理を行った動きベクトルを演算処理回路１３
からコントローラ１６にフィードバックさせることによ
り実現できる。

【００３９】次に、上述した内挿処理部６が行う補間フ
レームの内挿処理と、この内挿処理部６の構成について
説明する。

【００４０】内挿処理部６が行う補間フレームの内挿処
理は、連続した２つのフレームを用いて生成した補間フ
レームを、この２つのフレームの間に挿入する処理を行
うものである。例えば、図９に示すような、前フレーム
画像１０１と現フレーム画像１０２を用いて内挿処理を
行う。

【００４１】現フレーム画像１０２は、時間的に直前の
フレーム画像である前フレーム画像１０１がベクトルＶ
で平行移動した画像であり、円と直線で表される静止画
が平行移動したものである。

【００４２】この前フレーム画像１０１と現フレーム画
像１０２との間に補間フレーム画像１０３を１枚内挿す
る場合は、図１０に示すように、ベクトルＶの１／２だ
け平行移動させた位置に補間フレーム画像１０３を内挿
することになる。この内挿処理は、先のベクトルＶを動
きベクトル検出部５等で事前に求めておき、このベクト
ル量に応じて補間フレーム画像１０３を生成して行う。

【００４３】この生成する補間フレーム画像１０３は、
図１１に示すように、補間フレーム画像１０３を複数の
領域に分け、この複数の領域毎に前後のフレームである
前フレーム画像１０１と現フレーム画像１０２から生成
する。補間フレーム画像１０３の図１１中左上の領域１
０３ａは、現フレーム画像１０２に存在する領域を利用
して生成する。また、右下の領域１０３ｂは、前フレー
ムを利用して生成する。補間フレーム画像１０３の真中
の領域１０３ｃは、前フレーム或いは現フレームのどち
らのフレームを利用してもよいが、内挿位置が中点でな
い場合にはどちらか近いフレームを利用して生成するこ
とも可能である。また、真中の領域１０３ｃは、このど
ちらかではなく両方の画像を合成して利用して生成する
ことでも実現できる。残りの領域１０３ｄは、前フレー
ム画像１０１と現フレーム画像１０２に適切な画像が存
在しないので、ほかの画像部分を利用して生成する。こ
の残りの領域１０３ｄは、例えば前後の画像の同じ位置
関係にある部分画像を利用して生成することができ、こ
の部分だけ補間処理の行われない単なる静止画となる。

【００４４】時間的に連続するフレームに内挿する補間
フレームが１枚の場合について示したが、複数の補間フ
レームを内挿する場合でも同様な処理で実現可能であ
る。この場合は、図１２に示すように、求めたベクトル
Ｖを分割計算して補間フレームの位置に応じたベクトル
Ｖ′を求め、補間フレーム画像１０４の作成位置を決定
する。この図１２では、４枚の補間フレームを内挿する
場合を示しており、ベクトルＶを１／４にして１枚目の
補間フレーム画像１０４を内挿している。

【００４５】このような補間フレームを生成して、この
補間フレーム画像を間欠的な映像信号に挿入する内挿処
理部６は、図１３に示すように、間欠的な映像信号をフ
レーム毎に記憶する第１と第２のメモリ３１，３２と、
これらのメモリ３１，３２の書き込み及び読出しを制御
するメモリコントローラ３３と、第１のメモリ３１に記
憶されるフレームの各画素を所定の合成比で乗算する第
１の乗算器３４と、第２のメモリ３２に記憶されるフレ
ームの各画素を所定の合成比で乗算する第２の乗算器３
５と、第１と第２の乗算器３４，３５により乗算された
フレームを合成する合成回路３６と、同期信号及び動き
ベクトルに基づきこれらの回路を制御するコントローラ
３７とを有する。

【００４６】第１のメモリ３１と第２のメモリ３２とに
は、間欠的な映像信号がフレーム単位で記憶される。こ
のとき、第１のメモリ３１と第２のメモリ３２とには、
時間的に連続した間欠画像のフレームの画像が記憶され
る。なお、第１のメモリ３１に必ず時間的に先行したフ
レームが記憶されるものとしてもよいし、また、容量等
の節約のため、時間的に先行するフレームを記憶するメ
モリを、１フレーム読みだす毎に第１のメモリ３１と第
２のメモリ３２とで切り換えるものとしてもよい。

【００４７】メモリコントローラ３３は、コントローラ
３７からのタイミング制御に基づき、各メモリ３１，３
２に記憶させるフレームを制御する。すなわち、入力さ
れる映像信号をフレーム単位で第１のメモリ３１と第２
のメモリ３２とに振り分けて記憶させている。また、メ
モリコントローラ３３は、間欠画像に内挿する補間フレ
ームを生成するため、第１のメモリ３１と第２のメモリ
３２とに記憶されているフレームを読み出す制御を行
う。このとき、メモリコントローラ３３は、コントロー
ラ３７から供給される動きベクトルと同期信号とに基づ
き各メモリ３１，３２からフレーム単位で画像を読み出
す。メモリコントローラ３３は、生成する補間フレーム
に対応させて、各画素単位で読出し位置と読出しタイミ
ングを制御してフレームの画像データを読み出す。そし
て、第１のメモリ３１から読みだしたフレームの画像デ
ータを第１の乗算器３４に供給し、また、第２のメモリ
３２から読みだしたフレームの画像データを第２の乗算
器３５に供給する。

【００４８】第１及び第２の乗算器３４，３５は、コン
トローラ３７により供給される補間フレームの合成比に
より、各フレームの画素の値を乗算して各画素データを
合成回路３６に供給する。

【００４９】合成回路３６は、第１と第２の乗算器３
４，３５から供給される補間フレームの画素のデータを
合成して、間欠的な映像信号に補間フレームを合成して
出力する。

【００５０】コントローラ３７には、同期信号と動きベ
クトルの検出信号が入力される。コントローラ３７は、
この同期信号に基づきメモリコントローラ３３等のタイ
ミングの制御をする。また、動きベクトル検出入力の情
報に基づき合成画像の作成方法を決定しメモリコントロ
ーラ３３を制御して各メモリ３１、３２に記憶されてい
るフレーム画像から、データを切り出す読み出し位置の
設定や、補間フレームを合成するための部分画像を切り
出すタイミングを設定する。また、乗算器３４，３５に
対しては、各メモリ３１，３２から切り出す画像の設定
や画素データを合成する際の合成比率等を与えて、補間
フレームを間欠的な映像信号に合成する為の制御を行
う。

【００５１】また、上述した間欠画像の内挿処理は静止
画のパンニングなどのように画像全体が同じベクトルを
持つ場合について有効であるが、実際の画像では求めた
動きベクトルとは異なる動きをする部分画像が含まれて
いる場合もある。このような場合は、その部分画像の動
きベクトルを検出し、別処理をすることで対応すること
が可能である。また、求めた動きベクトルと異なる動き
をする部分画像が多い場合には、補間処理自体が難しく
なるため、動きベクトル検出のときに画像全体に対する
単一の検出ベクトルが占める領域の割合によって間欠画
像の補間処理を行うかどうかの制御をする。このよう
な、間欠画像の補間処理を行う際に検出したベクトルと
異なる動きを持つ部分画像を検出する処理について以下
に説明する。

【００５２】図１４は、平行移動する間欠画像に静止部
分画像が存在する例を説明する図である。前フレーム画
像１１１は、図１４（ａ）に示すように、ＡＢＣＤの順
に各画像が並んでおり、Ｃの位置に静止画像であるＸが
存在する。また、この前フレーム画像１１１に時間的に
連続している現フレーム画像１１２は、図１４（ｃ）に
示すように、図中矢印で示す動きベクトルで右方向に移
動し、前フレーム画像１１１でＤがあった位置にＢが移
動している。このとき、現フレーム画像１１２では、静
止画像であるＸが移動しないことから、このＸが本来Ａ
の画像のある位置に存在している。

【００５３】このような前フレーム画像１１１と現フレ
ーム画像の中間に補間フレーム画像１１３を１枚内挿す
る場合、動きベクトルを１／２だけ平行移動させる。す
なわち、図１４（ｂ）に示すように、前フレーム画像の
Ｂの位置にＡがあり、静止画像であるＸがＢの位置にあ
るように補間フレーム画像を生成する。

【００５４】このような間欠画像を内挿するための補間
フレーム１１３を生成するために必要な処理を図１５を
用いて説明する。

【００５５】まず、図１５（ａ）及び（ｂ）に示すよう
に、前フレーム画像１１１と現フレーム画像１１２を、
それぞれ、補間フレーム画像１１３の位置に入るように
１／２づつ平行移動させて差分を計算する。この差分計
算では、図１５（ｃ）に示すように、前フレーム画像１
１１のＡ及びＸの位置と現フレーム画像１１２のＸとＣ
の位置に差分が発生する。

【００５６】この差分結果を、図１５（ｄ）及び図１５
（ｅ）で示すように、差分を計算する際に移動したベク
トルとは逆のベクトルで１／２平行移動させて、もとの
位置に戻す。

【００５７】そして、図１５（ｄ）及び図１５（ｅ）に
示した画像をＡＮＤの論理演算をすることで、図１５
（ｆ）に示す、静止画像であるＸの部分が切り出せる。
また、補間フレーム画像１１３を生成する際には、前フ
レーム画像のＡの位置を切り出す必要がある。これは、
先に求めた差分計算の結果と論理演算の結果を利用して
得られ、前フレーム画像１１１の検出結果から静止画像
であるＸの部分を除くことでＡが得られる。

【００５８】図１６に上述した検出結果を用いて間欠画
像に補間フレーム画像１１３を合成する処理を示す。ま
ず、図１６（ａ）に示すように、現フレーム画像１１２
を補間フレーム画像１１３の位置まで平行移動する。こ
の場合、前後の画像の中間に内挿する例であるから、こ
の移動量は、すでに検出してある動きベクトルＶの半分
の量である。この平行移動した現フレーム画像１１２
に、図１６（ｂ）に示すように先に検出した静止部分で
あるＸの結果を用いて、これを書き込みして合成する。
そして、図１６（ｃ）に示すように、Ａの検出結果を用
いてこのフレーム画像に書き込んで合成し、補間フレー
ム画像１１３を生成する。なお、この例では、現フレー
ム画像１１２を元画像として処理を行う例を示している
が、同様の方法で前フレーム画像１１１を元面像として
処理することも可能である。

【００５９】また、上述のように実際の画像では求めた
動きベクトルとは異なる動きをする図１７（ａ）に示す
ような部分画像が含まれている場合がある。この場合
は、図１７（ｂ）に示すようにこの部分画像が検出した
動きベクトル量より十分大きいときは、図１７（ｃ）の
ような部分画像の差分演算ではエッジ部分のみが検出さ
れることになり、前後のフレームの差分から検出するの
が困難である。このような場合においては、差分演算を
した部分画像の内部は、パターン認識処理を行い、エッ
ジ部分を含むパターンをすべて同じベクトルを持つ部分
画像として処理することにより補間フレーム画像が生成
できる。また、静止部分画像が複数のパターンで構成さ
れている場合には、それぞれのパターンに対してエッジ
が検出できるのでそれぞれのパターンについて同様に処
理することで実現できる。

【００６０】また、このような部分画像については、動
きベクトル検出時に画像全体を複数の小さい領域に分割
して、それぞれの領域についてベクトルを求めておくこ
とで画像全体のベクトルに対して異なるベクトルを持つ
領域を部分領域として取り出すことができる。

【００６１】図１８は、このように実際の画像では求め
た動きベクトルとは異なる動きをする部分画像が含まれ
ている場合に対応する内挿処理部６のブロック構成図で
ある。内挿処理部６は、間欠的な映像信号をフレーム毎
記憶する第１と第２のメモリ３１，３２と、これらのメ
モリ３１，３２の書き込み及び読出しを制御するメモリ
コントローラ３３と、第１のメモリ３１に記憶されるフ
レーム画像の各画素を所定の合成比で乗算する第１の乗
算器３４と、第２のメモリ３２に記憶されるフレーム画
像の各画素を所定の合成比で乗算する第２の乗算器３５
と、第１と第２の乗算器３４，３５により乗算されたフ
レーム画像を合成する合成回路３６と、同期信号及び動
きベクトルに基づきこれらの回路を制御するコントロー
ラ３７と、第１のメモリ３１と第２のメモリ３２とに記
憶されている画像の差分を検出する差分検出回路３８と
を有する。

【００６２】この内挿処理部６は、上述した図１３にお
いて説明したものと差分検出回路３８を有することにお
いて異なる。内挿処理部６では、この差分検出回路３８
以外の各構成要素の機能は上述した図１３で説明したも
のと同一である。

【００６３】この差分検出回路３８は、第１と第２のメ
モリ３１，３２に記憶した各フレーム画像の差分を検出
する。そして、この検出した差分をコントローラ３７に
供給して、コントローラ３７が付加情報として入力され
た動きベクトル或いは動きベクトル検出部５において求
めた動きベクトルと異なる動きである部分画像を求め
る。そして、コントローラ３７は、求めた動きベクトル
とは異なる動きをする部分画像を検出したときには、間
欠画像の補間処理を行う際に上述したような処理を補間
フレーム画像に施す。

【００６４】以上のように、本発明に係る映像信号再生
装置１では、間欠的に記録された映像信号を再生する際
に画像の平行移動を検出したときに、補間フレーム画像
を生成してこの間欠画像に内挿することにより、違和感
の少ない画像を再生することができる。そのため、この
間欠画像を視聴するユーザーは、滑らかな画像を見るこ
とができ目の疲れ等を少なくすることができる。

【００６５】つぎに、間欠画像を記録媒体に記録し又は
記録媒体から間欠画像を再生する本発明を適用した第２
の実施の形態である映像音声信号記録再生装置について
以下に図面を用いて説明する。この第２の実施の形態で
ある映像音声信号記録再生装置を説明するにあたり、上
述した映像信号再生装置１と同一の機能を有する構成要
素については、同一の符号を付けその詳細な説明を省略
する。

【００６６】映像音声信号記録再生装置５０は、図１９
に示すように、入力された信号の入力処理をする入力信
号処理部２と、入力信号処理部２により処理をした信号
から映像信号及び音声信号を再生する映像音声信号処理
部５３と、映像音声信号処理部５３により再生した映像
信号から動きベクトルを検出する動きベクトル検出部５
と、映像音声信号処理部５３により再生した映像信号に
内挿処理をする内挿処理部６と、内挿処理部６により内
挿処理をした映像信号を出力する出力信号処理部７と、
映像音声信号処理部５３と映像音声信号の信号の交換を
する為に所定の変換処理を行う記録再生信号処理部５９
と、映像音声信号を記録媒体１００に記録再生をする記
録再生部６０と、動きベクトルに基づき内挿処理部６と
記録再生信号処理部５９とを制御するシステムコントロ
ール部５８とを備える。

【００６７】記録再生部６０は、記録媒体１００に間欠
的な映像信号及び音声信号を記録し、或いは記録媒体１
００に記録された間欠的な映像信号及び音声信号を再生
する。

【００６８】記録再生信号処理部５９は、システムコン
トロール部５８の制御に基づき、記録媒体１００から再
生された信号を映像音声信号処理部５３に供給する為の
データの変換処理を行う。また、システムコントロール
部５８の制御に基づき、映像音声信号処理部５３から供
給される信号を記録媒体１００に記録させる為のデータ
の変換処理を行う。

【００６９】映像音声信号処理部５３は、入力信号処理
部２により処理をされた間欠的な映像信号及び音声信号
から以後の処理を行う際に適した信号に変換する処理を
行う。また、記録再生信号処理部部５９からの記録媒体
１００から再生される信号も同様に処理を行う。例え
ば、エラー訂正処理や画像圧縮処理をされている場合は
対応したデコード処理、また、輝度信号と色信号とに分
離する処理等を行う。映像信号処理部５３は、この間欠
画像を動きベクトル検出部５、内挿処理部６、記録再生
信号処理部５９に供給する。

【００７０】映像音声信号記録再生装置５０は、この様
な構成を備えることにより、入力された間欠的な映像信
号及び音声信号に補間フレームを内挿する内挿処理をし
て出力するとともに、記録媒体１００に入力された間欠
的な映像信号及び音声信号を記録することができる。ま
た、記録媒体１００に記録されている間欠的な映像信号
及び音声信号に補間フレームを内挿する内挿処理をして
出力することができる。

【００７１】また、記録媒体１００に間欠的な映像信号
及び音声信号を記録する際に、予め、動きベクトル検出
部５において動きベクトルの検出処理を行い、この結果
を符号化して同時に記録媒体１００に記録しておくこと
も可能である。この場合は、システムコントロール部５
８は、動きベクトル検出部５により検出された動きベク
トルに基づき記録再生信号処理部５９を制御して処理を
行う。また、この様に記録された映像信号を記録媒体１
００から再生する場合は、再生処理時に動き検出結果が
すでに用意されているので動きベクトル検出部５による
動きベクトルの検出を省略できる。

【００７２】

【発明の効果】本発明に係る映像信号再生装置では、動
きベクトル検出手段が間欠的な映像信号のフレーム間で
平行移動した場合の動きベクトルを検出し、この平行移
動した場合の動きベクトルを検出すると補間フレームを
生成して、上記フレーム間にこの補間フレームを合成す
ることにより、違和感の少ない画像を再生することがで
きる。そのため、この間欠画像を視聴するユーザーは、
滑らかな画像を見ることができ目の疲れ等を少なくする
ことができる。

【００７３】本発明に係る映像信号再生方法では、上記
間欠的な映像信号が平行移動した場合の動きベクトルを
検出して上記２つの画像を補間する補間フレームを生成
して出力することにより、違和感の少ない画像を再生す
ることができる。そのため、この間欠画像を視聴するユ
ーザーは、滑らかな画像を見ることができ目の疲れ等を
少なくすることができる。

【図面の簡単な説明】

【図１】本発明を適用した映像信号再生装置のブロック
構成図である。

【図２】動きベクトル検出処理についての説明図であ
る。

【図３】動きベクトル検出処理についての説明図であ
る。

【図４】動きベクトル検出処理についての説明図であ
る。

【図５】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。

【図６】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。

【図７】本発明を適用した映像信号再生装置の動きベク
トル検出部のブロック構成図である。

【図８】映像信号からデジタル輝度信号と同期信号を分
離する回路のブロック構成図である。

【図９】内挿処理についての説明図である。

【図１０】内挿処理についての説明図である。

【図１１】内挿処理についての説明図である。

【図１２】内挿処理についての説明図である。

【図１３】本発明を適用した映像信号再生装置の内挿処
理部のブロック構成図である。

【図１４】内挿処理についての説明図である。

【図１５】内挿処理についての説明図である。

【図１６】内挿処理についての説明図である。

【図１７】内挿処理についての説明図である。

【図１８】本発明を適用した映像信号再生装置の他の構
成の内挿処理部のブロック構成図である。

【図１９】本発明を適用した映像音声信号記録再生装置
のブロック構成図である。

【符号の説明】

１ 映像信号再生装置、２ 入力信号処理部、３ 映像
信号処理部、４ 付加情報処理部、５ 動きベクトル検
出部、６ 内挿処理部、７ 出力信号処理部、８ シス
テムコントロール部、３１ 第１のメモリ、３１ 第２
のメモリ、３３メモリコントローラ、３４ 第１の乗算
器、３５ 第２の乗算器、３６ 合成回路、３７ コン
トローラ、５０ 映像音声信号記録再生装置

Claims (8)

【特許請求の範囲】
1. 【請求項１】 間欠的な映像信号を再生する再生手段
   と、 上記間欠的な映像信号が平行移動した場合の動きベクト
   ルを検出する動きベクトル検出手段と、 上記動きベクトルと上記間欠的な映像信号の時間的に連
   続した２つのフレームとに基づき、上記２つの画像を補
   間する補間フレームを生成する補間フレーム生成手段
   と、 上記補間フレームを上記映像信号に合成して出力する出
   力手段とを備える映像信号再生装置。
2. 【請求項２】 上記動きベクトル検出手段は、上記間欠
   的な映像信号の付加情報に基づき動きベクトルを検出す
   ることを特徴とする請求項１に記載の映像信号再生装
   置。
3. 【請求項３】 時間的に連続した２つのフレームの差分
   を検出する差分検出手段を備え、 上記動きベクトル検出手段は、上記差分検出手段により
   検出した差分に基づき上記動きベクトル検出手段が検出
   した動きベクトルと異なる動きベクトルの領域を求め、 上記補間フレーム生成手段は、上記動きベクトル検出手
   段が求めた動きベクトルの領域の補間を行わないことを
   特徴とする請求項１に記載の映像信号再生装置。
4. 【請求項４】 上記ベクトル検出手段は、フレームを複
   数の領域に分割し、この分割した領域毎の動きベクトル
   の検出を行い、 上記補間フレーム生成手段は、分割した領域毎に補間を
   行い補間フレームを生成することを特徴とする請求項１
   に記載の映像信号再生装置。
5. 【請求項５】 間欠的な映像信号を再生し、 上記間欠的な映像信号が平行移動した場合の動きベクト
   ルを検出し、 上記動きベクトルと上記間欠的な映像信号の時間的に連
   続した２つのフレームとに基づき、上記２つの画像を補
   間する補間フレームを生成し、 上記補間フレームを上記映像信号に合成して出力するこ
   とを特徴とする映像信号再生方法。
6. 【請求項６】 間欠的な映像信号の付加情報に基づき動
   きベクトルを検出することを特徴とする請求項５に記載
   の映像信号再生方法。
7. 【請求項７】 上記時間的に連続した２つのフレームの
   差分を検出し、 この差分から検出した動きベクトルが上記平行移動をし
   た場合の動きベクトルと異なる領域がある場合は、その
   領域は補間を行わずに補間フレームを生成することを特
   徴とする請求項５に記載の映像信号再生方法。
8. 【請求項８】 フレームを複数の領域に分割してこの分
   割した領域毎の動きベクトルの検出を行い、 分割した領域毎に補間を行い補間フレームを生成するこ
   とを特徴とする請求項５に記載の映像信号再生方法。