JP3304426B2 - 画像変換方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば動画像データを
異なるフォーマットの動画像データに変換する画像変換
装置等に適用して好適な画像変換方法及び装置に関す
る。

【０００２】

【従来の技術】従来、テレビジョン方式としては、周知
のように、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のテレビ
ジョン方式の他に高精細度（ＨＤ）テレビジョン方式が
提案されている。

【０００３】これらのテレビジョン方式はフレーム周波
数、解像度等が異なるので、例えばＰＡＬ方式のテレビ
ジョン信号をＮＴＳＣ方式のＶＴＲで記録する等、ある
テレビジョン方式のテレビジョン信号をこのテレビジョ
ン信号の方式と異なる他のテレビジョン方式の機器で記
録、伝送等の処理を行う場合には、テレビジョン方式変
換を行う必要が生じる。

【０００４】このテレビジョン方式変換等に代表される
画像変換の手法としては、多くのものが提案されてい
る。一般的にこの変換の方法として、テレビジョン動画
信号のフレーム内挿処理がある。

【０００５】このフレーム内挿処理は、８画素×８ライ
ン等の小ブロック毎に時間的に隣合った２フレーム間の
動き情報を周知のブロック・マッチング法や勾配法等に
より求めて、内挿比により前後のフレームの画像を位置
補正して内挿フレームを得ることにより変換処理を行う
ものである。

【０００６】このフレーム内挿処理により画像を変換す
る画像変換装置を図３に示し、図について説明する。

【０００７】図３において、１は例えばテレビジョン信
号が供給される入力端子で、この入力端子１を介してフ
レームメモリ２にテレビジョン信号が供給される。

【０００８】このフレームメモリ２は入力端子１を介し
て供給されるテレビジョン信号を図示しないアドレス発
生回路等からのアドレスの供給により記憶し、次のフレ
ームのテレビジョン信号が供給されたときに図示しない
読み出し回路等からのアドレスの供給により記憶したテ
レビジョン信号を出力する。

【０００９】フレームメモリ２から読み出されたテレビ
ジョン信号は動きベクトル検出回路３及び位置補正回路
６に、また、入力端子１を介して供給された読み出され
たテレビジョン信号の次のフレームのテレビジョン信号
は動きベクトル検出回路３及び位置補正回路５に夫々供
給される。ここでフレームメモリ２から読み出されたテ
レビジョン信号をＦｒ（ｔ−１）、入力端子１を介して
供給されるテレビジョン信号をＦｒとする。

【００１０】動きベクトル検出回路３は、入力端子１を
介して供給される現時点でのテレビジョン信号Ｆｒと、
フレームメモリ２から読み出された現時点より１つ前の
フレームのテレビジョン信号とに基いて動き検出を行
い、その結果動きベクトルを得る、動きベクトルデータ
を補正信号発生回路４に供給する。

【００１１】ここで動き検出について説明すると、テレ
ビジョン方式変換等の動画像信号処理で単位時間あたり
のフレーム数の変換を要する場合に、動きのある物体を
正確に変換するためには、動き情報に基いたフレーム内
挿技術が必要となる。

【００１２】一般的には、時間的に隣合った２フレーム
間で周知のブロックマッチングや勾配法等により、８画
素×８ライン等の小ブロック単位で動きベクトルを求め
るものである。

【００１３】補正信号発生回路４は動きベクトル検出回
路３からの動きベクトルデータに基いて補正信号を得
る。この補正信号としては、後述する位置補正回路５及
び６において例えば上述の如き８画素×８ラインのブロ
ックの位置補正を行うための読み取り位置を補正してテ
レビジョン信号を読み取らせるための位置補正データ、
並びに位置補正の後のテレビジョン信号に内挿を行うた
めの内挿比データ（時間データ）ｈ１及びｈ２がある。
ここで内挿比データｈ１を１−ｋとすると、内挿比デー
タｈ２はｋに選定される。

【００１４】これら補正出力は位置補正回路５及び６に
夫々供給され、更に内挿比データｈ１及びｈ２は乗算回
路７及び８に夫々供給される。

【００１５】位置補正回路５は補正信号発生回路４から
の補正出力に基いて、入力端子１を介して供給されるｔ
（ｔは現時点に供給されていることを示す）フレームの
テレビジョン信号Ｆｒの読み取りを行い、読み取りを行
って得たテレビジョン信号を乗算回路７に供給する。

【００１６】一方、位置補正回路６は補正信号発生回路
４からの補正出力に基いて、フレームメモリ２から読み
出された（ｔ−１）｛（ｔ−１）は現時点より１つ前の
フレームを示す）フレームのテレビジョン信号Ｆｒ（ｔ
−１）の読み取りを行い、読み取りを行って得たテレビ
ジョン信号を乗算回路８に供給する。

【００１７】従って、乗算回路７においては、位置補正
回路５からの位置補正されたテレビジョン信号と補正信
号発生回路４からの内挿比データとが乗算され、乗算出
力は更に加算回路９に供給される。

【００１８】乗算回路８においては、位置補正回路６か
らの位置補正されたテレビジョン信号と補正信号発生回
路４からの内挿比データとが乗算され、乗算出力は更に
加算回路９に供給される。

【００１９】そして加算回路９において、乗算回路７か
らの乗算出力及び乗算回路８からの乗算出力が加算さ
れ、この加算出力がフレーム内挿処理、即ち、画像変換
されたテレビジョン信号として出力端子１０から例えば
図示しないＶＴＲ等の機器や機器本体回路等に供給され
る。

【００２０】次に、図４を参照して図３に示した画像変
換装置の動作について説明する。

【００２１】この図４において、Ｆｒはｔフレームのテ
レビジョン信号、Ｆｒ（ｔ−１）は（ｔ−１）フレーム
のテレビジョン信号、Ｆｒｉは内挿処理されて得られた
テレビジョン信号、ｆ１及びｆ０は矢印ｙ及びｙ０で示
す動きベクトルによってｆｉと対応づけられたブロッ
ク、ｆはｔフレームのテレビジョン信号のブロック、ｆ
（ｔ−１）は（ｔ−１）フレームのテレビジョン信号ブ
ロックである。

【００２２】さて、図３に示したフレームメモリ２から
図４に示す如き（ｔ−１）フレームのテレビジョン信号
Ｆｒ（ｔ−１）が読み出されて動きベクトル検出回路３
に供給されると共に、入力端子１を介して図５に示す如
きｔフレームのテレビジョン信号Ｆｒが動きベクトル検
出回路３に供給されると、動きベクトル検出回路３は例
えば図５に示すように、ｔフレームのテレビジョン信号
Ｆｒのブロックｆ及び（ｔ−１）フレームのテレビジョ
ン信号Ｆｒ（ｔ−１）のブロックｆ（ｔ−１）につい
て、ブロック・マッチング法や勾配法等により動きベク
トル（矢印ｙ及びｙ０で示す）を求め、求めた動きベク
トルデータを補正信号発生回路４に供給する。

【００２３】補正信号発生回路４は上述したように、動
きベクトル検出回路３からの動きベクトルデータ及び内
挿比データに基いて前後のフレームの読み出し位置を制
御する位置補正データを得、これを位置補正回路５及び
６に供給すると共に、内挿比データを乗算回路７及び８
に夫々供給する。

【００２４】従って、図４に示す例においては、位置補
正回路５に供給されたｔフレームのテレビジョン信号Ｆ
ｒは読み出し位置が制御され、例えばブロックｆ１とし
て読み出され、乗算回路７に供給され、この乗算回路７
において、補正信号発生回路４からの内挿比データｈ１
と乗算された後、加算回路９に供給される。

【００２５】一方、位置補正回路６に供給された（ｔ−
１）フレームのテレビジョン信号Ｆｒ（ｔ−１）は読み
出し位置が制御され、例えばブロックｆ０として読み出
され、乗算回路８に供給され、この乗算回路８におい
て、補正信号発生回路４からの内挿比データｈ２と乗算
された後、加算回路９に供給される。

【００２６】この加算回路９においては、乗算回路５及
び８からの乗算出力が加算され、図５においてｆｉで示
す内挿フレームＦｒｉのブロックが得られる。

【００２７】この処理を数１の式で示す。

【００２８】

【数１】内挿フレームＦｒｉのブロックｆｉ＝ｔフレー
ムのブロックｆ１×（１−ｋ）＋（ｔ−１）フレームの
ブロックｆ（ｔ−１）×ｋ

【００２９】即ち、ｔフレームのテレビジョン信号Ｆｒ
において内挿ブロックｆｉと空間的に同位置にあるブロ
ックｆと（ｔ−１）フレームのテレビジョン信号Ｆｒ
（ｔ−１）のブロックｆ（ｔ−１）とで求めた矢印ｙ及
びｙ０で示す動きベクトルによって内挿フレームのブロ
ックＦｒｉに対応させる前後のフレームのブロックｆ１
及びｆ０を求め、これらブロックｆ１及びｆ０のデータ
の内挿比１−ｋ：ｋに応じた和を求め、これを内挿フレ
ームのブロックｆｉとする。

【００３０】そしてこのようにして内挿フレームＦｒｉ
を生成し、動画像のテレビジョン信号として出力するこ
とで、様々な方式のテレビジョン信号を異なる方式の機
器において記録したり、伝送したりすることができるよ
うにしている。

【００３１】

【発明が解決しようとする課題】ところで、画像変換装
置においては、ｔフレームのテレビジョン信号Ｆｒと
（ｔ−１）フレームのテレビジョン信号Ｆｒ（ｔ−１）
から得られる動き情報が正確であることを前提としてい
る。例えば上述したブロック・マッチング法や勾配法等
の方法では、動き情報は動きベクトルという形で得られ
るが、この動きベクトルには誤差が含まれる。誤差のあ
る動きベクトルを用いた場合、誤った内挿フレームのテ
レビジョン信号が生成されてしまい、得られた動画像の
動きが滑らかでなかったり、不自然になる等良好な動画
像を得られなくなるという不都合があった。

【００３２】本発明はかかる点に鑑みてなされたもの
で、動きベクトルを用いてフレームの内挿を行った場合
においても、動きの滑らかな動画像、自然な動きの動画
像等、良好な動画像を得ることのできるを画像変換方法
及び装置を提案しようとするものである。

【００３３】

【課題を解決するための手段】本発明画像処理装置は、
入力テレビジョン信号に含まれる隣接フレームの間に、
新たなフレームを作成する画像処理装置において、時間
位置の異なる複数のフレームのテレビジョン信号を記憶
する記憶手段１６、１７と、新たなフレーム上の注目ブ
ロックの動き情報を発生する動き情報発生手段１４と、
動き情報に基づいて、新たなフレーム上の注目ブロック
を作成する際に使用される、時間位置の異なる複数のフ
レームの画素位置を示すアドレス情報を発生するアドレ
ス発生手段１１、１２、１３と、アドレス情報に基づい
て記憶手段１６、１７から読み出された、時間位置の異
なる複数フレーム上のテレビジョン信号から、動き情報
の信頼性を示す評価値を得る演算手段１８、１９、２０
と、動き情報ごとに演算手段１８、１９、２０から出力
される評価値に基づいて動き情報を注目ブロックの動き
情報と推定する手段と、推定された注目ブロックの動き
情報に基づいて、入力テレビジョン信号を用いて新たな
フレームを作成する手段とを有し、アドレス発生手段１
１、１２、１３により発生される時間位置の異なる複数
のフレーム上の画素位置は、動き情報に対応した夫々の
フレーム上の画素の時空間上の位置が、注目ブロックに
対して対称であることを特徴とするものである。

【００３４】

【００３５】更に本発明画像処理装置は上述において、
アドレス発生手段１１、１２、１３は、注目ブロックの
位置を、動き情報と新たなフレームの時間位置とに基づ
いて移動させることで、アドレス情報を発生させるもの
である。

【００３６】更に本発明画像処理装置は上述において、
演算手段１８、１９、２０は、記憶手段１６、１７から
の現フレームのテレビジョン信号と、前フレームのテレ
ビジョン信号との差分を得る差分演算手段１８と、この
差分演算手段１８からの差分出力を絶対値に変換する変
換手段１９と、変換手段１９からの変換出力を累計し、
相関値を算出する累計手段２０とを有するものである。

【００３７】更に本発明画像変換方法は上述において、
ｔ及びｔ−１或いはｔ＋１のフレーム間に内挿する内挿
フレームの任意のブロックを固定し、ｔフレーム上の任
意のブロックとｔ−１或いはｔ＋１フレーム上の任意の
ブロックを結ぶ直線が必ず内挿フレームの任意のブロッ
クを通るという制約の元で、最も類似するブロックの組
をｔフレーム及びｔ−１或いはｔ＋１のフレームから検
出し、検出した２つのブロック間のベクトルを求め、こ
の求めたベクトルに基いて画像変換を行うようにしたも
のである。

【００３８】更に本発明画像処理方法は上述において、
ｔフレームに任意のブロックをｎ画素分上下方向に、ｍ
画素分左右方向に移動させた場合に、ｔ−１或いはｔ＋
１のフレームの任意のブロックをｔフレームの任意のブ
ロックの移動方向と逆の方向に移動させ、ｔフレームの
任意のブロック及びｔ−１或いはｔ＋１フレームの任意
のブロック間の相関の度合いを示す評価値を算出し、
ｎ、ｍの値を変えながら評価値を算出する動作を繰り返
し行い、評価値に基づいて、ｔフレームの任意のブロッ
ク及びｔ−１或いはｔ＋１フレームの任意のブロック間
の相関が最も高くなるｔフレーム及びｔ−１或いはｔ＋
１フレームのブロックの位置を求めるようにしたもので
ある。

【００３９】

【作用】上述せる本発明によれば、入力テレビジョン信
号に含まれる隣接フレームの間に、新たなフレームを作
成する画像処理装置において、時間位置の異なる複数の
フレームのテレビジョン信号を記憶手段１６、１７で夫
々記憶し、動き情報発生手段１４で新たなフレーム上の
注目ブロックの動き情報を発生し、この動き情報発生手
段１４からの動き情報に基づいて、新たなフレーム上の
注目ブロックを作成する際に使用される、時間位置の異
なる複数のフレームの画素位置を示すアドレス情報をア
ドレス発生手段１１、１２、１３により発生し、アドレ
ス情報に基づいて記憶手段１６、１７から読み出され
た、時間位置の異なる複数フレーム上のテレビジョン信
号から、動き情報の信頼性を示す評価値を演算手段１
８、１９、２０で得、動き情報ごとに演算手段１８、１
９、２０から出力される評価値に基づいて動き情報を注
目ブロックの動き情報と推定し、推定された注目ブロッ
クの動き情報に基づいて、入力テレビジョン信号を用い
て新たなフレームを作成し、アドレス発生手段１１、１
２、１３により発生される時間位置の異なる複数のフレ
ーム上の画素位置は、動き情報に対応した夫々のフレー
ム上の画素の時空間上の位置が、注目ブロックに対して
対称となるように処理される。

【００４０】

【００４１】更に上述において本発明の構成によれば、
アドレス発生手段１１、１２、１３は、注目ブロックの
位置を、動き情報と新たなフレームの時間位置とに基づ
いて移動させることで、アドレス情報を発生させる。

【００４２】更に上述において本発明の構成によれば、
記憶手段１６、１７からの現フレームのテレビジョン信
号と、前フレームのテレビジョン信号との差分を差分演
算手段１８で得て、この差分演算手段１８からの差分出
力を変換手段１９で絶対値に変換し、変換手段１９から
の変換出力を累計手段２０により累計し、相関値を算出
する。

【００４３】更に上述において本発明の構成によれば、
ｔ及びｔ−１或いはｔ＋１のフレーム間に内挿する内挿
フレームの任意のブロックを固定し、ｔフレーム上の任
意のブロックとｔ−１或いはｔ＋１フレーム上の任意の
ブロックを結ぶ直線が必ず内挿フレームの任意のブロッ
クを通るという制約の元で、最も類似するブロックの組
をｔフレーム及びｔ−１或いはｔ＋１のフレームから検
出し、検出した２つのブロック間のベクトルを求め、こ
の求めたベクトルに基いて画像変換を行う。

【００４４】更に上述において本発明の構成によれば、
ｔフレームに任意のブロックをｎ画素分上下方向に、ｍ
画素分左右方向に移動させた場合に、ｔ−１或いはｔ＋
１のフレームの任意のブロックをｔフレームの任意のブ
ロックの移動方向と逆の方向に移動させ、ｔフレームの
任意のブロック及びｔ−１或いはｔ＋１フレームの任意
のブロック間の相関の度合いを示す評価値を算出し、
ｎ、ｍの値を変えながら評価値を算出する動作を繰り返
し行い、評価値に基づいて、ｔフレームの任意のブロッ
ク及びｔ−１或いはｔ＋１フレームの任意のブロック間
の相関が最も高くなるｔフレーム及びｔ−１或いはｔ＋
１フレームのブロックの位置を求める。

【００４５】

【実施例】以下に、図１を参照して本発明画像変換方法
及び装置の一実施例について詳細に説明する。

【００４６】この図１において図３と対応する部分には
同一符号を付し、その詳細説明を省略する。

【００４７】図１において、１５は例えば図示しないＶ
ＴＲ、伝送機器等の機器からのテレビジョン信号が供給
される入力端子で、この入力端子１５を介してテレビジ
ョン信号が後述する現フレームメモリ１６に供給され
る。

【００４８】１２及び１３はアドレス移動回路で、これ
らアドレス移動回路１２、１３は試行的にベクトルデー
タを発生する試行ベクトル発生回路１４からのベクトル
データに基いてアドレス発生回路１１からのアドレスデ
ータに対して移動処理を行い、夫々アドレス発生回路１
１からのアドレスをずらしたアドレスデータを得、これ
らのアドレスデータを夫々現フレームメモリ１６及び前
フレームメモリ１７に夫々供給する。

【００４９】現フレームメモリ１６はアドレス移動回路
１２からのアドレスデータに基いて、入力端子１５を介
して図示しないＶＴＲ、伝送機器等からのテレビジョン
信号を記憶する。

【００５０】一方、前フレームメモリ１７はアドレス移
動回路１３からのアドレスデータに基いて、例えば現フ
レームメモリ１６から読み出されたテレビジョン信号を
記憶する。記憶されたテレビジョン信号は例えば８×８
画素のブロック単位で、現フレームの次のフレームの信
号が現フレームメモリ１６から読み出されるときに、例
えばアドレス移動回路１３を介してアドレス発生回路１
１から供給されるアドレスデータによって読み出され
る。

【００５１】即ち、現フレームメモリ１６からは現フレ
ームのテレビジョン信号がブロック毎に読み出され、こ
れが差分演算回路１８に供給され、このとき、前フレー
ムメモリ１７からは前のフレームのテレビジョン信号が
ブロック毎に読み出され、差分演算回路１８に供給され
る。

【００５２】差分演算回路１８は現フレームメモリ１６
及び前フレームメモリ１７から夫々供給される現フレー
ムのテレビジョン信号及び前フレームのテレビジョン信
号のレベルデータの差分をブロック毎に得、この差分デ
ータを絶対値回路１９に供給する。

【００５３】この絶対値回路１９は差分演算回路１８か
らの差分データの絶対値を得、得た差分の絶対値データ
を累計回路２０に供給する。

【００５４】この累計回路２０は絶対値回路１９からの
差分の絶対値データを累計すると共に、累計して得た累
計データをレジスタ２１及び比較回路２２に夫々供給す
る。

【００５５】比較回路２２は累計回路２０からの現在の
累計データ及びレジスタ２１からの前の累計データを比
較し、その比較結果に基いてクロック発生回路２３に制
御信号を供給する。

【００５６】クロック発生回路２３は比較回路２２から
の制御信号に基いてクロック信号を発生し、発生したク
ロック信号をレジスタ２１及び２４に夫々供給する。

【００５７】即ち、比較回路２２において、累計回路２
０からの現在の累計データがレジスタ２１からの前の累
計データより小さい場合にクロック発生回路２３に制御
信号を供給し、クロック発生回路２３にクロック信号を
発生させる。従って、レジスタ２１には常に最小の累計
データが記憶されることとなる。

【００５８】レジスタ２４は試行ベクトル発生回路１４
からのベクトルデータをクロック発生回路２３からのク
ロック信号に基いて出力端子２５を介して出力する。即
ち、比較回路２２において、累計回路２０からの累計デ
ータがレジスタ２１からの累計データより小さいとき
に、レジスタ２４に記憶されているベクトルデータが出
力される。

【００５９】レジスタ２４から出力された試行ベクトル
データは補正信号発生回路４に供給される。補正信号発
生回路４はレジスタ２４からの試行ベクトルデータに基
いて乗算回路７及び８に例えば図３において説明したよ
うな係数データを供給すると共に、図示せずも、図３と
同様に位置補正回路５及び６に夫々位置補正処理のため
の制御信号を供給する。

【００６０】一方、現フレームメモリ１６及び前フレー
ムメモリ１７からのテレビジョン信号が位置補正回路５
及び６によって位置補正処理され、これら位置補正処理
されたテレビジョン信号が乗算回路７及び８に夫々供給
される。

【００６１】そして乗算回路７において位置補正回路５
からのテレビジョン信号と補正信号発生回路４からの係
数データが乗算されると共に、乗算回路８において位置
補正回路６からのテレビジョン信号と補正信号発生回路
４からの係数データが乗算される。

【００６２】そしてこれら各乗算回路７及び８からの乗
算出力が加算回路９に供給され、この加算回路９におい
て加算され、更に出力端子２５を介してフレーム内挿処
理されたテレビジョン信号として出力され、これによっ
て例えばＮＴＳＣ方式のテレビジョン信号からＰＡＬ方
式のテレビジョン信号への変換等の画像変換処理が実行
される。

【００６３】次に、図２を参照して、図１に示した画像
変換装置の動作について説明する。

【００６４】この図２においては、ｔフレームと（ｔ−
１）フレームの間の丁度１／２の位置の内挿フレームを
得る場合を例にとって説明する。

【００６５】この例に示すように、本例においては、内
挿フレームのテレビジョン信号Ｆｒｉ上の注目ブロック
ｆｉ上の動きベクトルを直接求めるようにする。

【００６６】即ち、注目ブロックｆｉを固定して、ｔフ
レームのテレビジョン信号Ｆｒ上のブロックｆ１と（ｔ
−１）フレームのテレビジョン信号Ｆｒ（ｔ−１）上の
ブロックｆ（ｔ−１）について、ブロックｆ１及びｆ
（ｔ−１）を結ぶ直線が必ずブロックｆｉを通るという
制約の元で、最も類似するブロックの組をｔフレームの
テレビジョン信号Ｆｒ及び（ｔ−１）フレームのテレビ
ジョン信号Ｆｒ（ｔ−１）から夫々探し、探した２つの
ブロック間の動きベクトルが求める動きベクトルｖであ
るとする。

【００６７】実際の探索としては、ブロックｆ１を１ピ
クセル上下左右の何れかの方向へずらした場合には、ブ
ロックｆ（ｔ−１）を逆方向へ１ピクセル動かすという
操作を繰り返し行い、ブロック間残差等の評価が最低と
なるブロックｆ１及びｆ（ｔ−１）の位置を求める。こ
の手法により注目ブロックｆｉ上の本来の動きベクトル
を求めることができる。

【００６８】このように、本例においては、アドレス発
生回路１１からのアドレスデータを試行ベクトル発生回
路１４からのベクトルデータに基いてアドレス移動回路
１２及び１３において移動させ、移動させて得たアドレ
スデータに基いて現フレームメモリ１６及び前フレーム
メモリ１７に夫々現フレーム及び前フレームのテレビジ
ョン信号を記憶させ、これら現フレームメモリ１６及び
前フレームメモリ１７から読み出した８×８のブロック
毎の現フレーム及び前フレームのテレビジョン信号の差
分（空間的差分）を演算、累計し、現累計データと前の
累計データを比較して、現累計データが前の累計データ
よりも小さいときには、レジスタ２１に新たな累計デー
タとして記憶させると共に、レジスタ２４に記憶してい
るこのときの試行ベクトルデータに基いてフレーム内挿
処理を行うようにしたので、変換後の動画像の動きを滑
らか、且つ、自然にし、様々な方式のテレビジョン信号
を異なる方式の機器において良好に記録、伝送を行え
る。

【００６９】尚、上述の実施例は本発明の一例であり、
本発明の要旨を逸脱しない範囲でその他様々な構成が取
り得ることは勿論である。

【００７０】

【発明の効果】上述せる本発明によれば、入力テレビジ
ョン信号に含まれる隣接フレームの間に、新たなフレー
ムを作成する画像処理装置において、時間位置の異なる
複数のフレームのテレビジョン信号を記憶手段で夫々記
憶し、動き情報発生手段で新たなフレーム上の注目ブロ
ックの動き情報を発生し、この動き情報発生手段からの
動き情報に基づいて、新たなフレーム上の注目ブロック
を作成する際に使用される、時間位置の異なる複数のフ
レームの画素位置を示すアドレス情報をアドレス発生手
段により発生し、アドレス情報に基づいて記憶手段から
読み出された、時間位置の異なる複数フレーム上のテレ
ビジョン信号から、動き情報の信頼性を示す評価値を演
算手段で得、動き情報ごとに演算手段から出力される評
価値に基づいて動き情報を注目ブロックの動き情報と推
定し、推定された注目ブロックの動き情報に基づいて、
入力テレビジョン信号を用いて新たなフレームを作成
し、アドレス発生手段により発生される時間位置の異な
る複数のフレーム上の画素位置は、動き情報に対応した
夫々のフレーム上の画素の時空間上の位置が、注目ブロ
ックに対して対称となるように処理されるので、変換後
の動画像の動きを滑らか、且つ、自然にすることがで
き、様々な方式のテレビジョン信号を異なる方式の機器
において良好に記録、伝送することができる。

【００７１】

【００７２】更に上述において本発明によれば、アドレ
ス発生手段は、注目ブロックの位置を、動き情報と新た
なフレームの時間位置とに基づいて移動させることで、
アドレス情報を発生させるので、上述の効果に加え、回
路構成を簡単にすることができる。

【００７３】更に上述において本発明によれば、記憶手
段からの現フレームのテレビジョン信号と、前フレーム
のテレビジョン信号との差分を差分演算手段で得て、こ
の差分演算手段からの差分出力を変換手段で絶対値に変
換し、変換手段からの変換出力を累計手段により累計
し、相関値を算出するので、上述の効果に加え、正確な
処理を行うことができる。

【００７４】更に上述において本発明によれば、ｔ及び
ｔ−１或いはｔ＋１のフレーム間に内挿する内挿フレー
ムの任意のブロックを固定し、ｔフレーム上の任意のブ
ロックとｔ−１或いはｔ＋１フレーム上の任意のブロッ
クを結ぶ直線が必ず内挿フレームの任意のブロックを通
るという制約の元で、最も類似するブロックの組をｔフ
レーム及びｔ−１或いはｔ＋１のフレームから検出し、
検出した２つのブロック間のベクトルを求め、この求め
たベクトルに基いて画像変換を行うようにしたので、変
換後の動画像の動きを滑らか、且つ、自然にすることが
でき、様々な方式のテレビジョン信号を異なる方式の機
器において良好に記録、伝送することができる。

【００７５】更に上述において本発明によれば、ｔフレ
ームに任意のブロックをｎ画素分上下方向に、ｍ画素分
左右方向に移動させた場合に、ｔ−１或いはｔ＋１のフ
レームの任意のブロックをｔフレームの任意のブロック
の移動方向と逆の方向に移動させ、ｔフレームの任意の
ブロック及びｔ−１或いはｔ＋１フレームの任意のブロ
ック間の相関の度合いを示す評価値を算出し、ｎ、ｍの
値を変えながら評価値を算出する動作を繰り返し行い、
評価値に基づいて、ｔフレームの任意のブロック及びｔ
−１或いはｔ＋１フレームの任意のブロック間の相関が
最も高くなるｔフレーム及びｔ−１或いはｔ＋１フレー
ムのブロックの位置を求めるので、上述の効果に加え、
最も正確なブロックの位置を得ることができ、これによ
って、画像の変換を正確に行え、良好な変換画像を得る
ことができる。

【図面の簡単な説明】

【図１】本発明画像変換方法及び装置の一実施例を示す
構成図である。

【図２】本発明画像変換方法及び装置の一実施例の説明
に供する説明図である。

【図３】従来の画像変換装置の例を示す構成図である。

【図４】従来の画像変換装置の例の説明に供する説明図
である。

【符号の説明】

１１ アドレス発生回路 １２、１３ アドレス移動回路 １４ 試行ベクトル発生回路 １６ 現フレームメモリ １７ 前フレームメモリ １８ 差分計算回路 １９ 絶対値回路 ２０ 累計回路 ２１、２４ レジスタ ２２ 比較回路 ２３ クロック発生回路

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 入力テレビジョン信号に含まれる隣接フ
   レームの間に、新たなフレームを作成する画像処理装置
   において、 時間位置の異なる複数のフレームの テレビジョン信号を
   記憶する記憶手段と、上記新たなフレーム上の注目ブロ
   ックの動き情報を発生する動き情報発生手段と、上記動き情報に基づいて、上記新たなフレーム上の注目
   ブロックを作成する際に使用される、時間位置の異なる
   複数のフレームの画素位置を示すアドレス情報を発生す
   る アドレス発生手段と、上記アドレス情報に基づいて上記記憶手段から読み出さ
   れた、時間位置の異なる複数フレーム上のテレビジョン
   信号から、上記動き情報の信頼性を示す評価値 を得る演
   算手段と、上記動き情報ごとに上記演算手段から出力される上記評
   価値に基づいて上記動き情報を上記注目ブロックの動き
   情報と推定する手段と、 上記推定された上記注目ブロックの動き情報に基づい
   て、上記入力テレビジョン信号を用いて上記新たなフレ
   ームを作成する手段とを有し、 上記アドレス発生手段により発生される時間位置の異な
   る複数のフレーム上の画素位置は、上記動き情報に対応
   した夫々のフレーム上の画素の時空間上の位置が、上記
   注目ブロックに対して対称である ことを特徴とする画像
   処理装置。
2. 【請求項２】 上記アドレス発生手段は、上記注目ブロックの位置を、上記動き情報と上記新たな
   フレームの時間位置とに基づいて移動させることで、上
   記アドレス情報を発生させる ことを特徴とする請求項１
   記載の画像処理装置。
3. 【請求項３】 上記演算手段は、 上記記憶手段からの現フレームのテレビジョン信号と、
   前フレームのテレビジョン信号との差分を得る差分演算
   手段と、 上記差分演算手段からの差分出力を絶対値に変換する変
   換手段と、 上記変換手段からの変換出力を累計し、上記相関値を算
   出する累計手段とを有することを特徴とする請求項１記
   載の画像処理装置。
4. 【請求項４】 ｔ及びｔ−１或いはｔ＋１のフレーム間
   に内挿する内挿フレームの任意のブロックを固定し、ｔ
   フレーム上の任意のブロックとｔ−１或いはｔ＋１フレ
   ーム上の任意のブロックを結ぶ直線が必ず上記内挿フレ
   ームの任意のブロックを通るという制約の元で、最も類
   似するブロックの組を上記ｔフレーム及びｔ−１或いは
   ｔ＋１のフレームから検出し、検出した２つのブロック
   間のベクトルを求め、この求めたベクトルに基づいて画
   像変換を行うようにしたことを特徴とする画像変換方
   法。
5. 【請求項５】 上記ｔフレームに任意のブロックをｎ画
   素分上下方向に、ｍ画素分左右方向に移動させた場合
   に、上記ｔ−１或いはｔ＋１のフレームの任意のブロッ
   クをｔフレームの任意のブロックの移動方向と逆の方向
   に移動させ、上記ｔフレームの任意のブロック及び上記
   ｔ−１或いはｔ＋１フレームの任意のブロック間の相関
   の度合いを示す評価値を算出し、上記ｎ、ｍの値を変え
   ながら上記評価値を算出する動作を繰り返し行い、上記
   評価値に基づいて、上記ｔフレームの任意のブロック及
   び上記ｔ−１或いはｔ＋１フレームの任意のブロック間
   の相関が最も高くなる上記ｔフレーム及び上記ｔ−１或
   いはｔ＋１フレームのブロックの位置を求めるようにし
   たことを特徴とする請求項４記載の画像変換方法。