明細書 画像信号処理装置及び処理方法 技術分野 本発明は、 テレシネ変換した画像を倍速変換することにより生成された 1コマ が 4フィールドで構成される画像信号の各検出画素の位置をシフトさせる画像信 号処理装置及び処理方法に関する。
" 本出願は、 日本国において 2 0 0 1年 1 2月 1 3日に出願された日本特許出願 番号 2 0 0 1— 3 8 0 7 6 5を基礎として優先権を主張するものであり、 この出 願は参照することにより、 本出願に援用される。 背景技術 従来、 テレビ放送の走査方式として、 水平走査線を 1本おきに飛越して走査す るインタレース走査方式が広く用いられている。 このインタレース走査方式では、 奇数番目の走査線から構成されるフィールド画像と、 偶数番目の走査線から構成 されるフィールド画像により 1枚のフレーム画像を形成し、 画面全体がちらつい て見える面フリッカ妨害を抑え、 画面品質の劣化を防止する。
ィンタレース走査方式は、 世界各国のテレビジョン標準方式として採用されて おり、 このうち例えば欧州のテレビジョ ン放送における P A L (Phase Alternat ion by Line) 方式では、 フィールド周波数が 5 0 〔H z〕 (フレーム画像が 2 5 フレーム/秒、 フィールド画像が 5 0フィールド/秒) で構成される。
特に、 P A L方式では、 更なる面フリツ力妨害の抑制を期すべく、 入力画像信 号を捕間等の処理を行うことにより、 フィールド周波数を 5 0 H zから 2倍の 1 0 0 H zの画像信号に変換する、 フィールド周波数倍速方式が従来より採用され ている。
図 1は、 このフィールド周波数倍速方式を適用したフィールド倍速変換回路 5
のブロック図を示している。 このフィールド倍速変換回路 5は、 入力端子 6 1と、 水平垂直偏向回路 6 2と、 C R T 6 3とを備えるテレビジョン受像機 6に集積化 される。 このフィールド倍速変換回路 5は、 倍速変換部 5 1と、 フレームメモリ 5 2とを備える。
倍速変換部 5 1は、 入力端子 6 1から入力された、 例えば P A L方式の 5 0フ ィールド/秒の画像信号を、 フレームメモリ 5 2へ書き込む。 また、 この倍速変 換部 5 1は、 フレームメモリ 5 2へ書き込んだ画像信号を、 書込み時の 2倍の速 度で読み出す。 これにより、 5 0フィールド/秒の画像信号の周波数を 2倍に変 換し、 1 0 0フィールド /秒の画像信号を生成することができる。
倍速変換部 5 1は、 倍速変換した画像信号を C R T 6 3へ出力する。 C R T 6 3は、 入力された画像信号を画面上に表示する。 なお、 C R T 6 3における画像 信号の水平、 垂直の偏向は、 水平垂直偏向回路 6 2において生成された、 入力画 像信号の 2倍の周波数の水平垂直鋸歯状波に基づいて制御する。
図 2 A、 図 2 Bは、 倍速変換前後の各画像信号における各フィールドと画素位 置との関係を示している。 ここで横軸は時間、 縦軸は画素の垂直方向の位置を示 す。 図 2 Aの白丸で示した画像信号は、 倍速変換前の 5 0フィールド/秒のイン タレース画像信号であり、 図 2 Bの黒丸で示した画像信号は、 倍速変換した 1 0 0フィールド Z秒のィンタレース画像信号である。
図 2 Aに示す画像信号において、 フィールド f とフィールド f 2は、 フィルム の同一のコマから作成された信号となり、 以下同様にフィールド f 3とブイ一ルド f 4も同一のコマを構成する。 これらの画像信号は、 インタレース画像信号である ため、 隣り合うフィールド間で垂直方向の画素位置が異なる。 このため、 インタ レース性を保ちつつ、 各フィールド間に 1個ずつのフィールドを新規に生成する ことはできない。
そこで、 図 2 Bに示すように、 フィールド f iとフィールド f 2の間に、 新規に 2枚のフィールド: f 2 ' 、 f i , を生成する。 フィールド f 2とフィールド ί 3の間 では、 フィールドの生成を行わず、 フィールド f 3とフィールド ί 4の間に、 新規 に 2枚のフィールド f 4 ' 、 f 3 'を生成する。 すなわち 4フィールド、 2フレー ムで 1つのコマを形成する。
この新規に生成したフィールド ί 、 f ' , · · · は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン 'フィルタ等を用いて求める場 合もある。 この新規に生成したフィールド ί 、 、 · · · は、 それぞれフ ィールド f 2、 · ' と同じ内容となる。
すなわち、 フィールド倍速変換回路 5は、 倍速変換前の画像信号のフィールド 間に 2枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配 置することで、 単位時間当たりの画面枚数を増やすことができ、 上述の面フリ ツ 力妨害を抑えることが可能となる。
ところで、 2 4コマ/秒の静止画で構成される映画のフィルムを通常のテレビ で見るためには、 インタレースのテレビ信号にするために、 テレビシネマ変換
(以下、 テレシネ変換と称する) を行う。 このテレシネ変換後の画像信号におい て、 水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図 3 A及び図 3 Bに示す。 ここで横軸は画像の水平方向における位置、 縦軸は時間 を示している。 図 3 Aに示す倍速変換前の画像信号において、 フィールド f f 2は、 同一のコマを構成するため、 同じ位置に画像が表示される。 この画像は、 フ ィールド f 3に移行すると水平方向 (右方向) へ移動する。 フィールド f は、 フ ィールド ί 3と同一のコマを構成するため、 フィールド f 3と同一の位置に表示さ れる。
図 3 Aに示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍 速変換すると、 図 3 Bに示すように、 同一のコマを構成するフィールド f f 2 、 f ' , f 2で、 同一位置に同一の画像が表示される。 同様に、 同一のコマを 構成するフィールド f 、 f ' , f ' , f で同一位置に同一の画像が表示され る。
このテレシネ変換後に倍速変換した画像信号は、 図 3 Bに示すように、 フィー ルド f 〜 f まで同じ位置に表示される一方、 f 〜 ί に移行する場合に大きく 水平方向へ移動する。 特に倍速変換後の画像信号は、 1 / 1 0 0秒の周期で規則 的に各ブイールドを構成しているため、 画像の動作する時間帯が画像の静止する 時間帯と比較して短く、 実際に C R Tを介して番組を視聴すると画像の動きが不 連続に見えてしまう。 かかる動きの不連続性を解消するため、 例えばプロックマ
ツチング法に基づき、 画面を所定の画素からなるブロックに分割し、 各ブロック 単位で相似度を評価す.ることにより動きべク トルを求める。 この求めた動きべク トルに応じて各プロック毎に画素位置をシフトさせて動き補正する。
しかしながら、 図 4に示すように、 テレビ画面 T中において、 物体の画像 Aが 図中矢印 方向の左方向に移動し、 背景 Bが図中矢印 X 2方向の右方向に移動す るような単一のプロック内に 2方向の動きが存在する場合において、 動きべク ト ルの方向を正確に検出することができず、 上述した画像の動きの不連続性を解消 することができない。 なお、 図 4中の Cは、 ブロックマッチングを行う際のプロ ックを示す。 発明の開示 本発明の目的は、 上述したようなテレシネ変換した画像を倍速変換する画像信 号処理装置及び処理方法が有する問題点を解決し得る新規な画像信号処理装置及 び処理方法を提供することにある。
本発明の他の目的は、 テレシネ変換した画像を倍速変換することにより生成さ れた画像信号について、 単一プロック内で 2方向に画像が動くようなバリエーシ ヨ ンの画像においても、 面フリツ力妨害を抑えつつ、 動きをスムーズにすること ができる画像信号処理装置及び処理方法を提供することにある。
本発明は、 テレシネ変換した画像を倍速変換することにより生成された 1コマ が 4フィールドで構成される画像信号が入力され、 演算した画素信号レベルの差 分値に基づいて各フィールドを特定し、 特定した第 1のフィールドにおいて動き べク トルの反対方向へ、 特定した第 4のフィールドにおいて動きべク トルの方向 へ、 更に特定した第 2及び第 3のブイールドにおいて上記第 1のブイールドから 後続するにつれて上記第 4のフィールドにおいてシフトさせた画素位置へ順次接 近するように検出画素の位置をシフトさせる画像信号処理装置及び処理方法であ る。
本発明に係る画像信号処理装置は、 具体的には、 テレシネ変換した画像を倍速 変換することにより生成され、 1コマが4フィールドで構成され、 コマの最初が
第 1のフィールドで始まり、 第 2、 第 3、 第 4のフィールドへと後続する画像信 号が入力される画像信号処理装置であって、 入力された上記画像信号について、 現フィールドの検出画素と、 現フィールドから 1 フレーム後のフィールドの同 1 箇所における検出画素との間で、 画素信号レベルの差分値を演算し、 当該差分値 に基づきコマを構成する各フィ一ルドを特定するシーケンス検出手段と、 現ブイ ールドの検出画素について、 現フィールドから 2フレーム後のブイールドに対す る動きべク トルを検出する動きべク トル検出手段と、 シーケンス検出手段により 特定した各フィールドに応じて、 検出した上記動きべク トルのべク トル量の範囲 内で、 画像信号の検出画素の位置をシフトさせる画像制御手段とを備える。 画像 制御手段は、 特定した第 1のフィールドについて検出画素を動きべク トルの反対 方向へシフ トさせ、 特定した第 4のフィールドについて検出画素を動きべク トル の方向へシフトさせ、 特定した第 2及び上記第 3のフィールドについて検出画素 を、 第 1のフィールドから後続するにつれて、 第 4のフィールドにおいてシフ ト させた画素位置へ順次接近するように、 動きべク トルの方向又は動きべク トルの 反対方向へシフトさせる。
本発明に係る画像信号処理方法は、 具体的には、 テレシネ変換した画像を倍速 変換することにより生成され、 1コマが 4フィールドで構成され、 コマの最初が 第 1のフィールドで始まり、 第 2、 第 3、 第 4のフィールドへと後続する画像信 号が入力され、 入力された上記画像信号において、 現フィールドの検出画素と、 現フィールドから 1フレーム後のブイールドの同一箇所における検出画素との間 で演算した画素信号レベルの差分値に基づき、 コマを構成する各フィールドを特 定し、 現フィールドの検出画素について、 現フィールドから 2フレーム後のフィ 一ルドに対する動きベク トルを検出し、 特定した第 1のフィールドについて、 検 出画素を動きべク トルの反対方向へシフ トさせ、 特定した第 4のフィールドにつ いて検出画素を上記動きべクトルの方向へシフトさせ、 特定した第 2及び第 3の ブイールドについて検出画素を、 第 1のフィールドから後続するにつれて第 4の フィールドにおいてシフトさせた画素位置へ順次接近するように、 動きべク トル の方向又は動きべク トルの反対方向へシフ トさせる。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい
て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう c 図面の簡単な説明 図 1は、 フィールド周波数倍速方式を適用したブイールド倍速変換回路を示す ブロック図である。
図 2 A及び図 2 Bは、 倍速変換前後の各ブイールドと画素位置の関係を示した 図である。
図 3 A及び図 3 Bは、 水平方向へ画像が移動する場合における各フィ一ルドと 画像位置の関係を示した図である。
図 4は、 単一のプロック内に 2方向の動きが存在するバリエーションの画像に ついて説明するための図である。
図 5は、 本発明を適用した画像信号処理装置を示すプロック回路部図である。 図 6 A及び図 6 Bは、 フィールド倍速変換回路における倍速変換前後の各フィ —ルドと画素位置の関係を示した図である。 '
図 7は、 水平方向へ画像が移動する場合における各フィールドと画像位置の関 係を示した図である。
図 8は、 シーケンス検出部におけるシーケンスの検出方法について説明するた めの図である。
図 9は、 画像シフト部及ぴ画像逆シフト部における画像のシフト方法について 説明するための図である。
図 1 0は、 各フィールドにおいて画像をシフトさせた結果を示した図である。 図 1 1は、 各画像を第 1及び第 2のフィールドにおいて動きべク トルの反対方 向にシフトさせるシフト方法について説明するための図である。
図 1 2は、 図 1 1に示すシフト方法により画像をシフトさせた結果を示した図 である。
図 1 3は、 入力される画像信号について、 コマを構成するフィールドの順番を 入れ替えて C R Tへ出力する画像信号処理装置のブロック構成図である。
図 1 4は、 コマを構成するフィールドの順番を入れ替えて出力する画像信号処
理装置の動作例について示した図である。
図 1 5は、 図 1 4に示す画像信号処理装置の動作例を、 コマを構成するフィー ルドの順番を入れ替えて説明するための図である。
図 1 6は、 コマを構成するフィールドの順番を入れ替えて出力する画像信号処 理装置の第 2の動作例を示した図である。
図 1 7は、 コマを構成するフィールドの順番を人れ替えて出力する画像信号処 理装置の第 3の動作例を示した図である。
図 1 8は、 コマを構成するフィ一ルドの順番を入れ替えて出力する画像信号処 理装置の第 4の動作例を示した図である。 発明を実施するための最良の形態 以下、 本発明の実施の形態について図面を参照しながら詳細に説明する。
本発明は、 例えば P A L (Phase Alternat i on by Line) 方式によるテレビジョ ン受像機に内蔵される画像信号処理装置に適用される。
本発明が適用された画像信号処理装置 1は、 図 5に示すような構成を備える。 画像信号処理装置 1は、 図 5に示すように、 第 1の画像メモリ 1 1と、 第 2の 画像メモリ 1 2と、 シーケンス検出部 1 3 と、 動きべク トル検出部 1 4 と、 画像 シフト部 1 5と、 画像逆シフト部 1 6と、 スィッチ 1 7とを備えている。
第 1の画像メモリ 1 1は、 テレシネ変換した画像を倍速変換することにより生 成された 1コマが 4フィールドで構成された、 例えば 1 0 0フィールド Z秒のィ ンタレース画像信号が順次供給される。
第 1の画像メモリ 1 1は、 供給された画像信号を、 各フィールド単位で、 1 フ レーム分格納する。 すなわち、 第 1の画像メモリ 1 1から出力される画像信号は、 この第 1の画像メモリ 1 1に供給される画像信号より 1フレーム後になる。
第 2の画像メモリ 1 2は、 第 1の画像メモリ 1 1と同様の内部構成を有し、 第 1の画像メモリ 1 1から供給された画像信号を、 各フィールド単位で、 1 フレー ム分格納する。 すなわち、 第 2の画像メモリ 1 2から出力される画像信号は、 こ の第 2の画像メモリ 1 2に供給される画像信号より 1フレーム後になり、 第 1の
画像メモリ 1 1に供給される画像信号より 2フレ一ム後になる。 この第 2の画像 メモリ 1 2に格納された画像信号は、 動きべクトル検出部 1 4に供給される。 シーケンス検出部 1 3は、 第 1の画像メモリ 1 1に供給される画像信号と、 第 1 の画像メモリ 1 1から出力される画像信号を検出し、 各画素毎に画像信号レべ ルを比較し、 両者間で差分値を演算する。 すなわち、 このシーケンス検出部 1 3 は、 画面上の同一箇所における画素の I面像信号レベルを、 1 フレーム間隔で比較 する。 シーケンス検出部 1 3は、 画像信号レベルの差分値の演算結果を画像シフ ト部 1 5及び画像逆シフト部 1 6 へ送信する。
動きべク トル検出部 1 4は、 第 1の画像メモリ 1 1に供給される画像信号と、 第 2の画像メモリ 1 2から出力される画像信号を検出し、 例えばブロックマッチ ング法に基づき動きベク トルを検出する。 このブロックマッチング法は、 画面を 所定の画素からなるプロックに分割し、 各プロック単位で相似度を評価すること により動きべク トルを求める方法である。 動きべク トル検出部 1 4は、 各画素毎 又は各プロック毎に検出した動きべク トルを画像シフト部 1 5及び画像逆シフ ト 部 1 6へ送信する。
画像シフ ト部 1 5は、 画素信号レベルの比較結果をシーケンス検出部 1 3から 受信する。 また、 画像シフ ト部 1 5は、 動きベク トル検出部 1 4が検出した動き ベタ トルを受信する。 更に画像シフト部 1 5は、 第 1の画像メモリ 1 1から、 入 力画像信号よりも 1フレーム遅延された画像信号が供給される。 画像シフト部 1 5は、 この供給された画像信号における各画素位置を、 受信した動きべク トルの べク トル量の範囲内で、 かつべク トル方向へシフトさせる。
画像逆シフ ト部 1 6は、 画素信号レベルの比較結果をシーケンス検出部 1 3か ら受信する。 画像逆シフ ト部 1 6は、 動きベク トル検出部 1 4が検出した動きべ ク トルを受信する。 更に画像逆シフト部 1 6は、 第 1の画像メモリ 1 1から、 入 力画像信号よりも 1 フレーム遅延された画像信号が供給される。 画像逆シフト部 1 6は、 この供給された画像信号における各画素位置を、 受信した動きべク トル の反対方向へシフトさせる。 なお、 この画像逆シフト部 1 6は、 上述の画像シフ ト部 1 5と一体化されて構成される場合にも適用可能である。
画像シフト部 1 5及び画像逆シフト部 1 6は、 フィールド単位で各画素位置を
シフトさせた画像信号を、 スィッチ 1 7へ供給する。 スィッチ 1 7は、 シーケン ス検出部 1 3から供給される画素信号レベルの比較結果に基づき、 フィールド単 位で、 必要な画像信号を選択する。 スィッチ 1 7により選択された画像信号は C R T 2へ出力される。 C R T 2は、 スィッチ 1 7から入力された画像信号を画面 上に表示し、 また画像信号の水平、 垂直方向の偏向を、 図示しない水平垂直偏向 回路に基づき制御する。
なお、 画像信号処理装置 1には、 画像信号のフィールド周波数を倍速変換する フィールド倍速変換回路 3が集積される場合もある。 フィールド倍速変換回路 3 は、 解像度を向上させることにより、 面フリツ力妨害を防止すべく集積されるも のであり、 例えば、 P A L方式において、 捕間等の処理を行うことにより、 フィ ールド周波数が 5 0 H zの画像信号を 2倍の 1 0 0 H zの画像信号に変換する。 フィールド周波数変換回路 3は、 図 5に示すように、 テレビジョン受像機に接 続された入力端子 3 1と、 倍速変換部 3 2と、 フレームメモリ 3 3とを備える。 倍速変換部 3 2は、 テレビジョン受像機から入力端子 3 1を介して入力された、 テレシネ変換後の画像信号を、 フレームメモリ 3 3へ書き込む。 この倍速変換部 3 2は、 フレームメモリ 3 3へ書き込んだ画像信号を、 書込み時の 2倍の速度で 読み出す。 これにより、 例えば、 P A L方式の 5 0フィールド Z秒の画像信号の 周波数を 2倍に変換し、 1 0 0フィールド/秒の画像信号を生成することができ る。 倍速変換部 3 2は、 この倍速変換した画像信号を画像信号処理装置 1へ供給 する。
図 6 A及び図 6 Bは、 このフィールド倍速変換回路 3における倍速変換前後の 各フィールドと画素位置の関係を示している。 ここで横軸は時間、 縦軸は画素の 垂直方向の位置を示す。
倍速変換前の画像信号は、 P A L方式の 5 0フィールド /秒のィンタレース画 像信号であり、 図 6 Aに示すように、 2フィールドで 1つのコマを形成する。
—方、 倍速変換後の画像信号は、 1 0 0フィールド/秒のインタレース画像信 号であるため、 図 6 Bに示すように、 フィールド t とフィールド t 2の間に、 新 規に 2枚のフィ一ノレド t 2一、 t を生成する。 そして、 フィールド t とフィー ルド t の間では、 フィールドの生成を行わず、 フィーノレド t 3とブイ一ノレド t の
間に、 新規に 2枚のフィールド し 、 t 3 ,を生成する。 すなわち、 画像信号は、 4フィールドで 1つのコマを形成する。
この新規に生成したフィールド t 、 t 2 ' , · · · は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン ' フィルタ等を用いて求める場 合もある。 また、 この新規に生成したフィールド t 、 t ' , · · · は、 それ ぞれフィールド t t、 t 2、 · ' と同じ内容となる。 これにより、 4フィールドで 1つのコマを形成することとなり、 単位時間当たりの画面枚数を増やすことで解 像度を向上させることができ、 面フリッカ妨害を抑制することが可能となる。 次に、 本発明に係る画像信号処理 置 1の動作について説明する。
画像信号処理装置 1は、 フィールド倍速変換回路 3から、 テレシネ変換後、 倍 速変換した 1コマが 4フィールドで構成される画像信号が順次供給される。 この 画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関 係を図 7に示す。 図 7において、 横軸は画像の水平方向における位置、 縦軸は時 間を示している。 既にテレシネ変換された画像は、 図 7に示すように、 ブイール ド t ' , t t '、 t の順で、 一定の時間間隔で第 1の画像メモリ 1 1に供 給され、 画像は全て同一の位置に表示される。 またフィールド t に移行すると画 像が水平方向 (右方向) に移り、 フィールド t 、 t ' , t ' , t 4の順で第 1 の画像メモリ 1 1 に供給される。
ここで、 例えば、 第 1の画像メモリ 1 1に供給されるフィールド (以下、 参照 フィールドと称する) が、 フィールド t 3である場合には、 第 2の画像メモリ 1 2 から出力される、 参照フィールドより 2フレーム前のフィールド (以下、 2フレ ーム遅延フィールドと称する) は、 フィールド となる。
動きべク トル検出部 1 4は、 この参照フィールドと 2フレーム遅延ブイールド 間で、 各画素又は各ブロック単位で動きベク トルを検出する。 図 7に示す例の場 合には、 動きベク トルのベク トル方向は、 2フレーム遅延フィールドを基準とし て水平方向 (右方向) となり、 ベク トル量は Aとなる。 同様に、 参照フィールド が t 5の場合には、 2フレーム遅延フィールドは、 t 3となり、 動きベク トルのべ タ トル量は Bとなる。 この手順を繰り返すことにより、 2フレーム遅延フィール ドを基準とした動きべク トルのべク トル方向とべク トル量を順次求めることがで
きる。 動きベク トル検出部 1 4は、 この求めた動きベク トルのベク トル量とべク トル方向とを画像シフ ト部 1 5及び画像逆シフ ト部 1 6へ順次送信する。
シーケンス検出部 1 3は、 参照フィールドと、 第 1 の画像メモリ 1 1から出力 される参照フィールドよ り 1 フレーム前のフィールド (以下、 1 フレーム遅延フ ィールドと称する) を順次検出し、 同一の画素位置における画素信号レベルの差 分値をそれぞれ演算する。
すなわち、 図 8に示すよ うに、 参照ブイールド t i と、 1 フレーム遅延フィ一 ルド は、 同一のコマを構成するため、 例えば画素位置 a点における画素信号レ ベルの差分値は 0になる。 次に参照フィールドとしてフィールド t 2が供給される と、 1 フレーム遅延フィールドはフィールド t 2 'となり、 a点における画素信号 レベルの差分値は同様に 0となる。
次に、 参照フィールドとしてフィールド t 3が供給されると、 1 フレーム遅延フ ィールドは ' となり、 両者はそれぞれ別のコマを形成するため、 a点における 画素信号レベルの差分値は 0以外 (以下、 1とする) となる。 次に参照フィール ドとして t 4 'が供給されると 1フレーム遅延フィールドはフィールド t 2となり、 a点における画素信号レベルの差分値は、 同様に 1となる。
更に、 参照フィールドとして t 3 'が供給されると、 1 フレーム遅延フィールド は、 t 3となり、 両者は同一のコマを形成するため、 a点における画素信号レベル の差分値は再び 0になる。 その後に供給される参照フィールドについても同様の 傾向となり、 演算した差分値は、 4フィールド周期で 「0 0 1 1」 の順で繰り返 される。 従って、 このシーケンスを 4フィールド単位で検出することにより、 各 ブイールドの前後関係を特定することが可能となる。
この傾向を 1 フレーム遅延フィールドにっき着目すると、 差分値は、 コマの最 初のフィールドから 「0 0 1 1」 の順になる。 従って、 図 8に示すように、 最初 に差分値 0を算出したとき、 検出した 1 フレーム遅延フィールドを、 コマの最初 のフィールド (以下、 第 1のフィールドと称する) として特定する。 また差分値 0が連続したときには、 検出した 1 フレーム遅延フィールドを第 2のフィールド として特定する。 また差分値として最初に 1を算出した場合に、 検出した 1 フレ ーム遅延ブイ—ルドを第 3のフィールドとして特定する。 また、 差分値 1が連続
したときには、 検出した 1 フレーム遅延フィールドを第 4のフィールドと して特 定する。
シーケンス検出部 1 3は、 上述の各フィールドにおける前後関係の特定結果を. 画像シフ ト部 1 5及び画像逆シフ ト部 1 6へ送信する。
画像シフ ト部 1 5及び画像逆シフ ト部 1 6は、 供給される画像信号を、 シーケ ンス検出部 1 3により特定された各フィールドの前後関係に基づき、 検出画素の 位置をべク トル方向へシフ トさせる。 画像信号が画像シフ ト部 1 5に供給される までに、 各フィールドが第 1のフィールド〜第 4のブイールドのいずれに該当す るか判明しているため、 検出画素の位置を正確かつ容易にシフトさせることがで きる。
各フィールドのシフ ト方向は、 図 9の黒で塗りつぶした矢印のように、 第 1の フィールドにおいて動きべクトルの反対方向にシフトさせ、 第 2のフィールド以 降では、 動きベク トルの方向へシフトさせる。 ここで第 2のフィールド以降のシ フト量は、 第 2のフィールドから後続するにつれて上記動きべク トルのべク トル 量の範囲内で順次増大させ、 第 4のフィールドにおいて最大となるようにする。 すなわち本発明では、 各フィールドを動きべク トルの方向及ぴ反対方向へバラン スよくシフ トさせることにより、 シフト量が最大となる第 4のフィールドにおい て、 シフ ト量を抑え込み、 動きベク トル検出時の誤差を蛏減させる。
この動きべク トル検出時の誤差とは、 例えば単一ブロック内で 2方向に画像が 動く とき (例えば、 物体の画像が左方向に移動し、 背景が右方向に移動するよう な場合) において、 動きベク トルの検出した方向が誤っている場合をいう。 例え ば図 9における点線の矢印に示すように、 各フィールドを動きべク トルのべク ト ル方向のみにシフトさせて動き捕正する例では、 第 4のフィールドにおいて、 シ フト量自体が過大となる。 検出した動きべク トルの方向が誤っている場合には、 第 4のフィールドにおいて画像を大きく移動させている分、 画面上で誤差が顕著 に現れてしまう。
一方、 各フィールドを動きべク トルの方向及び反対方向へバランスよくシフト させる本発明では、 図 9に示すように第 4のフィールドにおけるシフト量を小さ く抑えることができる。 これにより、 単一のプロック内で 2方向に画像が動くと
きに、 検出した動きベク トルの方向を誤っても、 画面上にかかる誤差を目立たせ ることなく、 スムーズな動きを実現することができる。
図 9に示す例において、 画像のシフト量は、 第 2のフィールドのシフト量を 0 と し、 第 2のフィールドの後へフィールドが続く毎に、 検出した動きベク トルの ベク トル量の 1 / 4倍ずつ増加させることも可能である。 かかる場合、 ベク トル 量が Aの場合には、 第 2のフィールドのシフ ト fiを 0 と し、 第 3のフィールドを A X 1 / 4倍、 第 4のフィールドを A X 2 / 4倍だけシフ トさせる。 また次のコ マの第 1のブイールドにおいて、 シフ ト量を、 動きべク トル Aの 1 / 4倍とし、 同様に次のコマにおける動きべク トルが Bの場合には、 第 2のフィールドのシフ ト量を 0とし、 第 3のフィールドのシフト量を B X 1 / 4倍、 第 4のフィールド のシフト量を B X 2 / 4倍とすることも可能である。
このようにシフトさせることにより、 シフト量を時間に対して線形に増加させ ることが可能となり、 画像の動きを更にスムーズにすることができる。
各フィールドにおいて画像をシフ トさせた結果を図 1 0に示す。 画像は、 後の フィールドに移行する毎に徐々に水平方向へ移動する。 すなわち、 画像シフ ト部 1 5は、 動きベク トル量に相当する画像のシフ ト量を、 各フィールドに分散する ことが可能となる。 これにより、 画像をシフトさせる前と比べて、 第 4のフィー ルドから第 1のフィールドに移行する際に画像を大きく移動させることなく、 画 像の動きをスムーズにすることができる。
なお、 画像シフト部 1 5は、 図 1 1に示すように、 各画像を第 1及び第 2のフ ィールドにおいて動きべク トルの反対方向にシフトさせ、 第 3のフィールド以降 において、 動きべク トルの方向へシフトさせることも可能である。 ここで第 1及 び第 2のフィールドでは、 シフト量を第 1のフィールドから後続するにつれて順 次減少するようにシフトさせる。 また、 第 3及び第 4のフィールドでは、 シフト 量を第 3のフィールドから後続するにつれて上記動きべク トルのべク トル量の範 囲内で順次増大させ、 第 4のフィールドにおいて最大となるようにする。 これに より、 図 9に示す例と同様に各フィールドを異なる方向へシフトさせることによ り、 1 フィールドあたりのシフ ト量を抑え込み、 動きベク トル検出時の誤差を軽 減させることができる。
図 1 1に示す例において、 画像のシフト量は、 第 3のフィールドのシフト量を 0とし、 第 3のフィールドの後へフィールドが続く毎に、 検出した動きベク トル のベク トル量の 1ノ4倍ずつ増加させることも可能である。 かかる場合、 べク ト ル量が Aの場合には、 第 3のフィールドのシフ ト量を 0とし、 第 4のフィールド を A X 1 / 4倍だけシフ トさせる。 次のコマの第 1のフィールドにおいて、 シフ ト量を、 動きベク トル Aの 2 / 4倍とし、 第 2のフィールドにおいてシフ ト量を 1 / 4倍とする。 同様に次のコマにおける動きベク トルが Bの場合には、 第 3の フィールドのシフ ト量を 0とし、 第 4のフィールドのシフ ト量を B X 1 Z 4倍と することも可能である。
図 1 1に示すように画像をシフトさせた結果を図 1 2に示す。 この図 1 2にお いても同様に、 各画像は、 後のフィールドに移行する毎に徐々に水平方向へ移動 する。
更に、 この画像シフト部 1 5、 各画像を第 1乃至第 3のフィールドにおいて動 きべク トルの反対方向にシフトさせ、 第 4のフィールドにおいて、 動きベク トル の方向へシフトさせることも可能である。 かかる場合には、 この第 1乃至第 3の フィールドにおいて、 シフト量を第 1のフィールドから後続するにつれて順次減 少するようにシフトさせる。
この画像信号処理装置 1を、 ブイールド倍速変換回路 3を集積化してテレビジ ヨン受像機に内蔵することにより、 テレシネ変換後、 倍速変換した画像信号特有 である動きの不連続感を解消することができる。 すなわち、 この画像信号処理装 置 1は、 単一のブロック内で 2方向に画像が動く場合等、 様々なバリエーション の画像においても、 フィールド倍速変換回路 3により解像度を向上させ、 面フリ ッカ妨害を抑制しつつ、 各画像の動きを更にスムーズにすることができる。
従って、 この画像信号処理装置 1は、 単独で実施する場合のみならず、 ブイ一 ルド倍速変換回路 3と一体で実施することで顕著な効果が得られる。 また、 フィ ールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、 後 からこの画像信号処理装置 1を内蔵することにより、 バージョンアップを容易に 実現することができる。
本発明に係る画像信号処理装置 1は、 上述の実施の形態に限定されるものでは
ない。 本発明は、 入力される画像信号について、 コマを構成するフィールドの順 番を入れ替えて C R T 2へ出力する画像信号処理装置 4に対しても適用可能であ る。 図 1 3に、 この画像信号処理装置 4のプロック構成例を示す。 上述の画像信 号処理装置 1と同一の構成要素は同一符号を付することによりその詳細な説明を 省略する。
この画像信号処理装置 4は、 第 1の画像メモリ 1 1と、 第 2の画像メモリ 1 2 と、 シーケンス検出部 1 3と、 動きべク トル検出部 1 4と、 画像シフト部 5 5と、 画像逆シフ ト部 5 6と、 スィッチ 1 7 とを備えている。
画像シフ ト部 5 5は、 画像信号レベルの比較結果をシーケンス検出部 1 3から 受信する。 また、 画像シフ ト部 5 5は、 動きベク トル検出部 1 4が検出した動き ベク トルを受信する。 更に画像シフ ト部 5 5は、 第 2の画像メモリ 1 2から供給 された画像信号における各画素位置を受信した動くべク トルのべク トル量の範囲 内で、 かつベク トル方向へシフトさせる。 すなわち、 この画像シフ ト部 5 5がシ フトさせる画像信号は、 入力画像信号よりも 2フレーム遅延された画像信号であ る。
画像逆シフ ト部 5 6は、 画素信号レベルの比較結果をシーケンス検出部 1 3か ら受信する。 画像逆シフト部 5 6は、 動きベク トル検出部 1 4が検出した動きべ ク トルを受信する。 更に画像逆シフト部 5 6は、 第 1の画像メモリ 1 2へ供給さ れる画像信号における各画素位置を、 受信した動きべク トルのべク トル量の範囲 内で、 かつベク トル方向と反対方向へシフトさせる。 すなわち、 この画像逆シフ ト部 5 6がシフ トさせる画像信号は、 入力画像信号と同一であるため、 上記画像 シフト部 5 5がシフトさせる画像信号より 2フレーム分の時間差がある。 なお、 画像逆シフト部 5 6は、 上記画像シフト部 5 5と一体化されて構成される場合も ある。
この画像シフト部 5 5及び画像逆シフト部 5 6によりシフ トされた画像信号は、 共にスィ ッチ 1 7へ入力される。 スィッチ 1 7は、 シーケンス検出部 1 3から供 給される画素信号レベルの比較結果に基づき、 フィールド単位で、 必要な画像信 号を選択する。 スィツチ 1 7により選択された画像信号は C R T 2へ出力される。 次に、 本発明を適用した画像信号処理装置 4の動作について図 1 4を用いて説
明する。
画像信号処理装置 4は、 フィールド倍速変換回路 3から、 テレシネ変換後、 倍 速変換した 1コマ 4フィールドで構成される画像信号が順次入力される。 この画 像信号処理装置 4は、 供給された画像信号につき、 第 1及び第 2のフィールドを 特定し、 これらを第 2の画像メモリ 1 2に基づき 2フレーム遅延させて、 動きべ ク トルのベク トル方向へシフ ト させる。 また、 画像信号処理装置 4は、 供給され た画像信号につき、 第 3乃至第 4のフィールドを特定し、 これらを遅延させずに、 動きべク トルの反対方向へシフトさせる。
画像信号処理装置 4へ供給される画像信号は、 フィールド t t ' , t ! ' , t 2の順で、 一定の時間間隔で配列している。 またフィールド t 3へ移行すると動 きベク トル Aの位置に画像が移動し、 フィールド t 、 t ' t ' , t 4の順で 画像信号処理装置 4へ供給される。 更にフィールド t 5へ移行すると、 動きべク ト ル Bの位置に画像が移動し、 フィールド t 、 t 6 ' 、 t ' , t eの順で画像信号 処理装置 4へ供給される。
動きべク トル検出部 1 4は、 画像信号処理装置 1に入力される画像信号につい て順次 2フレーム間隔で動きべク トルを検出する。 例えば、 第 2の画像メモリ 1 2から出力されるフィールドがフィールド t であるとき、 第 1の画像メモリ 1 1 に供給されるフィ—ルドは、 2フレーム後となるため、 フィールド t 3となる。 従 つて、 動きべク トル検出部 1 4は、 先ずフィールド t iとフィールド t 3との間で 動きべク トルを求める。
次に、 第 2の画像メモリ 1 2から出力されるフィールドがフィールド t 2 ' とな る場合には、 第 1 の画像メモリに供給されるフィールドはフィールド t ' となる ため、 フィールド t 2 とフィールド t 4 との間で動きベク トルを検出する。 す なわち、 この動きベク トル検出部 1 4は、 図 1 4に示す括弧書き番号の順で動き ベタ トルを順次検出していく。
ここで ( 1 ) の時間帯において動きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t が入力される。 また、 画像逆シフ ト部 5 6には、 フィールド t 3が 入力される。 画像シフト部 5 5は、 このブイールド t をベタ トル方向へシフトさ せ、 又はシフト fiを 0としてスィツチ 1 7へ出力する。 また画像逆シフト部 5 6
に入力されたフィ一ノレ ド t 3は、 2フレーム遅延させた後にベタ トル方向にシフト させるため、 何ら処理を施さない。
同様に (2 ) の時間帯において動きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t 2 'が入力される。 画像シフ ト部 5 5は、 このフィールド t 2 ,をべ ク トル方向へシフトさせ、 スィッチ 1 7へ出力する。 また画像逆シフト部 5 6に 入力されたフィールド t 'は、 2フレーム遅延させた後にべク トル方向にシフト させるため、 何ら処理を施さない。
( 3 ) の時間帯においてフィールド t ' とフィールド t 3 '間で動きべク トノレ を検出後、 画像シフ ト部 5 5にはフィールド t 'が入力され、 また画像逆シフ ト 部 5 6には、 フィールド t 3 'が入力される。 かかる場合において、 画像逆シフ ト 部 5 6は、 入力されたフィールド t 3 'を動きべク トルの反対方向へシフトさせる c なお、 フィールド t については、 画像逆シフト部 5 6により画像をシフトして いるため、 何ら処理を施さなくても良い。
同様に (4 ) の時間帯においても、 画像逆シフ ト部 5 6により、 入力されたフ ィールド t 4を動きべク トルの反対方向へシフトさせる。
更に、 (5 ) の時間帯においては、 フィールド t 3とフィールド t 5との間で動 きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t 3が入力され、 画像逆 シフ ト部 5 6には、 フィールド t 5が入力される。 画像シフ ト部はフィールド t をべク トル方向にシフ トさせ、 又はシフ ト量を 0とする。 ちなみにこのフィール ド t 3は既に一度画像逆シフト部 5 6に入力されているが、 1つのフィールドに対 するシフトの重複を防止するために、 かかる画像逆シフト部 5 6において何ら処 理を施されていない。
同様に (6 ) の時間帯においても、 画像シフト部 5 5により、 入力されたフィ ールド を動きべク トルの方向へシフ トさせる。
すなわち、 この画像信号処理装置 4は、 上述の処理手順からも示されるように、 動きべク トルを検出後、 画像シフト部 5 5及び画像逆シフト部 5 6へ供給される 各フィールドを交互にシフトさせる。
図 1 5は、 画像信号処理装置 4において、 シフ ト量に応じて各フィールドを並 ベ替えた結果を示している。 この図 1 5において、 コマを構成する各フィールド
(例えばフィールド t 3、 t 4 ' , t 、 t .. ) において、 図 1 4に示す入力画像 信号と順番が入れ替わつている。 これは、 コマを構成する各フィールドにおいて、 どのフィールドから先にシフトさせても同一の結果を得ることができることを示 唆している。
すなわち、 この画像信号処理装置 4は、 前述した画像信号処理装置 1と同様に、 単一のプロック内で 2方向に画像が動く場合等、 様々なバリエーションの画像に おいても、 面フリツ力妨害を抑制しつつ、 各画像の動きを更にスムーズにするこ とができる。
図 1 5に示す例において、 画像のシフト量を、 フィールド t のシフト量を 0と し、 フィールド t i 'において、 検出した動きベク トルのべク トル量 Aの 1 / 4倍 とすることも可能である。 また次のコマの第 1のフィールドにおいて、 シフト量 を、 べク トル量 Aの 2ノ 4倍とし、 第 2のフィールドにおいてシフ ト量を、 べク トル量 A 1 Z 4倍とし、 同様に次のコマにおける動きべク トルが Bの場合には、 第 3のフィールドのシフ ト量を 0とし、 第 4のフィ一ノレドのシフト量を B X 1 Z 4倍とすることも可能である。 これにより、 出力される画像信号は、 図 1 5に示 す画像のシフト例と同一になり、 シフト量を時間に対して線形に増加させること が可能となることから、 画像の動きを更にスムーズにすることができる。
このフィールドの並ぴ替えについては、 図 1 5に示される例に限定されるもの ではなく、 1コマを構成する 4つのフィールド内において、 (例えば、 フィール ド t 3、 t 1 '、 t 3 ' , t 4の順に配列している入力画像信号において) 、 シフト させるべク トル方向とベタ トル量を自由に設定することができる。
例えば図 1 6に示すように、 出力する画像信号が、 フィールド t 4、 t 3、 一、 t 3 'の順で水平方向に並ぶようにシフトさせることも可能である。 また、 例えば 図 1 7に示すように、 出力する画像信号が、 フィールド t 4 '、 t 、 t 4、 t 3 の順で水平方向に並ぶようにシフトさせることも可能である。 更に、 例えば図 1 8に示すように、 出力する画像信号が、 フィールド t 3 ,、 t 4 t 3、 の順 で水平方向に並ぶようにシフトさせることも可能である。
これら図 1 6〜図 1 8に示す例において、 シフト量をべク トル量の 1 / 4倍ず つ増減させることで、 シフ ト量を時間に対して線形に増減させ、 画像の動きの更
なる改善を図ることも可能である。
本発明を適用した画像信号処理装置は、 P A L方式によるテレビジョン受像機 に対して適用される場合に限定されることはなく、 例えば、 N T S C (Nat ional TV System Commi ttee) 方式の 6 0フィールド秒 ( 3 0コマ/秒) のインタレース 画像信号が入力されるテレビジョン受像機に対しても適用可能である。 また、 S E C A M方式によるテレビジョ ン受像機に対しても適用可能である。
更に、 本発明に係る画像信号処理装置は、 テレビジョ ン受像機に内蔵される場 合のみならず、 テレビジョン受像機に接続する信号変換器へも内蔵可能であるこ とは勿論である。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 上述したように、 本発明に係る画像信号処理装置及び方法は、 テレシネ変換し た画像を倍速変換することにより生成された 1コマが 4フィールドで構成される 画像信号が入力され、 演算した画素信号レベルの差分値に基づいて各フィールド を特定し、 特定した第 1のフィールドにおいて動きべク トルの反対方向へ、 特定 した第 4のフィールドにおいて動きべク トルの方向へ、 更に特定した第 2及び第 3のフィールドにおいて上記第 1のフィールドから後続するにつれて上記第 4の フィールドにおいてシフトさせた画素位置へ順次接近するように、 検出画素の位 置をシフトさせる。 ' これにより、 本発明に係る画像信号処理装置及び方法は、 単一のプロ ック内で 2方向に画像が動く場合等、 様々なバリエーションの画像においても、 面フリ ツ 力妨害を抑制しつつ、 各画像の動きをスムーズにすることができる。