JP4558614B2

JP4558614B2 - 画像処理装置、動画像データのフィールド・オーダを決定する方法及びプログラム

Info

Publication number: JP4558614B2
Application number: JP2005263260A
Authority: JP
Inventors: 達浩福島
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2005-09-12
Filing date: 2005-09-12
Publication date: 2010-10-06
Anticipated expiration: 2025-09-12
Also published as: JP2007081500A

Description

本発明は画像処理に関するものであり、特に、インターレース動画像データの処理における動画像データのフィールド・オーダ決定手法に関する。

１フレームの画像を２つのフィールドに分割して各フィールドを交互に表示するインターレース方式は、テレビ等の動画像再生に主として利用される動画像再生装置に多く利用されている。

インターレース方式の多くは、１フレームを複数のラインに分割し、画面の上から数えて奇数番目に該当する奇数ラインと偶数番目に該当する偶数ラインを交互に表示することにより画像表示が行われる。図１５は、インターレース方式におけるフレーム・データの構成を示す図である。ここでは、６ラインで構成されるフレーム・データとする。このうち、奇数ラインで構成されるフィールドをトップ・フィールド、偶数ラインで構成されるフィールドをボトム・フィールドと呼ぶ。

入力する画像データのフレーム化及びフレーム化された画像データの出力において、トップ・フィールドのデータを先に入出力する方法をトップ・ファースト、ボトム・フィールドのデータを先に入出力する方法をボトム・ファーストと呼ぶ。また、どちらを先に入出力するかの順序をフィールド・オーダと呼ぶ。

フィールド・オーダは動画像毎に設定が可能な場合がある。また、複数の動画像データを合成して１つの動画像データにする場合は、構成するそれぞれの動画像データ毎にフィールド・オーダが設定される場合がある。

このとき、フィールド・オーダを誤って設定してしまうと、期待通りの動画像再生ができなくなってしまう。この場合について例を挙げて説明する。図１６は、動画像の一例を示す図である。ここで例に挙げる動画像は、図１６に示すように図形が画面の左方向から右方向へ一定の速度で動く動画像である。

図１７は、トップ・ファーストによるフレーム化を行っている場合において、各フィールドの画像を示す図である。図１７に示すように、トップ・ファーストの場合、時間経過に沿った各フレームにおいて、トップ・フィールド、ボトム・フィールドの順になる。

フレーム毎の各フィールドの画像イメージを図１８に示す。ここでの例では図形は左方向から右方向へ動いているため、トップ・フィールド３０とボトム・フィールド３１では、後から画像データを入力するボトム・フィールド３１の方が図形は右側に表示されている。このことは、トップ・フィールド３３とボトム・フィールド３４、トップ・フィールド３６とボトム・フィールド３７についても同様である。

画像表示のときはインターレース方式により、フィールド毎に表示され、トップ・ファーストで再生を行えば、画像閲覧者は図形が画面の左方向から右方向へ動くように見える。図１９に、トップ・ファーストで再生を行った場合のフレーム毎の各フィールドの画像イメージを示す。

しかしながら、この画像データをボトム・ファーストで再生する場合は、期待通りの動画像再生ができなくなってしまう。図２０は、ボトム・ファーストで動画像を再生した場合のフレーム毎の各フィールドの画像イメージである。図２０に示すようにボトム・フィールドを先に再生してしまうと、各フレームの画像は、先に表示するボトム・フィールドの画像が後に表示するトップ・フィールドの画像よりも右方向に存在してしまい、フレーム毎の画像データは右方向に動いているものの、フィールド毎の画像では左方向に動いているように見えてしまう。

このように、フィールド・オーダを誤って動画像を再生してしまうと期待通りの動画像再生ができなくなってしまう。そのため従来は、フィールド・オーダを予め固定する方法が取られていた。図２１は、従来技術における入力画像データフレーム化回路の構成を示すブロック図である。入力画像データフレーム化回路４は、インターレース画像処理装置４１、フィールド・オーダ設定回路４２、入力画像変換処理回路４３、フレーム画像記憶部４４を備える。

インターレース画像処理装置４１は、外部から入力または格納されている動画像データからトップ・フィールドとボトム・フィールドそれぞれの画像データに分割し、入力画像変換処理回路４３に対して出力する。フィールド・オーダ設定回路４２は、レジスタ等の記憶手段を備え、レジスタ設定などによりフィールド・オーダがトップ・ファーストかボトム・ファーストかのフィールド・オーダ情報を入力画像変換処理回路４３に対して出力する。入力画像変換処理回路４３は、フィールド・オーダ設定回路４２から入力したフィールド・オーダ情報に基づいてインターレース画像処理装置４１から画像データをフィールド毎に入力し、フレーム・データの生成を行う。フレーム画像記憶部４４は、入力画像変換処理回路４３の生成したフレーム・データを格納するメモリである。

図２２は、従来技術におけるフレーム画像データ出力回路の構成を示すブロック図である。フレーム画像データ出力回路５は、フレーム画像記憶部５１、フィールド・オーダ設定回路５２、出力画像変換処理回路５３、インターレース画像処理装置５４を備える。

フレーム画像記憶部５１は、フレーム・データを格納するメモリである。フィールド・オーダ設定回路５２は、レジスタ等の記憶手段を備え、レジスタ設定などによりフィールド・オーダがトップ・ファーストかボトム・ファーストかのフィールド・オーダ情報を出力画像変換処理回路５３に対して出力する。出力画像変換処理回路５３は、フィールド・オーダ設定回路５２から入力したフィールド・オーダ情報に基づいて、フレーム画像記憶部５１に格納されているフレーム・データをフィールド毎にインターレース画像処理装置５４に対して出力する。インターレース画像処理装置５４は出力画像変換処理回路５３からフィールド毎に入力された画像データの表示を行う。

ここで、フィールド・オーダを変更する手段を備えた画像圧縮装置が特許文献１において提案されている。この画像圧縮装置では、画像が静止しているタイミングでボトム・ファーストの画像データをトップ・ファーストの画像データに変更することにより、変更時の画像再生が不自然になることなくフィールド・オーダを変更している。

しかしながら、特許文献１に示す方法は、ボトム・ファーストをトップ・ファーストに変更するだけのものであり、逆の変更のことは考慮していない。また、フィールド・オーダの変更のタイミングも画像静止時のみに限られている。
特開２００５−５９０４号公報

上述のように、従来は、画像データに対応したフィールド・オーダの設定が必要であったため、正常な録画／再生をするためにあらかじめフィールド・オーダの設定を行わなければならなかった。また、従来、録画／再生では決まったフィールド・オーダで処理を行っていたが、ビデオやデジタル・ビデオ等の録画／再生機器の多様化により異なるフィールド・オーダの画像データが存在する様になり、パソコン等による画像データの編集が容易になったため、フィールド・オーダの異なった画像データを１つの画像データにまとめる等の編集が可能になっている。

そのため、必要に応じて処理する画像データに対応したフィールド・オーダの設定が必要になるが、近年、録画／再生機器の多様化によりフィールド・オーダの設定をあらかじめ行うことは特に困難なものとなってきている。

本発明における画像処理装置は、奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求めると共に、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定するフィールド・オーダ判定部と、前記フィールド・オーダ判定部の前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更して前記フィールドグループに含まれるフィールドのそれぞれを出力することが可能である画像データ変換部と、を有し、前記フィールド・オーダ判定部は前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とするものである。このような構成により、動きデータ検出部により検出した動きに基づいてフィールド・オーダ判定部がフィールド・オーダの判定を行うため、正しいフィールド・オーダにて画像処理を行うことが可能となる。

本発明におけるフィールド・オーダの決定手法は、奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求める第１ステップと、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定する第２ステップと、前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更する第３ステップと、を有し、前記第２ステップでは、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とするものである。このようにすることにより、検出した動きに基づいてフィールド・オーダの判定を行うため、正しいフィールド・オーダにて画像処理を行うことが可能となる。

本発明におけるフィールド・オーダの決定プログラムは、奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求める第１ステップと、前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定する第２ステップと、前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更する第３ステップと、をコンピュータに実行させ、前記第２ステップにおいて、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定すること、をコンピュータに実行させるためのプログラムである。このようにすることにより、検出した動きに基づいてフィールド・オーダの判定を行うため、正しいフィールド・オーダにて画像処理を行うことが可能となる。

本発明によれば、予めフィールド・オーダの設定を行わなくても正しいフィールド・オーダにより動画像の処理が可能となる。

発明の実施の形態１．
発明の実施の形態１における画像処理システムは、フレーム毎に格納された画像データをフィールド毎に再生する場合にフィールド・オーダを判定し、正しいフィールド・オーダにて動画像を再生することができる画像処理システムである。本実施例でのフィールド・タイプは、第１フィールド・タイプであるトップ・フィールドのフィールド・データと第２フィールド・タイプであるボトム・フィールドのフィールド・データより構成されているものとする。

図１は、本発明における画像処理システムの構成の例を示すブロック図である。図１に示すように本発明における画像処理システム１は、画像データ記憶部１０、フィールド・オーダ判定部１１、出力画像データ変換部１２、インターレース画像処理部１３を備える。

画像データ記憶部１０は、再生が行われる画像データを一時的に格納するためのメモリである。ここで格納する入力画像データは、フレーム・データ毎に格納され、フィールド毎に出力が可能な形式のものとする。入力画像データ記憶部１０に格納された入力画像はフィールド毎にフィールド・オーダ判定部１１の有するフィールド・バッファ１１１と動きベクトル検出部１１２に出力され、フィールド・オーダ判定部１１がフィールド・オーダの判定を行う。また、入力画像データ記憶部１０に格納された画像データはフレーム毎に出力画像データ変換部１２に入力される。

フィールド・オーダ判定部１１は、画像データ記憶部１０に格納されている画像データのフィールド・オーダの判定を行うための回路である。フィールド・オーダ判定部１１は、フィールド・バッファ１１１、動きベクトル検出部１１２、動きベクトル・バッファ１１３、動きベクトル比較部１１４を備える。

フィールド・バッファ１１１は、画像データ記憶部１０から入力した画像データをフィールド毎に一時的に格納するバッファである。フィールド・バッファ１１１に格納されたフィールド毎の画像データは、動きベクトル検出部１１２に出力され、処理される。

動きベクトル検出部１１２は、フィールド・バッファ１１１に格納されたフィールド・データと画像データ記憶部１０から入力したフィールド・データ間の動きをベクトル情報として検出する回路である。動きベクトルの検出方法については、ＭＰＥＧ（Moving Pictures Experts Group）等で一般的に用いられる検出方法をそのまま使用可能である。動きベクトル検出部１１２により検出された動きベクトル・データは、動きベクトル・バッファ１１３に出力され、動きベクトル・バッファ１１３に格納される。ここでは、動きベクトル検出部は、動きベクトルを動きデータとして検出する動きデータ検出部であるが、方向だけの動きデータや大きさだけの動きデータを検出してフィールド・オーダ判定部に出力し、フィールド・オーダ判定部にて比較することも可能である。

動きベクトル・バッファ１１３は、動きベクトル検出部１１２によって検出された動きベクトル・データを一時的に格納するためのバッファである。動きベクトル・バッファ１１３に格納された動きベクトル・データは、動きベクトル比較部１１４に出力され、処理される。

動きベクトル比較部１１４は、動きベクトル・バッファ１１３に格納された第１の動きデータである動きベクトルと動きベクトル検出部１１２から入力した第２の動きデータである動きベクトルを比較することにより、フィールド・オーダの判定を行う回路である。動きベクトル比較部１１４は、判定結果に基づいて判定結果情報を生成する。動きベクトル比較部１１４により生成された判定結果情報は、出力画像データ変換部１２に出力され、処理される。ここでは動きベクトル比較部１１４は、動きベクトルを動きデータとして比較するフィールド・オーダ判定部であるが、方向だけの動きデータや大きさだけの動きデータを比較して判定することも可能である。

出力画像データ変換部１２は、動きベクトル比較部１１４から判定結果情報を入力し、入力した判定結果情報に基づいたフィールド・オーダにてインターレース画像処理部１３に画像データ記憶部１０から入力した画像データの出力を行うフィールド・データ処理部である。出力画像データ変換部１２は、画像データ記憶部１０からフレーム毎に画像データを入力し、決定したフィールド・オーダにてフィールド毎にインターレース画像処理部１３に画像データを出力する。

インターレース画像処理部１３は、画像データ変換部１２からフィールド毎に画像データを入力し、インターレース再生、つまり入力した画像データをフィールド毎に再生する。

続いて、図２に示すフローチャートを用いて、本発明の実施の形態１における画像処理システムの処理の流れについて説明する。初期条件として、再生用の画像データは入力画像データ記憶部１０にフレーム毎に格納されているものとする。

まず、フィールド・バッファ１１１が、入力画像データ記憶部１０からフィールド毎に画像データを入力し、一時的に格納する。ここでの入力は、トップ・ファーストかボトム・ファーストかを予め定めておき、後で定めておいたフィールド・オーダの正誤を判定する。ここでは、トップ・ファーストであるとする。

説明のため動画像を構成するフレームを順にフレーム０、１、２、と順番に番号付けする。また、トップ・ファーストの場合、Ｎ番目のフレームを構成するトップ・フィールドを２Ｎ番目のフィールド、ボトム・フィールドを２Ｎ＋１番目のフィールドのように番号付けする。フレーム、フィールドの構成は図３に示すようになる。最初は０番目のフィールド・データが入力される。フィールド・データの処理は０番目のフィールドから順に行われる（Ｓ１１）。

まず、動きベクトル検出部１１２は動きベクトル検出のため、入力画像データ記憶部１０からＮ番目のフィールド・データを入力する（Ｓ１２）。このとき、フィールド・バッファ１１１にはＮ−１番目のフィールド・データが、動きベクトル検出部１１２にはＮ番目のフィールド・データが入っている状態となる。次に、動きベクトル検出部１１２が、入力画像データ記憶部１０から入力したＮ番目のフィールド・データとフィールド・バッファ１１１に格納されているＮ−１番目のフィールド・データとを比較し、動きベクトルの方向と大きさを検出する（Ｓ１３）。ここでは、Ｎ番目とＮ−１番目のように連続する２つのフィールド・データの比較を行っているが、Ｎ番目とＮ＋ｋ番目（ｋは自然数）のように比較を行ってもよい。ただし、トップ・フィールドとボトム・フィールドのフィールド・データの比較を行う必要がある。

動きベクトル検出部１１２による検出は、１番目のフィールドから順に行われ、Ｎ番目のフィールドはＮ−１番目のフィールドと比較して動きベクトルの検出を行う。動きベクトルの検出については、ＭＰＥＧ等で一般的に用いられる検出方法をそのまま使用可能である。動きベクトルの検出は、複数箇所行うことが可能であるが、ここでは説明を簡単にするため、１箇所のみについて行うものとする。

動きベクトル検出部１１２により検出した動きベクトルは、フィールド間の相対的な移動距離の２次元ベクトル、例えば（Ｘ，Ｙ）のような２次元形式の動きベクトル・データとして表現することが可能である。この場合、単位はピクセル単位でもよいし、別の単位を用いてもよい。動きベクトル検出部１１２は、フィールド・データ毎に検出した動きベクトルから動きベクトル・データを生成し、動きベクトル・バッファ１１３に格納する。検出した動きベクトルは図４の矢印に示したようになる。図５は、動きベクトル・バッファ１１３に格納された動きベクトル・データの一例を示す図である。画面右方向へ１の速度で動き続けている場合、動きベクトル・データは（１，０）となる。

動きベクトルの検出が完了し、動きベクトル・バッファ１１３に動きベクトル・データが格納されると、当該フィールド・データにおいて生成された動きベクトル・データ１つ前のフィールド・データにおいて生成された動きベクトル・データとの間で動きベクトル・データの比較が行われる（Ｓ１４）。つまり、Ｎ番目のフィールド・データの処理のときは、Ｎ−１番目のフィールドとの比較により動きベクトル・データが生成されるが、この動きベクトル・データと、Ｎ−１番目のフィールド・データの処理のとき、つまりＮ−１番目のフィールドとＮ−２番目のフィールドとの比較により生成された動きベクトル・データとの間で比較が行われる。

図９に示すフローチャートを用いて本発明におけるフィールド・オーダの正誤判定の処理の流れについて説明する。動きベクトル・データの比較は、動きベクトルの方向が逆方向であるか（Ｓ２１）、動きベクトルの大きさの比が設定された閾値以上であるか（Ｓ２２）、について行われる。逆方向であるかの条件や、閾値については予め設定された値により行われる。例えば、２つの動きベクトルの角度が１２０度以上であれば逆方向、閾値は動きベクトルの大きさの比が３倍以上、等が設定条件として考えられが設定条件については特に限定されない。図５の例による比較では、動きベクトルは全て同じ方向で大きさの比も１倍である。

フィールド・データについて動きベクトルの比較が完了すると、動きベクトル比較部１１４により比較結果に基づいて、フィールド・オーダの正誤が判定される。判定は、先ほど比較した結果、動きベクトルの方向が逆方向であり、かつ動きベクトルの大きさの比が設定された閾値以上である場合等の設定された条件が成立したと判定した場合に回数がカウントされる（Ｓ２３）。

このとき、カウントされた回数が基準値を超えると（Ｓ２４）、動きベクトル比較部１１４は、フィールド・オーダが誤りであると判定する（Ｓ２５）。例えば、動きベクトルの方向が逆方向であるか、動きベクトルの大きさの比が設定された閾値以上というフィールドが２つ以上存在した場合、フィールド・オーダは誤りであると判定する。このようにしてフィールド・オーダが決定されると（Ｓ１５）、このときの判定結果に基づいて、動きベクトル比較部１１４は判定結果情報を生成する。判定結果情報は「正しい」「誤り」のいずれかであり、「１」「０」のビットデータにすることが可能である。動きベクトル比較部１１４は生成した判定結果情報を出力画像データ変換部１２に対して出力する（Ｓ１６）。

出力画像データ変換部１２は、動きベクトル比較部１１４から入力した判定結果情報に基づいてフィールド・オーダの正誤を判断する。画像データ変換部１２は、入力画像データ記憶部１０から画像データを入力し、動きベクトル比較部１１４より入力した判定結果情報が「誤り」であった場合、フィールド・オーダを入れ替えてインターレース画像処理部１３に出力する。

判定結果が「誤り」となる場合について例を挙げて説明する。図３に示すフレーム、フィールドの構成において、画像データ入力時のフィールド・オーダが誤っていた場合のフィールドの構成は図６のようになる。この場合、Ｎ番目のフレームを構成するボトム・フィールドを２Ｎ番目のフィールド、トップ・フィールドを２Ｎ＋１番目のフィールドのように番号付けする。図６では、トップ・ファーストの画像データをボトム・ファーストの画像データとして入力した例である。

このような場合、検出される動きベクトルは、図７の矢印で示すような形となり、動きベクトル・バッファ１１３に格納された動きベクトル・データは図８のようになる。この場合、動きベクトル比較部１１４による比較結果は動きベクトルの向きが反対方向となる。また、動きベクトルの大きさの比も３倍となるため、動きベクトル比較部１１４による比較毎に回数がカウントされ、回数が予め定められた値を超えると、判定結果が「誤り」となる。

以上の作業を０番目のフィールドから順次繰り返し行う。Ｎ番目のフィールドについての処理が終了したら、フィールド・オーダの判定が終了したか否かを判定し（Ｓ１７）、終了して無い場合は、Ｎ＋１番目、つまり次のフィールドについて同様の処理を繰り返す（Ｓ１８）。終了と判定される条件は、当該画像データについてのフィールド・オーダが決定した場合と、当該画像データを構成する全てのフィールドについての処理が完了した場合である。

動画像再生中にフィールド・オーダの変更が不可能な場合は、最初の数フィールドでフィールド・オーダの正誤を判定してそれ以降のフィールドについては判定を行わずに終了となる。このとき、ベクトル比較部１１４から終了信号を出力画像データ変換部１２に対して出力するようにしてもよい。また、動画像再生中にフィールド・オーダの変更が可能な場合は、動画像を構成する最後のフィールドまで判定を行い、判定結果に応じてフィールド・オーダの切替を行う。

このようにして、動きベクトルを比較することによりフィールド・オーダの正誤判定を行い、正しいフィールド・オーダにて画像を出力することが可能となる。この正誤判定は、フレーム化された動画像データの再生時のフィールド・オーダの正誤判定にも利用可能であり、また、フィールド毎に入力しフレーム化を行う際に入力する場合のフィールド・オーダの正誤判定にも利用可能である。

発明の実施の形態２．
発明の実施の形態１では、再生時のフィールド・オーダの判定を行ったが、本発明における画像処理システムは、動画像を入力してフレーム・データを作成する場合のフィールド・オーダの判定にも利用することが可能である。

図１０は、トップ・ファーストによりフィールド毎に画像入力を行い、フレーム化する場合の一例を示す図である。図１０に示すようにフィールド０とフィールド１からフレーム０、フィールド２とフィールド３からフレーム１のフレーム・データが作成される。同様にフィールド２Ｎとフィールド２Ｎ＋１からフィールドＮのフレーム・データが作成される。ここに示すＮは０以上の整数である。

これを誤ってボトム・ファーストで入力してしまった場合、フィールド毎の画像データの構成は図１１に示すフィールド０、１、２、３、…、Ｎのようになる。このように入力した画像データをトップ・ファーストとしてフレーム化してしまうと図１１に示すフレーム０、１、…、Ｎのようになり正しくフレーム化が行われない。

そこで、フィールド・オーダの判定を行い、フィールドの正誤の判定を行う。すると図１１で入力したフィールドは、ボトム・ファーストであると判定されるので、フレーム化を行った場合は、図１０に示すフレーム０、１、…、Ｎのようになり正しくフレーム化される。以下、本発明の実施の形態２における画像処理システムの構成について説明する。

図１２は、本発明の実施の形態２における画像処理システムの構成を示すブロック図である。本発明の実施の形態２における画像処理システムは、インターレース画像処理部２０、フィールド・オーダ判定部１１、入力画像データ変換部２２、画像データ記憶部２３を備える。

インターレース画像処理部２０は、フィールド毎に画像データをフィールド・オーダ判定部１１の有するフィールド・バッファ１１１及び動きベクトル検出部１１２に対して出力する。また、インターレース画像処理部２０は、入力画像データ変換部２２に対してもフィールド毎に画像データを出力する。

フィールド・オーダ判定部１１は、インターレース画像処理部２０から入力した画像データのフィールド・オーダの正誤判定を行う。フィールド・オーダ判定部１１は、フィールド・バッファ１１１、動きベクトル検出部１１２、動きベクトル・バッファ１１３、動きベクトル比較部１１４を備えが、各部の機能は発明の実施の形態１と同様であるのでここでは説明を省略する。

入力画像データ変換部２２は、動きベクトル比較部１１４から入力した判定結果情報に基づいてフィールド・オーダを決定し、決定したフィールド・オーダにて画像データ記憶部２３にインターレース画像処理部２０から入力した画像データの出力を行う。入力画像データ変換部２２は、インターレース画像処理部２０からフィールド毎に画像データを入力し、決定したフィールド・オーダにてフレーム毎に画像データ記憶部２３に画像データを出力する。

続いて、本発明の実施の形態２における画像処理システムの処理の流れについて説明する。フィールド・オーダ判定部１１によりフィールド毎に画像データを入力し、フィールド・オーダの判定を行う処理の流れについては発明の実施の形態１と同様である。

発明の実施の形態２が発明の実施の形態１と異なる点は、画像データの入力をインターレース画像処理部２０からフィールド毎に行う点と、フィールド・オーダ判定部１１により判定した判定結果に基づいて行う処理がインターレース画像処理部１３による動画像再生ではなく、入力画像データ変換部２２によりフレーム化し画像データ記憶部２３に格納する点である。それ以外の点については発明の実施の形態１と同様であるのでここでは説明を省略する。

発明の実施の形態３．
発明の実施の形態１における画像処理システムにおいて、入力画像データ記憶部と画像データ変換部の間にバッファを設けることにより、先頭のフレームから正しいフィールド・オーダを設定可能にした例である。図１３は、本発明の実施の形態３における画像処理システムの構成を示す図である。

本発明の実施の形態３における画像処理システムは、画像データ記憶部１０、フィールド・オーダ判定部１１、出力画像データ変換部１２、インターレース画像処理部１３、バッファ３４を備える。画像データ記憶部１０が画像データを出力する先が出力画像データ変換部１２ではなくバッファ３４であることと、出力画像データ変換部１２が画像データ記憶部１０からではなくバッファ３４から画像データを入力すること以外については各部の機能は発明の実施の形態１と同様であるのでここでは説明を省略する。

続いて、本発明の実施の形態３における画像処理システムの処理の流れについて説明する。発明の実施の形態３における画像処理システムの処理の流れで発明の実施の形態１と異なる点は、入力画像データ記憶部と画像データ変換部の間にバッファがある点である。

画像データ記憶部１０に格納されている動画像データは、フィールド・オーダ判定部１１の有するフィールド・バッファ１１１に対して出力されると同時にバッファ３４に対して出力される。フィールド・オーダ判定部１１における処理については発明の実施の形態１と同様であり、ここでは説明を省略する。

画像データ変換部１２は、フィールド・オーダ判定部１１の有する動きベクトル比較部１１４が生成する判定結果情報を入力し、入力した判定結果情報に基づいてフィールド・オーダを決定する。フィールド・オーダ判定部１１によるフィールド・オーダの判定は、カウントされた回数が基準値を超えるか否かにより行われるので、判定結果が出るまでには複数のフィールド・データを入力する必要があり、出力画像データ変換部１２が入力画像データ記憶部１０からフィールド・データを直接入力していた場合、フィールド・オーダ判定部１１によるフィールド・オーダの判定結果が出るまでに入力されたフィールド・データは、誤ったフィールド・オーダで画像データ変換部１２から出力画像データ記憶部１３に出力されてしまう可能性があった。

バッファ３４は、フィールド・オーダ判定部１１によりフィールド・オーダが決定されるまで、入力画像データ記憶部１０から出力されたフレーム・データを格納しておく。バッファ３４が格納するフレーム・データの数は、フィールド・オーダ判定部１１により判定結果を下すのに必要なフレーム・データの数に応じて決定される。

出力画像データ変換部１２は、バッファ３４からフレーム・データを入力するため、入力画像データ記憶部１０から出力されたフレーム・データを入力するまでに遅延が発生する。その遅延の間にフィールド・オーダ判定部１１は判定結果を下し、判定結果情報を出力画像データ変換部１２に対して出力することが可能となる。

このようにして、本発明の実施の形態３における画像処理システムは、判定結果が出るまで画像データをバッファに格納しておくことにより先頭のフィールドから、正しいフィールド・オーダにて画像の出力を行うことが可能となる。

発明の実施の形態４．
発明の実施の形態３における画像処理システムは、発明の実施の形態１における画像処理システムにバッファを設けたものであるが、同様に発明の実施の形態２における画像処理システムにバッファを設けた構成にすることにより、発明の実施の形態３と同様にフィールド毎に画像データを入力しフレーム化を行う際に先頭のフィールドから正しくフレーム化を行うことが可能となる。

図１４は、本発明の実施の形態４における画像処理システムの構成を示すブロック図である。本発明の実施の形態２における画像処理システムは、インターレース画像処理部２０、フィールド・オーダ判定部１１、入力画像データ変換部２２、画像データ記憶部２３、バッファ４４を備える。インターレース画像処理部２０が画像データを出力する先が入力画像データ変換部２２ではなくバッファ４４であることと、画像データ記憶部２３がインターレース画像処理部２０からではなくバッファ４４から画像データを入力すること以外については各部の機能は発明の実施の形態２と同様であるのでここでは説明を省略する。

バッファ４４は、フィールド・オーダ判定部１１によりフィールド・オーダが決定されるまで、インターレース画像処理部２０から出力されたフィールド・データを格納しておく。バッファ４４が格納するフィールド・データの数は、フィールド・オーダ判定部１１により判定結果を下すのに必要なフィールド・データの数に応じて決定される。

入力画像データ変換部２２は、バッファ４４からフィールド・データを入力するため、インターレース画像処理部２０から出力されたフィールド・データを入力するまでに遅延が発生する。その遅延の間にフィールド・オーダ判定部１１は判定結果を下し、判定結果情報を入力画像データ変換部２２に対して出力することが可能となる。

このようにして、本発明の実施の形態４における画像処理システムは、判定結果が出るまで画像データをバッファに格納しておくことにより先頭のフィールドから、正しいフィールド・オーダにて画像の出力を行うことが可能となる。

発明の実施の形態５．
発明の実施の形態３、４では、バッファを用いることにより先頭のフィールドから正しいフィールド・オーダの設定が可能となるが、バッファを用いずに画像データの先頭にフィールド・オーダ判定用の画像データを組み込むことにより先頭のフィールドから正しいフィールド・オーダを設定することが可能となる。

この場合に先頭に組み込む画像データは、本来の画像データの先頭の必要フレーム数分の画像データをコピーするのが望ましいが、正しいフィールド・オーダの判定が可能であるデータであればよい。

先頭にフィールド・オーダ判定用の画像データを組み込むこと以外の構成、処理の流れについては発明の実施の形態１、２と同様であるためここでは説明を省略する。この方法は、動画像データの再生にもフィールド・データを入力してフレーム化を行う場合にもどちらにも利用可能である。

その他の発明の実施の形態．
上述の例では、画像処理システム内の各処理をそれぞれ専用の回路にて行っていたが、これを、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）を用いてプログラムにより行うようにしてもよい。このとき、ＣＰＵはプログラムに従って動作する。この場合、ＣＰＵは、動きベクトル検出部、動きベクトル比較部、出力画像データ変換部、入力画像データ変換部、インターレース画像処理部の処理を行う。また、ＲＡＭは、画像データ記憶部、フィールド・バッファ、動きベクトル・バッファの処理及びプログラムやプログラムで使用するデータの格納を行う。

本発明における画像処理システムの構成を示すブロック図である。本発明における画像処理システムの処理の流れを示すフローチャートである。本発明におけるフレーム、フィールドの構成例を示す図である。本発明における動きベクトルの例を示す図である。本発明における動きベクトル・データの例を示す図である。本発明におけるフィールド・オーダ誤り時のフィールドの構成例を示す図である。本発明におけるフィールド・オーダ誤り時の動きベクトルの例を示す図である。本発明におけるフィールド・オーダ誤り時の動きベクトル・データの例を示す図である。本発明における画像処理システムの処理の流れを示すフローチャートである。本発明におけるフレーム、フィールドの構成例を示す図である。本発明におけるフィールド・オーダ誤り時のフィールドの構成例を示す図である。本発明における画像処理システムの構成を示すブロック図である。本発明における画像処理システムの構成を示すブロック図である。本発明における画像処理システムの構成を示すブロック図である。一般的なインターレースにおけるフレーム・データとフィールド・データの関係を示す図である。本発明における入力画像データの一例を示す図である。本発明における画像入力の一例を示す図である。本発明におけるフレーム・データの構成例を示す図である。本発明における画像出力の一例を示す図である。本発明におけるフィールド・オーダ誤り時の画像出力の一例を示す図である。従来技術における入力画像データフレーム化回路の構成を示すブロック図である。従来技術におけるフレーム画像データ出力回路の構成を示すブロック図である。

符号の説明

１０画像データ記憶部
１１フィールド・オーダ判定部
１１１フィールド・バッファ
１１２ベクトル検出部
１１３ベクトル・バッファ
１１４ベクトル比較部
１２出力画像データ変換部
１３インターレース画像処理装置
２０インターレース画像処理装置
２２入力画像データ変換部
２３画像データ記憶部
３４バッファ
４４バッファ
４入力画像データフレーム化回路
４１インターレース画像処理装置
４２フィールド・オーダ設定回路
４３入力画像変換処理回路
４４フレーム画像記憶部
５フレーム画像データ出力回路
５１フレーム画像記憶部
５２フィールド・オーダ設定回路
５３出力画像変換処理回路
５４インターレース画像処理装置
３０トップ・フィールド
３１ボトム・フィールド
３２フレーム
３３トップ・フィールド
３４ボトム・フィールド
３５フレーム
３６トップ・フィールド
３７ボトム・フィールド
３８フレーム

Claims

奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求めると共に、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定するフィールド・オーダ判定部と、
前記フィールド・オーダ判定部の前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更して前記フィールドグループに含まれるフィールドのそれぞれを出力することが可能である画像データ変換部と、を有し、
前記フィールド・オーダ判定部は前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とする画像処理装置。
前記フィールド・オーダ判定部は、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であり、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上となり前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上となった回数が所定の基準値を超えない場合には、前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とする請求項１に記載の画像処理装置。
前記画像データ変換部は、前記フィールドグループに含まれるフィールドのそれぞれを出力している間に、前記フィールド・オーダ判定部が行った判定の結果に応じて前記フィールドグループに対する前記フィールド・オーダを変更することを特徴とする請求項１に記載の画像処理装置。
前記フィールド・オーダ判定部は、前記フィールドグループに対する前記フィールド・オーダが正しいか否かを判定した後、前記フィールドグループに含まれるフィールドの内の前記第３のフィールドより後のフィールドに基づいては、前記フィールドグループに対する前記フィールド・オーダが正しいか否かの判定は行わないことを特徴とする請求項１に記載の画像処理装置。
前記フィールドグループに含まれるフィールドのそれぞれを入力して前記画像データ変換部に出力するバッファをさらに有し、
前記画像データ変換部は、前記フィールド・オーダ判定部が前記フィールドグループに対する前記フィールド・オーダが正しいか否かを判定した後に、前記バッファから前記第１フィールドを入力することを特徴とする請求項１に記載の画像処理装置。
前記フィールドグループは、前記第１ないし第３フィールドのそれぞれをコピーしたフィールドを含んでいることを特徴とする請求項１に記載の画像処理装置。
前記フィールドグループを記憶し、前記画像変換部に前記フィールドグループに含まれるフィールドのそれぞれを出力する画像データ記憶部と、
前記画像データ変換部が出力するそれぞれのフィールドを再生する画像処理部と、をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記フィールドグループに含まれるフィールドのそれぞれを前記画像変換部に出力する画像処理部と、
前記画像データ変換部が出力するそれぞれのフィールドを記憶する画像データ記憶部と、をさらに有することを特徴とする請求項１に記載の画像処理装置。
奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求める第１ステップと、
前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定する第２ステップと、
前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更する第３ステップと、を有し、
前記第２ステップでは、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とする画像処理方法。
前記第２ステップでは、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であり、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上となり前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上となった回数が所定の基準値を超えない場合には、前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とする請求項９に記載の画像処理方法。
前記フィールドグループに対する前記フィールド・オーダが正しいか否かを判定した後、前記フィールドグループに含まれるフィールドの内の前記第３のフィールドより後のフィールドに基づいては、前記フィールドグループに対する前記フィールド・オーダが正しいか否かの判定は行わないことを特徴とする請求項９に記載の画像処理方法。
奇数ラインと偶数ラインの内の前記奇数ラインのみで構成される第１フィールドと、前記奇数ラインと前記偶数ラインの内の前記偶数ラインのみで構成され前記第１フィールドの次のフィールドである第２フィールドと、を比較して、前記第２フィールドに対する動きベクトルである第１の動きベクトルを求め、前記第２フィールドと、前記奇数ラインと前記偶数ラインの内の前記奇数ラインのみで構成され前記第２フィールドの次のフィールドである第３フィールドと、を比較して、前記第３フィールドに対する動きベクトルである第２の動きベクトルを求める第１ステップと、
前記第１の動きベクトルと前記第２の動きベクトルの角度が所定の閾値以上であるか否かに基づいて、前記第１ないし第３のフィールドを含むフィールドのそれぞれからなるフィールドグループに対するフィールド・オーダが正しいか否かを判定する第２ステップと、
前記フィールド・オーダが正しいか否かの判定の結果に応じて前記フィールド・オーダを変更する第３ステップと、をコンピュータに実行させ、
前記第２ステップにおいて、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であっても、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値より小さい場合には前記フィールドグループに対する前記フィールド・オーダは正しいと判定すること、をコンピュータに実行させるためのプログラム。
前記第２ステップでは、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上であり、前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上であっても、前記第１の動きベクトルに対する前記第２の動きベクトルの角度が所定の閾値以上となり前記第１の動きベクトルと前記第２の動きベクトルの大きさの比が所定の閾値以上となった回数が所定の基準値を超えない場合には、前記フィールドグループに対する前記フィールド・オーダは正しいと判定することを特徴とする請求項１２に記載のプログラム。
前記フィールドグループに対する前記フィールド・オーダが正しいか否かを判定した後、前記フィールドグループに含まれるフィールドの内の前記第３のフィールドより後のフィールドに基づいては、前記フィールドグループに対する前記フィールド・オーダが正しいか否かの判定は行わないことを特徴とする請求項１２に記載のプログラム。