JP4234649B2 - 情報処理装置およびプログレッシブ変換方法 - Google Patents

Description

本発明はパーソナルコンピュータのような情報処理装置および同装置で用いられるプログレッシブ変換方法に関する。

近年、ＤＶＤ（Digital Versatile Disc）プレーヤ、ＴＶ装置のようなオーディオ・ビデオ（ＡＶ）機器と同様のＡＶ機能を備えたパーソナルコンピュータが開発されている。

一般に、ＴＶ放送番組のような映像データは、インターレース映像データから構成されている。例えば、ＮＴＳＣ方式のＴＶ放送信号においては、１映像フレーム当たりのスキャンラインの数は５２５本である。インターレース映像データの各映像フレームは、トップフィールドとボトムフィールドとから構成されている。これら各フィールドに含まれるスキャンラインの数は、映像フレームのスキャンライン数の半分である。

また、コンピュータのディスプレイモニタに表示される映像データはプログレッシブ映像データである。

このため、インターレース映像データをコンピュータのディスプレイモニタに高画質で表示するためには、インターレース映像データの各フィールドを、１映像フレーム当たりの５２５本のスキャンラインを有するプログレッシブ映像データに変換することが必要となる。この変換は、通常、プログレッシブ変換またはＩＰ変換と呼ばれている。

プログレッシブ変換処理においては、インターレース映像データの各フィールドに存在しないスキャンラインを補うための補間処理が実行される。特許文献１には、補間処理の方法として、２つの連続するフィールド同士を合成する方法、および同一フィールド内のライン補間を用いる方法が開示されている。
特開２００４−１２０６３５号公報

動きのない静止領域については２つの連続するフィールド同士を合成する方法によってプログレッシブ化を行うことができるが、動きを伴う動領域については、単純に２つの連続するフィールド同士を合成すると、コーミングノイズが発生してしまう。そのため、画素ごとに静止領域・動領域を判別するための動き検出を実行して、最適な補間処理の方法を選択することが必要である。

動き検出は、ＭＰＥＧのデコード情報などを用いて、あるいは全画素を走査することによって行うことが出来る。後者の場合、例えば、例えば画面の解像度が720x480とすると、一秒間に720x240のトップフィールド30枚と720x240のボトムフィールド30枚からなる60フィールドに対して動き検出を行うために、一秒間に動き検出を行うべき画素数は720x240x60=10368000画素となる。また、動き検出の精度を上げるために、該当画素に加え他の画素に関する動きについても考慮する場合には、動き検出のための計算量は増加する。たとえば各画素毎に2画素分の計算を行うと２倍の演算量が必要となる。

しかし、パーソナルコンピュータにおいてプログレッシブ変換をソフトウェアによって実行する場合には、できるだけ動き検出のための計算量を少なくすることが要求される。

本発明は上述の事情を考慮してなされたものであり、プログレッシブ変換のための動き検出を少ない演算量で高精度に実行することが可能な情報処理装置およびプログレッシブ変換方法を提供することを目的とする。

上述の課題を解決するため、本発明は、インターレース映像データをプログレッシブ映像データに変換して表示装置に表示する情報処理装置において、前記インターレース映像データの各変換対象フィールド毎に前記変換対象フィールドの前後の２つの同相フィールド同士を画素単位で比較することにより、前記変換対象フィールド内に存在しない各補間対象ラインの画素毎に当該画素位置に対応する前記２つの同相フィールド間の相関を示す第１の差分情報を算出する差分算出処理を実行する手段と、メモリ上に前記プログレッシブ映像データのフレーム解像度に対応する記憶エリアを用意する手段と、前記変換対象フィールドがトップフィールドである場合には補間対象の各偶数ラインに対応する前記第１の差分情報が前記記憶エリア上の各偶数ラインに対応する領域に保存され、前記変換対象フィールドがボトムフィールドである場合には補間対象の各奇数ラインに対応する前記第１の差分情報が前記記憶エリア上の各奇数ラインに対応する領域に保存されるように、前記差分算出処理によって算出された前記第１の差分情報を前記記憶エリアに保存する手段と、前記変換対象フィールドがトップフィールドである場合には前記記憶エリア上の各奇数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得し、前記変換対象フィールドがボトムフィールドである場合には前記記憶エリア上の各偶数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得する手段と、前記変換対象フィールドにそれぞれ対応する前記第１の差分情報と前記第２の差分情報とに基づいて、前記変換対象フィールド内に存在しない前記各補間対象ラインの画素毎に、当該画素位置に対応する前記２つの同相フィールド間の相関値、および当該画素の上下いずれか一方のライン上の画素と前記２つ前のフィールドの対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する判別手段と、前記静止領域に属する各画素については少なくとも前記変換対象フィールドの一つ前のフィールドを用いて補間され、前記動領域に属する各画素については前記変換対象フィールド内の他の画素を用いて補間されるように、前記判別結果に基づいて、前記各補間対象ラインの画素毎に当該画素を補間する処理を実行する手段とを具備することを特徴とする。

本発明によれば、プログレッシブ変換のための動き検出を少ない演算量で高精度に実行することが可能となる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。この情報処理装置は、例えば、ノートブック型パーソナルコンピュータ１０として実現されている。

図１はノートブック型パーソナルコンピュータ１０のディスプレイユニットを開いた状態における正面図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれており、そのＬＣＤ１７の表示画面はディスプレイユニット１２のほぼ中央に位置されている。

ディスプレイユニット１２は、コンピュータ本体１１に対して開放位置と閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１を電源オン／オフするためのパワーボタン１４、入力操作パネル１５、およびタッチパッド１６などが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ起動ボタン１５Ａ、ＤＶＤ／ＣＤ起動ボタン１５Ｂも含まれている。ＴＶ起動ボタン１５Ａは、ＴＶ放送番組データの再生及び記録を行うためのＴＶ機能を起動するためのボタンである。ＴＶ起動ボタン１５Ａがユーザによって押下された時、ＴＶ機能を実行するためのＴＶアプリケーションプログラムが自動的に起動される。

本コンピュータにおいては、汎用の主オペレーティングシステムの他に、ＡＶ（オーディオ・ビデオ）データを処理するための専用の副オペレーティングシステムがインストールされている。ＴＶアプリケーションプログラムは、副オペレーティングシステム上で動作するプログラムである。

パワーボタン１４がユーザによって押下された時、主オペレーティングシステムが起動される。一方、ＴＶ起動ボタン１５Ａがユーザによって押下された時は、主オペレーティングシステムではなく、副オペレーティングシステムが起動され、そしてＴＶアプリケーションプログラムが自動的に実行される。副オペレーティングシステムはＡＶ機能を実行するための最小限の機能のみを有している。このため、副オペレーティングシステムのブートアップに要する時間は、主オペレーティングシステムのブートアップに要する時間に比べて遙かに短い。よって、ユーザは、ＴＶ起動ボタン１５Ａを押すだけで、ＴＶ視聴／録画を即座に行うことが出来る。

ＤＶＤ／ＣＤ起動ボタン１５Ｂは、ＤＶＤまたはＣＤに記録されたビデオコンテンツを再生するためのボタンである。ＤＶＤ／ＣＤ起動ボタン１５Ｂがユーザによって押下された時、ビデオコンテンツを再生するためのビデオ再生アプリケーションプログラムが自動的に起動される。このビデオ再生アプリケーションプログラムも、副オペレーティングシステム上で動作するアプリケーションプログラムである。ＤＶＤ／ＣＤ起動ボタン１５Ｂがユーザによって押下された時は、主オペレーティングシステムではなく、副オペレーティングシステムが起動され、そしてビデオ再生アプリケーションプログラムが自動的に実行される。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１１１、ノースブリッジ１１２、主メモリ１１３、グラフィクスコントローラ１１４、サウスブリッジ１１９、ＢＩＯＳ−ＲＯＭ１２０、ハードディスクドライブ（ＨＤＤ）１２１、光ディスクドライブ（ＯＤＤ）１２２、ＴＶチューナ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４、およびネットワークコントローラ１２５等を備えている。

ＣＰＵ１１１は本コンピュータ１０の動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１２１から主メモリ１１３にロードされる、主オペレーティングシステム／副オペレーティングシステム、およびＴＶアプリケーションプログラム２０１のような各種アプリケーションプログラムを実行する。

ＴＶアプリケーションプログラム２０１は、ＴＶチューナ１２３によって受信されたＴＶ放送番組データに含まれる映像データを高画質化するための機能を有している。すなわち、このＴＶアプリケーションプログラム２０１は、映像データを高画質化するための映像処理機能として、図３に示すように、ＩＰ変換モジュール２１１、黒伸張モジュール２１２、白伸張モジュール２１３、シャープネスモジュール２１４、およびオーバードライブモジュール２１５を備えている。ＩＰ変換モジュール２１１は、映像データをインターレース映像からその２倍のデータ量を持つプログレッシブ映像に変換するためのプログレッシブ変換処理を実行する。このプログレッシブ変換処理では、動き検出が映像フレームの全画素に渡って画素単位で実行される。黒伸張モジュール２１２および白伸張モジュール２１３は、それぞれ黒と白の階調を拡張補正するための処理を実行する。シャープネスモジュール２１４は、輪郭強調などのためのシャープネス処理を実行する。オーバードライブモジュール２１５は、ＬＣＤの応答速度を改善するためのオーバードライブ処理を実行する。これらモジュール２１１〜２１４により、ＴＶ放送番組のような映像データを高画質でＬＣＤ１７に表示することが出来る。

ＴＶアプリケーションプログラム２０１によって高画質化された映像データは、表示ドライバ２０２を介してグラフィクスコントローラ１１４のビデオメモリ１１４Ａに書き込まれる。表示ドライバ２０２はグラフィクスコントローラ１１４を制御するためのソフトウェアである。

また、ＣＰＵ１１１は、ＢＩＯＳ−ＲＯＭ１２０に格納されたシステムＢＩＯＳ（Basic Input Output System）も実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１１２はＣＰＵ１１１のローカルバスとサウスブリッジ１１９との間を接続するブリッジデバイスである。ノースブリッジ１１２には、主メモリ１１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１１２は、ＡＧＰ（Accelerated Graphics Port）バスなどを介してグラフィクスコントローラ１１４との通信を実行する機能も有している。

グラフィクスコントローラ１１４は本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このグラフィクスコントローラ１１４はビデオメモリ（ＶＲＡＭ）１１４Ａに書き込まれた映像データをＬＣＤ１７に表示する。

サウスブリッジ１１９は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１１９は、ＨＤＤ１２１、ＯＤＤ１２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１１９は、ＴＶチューナ１２３を制御する機能、およびＢＩＯＳ−ＲＯＭ１２０をアクセス制御するための機能も有している。

ＨＤＤ１２１は、各種ソフトウェア及びデータを格納する記憶装置である。光ディスクドライブ（ＯＤＤ）１２３は、ビデオコンテンツが格納されたＤＶＤ、ＣＤなどの記憶メディアを駆動するためのドライブユニットである。ＴＶチューナ１２３は、ＴＶ放送番組のような放送番組データを外部から受信するための受信装置である。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１２４は、ユーザによるＴＶ起動ボタン１５Ａ、ＤＶＤ／ＣＤ起動ボタン１５Ｂの操作に応じて、本コンピュータ１０をパワーオンすることもできる。ネットワークコントローラ１２５は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。

次に、本コンピュータ１０によって実行されるプログレッシブ変換処理について説明する。

図４には、インターレース映像データの例が示されている。インターレース映像データの映像フレームは、複数の奇数ラインを含むトップフィールド（Top field）と、複数の偶数ラインを含むボトムフィールド（Bottom field）とから構成されている。インターレース映像データにおいては、トップフィールド、ボトムフィールド、トップフィールド、ボトムフィールド、…の順で映像データが入力される。

図４においては、各フィールドに含まれるスキャンライン（奇数ラインまたは偶数ライン）毎に１つの画素だけが示されている。トップフィールドにおいては、そのトップフィールド内に存在しない偶数ラインが補間対象ラインである。一方、ボトムフィールドにおいては、そのボトムフィールド内に存在しない奇数ラインが補間対象ラインである。

いま、時刻t のトップフィールドをP_t(t) で表し、そのトップフィールドP_t(t) 内で補間対象となるボトムフィールド（各偶数ライン上の各画素）をP’_b(t) で表す。同様に、時刻ｔ のボトムフィールドをP_b(t) で表し、そのボトムフィールドP_b(t) 内で補間対象となるトップフィールド（各奇数ライン上の各画素）をP’_t(t) で表す。

次に、図５および図６を参照して、各フィールド毎に実行される動き検出について説明する。

（トップフィールドP_t(t) に関する動き検出）
図５は、トップフィールドP_t(t) に対して実行される動き検出処理を示している。トップフィールドP_t(t) をプログレッシブフレームに変換する場合、トップフィールドP_t(t) 内に存在しない各偶数ラインが補間対象となる。補間対象となる各偶数ラインの画素毎に以下の動き検出が行われる。

1. ＩＰ変換モジュール２１１は、まず、補間すべきBottom field P’_b(t) の各画素P’_b(t) と同相となる、前後のBottom fieldの画素P_b(t-1)、画素P_b(t+1) との間の差分の絶対値を求める。これをdiff1=｜P_b(t-1)-P_b(t+1)｜とする。

すなわち、ＩＰ変換モジュール２１１は、プログレッシブ変換すべき現在のトップフィールドP_t(t) の前後の２つのボトムフィールド同士（P_b(t-1) 、P_b(t+1)）を画素単位で比較し、これによってトップフィールドP_t(t) 内に存在しない各補間対象ラインP’_b(t) の画素毎に当該画素位置に対応する２つのボトムフィールドP_b(t-1) 、P_b(t+1) 間の相関を示す差分情報として、上述のdiff1=｜P_b(t-1)-P_b(t+1)｜を算出する。

2. ＩＰ変換モジュール２１１は、 Bottom field P’_b(t) の各画素P’_b(t) の１ライン分だけ上に位置しているTop Field P_t(t) の画素とTop Field P_t(t) の２つ前のTop Field P_t(t-2) の画素との差分の絶対値を求める。これをdiff2=｜P_t(t-2)-P_t(t)｜とする。

diff2は、Top Field P_t(t) 内に存在する各奇数ラインの画素とTop Field P_t(t-2)内に存在する各奇数ラインの画素との間の相関を示している。

3. もし、diff1 とdiff2 がともに所定のしきい値th_y 以下ならば、ＩＰ変換モジュール２１１は、画素P’_b(t) は静止領域であると判定する。

4. もし、diff1 とdiff2 の一方でも所定のしきい値th_y を越えていれば、ＩＰ変換モジュール２１１は、画素P’_b(t) は動領域であると判定する。

このように、ＩＰ変換モジュール２１１は、diff1 とdiff2 とを用いて、Top Field P_t(t) 内に存在しない各偶数ラインの画素毎に、当該画素位置に対応する２つのボトムフィールドP_b(t-1) 、P_b(t+1) 間の相関値、および当該画素の１ライン分だけ上の画素とTop Field P_t(t-2) の対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する。

（ボトムフィールドP_b(t+1) に関する動き検出）
図６は、トップフィールドP_t(t)の次のフィールドであるボトムフィールドP_b(t+1) に対して実行される動き検出処理を示している。ボトムフィールドP_b(t+1) をプログレッシブフレームに変換する場合、補間対象となる各奇数ラインの画素毎に以下の動き検出が行われる。

1. ＩＰ変換モジュール２１１は、まず、補間すべきTop field P’_t(t+1) の各画素P’_t(t+1) と同相となる、前後のTop fieldの画素P_t(t) 、画素P_t(t+2) の差分の絶対値を求める。これをdiff1=｜P_t(t)-P_t(t+2)｜とする。

すなわち、ＩＰ変換モジュール２１１は、ボトムフィールドP_b(t+1) の前後の２つのトップフィールド同士（P_t(t) 、P_t(t+2)）を画素単位で比較し、これによってボトムフィールドP_b(t+1) 内に存在しない各補間対象ラインP’_t(t+1) の画素毎に当該画素位置に対応する２つのトップフィールドP_t(t) 、P_t(t+2) 間の相関を示す差分情報として上述のdiff1=｜P_t(t)-P_t(t+2)｜を算出する。

2. ＩＰ変換モジュール２１１は、Top field P’_t(t+1) の各画素P’_t(t+1) の１ライン下に位置しているBottom Field P_b(t+1) の画素とBottom Field P_b(t+1) の２つ前のBottom Field P_b(t-1) の画素との差分の絶対値を求める。これをdiff2=｜P_b(t-1)-P_b(t+1)｜とする。

diff2は、Bottom Field P_b(t+1) 内に存在する各偶数ラインの画素とBottom Field P_b(t-1) 内に存在する各偶数ラインの画素との間の相関を示している。

3. もし、diff1 とdiff2 がともに所定のしきい値th_y 以下ならば、ＩＰ変換モジュール２１１は、画素P’_t(t+1) は静止領域であると判定する。

4. もし、diff1 とdiff2 の一方でも所定のしきい値th_y を越えていれば、ＩＰ変換モジュール２１１は、画素P’_t(t+1) は動領域であると判定する。

このように、ＩＰ変換モジュール２１１は、diff1 とdiff2 とを用いて、Bottom Field P_b(t+1) 内に存在しない各奇数ラインの画素毎に、当該画素位置に対応する２つのトップフィールドP_t(t) 、P_t(t+2) 間の相関値、および当該画素の１ライン分だけ下の画素とBottom Field P_b(t-1)の対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する。

ここで、図６のdiff2 は、トップフィールドP_t(t) の動き検出（図５）で算出したdiff1 と等しい。このため、ボトムフィールドP_b(t+1) の動き検出では、このボトムフィールドP_b(t+1) の１つ前のトップフィールドP_t(t)の動き検出で算出されたdiff1=｜P_b(t-1)-P_b(t+1)｜が、そのままボトムフィールドP_b(t+1) に関するdiff2=｜P_b(t-1)-P_b(t+1)｜として用いられる。

同様に、ボトムフィールドP_b(t+1) の次のトップフィールドP_t(t) の動き検出では、ボトムフィールドP_b(t+1) の動き検出（図６）で算出したdiff1=｜P_t(t)-P_t(t+2)｜が、トップフィールドP_t(t)に関するdiff2=｜P_t(t)-P_t(t+2)｜として用いられる。

すなわち、各フィールドの動き検出では当該フィールドに関するdiff1 の算出処理のみが実行される。各フィールド内の各補間対象画素が動領域および静止領域のどちらであるかの判定では、当該フィールドの一つ前のフィールドに関する動き検出で算出されたdiff1 が当該フィールドに関するdiff2 として使用される。したがって、計算量の増加を招くことなく、ある画素の動きを当該画素の１ライン上または１ライン下の画素に関する動きをも考慮して検出することが可能となる。

次に、図７を参照して、各フィールドの動き検出で算出されるdiff1がメモリにどのように保存されるかについて説明する。

ＩＰ変換モジュール２１１は、あるフィールドの動き検出で算出したdiff1 を次のフィールドのdiff2 として使用するために、フィールド毎にdiff1 を以下のようにメモリＭに保存する。メモリＭはメモリ１１３上に用意されたバッファ領域であり、プログレッシブ映像データのフレーム解像度720*480に対応する記憶エリアを有している。

1. ＩＰ変換モジュール２１１は、トップフィールドP_t(t) の動き検出時にはこのトップフィールドP_t(t) 内に存在しない補間対象の各偶数ラインの画素毎にdiff1=｜P_b(t-1)-P_b(t+1)｜を算出する。このdiff1 は、メモリＭの各偶数ラインに保存される。

2. ＩＰ変換モジュール２１１は、ボトムフィールドP_b(t+1) の動き検出時にはこのボトムフィールドP_b(t+1) 内に存在しない補間対象の各奇数ラインの画素毎にdiff1=｜P_t(t)-P_t(t+2)｜を算出する。このdiff1 は、メモリＭの各奇数ラインに保存される。メモリＭの各偶数ラインに既に保存されているdiff1=｜P_b(t-1)-P_b(t+1)｜は、ボトムフィールドP_b(t+1) に対応するdiff2=｜P_b(t-1)-P_b(t+1)｜に一致する。ＩＰ変換モジュール２１１は、メモリＭの各奇数ラインに保存されているdiff1 と、メモリＭの各偶数ラインに保存されているdiff2 とを用いて、ボトムフィールドP_b(t+1) 内に存在しない補間対象の各奇数ラインの画素毎に動領域／静止領域の判別を行う。

3. ＩＰ変換モジュール２１１は、トップフィールドP_t(t+2) の動き検出時にはこのトップフィールドP_t(t+2) 内に存在しない補間対象の各偶数ラインの画素毎にdiff1=｜P_b(t+1)-P_b(t+3)｜を算出する。このdiff1 は、メモリＭの各偶数ラインに保存される。メモリＭの各奇数ラインに既に保存されているdiff1=｜P_t(t)-P_t(t+2)｜は、トップフィールドP_t(t+2) に対応するdiff2=｜P_t(t)-P_t(t+2)｜に一致する。ＩＰ変換モジュール２１１は、メモリＭの各奇数ラインに保存されているdiff2 と、メモリＭの各偶数ラインに保存されているdiff1 とを用いて、トップフィールドP_t(t+2) 内に存在しない補間対象の各奇数ラインの画素毎に動領域／静止領域の判別を行う。

次に、図８のフローチャートを参照して、ＩＰ変換モジュール２１１によって実行されるプログレッシブ変換処理の手順を説明する。

ＩＰ変換モジュール２１１は、変換対象のフィールドがトップフィールドである場合、その変換対象トップフィールド内に存在しない補間対象の各偶数ラインの画素毎に、変換対象トップフィールドの前後の２つのボトムフィールド同士を比較して、補間対象の各偶数ラインの画素毎に当該画素位置に対応する２つのボトムフィールド間の相関を示す差分情報diff1 を算出する（ステップＳ１０１）。次いで、ＩＰ変換モジュール２１１は、差分情報diff1 をメモリＭの各偶数ラインに保存する（ステップＳ１０２）。この後、ＩＰ変換モジュール２１１は、変換対象トップフィールドの一つ前のボトムフィールドに対応するプログレッシブ変換処理で算出された差分情報diff1 を、変換対象トップフィールド内に存在する各奇数ラインの画素と変換対象トップフィールドの２つ前のトップフィールドの対応する画素との間の相関を示す差分情報diff2 としてメモリＭの各奇数ラインから取得する。そして、ＩＰ変換モジュール２１１は、変換対象トップフィールド内に存在しない補間対象の各偶数ラインの画素毎に、diff1 とdiff2 がともにしきい値以下であるかどうかを判別する（ステップＳ１０３）。

補間対象画素に対応するdiff1 とdiff2 がともにしきい値以下であれば（ステップＳ１０３のＹＥＳ）、当該補間対象画素は静止領域に属する画素であると判定される。この場合、ＩＰ変換モジュール２１１は、補間対象画素の値を静止領域用の補間処理（フィールド合成）によって算出する（ステップＳ３０１）。このステップＳ３０１では、図９に示すように、変換対象トップフィールドの一つ前のフィールドの画素が補間対象画素として使用される。なお、変換対象トップフィールドの前後の２つのフィールドの画素の平均値等を、補間対象画素の値として用いてもよい。

補間対象画素に対応するdiff1 とdiff2 の少なくとも一方がしきい値よりも大きい場合には（ステップＳ１０３のＮＯ）、当該補間対象画素は動領域に属する画素であると判定される。この場合、ＩＰ変換モジュール２１１は、補間対象画素の値を動領域用の補間処理（同一フィールド内のライン補間）によって算出する（ステップＳ３０２）。このステップＳ３０２では、図９に示すように、変換対象トップフィールド内の補間対象画素の値は、その変換対象トップフィールド内の上下２つの画素の平均を求めることによって算出される。もちろん、上下いずれか一方の画素の値を補間対象画素の値として使用してもよい。

変換対象のフィールドがボトムフィールドである場合、ＩＰ変換モジュール２１１は、その変換対象ボトムフィールド内に存在しない補間対象の各奇数ラインの画素毎に、変換対象ボトムフィールドの前後の２つのトップフィールド同士を比較して、補間対象の各奇数ラインの画素毎に当該画素位置に対応する２つのトップフィールド間の相関を示す差分情報diff1 を算出する（ステップＳ２０１）。次いで、ＩＰ変換モジュール２１１は、差分情報diff1 をメモリＭの各奇数ラインに保存する（ステップＳ２０２）。この後、ＩＰ変換モジュール２１１は、変換対象ボトムフィールドの一つ前のトップフィールドに対応するプログレッシブ変換処理で算出された差分情報diff1 を、変換対象ボトムフィールド内に存在する各偶数ラインの画素と変換対象ボトムフィールドの２つ前のボトムフィールドの対応する画素との間の相関を示す差分情報diff2 としてメモリＭの各偶数ラインから取得する。そして、ＩＰ変換モジュール２１１は、変換対象ボトムフィールド内に存在しない補間対象の各奇数ラインの画素毎に、diff1 とdiff2 がともにしきい値以下であるかどうかを判別する（ステップＳ２０３）。

補間対象画素に対応するdiff1 とdiff2 がともにしきい値以下であれば（ステップＳ２０３のＹＥＳ）、当該補間対象画素は静止領域に属する画素であると判定される。この場合、ＩＰ変換モジュール２１１は、補間対象画素の値を静止領域用の補間処理によって算出する（ステップＳ３０１）。一方、補間対象画素に対応するdiff1 とdiff2 の少なくとも一方がしきい値よりも大きい場合には（ステップＳ１０３のＮＯ）、当該補間対象画素は動領域に属する画素であると判定される。この場合、ＩＰ変換モジュール２１１は、補間対象画素の値を動領域用の補間処理によって算出する（ステップＳ３０２）。

以上のように、本実施形態においては、一つ前のフィールドの動き検出で算出した差分情報を次のフィールドの動き検出で流用することにより、少ない演算量で精度の高い動き検出を実現することができる。

また、上述のプログレッシブ変換処理の手順はコンピュータプログラムによって実現されているので、当該コンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することが出来る。

また、上述のプログレッシブ変換処理の手順はＤＶＤドライブから読み出されるビデオデータに対して適用することもできる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係るコンピュータの概観を示す斜視図。 図１のコンピュータのシステム構成を示すブロック図。 図１のコンピュータで用いられるＴＶアプリケーションプログラムの機能構成を示すブロック図。 図１のコンピュータにおいてプログレッシブ変換されるインターレース映像データの例を示す図。 図１のコンピュータによって実行される、トップフィールドに関する動き検出処理を説明するための図。 図１のコンピュータによって実行される、ボトムフィールドに関する動き検出処理を説明するための図。 図１のコンピュータにおけるメモリの使用例を説明するための図。 図１のコンピュータによって実行されるプログレッシブ変換処理の手順を示すフローチャート。 図１のコンピュータによって実行される補間処理の例を示す図。

符号の説明

１０…コンピュータ、１１１…ＣＰＵ、１２１…ＨＤＤ、１２３…ＴＶチューナ、２０１…ＴＶアプリケーションプログラム、２１１…ＩＰ変換モジュール。

Claims (4)

1. インターレース映像データをプログレッシブ映像データに変換して表示装置に表示する情報処理装置において、
   前記インターレース映像データの各変換対象フィールド毎に前記変換対象フィールドの前後の２つの同相フィールド同士を画素単位で比較することにより、前記変換対象フィールド内に存在しない各補間対象ラインの画素毎に当該画素位置に対応する前記２つの同相フィールド間の相関を示す第１の差分情報を算出する差分算出処理を実行する手段と、
   メモリ上に前記プログレッシブ映像データのフレーム解像度に対応する記憶エリアを用意する手段と、
   前記変換対象フィールドがトップフィールドである場合には補間対象の各偶数ラインに対応する前記第１の差分情報が前記記憶エリア上の各偶数ラインに対応する領域に保存され、前記変換対象フィールドがボトムフィールドである場合には補間対象の各奇数ラインに対応する前記第１の差分情報が前記記憶エリア上の各奇数ラインに対応する領域に保存されるように、前記差分算出処理によって算出された前記第１の差分情報を前記記憶エリアに保存する手段と、
   前記変換対象フィールドがトップフィールドである場合には前記記憶エリア上の各奇数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得し、前記変換対象フィールドがボトムフィールドである場合には前記記憶エリア上の各偶数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得する手段と、
   前記変換対象フィールドにそれぞれ対応する前記第１の差分情報と前記第２の差分情報とに基づいて、前記変換対象フィールド内に存在しない前記各補間対象ラインの画素毎に、当該画素位置に対応する前記２つの同相フィールド間の相関値、および当該画素の上下いずれか一方のライン上の画素と前記２つ前のフィールドの対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する判別手段と、
   前記静止領域に属する各画素については少なくとも前記変換対象フィールドの一つ前のフィールドを用いて補間され、前記動領域に属する各画素については前記変換対象フィールド内の他の画素を用いて補間されるように、前記判別結果に基づいて、前記各補間対象ラインの画素毎に当該画素を補間する処理を実行する手段とを具備することを特徴とする情報処理装置。
2. 放送データを受信する受信部をさらに具備し、
   前記インターレース映像データは前記受信部によって受信された放送データであることを特徴とする請求項１記載の情報処理装置。
3. インターレース映像データをプログレッシブ映像データに変換するプログレッシブ変換方法において、
   前記インターレース映像データの各変換対象フィールド毎に前記変換対象フィールドの前後の２つの同相フィールド同士を画素単位で比較することにより、前記変換対象フィールド内に存在しない各補間対象ラインの画素毎に当該画素位置に対応する前記２つの同相フィールド間の相関を示す第１の差分情報を算出する差分算出処理を実行するステップと、
   メモリ上に前記プログレッシブ映像データのフレーム解像度に対応する記憶エリアを用意するステップと、
   前記変換対象フィールドがトップフィールドである場合には補間対象の各偶数ラインに対応する前記第１の差分情報が、前記記憶エリア上の各偶数ラインに対応する領域に保存され、前記変換対象フィールドがボトムフィールドである場合には補間対象の各奇数ラインに対応する前記第１の差分情報が前記記憶エリア上の各奇数ラインに対応する領域に保存されるように、前記差分算出処理によって算出された前記第１の差分情報を前記記憶エリアに保存するステップと、
   前記変換対象フィールドがトップフィールドである場合には前記記憶エリア上の各奇数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得し、前記変換対象フィールドがボトムフィールドである場合には前記記憶エリア上の各偶数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得するステップと、
   前記変換対象フィールドにそれぞれ対応する前記第１の差分情報と前記第２の差分情報とに基づいて、前記変換対象フィールド内に存在しない前記各補間対象ラインの画素毎に、当該画素位置に対応する前記２つの同相フィールド間の相関値、および当該画素の上下いずれか一方のライン上の画素と前記２つ前のフィールドの対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する判別ステップと、
   前記静止領域に属する各画素については少なくとも前記変換対象フィールドの一つ前のフィールドを用いて補間され、前記動領域に属する各画素については前記変換対象フィールド内の他の画素を用いて補間されるように、前記判別結果に基づいて、前記各補間対象ラインの画素毎に当該画素を補間する処理を実行するステップとを具備することを特徴とするプログレッシブ変換方法。
4. インターレース映像データをプログレッシブ映像データに変換するプログレッシブ変換処理をコンピュータに実行させるプログラムであって、
   前記インターレース映像データの各変換対象フィールド毎に前記変換対象フィールドの前後の２つの同相フィールド同士を画素単位で比較することにより、前記変換対象フィールド内に存在しない各補間対象ラインの画素毎に当該画素位置に対応する前記２つの同相フィールド間の相関を示す第１の差分情報を算出する差分算出処理を実行する手順と、
   前記変換対象フィールドがトップフィールドである場合には補間対象の各偶数ラインに対応する前記第１の差分情報が、メモリ上に用意される前記プログレッシブ映像データのフレーム解像度に対応する記憶エリア上の各偶数ラインに対応する領域に保存され、前記変換対象フィールドがボトムフィールドである場合には補間対象の各奇数ラインに対応する前記第１の差分情報が前記記憶エリア上の各奇数ラインに対応する領域に保存されるように、前記差分算出処理によって算出された前記第１の差分情報を前記記憶エリアに保存する手順と、
   前記変換対象フィールドがトップフィールドである場合には前記記憶エリア上の各奇数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得し、前記変換対象フィールドがボトムフィールドである場合には前記記憶エリア上の各偶数ラインに対応する領域に格納されている、前記変換対象フィールドの一つ前のフィールドに対して実行された前記差分算出処理によって算出された第１の差分情報を、前記変換対象フィールド内に存在する各ラインの画素と前記変換対象フィールドの２つ前のフィールドの対応する画素との間の相関を示す第２の差分情報として、前記記憶エリアから取得する手順と、
   前記変換対象フィールドにそれぞれ対応する前記第１の差分情報と前記第２の差分情報とに基づいて、前記変換対象フィールド内に存在しない前記各補間対象ラインの画素毎に、当該画素位置に対応する前記２つの同相フィールド間の相関値、および当該画素の上下いずれか一方のライン上の画素と前記２つ前のフィールドの対応する画素との間の相関値をそれぞれ検出することにより、当該画素が静止領域および動領域のいずれに属するかを判別する手順と、
   前記静止領域に属する各画素については少なくとも前記変換対象フィールドの一つ前のフィールドを用いて補間され、前記動領域に属する各画素については前記変換対象フィールド内の他の画素を用いて補間されるように、前記判別結果に基づいて、前記各補間対象ラインの画素毎に当該画素を補間する手順とを前記コンピュータに実行させるプログラム。

Images