JP5302753B2 - 映像走査変換装置 - Google Patents

Description

本発明は、２４フレーム／秒のプログレッシブ映像が３−２プルダウン変換されて得られた６０フィールド／秒のインタレース映像から、プログレッシブ映像へ走査変換を行う技術に関する。

映像信号を伝送し、再生するために、種々のデータ形式のビデオ信号が採用されている。たとえば、６０フィールド／秒（５９．９４フィールド／秒を含む）のインタレース映像や、６０フレーム／秒（５９．９４フレーム／秒を含む）のプログレッシブ映像である。映像信号の伝送・記録データ量を削減するために、ＭＰＥＧなどの動画像データ圧縮も広く行われている。

また、近年のディスプレイの高精細化に伴い、走査変換が行われることもある。たとえば、映像信号の再生時に、元のインタレース映像をプログレッシブ映像に変換する方法が知られている。

以下、動画像データの素材として２４フレーム／秒（２３．９７６フレーム／秒を含む）の映画フィルムの走査形式を変換する処理を例に挙げて説明する。放送局は、テレシネ装置を用いて、２４フレーム／秒のプログレッシブ映像から、３−２プルダウン変換により６０フィールド／秒のインタレース映像への走査変換を行う。得られた６０フィールド／秒のインタレース映像は、動画像エンコーダに入力される。

この走査変換で用いられる「３−２プルダウン変換」とは、フィルムソースの連続した２コマのうち最初のコマをビデオ信号の２フィールドとして読み出し、次のコマを３フィールドとして読み出す操作を繰り返す方式であり一般的に広く使われている。３フィールドとして読み出されたデータのうち２フィールドは同じデータである。走査変換が行われた６０フィールド／秒のインタレース映像には同一のフィールドが重複して含まれていることになる。

動画像エンコーダでエンコードされた映像ストリームは放送され、受信機器によって受信される。受信機器はその映像ストリームをデコードする。

受信機器は、６０フィールド／秒のインタレース映像に対して、６０フレーム／秒のプログレッシブ映像に走査変換を行う。たとえば特許文献１および２は、そのための走査変換方法を提案している。具体的には、受信機器は、３−２プルダウンされた映像の規則性を検出して、３−２プルダウン処理によって形成された画像信号区間を特定する。この規則性とは、３−２プルダウンされた映像の５フィールドに１回は２フィールド前のフィールドが繰り返される、という規則性である。特定された画像信号区間に対し、走査変換装置は、３−２プルダウン変換される前の同一フレームを構成する奇数フィールドおよび偶数フィールドの映像同士を組み合わせる。これにより、６０フィールド／秒のインタレース映像から６０フレーム／秒のプログレッシブ映像への変換が実現される。

図１５はインタレース映像が３−２プルダウン変換された映像であることを検出する処理を示す。入力信号と、入力信号を２フィールド遅延させたフィールドとのフィールド差分を演算する。画像が一致した場合は０、そうでない場合は１とすると、５フィールドごとに同じフィールド同士の差分が計算されて０になる。これにより、重複されるフィールドを検出でき、３−２プルダウン変換された映像信号であることを検出できる。

図１６は、３−２プルダウン変換された映像からプログレッシブ映像への走査変換を行うための処理を示す図である。図１６の（Ａ１）は元の２４フレーム／秒のフィルム映像であり、（Ａ２）は３−２プルダウン変換された映像である。３−２プルダウン変換された映像（Ａ２）は放送局においてエンコードされ、放送波で搬送された後、受信機器によってデコード処理される。その結果得られる信号が（Ｂ）である。（Ｂ）は、６０フィールド／秒のインタレース映像（Ｂ）を示す。そして（Ｃ）は走査変換が行われた６０フレーム／秒のプログレッシブ映像である。

従来手法では、図１６の（Ｂ）と（Ｃ）に示すように、毎秒６０フィールドのインタレース動画像（Ｂ）を構成するフィールドのうち奇数フィールドｂ１と偶数フィールドｂ２を組み合わせて１フレームを構成し、毎秒６０フィールドのインタレース動画像（Ｃ）のフレームｃ１、ｃ２を生成する。また毎秒６０フィールドのインタレース動画像（Ｂ）を構成するフィールドのうち奇数フィールドｂ３と偶数フィールドｂ４からそれぞれのフレームを構成し、毎秒６０フィールドのインタレース動画像（Ｃ）のフレームｃ３、ｃ４を、同様に奇数フィールドｂ５と偶数フィールドｂ４からｃ５を生成する。以降、これらの処理を繰り返すことによって、毎秒６０フレームのプログレッシブ動画像（Ｃ）が得られる。プログレッシブ動画像（Ｃ）は、毎秒２４フレームの動画像（Ａ１）の各フレームから生成された同一の画像が２フレームと３フレームずつ交互に繰り返されたものとなる。

特開２００２−３３０３１１号公報 特開平３−２５０８８１号公報

いま、図１６のインタレース映像（Ａ２）がフレーム構造（２枚のフィールド映像を１組とした組み合わせ）でエンコードされたとする。これが、受信機器のデコード処理の対象とされた結果、図１６のインタレース映像（Ｂ）が得られる。

デコード処理によって出力された映像（Ｂ）のフィールドｂ５、ｂ６、ｂ７、ｂ８に着目する。組み合わせてエンコードされ、かつデコードされたフィールドｂ５およびｂ６はそれぞれ、当初のフィルム映像中の異なるフレームＦ２およびＦ３から得られている。また、フィールドｂ７およびｂ８も同様に、異なるフレームＦ３およびＦ４から得られている。

このような映像は、奇数フィールドと偶数フィールドに相関性がないために、エンコード時の符号化効率が低下する。その結果、それらをデコードしたフィールド映像の画質は、３−２プルダウン変換される前の映像が同一フレームでエンコードされているフィールド映像に比べ劣化が発生している。

従来の技術においては、３-２プルダウン変換された６０フィールド／秒の映像に対して走査変換を行う際に、上記のような画質劣化が発生しているフィールドを考慮することはない。

３−２プルダウン変換処理はフィルム映像の４フレームを１処理単位として行われ、１処理単位当たり、１０フレーム分の６０Ｈｚプログレッシブ映像が得られる（図１６のｃ１〜ｃ１０）。映像劣化は、１０フレーム中５フレーム（図１６のｃ５〜ｃ９）に映像の劣化が発生することになり、改善の余地が大きい。

本発明は上記課題に鑑みてなされたものであり、その目的は、フレーム構造でエンコードされる奇数フィールドおよび偶数フィールドが、互いに、３−２プルダウン変換される前の異なる映像フレームに由来する場合において、デコードされた映像の画質を向上させることにある。

本発明による映像走査変換装置は、エンコードされた映像ストリームをデコードし、走査方式を変換して出力する。前記映像ストリームは、フィルム映像の第１フレームに基づくフィールドＮ１及びフィールドＮ２の組をエンコードした第１符号化単位と、前記第１フレームに基づくフィールドＮ３及び前記第１フレームとは異なる第２フレームに基づくフィールドＭ１の組をエンコードした第２符号化単位とを含んでいる。前記映像走査変換装置は、前記映像ストリームを受け取って前記第１符号化単位および前記第２符号化単位をデコードし、前記フィールドＮ１、Ｎ２、Ｎ３及びＭ１の各データを順次出力するデコード回路と、前記デコード回路から出力されたフィールドデータに対応して、前記デコード回路から出力された２つのフィールドデータからフレームを生成し、当該フレームを出力する走査変換回路とを備えている。前記走査変換回路は、前記フィールドＮ３のデータに対応するフレームを出力する場合、前記フィールドＮ３のデータを用いずに、前記フィールドＮ１及びＮ２を用いてフレームを生成する。

前記走査変換回路は、前記フィールドＮ１又はＮ２のデータに対応するフレームを出力する場合、前記フィールドＮ１およびＮ２のデータを用いてフレームを生成してもよい。

前記フィールドＮ１及びＮ３は、トップフィールドであり、前記フィールドＮ２及びＭ１は、ボトムフィールドであってもよい。

前記映像走査変換装置は、前記デコード回路から出力されたフィールドのデータを、２フィールド分格納可能なメモリをさらに備え、前記デコード回路に、前記第１符号化単位が入力され、前記第１符号化単位の後に第２符号化単位が入力された場合において、前記デコード回路は、前記フィールドＮ３のデータを出力する際、前記メモリには、前記フィールドＮ１及びＮ２が保持されており、前記フィールドＮ３のデータを前記メモリに格納しなくてもよい。

前記映像走査変換装置は、前記デコード回路からの複数のフィールドの出力に基づいて、前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを検出する検出回路をさらに備え、前記映像ストリームが、前記第１フレームおよび第２を含むプログレッシブ映像を３−２プルダウン変換した映像であることを前記検出回路が検出したとき、前記走査変換回路は前記フレームを生成してもよい。

前記フィールドＮ１の画質は、前記フィールドＮ３の画質よりも良い。

前記メモリは、前記フィールドＮ１のデータを少なくとも２フィールド期間より長い期間保持してもよい。

前記映像走査変換装置は、前記デコード回路から出力されたフィールドのデータを、少なくとも２フィールド分格納可能な第１メモリと、前記走査変換回路が生成した前記フレームのデータを格納可能な第２メモリとをさらに備え、前記走査変換回路は、前記フィールドＮ２のデータに対応するフレームを出力する場合、前記第１メモリは、前記フィールドＮ１およびＮ２のデータを保持しており、前記走査変換回路は、前記メモリに保持された前記フィールドＮ１のデータ、および、前記デコード回路から出力された前記フィールドＮ２のデータに基づいてフレームを生成し、当該生成した前記フレームのデータを前記第２メモリに格納し、前記フィールドＮ３のデータに対応するフレームを出力する場合、フィールドのデータを用いてフレームを生成せずに、前記第２メモリに格納されたフレームのデータを出力してもよい。

前記映像ストリームは、２４フレーム／秒のフィルム映像から３−２プルダウン変換された６０フィールド／秒のインタレース映像であり、前記走査変換回路は、６０フレーム／秒のプログレッシブ映像のフレームを出力してもよい。

前記映像ストリームには、前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを示す識別子が含まれており、前記映像走査変換装置は、前記識別子に基づいて、前記映像ストリームが、前記第１フレームおよび第２を含むプログレッシブ映像を３−２プルダウン変換した映像であることを検出する検出回路をさらに備え、前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを前記検出回路が検出したとき、前記走査変換回路は前記フレームを生成してもよい。

本発明の映像走査変換装置では、奇数フィールドと偶数フィールドで３−２プルダウン変換される前の映像フレームが異なった状態でエンコードされているフィールド映像をできるだけ使用しないことにより、エンコードによって発生する画質劣化の影響を低減する走査変換を実現することが可能となる。

映像走査変換装置の利用環境を示す図である。 デジタル放送に関連する、放送局３００の処理および受信機器１００ａでの処理の概要を示す図である。 実施形態１の映像走査変換装置１０１の構成を説明するためのブロック図である。 実施形態１の映像走査変換装置１０１の処理に対応する映像の生成過程を示す図である。 映像走査変換装置１０１の処理の手順を示すフローチャートである。 本実施形態２の映像走査変換装置１０２を説明するためのブロック図である。 実施形態２の映像走査変換装置１０２の処理に対応する映像の生成過程を示す図である。 実施形態３の映像走査変換装置１０３を説明するためのブロック図である。 実施形態３の映像走査変換装置１０３の処理に対応する映像の生成過程を示す図である。 実施形態３の変形例にかかる映像走査変換装置１０３’を説明するためのブロック図である。 映像走査変換装置１０３’の処理に対応する映像の生成過程を示す図である。 実施形態４の映像走査変換装置１０４を説明するためのブロック図である。 実施形態４の映像走査変換装置１０４の処理に対応する映像の生成過程を示す図である。 実施形態４の映像走査変換装置１０４の処理により、２４フレーム／秒の出力例を示す図である。 インタレース映像が３−２プルダウン変換された映像であることを検出する処理を示す図である。 ３−２プルダウン変換された映像からプログレッシブ映像への走査変換を行うための処理を示す図である。

以下、添付の図面を参照して、本発明による映像走査変換装置の実施形態を説明する。

各実施形態の説明に先立って、映像走査変換装置の利用環境を説明する。

図１は、本発明による映像走査変換装置の利用環境を示す。たとえばＴＶ１００ａは、半導体チップとして実現される映像走査変換装置１０１ａを内蔵している。

放送局３００が、アンテナ２００ａを利用してデジタル放送番組の放送波を送信する。デジタル放送番組は、たとえば２４フレーム／秒（２３．９７６フレーム／秒を含む）の映画フィルムに対して３−２プルダウン変換を行った、６０フィールド／秒のインタレース映像である。放送局３００は、インタレース映像の２枚のフィールドをフレーム構造でエンコードして、ＭＰＥＧ等の映像ストリームの形式で放送波を送信する。

ＴＶ１００ａは、アンテナ２００ｂを介して放送波を受信する。映像走査変換装置１０１ａは、後述のいずれかの実施形態による処理を実行することにより、フレーム構造でエンコードされたインタレース映像をデコードし、ＴＶ１００ａで再生する。

デジタル放送をデコードして映像を再生する機能を有する機器であれば、後述の実施形態による映像走査変換装置を組み込むことが可能である。たとえば、デジタル放送番組を受信し、デコードして再生するレコーダ１００ｂもまた、半導体チップとして実現される映像走査変換装置１０１ｂを内蔵することができる。また、図示されないＰＣ、携帯電話、携帯型メディアプレーヤー、ＰＤＡ、カーナビゲーションシステムであってもよい。

また、デジタル放送に限らず、ＤＶＤやブルーレイディスクなどの光ディスクに記録されている映像信号を再生することが可能な光ディスクプレーヤや、インターネット上の映像信号を再生するネットワークプレーヤであっても後述の実施形態による映像走査変換装置を組み込むことが可能である。この場合には、映像信号は放送波を介してではなく、光ディスクメディアやインターネットを介して取得する。

ここで、図２を参照しながら、図１に示す構成例における、デジタル放送送信のための処理および受信後のデコード処理を概説する。

図２は、デジタル放送に関連する、放送局３００の処理および受信機器１００ａでの処理の概要を示す。

２４フレーム／秒（２４Ｈｚ）のフィルム映像（Ａ１）を放送するに当たって、放送局３００は、まず３−２プルダウン変換処理を行い、６０フィールド／秒のインタレース映像（Ａ２）を得る。そして、そのインタレース映像（Ａ２）に対して、エンコード処理Ｐを行う。エンコード処理Ｐは、２フィールドの組を１符号化単位として実行される。たとえば、フレームＦ１に基づくインタレース映像（Ａ２）のフィールドＴ１（Ｔはトップフィールドを示す。）およびＢ１（Ｂはボトムフィールドを示す。）の組、フレームＦ２に基づくフィールドＴ２およびＢ２の組、フレームＦ２に基づくフィールドＴ２’およびフレームＦ３に基づくＢ３の組が、それぞれ１つの符号化単位としてエンコード処理が実行される。以下、同様に、２フィールドの組を１符号化単位としてエンコードが行われる。このようなエンコード方法は、フレーム構造によるエンコードとも呼ばれる。

放送局３００は、エンコード処理Ｐの結果得られたデータに対して所定の変調処理等を加え、ＭＰＥＧ等の映像ストリームでデジタル放送を行う。

受信機器であるＴＶ１００ａは、デジタル放送を受信して、デコード処理Ｑを行う。これにより、インタレース映像（Ｂ）が得られる。

以下に説明する各実施形態にかかる映像走査変換装置は、得られたインタレース映像（Ｂ）に基づいて、どのように映像を出力するかの処理が異なっている。放送局３００から送信された放送波がこれまでと同じであっても、各実施形態にかかる映像走査変換装置の処理により、画質の劣化が従来よりも低減される。

以下の説明において参照される図面では、エンコード処理Ｐおよびデコード処理Ｑを簡略化して表していることに留意されたい。

（実施形態１）
図３は、本実施形態の映像走査変換装置１０１の構成を説明するためのブロック図である。映像走査変換装置１０１は、たとえば１つの半導体チップとして実現される。

入力端子１０には、ＭＰＥＧ等の映像ストリームが入力される。デコード回路１は、入力された映像ストリームをデコードする。メモリ２は、デコード回路１により得られた過去２フィールド分の映像データを保持する。メモリ２は、奇数フィールド、偶数フィールドそれぞれ１フィールド分の映像データを保持することができる。３−２プルダウン映像検出回路３（以下「検出回路３」と記述する。）は、デコード回路１により得られた映像データ、および、メモリ２からの２フィールド遅延させた映像データの差分（フィールド差分）によって、処理対象の映像が、３−２プルダウン変換された６０フィールド／秒のインタレース映像であることを検出する。

走査変換回路４は、デコード回路１が出力する１フィールド、および、メモリ２が保持する過去２フィールドの合計３フィールドの映像データを組み合わせルことにより、３−２プルダウン変換される前の同一フレームのフィールド映像をプログレッシブフレーム映像へ変換する。この変換処理は、検出回路３によって得られる情報に基づいて行われる。

出力端子１１は、走査変換が行われたプログレッシブ映像を出力する。システムコントローラ５は、映像走査変換装置全体を制御するためのシステムコントローラである。システムコントローラ５は、たとえばＣＰＵである。

以上のように構成された映像走査変換装置１０１の処理を、図４を用いて説明する。図中の（Ａ１）は元の２４フレーム／秒のフィルム映像であり、（Ａ２）は３−２プルダウン変換された６０フィールド／秒のインタレース映像である。フィールドＴ２およびＴ２’、Ｂ４およびＢ４’は、それぞれ同じフィールド映像である。

（Ｂ）は３−２プルダウン変換されエンコードされた映像データを図３のデコード回路１によってデコードした６０フィールド／秒のインタレース映像データである。（Ｃ）と（Ｄ）は図３のメモリ２が保持している映像データである。（Ｅ）は図３の映像走査変換装置１０１により走査変換が行われた６０フレーム／秒のプログレッシブ映像データである。図中の破線のフィールドは、３−２プルダウン変換される前の映像が別のフレームを組み合わせてエンコードされていたことを示す。

図３の検出回路３は、デコード回路１から出力される映像データと、メモリ２からの２フィールド遅延映像データとのフィールド差分を計算する。検出回路３は、差分が５フィールドごとに０になることを検出すると（図１５）、デコード回路２から出力される映像データが３−２プルダウン変換された６０フィールド／秒のインタレース映像データであると判定する。これにより、検出回路３は、３−２プルダウン変換された６０フィールド／秒のインタレース映像の存在を検出する。すると走査変換回路４は、デコード回路１から出力される映像データ（Ｂ）とメモリ２が保持する過去２フィールドの映像データの（Ｃ）と（Ｄ）の合計３フィールドの映像データの中から、３−２プルダウン変換される前の同一フレームのフィールド映像を組み合わせることによりフレーム映像を生成する。その結果、図４の（Ｅ）に示す組み合わせでプログレッシブ映像が出力される。

走査変換回路４の処理をより具体的に説明する。

図４の（Ａ１）および（Ａ２）に示されるように、フィールドＴ２、Ｂ２およびＴ２’は、いずれも同じフレームＦ２に基づいて生成される映像である。ただし、デコードされたフィールドＴ２’の画質は、デコードされたフィールドＴ２の画質よりも劣化している。上述したとおり、エンコード前の異なるフレームに由来するフィールドＢ３と組み合わされたフィールドＴ２’の符号化効率は、フィールドＴ２の符号化効率よりも悪いためである。

同様に、エンコード前のフレームＦ４に由来するフィールドＢ４、Ｔ４およびＢ４’について検討する。デコードされたフィールドＢ４の画質は、デコードされたフィールドＢ４’の画質よりも劣化している。フィールドＢ４は、異なるフレームＦ３由来のフィールドＴ３と組み合わされてエンコードされるためである。

走査変換回路４は、エンコード前の同じフレームに由来する３枚のフィールドが存在するときは、そのうちの２枚の偶数フィールドまたは２枚の奇数フィールドのうち、画質がよりよい方のフィールドを選択し、他の１枚のフィールドと組み合わせてプログレッシブ映像を生成する（条件１）。また、同じフレームに由来する２枚のフィールド（偶数フィールドおよび奇数フィールド）が存在する場合には、それら２フィールドを組み合わせて、プログレッシブ映像を生成する（条件２）。走査変換回路４は、条件１の判断を先に行い、その後、条件２の判断を行う。

以下、図４を参照しながら具体的に説明する。走査変換回路４は、それぞれ（Ａ１）のフレームＦ１およびＦ２から生成されたフィールドを利用して、（Ｅ）に示される、プログレッシブ映像のフレームｅ１〜ｅ３を生成する。これらはいずれも条件２に合致する。

次に、走査変換回路４はフレームｅ４を生成する。走査変換回路４は、図４の（Ｂ）〜（Ｅ）に示される選択可能なフィールドＴ２、Ｂ２およびＴ２’のうち、Ｔ２およびＢ２を利用してフレームｅ４を生成する。フィールドＴ２’を利用しない理由は、フィールドＴ２の方が画質がよいためである（条件１）。

次のフレームｅ５については、走査変換回路４は条件２に合致すると判定する。走査変換回路４は、同じフレームＦ２に由来するフィールドＴ２’（ｃ５）およびＢ２（ｄ４）を用いて、フレームｅ５を生成する。フレームｅ６〜ｅ８についても、同様である。

フレームｅ９については、走査変換回路４は条件１に合致すると判定する。走査変換回路４は、同じフレームＦ４に由来するフィールドＴ４（ｃ９）およびＢ４’（ｂ１０）を用いて、フレームｅ９を生成する。

従来のプログレッシブ映像出力処理に対する利点は、このフレームｅ９の画質が向上している点にある。図１６の（Ｃ）に示されるフレームｃ９は、画質が劣化しているフィールドＢ４と、フィールドＴ４とによって構築される。一方、本実施形態の処理によれば、フレームｅ９は、同じフレームＦ４に由来するフィールドＴ４（ｃ９）およびＢ４’（ｂ１０）を利用するため、画質の劣化は相対的に少ない。

映像走査変換装置１０１は、図５に示すフローチャートに記載された手順で上述の処理を行う。

図５は、映像走査変換装置１０１の処理の手順を示すフローチャートである。

ステップＳ１において、デコード回路１は、２枚のフィールドがフレーム構造で圧縮されたデータストリームを受け取る。ステップＳ２において、デコード回路１は、インタレース映像（Ｂ）をデコードして１フィールドのデータを出力する。ステップＳ３において、デコード回路１は、インタレース映像（Ｂ）をさらにデコードして次の１フィールドのデータを出力する。メモリ２は、先にデコードしたフィールドのデータを格納する。

ステップＳ４において、検出回路３はデコードされた映像が３−２プルダウン変換された６０フィールド／秒のインタレース映像かどうかを判定する。３−２プルダウン変換された６０フィールド／秒のインタレース映像であると判定された場合には、処理はステップS５に進み、そうでない場合はステップ９に進む。

ステップＳ５において、走査変換回路４は、メモリに格納されている映像、及びデコードされた映像から同じフレームに由来する、３枚のフィールドが存在するか否かを判定する。この処理は、上述の条件１に合致するか否かの判定である。存在しないとき、処理はステップＳ６に進み、存在するとき、処理はステップＳ７に進む。

ステップＳ６では、走査変換回路４は、メモリ２およびデコード回路１の出力に、同じフレームに由来する２枚のフィールドが存在するか否かを判定する。この処理は、上述の条件２に合致するか否かの判定である。存在するとき、処理はステップＳ８に進み、存在しないとき、処理はステップＳ９に進む。

ステップＳ７では、走査変換回路４は、２枚の偶数フィールドまたは２枚の奇数フィールドのうち、画質がよりよい方のフィールドを選択し、他の１枚のフィールドと組み合わせてプログレッシブ映像のフレームを生成する。その後、処理はステップＳ９に進む。

ステップＳ８では、走査変換回路４は、当該２枚のフィールドを組み合わせてプログレッシブ映像のフレームを生成する。その後、処理はステップＳ９に進む。

ステップＳ９では、デコード回路１は、インタレース映像（Ｂ）をさらにデコードして次のフィールドのデータを出力する。また、メモリ２は、先にデコードしたフィールドの最新２枚分のデータを格納する。その後、処理はステップＳ４に戻る。

映像走査変換装置１０１は、上述の処理を、データストリームの受信が終了するまで継続する。

上述のとおり、映像走査変換装置１０１は、エンコードされている奇数フィールドおよび偶数フィールドが、それぞれ、３−２プルダウン変換される前の異なる映像フレームに由来する場合には、再生時において、可能な限り、同じフレームに由来するフィールドを利用してプログレッシブ映像を出力する。これにより、画質の向上を図ることが可能になる。

（実施形態２）
実施形態１では、メモリ２はデコード回路１から送られてくる、デコードされたフィールドを順次格納し、最新の２枚のフィールドを保持するとした。

本実施形態では、メモリには常に最新の２枚のフィールドが保持されない。エンコード前の同じフレームに由来する３枚のフィールドが存在するときは、そのうちの２枚の偶数フィールドまたは２枚の奇数フィールドのうち、画質がよりよい方のフィールドをメモリに保持するようにした。その結果、メモリに保持された、画質劣化が相対的に少ない奇数フィールドおよび偶数フィールドに基づいて、プログレッシブ映像のフレームを構築することができる。

図６は、本実施形態２の映像走査変換装置１０２を説明するためのブロック図である。映像走査変換装置１０２は、以下の点において映像走査変換装置１０１と差異を有する。すなわち映像走査変換装置１０２は、メモリ２への映像データの書き込みを制御するためのメモリ制御回路６を有している。そして、メモリ２には、デコード回路１により得られたフィールドのデータに関して最も古いもので過去３枚前のフィールドのデータを保持できる。

以上のように構成された映像走査変換装置１０２の処理を、図７を用いて説明する。図中の（Ａ）は元の２４フレーム／秒のフィルム映像であり、（Ａ２）は３−２プルダウン変換された６０フィールド／秒のインタレース映像である。（Ｂ）は３−２プルダウン変換されエンコードされた映像データを図６のデコード回路１によってデコードした６０フィールド／秒のインタレース映像データである。（Ｃ）と（Ｄ）は図６のメモリ２が保持している映像データである。（Ｅ）は図６の映像走査変換装置１０２により走査変換が行われた６０フレーム／秒のプログレッシブ映像データである。図中の破線のフィールドは、３−２プルダウン変換される前の映像が別のフレームを組み合わせてエンコードされていたことを示す。

本実施形態の処理では、実施形態１の処理に加え、以下の処理を行う。異なる処理の対象は、図７（Ｂ）のフィールドｂ４、ｂ５のように、デコード回路１より、３−２プルダウン変換前の同一フレームに由来するフィールドが３枚連続で出力されるときにおける、２番目と３番目のフィールドである。先に詳細に説明したとおり、フィールドＴ２’の画質は相対的に悪くなっている。

メモリ制御回路６は、３番目の映像データｂ５がデコード回路１から出力されたとき、メモリ２への書き込みを行わず、２フィールド遅延させた映像データｄ３をさらに１フィールド遅延させてメモリ２へ書き込む。図７の（Ｄ）におけるフィールドｄ４から、図７の（Ｃ）におけるフィールドｃ５への矢印は、その処理を表している。なお、１フィールド遅延させるための具体的な処理は、たとえばメモリ２からそのフィールドのデータを一旦出力し、フィードバックさせて再度メモリ２に入力することによって実現してもよいし、メモリ２にそのまま残すことによって実現してもよい。

上記の制御により、フィールドｃ５として３フィールド前の映像データｂ３が残され、フレームｅ５はデコード回路からの出力が同一フレーム映像であった２つのフィールドｃ５（＝ｂ３）とｄ４（＝ｂ４）により走査変換を行うことができる。

上述の処理は、図５のステップＳ７において走査変換回路４がフィールドを選択する処理に代えて、メモリ制御回路６がフィールドの選択を行い、メモリ２にその選択されたフィールドを格納しておくことを意味している。よって、走査変換回路４は、メモリ２に保持された２枚の奇数および偶数フィールドを利用して、プログレッシブ映像のフレームを生成すればよい。他の処理は図５と同じである。

本実施形態の処理によれば、フィールドＴ２’よりも画質のよいフィールドＴ２のデータを利用できるため、図７の（Ｅ）に示すフレームｅ５の画質が向上する。

（実施形態３）
図８は本実施形態の映像走査変換装置１０３を説明するためのブロック図である。

映像走査変換装置１０３と実施形態１による映像走査変換装置１０１との差異は、メモリ２は、映像データの出力を３フィールド以上遅延させることが可能な容量を有していること、および、走査変換回路４は、３フィールド以上遅延された映像データを利用して走査変換を行うことである。他の構成については、実施形態１による映像走査変換装置１０１と同じである。よって、各構成要素の説明は省略する。

図８に示す映像走査変換装置１０３の処理を、図９を用いて説明する。

図９は、メモリ２が４フィールド分のデータを保持可能であるときの処理の例を示す。図中の（Ａ１）は元の２４フレーム／秒のフィルム映像であり、（Ａ２）は３−２プルダウン変換された６０フィールド／秒のインタレース映像である。（Ｂ）は３−２プルダウン変換されエンコードされた映像データを図８のデコード回路１によってデコードした６０フィールド／秒のインタレース映像データである。（Ｃ）、（Ｄ）、（Ｅ）および（Ｆ）は図８のメモリ２が保持している映像データである。（Ｅ）は図８の映像走査変換装置１０３により走査変換が行われた６０フレーム／秒のプログレッシブ映像データである。図中の破線のフィールドは、３−２プルダウン変換される前の映像が別のフレームを組み合わせてエンコードされていたことを示す。

図８の検出回路３が、デコード回路１から出力される映像データが３−２プルダウン変換された６０フィールド／秒のインタレース映像データであることを検出すると、以下の処理が実行される。

すなわち、走査変換回路４は、図９の（Ｇ）に示すように、デコード回路１から出力される映像データ（Ｂ）とメモリが保持する過去４フィールドの映像データの（Ｃ）、（Ｄ）、（Ｅ）および（Ｆ）の合計５フィールドの映像データの中から、３−２プルダウン変換される前の同一フレームに由来するフィールドを特定する。特定されたときは、それらを組み合わせてフレームを生成する。

本実施形態では、フレームｇ３、ｇ４、ｇ５、ｇ８、ｇ９、ｇ１０の画質の劣化を抑えることが可能である。

これらのフレームを生成する際の処理は以下のとおりである。デコード回路１から出力される映像データとメモリ１が保持する過去４フィールドの映像データのなかには、重複する同一フィールドが存在する。たとえばフレームｇ３の生成に当たっては、図９の（Ａ１）のフレームＦ１に由来するフィールドＴ１およびＢ１、フレームＦ２に由来するフィールドＴ２、Ｂ２およびＴ２’が存在する。３枚目のフレームは、フレームＦ２に由来するフィールドを用いて生成される。走査変換回路４は、フレームＦ２に由来するフィールドがＴ２、Ｂ２およびＴ２’であることを特定する。そして、画質劣化が少ないフィールドＴ２およびＢ２を特定してフレームを生成する。他のフレームの生成においても同様の処理が行われる。

本実施形態の処理によれば、メモリ２に保持可能なフィールドの枚数に応じて、画質の劣化が抑えられたプログレッシブ映像のフレームの数を増加させることが可能になる。

なお、３フィールド分のデータを保持可能なメモリ２を利用することもできる。この場合同一フレーム映像であった２つのフィールド映像を組み合わせて走査変換が行われたフレーム映像を出力できるフレーム数は減少する。

さらに、３フィールド分のデータを保持可能なメモリ２を有し、図６に示すメモリ制御回路を設けた映像走査変換装置１０２の変形例も考えられる。図１０は、そのような映像走査変換装置１０３’の構成を示す。また図１１は、映像走査変換装置１０３’の処理に対応する映像の生成過程を示す図である。

この映像走査変換装置１０３’の処理の特徴は、エンコード前の同じフレームに由来する３枚のフィールドが存在するときは、そのうちの２枚の偶数フィールドまたは２枚の奇数フィールドのうち、画質がよりよい方のフィールドのデータをメモリ２に残すことにある。

たとえば図１１の（Ｂ）において、画質の悪いフィールドＴ２’（ｂ５）が生成されると、メモリ制御回路は、エンコード前の同じフレームＦ２に由来する、相対的に画質がよいフィールドＴ２（（Ｄ）のフィールドＴ２（ｄ３））を特定する。そして、メモリ制御回路は、フィールドＴ２’のデータをメモリ２に書き込まず、２フィールド遅延させたフィールドｄ３のデータをさらに１フィールド遅延させてメモリ２へ書き込む。図１１の（Ｄ）におけるフィールドｄ３から、図７の（Ｃ）におけるフィールドｃ５への矢印は、その処理を表している。

上述の処理によれば、画質の悪いフィールドＴ２’を利用せずにフレームを構築することができる。

（実施形態４）
図１２は本実施形態の映像走査変換装置１０４を説明するためのブロック図である。

映像走査変換装置１０４と実施形態１による映像走査変換装置１０１との差異は、走査変換回路４の後段に、新たに、メモリ７およびメモリ制御回路８を追加したことにある。これらを設けることにより、実施形態１の出力結果に対して、さらに画質の劣化が少ないフレームを出力できる。

メモリ７は、走査変換回路４から出力されたフレームのデータを保持する。メモリ制御回路８は、メモリ７へのフレームデータの書き込みを制御する。走査変換が行われたプログレッシブ映像のフレームデータはメモリ７を通して出力される。出力端子１１は、走査変換が行われたプログレッシブ映像のデータを出力する。他の構成については、実施形態１による映像走査変換装置１０１と同じであるため、説明は省略する。

以上のように構成された映像走査変換装置１０４の処理を、図１３を用いて説明する。図１３の（Ａ１）は元の２４フレーム／秒のフィルム映像であり、（Ａ２）は３−２プルダウン変換された６０フィールド／秒のインタレース映像である。（Ｂ）は３−２プルダウン変換されエンコードされた映像データを図１２のデコード回路１によってデコードした６０フィールド／秒のインタレース映像データである。（Ｃ）と（Ｄ）は図１２のメモリ２が保持している映像データである。（Ｅ）は図１２の走査変換回路４により走査変換が行われた６０フレーム／秒のプログレッシブ映像データである。（Ｆ）は図１２のメモリ７から出力されるプログレッシブ映像データである。図中の破線のフィールドは、３−２プルダウン変換される前の映像が別のフレームを組み合わせてエンコードされていたことを示す。

図１２の検出回路３が、デコード回路１から出力される映像データが３−２プルダウン変換された６０フィールド／秒のインタレース映像データであることを検出すると、実施形態１の映像走査変換装置１０１と同じ処理により、図１３の（Ｅ）に示すフレームを生成する。

また、走査線変換回路４より３フレーム連続で、３−２プルダウン変換前が同一フレームである映像が出力されるフレーム映像のうち、デコード回路１からの出力が同一フレーム映像であった２つのフィールド映像から走査変換が行われていないフレーム映像のメモリ７へ書き込みを行わないようにメモリ制御回路８により制御する。

以下、具体的に説明する。

メモリ制御回路８は、通常は、生成されたフレーム（たとえばフレームｅ１〜ｅ４）のデータをメモリ７に書き込む。それらのデータは、フレームｆ１〜ｆ４として出力される。

しかしながら、メモリ制御回路８は、相対的に悪い画質のフィールドを含むフレーム（たとえばｅ５、ｅ８）のデータは書き込まない。そして、そのフレームの出力タイミングにおいて、フレームｅ５に代えてフレームｅ４を、フレームｆ５として出力する。

なお、フレームｅ６およびｅ７については、代替となる画質のよいフレームが存在しない。よってメモリ制御回路８は、フレームｅ６およびｅ７のデータをメモリ２に書き込む。一方、フレームｅ８についてもメモリ２への書き込みは行われない。フレームｅ８の後に出力されるフレームｅ９の画質の劣化が少なく、フレームｅ９のデータの書き込みを優先することが好ましいためである。その結果、フレームｅ８は出力されず、その出力タイミングでは、フレームｅ９がそのまま出力される。その後も、図１３の（Ｆ）に記載されるようにフレームが出力される。上記の制御により、デコード回路１からの出力が同一フレーム映像ではないフレームｅ５、ｅ８を使用しない走査変換を実現することができる。

尚、本実施形態ではメモリ７からの出力を６０フレーム／秒として説明を行ったが、図１４に示すようにメモリ７の出力を２４フレーム／秒（Ｈｚ）として出力することも可能である。この場合、図１２のメモリ制御回路８は、図１２の走査線変換回路４からの出力が、デコード回路１からの出力が同一フレーム映像であった２つのフィールド映像から走査変換が行われているフレーム映像を優先的にメモリ７に書き込むようにメモリ制御回路２を制御することによって実現している。

尚、本実施形態では、走査変換回路４の出力を常にメモリ７を経由して出力する形態をとっているが、メモリ７への書き込みを常に行い、走査変換回路４の出力とメモリ７からの出力を切り替えて出力してもよい。

以上のように、本発明の実施形態によれば、デコード回路より３フィールド連続で３−２プルダウン変換前が同一フレームである映像が出力される期間、前記期間内に出力される３フィールド映像のうち、デコード回路１からの出力が同一フレーム映像であった２つのフィールド映像を組み合わせて走査変換が行われたフレーム映像を優先的に出力することによって、エンコードによって発生する画質劣化を減少させることが可能な映像走査変換装置を実現することができる。

上述の実施形態の説明では、デジタル放送を受信して再生する処理を説明した。しかし、これは一例である。たとえば、録画されたデジタル放送番組を再生する場合にも、上述の処理が適用される。

なお、録画されたデジタル放送番組のデータが編集されたとき、たとえばＣＭ部分をカットする編集が行われたときは、システムコントローラ５は、画質劣化が発生したフィールドに代えて画質劣化が発生していないフィールドを利用する処理を行わないよう、映像走査変換装置を制御してもよい。編集が行われると、フィールド差分検出処理に必要な規則性（図１５）が維持されなくなり、画質の向上を図れなくなるためである。なお、システムコントローラ５は、フィールド差分検出処理に必要な規則性（図１５）が崩れたとき、編集が行われるとして以後の本発明による処理を行わないよう、各構成要素に指示すればよい。指示を受けて、メモリ２はバッファをクリアする等の処理を行い、処理を初期化すればよい。

上述の実施形態の説明では、検出回路３は、２４フレーム／秒のフィルム映像が３−２プルダウン変換されて送信されていることを、フィールド差分検出処理に必要な規則性（図１５）を利用して検出するとした。しかしながら、この処理は必須ではない。たとえばデジタル放送のストリーム（ＭＰＥＧ２トランスポートストリーム）には種々の制御情報が含まれており、そのうちの、ＲＦＦ（Ｒｅｐｅａｔ Ｆｉｒｓｔ Field）と呼ばれる識別子から、そのデータストリームが３−２プルダウン変換によって得られたか否か判断することができる。映像走査変換装置のシステムコントローラ５は、フィールド差分検出処理の規則性の検出に代えて、その識別子を検出する処理を行ってもよい。

上述の実施形態の説明では、映像走査変換装置は半導体チップであるとした。しかしながら、これは一例である。図３等に示される映像走査変換装置は、２つ以上のチップから構成されてもよいし、各構成要素がそれぞれ異なるチップやメモリモジュールとして実現されてもよい。

上述の各実施形態による映像走査変換装置は、コンピュータプログラムに基づいて動作する。たとえば、たとえば実施形態１による映像走査変換装置１０１は、図Ｃに示す手順が記述されたコンピュータプログラムに基づいて動作する。そのようなコンピュータプログラムは、光ディスクやフラッシュメモリカードに記録され得る。またはネットワークを通じて伝送され得る。

なお上述の各実施形態は、デジタル放送に限らず、ＤＶＤやブルーレイディスクなどの光ディスクに記録されている映像信号を再生する光ディスクプレーヤや、インターネット上の映像信号を再生するネットワークプレーヤなどの分野においても適用できる。

本発明に係る映像走査変換装置は３−２プルダウンされた映像データに対して走査変換を行うものであり、映像表示装置や映像再生装置に好適に用いられる。

１ デコード回路
２、７ メモリ
３ ３−２プルダウン変換検出回路
４ 走査変換回路
５ システムコントローラ
６、８ メモリ制御回路
１０ 入力端子

Claims (10)

1. フィルム映像がエンコードされた映像ストリームをデコードし、インタレース方式からプログレッシブ方式に走査方式を変換して出力する映像走査変換装置であって、
   前記映像ストリームは、フィルム映像の第１フレームに基づくフィールドの組をエンコードした第１符号化単位と、前記第１フレームに基づくフィールド及び前記第１フレームとは異なる第２フレームに基づくフィールドの組をエンコードした第２符号化単位とを含んでおり、
   前記映像ストリームを受け取って前記第１符号化単位および前記第２符号化単位をデコードし、前記第１符号化単位からは前記第１フレームに基づくフィールドＮ１、Ｎ２の各データを出力し、前記第２符号化単位からは前記第１フレームに基づくフィールドＮ３及び前記第２フレームに基づくフィールドＭ１の各データを出力するデコード回路と、
   前記デコード回路から出力されたフィールドデータに対応して、前記デコード回路から出力された２つのフィールドデータからフレームを生成し、当該フレームを出力する走査変換回路と、
   を備え、
   前記走査変換回路は、
   前記フィールドＮ３のデータに対応するフレームを出力する場合、前記フィールドＮ３のデータを用いずに、前記フィールドＮ１及びＮ２を用いてフレームを生成する、映像走査変換装置。
2. 前記走査変換回路は、前記フィールドＮ１又はＮ２のデータに対応するフレームを出力する場合、前記フィールドＮ１およびＮ２のデータを用いてフレームを生成する、
   請求項１に記載の映像走査変換装置。
3. 前記フィールドＮ１及びＮ３は、トップフィールドであり、
   前記フィールドＮ２及びＭ１は、ボトムフィールドである、請求項１に記載の映像走査変換装置。
4. 前記デコード回路から出力されたフィールドのデータを、２フィールド分格納可能なメモリをさらに備え、
   前記デコード回路に、前記第１符号化単位が入力され、前記第１符号化単位の後に第２符号化単位が入力された場合において、
   前記デコード回路は、前記フィールドＮ３のデータを出力する際、前記メモリには、前記フィールドＮ１及びＮ２が保持されており、前記フィールドＮ３のデータを前記メモリに格納しないようにする、請求項１に記載の映像走査変換装置。
5. 前記デコード回路からの複数のフィールドの出力に基づいて、前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを検出する検出回路をさらに備え、
   前記映像ストリームが、前記第１フレームおよび第２を含むプログレッシブ映像を３−２プルダウン変換した映像であることを前記検出回路が検出したとき、前記走査変換回路は前記フレームを生成する、請求項１に記載の映像走査変換装置。
6. 前記フィールドＮ１の画質は、前記フィールドＮ３の画質よりも良い、請求項１に記載の映像走査変換装置。
7. 前記メモリは、前記フィールドＮ１のデータを少なくとも２フィールド期間より長い期間保持する、請求項４に記載の映像走査変換装置。
8. 前記デコード回路から出力されたフィールドのデータを、少なくとも２フィールド分格
   納可能な第１メモリと、
   前記走査変換回路が生成した前記フレームのデータを格納可能な第２メモリと
   をさらに備え、
   前記走査変換回路は、前記フィールドＮ２のデータに対応するフレームを出力する場合、前記第１メモリは、前記フィールドＮ１およびＮ２のデータを保持しており、前記走査変換回路は、前記メモリに保持された前記フィールドＮ１のデータ、および、前記デコード回路から出力された前記フィールドＮ２のデータに基づいてフレームを生成し、当該生成した前記フレームのデータを前記第２メモリに格納し、
   前記フィールドＮ３のデータに対応するフレームを出力する場合、フィールドのデータを用いてフレームを生成せずに、前記第２メモリに格納されたフレームのデータを出力する、請求項１に記載の映像走査変換装置。
9. 前記映像ストリームは、２４フレーム／秒のフィルム映像から３−２プルダウン変換された６０フィールド／秒のインタレース映像であり、
   前記走査変換回路は、６０フレーム／秒のプログレッシブ映像のフレームを出力する、請求項１に記載の映像走査変換装置。
10. 前記映像ストリームには、前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを示す識別子が含まれており、
    前記識別子に基づいて、前記映像ストリームが、前記第１フレームおよび第２を含むプログレッシブ映像を３−２プルダウン変換した映像であることを検出する検出回路をさらに備え、
    前記映像ストリームが、前記第１フレームおよび第２フレームを含むプログレッシブ映像を３−２プルダウン変換した映像であることを前記検出回路が検出したとき、前記走査変換回路は前記フレームを生成する、請求項１に記載の映像走査変換装置。

Images