JP5116498B2 - 映像処理装置及びその制御方法 - Google Patents

Description

本発明は、
映像再生装置と接続可能な映像処理装置に関し、詳しくは映像再生装置の再生モードに応じて異なる補間フレーム画像を生成してフレームレート変換する映像処理装置に関する。

近年、動画のぼやけやフリッカを改善するために、入力映像データに対してフレームレート変換を行い、より高いフレームレートで映像表示する映像機器が知られている。

下記特許文献１では、ＤＶＤメディアから読み出された動画像データのデコード処理速度を、標準再生モードと特殊再生モードとで異ならせた画像表示システムが記載されている。このような処理により、スロー再生においては処理量を軽減でき、早送り再生時にはスムーズな表示が可能となる。

また、下記特許文献２には、フレームレート変換処理において補間フレームを生成する方法として、前後のフレームから動きベクトルを求め、動きベクトルを用いて補間データを生成することが記載されている。
特開２００１−０５４０６６号公報 特開平０３−２６３９８９号公報

しかしながら、従来の画像処理装置でのフレームレート変換方法では、特殊再生モードで映像データを入力した場合には、必ずしもスムーズな映像が表示されないという課題があった。以下、この点について具体的に説明する。

（１）早送り再生の場合（図２）
通常再生モードの場合、入力映像データのフレーム画像はｎ０、ｎ１、ｎ２…と連続してフレームレート変換器に入力される。それに対して早送り再生の場合、入力映像データのフレーム画像は、ｎ０、ｎ１０、ｎ２０と、間引きされてフレームレート変換器に入力される。この場合フレームレート変換器はｎ０とｎ１０から補間フレーム画像ｎ０’を、ｎ１０とｎ２０から補間フレーム画像ｎ１０’を生成する。このように時間的に離れたフレーム画像から補間フレーム画像を生成すると、フレーム間の相関性が低いため補間ミスが発生しやすい。補間ミスによる映像が表示されると、動画の滑らかさが損なわれる。

（２）コマ送り再生の場合（図３）
コマ送り再生の場合、ユーザがコマ送り操作するまで、フレームレート変換器には入力映像データのフレーム画像ｎ０が入力される。ユーザがコマ送り操作すると（図３のユーザアクションのタイミング）、次のフレーム画像ｎ１が入力される。フレームレート変換器は、ユーザアクション後のフレームが変化するタイミングでフレーム画像ｎ０とｎ１から補間フレーム画像ｎ０’を生成する。ユーザはコマ送り再生で入力映像の各コマを逐次視聴したいのにも係わらず、もともと入力映像信号には存在しない補間フレーム画像ｎ０’を表示してしまう。

（３）スロー再生の場合（図４）
１／２のスピードでスロー再生した場合、フレームレート変換器にはフレーム画像ｎ０、ｎ０、ｎ１、ｎ１、ｎ２、ｎ２・・・と同じフレームが２回連続で入力される。フレームレート変換器は、フレーム画像ｎ０とｎ１からは補間フレーム画像ｎ０’を、フレーム画像ｎ１とｎ２からは補間フレーム画像ｎ１’を生成する。

フレームレート変換器から出力されるフレーム画像は、ｎ０、ｎ０、ｎ０、ｎ０’、ｎ１、ｎ１、ｎ１、ｎ１’、ｎ２、ｎ２、ｎ２、・・・となる。つまり、同じフレーム画像が、３回（ｎ０）、１回（ｎ０’）、３回（ｎ１）、１回（ｎ１’）、３回（ｎ２）・・・と異なる回数で交互に出現することになる。このように同じフレーム画像の表示回数が異なると、動画の滑らかさに乏しい表示となる。

本発明は、特殊再生モードで映像データを入力した場合でも、補間フレーム画像を選択的に生成することにより、スムーズな動画表示可能な映像処理装置及びその制御方法を提供することを目的とする。

上述した課題を解決するために、本発明の映像処理装置は、
映像再生装置と接続可能な映像処理装置であって、
前記映像再生装置から映像データを入力する入力手段と、
入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出手段と、
前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出手段により検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間手段と、
前記補間フレーム画像でフレーム補間された映像データを出力する出力手段とを有し、
前記動きベクトル検出手段は、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
前記動きベクトル検出手段により検出された動きベクトルの信頼性が所定レベルよりも低いブロックが予め定められた数以上あるフレーム画像が連続する場合に、前記映像再生装置の再生モードが早送り再生モードであると判別する特殊再生判別手段をさらに有することを特徴とする。
また、本発明の他の映像処理装置は、
映像再生装置と接続可能な映像処理装置であって、
前記映像再生装置から映像データを入力する入力手段と、
入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出手段と、
前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出手段により検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間手段と、
前記補間フレーム画像でフレーム補間された映像データを出力する出力手段とを有し、
前記動きベクトル検出手段は、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
前記動きベクトル検出手段により検出された動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続した後に、動きベクトルがゼロでないブロックを含むフレーム画像が存在し、さらにその後に、動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続する場合は、前記映像再生装置の再生モードがスロー再生モードまたはコマ送り再生モードであると判別する特殊再生判別手段とを有することを特徴とする。

本発明によれば、特殊再生モードで映像データが入力された場合でも、スムーズな動画表示となるようにフレームレート変換を行うことができる。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の一実施形態に係わる、映像再生装置と接続可能な映像処理装置のブロック図である。映像再生装置から出力されたフレームレート６０Ｈｚの映像データは、入力部１０１（入力手段に相当）に入力される。

映像再生装置は、ビデオレコーダやビデオプレイヤー、デジタルカメラ、デジタルビデオカメラである。

補間部１０２（補間手段に相当）は、入力映像データにフレーム補間処理を施し、フレームレート１２０Ｈｚの映像データとして出力する。出力部１０３（出力手段に相当）は、フレームレート変換された映像データを、所定の映像フォーマットで、表示装置に出力する。

再生モード検知部１０４（検知手段に相当）は、映像再生装置より再生モード信号を受信して再生モード情報を、制御部１０５に出力する。再生モード情報は、ユーザ操作によって選択された映像再生装置の再生モードの情報である。再生モードは、通常再生モードと特殊再生モード（早送り再生、スロー再生、コマ送り再生）からなる。

補間部１０２は、制御部１０５（ＭＰＵ）の制御に基いて、以下に述べるように、再生モード情報に応じて、異なる補間フレーム画像を生成する。

映像再生装置が、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等のデジタルインターフェイスを介して映像処理装置と接続されている場合は、映像再生装置の動作は映像処理装置の操作で制御できる。その際、再生モード情報は映像処理装置のユーザ操作により検知される。

図５は、補間部１０２のブロック図である。

動きベクトル検出部４０２は、フレーム遅延４０１で遅延されたｎフレームと、ｎ＋１フレームから動きベクトルを求める。動きベクトルを求める手段としては、以下のようなブロックマッチングが良く用いられる。ｎフレームを１６×１６ピクセルのブロックに分割する。そしてｎ＋１フレーム上のサーチブロックの同じ位置から４８×４８ピクセルのサーチ範囲を１ピクセルづつ移動しながら差分の絶対値の総和が一番小さい位置を探索する。この探索した位置と元々のブロックの位置との差が動きベクトルとなる。

補間処理部４０３は、この動きベクトルと入力映像データのｎフレーム画像、ｎ＋１フレーム画像から補間フレーム画像を生成する。具体的には補間フレーム上の動きベクトルの１／２の位置に、ｎフレームのブロックと移動先のｎ＋１フレームのブロックの各画素値を平均して貼り付ける。即ち、入力映像データの複数のフレーム画像を用いて平均化されたフレーム画像が生成される。

選択部４０４は、再生モード情報に応じて、フレーム遅延部４０１から出力される映像データと補間処理部４０３にて生成される平均化補間フレーム画像データとを選択的に出力する。通常再生モードの場合は、入力映像データと平均化補間フレーム画像データとを交互に出力することで２倍のフレームレートの画像データを出力する。また、特殊再生モードの場合は、平均化補間フレーム画像データは出力せず、入力映像データを補間フレーム画像データとして２回連続して出力することで２倍のフレームレートの画像データを出力する。

即ち、補間部１０２は、再生モードが通常再生モードの場合は、入力映像データの複数のフレーム画像を用いて、入力映像データのフレーム画像とは異なる補間フレーム画像を生成する。また、再生モードが特殊再生モードの場合には、入力映像データのフレーム画像と同じ補間フレーム画像を生成する。

以上の動作で表示されるフレーム画像のつながりを、それぞれの特殊再生モードに対して説明する。

早送り再生の場合は、図６に示すように補間フレームの位置に前フレーム画像を送出することで、補間フレーム画像ｎ０’、ｎ１０’を表示せずにフレームレート変換が実現できる。

コマ送りの場合は、図７に示すように補間フレームの位置に前フレーム画像を送出することで、入力映像データには存在しない補間フレーム画像ｎ０’を表示せずにフレームレート変換が実現できる。

スロー再生の場合は、図８に示すように補間フレームの位置に前フレーム画像を送出することで、同じフレーム画像が４回づつ均等に繰り返されるようになる。以上説明した通り、本実施例では入力映像データが特殊再生ではない場合は、動きベクトル補間のフレームレート変換を行い、入力映像データが特殊再生の場合は、平均化補間フレームを出力せず、入力映像データを２回づつ出力する。これにより早送り時の補間画像の破綻や、コマ送り時の補間フレームの表示、スロー再生時の不自然な動きが防止できる。

本実施形態では、再生モード情報を外部から入力せず、特殊再生検出部で検出する。

図９は、本実施形態に係る補間部のブロック図である。

動きベクトル検出部９０２は実施例１と同様に動きベクトルを検出する。それに加えて、動きベクトルの信頼性を判定する。動きベクトルの信頼性は動きベクトルを求めたときのｎフレームのブロックとｎ＋１フレームのブロックの差分の絶対値の総和で決定する。この総和が一定値以上の場合は、ｎフレームのブロックとｎ＋１フレームのブロックが類似していないとして、動きベクトルの信頼性なしと判定する。逆に一定値未満の場合は信頼性ありと判定する。

特殊再生検出部９０５は動きベクトル検出部９０２で検出した、動きベクトルと動きベクトル信頼性から特殊再生モードか否かを検出する。特殊再生検出部９０５の動作を図１０、図１１のフローチャートを用いて説明する。

図１０は特殊再生のうち、早送りを検出する手順を説明するフローチャートである。

まず、ステップ１００１で１フレーム内の動きベクトル信頼性なしのブロック数をカウントする。カウント値が一定数未満の場合はステップ１００４に進み、早送りではないと判断する。カウント値が一定数以上の場合は、ステップ１００２に進む
ステップ１００２では、カウント値が一定数以上の状態が一定フレーム数以上連続しているか判定する。一定フレーム数以上連続していた場合はステップ１００３に進み早送りと判断する。連続していない場合はステップ１００４に進み、早送りではないと判断する。

このようにして早送りか否かを検出する。

次に図１１のフローチャートを用いてコマ送りとスロー再生を検出する手順を説明する。

まず、ステップ１１０１で１フレーム内の動きベクトルがすべて０ベクトル（動きなし）の状態が一定フレーム数連続しているか判定する。一定フレーム数連続していなければステップ１１０５に進み、コマ送り又はスロー再生ではないと判断する。一定フレーム数連続していればステップ１１０２に進む。

ステップ１１０２では、１フレーム内の動きベクトルが０ベクトル以外を含んでいるか判定する。０ベクトル以外を含んでいない（すべて０ベクトル）であれば、０ベクトル以外を含んだフレームを検出するまでステップ１１０２を繰り返す。０ベクトル以外を含んでいればステップ１１０３に進む。

ステップ１１０３では、１フレーム内の動きベクトルがすべて０ベクトル（動きなし）の状態が一定フレーム数連続しているか判定する。一定フレーム数連続していなければステップ１１０５に進み、コマ送り又はスロー再生ではないと判断する。一定フレーム数連続していればステップ１１０４に進み、コマ送り又はスロー再生と判断する。

特殊再生検出部９０５はこの２つの判定結果が、早送り又はコマ送り／スロー再生であれば再生モード情報を特殊再生モードとする。早送りではない、且つコマ送り／スロー再生でない場合は再生モード情報を特殊再生モードではない、とする。

選択部４０４は、実施例１と同様にこの再生モード情報を元に送出するフレームを決定する。

以上説明した通り、本実施例では映像信号から動きベクトルを求め、その動きベクトルを元に再生情報を検出するようにした。外部から再生モード情報を指示されなくとも、再生モードに応じたフレームレート変換が可能になる。

以上の説明においては簡略化ためにフレーム単位での処理で説明したが、フィールド単位の処理でもよい。

本発明の一実施形態に係わる映像処理装置のブロック図である。 入力映像データが早送りの場合の従来技術を説明する説明図である。 入力映像データがコマ送りの場合の従来技術を説明する説明図である。 入力映像データがスロー再生の場合の従来技術を説明する図である。 本発明の補正部のブロック図である。 入力映像データが早送りの場合の、本発明の表示画像説明する説明図である。 入力映像信号がコマ送りの場合の、本発明の表示画像を説明する説明図である。 入力映像信号がスロー再生の場合の、本発明の表示画像を説明する説明図である。 本発明の一実施形態に係わる映像処理装置のブロック図である。 特殊再生検出部の動作を説明するフローチャートである。 特殊再生検出部の動作を説明するフローチャートである。

符号の説明

１０１ 入力部
１０２ 補間部
１０３ 出力部
１０４ 再生モード検出部
１０５ 制御部
４０１ フレーム遅延
４０２ 動きベクトル検出部
４０３ 補間処理部
４０４ 選択部
９０２ 動きベクトル検出部
９０５ 特殊再生検出部

Claims (4)

1. 映像再生装置と接続可能な映像処理装置であって、
   前記映像再生装置から映像データを入力する入力手段と、
   入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出手段と、
   前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出手段により検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間手段と、
   前記補間フレーム画像でフレーム補間された映像データを出力する出力手段とを有し、
   前記動きベクトル検出手段は、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
   前記動きベクトル検出手段により検出された動きベクトルの信頼性が所定レベルよりも低いブロックが予め定められた数以上あるフレーム画像が連続する場合に、前記映像再生装置の再生モードが早送り再生モードであると判別する特殊再生判別手段をさらに有することを特徴とする映像処理装置。
2. 映像再生装置と接続可能な映像処理装置であって、
   前記映像再生装置から映像データを入力する入力手段と、
   入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出手段と、
   前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出手段により検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間手段と、
   前記補間フレーム画像でフレーム補間された映像データを出力する出力手段とを有し、
   前記動きベクトル検出手段は、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
   前記動きベクトル検出手段により検出された動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続した後に、動きベクトルがゼロでないブロックを含むフレーム画像が存在し、さらにその後に、動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続する場合は、前記映像再生装置の再生モードがスロー再生モードまたはコマ送り再生モードであると判別する特殊再生判別手段とを有することを特徴とする映像処理装置。
3. 映像再生装置と接続可能な映像処理装置の制御方法であって、
   前記映像再生装置から映像データを入力する入力ステップと、
   入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出ステップと、
   前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出ステップにより検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間ステップと、
   前記補間フレーム画像でフレーム補間された映像データを出力する出力ステップとを有し、
   前記動きベクトル検出ステップは、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
   前記動きベクトル検出ステップにより検出された動きベクトルの信頼性が所定レベルよりも低いブロックが予め定められた数以上あるフレーム画像が連続する場合に、前記映像再生装置の再生モードが早送り再生モードであると判別する特殊再生判別ステップをさらに有することを特徴とする映像処理装置の制御方法。
4. 映像再生装置と接続可能な映像処理装置の制御方法であって、
   前記映像再生装置から映像データを入力する入力ステップと、
   入力映像データの各フレーム画像の動きベクトルを検出する動きベクトル検出ステップと、
   前記映像再生装置の再生モードが通常再生モードの場合は、前記動きベクトル検出ステップにより検出された動きベクトルに基づいて、前記入力映像データの複数のフレーム画像を用いて補間フレーム画像を生成し、前記映像再生装置の再生モードが特殊再生モードの場合は、前記入力映像データのフレーム画像と同じ補間フレーム画像を生成する補間ステップと、
   前記補間フレーム画像でフレーム補間された映像データを出力する出力ステップとを有し、
   前記動きベクトル検出ステップは、前記入力映像データのフレーム画像内の複数のブロックの各々の動きベクトルを検出し、
   前記動きベクトル検出ステップにより検出された動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続した後に、動きベクトルがゼロでないブロックを含むフレーム画像が存在し、さらにその後に、動きベクトルがゼロであるブロックのみからなるフレーム画像が所定フレーム数以上連続する場合は、前記映像再生装置の再生モードがスロー再生モードまたはコマ送り再生モードであると判別する特殊再生判別ステップとを有することを特徴とする映像処理装置の制御方法。

Images