JP6650232B2 - フレームレート拡大装置及びプログラム - Google Patents

Description

本発明は、フレームレートを拡大するフレームレート拡大装置及びプログラムに関する。

従来、フレームレートを拡大するためにフレームを内挿する手法として、大きく分けて、０次ホールド複数回フレーム内挿法、線形フレーム内挿法、及び動き補正フレーム内挿法が知られている（例えば、非特許文献１参照）。

０次ホールド複数回フレーム内挿法は、標本化におけるサンプリング周期間の信号値として、標本化時の値を保持する。０次ホールド複数回フレーム内挿法におけるフレームレート拡大例としては、映画館において２４フレーム／秒の映像を周辺視フリッカ防止のため０次ホールド３回照射を行って７２フレーム／秒で表示する処理が挙げられる。他にも、映画素材のテレビ放送において、２４フレーム／秒の映像を６０フィールド／秒で放送するための２−３プルダウン処理が挙げられる。

線形フレーム内挿法は、標本化におけるサンプリング周期間の信号値として、標本化時と次標本化時の値から線形フィルタによる内挿処理を行う。すなわち、時間方向の内挿フレーム位置に対して、入力映像の前後フレームから線形フィルタ処理により内挿フレームを生成する。線形フレーム内挿法におけるフレームレート拡大例としては、テレビで映像の動きを滑らかに見せるための６０フィールド／秒から１２０フレーム／秒又は２４０フレーム／秒へのフレーム内挿処理が挙げられる。

動き補正フレーム内挿法は、標本化におけるサンプリング周期間の信号値として、標本化時と次標本化時のフレーム画像間で動き補正フレーム内挿処理を行う。すなわち、時間方向の内挿フレーム位置に対して、入力映像の前後フレームから動き補正フレーム内挿処理により内挿フレームを生成する。動き補正フレーム内挿法におけるフレームレート拡大例としては、線形フレーム内挿法と同様に、テレビで映像の動きを滑らかに見せるための６０フィールド／秒から１２０フレーム／秒又は２４０フレーム／秒へのフレーム内挿処理が挙げられる。

また、特許文献１には、液晶モニタなどのホールド型モニタの動特性を改善するために、動き補正フレーム内挿法を用いたフレームレート拡大を行うことが記載されている。そしてこのフレームレート拡大では、画面端部などの動き補償の効果が低い領域での画質劣化を防止する処理を行う。

特許第４５０５０００号公報

「ハイビジョン技術」、日本放送出版協会、1988年11月

従来の動き補正フレーム内挿法は、精度や確度が非常に高い動き補正フレーム内挿処理を行う場合には、フレームレート拡大映像の動きを滑らかに表現することができる。ただしこれは入力映像とは異なる動きを表現することになり、フレームレート拡大映像では入力映像が本来持っている映像特徴が損なわれてしまう。また、一般映像では精度や確度が非常に高い動き補正フレーム内挿を行うことは困難であり、映像によらず安定して高品質なフレームレート拡大映像を生成することは困難であった。

一方、従来の０次ホールド複数回フレーム内挿法においてフレームレート拡大率が整数倍の場合は、ジャーキネスを発生させずに入力映像の映像特徴を保った変換ができる。ただし視覚の積分効果を考慮していないため、動領域が多重像に見えるアーティファクトが発生することがある。この実例として、映画館で映画を見る場合が挙げられる。ここで映画館では、特に周辺視におけるフリッカ防止のために、２４フレーム／秒の映像を０次ホールド複数回照射する。しかし、特に映画のエンドロールで字幕が下から上にスクロールする際（コントラストのはっきりしたオブジェクトが追随視可能な速度で動く場合）に、文字が多重像に見えるアーティファクトが発生する。これは視覚の積分効果を考慮しておらず、視覚感覚記憶の保持時間内にオブジェクト位置が異なる複数のフレーム画像を照射するために発生する。

また、従来の線形フレーム内挿法や、特許文献１に記載の手法においても同様に、フレームレート拡大時に視覚の積分効果を考慮していないため、アーティファクトが発生するおそれがあった。

かかる事情に鑑みてなされた本発明の目的は、視覚の積分効果を考慮することにより、動領域のアーティファクトを抑えたフレーム拡大を行うことが可能なフレームレート拡大装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るフレームレート拡大装置は、入力映像のフレームレートを拡大したフレームレート拡大映像を出力するフレームレート拡大装置であって、フレームレート拡大映像を、フレームレート拡大倍率ｎ（ｎは２以上の整数とする）が閾値以下の場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが前記閾値を超える場合には第２のフレーム内挿法により生成された映像と決定するフレーム内挿法決定部と、前記フレーム内挿法決定部により第１のフレーム内挿法により生成された映像と決定された場合には、入力映像の輝度値をｎ倍とした輝度レベル調整映像のフレーム間に、（ｎ−１）枚の黒フレームを内挿したフレームレート拡大映像を出力する黒フレーム内挿部と、前記フレーム内挿法決定部により第２のフレーム内挿法により生成された映像と決定された場合には、時間方向のフレーム位置に対して、入力映像の過去の所定の時間分のフレームを用いて各フレームを生成することによりフレームレート拡大映像を出力する積分効果考慮型フレーム内挿部と、を備えることを特徴とする。

さらに、本発明に係るフレームレート拡大装置において、入力映像の動き推定を行う動き推定部を備え、前記フレーム内挿法決定部は、前記動き推定部による動き推定の結果に応じて前記閾値を決定することを特徴とする。

さらに、本発明に係るフレームレート拡大装置において、前記フレーム内挿法決定部は、フレームレート拡大倍率ｎが閾値以下であり、且つ入力映像の輝度値をｎ倍しても飽和しない場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが前記閾値を超えるか、又は入力映像の輝度値をｎ倍すると飽和する場合には第２のフレーム内挿法により生成された映像と決定することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレームレート拡大装置として機能させることを特徴とする。

本発明によれば、動領域のアーティファクトを抑えたフレーム内挿を行うことができるようになる。

本発明の第１の実施形態に係るフレームレート拡大装置の構成例を示すブロック図である。 本発明の第１の実施形態に係るフレームレート拡大装置におけるフレーム内挿法決定部の処理例を示すフローチャートである。 本発明の第１の実施形態に係るフレームレート拡大装置における黒フレーム内挿部の処理例を示す図である。 発明の第１の実施形態に係るフレームレート拡大装置における非黒フレーム内挿部の処理例を示す図である。 本発明の第２の実施形態に係るフレームレート拡大装置の構成例を示すブロック図である。 本発明の第２の実施形態に係るフレームレート拡大装置の積分効果考慮型フレーム内挿部の処理例を示す図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係るフレームレート拡大装置について、以下に説明する。図１は、本発明の第１の実施形態に係るフレームレート拡大装置の構成例を示すブロック図である。フレームレート拡大装置１は、入力映像、及びフレームレート拡大倍率を示すフレームレート拡大情報を入力し、入力映像のフレームレートを拡大したフレームレート拡大映像を出力する。図１に示す例では、フレームレート拡大装置１は、動き推定部１１と、フレーム内挿法決定部１２と、黒フレーム内挿部１３と、非黒フレーム内挿部１４と、フレーム拡大映像選択部１５とを備える。

動き推定部１１は、入力映像の動き推定を行い、推定結果を示す情報をフレーム内挿法決定部１２に出力する。例えば、動き推定部１１はフレーム間でブロックサイズを１６×１６画素とするブロックマッチング動き推定を行う。

フレーム内挿法決定部１２は、フレームレート拡大映像を、フレームレート拡大倍率ｎ（ｎは２以上の整数とする）が閾値Ｔｈ以下の場合には第１のフレーム内挿法（黒フレーム内挿部１３）により生成された映像と決定し、フレームレート拡大倍率ｎが閾値Ｔｈを超える場合には第２のフレーム内挿法（非黒フレーム内挿部１４）により生成された映像と決定し、決定結果をフレーム拡大映像選択部１５に出力する。

ここで、閾値Ｔｈは動き推定部１１による動き推定の結果に応じて決定することができる。また、フレーム内挿法決定部１２は、入力映像の輝度値をｎ倍すると飽和する場合には、フレームレート拡大映像を第２のフレーム内挿法により生成された映像と決定してもよい。

図２は、フレーム内挿法決定部１２による処理例を示すフローチャートである。フレーム内挿法決定部１２は、まず動き推定結果を示す情報に基づき、フレームレート拡大倍率ｎに対する閾値Ｔｈを設定する（ステップＳ１０１）。動き量が小さければフレームレート拡大倍率を大きくしてもジャーキネスが発生しづらいため、動き量（例えば、フレーム内の全ブロックの動き量の最大値）が小さいほど閾値Ｔｈが大きくなるように設定するのが好適である。例えば、１秒未満で画面を横切るような速い動きの場合にはＴｈ＝２とし、１秒以上４秒未満で画面を横切る場合にはＴｈ＝４とし、４秒以上で画面を横切る場合にはＴｈ＝８とする。

そして、フレーム内挿法決定部１２は、フレームレート拡大倍率ｎが閾値Ｔｈ以下であるか否かを判定する（ステップＳ１０２）。フレームレート拡大倍率ｎが閾値Ｔｈよりも大きい場合には（ステップＳ１０２−Ｎｏ）、第２のフレーム内挿法により生成されたフレームレート拡大映像を出力すると決定する（ステップＳ１０４）。

フレームレート拡大倍率ｎが閾値Ｔｈ以下である場合には（ステップＳ１０２−Ｙｅｓ）、入力映像の輝度レベルのｎ倍が輝度のダイナミックレンジの最大値以下であるか否かを判定する（ステップＳ１０３）。入力映像の輝度レベルのｎ倍が輝度のダイナミックレンジの最大値よりも大きい場合には（ステップＳ１０３−Ｎｏ）、第２のフレーム内挿法により生成されたフレームレート拡大映像を出力すると決定する（ステップＳ１０４）。

ここで、入力映像の輝度レベルのｎ倍が輝度のダイナミックレンジの最大値よりも大きい場合とは、フレーム内の１画素でも輝度レベルが飽和した場合であってもよいし、フレーム内の所定の画素数以上の輝度レベルが飽和した場合であってもよい。

一方、入力映像の輝度レベルのｎ倍が輝度のダイナミックレンジの最大値以下である場合には（ステップＳ１０３−Ｙｅｓ）、第１のフレーム内挿法により生成されたフレームレート拡大映像を出力すると決定する（ステップＳ１０５）。

黒フレーム内挿部１３は、入力映像に対して、フレームレート拡大倍率ｎに合わせた入力映像の輝度レベル調整と、黒フレーム（輝度がゼロのフレーム）の内挿とを行ってフレームレート拡大映像を生成し、フレーム拡大映像選択部１５に出力する。入力映像の輝度レベル調整では、フレームレート拡大倍率ｎに合わせて、入力映像の輝度レベルをｎ倍とした輝度レベル調整映像を生成する。そして黒フレーム内挿では、輝度レベル調整映像のフレーム間に（ｎ−１）枚の黒フレームを内挿する。

図３は、黒フレーム内挿部１３の処理例を示す図である。図３に示すようにフレームレートを３倍に拡大する場合には、入力映像の輝度レベルを３倍とした輝度レベル調整映像を生成するとともに、輝度レベル調整映像のフレーム間に２枚の黒フレームを内挿する。このように、フレームレートを拡大する際に、同一映像を複数フレーム表示させるのではなく、輝度レベルを大きくした映像を１フレーム表示した後に黒フレームを挿入することで、視覚の積分効果によるアーティファクトの発生を抑制することができる。

非黒フレーム内挿部１４は、入力映像のフレーム間に、入力映像から生成された（ｎ−１）枚のフレームを内挿することによりフレームレート拡大映像を生成し、フレーム拡大映像選択部１５に出力する。非黒フレームの内挿は、０次ホールド複数回フレーム内挿法、線形フレーム内挿法、動き補正フレーム内挿法などの既知の内挿法により行うことができ、内挿法の種類は問わないものとする。

図４は、非黒フレーム内挿部１４の０次ホールド複数回フレーム内挿法を適用した場合の処理例を示す図である。０次ホールド複数回フレーム内挿法では、フレームレートをｎ倍にする場合には、入力映像のフレーム間に直前の映像フレームと同一の（ｎ−１）枚のフレームを内挿した映像をフレームレート拡大映像とする。図４に示すように、フレームレートを２４フレーム／秒から１２０フレーム／秒に５倍に拡大する場合は、入力映像のフレーム間に直前の映像フレームと同一の４枚のフレームを内挿する。なお、線形フレーム内挿法では、時間方向の内挿フレーム位置に対して、入力映像の前後フレームから線形フィルタ処理により内挿フレームを生成する。動き補正フレーム内挿法では、時間方向の内挿フレーム位置に対して、入力映像の前後フレームから動き補正フレーム内挿処理により内挿フレームを生成する。

フレーム拡大映像選択部１５は、フレーム内挿法決定部１２による決定結果を取得し、フレームレート拡大映像を第１のフレーム内挿法により生成された映像と決定された場合には、黒フレーム内挿部１３により生成されたフレームレート拡大映像を外部に出力し、第２のフレーム内挿法により生成された映像と決定された場合には、非黒フレーム内挿部１４により生成されたフレームレート拡大映像を外部に出力する。

上述したように、フレームレート拡大装置１は、フレームレート拡大映像を、フレームレート拡大倍率ｎが閾値Ｔｈ以下の場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが閾値Ｔｈを超える場合には第２のフレーム内挿法により生成された映像と決定する。そして、第１のフレーム内挿法により生成された映像と決定した場合には、入力映像の輝度値をｎ倍とした輝度レベル調整映像のフレーム間に、（ｎ−１）枚の黒フレームを内挿したフレームレート拡大映像を出力する。第２のフレーム内挿法により生成された映像と決定した場合には、入力映像のフレーム間に、入力映像から生成された（ｎ−１）枚のフレームを内挿したフレームレート拡大映像を出力する。

かかる構成により、フレームレート拡大装置１は、フレームレート拡大倍率ｎが閾値Ｔｈ以下の場合には黒フレームを内挿することにより、視覚の蓄積効果を低減し、動領域のアーティファクトを抑えることが可能となる。

（第２の実施形態）
つぎに、本発明の第２の実施形態に係るフレームレート拡大装置について説明する。

図５は、第２の実施形態に係るフレームレート拡大装置の構成例を示すブロック図である。図５に示す例では、フレームレート拡大装置２は、動き推定部１１と、フレーム内挿法決定部１２と、黒フレーム内挿部１３と、積分効果考慮型フレーム内挿部１６と、フレーム拡大映像選択部１５とを備える。第２の実施形態のフレームレート拡大装置２は第１の実施形態のフレームレート拡大装置１と比較して、非黒フレーム内挿部１４に代えて積分効果考慮型フレーム内挿部１６と備える点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。

積分効果考慮型フレーム内挿部１６は、視覚の積分効果を考慮した線形フレーム内挿処理を行う。ここで視覚の積分効果とは、Iconic memoryと呼ばれるもので、EriksenとCollinsは２枚の画像を任意時間間隔で提示する実験により、視覚感覚記憶の保持時間Ｔが約０．１秒であることを示している。詳細については、C. W. Eriksen, J. F. Collins, "Some temporal characteristics of visual pattern perception", Journal of Experimental Psychology, Vol. 74. Issue 4, pp. 476-484, Aug. 1967を参照されたい。このため積分効果考慮型フレーム内挿部１６は、各フレームを、時間方向のフレーム位置に対して、入力映像の過去の保持時間Ｔ分のフレームを用いて各フレームを生成することによりフレームレート拡大映像を生成し、フレーム拡大映像選択部１５に出力する。

図６は、積分効果考慮型フレーム内挿部１６の処理例を示す図である。図６に示すように、フレームレートを２４フレーム／秒から１２０フレーム／秒に５倍に拡大する場合は、入力映像である２４フレーム／秒のうち、過去の保持時間Ｔ分のフレームを用いて、線形内挿法により１２０フレーム／秒のフレームレート拡大映像を生成する。図６では保持時間Ｔを０．１秒としている。例えば、入力映像のフレームＦ₁，Ｆ₂，Ｆ₃の位置（ｘ，ｙ）の画素値をそれぞれＡ（ｘ，ｙ）、Ｂ（ｘ，ｙ）、Ｃ（ｘ，ｙ）とすると、フレームレート拡大映像のフレームＦ₃₃の位置（ｘ，ｙ）の画素値を｛αＡ（ｘ，ｙ）＋βＢ（ｘ，ｙ）＋γＣ（ｘ，ｙ）｝／３とする。ここで、α，β，γは重み付け係数である。

フレーム拡大映像選択部１５は、フレーム内挿法決定部１２による決定結果を取得し、第１のフレーム内挿法により生成された映像と決定された場合には、黒フレーム内挿部１３により生成されたフレームレート拡大映像を外部に出力し、第２のフレーム内挿法によ生成された映像と決定された場合には、積分効果考慮型フレーム内挿部１６により生成されたフレームレート拡大映像を外部に出力する。

上述したように、フレームレート拡大装置２は、フレームレート拡大映像を、フレームレート拡大倍率ｎが閾値Ｔｈ以下の場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが閾値Ｔｈを超える場合には第２のフレーム内挿法により生成された映像と決定する。そして、第１のフレーム内挿法により生成された映像と決定した場合には、入力映像の輝度値をｎ倍とした輝度レベル調整映像のフレーム間に、（ｎ−１）枚の黒フレームを内挿したフレームレート拡大映像を出力する。第２のフレーム内挿法により生成された映像と決定した場合には、時間方向の内挿位置に対して、入力映像の過去の所定の時間分のフレームを用いてフレーム内挿したフレームレート拡大映像を出力する。

第１の実施形態に係るフレームレート拡大装置１では、全体的に暗い映像の場合や、フレームレート拡大後にハイダイナミックレンジ映像としてより高輝度なモニタに表示する場合などを除いては、非黒フレーム内挿部１４により一般的なフレーム内挿処理が行われることとなる。一方、第２の実施形態に係るフレームレート拡大装置２では、黒フレーム内挿部１３によるフレーム内挿が選択されなかった場合でも、積分効果考慮型フレーム内挿部１６により視覚の蓄積効果を低減することができる。よって、フレームレート拡大装置１と比較して、さらに動領域のアーティファクトを抑えることが可能となる。

なお、上述したフレームレート拡大装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレームレート拡大装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

また、上述の実施形態では、黒フレーム内挿部１３及び非黒フレーム内挿部１４、あるいは黒フレーム内挿部１３及び積分効果考慮型フレーム内挿部１６が並行してフレームレート拡大映像を生成しているが、フレーム内挿法決定部１２の結果に応じて一方のみ動作させるようにしてもよい。その場合には、フレーム拡大映像選択部１５は不要となる。

１，２ フレームレート拡大装置
１１ 動き推定部
１２ フレーム内挿法決定部
１３ 黒フレーム内挿部
１４ 非黒フレーム内挿部
１５ フレーム拡大映像選択部
１６ 積分効果考慮型フレーム内挿部

Claims (4)

1. 入力映像のフレームレートを拡大したフレームレート拡大映像を出力するフレームレート拡大装置であって、
   フレームレート拡大映像を、フレームレート拡大倍率ｎ（ｎは２以上の整数とする）が閾値以下の場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが前記閾値を超える場合には第２のフレーム内挿法により生成された映像と決定するフレーム内挿法決定部と、
   前記フレーム内挿法決定部により第１のフレーム内挿法により生成された映像と決定された場合には、入力映像の輝度値をｎ倍とした輝度レベル調整映像のフレーム間に、（ｎ−１）枚の黒フレームを内挿したフレームレート拡大映像を出力する黒フレーム内挿部と、
   前記フレーム内挿法決定部により第２のフレーム内挿法により生成された映像と決定された場合には、時間方向のフレーム位置に対して、入力映像の過去の所定の時間分のフレームを用いて各フレームを生成することによりフレームレート拡大映像を出力する積分効果考慮型フレーム内挿部と、
   を備えることを特徴とするフレームレート拡大装置。
2. 入力映像の動き推定を行う動き推定部を備え、
   前記フレーム内挿法決定部は、前記動き推定部による動き推定の結果に応じて前記閾値を決定することを特徴とする、請求項１に記載のフレームレート拡大装置。
3. 前記フレーム内挿法決定部は、フレームレート拡大倍率ｎが閾値以下であり、且つ入力映像の輝度値をｎ倍しても飽和しない場合には第１のフレーム内挿法により生成された映像と決定し、フレームレート拡大倍率ｎが前記閾値を超えるか、又は入力映像の輝度値をｎ倍すると飽和する場合には第２のフレーム内挿法により生成された映像と決定することを特徴とする、請求項１又は２に記載のフレームレート拡大装置。
4. コンピュータを、請求項１から３のいずれか一項に記載のフレームレート拡大装置として機能させるためのプログラム。

Images