JP5349671B1 - 画像処理装置、画像表示装置および方法 - Google Patents

Abstract

【課題】動画データに対して違和感のない安定した鮮鋭化処理を実現すること。
【解決手段】実施形態の画像処理装置は、構図推定部と、シーン判定部と、強度算出部と、鮮鋭化処理部とを備える。構図推定部は、時系列で入力される画像データごとに、画像データの構図を推定するとともに、推定した構図の確からしさを示す信頼度を算出する。シーン判定部は、推定された構図が前回入力された画像データに対して使用対象の構図である前回使用対象の構図と異なるか否か、及び、信頼度が所定の第１閾値以上であるか否かを判定し、前回使用対象の構図と異なり、かつ、信頼度が第１閾値以上である構図が所定の第１回数以上連続した場合に、使用対象の構図を、推定された構図で更新する。強度算出部は、使用対象の構図に基づいて、画像データに対する鮮鋭化処理の強度を算出する。鮮鋭化処理部は、強度で画像データに対して鮮鋭化処理を行う。
【選択図】図２

Description

本発明の実施形態は、画像処理装置、画像表示装置および方法に関する。

従来から、入力された画像全体の構図を推定し、構図を構成する領域に応じて異なる画像処理を行って、撮影者の意図する構図に合わせた画像処理を実現する技術が知られている。このような従来技術では、構図を構成する領域ごとに、鮮鋭度の調整を行うことも可能である。

特開２０１０−１４７９３７号公報

しかしながら、動画のように逐次画像フレームが入力される場合には、画像全体の構図は次第に変化していくため、動画に対して違和感のない安定した鮮鋭化処理を行わせることが困難であるという問題がある。

実施形態の画像処理装置は、構図推定部と、シーン判定部と、強度算出部と、鮮鋭化処理部とを備える。構図推定部は、時系列で入力される画像データごとに、前記画像データの構図を推定するとともに、推定した構図の確からしさを示す信頼度を算出する。シーン判定部は、推定された構図が、前回入力された画像データに対して使用対象の構図である前回使用対象の構図と異なるか否か、及び、前記信頼度が所定の第１閾値以上であるか否かを判定し、前記前回使用対象の構図と異なり、かつ、前記信頼度が前記第１閾値以上である構図が所定の第１回数以上連続した場合に、今回の使用対象の構図を、前記推定された構図で更新する。強度算出部は、前記今回の使用対象の構図に基づいて、前記画像データに対する鮮鋭化処理の強度を算出する。鮮鋭化処理部は、前記強度で前記画像データに対して前記鮮鋭化処理を行う。

図１は、実施の形態１にかかる画像表示装置の機能的構成を示すブロック図である。 図２は、実施の形態１の鮮鋭化強度算出部の機能的構成を示すブロック図である。 図３は、実施の形態１のシーン判定部による今回使用対象の構図の更新について説明するための図である。 図４は、実施の形態１の平滑化処理を説明するための図である。 図５は、実施の形態１の鮮鋭化強度算出処理の手順を示すフローチャートである。 図６は、実施の形態１の鮮鋭化強度算出処理の手順を示すフローチャートである。 図７は、実施の形態２の鮮鋭化強度算出部の機能的構成を示すブロック図である。 図８は、実施の形態２のシーン判定部による今回使用対象の構図の更新について説明するための図である。 図９は、実施の形態２の鮮鋭化強度算出処理の手順を示すフローチャートである。

（実施の形態１）
図１は、実施の形態１にかかる画像表示装置の機能的構成を示すブロック図である。図１に示すように、本実施の形態の画像表示装置１００は、入力部１７０と、画像処理部１１０と、表示部１２０とを主に備えている。

入力部１７０は、動画データを入力し、動画データを構成するフレームの画像データを、フレームごとに画像処理部１１０に送出する。ここで、入力部１７０は、例えば、デジタル放送で送信された動画データや、ネットワーク経由で受信した動画データを入力する他、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）やハードディスクドライブ装置（ＨＤＤ）等に記録された動画データを入力したり、撮像カメラからリアルタイムに撮像された動画データを入力したりする。

画像処理部１１０は、入力された動画データの各フレームの画像データを時系列に入力して、時系列に入力される各フレームの画像データに対して、鮮鋭化処理等の画像処理を行う。ここで、画像処理部１１０は、画像処理装置として機能する。

画像処理部１１０は、図１に示すように、鮮鋭化処理部１４０と、鮮鋭化強度算出部１５０と、記憶部１６０とを備えている。

記憶部１６０は、各種データを記憶するＨＤＤやメモリ等の記憶媒体である。鮮鋭化強度算出部１５０は、鮮鋭化処理の度合い、すなわち強度を示す鮮鋭化強度を算出する。鮮鋭化強度算出部１５０の詳細については後述する。

鮮鋭化処理部１４０は、入力されるフレーム単位の画像データに対して、鮮鋭化強度算出部１５０で算出された鮮鋭化強度で鮮鋭化処理を施す。鮮鋭化強度が高い程、画像データの中のオブジェクトがシャープになる。また、鮮鋭化処理部１４０は、画像データの中の領域ごとに鮮鋭化処理を実行することができ、このため、領域ごとに異なる鮮鋭化強度で鮮鋭化処理を行うことが可能となっている。

表示部１２０は、画像処理部１１０で画像処理がなされた画像データを表示するものである。表示部１２０は、表示装置１２２と、表示制御部１２１とを備えている。表示装置１２２は、ディスプレイ装置等の表示デバイスである。表示制御部１２１は、表示装置１２２に対する画像データの表示制御を行う。

次に、鮮鋭化強度算出部１５０の詳細について説明する。図２は、実施の形態１の鮮鋭化強度算出部１５０の機能的構成を示すブロック図である。図２には、記憶部１６０に格納されるデータも示している。

記憶部１６０には、図２に示すように、構図パターン、所定の第１閾値と、所定の第１回数とが予め記憶されている。

鮮鋭化強度算出部１５０は、図２に示すように、構図推定部１５１と、シーンチェンジ判定部１５２と、空検出部１５３と、シーン判定部１５４と、強度算出部１５５とを備えている。

構図推定部１５１は、現在のフレームとして入力された画像データの構図を、記憶部１６０に保存された構図パターンの中から推定する。構図パターンは、画像データに対して推定する構図のパターンであり、予め記憶部１６０に記憶されている。構図パターンには、水平線や地平線を含む風景構図や、左側が近景で右側にいくほど遠景となる風景構図、風景以外の２次元的な構図である２次元構図等がある。

構図推定部１５１は、例えば、特開２０１２−１５７４４号公報に記載された手法により、画像データの構図を推定し、かつ評価値を求めている。構図推定部１５１は、推定した構図とともに求めた評価値を、推定した構図の確からしさを示す信頼度として出力する。そして、構図推定部１５１は、信頼度が最大の構図を最新構図として、その信頼度とともに、シーン判定部１５４に出力する。

なお、構図の推定手法は、これに限定されるものではなく、任意の手法により、画像データの構図を推定して信頼度を求めることができる。

シーンチェンジ判定部１５２は、入力された画像データにおいて、前回入力された画像データ、すなわち、前のフレームの画像データからのシーンの変化の有無（シーンチェンジ）を判定する。

具体的には、シーンチェンジ判定部１５２は、画像データに対して平均輝度値，輝度値の分散などの統計量を計算し、２つの連続するフレームの画像データ間の統計量間の距離を計算する。そして、シーンチェンジ判定部１５２は、求めた２フレーム間の距離が予め設定した閾値を超えた場合に、シーンチェンジが発生したと判定する。

例えば、第１フレームの画像データの平均輝度値がＹ₁、分散がｓ₁、第２フレームの画像データの平均輝度値がＹ₂、分散がｓ₂、閾値がθとする。このとき、シーンチェンジ判定部１５２は、次の（１）式が成立した場合に、第２フレームでシーンチェンジが発生したと判定することができる。

（Ｙ₁−Ｙ₂）²＋（ｓ₁−ｓ₂）²＞θ ・・・（１）

他の手法としては、シーンチェンジ判定部１５２は、２つの連続するフレームの画像データ間の統計量として、予め設定した特定の複数の座標の画素値をそのまま用いて、シーンチェンジの判定を行うことができる。

シーンチェンジ判定部１５２は、このような画素値として、カラー画像の場合は、画素値（輝度Ｙ，色差（Ｕ，Ｖ））を３次元の値として計算することもできる。また、シーンチェンジ判定部１５２は、画素値から色ヒストグラムを算出し、色ヒストグラム間の距離を統計量として用いて、シーンチェンジを判定することもできる。

なお、シーンチェンジ判定の手法は、これに限定されるものではなく、任意の手法により、シーンチェンジの判定を行うことができる。

空検出部１５３は、入力された画像データに空が映り込んでいるか否か、すなわち画像データにおける空検出の有無を判定する。具体的には、空検出部１５３は、例えば、画像データの平均画素値を用いて、空が映り込んでいるか否か判定することができる。すなわち、空検出部１５３は、輝度Ｙ、色差（Ｕ、Ｖ）の３成分からなるカラー画像における予め典型的な空の画素値を求めておき、当該空の画素値をＹ_S，Ｕ_S，Ｖ_Sとする。そして、空検出部１５３は、画像データの上部領域（例えば上部１／３部分の領域）の平均画素値を算出し、上部領域の平均画素値をＹ_M，Ｕ_M，Ｖ_Mとする。このとき、空検出部１５３は、閾値θ_Sを用いて、次の（２）式 が成立するときに、画像データに空が検出されたと判定することができる。

(Ｙ_M−Ｙ_S)²＋(Ｕ_M−Ｕ_S)²＋(Ｖ_M−Ｖ_S)²＜θ_S ・・・（２）

なお、空検出の手法は、これに限定されるものではなく、任意の手法により、空検出を行うことができる。

シーン判定部１５４は、構図推定部１５１により、現在のフレームの画像データから推定された最新構図が、前回入力された前フレームの画像データに対して使用対象とされた構図である前回使用対象の構図と異なるか否か、及び、信頼度が記憶部１６０に予め記憶されている第１閾値以上であるか否かを判定する。ここで、前回使用対象の構図は、シーン判定部１５４が使用対象の構図を設定した際に、メモリ等の記憶媒体に逐次保存しておく。

シーン判定部１５４は、現在のフレームの画像データから推定された最新構図が、前回使用対象の構図と異なり、かつ、信頼度が第１閾値以上である最新構図が出力される連続回数が、記憶部１６０に記憶されている第１回数以上である場合に、鮮鋭化処理での今回使用対象の構図を、現在のフレームの画像データから推定された最新構図に更新する。

また、シーン判定部１５４は、現在処理中のフレームの画像データから推定された最新構図が、前回使用対象の構図と同じか、または、信頼度が第１閾値以上である最新構図が出力される連続回数が第１回数未満である場合に、鮮鋭化処理での今回使用対象の構図を、現在のフレームの画像データから推定された最新構図で更新せずに、今回使用対象の構図を、前回使用対象の構図に設定したままとする。

ただし、シーン判定部１５４は、空検出部１５３により、前回入力された前フレームの画像データに空が検出されず、現在のフレームの画像データに空が検出されたと判定された場合に、鮮鋭化処理での今回使用対象の構図を、現在のフレームの画像データから推定された最新構図で更新する。

図３は、実施の形態１のシーン判定部１５４による今回使用対象の構図の更新について説明するための図である。図３に示す例では、前回入力された前フレームの画像データに対して使用対象とされた前回使用対象の構図が２次元構図であったとする。そして、図３では、現在のフレームの画像に対して構図推定部１５１による構図の推定結果をフレーム１から順に時系列で示している。

構図推定部１５１による構図推定結果において、図３の例では、２次元構図と風景構図１が推定され、それぞれの信頼度が算出される。そして、構図推定部１５１は、信頼度が高い方の構図を最新構図として出力しており、図３の構図推定結果において、下線を引いた構図が最新構図であることを示している。ここで、図３の例では、第１閾値を０．６とし、第１回数をｍ回と定めている。

図３に示すように、フレーム１では、信頼度が０．８の２次元構図が最新構図とされるが、フレーム２では信頼度が０．８の風景構図１が最新構図とされる。フレーム２では、最新構図が風景構図と推定されて、前回使用対象の構図である２次元構図と異なる構図であり、かつ信頼度が第１閾値以上であるが、次のフレーム３で最新構図は信頼度が０．８の２次元構図に戻るため、この時点で、風景構図１は今回使用対象の構図に更新されない。

また、フレーム４およびフレーム５では、最新構図として風景構図１が出力されているが、信頼度０．５が第１閾値０．６未満であるため、この時点でも、風景構図１は今回使用対象の構図に更新されない。

しかし、フレーム６以降では、最新構図として出力された風景構図１は、前回使用対象の構図である２次元構図と異なり、かつ信頼度０．８は第１閾値０．６以上であって、しかも、信頼度が第１閾値０．６以上で連続する回数ｍ回が第１回数であるため、フレームｎの出力の時点で、シーン判定部１５４により、風景構図１が今回使用対象の構図と判定されることになる。

図２に戻り、強度算出部１５５は、シーン判定部１５４で決定された今回使用対象の構図に基づいて、画像データに対する鮮鋭化処理の強度を算出する。具体的には、強度算出部１５５は、構図推定部１５１により特開２０１２−１５７４４号公報に記載された手法で画像データの構図を推定して求めた奥行きデータを、鮮鋭化強度に代入して利用している。この場合、強度算出部１５５は、画像データの構図の領域のうち遠景の領域（奥行きが奥の領域）に対して鮮鋭化強度を低く算出し、近景の領域（奥行きが手前の領域）に対して鮮鋭化強度を高く算出する。このように求めた鮮鋭化強度により、奥行き感のある鮮鋭化処理を行わせることができる。

強度算出部１５５は、算出された鮮鋭化強度に対して、算出された鮮鋭化強度と、前回入力された前フレームの画像データに対して算出された鮮鋭化強度である前回鮮鋭化強度とに基づいて平滑化処理を行う。

具体的には、強度算出部１５５は、前回使用対象の構図から今回使用対象の構図への変化に基づいて重み係数を算出し、算出した鮮鋭化強度と前回鮮鋭化強度とを、重み係数を用いて重み付け加算することにより、鮮鋭化強度に対して平滑化処理を行う。

例えば、強度算出部１５５は、以下のように鮮鋭化強度の平滑化処理を行う。ここで、現在のフレームの画像データに対して算出された鮮鋭化強度を、今回鮮鋭化強度（初期値）と呼ぶ。そして、平滑化処理を施した後の今回鮮鋭化強度を、現在のフレームの画像データの鮮鋭化処理で使用する。

強度算出部１５５は、今回鮮鋭化強度（初期値）をｘ_N0、前回鮮鋭化強度をｘ_P、今回鮮鋭化強度に対する重み係数をｍ_N、前回鮮鋭化強度に対する重み係数をｍ_Pとして、以下の（３）式で平滑化処理を行い、平滑化処理後の今回鮮鋭化強度ｘ_Nを算出する。

ｘ_N＝ｍ_N＊ｘ_N0＋ｍ_P＊ｘ_P ・・・（３）

ここで、「＊」は乗算を示す。強度算出部１５５は、この（３）式による算出を、画像データの各画素に対して行って、画像データを構成する全画素の鮮鋭化強度を示す鮮鋭化強度マップを算出する。強度算出部１５５は、この（３）式の算出後であって、次のフレームの処理前に、前回鮮鋭化強度ｘ_Pに、平滑化処理後の今回鮮鋭化強度ｘ_Nを、次の（４）式のように代入しておく。

ｘ_P＝ｘ_N ・・・（４）

図４は、平滑化処理を説明するための図である。図４に示すように、強度算出部１５５は、推定された構図が風景構図である場合には、重み係数として、例えば、ｍ_N＝０．１，ｍ_P＝０．９と設定しておく。これにより、鮮鋭化処理部１４０に、比較的滑らかに鮮鋭化強度が変化する処理を行わせることができる。そして、画像データの構図が、風景構図から風景以外の構図に変化した場合に、強度算出部１５５は、重み係数をｍ_N＝１．０、ｍ_P＝０．０に変更して設定し、前回鮮鋭化強度を用いず、今回鮮鋭化強度（初期値）をそのまま用い、これにより良好な処理を行わせることができる。

強度算出部１５５は、このように平滑化処理後の今回鮮鋭化強度を、鮮鋭化処理部１４０に対して出力する。

次に、以上のように構成された本実施の形態の鮮鋭化強度算出部１５０による鮮鋭化強度算出処理について説明する。図５、図６は、実施の形態１の鮮鋭化強度算出処理の手順を示すフローチャートである。

まず、構図推定部１５１、シーンチェンジ判定部１５２および空検出部１５３は、それぞれフレームごとに画像データを入力する（ステップＳ１１）。そして、構図推定部１５１は、上述のように、入力された現在のフレームの画像データの構図を推定する（ステップＳ１２）。これにより、最新構図と信頼度が出力される。

次に、シーンチェンジ判定部１５２は、上述のように、入力された現在のフレームの画像データでシーンチェンジが検出されたか否かを判定する（ステップＳ１３）。そして、シーンチェンジが検出された場合には（ステップＳ１３：Ｙｅｓ）、最新構図で、現在のフレームの画像データの鮮鋭化処理における今回使用対象の構図を更新する（ステップＳ１８）。

一方、ステップＳ１３で、シーンチェンジが検出されなかった場合には（ステップＳ１３：Ｎｏ）、シーン判定部１５４は、ステップＳ１２で構図推定部１５１により出力された最新構図とその信頼度により、最新構図が前回入力された前フレームの画像データに対する鮮鋭化処理で使用された前回使用対象の構図と異なる構図であって、かつ第１閾値以上の信頼度の構図が第１回数以上連続したか否かを判定する（ステップＳ１４）。

そして、最新構図が、前回使用対象の構図と異なる構図であって、かつ第１閾値以上の信頼度の構図が第１回数以上連続した場合には（ステップＳ１４：Ｙｅｓ）、最新構図で、今回使用対象の構図を更新する（ステップＳ１８）。

一方、ステップＳ１４で、最新構図が前回使用対象の構図と同じ構図であるか、あるいは第１閾値以上の信頼度の構図が第１回数以上連続していない場合には（ステップＳ１４：Ｎｏ）、空検出部１５３は、上述のように、入力された現在のフレームの画像データで空検出を行う（ステップＳ１５）。そして、シーン判定部１５４は、前フレームの画像データで空検出無しの検出結果から、現フレームの画像データで空検出有りの結果に変化したか否かを判断する（ステップＳ１６）。

そして、前フレームの画像データで空検出無しの検出結果から、現フレームの画像データで空検出有りの結果に変化した場合には（ステップＳ１６：Ｙｅｓ）、最新構図で、今回使用対象の構図を更新する（ステップＳ１８）。

このように、空検出を行って、その検出結果により、最新構図で今回使用対象の構図を更新しているのは、構図推定の結果を補完して、精度を向上させるためである。

一方、ステップＳ１６で、前フレームの画像データで空検出無しの検出結果から、現フレームの画像データで空検出有りの結果に変化していない場合には（ステップＳ１６：Ｎｏ）、前回使用対象の構図を、今回使用対象の構図に設定した状態のままとする（ステップＳ１７）。

そして、強度算出部１５５は、画像データを構成するすべての画素に対して、構図に基づいて鮮鋭化強度を算出して鮮鋭化強度マップを求め、求めた鮮鋭化強度マップを今回鮮鋭化強度に設定する（ステップＳ１９）。

次に、強度算出部１５５は、今回鮮鋭化強度に対して、上述のとおり、平滑化処理を行う（ステップＳ２０）。そして、強度算出部１５５は、平滑化処理が行われた今回鮮鋭化強度を、鮮鋭化処理部１４０に出力する（ステップＳ２１）。

次に、鮮鋭化強度算出部１５０は、今回使用対象の構図を前回使用対象の構図に設定し、さらに、平滑化処理後の今回鮮鋭化強度を前回鮮鋭化強度に設定する（ステップＳ２２）。そして、鮮鋭化強度算出部１５０は、所定の終了指示があったか否かを判断し（ステップＳ２３）、終了指示がなければ（ステップＳ２３：Ｎｏ）、ステップＳ１１に戻り、次のフレームの画像データを入力して、ステップＳ１２からＳ２２までの処理を繰り返し実行する。

一方、ステップＳ２３で終了指示があった場合には（ステップＳ２３：Ｎｏ）、処理を終了する。以上により、鮮鋭化処理部１４０では、強度算出部１５５で算出された、今回使用対象の鮮鋭化強度を用いて、画像データに対して鮮鋭化処理を行う。そして、表示制御部１２１は、鮮鋭化処理が行われた画像データを表示装置１２２に表示する。

このように本実施の形態では、入力された画像データでシーンチェンジが検出されなかった場合でも、シーン判定部１５４は、構図推定部１５１により推定された最新構図が前回使用対象の構図と異なる構図であって、かつ第１閾値以上の信頼度の構図が第１回数以上連続した場合に、今回使用対象の構図を最新構図で更新して、最新構図に基づいて鮮鋭化強度を算出して、鮮鋭化処理を行っているので、動画データに対して違和感のない安定した鮮鋭化処理を実現することができる。

また、本実施の形態では、算出した鮮鋭化強度に対して、算出した鮮鋭化強度と、前回入力された前フレームの画像データに対する鮮鋭化強度である前回鮮鋭化強度とを用いて、構図の変化に基づいて平滑化処理を行って、鮮鋭化処理を行っているので、動画データに対してより違和感のない安定した鮮鋭化処理を実現することができる。

（実施の形態２）
実施の形態１では、最新構図が前回使用対象の構図と異なる構図であって、かつ第１閾値以上の信頼度の構図が第１回数以上連続した場合に、今回使用対象の構図を最新構図で更新していたが、この実施の形態２では、現在のフレームの画像データに対する前回使用対象の構図の信頼度である使用構図信頼度が第２閾値未満である画像データが第２回数以上連続した場合に、今回使用対象の構図を最新構図で更新している。

本実施の形態の画像表示装置の機能的構成は実施の形態１と同様である。本実施の形態では、鮮鋭化強度算出部の構成、機能が実施の形態１と異なっている。

図７は、実施の形態２の鮮鋭化強度算出部５５０の機能的構成を示すブロック図である。図７には、記憶部１６０に格納されるデータも示している。

記憶部１６０には、図２に示すように、実施の形態１と同様に、構図パターン、所定の第１閾値と、所定の第１回数とが予め記憶されている他、所定の第２閾値と、所定の第２回数が予め記憶されている。ここで、第２閾値は、第１閾値より小さい値である。

本実施の形態の鮮鋭化強度算出部５５０は、図７に示すように、構図推定部５５１と、シーンチェンジ判定部１５２と、空検出部１５３と、シーン判定部５５４と、強度算出部１５５とを備えている。ここで、シーンチェンジ判定部１５２、空検出部１５３、強度算出部１５５の機能は実施の形態１と同様である。

本実施の形態の構図推定部５５１は、実施の形態１と同様に、現在のフレームとして入力された画像データの構図を推定して信頼度を求め、信頼度が最大の構図を最新構図とする。さらに、構図推定部５５１は、現在のフレームの画像データに対する前回使用対象の構図の信頼度である使用構図信頼度を算出する。

本実施の形態のシーン判定部５５４は、実施の形態１と同様に、構図推定部５５１により、現在のフレームの画像データから推定された最新構図が、前回使用対象の構図と異なるか否か、及び、信頼度が記憶部１６０に予め記憶されている第１閾値以上であるか否かを判定する。そして、シーン判定部５５４は、最新構図が、前回使用対象の構図と異なり、かつ、信頼度が第１閾値以上である最新構図が出力される連続回数が、記憶部１６０に記憶されている第１回数以上である場合に、鮮鋭化処理での今回使用対象の構図を、現在のフレームの画像データから推定された最新構図で更新する。

さらに、本実施の形態では、シーン判定部５５４は、使用構図信頼度が、記憶部１６０に記憶された第２閾値未満であるか否かを判定し、使用構図信頼度が第２閾値未満である画像データが、記憶部１６０に記憶されている第２回数以上連続した場合に、今回使用対象の構図を、最新構図に更新する。

図８は、実施の形態２のシーン判定部５５４による今回使用対象の構図の更新について説明するための図である。図８に示す例では、前回入力された前フレームの画像データに対して使用対象とされた前回使用対象の構図が風景構図１であったとする。そして、図８では、現在のフレームの画像に対して構図推定部５５１による構図の推定結果をフレーム１から順に時系列で示している。

構図推定部５５１による構図推定結果において、図８の例では、２次元構図と風景構図１それぞれの信頼度が算出される。そして、構図推定部５５１は、信頼度が高い方の構図を最新構図として出力しており、図８の構図推定結果において、下線を引いた構図が最新構図であることを示している。ここで、図８の例では、第１閾値を０．６、第１回数をｍ回、第２閾値を０．３、第２回数をｍ’回と定めている。

図８に示すように、フレーム１では、信頼度が０．８の風景構図１が最新構図とされるが、フレーム２では信頼度が０．８の２次元構図が最新構図とされる。フレーム２では、最新構図が２次元構図と推定されて、前回使用対象の構図である風景構図１と異なる構図であり、かつ信頼度が第１閾値以上であるが、次のフレーム３で最新構図は信頼度が０．８の風景構図１に戻るため、この時点で、２次元構図は今回使用対象の構図に更新されない。

また、フレーム４およびフレーム５では、最新構図として２次元構図が出力されているが、信頼度０．５が第１閾値０．６未満であるため、この時点でも、２次元構図は今回使用対象の構図に更新されない。

しかし、フレーム６以降では、前回使用対象の構図である風景構図１の信頼度（使用構図信頼度）が０．２であり第２閾値０．３未満であって、しかも、連続する回数ｍ’回が第２回数であるため、フレームｎ’の出力の時点で、シーン判定部１５４により、最新構図である２次元構図が今回使用対象の構図と判定されることになる。

次に、以上のように構成された本実施の形態の鮮鋭化強度算出部５５０による鮮鋭化強度算出処理について説明する。図９は、実施の形態２の鮮鋭化強度算出処理の手順を示すフローチャートである。

構図推定部５５１、シーンチェンジ判定部１５２および空検出部１５３それぞれへのフレームごとの画像データの入力から、最新構図が前回入力された前フレームの画像データでの前回使用対象の構図と異なる構図であって、かつ第１閾値以上の信頼度の最新構図が第１回数以上連続したか否かの判断までの処理（ステップＳ１１〜Ｓ１４）は、実施の形態１と同様に行われる。

ステップＳ１４で、最新構図が前回使用対象の構図と同じ構図であるか、あるいは第１閾値以上の信頼度の構図が第１回数以上連続していない場合には（ステップＳ１４：Ｎｏ）、シーン判定部５５４は、使用構図信頼度が第２閾値未満である画像データが第２回数以上連続したか否かを判定する（ステップＳ３１）。そして、使用構図信頼度が第２閾値未満である画像データが第２回数以上連続した場合に（ステップＳ３１：Ｙｅｓ）、今回使用対象の構図を、最新構図に更新する（ステップＳ１８）。

一方、ステップＳ３１で、使用構図信頼度が第２閾値未満である画像データが第２回数以上連続していない場合には（ステップＳ３１：Ｎｏ）、空検出部１５３は、入力された現在のフレームの画像データで空検出を行う（ステップＳ１５）。これ以降の処理は、実施の形態１と同様である。

このように本実施の形態では、シーン判定部５５４が、最新構図が前回使用対象の構図と異なり、信頼度が第１閾値以上であることが第１回数以上連続するということが、起こらなかった場合であって、使用構図信頼度が第２閾値未満である画像データが第２回数以上連続した場合に、今回使用対象の構図を、最新構図で更新するので、動画データに対してより違和感のない安定した鮮鋭化処理をより正確に実現することができる。

なお、上記実施の形態の画像表示装置１００で実行される画像処理プログラムは、ＲＯＭ等に予め組み込まれて提供される。

上記実施の形態の画像表示装置１００で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、上記実施の形態の画像表示装置１００で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施の形態の画像表示装置１００で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

上記実施の形態の画像表示装置１００で実行される画像処理プログラムは、上述した各部（構図推定部１５１、５５１、シーンチェンジ判定部１５２、空検出部１５３、シーン判定部１５４、５５４、強度算出部１５５、鮮鋭化処理部１４０等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、構図推定部１５１、５５１と、シーンチェンジ判定部１５２と、空検出部１５３と、シーン判定部１５４、５５４と、強度算出部１５５、鮮鋭化処理部１４０等が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 画像表示装置
１１０ 画像処理部
１２０ 表示部
１２１ 表示制御部
１２２ 表示装置
１４０ 鮮鋭化処理部
１５０，５５０ 鮮鋭化強度算出部
１５１，５５１ 構図推定部
１５２ シーンチェンジ判定部
１５３ 空検出部
１５４，５５４ シーン判定部
１５５ 強度算出部
１６０ 記憶部
１７０ 入力部

Claims (8)

1. 時系列で入力される画像データごとに、前記画像データの構図を推定するとともに、推定した構図の確からしさを示す信頼度を算出する構図推定部と、
   推定された構図が、前回入力された画像データに対して使用対象の構図である前回使用対象の構図と異なるか否か、及び、前記信頼度が所定の第１閾値以上であるか否かを判定し、前記前回使用対象の構図と異なり、かつ、前記信頼度が前記第１閾値以上である構図が所定の第１回数以上連続した場合に、今回の使用対象の構図を、前記推定された構図で更新するシーン判定部と、
   前記今回の使用対象の構図に基づいて、前記画像データに対する鮮鋭化処理の強度を算出する強度算出部と、
   前記強度で前記画像データに対して前記鮮鋭化処理を行う鮮鋭化処理部と、
   を備えた画像処理装置。
2. 前記推定された構図が前記前回使用対象の構図と同じ、または、前記信頼度が所定の第１閾値以上である構図が前記第１回数以上連続しなかった場合に、前記画像データに空の画像が含まれるか否かを判定する空判定部、をさらに備え、
   前記シーン判定部は、前記前回入力された画像データに空の画像が含まれないと判定された場合であって、前記画像データに空の画像が含まれると判定された場合に、前記今回の使用対象の構図を、前記推定された構図で更新する、
   請求項１に記載の画像処理装置。
3. 前記構図推定部は、さらに、今回入力された画像データに対する前記前回使用対象の構図の信頼度である使用構図信頼度を算出し、
   前記シーン判定部は、前記推定された構図が前記前回使用対象の構図と同じ、または、前記推定された構図の前記信頼度が所定の第１閾値以上である構図が所定の第１回数以上連続しなかった場合に、さらに、前記使用構図信頼度が所定の第２閾値未満であるか否かを判定し、前記使用構図信頼度が前記第２閾値未満である画像データが所定の第２回数以上連続した場合に、前記今回の使用対象の構図を、前記推定された構図で更新する、
   請求項１または２に記載の画像処理装置。
4. 前記強度算出部は、算出された強度に対して、前記算出された強度と、前記前回入力された画像データに対して算出された強度である前回強度とに基づいて平滑化処理を行い、
   前記鮮鋭化処理部は、平滑化処理を行った強度で前記画像データに対して前記鮮鋭化処理を行う、
   請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記強度算出部は、前記前回使用対象の構図から前記今回の使用対象の構図への変化に基づいて重み係数を算出し、前記強度と前記前回強度とを、算出された重み係数を用いて重み付け加算することにより、前記強度に対して平滑化処理を行う、
   請求項４に記載の画像処理装置。
6. 前記強度算出部は、前記構図のうち遠景の領域に対して前記強度を低く算出し、前記構図のうち近影の領域に対して前記強度を高く算出する、
   請求項１〜５のいずれか一つに記載の画像処理装置。
7. 時系列で入力される画像データごとに、前記画像データの構図を推定するとともに、推定した構図の確からしさを示す信頼度を算出する構図推定部と、
   推定された構図が、前回入力された画像データに対して使用対象の構図である前回使用対象の構図と異なるか否か、及び、前記信頼度が所定の第１閾値以上であるか否かを判定し、前記前回使用対象の構図と異なり、かつ、前記信頼度が前記第１閾値以上である構図が所定の第１回数以上連続した場合に、今回の使用対象の構図を、前記推定された構図で更新するシーン判定部と、
   前記今回の使用対象の構図に基づいて、前記画像データに対する鮮鋭化処理の強度を算出する強度算出部と、
   前記強度で前記画像データに対して前記鮮鋭化処理を行う鮮鋭化処理部と、
   前記鮮鋭化処理を行った前記画像データを表示する表示部と、
   を備えた画像表示装置。
8. 時系列で入力される画像データごとに、前記画像データの構図を推定するとともに、推定した構図の確からしさを示す信頼度を算出し、
   推定された構図が、前回入力された画像データに対して使用対象の構図である前回使用対象の構図と異なるか否か、及び、前記信頼度が所定の第１閾値以上であるか否かを判定し、
   前記前回使用対象の構図と異なり、かつ、前記信頼度が前記第１閾値以上である構図が所定の第１回数以上連続した場合に、今回の使用対象の構図を、前記推定された構図で更新し、
   前記今回の使用対象の構図に基づいて、前記画像データに対する鮮鋭化処理の強度を算出し、
   前記強度で前記画像データに対して前記鮮鋭化処理を行う、
   画像処理方法。

Images