JP5152405B2 - 画像処理装置および画像処理方法、画像処理プログラム - Google Patents

Description

この発明は、画像処理装置および画像処理方法、画像処理プログラムに関する。

従来より、デジタルカメラなどによって撮影された画像が夜景画像かを判定する技術について、様々な研究が開示されている。例えば、輝度情報と位置情報とを組み合わせて、あるいは、輝度情報と彩度情報とを組み合わせて用いることで、夜景画像かを判定する技術が知られている。また、例えば、人が撮影された画像について、夜景画像かを判定する技術などが知られている。

ここで、夜景画像とは、全体的に暗い画像であるが、全体的に暗い画像と一口に言っても様々な画像がある。例えば、明るい部分が点々とある暗い画像があり、暗い背景の中に花火などのイルミネーションが点々とあるような夜景画像など該当する。また、例えば、大きな明るい部分がある暗い画像もあり、暗い背景の中に白い看板が大きく撮影された夜景画像などが該当する。また、例えば、明るい部分のない暗い画像もあり、夜の森が撮影された夜景画像などが該当する。なお、人が一般的に夜景画像としてイメージするのは、明るい部分が点々とある暗い画像である。

特開２００１−１０００８７号公報 特開２００１−３６７４４号公報 特開２００２−２３２７２８号公報 特開２００５−１２２７２０号公報 特開２００２−３６９０７５号公報 特開２００３−７３５０５号公報

しかしながら、上記した従来の技術は、夜景画像の内、明るい部分が点々とある暗い画像かを高精度に判定できなかった。つまり、様々な種類がある夜景画像の内、人によって夜景画像であるとしてイメージされる夜景画像かを高精度に判定できなかった。

開示の技術は、上記に鑑みてなされたものであって、明るい部分が点々とある暗い画像かを高精度に判定可能な画像処理装置および画像処理方法、画像処理プログラムを提供することを目的とする。

本願の開示する画像処理装置の一つの態様によれば、画像を形成する画素ごとに輝度を算出する輝度算出部を備える。また、前記輝度算出部によって算出された複数の輝度の平均輝度を算出する平均算出部を備える。また、前記輝度算出部によって輝度が算出された画素の内、画像の明部と暗部とを区別する輝度である区別値以上の輝度を識別し、識別した画素が当該画像において占める明部割合を算出する割合算出部を備える。また、前記輝度算出部によって算出された輝度に基づいて輝度ヒストグラムを生成し、生成した輝度ヒストグラムにおける区別値以上の輝度に対応する領域において、輝度分布の広がり量を示す分散値を算出する分散算出部を備える。また、前記平均算出部によって算出された平均輝度が第一の閾値以下であり、前記割合算出部によって算出された明部割合が第二の閾値以上であり、前記分散算出部によって算出された分散値が第三の閾値以上であるかを判定する判定部を備える。

本願の開示する画像処理装置の一つの態様によれば、明るい部分が点々とある暗い画像かを判定可能であるという効果を奏する。

図１は、実施例１に係る画像処理装置の概要を説明するための図である。 図２は、実施例１に係る画像処理装置の構成を説明するためのブロック図である。 図３は、実施例１における閾値記憶部を説明するための図である。 図４は、実施例１における輝度算出部を説明するための図である。 図５は、実施例１における区別値を説明するための図である。 図６−１は、実施例１における分散値算出部を説明するための図である。 図６−２は、実施例１における分散値算出部を説明するための図である。 図７は、実施例１における画像の種類と閾値との関係について説明するための図である。 図８は、実施例１における画像処理装置の処理の流れの一例を説明するためのフローチャートである。 図９は、実施例１における割合算出部による割合算出処理の流れの一例を説明するためのフローチャートである。 図１０−１は、実施例１係る画像処理装置の効果の一例を説明するための図である。 図１０−２は、実施例１係る画像処理装置の効果の一例を説明するための図である。 図１０−３は、実施例１係る画像処理装置の効果の一例を説明するための図である。 図１１−１は、実施例１係る画像処理装置の効果の一例を説明するための図である。 図１１−２は、実施例１係る画像処理装置の効果の一例を説明するための図である。 図１２は、実施例２に係る画像処理装置の構成を説明するためのブロック図である。 図１３は、実施例２における画像処理装置の処理の流れの一例を説明するためのフローチャートである。 図１４は、実施例３に係る画像処理装置の構成を説明するためのブロック図である。 図１５は、実施例３における画像処理装置の処理の流れの一例を説明するためのフローチャートである。 図１６は、実施例１に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

符号の説明

１００ 画像処理装置
１０１ 撮影部
２００ 記憶部
２０１ 閾値記憶部
２０２ 画像記憶部
３００ 制御部
３０１ 輝度算出部
３０２ 明るさ算出部
３０３ 区別値算出部
３０４ 割合算出部
３０５ 分散値算出部
３０６ 夜景画像判定部
３０７ 補正部
３０８ 撮影条件判定部
３０９ 人判定部

以下に添付図面を参照して、この発明に係る画像処理装置および画像処理方法、画像処理プログラムの実施例を詳細に説明する。なお、以下では、本実施例に係る画像処理装置の概要、画像処理装置の構成および処理の流れを順に説明し、その後、その他の実施例について説明する。

［画像処理装置の概要］
まず最初に、図１を用いて、実施例１に係る画像処理装置の概要を説明する。図１は、実施例１に係る画像処理装置の概要を説明するための図である。

実施例１に係る画像処理装置は、画像を形成する画素ごとに輝度を算出する。例えば、画像処理装置は、デジタルカメラなどによって撮影された画像データを受け付けると、受け付けた画像データを形成する画素ごとに輝度を算出し、図１に示すように、輝度ヒストグラムを生成する。

そして、実施例１に係る画像処理装置は、算出した複数の輝度の平均輝度を算出する。また、画像処理装置は、算出した輝度の内、画像の明部と暗部とを区別する輝度である区別値以上となる輝度を識別する。そして、画像処理装置は、識別した輝度の数が、算出した全輝度の数に対して占める明部割合を算出する。例えば、図１に示すように、画像処理装置は、暗部における度数の合計値が、輝度ヒストグラム内の全度数の合計値に対して占める割合を算出する。また、同様に、画像処理装置は、区別値以下となる輝度を識別し、暗部割合を算出する。

また、実施例１に係る画像処理装置は、輝度ヒストグラムにおける区別値以上の輝度に対応する領域において、輝度分布の広がり量を示す分散値を算出する。例えば、画像処理装置は、図１に示す明部において、輝度が広く分散しているのか、または、特定の輝度範囲に輝度が集中しているかを示す値を算出する。

そして、実施例１に係る画像処理装置は、平均輝度が第一の閾値以下であり、明部割合が第二の閾値以上であり、分散値が第三の閾値以上であり、暗部割合が第四の閾値以上かを判定する。そして、画像処理装置は、すべての閾値を満たしている場合に、明るい部分が点々とある暗い画像であると判定する。

すなわち、画像処理装置は、画像の平均輝度が低いかを判定することで、「明るい画像」を除外する。また、図１の（１）に示すように、暗部の画素数が多いかを判定することで、「大きな明るい部分がある暗い画像」を除外する。また、画像処理装置は、図１の（２）に示すように、画像に明るい画素が一定割合以上あり、明部があることを判定することで、「明るい部分のない暗い画像」を除外する。さらに、画像処理装置は、図１の（３）に示すように、明るい画素が広い輝度範囲に分散しているかを判定することで、「明るい部分のない暗い画像」や「大きな明るい部分がある暗い画像」を高精度に除外でき、「明るい部分が点々とある暗い画像」であるかを判定する。

このようなことから、実施例１に係る画像処理装置は、明るい部分が点々とある暗い画像かを判定可能である。また、本発明によれば、輝度のみを用いた少ない計算量にて判定でき、判定処理に要する処理負荷を軽減することが可能である。

［画像処理装置の構成］
次に、図２を用いて、図１に示した画像処理装置１００の構成を説明する。図２は、実施例１に係る画像処理装置の構成を説明するためのブロック図である。図２に示すように、画像処理装置１００は、撮影部１０１と記憶部２００と制御部３００とを備える。

撮影部１０１は、制御部３００と接続され、具体的には、後述する輝度算出部３０１と補正部３０７と接続される。また、撮影部１０１は、デジタルカメラやデジタルビデオカメラなどが該当し、画像を撮影すると、撮影した画像を輝度算出部３０１と補正部３０７とに送信する。なお、撮影部１０１は、例えば、画像処理装置１００を利用する利用者から指示を受けると、画像を撮影する。

記憶部２００は、制御部３００と接続され、制御部３００による各種判定処理に必要なデータを記憶する。また、図２に示すように、記憶部２００は、閾値記憶部２０１と画像記憶部２０２とを備える。

閾値記憶部２０１は、後述する夜景画像判定部３０６と接続され、図３に示すように、夜景画像判定部３０６による判定処理にて用いられる閾値を記憶する。なお、図３は、実施例１における閾値記憶部を説明するための図である。

図３に示す例では、閾値記憶部２０１は、４つの閾値を記憶し、第一の閾値「８０」と第二の閾値「１０％」と第三の閾値「２０」と第四の閾値「７０％」とを記憶する。なお、閾値記憶部２０１によって記憶された各閾値は、輝度や輝度スペクトル以外の情報を用いることなく、輝度や輝度スペクトルのみを用いて算出可能な特徴量に関する閾値である。

また、閾値記憶部２０１によって記憶された各閾値は、夜景画像判定部３０６による判定処理に用いられ、具体的には、撮影部１０１によって撮影された画像が「明るい部分が点々とある暗い画像」であるかを判定する処理に用いられる。つまり、閾値記憶部２０１によって記憶された各閾値は、「明るい部分が点々とある暗い画像」の輝度や輝度スペクトルから算出された特徴量であれば、後述する夜景画像判定部３０６が、判定処理にて閾値を満たすと判定することになる値である。

なお、各閾値の詳細については、夜景画像判定部３０６について説明する際に併せて説明し、ここでは説明を省略する。また、閾値記憶部２０１は、例えば、利用者によって予め閾値が格納され、閾値記憶部２０１に記憶された閾値は、夜景画像判定部３０６によって用いられる。

画像記憶部２０２は、補正部３０７と接続される。また、画像記憶部２０２は、撮影部１０１によって撮影された画像を記憶し、具体的には、補正部３０７によって補正された後の画像を記憶する。

制御部３００は、撮影部１０１と記憶部２００と接続され、各種の判定処理手順などを規定したプログラムを記憶する内部メモリを有して種々の判定処理を実行する。また、制御部３００は、輝度算出部３０１と、明るさ算出部３０２と、区別値算出部３０３と、割合算出部３０４と、分散値算出部３０５と、夜景画像判定部３０６と、補正部３０７とを備える。

輝度算出部３０１は、撮影部１０１と明るさ算出部３０２と接続され、図４に示すように、撮影部１０１から画像を受信すると、画像を形成する画素ごとに輝度を算出する。なお、図４は、実施例１における輝度算出部を説明するための図である。

輝度算出部３０１は、図４の（１）に示すように、画像を形成する画素ごとに、図４の（２）に示すように、輝度を算出する。例えば、図４の（２）に示す例では、輝度算出部３０１は、輝度「３０、４０、３、４、５…」を算出する。

また、輝度算出部３０１は、図４の（３）に示すように、輝度ヒストグラムを生成する。なお、図４の（３）に示す例では、横軸を輝度とし、縦軸を度数とする輝度ヒストグラムを示した。また、「０」から「２５５」までの値を用いて輝度の明暗を示す場合を例として用い、言い換えると、２５６段階の階調にて輝度の明暗を表現する場合を例に示した。

また、輝度算出部３０１は、画像を形成する画素ごとに輝度を算出すると、算出した複数の輝度や輝度ヒストグラムを明るさ算出部３０２に送信する。なお、ここで、輝度算出部３０１から明るさ算出部３０２に送信される複数の輝度や輝度ヒストグラムには、画像を構成する画素の内いずれの画素について算出された輝度かを示す位置情報が含まれない。つまり、輝度算出部３０１は、算出した輝度「３０、４０、３、４、５…」そのものや、図４の（３）に示すような輝度ヒストグラムのみを明るさ算出部３０２に送信する。

なお、輝度算出部３０１は、撮影部１０１によって撮影された画像について縮小し、縮小した画像を形成する画素各々について輝度を算出してもよい。つまり、撮影部１０１から受信した画像そのものではなく、画素数を減少させた画像を作成した処理を行い、後述する制御部３００内の各部にて用いられる輝度数を少なくして処理負荷を軽減してもよい。

明るさ算出部３０２は、輝度算出部３０１と区別値算出部３０３と接続され、撮影部１０１によって撮影された画像全体の明るさを示す明るさ値を算出する。具体的には、明るさ算出部３０２は、輝度算出部３０１から複数の輝度や輝度ヒストグラムを受信すると、輝度算出部３０１によって算出された複数の輝度の平均輝度を算出する。

例えば、明るさ算出部３０２は、下記の「数１」を用いて、輝度算出部３０１によって算出された複数の輝度の平均輝度を算出する。「数１」に示すように、明るさ算出部３０２は、輝度算出部３０１によって輝度「３０、４０、３、４、５…」が算出された場合には、算出された複数の輝度の合計値を、算出された輝度の個数で除算することで平均輝度を算出する。例えば、明るさ算出部３０２は、平均輝度「６０」を算出する。

また、例えば、明るさ算出部３０２は、下記の「数２」を用いて、輝度算出部３０１によって生成された輝度ヒストグラムを用いて、平均輝度を算出する。「数２」に示すように、明るさ算出部３０２は、「０」から「２５５」までの輝度それぞれについて、輝度（ｉ）における度数Ｈ（ｉ）を、輝度（ｉ）で乗算した値を算出する。そして、明るさ算出部３０２は、乗算して得られた値の合計値を全画素数で除算することで、平均輝度を算出する。なお、全画素数とは、「０」から「２５５」までの輝度それぞれに対応する度数Ｈの合計値を示し、例えば、輝度算出部３０１によって輝度が算出された画素の数を示す。

また、明るさ算出部３０２は、平均輝度を算出すると、輝度算出部３０１から受信した輝度各々や輝度ヒストグラムに加えて、平均輝度を区別値算出部３０３に送信し、例えば、平均輝度として「６０」を区別値算出部３０３に送信する。

区別値算出部３０３は、明るさ算出部３０２と割合算出部３０４と接続される。また、区別値算出部３０３は、輝度や輝度ヒストグラム、平均輝度を明るさ算出部３０２から受信すると、区別値を算出する。区別値は、図５に示すように、画像の明部と暗部とを区別する輝度である。なお、図５は、実施例１における区別値を説明するための図である。

例えば、区別値算出部３０３は、輝度算出部３０１によって生成された輝度ヒストグラムを用いて、画像の輝度ヒストグラムの暗部と明部の二つのピークの度数の割合から区別値を算出し（特開2001-36744号公報）、例えば、区別値「５０」を算出する。

なお、区別値算出部３０３は、明るさ算出部３０２によって算出された平均輝度を区別値としてもよい。また、区別値算出部３０３は、平均輝度から所定の値を減らした値を区別値としてもよく、例えば、平均輝度を２割程度減算した輝度値を区別値としてもよい。また、区別値算出部３０３は、区別値を算出するのではなく、予め利用者によって設定された値を区別値としてもよい。

また、区別値算出部３０３は、明るさ算出部３０２から受信した輝度や輝度ヒストグラム、平均輝度に加えて、区別値を割合算出部３０４に送信し、例えば、区別値として「７０」を送信する。

割合算出部３０４は、区別値算出部３０３と分散値算出部３０５と接続される。また、割合算出部３０４は、輝度や輝度ヒストグラム、平均輝度、区別値を区別値算出部３０３から受信すると、明部割合や暗部割合を算出する。

ここで、明部割合は、画像を形成する画素の内区別値以上の輝度を示す画素が、画像を形成する全画素に対して占める割合である。また、暗部割合は、画像を形成する画素の内画区別値以下の輝度を示す画素が、画像を形成する全画素に対して占める割合である。

具体的には、割合算出部３０４は、輝度算出部３０１によって算出された輝度の内、区別値以上となる輝度の数を識別する。そして、割合算出部３０４は、輝度算出部３０１によって算出された輝度の数に対して、識別した輝度の数が占める明部割合を算出する。また、同様に、割合算出部３０４は、区別値以下となる輝度の数を識別し、輝度算出部３０１によって算出された輝度の数に対して、識別した輝度の数が占める暗部割合を算出する。

割合算出部３０４は、下記の「数３」や「数４」に示すように、輝度ヒストグラムを用いて、暗部割合や明部割合を算出する。

例えば、暗部割合を算出する場合には、「数３」に示すように、割合算出部３０４は、「０」から区別値までの輝度それぞれについて、輝度（ｉ）における度数Ｈ（ｉ）を輝度（ｉ）と乗算した値を算出する。すなわち、割合算出部３０４は、図５の「暗部」における度数の合計値を算出する。そして、明るさ算出部３０２は、算出した値の合計値を全画素数で除算することで、暗部割合を算出する。例えば、割合算出部３０４は、暗部割合「８０％」を算出する。

また、例えば、明部割合を算出する場合には、「数４」に示すように、割合算出部３０４は、「区別値＋１」から「２５５」までの輝度それぞれについて、輝度（ｉ）における度数Ｈ（ｉ）を輝度（ｉ）と乗算した値を算出する。すなわち、割合算出部３０４は、図５の「明部」における度数の合計値を算出する。そして、明るさ算出部３０２は、算出した値の合計値を全画素数で除算することで、明部割合を算出する。例えば、割合算出部３０４は、明部割合「２０％」を算出する。

なお、「数４」に示すように、暗部割合を既に算出済みである場合には、明るさ算出部３０２は、「１」から算出した暗部割合を減算することで、明部割合を算出してもよい。

なお、割合算出部３０４は、輝度ヒストグラムを用いることなく、暗部割合や明部割合を算出しても良い。例えば、割合算出部３０４は、受信した輝度について、区別値以上か区別値以下かをそれぞれ判定することで、区別値以上になる輝度の数や区別値以下になる輝度の数を算出する。そして、割合算出部３０４は、区別値以上になる輝度の数や区別値以下になる輝度の数を、全画素数で除算することで明部割合や暗部割合を算出する。なお、受信した輝度各々を用いて明部割合と暗部割合とを算出する処理の流れの詳細については、後述するためここでは説明を省略する。

また、割合算出部３０４は、明部割合や暗部割合を算出すると、区別値算出部３０３から受信した輝度や輝度ヒストグラム、平均輝度、区別値に加えて、暗部割合や明部割合を分散値算出部３０５に送信する。例えば、割合算出部３０４は、暗部割合として「８０％」を送信し、明部割合として「２０％」を送信する。

分散値算出部３０５は、割合算出部３０４と夜景画像判定部３０６と接続される。また、分散値算出部３０５は、輝度や輝度ヒストグラム、平均輝度、区別値、暗部割合や明部割合を割合算出部３０４から受信すると、輝度ヒストグラムを用いて、区別値以上の輝度に対応する輝度範囲における輝度分布の広がり量を示す分散値を算出し、例えば、分散値「２０」を算出する。

具体的には、分散値算出部３０５は、図６−１の「明部」に示すように、区別値以上の輝度に対応する輝度範囲において、度数の分布が特定の範囲の輝度に集中していれば集中しているほど、分散値として小さな値を算出する。また、例えば、図６−２の「明部」に示すように、区別値以下の輝度に対応する輝度範囲において、度数の分布が広範囲の輝度に分散していればしているほど、分散値として大きな値を算出する。なお、図６−１は、実施例１における分散値算出部を説明するための図である。また、図６−２は、実施例１における分散値算出部を説明するための図である。

例えば、分散値算出部３０５は、下記の「数５」や「数６」を用いて、分散値を算出する。ここで言う“分散値”は、数学的な“分散”に限定されるものではなく、次のように分布の広がりを示す値であればよい。「数５」や「数６」に示す例では、分散値算出部３０５は、「区別値＋１」から「２５５」までの輝度それぞれについて、明部内における平均輝度と輝度（ｉ）との差分の大きさ示す値を算出し、例えば、（ｉ−明部内における平均輝度）の絶対値や（ｉ−明部内における平均輝度）を２乗した値を算出する。そして、分散値算出部３０５は、「区別値＋１」から「２５５」までの輝度それぞれについて、明部内における平均輝度と輝度（ｉ）との差分の大きさ示す値を、輝度（ｉ）における度数Ｈ（ｉ）で乗算した値を算出する。そして、明るさ算出部３０２は、算出した値の合計値を、明部を形成する全画素数で除算することで、分散値を算出する。なお、明部を形成する全画素数とは、明部における度数の合計値になる。

「数５」や「数６」に示すように、輝度ごとに算出される値は、区別値以上の輝度に対応する輝度範囲内における平均輝度と輝度（ｉ）との差が小さければ小さいほど、つまり、平均輝度に近い輝度であればあるほど、小さな値になる。また、輝度ごとに算出される値は、明部内における平均輝度と輝度（ｉ）との差が大きければ大きいほど、つまり、平均輝度から離れた輝度であればあるほど、大きな値になる。この結果、分散値は、平均輝度から離れた輝度に大きな度数があればあるほど、大きな値になる。

なお、例えば、分散値算出部３０５は、下記に示す「数７」を用いて、区別値以上の輝度に対応する輝度範囲内における平均輝度を算出する。「数７」に示す例では、分散値算出部３０５は、「区別値＋１」から「２５５」までの輝度それぞれについて、輝度（ｉ）における度数Ｈ（ｉ）を、輝度（ｉ）で乗算した値を算出する。そして、分散値算出部３０５は、そして、「区別値＋１」から「２５５」までの輝度それぞれについて算出した値の合計値を算出する。そして、分散値算出部３０５は、算出した値の合計値を、明部を形成する画素数で除算することで、明部における平均輝度を算出する。

なお、分散値算出部３０５は、ヒストグラムを用いずに、各画素の輝度値から分散値や平均輝度を直接算出しても構わない。その場合には、分母を、（区別値よりも大きな輝度値を持つ画素の総数）とし、分子を、（輝度値が区別値よりも大きな画素の輝度値−輝度値が区別値よりも大きな画素の平均輝度）を二乗した値のΣとした値を分散値とすればよい。

また、分母を、（区別値よりも大きな輝度値を持つ画素の総数）とし、分子を、（輝度値が区別値よりも大きな画素の輝度値）のΣとした値を平均輝度とすればよい。

また、分散値算出部３０５は、分散値を算出すると、割合算出部３０４から受信した平均輝度、明部割合、暗部割合に加えて、分散値を夜景画像判定部３０６に送信し、例えば、分散値「２０」を送信する。

夜景画像判定部３０６は、閾値記憶部２０１と分散値算出部３０５と補正部３０７と接続される。また、夜景画像判定部３０６は、閾値記憶部２０１を参照し、平均輝度が第一の閾値以下であり、明部割合が第二の閾値以上であり、分散値が第三の閾値以上であるかを判定する。また、夜景画像判定部３０６は、暗部割合が第四の閾値以上であるかを判定する。

つまり、夜景画像判定部３０６は、平均輝度が第一の閾値以下であるかを判定することで、全体的に暗い画像であるかを判定し、「明るい画像」を除外する。また、夜景画像判定部３０６は、暗部割合が第四の閾値以上であるかを判定することで、「大きな明るい部分がある暗い画像」を除外する。また、夜景画像判定部３０６は、明部割合が第二の閾値以上であるかを判定することで、「明るい部分のない暗い画像」を除外する。また、夜景画像判定部３０６は、分散値が第三の閾値以上であるかを判定することで、「明るい部分のない暗い画像」や「大きな明るい部分がある暗い画像」を除外する。そして、夜景画像判定部３０６は、閾値をすべて満たすと判定する場合に、「明るい部分が点々とある暗い画像」であると判定する。

ここで、各閾値についてさらに説明する。夜景画像は全体的に暗い画像であり、第一の閾値は、暗い画像か否かを判定するための閾値である。例えば、第一の閾値は、最大２５６階調の場合、１２８以下の値に設定し、図３に示す例では、「８０」になる。また、夜景画像は一定割合で明るい画素がある画像であり、第二の閾値は、画像に明るい画素があるかを判定するための閾値である。例えば、第二の閾値は、「０〜５０％」の範囲内で設定し、図３に示す例では、「１０％」になる。また、夜景画像は、明るい画素が点々とある画像であり。例えば、暗い景色のなかに花火などのイルミネーションがあり、そのような画像は明るい画素の輝度値が、非常に明るい値から暗めの値まで広がりを持つ傾向がある。第三の閾値は、このような傾向である明部の広がりが大きいかを判定するための閾値である。例えば、第三の閾値は、明部において画素が均一に分散した場合に得られる分散値の「２０％〜５０％」の範囲で設定し、図３に示す例では、式６を使う場合「２０」になる。また、夜景画像は暗部の割合が大きい画像であり、第四の閾値は、暗部の割合が大きいかを判定するための閾値である。例えば、第四の閾値は、「５０％」以上の値に設定し、図３に示す例では、「７０％」になる。

ここで、図７を用いて、実施例１における夜景画像の種類と閾値との関係について説明する。図７は、実施例１における夜景画像の種類と閾値との関係について説明するための図である。図７では、画像の種類ごとに、平均輝度や暗部割合、明部割合、分散値に対する閾値との関係を示した。図７に示す例では、画像の種類として、「明るい画像」と「明るい部分のない暗い画像」と「大きな明るい部分がある暗い画像」と「明るい部分が点々とある暗い画像」とを例に示した。

図７に示すように、「明るい画像」である場合には、平均輝度が第一の閾値以下になり、また、暗部割合が第四の閾値以下になる。このため、夜景画像判定部３０６は、第一の閾値や第四の閾値を用いて、「明るい画像」を除外する。また、「明るい部分のない暗い画像」である場合には、明部割合が第二の閾値以下になり、また、分散値が第三の閾値以下になる。このため、夜景画像判定部３０６は、第二の閾値や第三の閾値を用いて、「明るい部分のない暗い画像」を除外する。また、「大きな明るい部分がある暗い画像」である場合には、分散値が第三の閾値以下になり、また、暗部割合が第四の閾値以下になる。このため、夜景画像判定部３０６は、第三の閾値や第四の閾値を用いて、「大きな明るい部分がある暗い画像」を除外する。

ここで、第三の閾値についてさらに説明する。まず、「明るい部分のない暗い画像」である場合に、分散値が第三の閾値以下になる点について説明し、その後、「大きな明るい部分がある暗い画像」である場合に、分散値が第三の閾値以下になる点について説明する。

まず、「明るい部分のない暗い画像」について説明する。上記したように、分散値は、平均輝度から離れた輝度に大きな度数があればあるほど、大きな値になる。「明るい部分のない暗い画像」には、明るい画素がほとんど無い結果、区別値以上の輝度範囲に度数がほとんど無く、その結果、分散値が第三の閾値以下になる。

次に、「大きな明るい部分がある暗い画像」について説明する。「明るい部分が点々とある暗い画像」内の明るい部分では、明るい部分それぞれの大きさが大きくないため、特定の輝度に集中することなく、例えば、花火などのイルミネーションを見ればわかるように、明るい値から暗い値まで輝度が分散する。一方、「大きな明るい部分がある暗い画像」では、明るい部分の大きさが大きく、「明るい部分が点々とある暗い画像」と比較すると、輝度が特定の値に集中することになる。例えば、白い大きな看板を含む暗い画像を見ればわかるように、白い看板部分が示す輝度は、特定の値に集中する。

また、夜景画像判定部３０６は、判定が終了すると、判定結果を補正部３０７に送信すし、例えば、「明るい部分が点々とある暗い画像」であると判定すると、「明るい部分が点々とある暗い画像」である旨を送信する。

補正部３０７は、撮影部１０１と画像記憶部２０２と夜景画像判定部３０６と接続される。また、補正部３０７は、撮影部１０１から画像を受信し、その後、夜景画像判定部３０６から判定結果を受信すると、判定結果によって特定される補正手法により、画像を補正する。そして、補正部３０７は、補正した画像を画像記憶部２０２に格納する。

例えば、補正部３０７は、夜景画像判定部３０６から「明るい部分が点々とある暗い画像」である旨の判定結果を受信すると、夜景画像を補正する補正手法を用いて画像を補正し、例えば、より明るくする補正やより鮮やかにする補正を行う。また、例えば、補正部３０７は、夜景画像判定部３０６から受信した判定結果により、画像の種類が補正が不要である画像である場合には、補正を行わず、撮影部１０１から受信した画像をそのまま画像記憶部２０２に格納する。

すなわち、補正部３０７は、夜景画像判定部３０６による判定結果により特定される夜景画像の種類に合わせて、補正手法を変更する。例えば、「明るい部分が点々とある暗い画像」であると判定されると、補正部３０７は、より明るくする補正やより鮮やかにする補正を行う。また、「大きな明るい部分がある暗い画像」であると判定されると、例えば、白い看板が大きく写っているような夜景画像については、補正部３０７は、白い看板部の白つぶれを抑制するために基本的に補正をしない。また、「明るい部分のない暗い画像」であると判定されると、例えば、夜の森が撮影された夜景画像については、補正部３０７は、より明るくする補正を行う。

なお、この画像処理装置１００は、パーソナルコンピュータ、携帯電話、ＰＨＳ（Personal Handyphone System）端末、移動体通信端末などの情報処理装置に、図２に示した各部の各機能を搭載することによって実現してもよい。

［画像処理装置による処理］
次に、図８を用いて、実施例１に係る画像処理装置１００の処理の流れの一例について説明する。図８は、実施例１における画像処理装置の処理の流れの一例を説明するためのフローチャートである。なお、図８では、夜景画像か否かを判定するまでの処理の流れの一例を示した。

図８に示すように、実施例１に係る画像処理装置１００では、輝度算出部３０１は、撮影部１０１から画像を受信すると（ステップＳ１０１肯定）、画像を形成する画素ごとに輝度を算出する（ステップＳ１０２）。例えば、輝度算出部３０１は、輝度「３０、４０、３、４、５…」を算出する。

そして、明るさ算出部３０２は、画像の明るさを示す明るさ値を算出する（ステップＳ１０３）。例えば、明るさ算出部３０２は、輝度算出部３０１によって算出された複数の輝度の平均輝度を算出し、平均輝度「６０」を算出する。

そして、区別値算出部３０３は、区別値を算出する（ステップＳ１０４）。例えば、区別値算出部３０３は、平均輝度を２割程度減算した輝度値を区別値として算出する。例えば、区別値「５０」を算出する。

そして、割合算出部３０４は、明部割合や暗部割合を算出し（ステップＳ１０５）、例えば、暗部割合「８０％」や明部割合「２０％」を算出する。なお、割合算出部３０４による割合算出処理の流れの詳細な一例について、図９を用いて後述するため説明を省略する。

そして、分散値算出部３０５は、輝度ヒストグラムを用いて、明部における輝度分布の広がり量を示す分散値を算出し（ステップＳ１０６）、例えば、分散値「２０％」を算出する。

そして、夜景画像判定部３０６は、閾値記憶部２０１を参照し、平均輝度が第一の閾値以下であり（ステップＳ１０７）、明部割合が第二の閾値以上であり（ステップＳ１０８）、分散値が第三の閾値以上であるかを判定する（ステップＳ１０９）。また、夜景画像判定部３０６は、暗部割合が第四の閾値以上であるかを判定する（ステップＳ１１０）。

ここで、夜景画像判定部３０６は、すべての閾値を満たすと判定すると（ステップＳ１０７肯定＆ステップＳ１０８肯定＆ステップＳ１０９肯定＆ステップＳ１１０肯定）、「明るい部分が点々とある暗い画像」であると判定する（ステップＳ１１１）。一方、夜景画像判定部３０６は、いずれか一つでも閾値を満たさないと判定すると（ステップＳ１０７否定ｏｒステップＳ１０８否定ｏｒステップＳ１０９否定ｏｒステップＳ１１０否定）、「明るい部分が点々とある暗い画像」ではないと判定する（ステップＳ１１２）。

［実施例１に係る画像処理装置による処理］
次に、図９を用いて、実施例１における割合算出部３０４による割合算出処理の流れの一例について説明する。なお、図９は、実施例１における割合算出部による割合算出処理の流れの一例を説明するためのフローチャートである。なお、図９を用いて説明する処理の流れは、図８を用いて説明した処理の流れの内、ステップＳ１０５に対応する。

図９に示すように、割合算出部３０４は、区別値算出部３０３から輝度算出部３０１によって算出された複数の輝度を受け付けると、受け付けた輝度の内一つを選択し（ステップＳ２０１）、区別値と比較する（ステップＳ２０２）。ここで、割合算出部３０４は、区別値より輝度より大きい場合には（ステップＳ２０３肯定）、明部に対応する画素数に「１」追加する（ステップＳ２０４）。一方、割合算出部３０４は、区別値より輝度より大きくない場合には（ステップＳ２０３否定）、暗部に対応する画素数に「１」追加する（ステップＳ２０５）。

そして、割合算出部３０４は、受け付けたすべての輝度を選択したかを判定し（ステップＳ２０６）、すべての輝度を選択していないと判定すると（ステップＳ２０６否定）、上気したステップＳ２０１〜Ｓ２０４の処理を繰り返す。

また、割合算出部３０４は、すべての輝度を選択したと判定すると（ステップＳ２０６肯定）、「暗部に対応する画素数」を「全画素数」で除算して暗部割合を算出する（ステップＳ２０７）。例えば、割合算出部３０４は、暗部に対応する画素数が「２０」であり、全画素数が「１００」である場合には、暗部割合「２０％」を算出する。

そして、割合算出部３０４は、「明部に対応する画素数」を「全画素数」で除算して明部割合を算出する（ステップＳ２０８）。例えば、割合算出部３０４は、明部に対応する画素数が「８０」であり、全画素数が「１００」である場合には、明部割合「８０％」を算出する。

［実施例１の効果］
上記したように、実施例１によれば、画像処理装置１００は、画像を形成する画素ごとに輝度を算出し、平均輝度を算出し、明部割合を算出する。また、画像処理装置１００は、輝度ヒストグラムを生成し、生成した輝度ヒストグラムにおける区別値以上の輝度に対応する領域において、輝度分布の広がり量を示す分散値を算出する。そして、画像処理装置１００は、平均輝度が第一の閾値以下であり、明部割合が第二の閾値以上であり、分散値が第三の閾値以上であるかを判定する。この結果、実施例１によれば、明るい部分が点々とある暗い画像かを判定可能である。また、本発明によれば、輝度を算出した後には、原画像を参照することなく、輝度のみを用いた少ない計算量にて判定可能である。

また、実施例１によれば、画像処理装置１００は、暗部割合を算出し、暗部割合が第四の閾値以上であるかをさらに判定するので、明るい部分が点々とある暗い画像かを高精度に判定することが可能である。

また、実施例１によれば、画像処理装置１００は、輝度ヒストグラムを用いて平均輝度や明部割合、暗部割合、分散値を算出でき、輝度ヒストグラムのみを用いて簡単に夜景画像かを判定するための特徴量を算出して簡単に判定することが可能である。

また、図１０に示すように、実施例１によれば、画像に人が含まれているかに関係なく、輝度のみを用いて、明るい部分が点々とある暗い画像かを判定することが可能である。すなわち、図１０−１に示すように、画像の中心に人が含まれているかや、図１０−２に示すように、画像に人が含まれていないか、図１０−３に示すように、画像の端に人が含まれているかに関係なく、判定することが可能である。なお、図１０−１〜図１０−３は、実施例１係る画像処理装置の効果の一例を説明するための図である。

また、図１１に示すように、実施例１によれば、点々とある明るい部分が、図１１−１に示すように、画面全面に等しく分散している場合や、図１１−２に示すように、特定の領域に集中している場合に関係なく、輝度のみを用いて判定可能である。なお、図１１−１や図１１−２は、実施例１係る画像処理装置の効果の一例を説明するための図である。つまり、実施例１によれば、輝度のみを用いて原画像を参照することなく判定可能なので、図１１−２に示すような場合であっても、点々とある明るい部分各々を一つの点として認識することなく、判定することが可能である。

さて、これまで、実施例１として、撮影部１０１によって撮影された画像すべてについて判定処理を行う手法について説明したが、本発明はこれに限定されるものではなく、一部のみについて判定処理を行っても良い。

具体的には、画像が撮影された撮影条件を用いた一次判定処理を行い、撮影条件を用いた判定にて夜景画像であると判定した画像についてのみ、実施例１にて説明したように、夜景画像判定部３０６が判定処理を行っても良い。

そこで、以下では、実施例２として、撮影条件を用いた一次判定処理を行う手法について説明する。なお、以下では、実施例１に係る画像処理装置と同様の点については、簡単に説明し、または、説明を省略する。

例えば、図１２に示すように、実施例２に係る画像処理装置１００は、図２を用いて説明した実施例１に係る画像処理装置１００の構成に加えて、さらに、撮影条件判定部３０８を備える。

ここで、撮影部１０１は、撮影条件判定部３０８と接続され、撮影した画像に加えて、画像が撮影された撮影条件を撮影条件判定部３０８に送信する。具体的には、撮影部１０１は、撮影条件として、絞り値やＩＳＯ値、撮影時間、シャッタースピードなどを撮影条件判定部３０８に送信する。

そして、撮影条件判定部３０８（「取得部」や「撮影情報判定部」と称する）は、撮影部１０１と夜景画像判定部３０６と接続される。また、撮影条件判定部３０８は、撮影部１０１から撮影条件を取得し、取得した撮影条件を用いて、画像が暗い環境下において撮影されたかを一次判定処理を行う。例えば、撮影条件判定部３０８は、撮影部１０１から受信した画像に撮影条件を示す情報が含まれている場合には、画像から撮影条件を読み出し、一次判定処理を行う。そして、撮影条件判定部３０８は、一次判定結果を夜景画像判定部３０６に送信する。

つまり、撮影条件判定部３０８は、画像の撮影条件を用いて、画像が、暗い環境下において撮影されたか否かを判定し、暗い環境下において撮影された場合には、夜景画像である可能性がある旨を夜景画像判定部３０６に送信する。なお、撮影条件判定部３０８による判定処理の流れの詳細な一例については、図１３を用いて後述するため、ここでは説明を省略する。

また、夜景画像判定部３０６では、撮影条件判定部３０８によって夜景画像である可能性があると判定されると、判定処理を行い、一方、夜景画像でない旨を受信すると、判定処理を行うことなく、夜景画像でない旨を判定結果として補正部３０７に送信する。つまり、夜景画像判定部３０６は、撮影判定部によって画像が暗い環境下において撮影されたと判定された場合にのみ、判定処理を行う。

［実施例２に係る画像処理装置の処理］
図１３を用いて、実施例２における撮影条件判定部３０８による処理の流れの一例について説明する。なお、図１３は、実施例２における撮影条件判定部による処理の流れの一例を説明するためのフローチャートである。

例えば、図１３に示すように、撮影条件判定部３０８は、画像を受信すると（ステップＳ３０１肯定）、画像の撮影時間を取得する（ステップＳ３０２）。そして、撮影時間が夜かを判定する（ステップＳ３０３）。ここで、撮影条件判定部３０８は、撮影時間が２２時であり、夜であると判定すると（ステップＳ３０３肯定）、例えば、絞り値やシャッタースピードを取得する（ステップＳ３０４）。

そして、例えば、図１３に示すように、撮影条件判定部３０８は、絞り値が小さく、また、シャッタースピードが遅いかを判定する（ステップＳ３０５）。ここで、撮影条件判定部３０８は、絞り値が小さく、また、シャッタースピードが遅いと判定すると（ステップＳ３０５肯定）、明るい部分が点々とある暗い画像である可能性があると判定し（ステップＳ３０６）、その後、夜景画像判定部３０６が判定処理を行う。

一方、上記したステップＳ３０３において、夜でないと判定し（ステップＳ３０３否定）、または、ステップＳ３０５において、絞り値が大きく、シャッタースピードが早いと判定する（ステップＳ３０５否定）場合について説明する。この場合、撮影条件判定部３０８は、明るい部分が点々とある暗い画像ではないと判定し（ステップＳ３０７）、その後、夜景画像判定部３０６が判定処理を行わない。例えば、夜景画像判定部３０６は、判定処理を行わずに、明るい部分が点々とある暗い画像でない旨を判定結果として補正部３０７に送信し、補正部３０７は、補正を行わずに画像を画像記憶部２０２に格納する。

なお、図１３に示す例では、撮影時間と絞り値、シャッタースピードを用いる例について説明したが、本発明はこれに限定されるものではなく、さらに、ＩＳＯ値やその他の情報を用いても良い。また、同様に、撮影時間と絞り値、シャッタースピードの内、一部のみを用いても良い。

［実施例２の効果］
上記したように、実施例２によれば、撮影条件判定部３０８は、画像が撮影された撮影条件を示す絞り値、ＩＳＯ値、撮影時間、シャッタースピードの内いずれか一つまたは複数を取得し、撮影条件を用いて、画像が暗い環境下において撮影されたかを判定する。そして、夜景画像判定部３０６は、撮影条件判定部３０８によって画像が暗い環境下において撮影されたと判定された場合にのみ、判定するので、夜景画像かを高精度に判定することが可能である。また、撮影条件判定部３０８による処理の結果、昼間に撮影された画像など、明らかに夜景画像ではない画像については、撮影条件判定部３０８による判定処理を省略することができ、夜景画像判定部３０６における処理負荷を軽減することが可能である。

さて、これまで、実施例１や２では、輝度算出部３０１が、画像全面について一律に処理を行う手法について説明したが、本発明はこれに限定されるものではない。例えば、画像から人を除いた部分を用いて判定し、また、人を除いた部分について夜景画像として補正してもよい。

例えば、暗い環境下において人を撮影した画像では、フラッシュの光が人にあたる結果、平均輝度が高くなったり、暗部割合が低くなる。このような場合に、人が撮影された部分を除いた画像について、輝度を算出して判定することで、夜景画像かを高精度に判定することが可能である。

また、人が撮影された画像に適した補正手法は、夜景画像を補正する手法とは異なる。このため、人が含まれている夜景画像である場合に、画像全面を夜景画像に適した補正手法により補正すると、人が撮影された部分について適切な補正とはならない。

そこで、以下では、実施例３として、画像から人を除いた部分を用いて夜景画像かを判定し、人を除いた部分について夜景画像として補正する手法について説明する。

図１４に示すように、実施例３に係る画像処理装置１００は、画像に人が撮影されているかを判定する人判定部３０９をさらに備える。図１４に示す例では、人判定部３０９は、撮影部１０１と輝度算出部３０１と夜景画像判定部３０６と接続され、撮影部１０１から画像を受信すると、受信した画像内に人が撮影されているかを判定する。

例えば、人判定部３０９は、一般的な顔認識技術や顔検出技術を用いて、画像内に人の顔が含まれているかを判定する。そして、人判定部３０９は、顔が含まれていると判定すると、画像内にて顔が占める領域を特定する顔座標を識別し、また、画像内にて体が占める領域を特定する体座標を識別する。

そして、人判定部３０９は、人が撮影されていると判定すると、撮影部１０１から受信した画像に加えて、顔座標と体座標とを輝度算出部３０１に送信し、また、人を含む画像である旨を夜景画像判定部３０６に送信する。一方、人判定部３０９は、人が撮影されていないと判定すると、撮影部１０１から受信した画像のみを輝度算出部３０１に送信する。

そして、輝度算出部３０１は、人判定部３０９と明るさ算出部３０２と接続される。また、輝度算出部３０１は、人判定部３０９によって人が撮影されていると判定された場合に、画像から人が撮影されている部分に対応する画素を識別し、画像を形成する画素の内識別した画素を除いた他の画素について輝度を算出する。

具体的には、輝度算出部３０１は、画像と顔座標と体座標とを人判定部３０９から受信すると、画像の内、顔座標と体座標によって特定される領域についての画素を識別し、識別した画素以外の画素について輝度を算出する。つまり、輝度算出部３０１は、人の顔や体に対応する部分以外の部分に対応する画素について、輝度を算出する。

なお、輝度算出部３０１は、人判定部３０９から画像のみを受信した場合は、上記した実施例１にて説明した処理と同様の処理を行う。

また、夜景画像判定部３０６は、人判定部３０９とさらに接続される。また、夜景画像判定部３０６は、判定処理を行う場合に、人を含む画像であるかを判定し、例えば、人を含む画像である旨を人判定部３０９から受信したかをさらに判定する。そして、夜景画像判定部３０６は、明るい部分が点々とある暗い画像であると判定し、人を含む画像である旨を受信した場合には、人を含む明るい部分が点々とある暗い画像であると判定する。また、夜景画像判定部３０６は、明るい部分が点々とある暗い画像であると判定し、人を含む画像である旨を受信していない場合には、人を含まない明るい部分が点々とある暗い画像であると判定する。

また、その後、補正部３０７は、夜景画像判定部３０６によって人を含む明るい部分が点々とある暗い画像であると判定された場合には、人が撮影された部分について、人が撮影された画像に適した補正手法により補正し、人が撮影された部分を除いた部分について、夜景画像を補正するのに適した補正手法により補正する。

例えば、補正部３０７は、人判定部３０９によって識別された顔座標と体座標とを用いて、画像の内、顔座標と体座標によって特定される領域を識別する。そして、補正部３０７は、識別した領域以外の領域について、夜景画像を補正する補正手法を用いて補正する。また、補正部３０７は、画像の内、顔座標によって特定される領域を識別し、識別した領域について、顔を補正するのに適した手法を用いて補正する。なお、補正部３０７は、例えば、人判定部３０９から顔座標と体座標とを受信してもよく、補正部３０７が、顔座標と体座標とを画像から識別してもよい。

［実施例３に係る画像処理装置の処理］
次に、図１５を用いて、実施例３に係る画像処理装置の処理の流れの一例について説明する。図１５は、実施例３に係る画像処理装置の処理の流れの一例を説明するためのフローチャートである。なお、図１５では、夜景画像か否かを判定するまでの処理の流れの一例を示した。

図１５に示すように、処理タイミングとなると（ステップＳ４０１肯定）、例えば、撮影部１０１によって画像が撮影されると、人判定部３０９は、人が撮影されているかを判定する（ステップＳ４０２）。例えば、人判定部３０９は、一般的な顔認識技術や顔検出技術を用いて、画像内に人の顔が含まれているかを判定する。ここで、人判定部３０９によって人が含まれていないと判定されると（ステップＳ４０２否定）、輝度算出部３０１は、画素すべてについて輝度を算出する（ステップＳ４０３）。

一方、人判定部３０９は、人が含まれていると判定すると（ステップＳ４０２肯定）、顔座標を識別し（ステップＳ４０４）、また、体座標を識別する（ステップＳ４０５）。そして、輝度算出部３０１は、顔や体以外の画素を識別し（ステップＳ４０６）、顔や体以外の画素について輝度を算出する（ステップＳ４０７）。

そして、輝度算出部３０１によって輝度が算出されると（ステップＳ４０３ｏｒＳ４０７）、画像処理装置１００では、平均輝度や暗部割合、明部割合、分散値が算出する（ステップＳ４０８〜Ｓ４１１）。そして、夜景画像判定部３０６は、夜景画像かを判定し（ステップＳ４１２〜４１５）、さらに、人を含む画像であるかを判定する（ステップＳ４１６）。

ここで、夜景画像判定部３０６は、すべての閾値を満たすと判定し（ステップＳ４１２肯定＆ステップＳ４１３肯定＆ステップＳ４１４肯定＆ステップＳ４１５肯定）、人を含む画像であると判定すると（ステップＳ４１６肯定）、人を含む明るい部分が点々とある暗い画像であると判定する（ステップＳ４１７）。一方、夜景画像判定部３０６は、すべての閾値を満たすと判定し（ステップＳ４１２肯定＆ステップＳ４１３肯定＆ステップＳ４１４肯定＆ステップＳ４１５肯定）、人を含む画像でないと判定すると（ステップＳ４１６否定）、人を含まない明るい部分が点々とある暗い画像であると判定する（ステップＳ４１８）。なお、夜景画像判定部３０６は、いずれか一つでも閾値を満たさないと判定すると（ステップＳ４１２否定ｏｒステップＳ４１３否定ｏｒステップＳ４１４否定ｏｒステップＳ４１５否定）、明るい部分が点々とある暗い画像でないと判定する（ステップＳ４１９）。

［実施例３の効果］
上記したように、実施例３によれば、人判定部３０９は、画像に人が撮影されているかを判定する。そして、輝度算出部３０１は、人が撮影されていると判定する場合に、画像から人が撮影されている部分に対応する画素各々を識別し、画像を形成する画素の内識別した画素を除いた他の画素各々について輝度を算出する。この結果、実施例３によれば、画像の内、顔や体部分について除いた領域についての輝度を用いて夜景画像かを判定することで、人が撮影された画像であっても、夜景画像かを高精度に判定することが可能である。また、人が撮影された画像である場合には、人が撮影された領域や、夜景が撮影された領域それぞれに適した補正手法を適用することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、その他の実施例にて実施されてもよい。そこで、以下では、その他の実施例について説明する。

［撮影部］
例えば、実施例１〜３では、撮影部１０１によって撮影された画像について、夜景画像かを判定する場合について説明したが、本発明はこれに限定されるものではない。例えば、外部の撮影装置によって撮影された画像について、夜景画像かを判定しても良い。

［補正の有無］
また、実施例１では、画像を補正する補正部３０７を備える場合について説明したが、本発明はこれに限定されるものではなく、補正部を備えなくても良い。例えば、画像処理装置は、判定処理を行うと、判定結果を出力してもよい。

［判定処理］
また、実施例１では、平均輝度と、明部割合と、暗部割合と、分散値とを用いる場合について説明したが、本発明はこれに限定されるものではない。例えば、画像処理装置は、平均輝度と、明部割合と、分散値とのみをもちいてもよく、また、明部割合と、暗部割合と、分散値とのみを用いてもよい。

例えば、「平均輝度」を用いて「大きな明るい部分がある暗い画像」を除去することで、「暗部割合」を用いなくても良い。すなわち、「大きな明るい部分がある暗い画像」の平均輝度は、「明るい部分が点々とある暗い画像」よりも高くなる。これを用いて、例えば、第一の閾値を実施例１と比較して低く設定することで、画像処理装置は、「平均輝度」を用いて「大きな明るい部分がある暗い画像」を除去し、「暗部割合」を用いなくても良い。

また、例えば、「暗部割合」を用いて「明るい画像」を除去することで、「平均輝度」を用いなくても良い。すなわち、「明るい画像」の暗部割合は、「明るい部分が点々とある暗い画像」よりも低くなる。これを用いて、画像処理装置は、「暗部割合」を用いて「明るい画像」を除去し、「平均輝度」を用いなくても良い。

［システム構成］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。例えば、撮影条件判定部３０８は、利用者によって手動にて入力された撮影条件を用いて判定してもよく、また、撮影部１０１から受信した画像から自動的に撮影条件を取得して判定しもよい。

この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、図１３に示す例では、ステップＳ３０３とＳ３０５とを入れ替えてもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示す例では、撮影部１０１や画像記憶部２０２を画像処理装置１００から分散して配置してもよい。

［コンピュータ］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。なお、図１６は、実施例１に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

図１６に示すように、実施例１におけるコンピュータ３０００は、操作部３００１、マイク３００２、スピーカ３００３、ディスプレイ３００５、通信部３００６、ＣＰＵ３０１０、ＲＯＭ３０１１、ＨＤＤ３０１２、ＲＡＭ３０１３をバス３００９などで接続して構成されている。

ＲＯＭ３０１１には、上記の実施例１で示した輝度算出部３０１と、明るさ算出部３０２と、区別値算出部３０３と、割合算出部３０４と、分散値算出部３０５と、夜景画像判定部３０６と、補正部３０７と同様の機能を発揮する制御プログラム、つまり、図１６に示すように、輝度算出プログラム３０１１ａと、明るさ算出プログラム３０１１ｂと、区別値算出プログラム３０１１ｃと、割合算出プログラム３０１１ｄと、分散値算出プログラム３０１１ｅと、夜景画像判定プログラム３０１１ｆと、補正プログラム３０１１ｇとが予め記憶されている。なお、これらのプログラム３０１１ａ〜３０１１ｇについては、図２に示した画像処理装置１００の各構成要素と同様、適宜統合または分離してもよい。

そして、ＣＰＵ３０１０が、これらのプログラム３０１１ａ〜３０１１ｇをＲＯＭ３０１１から読み出して実行することにより、図１６に示すように、各プログラム３０１１ａ〜３０１１ｇについては、輝度算出プロセス３０１０ａと、明るさ算出プロセス３０１０ｂと、区別値算出プロセス３０１０ｃと、割合算出プロセス３０１０ｄと、分散値算出プロセス３０１０ｅと、夜景画像判定プロセス３０１０ｆと、補正プロセス３０１０ｇとして機能するようになる。なお、各プロセス３０１０ａ〜３０１０ｇは、図２に示した、輝度算出部３０１と、明るさ算出部３０２と、区別値算出部３０３と、割合算出部３０４と、分散値算出部３０５と、夜景画像判定部３０６と、補正部３０７とにそれぞれ対応する。

そして、ＨＤＤ３０１２には、閾値テーブル３０１２ａが設けられている。なお、閾値テーブル３０１２ａは、図２に示した、閾値記憶部２０１に対応する。

そして、ＣＰＵ３０１０は、閾値テーブル３０１２ａを読み出してＲＡＭ３０１３に格納し、ＲＡＭ３０１３に格納された閾値データ３０１３ａを用いて、画像処理プログラムを実行する。

［その他］
なお、本実施例で説明した画像処理プログラムは、インターネットなどのネットワークを介して配布することができる。また、画像処理プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

Claims (7)

1. 画像を形成する画素ごとに輝度を算出する輝度算出部と、
   前記輝度算出部によって算出された複数の輝度の平均輝度を算出する平均算出部と、
   前記輝度算出部によって算出された輝度の内、画像の明部と暗部とを区別する輝度である区別値以上の輝度を識別し、前記輝度算出部によって算出された全輝度に対して占める明部割合を算出する割合算出部と、
   前記輝度算出部によって算出された輝度に基づいて、区別値以上の輝度を持つ画素の輝度分布の広がり量を示す分散値を算出する分散算出部と、
   前記平均算出部によって算出された平均輝度が第一の閾値以下であり、前記割合算出部によって算出された明部割合が第二の閾値以上であり、前記分散算出部によって算出された分散値が第三の閾値以上であるかを判定する判定部と、
   を備えた事を特徴とする画像処理装置。
2. 前記割合算出部は、前記輝度算出部によって算出された輝度の内、区別値以下の輝度を識別し、前記輝度算出部によって算出された全輝度に対して占める暗部割合を算出し、
   前記判定部は、平均輝度が第一の閾値以下であり、明部割合が第二の閾値以上であり、分散値が第三の閾値以上であり、前記割合算出部によって算出された暗部割合が第四の閾値以上であるかを判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記平均算出部は、前記輝度算出部によって算出された輝度に基づいた前記画像の輝度ヒストグラムを用いて平均輝度を算出し、
   前記割合算出部は、前記画像の輝度ヒストグラムを用いて明部割合と暗部割合とを算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像が撮影された撮影条件を示す絞り値、ＩＳＯ値、撮影時間、シャッタースピードの内いずれか一つまたは複数を取得する取得部と、
   前記取得部によって取得された撮影条件を用いて、前記画像が暗い環境下において撮影されたかを判定する撮影条件判定部と
   をさらに備え、
   前記判定部は、前記撮影条件判定部によって前記画像が暗い環境下において撮影されたと判定された場合に、第一の閾値以下と第二の閾値と第三の閾値と第四の閾値とを用いて判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像に人が撮影されているかを判定する人判定部をさらに備え、
   前記輝度算出部は、前記人判定部によって人が撮影されていると判定された場合に、前記画像から人が撮影されている部分に対応する画素各々を識別し、当該画像を形成する画素の内識別した画素を除いた他の画素各々について輝度を算出することを特徴とする請求項４に記載の画像処理装置。
6. 画像を形成する画素ごとに輝度を算出する輝度算出ステップと、
   前記輝度算出ステップによって算出された複数の輝度の平均輝度を算出する平均算出ステップと、
   前記輝度算出ステップによって輝度が算出された画素の内、画像の明ステップと暗ステップとを区別する輝度である区別値以上の輝度を識別し、識別した画素が当該画像において占める明ステップ割合を算出する割合算出ステップと、
   前記輝度算出ステップによって算出された輝度に基づいて、区別値以上の輝度を持つ画素の輝度分布の広がり量を示す分散値を算出する分散算出ステップと、
   前記平均算出ステップによって算出された平均輝度が第一の閾値以下であり、前記割合算出ステップによって算出された明ステップ割合が第二の閾値以上であり、前記分散算出ステップによって算出された分散値が第三の閾値以上であるかを判定する判定ステップと、
   を含んだ事を特徴とする画像処理方法。
7. 画像を形成する画素ごとに輝度を算出する輝度算出手順と、
   前記輝度算出手順によって算出された複数の輝度の平均輝度を算出する平均算出手順と、
   前記輝度算出手順によって輝度が算出された画素の内、画像の明手順と暗手順とを区別する輝度である区別値以上の輝度を識別し、識別した画素が当該画像において占める明手順割合を算出する割合算出手順と、
   前記輝度算出手順によって算出された輝度に基づいて、区別値以上の輝度を持つ画素の輝度分布の広がり量を示す分散値を算出する分散算出手順と、
   前記平均算出手順によって算出された平均輝度が第一の閾値以下であり、前記割合算出手順によって算出された明手順割合が第二の閾値以上であり、前記分散算出手順によって算出された分散値が第三の閾値以上であるかを判定する判定手順と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images