JP5299282B2

JP5299282B2 - 画像補正装置

Info

Publication number: JP5299282B2
Application number: JP2009540995A
Authority: JP
Inventors: 珊珊于; 雅芳清水
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-11-13
Filing date: 2007-11-13
Publication date: 2013-09-25
Anticipated expiration: 2027-11-13
Also published as: JPWO2009063553A1; WO2009063553A1; US8295639B2; US20100209015A1

Description

この発明は、入力された入力画像から算出した入力画像を高品質に補正する補正量に基づいて、入力画像を補正する画像補正装置に関する。

従来より、入力された動画、静止画（例えば、ＴＶ映像など）などの入力画像から画素値などを補正する補正量を算出して、算出した補正量を用いて入力画像を高画質に補正する画像補正装置がある。

このような画像補正装置における画像の補正（階調補正）は、入力画像が明るすぎれば暗く、暗すぎれば明るくするのが基本的な考え方である。ところが、このような入力画像の明度による単純な補正を行うと、全体として明るい画像は、明るすぎれば暗くするという補正によって全体的に暗く補正されてしまい、画像中の暗い領域の階調がつぶれてしまう（黒つぶれ）場合がある。例えば、白昼に黒い服を着た人物の服の皺などが含まれる入力画像を明度によって単純に補正した場合に、これら白昼に黒い服を着た人物の服の皺が黒潰れとなり、結果的に画像の品質が悪くなる。

逆に、例えば、明るい風景内のトンネル内の影など、暗い部分に特に階調は含まれていない場合には、より暗く補正するほうが望ましい（黒が締まる、黒浮きしない）場合もある。いずれの場合にせよ、全体として明るい画像の中にある暗い領域というのは、画像全体の中で目を引く部分であるので、そのような部分で黒浮きや黒つぶれが起きるのは望ましくない。

そこで、このような問題である明るい画像の中にある暗い領域において黒浮きや黒潰れを防止しつつ、画像を高画質に補正する様々な技術が開示されている。例えば、特許文献１では、明るい画像における暗い領域の画素数に基づき補正値を算出するという画像補正装置が開示されている。具体的には、特許文献１に係る画像補正装置は、入力画像の明るさを判別し、明るい画像であると判別した入力画像における非常に暗い領域（０〜所定閾値）の画素数に基づいて、補正量を算出し、算出した補正量を用いて入力された明るい画像を補正する。

特開２００１−１８９８６３号公報

しかしながら、上記した従来の技術は、画像に対して高画質にする補正をしたとしても、黒浮きや黒潰れを抑止することができない場合があり、必ずしも高画質な画像に補正することができないという課題があった。具体的には、とても暗い領域の画素数で補正量を決めて、暗い領域の暗さを考慮しないので、その暗い領域の暗さによって、適切に補正される場合もあるが、やや暗い領域の階調が失われてしまう場合もあり（具体的には、暗い領域の階調が潰れてしまうことがある）、さらには、非常に暗い領域が黒浮きになってしまう場合もある。

このように、入力画像全体から暗い画素数に基づいて補正値を算出して補正した場合、単に画像を明るくまたは暗くする補正をすることとなる。その結果、図１４の（１）に示すように、やや暗い領域がある場合に入力画像を暗くする補正を行ってしまうと、やや暗い領域は、図１４の（２）に示すように、暗部の情報が失われた潰れた画像（黒潰れ）となる。また、図１５の（１）に示すように、非常に暗い領域がある場合に入力画像を明るくする補正を行ってしまうと、非常に暗い領域は、図１５の（２）に示すように、元々の暗い領域だった部分が明るくなってしまう（黒浮き）。

つまり、暗い領域（＝画素値が所定値以下の領域）の画素数に基づいて補正強度を決定すると、領域が広いと補正強度が強くなるが、該領域内で暗さの度合いが異なる部分がある場合（やや暗い領域が多い／非常に暗い領域が多い）には、同じ暗い領域内でもある部分に対しては補正が強すぎるまたは弱すぎるために、黒浮きや黒潰れが生じてしまう可能性がある。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、黒浮きや黒潰れを抑止し、高画質な画像に補正することが可能である画像補正装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本装置は、入力された入力画像から算出した入力画像を高品質に補正する補正量に基づいて、前記入力画像を補正する画像補正装置であって、前記入力画像における各画素の画素値から当該入力画像の平均的な明るさの特徴値を算出し、算出した特徴値が第一の閾値以上であるか否かを判定する明度判定手段と、前記明度判定手段により特徴値が第一の閾値以上である明るい画像と判定された入力画像に対して、当該入力画像内における第二の閾値以下である画素の数を計数する計数手段と、前記計数手段により計数された各画素の画素値から平均的な明るさの特徴値を算出する平均明度算出手段と、前記平均明度算出手段により算出された特徴値が第三の閾値以上か否か、または、前記計数手段により計数された画素の総数のうち前記第三の閾値以上である画素の数が第四の閾値以上であるか否かに基づいて、前記補正量を決定し、決定した補正量を用いて入力画像を補正する画像補正手段と、を有する。

本発明によれば、黒浮きや黒つぶれを抑止し、高画質な画像に補正することが可能である。例えば、明るい画像の暗い画素数ではなく、明るい画像の暗い画素の平均的な明るさの特徴値を用いて補正量を算出するので、やや暗い領域の階調を潰す黒つぶれを抑止、また、非常に暗い領域の黒浮きを抑止する補正を行うことができる結果、画像全体の中で目を引く部分である明るい画像の中にある暗い領域を適切に補正することが可能である。また、少しずつ変動された撮影条件下などの入力画像に限定されず、ＴＶ映像などの不特定映像であっても、同様の補正を行うことができる結果、入力画像に依存することなく安定した補正を行うことが可能である。

以下に添付図面を参照して、この発明に係る画像補正装置の実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像補正装置の概要および特徴、画像補正装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。

［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像補正装置（特許請求の範囲に記載の「画像補正装置」に対応する。）」とは、外部装置などからネットワークを介して動画や静止画などの入力画像を受け付け、受け付けた入力画像から算出した入力画像を高品質に補正する補正量に基づいて、入力画像を補正する装置のことである。なお、入力画像を受け付ける手法としては、ネットワークを介してだけでなはなく、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体から受け付けることもできる。

［画像補正装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る画像補正装置の概要および特徴を説明する。図１は、実施例１に係る画像補正装置の概要と特徴を説明するための図である。

図１に示すように、「画像補正装置」とは、外部装置などからネットワークを介して動画や静止画などの入力画像を受け付け、受け付けた入力画像から算出した入力画像を高品質に補正する補正量に基づいて、入力画像を補正する装置のことである。なお、入力画像を受け付ける手法としては、ネットワークを介してだけでなはなく、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体から受け付けることもできる。

このような構成において、画像補正装置は、上記したように、入力された入力画像から算出した入力画像を高品質に補正する補正量に基づいて、入力画像を補正することを概要とするものであり、特に、黒浮きや黒潰れを抑止し、高画質な画像に補正することが可能である点に主たる特徴がある。

この主たる特徴について具体的に説明すると、画像補正装置は、補正量を決定する複数の補正カーブを補正カーブＤＢに記憶する。具体的には、補正カーブＤＢは、入力画像を明るくするように補正量を決定する補正カーブ（図１の（ａ）参照）と入力画像を暗くするように補正量を決定する補正カーブ（図１の（ｂ）参照）とを記憶する。

このような状態において、画像補正装置は、入力画像における各画素の画素値から当該入力画像の平均的な明るさ特徴値を算出し、算出した特徴値が第一の閾値以上であるか否かを判定する（図１の（１）参照）。具体的に例を挙げると、画像補正装置は、入力画像を受け付けると、受け付けた入力画像における各画素を参照して各画素の画素値を取得する。そして、画像補正装置は、取得した各画素の画素値の平均明度や明度値の最頻値など、平均的な明るさの特徴値を算出し、算出した特徴値が第一の閾値以上（例えば、１００以上）であるか否かを判定する。ここでは、画像補正装置は、入力画像の特徴値を算出して、当該特徴値が閾値以上（例えば、１００以上）であるか否かにより、当該入力画像が明るい画像であるか暗い画像であるかを判定する。なお、画像補正装置は、算出した特徴値が第一の閾値未満（例えば、１００未満）である暗い画像であると判定された場合、当該入力画像を補正することなく、接続される他の装置などに出力する。

続いて、画像補正装置は、特徴値が第一の閾値以上である明るい画像と判定された入力画像に対して、当該入力画像内における第二の閾値以下である画素の数を計数する（図１の（２）参照）。上記した例で具体的に説明すると、画像補正装置は、入力された入力画像が明るい画像と判定されると、当該入力画像の各画素のうち、第二の閾値以下（例えば、画素値５０以下）である画素の数（例えば、２００）を計数する。なお、ここでは、画像補正装置は、当該入力画像の各画素のうち、「画素値５０以下」である画素の数として「２００」を計数したとする。

その後、画像補正装置は、計数された各画素の画素値から平均的な明るさの特徴値を算出する（図１の（３）参照）。上記した例で具体的に説明すると、画像補正装置は、当該入力画像の各画素のうち、「画素値５０以下」として計数された画素（２００）それぞれの画素値を用いて、「画素値５０以下」である画素の平均明度や明度値の最頻値など、平均的な明るさの特徴値として「平均明度４０」を算出する。

そして、画像補正装置は、算出された特徴値が第三の閾値以上、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値以上である場合に、入力画像を明るくするように補正量を決定し、算出された特徴値が第三の閾値未満、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値未満である場合に、入力画像を暗くするように補正量を決定し、決定した補正量を用いて入力画像を補正する（図１の（４）参照）。

上記した例で具体的に説明すると、画像補正装置は、算出された特徴値が「特徴値３０
以上」、または、計数された画素の総数のうち「特徴値３０以上」である画素の数が「１
５０以上」である場合に、入力画像を明るくするように、補正カーブＤＢに記憶される図
１の（ａ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補
正して出力する。

一方、画像補正装置は、算出された特徴値が「特徴値３０未満」、または、計数された画素の総数のうち「特徴値３０以上」である画素の数が「１５０未満」である場合に、入力画像を暗くするように、補正カーブＤＢに記憶される図１の（ｂ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して出力する。

このように、実施例１に係る画像補正装置は、明るい画像の暗い画素数だけではなく、明るい画像の暗い画素の特徴値を用いて補正量を算出して補正することができる結果、黒浮きや黒潰れを抑止し、高画質な画像に補正することが可能である点に主たる特徴がある。なお、以下の説明においては、平均的な明るさの特徴値として、平均明度を用いた例を述べるが、上述したとおり、平均明度に限るものではなく、明度値の最頻値を用いても構わない。

［画像補正装置の構成］
次に、図２を用いて、図１に示した画像補正装置の構成を説明する。図２は、実施例１に係る画像補正装置の構成を示すブロック図である。図２に示すように、この画像補正装置１０は、入力制御Ｉ／Ｆ部１１と、記憶部１２と、制御部２０とから構成される。

入力制御Ｉ／Ｆ部１１は、動画や静止画などの画像を１フレームずつ受け付けたり、接続される装置に画像を出力したりする。具体的に例を挙げれば、入力制御Ｉ／Ｆ部１１は、明るさ検出部２１と明るい画像判定部２２と画像補正部２５とに接続され、画像補正装置１０に入力された動画や静止画などの画像を１フレームずつ受け付けたり、接続される装置に補正された画像を出力したりする。なお、入力制御Ｉ／Ｆ部１１は、ネットワークを介してだけでなはなく、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体から受け付ける。

記憶部１２は、制御部２０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、暗い画素ＤＢ１３と、補正カーブＤＢ１４とを備える。

暗い画素ＤＢ１３は、後述される暗い画素計数部２３により計数された画素と当該画素の画素値とを対応付けて記憶する。具体的に例を挙げれば、暗い画素ＤＢ１３は、後述される暗い画素計数部２３により計数された複数の画素と、計数された複数の画素それぞれの画素値とを対応付けて記憶する。

補正カーブＤＢ１４は、補正量を決定する入力画素と変換後の出力画素とを対応付けた複数の補正カーブを記憶する。具体的に例を挙げると、補正カーブＤＢ１４は、入力画像を明るくするために、入力画素と入力画素より明るい画素の出力画素が対応付けられた補正カーブ（図３の（１）参照）と、入力画像を暗くするために、入力画素と入力画素より暗い画素の出力画素が対応付けられた補正カーブ（図３の（２）参照）とを記憶する。なお、図３は、補正カーブＤＢ１４に記憶される情報の例を示す図である。

制御部２０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、明るさ検出部２１と、明るい画像判定部２２と、暗い画素計数部２３と、平均明度算出部２４と、画像補正部２５とを備え、これらによって種々の処理を実行する。

明るさ検出部２１は、入力画像における各画素の画素値から当該入力画像の平均明度を算出する。具体的に例を挙げると、明るさ検出部２１は、入力制御Ｉ／Ｆ部１１により入力画像が受け付けられると、受け付けた入力画像における各画素を参照して各画素の画素値を取得する。そして、明るさ検出部２１は、取得した各画素の画素値の平均値を平均明度「２００」として算出し、算出した平均明度「２００」を明るい画像判定部２２に出力する。例えば、入力画像が５００万画素の場合、明るさ検出部２１は、５００万個の画素を参照して平均画素を算出する。

明るい画像判定部２２は、明るさ検出部２１により算出された平均明度が第一の閾値以上であるか否かを判定する。上記した例で具体的に説明すると、明るい画像判定部２２は、明るさ検出部２１から入力された当該入力画像の平均明度「２００」が第一の閾値以上（例えば、１００）であるか否かを判定する。そして、明るい画像判定部２２は、当該入力画像の平均明度「２００」が第一の閾値以上（例えば、１００以上）であると判定されると、当該入力画像を暗い画素計数部２３に出力し、当該入力画像の平均明度「２００」が第一の閾値未満（例えば、１００未満）であると判定されると、当該入力画像を入力制御Ｉ／Ｆ部１１に出力する。つまり、明るい画像判定部２２は、入力画像が明るい画像であるか否かを平均明度を用いて判定し、明るい画像と判定された入力画像のみを暗い画素計数部２３に出力する。

暗い画素計数部２３は、明るい画像判定部２２により平均明度が第一の閾値以上である明るい画像と判定された入力画像に対して、当該入力画像内における第二の閾値以下である画素の数を計数する。上記した例で具体的に説明すると、暗い画素計数部２３は、明るい画像判定部２２により明るい画像と判定された入力画像を受け付けると、当該入力画像の各画素のうち、第二の閾値以下（例えば、画素値５０以下）である画素の数（例えば、２００）を計数するとともに、計数された画素と当該画素の画素値とを対応付けて暗い画素ＤＢ１３に格納する。

平均明度算出部２４は、暗い画素計数部２３により計数された各画素の画素値から平均明度を算出する。上記した例で具体的に説明すると、平均明度算出部２４は、暗い画素計数部２３により暗い画素が計数されて暗い画素ＤＢ１３に格納されると、暗い画素ＤＢ１３に記憶される画素（２００）それぞれの画素値を用いて、第二の閾値以下（例えば、画素値５０以下）である画素の平均明度（例えば、平均明度４０）を算出し、算出した平均明度（例えば、平均明度４０）を画像補正部２５に出力する。

画像補正部２５は、平均明度算出部２４により算出された平均明度が第三の閾値以上、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値以上である場合に、入力画像を明るくするように補正量を決定し、算出された平均明度が第三の閾値未満、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値未満である場合に、入力画像を暗くするように補正量を決定し、決定した補正量を用いて入力画像を補正する。

上記した例に加え、それぞれの閾値について具体的に例を挙げて説明すると、画像補正部２５は、平均明度算出部２４により算出された平均明度（平均明度４０）が「平均明度３０以上」、または、計数された画素の総数（２００）のうち「平均明度３０以上」である画素の数が「１５０以上」である場合に、入力画像を明るくするように、補正カーブＤＢ１４に記憶される図１の（ａ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して出力する。つまり、画像補正装置１０は、第二の閾値以下（例えば、５０以下）の暗い画素を計数して算出された平均明度が閾値以上の場合、または、当該計数された暗い画素の平均明度に関係なく、第二の閾値以下（例えば、５０以下）の暗い画素が比較的多く入力画像に多く含まれている場合、入力画像を明るくするように補正量を決定する。

一方、画像補正部２５は、平均明度算出部２４により算出された平均明度が「平均明度３０未満」、または、計数された画素の総数（２００）のうち「平均明度３０以上」である画素の数が「１５０未満」である場合に、入力画像を暗くするように、補正カーブＤＢ１４に記憶される図１の（ｂ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して出力する。つまり、画像補正装置１０は、第二の閾値以下（例えば、５０以下）の暗い画素を計数して算出された平均明度が閾値未満の場合、または、当該計数された暗い画素の平均明度に関係なく、第二の閾値以下（例えば、５０以下）の暗い画素が入力画像にあまり多く含まれていない（少ない）場合、入力画像を暗くするように補正量を決定する。

［画像補正装置による処理］
次に、図４を用いて、画像補正装置による処理を説明する。図４は、実施例１に係る画像補正装置における画像補正処理の流れを示すフローチャートである。

図４に示すように、入力画像を受け付けると（ステップＳ１０１肯定）、画像補正装置１０は、入力画像の特徴量として（平均明度）を算出し（ステップＳ１０２）、当該平均明度が閾値以上であるか否かを判定する（ステップＳ１０３）。

具体的には、入力制御Ｉ／Ｆ部１１により入力画像が受け付けられると、明るさ検出部２１は、入力画像における各画素の画素値から当該入力画像の平均明度を算出して明るい画像判定部２２に出力し、明るい画像判定部２２は、明るさ検出部２１により算出された平均明度が閾値以上（例えば、１００）であるか否か、つまり、入力画像が明るい画像であるか否かを判定する。

そして、明るさ検出部２１により算出された平均明度が閾値以上（例えば、１００）であると判定されると（ステップＳ１０３肯定）、画像補正装置１０は、入力画像内の画素を一つスキャンして（ステップＳ１０４）、当該スキャンした画素が閾値よりも小さいか否かを判定する（ステップＳ１０５）。

具体的には、明るさ検出部２１により算出された平均明度が閾値以上（例えば、１００）であると判定されると、暗い画素計数部２３は、入力制御Ｉ／Ｆ部１１により受け付けられた入力画像内の画素を一つスキャンして、当該スキャンした画素の画素値が閾値（例えば、５０）よりも小さいか否か、つまり、スキャンした画素が暗い画素であるか否かを判定する。

続いて、当該スキャンした画素の画素値が閾値（例えば、５０）よりも小さい暗い画素であると判定されると（ステップＳ１０５肯定）、画像補正装置１０は、暗い画素を計数するカウントを一つ増加させ（ステップＳ１０６）、入力画像の全画素についてステップＳ１０４〜ステップＳ１０６の処理を実行したか否かを判定する（ステップＳ１０７）。一方、当該スキャンした画素の画素値が閾値（例えば、５０）よりも大きい明るい画素であると判定されると（ステップＳ１０５否定）、画像補正装置１０は、カウントを増加させることなく、入力画像の全画素についてステップＳ１０４〜ステップＳ１０６の処理を実行したか否かを判定する（ステップＳ１０７）。

具体的には、暗い画素計数部２３は、入力された明るい画像である入力画像の全画素から、閾値（例えば、５０）よりも小さい暗い画素をカウントするとともに、当該画素と当該画素の画素値とを対応付けて暗い画素ＤＢ１３に格納する。

そして、入力画像の全画素についてステップＳ１０４〜ステップＳ１０６の処理が終了すると（ステップＳ１０７肯定）、画像補正装置１０は、計数されたカウントが閾値よりも大きいか否かを判定し（ステップＳ１０８）、計数されたカウントが閾値よりも大きい場合に（ステップＳ１０８肯定）、カウントされた画素の平均明度を算出する（ステップＳ１０９）。

具体的には、入力画像の全画素についてステップＳ１０４〜ステップＳ１０６の処理が終了すると、平均明度算出部２４は、暗い画素ＤＢ１３に記憶される画素（２００）それぞれの画素値を用いて、第二の閾値以下（例えば、画素値５０以下）である画素の平均明度（例えば、平均明度４０）を算出し、算出した平均明度（例えば、平均明度４０）を画像補正部２５に出力する。

その後、画像補正装置１０は、算出された平均明度が閾値よりも大きい場合、または、計数された画素の総数のうち算出された平均明度よりも大きい画素の数が閾値以上の場合には（ステップＳ１１０肯定）、画像が明るくなるように補正量を決定して補正し（ステップＳ１１１）、算出された平均明度が閾値よりも小さい場合、または、計数された画素の総数のうち算出された平均明度よりも大きい画素の数が閾値未満の場合には（ステップＳ１１０否定）、画像が暗くなるように補正量を決定して補正する（ステップＳ１１２）。

具体的には、画像補正部２５は、平均明度算出部２４により算出された平均明度（平均明度４０）が「平均明度３０以上」、または、計数された画素の総数（２００）のうち「平均明度３０以上」である画素の数が「１５０以上」である場合に、入力画像を明るくするように、補正カーブＤＢ１４に記憶される図１の（ａ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して入力制御Ｉ／Ｆ部１１に出力する。

一方、画像補正部２５は、平均明度算出部２４により算出された平均明度が「平均明度３０未満」、または、計数された画素の総数（２００）のうち「平均明度３０以上」である画素の数が「１５０未満」である場合に、入力画像を暗くするように、補正カーブＤＢ１４に記憶される図１の（ｂ）の補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して出力する。

そして、ステップＳ１０３において、明るさ検出部２１により算出された平均明度が閾値未満（例えば、１００）であると判定された場合（ステップＳ１０３否定）、または、ステップＳ１０８において、計数されたカウントが閾値よりも小さい場合に（ステップＳ１０８否定）、画像補正装置１０は、処理を終了する。

［実施例１による効果］
このように、実施例１によれば、入力画像における各画素の画素値から当該入力画像の平均明度を算出し、算出した平均明度が第一の閾値以上であるか否かを判定し、平均明度が第一の閾値以上である明るい画像と判定された入力画像に対して、当該入力画像内における第二の閾値以下である画素の数を計数し、計数された各画素の画素値から平均明度を算出し、算出された平均明度が第三の閾値以上か否か、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値以上であるか否かに基づいて、補正量を決定し、決定した補正量を用いて入力画像を補正するので、黒浮きや黒つぶれを抑止し、高画質な画像に補正することが可能である。

例えば、明るい画像の暗い画素数ではなく、明るい画像の暗い画素の平均明度を用いて補正量を算出するので、やや暗い領域の諧調を潰す黒つぶれを抑止、また、非常に暗い領域の黒浮きを抑止する補正を行うことができる結果、画像全体の中で目を引く部分である明るい画像の中にある暗い領域を適切に補正することが可能である。また、少しずつ変動された撮影条件下などの入力画像に限定されず、ＴＶ映像などの不特定映像であっても、同様の補正を行うことができる結果、入力画像に依存することなく安定した補正を行うことが可能である。

また、実施例１によれば、算出された平均明度が第三の閾値以上、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値以上である場合に、入力画像を明るくするように補正量を決定し、算出された平均明度が第三の閾値未満、または、計数された画素の総数のうち第三の閾値以上である画素の数が第四の閾値未満である場合に、入力画像を暗くするように補正量を決定し、決定した補正量を用いて入力画像を補正するので、黒浮きや黒つぶれをより抑止する適切な補正をすることが可能である。

例えば、明るい画像の暗い画素の平均明度が第三の閾値以上（例えば、２０）であるやや暗い画像と、平均明度が第三の閾値未満である非常に暗い画像とのそれぞれに応じた補正量を決定するので、やや暗い領域の諧調を潰す黒つぶれをより強固に抑止、また、非常に暗い領域の黒浮きをより強固に抑止する適切な補正をすることが可能である。

ところで、実施例１では、所定の閾値以上の明るい画像である入力画像から検出した暗い画素の平均明度から補正量を決定する場合について説明したが、本発明はこれに限定されるものではなく、所定の閾値以上の明るい画像である入力画像から暗い領域を検出し、検出した暗い領域の平均明度から補正量を決定するようにしてもよい。

そこで、実施例２では、図５〜図７を用いて、所定の閾値以上の明るい画像である入力画像から暗い領域を検出し、検出した暗い領域の平均明度から補正量を決定する場合について説明する。

［画像補正装置の構成（実施例２）］
まず、図５を用いて、実施例２に係る画像補正装置の構成を説明する。図５は、実施例２に係る画像補正装置の構成を示すブロック図である。図５に示すように、この画像補正装置１０は、入力制御Ｉ／Ｆ部１１と、記憶部１２と、制御部２０とから構成される。このうち、入力制御Ｉ／Ｆ部１１と、記憶部１２と、制御部２０の明るさ検出部２１と明るい画像判定部２２と暗い画素計数部２３と画像補正部２５とは、実施例１で説明した図２と同様の機能を有するので、その詳細な説明は省略し、ここでは、実施例１とは異なる機能を有する領域検出部３０と、平均明度算出部４０とについて説明する。

領域検出部３０は、明るい画像判定部２２により平均明度が第一の閾値以上である明るい画像と判定された入力画像に対して、入力画像の各画素を参照して、第二の閾値以下である画素が連続する領域を算出する。具体的に例を挙げれば、領域検出部３０は、明るい画像判定部２２により平均明度が第一の閾値以上である明るい画像と判定された入力画像に対して、入力画像の各画素を参照して、第二の閾値以下である画素を検出する。そして、領域検出部３０は、検出された第二の閾値以下である暗い画素（対象画素）の周辺Ｎ画素分について、第二の閾値以下である画素を検出することで、暗い領域を検出し、検出した領域情報を平均明度算出部４０に出力する。

例えば、領域検出部３０は、図６の（１）に示すように、検出された第二の閾値以下である暗い画素（対象画素）の周辺４隣接画素について、第二の閾値以下である画素を検出することで、暗い領域を検出するようにしてもよく、図６の（２）に示すように、検出された第二の閾値以下である暗い画素（対象画素）の周辺８隣接画素について、第二の閾値以下である画素を検出することで、暗い領域を検出するようにしてもよい。なお、図６は、暗い領域の算出例を示す図である。

平均明度算出部４０は、領域検出部３０により算出された領域内の各画素の画素値から領域の平均明度を算出する。具体的に例を挙げれば、平均明度算出部４０は、領域検出部３０により算出された複数の領域それぞれについて、領域内の各画素の画素値から領域の平均明度を算出する。そして、平均明度算出部４０は、算出された複数の領域ごとの平均明度の平均明度を算出し、これを画像全体の平均明度として画像補正部２５に出力する。例えば、領域検出部３０により４つの領域が算出された場合、平均明度算出部４０は、この４つの領域それぞれの平均明度を算出する。そして、平均明度算出部４０は、算出された４つの平均明度の平均を算出し、これを画像全体の平均明度として画像補正部２５に出力する。

［画像補正装置による処理（実施例２）］
次に、図７を用いて、画像補正装置による処理を説明する。図７は、実施例２に係る画像補正装置における画像補正処理の流れを示すフローチャートである。

図７に示すように、実施例１と同様、入力画像を受け付けると（ステップＳ２０１肯定）、画像補正装置１０は、入力画像の特徴量として平均明度を算出し（ステップＳ２０２）、当該平均明度が閾値以上であるか否かを判定する（ステップＳ２０３）。

そして、算出された平均明度が閾値以上（例えば、１００）であると判定されると（ステップＳ２０３肯定）、画像補正装置１０は、入力画像内の画素を一つスキャンして（ステップＳ２０４）、当該スキャンした画素の画素値が閾値よりも小さいか否かを判定する（ステップＳ２０５）。

その後、実施例１とは異なり、当該スキャンした画素の画素値が閾値（例えば、５０）よりも小さい暗い画素であると判定されると（ステップＳ２０５肯定）、画像補正装置１０は、判定された暗い画素の周辺に閾値よりも小さい画素があるか否かを判定する（ステップＳ２０６）。そして、画像補正装置１０は、暗い画素の周辺に閾値よりも小さい画素があると判定されると（ステップＳ２０６肯定）、領域を検出し（ステップＳ２０７）、カウントを一つ増加させる（ステップＳ２０８）。一方、画像補正装置１０は、当該スキャンした画素の画素値が閾値（例えば、５０）よりも小さい暗い画素でないと判定されると（ステップＳ２０５否定）、または、暗い画素の周辺に閾値よりも小さい画素がないと判定されると（ステップＳ２０６否定）、後述するステップＳ２０９の処理を行う。

具体的には、領域検出部３０は、暗い画素計数部２３により検出された第二の閾値以下である暗い画素（対象画素）の周辺４隣接画素または周辺８隣接画素について、第二の閾値以下である画素を検出することで、暗い領域を検出し、検出したことを示すカウントを増加させる。

そして、入力画像の全画素についてステップＳ２０４〜ステップＳ２０８の処理が終了すると（ステップＳ２０９肯定）、画像補正装置１０は、カウントされた領域の平均明度を算出し（ステップＳ２１０）、算出した平均明度が閾値よりも大きい場合には（ステップＳ２１１肯定）、入力画像を明るくなるように補正し（ステップＳ２１２）、算出した平均明度が閾値よりも小さい場合には（ステップＳ２１１否定）、入力画像を暗くなるように補正する（ステップＳ２１３）。

具体的には、平均明度算出部４０は、領域検出部３０により算出された複数の領域それぞれについて、領域内の各画素の画素値から領域の平均明度を算出し、算出された複数の領域ごとの平均明度から画像全体の平均明度を算出し、これを画像全体の平均明度として画像補正部２５に出力する。その後、画像補正部２５は、平均明度算出部４０により算出された平均明度が「閾値以上」である場合に、入力画像を明るくするように、補正カーブＤＢ１４に記憶される補正カーブを用いて補正量を決定し、平均明度算出部４０により算出された平均明度が「閾値未満」である場合に、入力画像を暗くするように、補正カーブＤＢ１４に記憶される補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して入力制御Ｉ／Ｆ部１１に出力する。

一方、ステップＳ２０９に戻り、入力画像の全画素についてステップＳ２０４〜ステップＳ２０８の処理が終了していない場合（ステップＳ２０９否定）、画像補正装置１０は、ステップＳ２０４に戻り、ステップＳ２０４〜ステップＳ２０８の処理を繰り返す。また、ステップＳ２０３において、明るさ検出部２１により算出された平均明度が閾値未満であると判定された場合（ステップＳ２０３否定）、画像補正装置１０は、処理を終了する。

［実施例２による効果］
このように、実施例２によれば、平均明度が第一の閾値以上である明るい画像と判定された入力画像に対して、入力画像の各画素を参照して、第二の閾値以下である画素が連続する領域を算出し、算出された領域内の各画素の画素値から領域の平均明度を算出し、算出された領域の平均明度が第三の閾値以上であるか否かに基づいて、補正量を決定して、決定した補正量を用いて入力画像を補正するので、入力画像全体における暗い画素からではなく、入力画像における暗い部分（領域）に着目して補正量を決定することができる結果、入力画像全体における暗い画素から補正量を決定するのに比べて、黒浮きや黒つぶれをより抑止し、より高画質な画像に補正することが可能である。

ところで、実施例２では、検出された暗い領域の平均明度から補正量を決定する場合について説明したが、本発明はこれに限定されるものではなく、検出された暗い領域のサイズ（大きさ）から補正量を決定するようにしてもよい。

そこで、実施例３では、図８を用いて、所定の閾値以上の明るい画像である入力画像から暗い領域を検出し、検出した暗い領域のサイズ（大きさ）から補正量を決定する場合について説明する。

［画像補正装置による処理（実施例３）］
実施例３では、図８を用いて、画像補正装置による処理を説明する。図８は、実施例３に係る画像補正装置における画像補正処理の流れを示すフローチャートである。

図８に示すように、ステップＳ３０１〜ステップＳ３０９は、実施例２の図７で説明したステップＳ２０１〜ステップＳ２０９と同様であるので、ここでは詳細な説明は省略する。

そして、入力画像の全画素についてステップＳ３０４〜ステップＳ３０８の処理が終了すると（ステップＳ３０９肯定）、画像補正装置１０は、カウントされた領域のサイズの和を算出し（ステップＳ３１０）、算出した領域のサイズが閾値よりも大きい場合には（ステップＳ３１１肯定）、入力画像を明るくなるように補正し（ステップＳ３１２）、算出した領域のサイズが閾値よりも小さい場合には（ステップＳ３１１否定）、入力画像を暗くなるように補正する（ステップＳ３１３）。

具体的には、平均明度算出部４０は、領域検出部３０により算出された複数の領域のサイズを足し合わせて、入力画像全体における暗い領域のサイズを算出して、当該算出した領域のサイズを画像補正部２５に出力する。そして、画像補正部２５は、平均明度算出部４０により算出された領域のサイズが「閾値以上」である場合に、入力画像を明るくするように、補正カーブＤＢ１４に記憶される補正カーブを用いて補正量を決定し、平均明度算出部４０により算出された領域のサイズが「閾値未満」である場合に、入力画像を暗くするように、補正カーブＤＢ１４に記憶される補正カーブを用いて補正量を決定し、決定した補正量を用いて入力画像を補正して入力制御Ｉ／Ｆ部１１に出力する。なお、領域のサイズとは、入力画像全体における検出された暗い画素の座標値などを用いて検出することができる。

［実施例３による効果］
このように、実施例３によれば、算出された領域のサイズが閾値以上である場合に、算出された領域の平均明度が他の閾値以上であるか否かに基づいて、補正量を決定して、決定した補正量を用いて入力画像を補正するので、人の目に注目されないノイズレベルである小さな（狭い）暗い部分（領域）以外の人の目に注目される大きな（広い）暗い部分（領域）のみを重点的に補正することが可能である。

ところで、実施例１〜３では、明るく補正する補正カーブと暗く補正する補正カーブの二種類の補正カーブを用いて、入力画像を補正する場合について説明したが、本発明はこれに限定されるものではなく、入力画像における暗い画素（または、暗い画素の領域）の平均明度に対応付けて、複数の補正カーブを予め記憶しておき、算出した平均明度に対応した補正カーブを用いて、入力画像を補正することもできる。

そこで、実施例４では、図９〜図１２を用いて、入力画像における暗い画素（または、暗い画素の領域）の平均明度に対応付けて、複数の補正カーブを予め記憶しておき、算出した平均明度に対応した補正カーブを用いて、入力画像を補正する場合について説明する。

まず、図９と図１０とを用いて、補正カーブの作成について説明する。補正カーブは、「ｙ」を補正後の画素値、「ｘ」を補正前の画素値、「α」を算出した平均明度とした場合に、指数関数「ｙ＝ｘのα乗」として表すことができる。なお、図９と図１０とは、補正カーブ算出例を示す図である。

例えば、Ａ＞２０の暗い領域の平均明度がやや暗い場合、図９の（１）に示すように「α＝−Ａ／１５０＋１．１３」となり、これを上記した指数関数に代入して画素値を算出すると、図９の（２）に示すような補正カーブを作成することができる。また、例えば、Ａ＜＝２０の暗い領域の平均明度が非常に暗い場合、図１０の（１）に示すように「α＝−Ａ／１００＋１．２」となり、これを上記した指数関数に代入して画素値を算出すると、図１０の（２）に示すような補正カーブを作成することができる。

次に、複数の補正カーブを予め記憶しておき、算出した平均明度に対応した補正カーブを取得する例について説明する。上記した手法を用いて、図１１に示すように、複数の「α」について指数関数「ｙ」を補正カーブＤＢに用意しておく。図１１に示される補正カーブ１〜７は、図１２に示すように、「平均明度」と「選択されたカーブ」とを対応付けて、「０〜６、１」、「７〜１２、２」、「１３〜２０、３」、「２１〜２５、４」、「２６〜３０、５」、「３１〜４０、６」、「４０〜、７」と補正カーブＤＢに記憶される。なお、図１１と図１２とは、補正カーブを複数記憶する場合の例を示す図である。

そして、画像補正装置は、実施例１〜３と同様の手法で、入力画像における暗い画素または暗い領域の平均明度を算出し、算出した平均明度に対応する補正カーブを補正カーブＤＢから取得して、取得した補正カーブを用いて、入力画像を補正する。例えば、画像補正装置は、入力画像における暗い画素または暗い領域の平均明度が「１３」と算出された場合、算出された平均明度「１３」に対応する補正カーブ３を補正カーブＤＢから取得して、取得した補正カーブ３を用いて、入力画像を補正する。

［実施例４による効果］
このように、実施例４によれば、算出された平均明度に対応付けて、補正量を決定する複数の補正カーブを補正カーブＤＢに記憶し、算出された平均明度に対応する補正カーブを補正カーブＤＢから取得し、取得した補正カーブに基づいて入力画像を補正するので、明るい画像における暗い画素（部分）の平均明度に応じた適切な補正量を決定して、入力画像を補正することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）補正量決定手法、（２）システム構成等、（３）プログラムにそれぞれ区分けして異なる実施例を説明する。

（１）補正量決定手法
例えば、実施例１〜４では、予め記憶する補正カーブを用いて入力画像を補正する場合について説明したが、本発明はこれに限定されるものではなく、例えば、受け付けた入力画像ごとに、実施例４で説明した補正カーブ算出手法を用いて補正カーブを算出し、算出した補正カーブを用いて入力画像を補正することもできる。このようにすることで、入力画像ごとに補正量を決定することができる結果、黒浮きや黒つぶれをより強固に抑止し、より高画質な画像に補正することが可能である。

（２）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、入力画像の受付処理など）の全部または一部を手動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報（例えば、図３、図６、図９〜図１２など）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、明るさ検出部と明るい画像判定部を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（３）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。

図１３は、画像補正プログラムを実行するコンピュータシステムの例を示す図である。図１３に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図１３に示すように、明度判定プログラム１０３ａと、計数プログラム１０３ｂと、平均明度算出プログラム１０３ｃと、画像補正プログラム１０３ｄとがあらかじめ記憶されている。

そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｄを読み出して実行することで、図１３に示すように、明度判定プロセス１０４ａと、計数プロセス１０４ｂと、平均明度算出プロセス１０４ｃと、画像補正プロセス１０４ｄとなる。なお、明度判定プロセス１０４ａは、図２に示した、明るさ検出部２１と明るい画像判定部２２とに対応し、同様に、計数プロセス１０４ｂは、暗い画素計数部２３に対応し、平均明度算出プロセス１０４ｃは、平均明度算出部４０に対応し、画像補正プロセス１０４ｄは、画像補正部２５に対応する。

また、ＨＤＤ１０２には、補正量を決定する入力画素と変換後の出力画素とを対応付けた複数の補正カーブを記憶する補正カーブテーブル１０２ａが設けられる。なお、補正カーブテーブル１０２ａは、図２に示した、補正カーブＤＢ１４に対応する。

ところで、上記したプログラム１０３ａ〜１０３ｄは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。

以上のように、本発明に係る画像補正装置は、入力された入力画像から算出した入力画像を高品質に補正する補正量に基づいて、前記入力画像を補正することに有用であり、特に、黒浮きや黒潰れを抑止し、高画質な画像に補正することに適する。

図１は、実施例１に係る画像補正装置の概要と特徴を説明するための図である。図２は、実施例１に係る画像補正装置の構成を示すブロック図である。図３は、補正カーブＤＢに記憶される情報の例を示す図である。図４は、実施例１に係る画像補正装置における画像補正処理の流れを示すフローチャートである。図５は、実施例２に係る画像補正装置の構成を示すブロック図である。図６は、暗い領域の算出例を示す図である。図７は、実施例２に係る画像補正装置における画像補正処理の流れを示すフローチャートである。図８は、実施例３に係る画像補正装置における画像補正処理の流れを示すフローチャートである。図９は、補正カーブ算出例を示す図である。図１０は、補正カーブ算出例を示す図である。図１１は、補正カーブを複数記憶する場合の例を示す図である。図１２は、補正カーブを複数記憶する場合の例を示す図である。図１３は、画像補正プログラムを実行するコンピュータシステムの例を示す図である。図１４は、従来技術を説明するための図である。図１５は、従来技術を説明するための図である。

１０画像補正装置
１１入力制御Ｉ／Ｆ部
１２記憶部
１３暗い画素ＤＢ
１４補正カーブＤＢ
２０制御部
２１明るさ検出部
２２明るい画像判定部
２３暗い画素計数部
２４平均明度算出部
２５画像補正部
３０領域検出部
４０平均明度算出部
１００コンピュータシステム
１０１ＲＡＭ
１０２ＨＤＤ
１０２ａ補正カーブテーブル
１０３ＲＯＭ
１０３ａ明度判定プログラム
１０３ｂ計数プログラム
１０３ｃ平均明度算出プログラム
１０３ｄ画像補正プログラム
１０４ＣＰＵ
１０４ａ明度判定プロセス
１０４ｂ計数プロセス
１０４ｃ平均明度算出プロセス
１０４ｄ画像補正プロセス

Claims

入力された入力画像から算出した入力画像を高品質に補正する補正量に基づいて、前記入力画像を補正する画像補正装置であって、
前記入力画像における各画素の画素値から当該入力画像の平均的な明るさの特徴値を算出し、算出した特徴値が第一の閾値以上であるか否かを判定する明度判定手段と、
前記明度判定手段により特徴値が第一の閾値以上である明るい画像と判定された入力画像に対して、当該入力画像内において前記第一の閾値よりも小さい第二の閾値以下である各画素の画素値から平均的な明るさの特徴値を算出する平均明度算出手段と、
前記平均明度算出手段により算出された特徴値が前記第二の閾値よりも小さい第三の閾値以上、または、前記第二の閾値以下である画素のうち前記第三の閾値以上である画素の数が所定数以上である場合に、前記入力画像を明るくするように補正量を決定し、前記平均明度算出手段により算出された特徴値が前記第三の閾値未満、または、前記第二の閾値以下である画素のうち前記第三の閾値以上である画素の数が前記所定数未満である場合に、前記入力画像を暗くするように補正量を決定し、決定した補正量を用いて入力画像を補正する画像補正手段と、
を備えたことを特徴とする画像補正装置。
前記平均明度算出手段により算出された特徴値に対応付けて、前記補正量を決定する複数の補正カーブを記憶する補正カーブ記憶手段をさらに備え、
前記画像補正手段は、前記平均明度算出手段により算出された特徴値に対応する補正カーブを前記補正カーブ記憶手段から取得し、取得した補正カーブに基づいて入力画像を補正することを特徴とする請求項１に記載の画像補正装置。
前記明度判定手段により特徴値が前記第一の閾値以上である明るい画像と判定された入力画像に対して、前記入力画像の各画素を参照して、前記第二の閾値以下である画素が連続する領域を算出する領域算出手段をさらに備え、
前記平均明度算出手段は、前記領域算出手段により算出された領域内の各画素の画素値から領域の平均的な明るさの特徴値を算出し、
前記画像補正手段は、前記平均明度算出手段により算出された領域の特徴値が前記第三の閾値以上であるか否かに基づいて、前記補正量を決定して、決定した補正量を用いて入力画像を補正することを特徴とする請求項１に記載の画像補正装置。
前記画像補正手段は、前記領域算出手段により算出された領域のサイズが所定サイズ以上である場合に、前記平均明度算出手段により算出された領域の特徴値が前記第三の閾値以上であるか否かに基づいて、前記補正量を決定して、決定した補正量を用いて入力画像を補正することを特徴とする請求項３に記載の画像補正装置。