JP5238931B2 - Ｈｄｒ画像生成方法および同方法を用いるデジタル撮像素子 - Google Patents

Description

本発明は、デジタル画像処理方法および同方法を用いるデバイスに関し、より詳細には、高ダイナミックレンジ（ＨＤＲ）画像生成方法および同方法を用いるデジタル撮像素子に関する。

光を検出するとき、人間の目の視覚系は、周囲光の分布に従ってその感度を調整する。したがって、人間の目は、明るすぎるかまたは暗すぎる環境に対して、数分の調整の後に適合することができる。現在、ビデオカメラ、カメラ、一眼レフカメラ、およびウェブカメラなどの撮像装置の作動原理は似ており、ピンホール結像の原理に基づいて、取り込んだ画像がレンズを介して検出部に投影される。しかし、フィルム、電荷結合素子センサ（ＣＣＤセンサ）、および相補型金属酸化膜半導体センサ（ＣＭＯＳセンサ）などの感光性素子の感光性範囲は、人間の目のそれとは異なり、画像に対して自動的に調整することができない。したがって、取り込んだ画像には、通常、明るすぎるかまたは暗すぎる部分がある。図１は、ダイナミックレンジが不十分な画像の概略図である。画像１０は、通常のデジタルカメラによって取り込まれた、ダイナミックレンジが不十分な画像である。図１で、画像ブロック１２の左下角は暗すぎるが、一方、画像ブロック１４の右上角は明るすぎる。そのような場合、左下角の画像ブロック１２内の木および家の詳細は、この領域が暗すぎるのではっきり見ることができない。

従来技術では、上記の問題を解決するために高ダイナミックレンジ（ＨＤＲ）画像が採用される。ＨＤＲ画像は、様々な露出設定を用いて様々な感光度で同一領域の画像を取り込み、次いで、取り込んだ画像を、人間の目で見て具合のよい画像へ合成することにより形成される。図２は、複数の画像をＨＤＲ画像へ合成する様子の概略図である。ＨＤＲ画像２０は、複数の画像２１、２３、２５、２７、および２９を様々な感光度で合成することにより形成される。この方法は優れた効果を達成するが、明白な欠点もある。まず、取り込まれた各画像の位置は正確でなければならず、いかなる誤差によっても合成が困難になる恐れがある。その上、諸画像を取り込むとき、必要な記憶空間が、単一フレームから複数フレームへと増加する。さらに、合成するのに要する時間も考えられる。したがって、この方法は、時間がかかり、記憶空間を浪費し、かつ間違え易い。

さらに、従来技術では、ＨＤＲ画像をシミュレートするように画像処理が実行されるとき、通常、画像ぶれが生じる。図３は画像ぶれの概略図である。ＨＤＲ画像３０をシミュレートするとき、画像内の暗すぎる領域の輝度が高められ、その一方で画像の構成は維持されるべきであって、その結果これら暗すぎる領域のより明るい部分はさらに明るくなり、したがって、暗すぎる領域を明るくしたせいで画像構成の効果が弱まることはないはずである。しかし、この方法は、暗すぎる、または明るすぎる領域の境界３２での輝度も強化し、したがって画像ぶれをもたらす恐れがある。

上記の問題を解決するために、本発明は、高ダイナミックレンジ（ＨＤＲ）画像を生成する方法および同方法を用いるデジタル撮像素子であり、オリジナル画像に対してグレースケール処理および画像補償を実行してＨＤＲ画像を生成する。

本発明の好ましい実施形態では、単一デジタル画像によってＨＤＲ画像を生成するためのＨＤＲ画像生成方法が提供される。この方法は、オリジナル画像を得るステップと、オリジナルグレースケールのパターン内の各画素にグレースケール値を割り当てるグレースケール処理を実行して、オリジナル画像をオリジナルグレースケールのパターンに変換するステップと、オリジナルグレースケールのパターン内の各画素のグレースケール値の勾配および補償値に従って変換プロシージャを実行し、勾配および補償値を用いることにより高ダイナミックグレースケールのパターンを生成するステップと、ＨＤＲ画像を生成するように、高ダイナミックグレースケールのパターンを用いてオリジナル画像を補償するステップとを含む。

オリジナルグレースケールのパターン内の各画素のグレースケール値は次式で計算され、Ｙ_i＝０．２９９×ｉ_(R)＋０．５８７×ｉ_(G)＋０．１１４×ｉ_(B)、ここで、ｉはオリジナル画像のｉ番目の画素であり、Ｙ_iはオリジナルグレースケールのパターンのｉ番目のグレースケール値であり、ｉ_(R)はオリジナル画像のｉ番目の画素の赤色画素値であり、ｉ_(G)はオリジナル画像のｉ番目の画素の緑色画素値であり、ｉ_(B)はオリジナル画像のｉ番目の画素の青色画素値であって、ｉは正整数である。

変換プロシージャを実行するステップは、最大補償値および最小補償値を求めて補償値を検索するステップと、高ダイナミックグレースケールのパターンを得るように、勾配、補償値、最大補償値、および最小補償値を用いてオリジナルグレースケールのパターンを補償するステップとをさらに含む。勾配、補償値、最大補償値および最小補償値は、それぞれ以下の諸式で計算され、

ここで、Ｎはオリジナルグレースケールのパターン内の画素の合計数であり、ｉはオリジナルグレースケールのパターン内のｉ番目の画素であり、Ｈ（Ｅ_i）はオリジナルグレースケールのパターン内のｉ番目の画素の勾配であり、ｄＥ_iｘ²はオリジナルグレースケールのパターン内のｉ番目の画素の水平方向の変量であり、ｄＥ_iｙ²はオリジナルグレースケールのパターン内のｉ番目の画素の垂直方向の変量であり、Ｋ（ｉ）はオリジナルグレースケールのパターン内のｉ番目の画素の補償値であり、Ｙ’_iは高ダイナミックグレースケールのパターン内のｉ番目の画素のグレースケール値であり、Ｙ_iはオリジナルグレースケールのパターン内のｉ番目の画素のグレースケール値であり、Ｋ_maxは最大補償値であり、Ｋ_minは最小補償値であり、ｉおよびＮは正整数であって、α、β、およびγは正の数である。

ＨＤＲ画像は次式で生成され、

ここで、Ａ’_(R)はＨＤＲ画像の赤色の濃淡値であり、Ａ’_(G)はＨＤＲ画像の緑色の濃淡値であり、Ａ’_(B)はＨＤＲ画像の青色の濃淡値であり、Ａ_(R)はオリジナル画像の赤色の濃淡値であり、Ａ_(G)はオリジナル画像の緑色の濃淡値であり、Ａ_(B)はオリジナル画像の青色の濃淡値であり、Ｙ’は高ダイナミックグレースケールのパターンであり、Ｙはオリジナルグレースケールのパターンであって、λは正の数である。

ＨＤＲ画像を生成するためのデジタル撮像素子がさらに提供される。まず、デジタル撮像素子によってオリジナル画像が取り込まれ、次いで、ＨＤＲ画像を生成する前述の方法を用いることにより、オリジナル画像に対するグレースケール処理および画像補償が実行されてＨＤＲ画像が生成される。

本発明のＨＤＲ画像生成方法およびデジタル撮像素子によれば、オリジナル画像に対してグレースケール処理および画像補償が実行されてＨＤＲ画像が生成される。それによって、複数の画像を取り込むのに要する時間が短縮され、また、取り込んだ画像を保存するための空間が縮小される。一方、複数の画像を単一画像へ合成する時間が短縮され、ぶれも回避される。

本明細書で説明のためにのみ与えられ、したがって本発明を限定するものではない以下の詳細な説明から、本発明がより十分に理解されるであろう。

ダイナミックレンジが不十分な画像の概略図である。 複数の画像をＨＤＲ画像へ合成する様子の概略図である。 画像ぶれの概略図である。 好ましい実施形態によってＨＤＲ画像を生成する方法の流れ図である。 好ましい実施形態によってＨＤＲ画像を生成する方法の変換プロシージャの流れ図である。 好ましい実施形態によってＨＤＲ画像を生成するためのデジタル撮像素子のアーキテクチャの概略図ある。

図４は、好ましい実施形態によって高ダイナミックレンジ（ＨＤＲ）画像を生成する方法の流れ図である。このＨＤＲ画像生成方法は、単一デジタル画像によってＨＤＲ画像を生成するためにデジタル撮像素子に適用される。この方法は、以下のステップを含む。

ステップＳ１００で、オリジナル画像が得られる。

ステップＳ１１０で、グレースケール処理が実行されてオリジナル画像がオリジナルグレースケールのパターンに変換され、かつオリジナルグレースケールのパターン内の各画素にグレースケール値が割り当てられる。

ステップＳ１２０で、オリジナルグレースケールのパターン内の各画素のグレースケール値の勾配および補償値に従って変換プロシージャが実行され、勾配および補償値を用いることにより高ダイナミックグレースケールのパターンが生成される。

ステップＳ１３０で、ＨＤＲ画像を生成するように、高ダイナミックグレースケールのパターンを用いてオリジナル画像が補償される。

ステップＳ１００で、オリジナル画像が、デジタル撮像素子の記憶ユニットから得られ、あるいは他の記憶ユニットからデジタル撮像素子にロードされる。

さらに、ステップＳ１１０では、オリジナルグレースケールのパターン内の各画素のグレースケール値が次式で計算され、Ｙ_i＝０．２９９×ｉ_(R)＋０．５８７×ｉ_(G)＋０．１１４×ｉ_(B)、ここで、ｉはオリジナル画像のｉ番目の画素であり、Ｙ_iはオリジナルグレースケールのパターンのｉ番目のグレースケール値であり、ｉ_(R)はオリジナル画像のｉ番目の画素の赤色画素値であり、ｉ_(G)はオリジナル画像のｉ番目の画素の緑色画素値であり、ｉ_(B)はオリジナル画像のｉ番目の画素の青色画素値であって、ｉは正整数である。

図５は、好ましい実施形態によってＨＤＲ画像を生成する方法の変換プロシージャの流れ図である。Ｓ１２０の変換プロシージャ実行ステップは、以下のサブステップをさらに含む。

ステップＳ１２２で、最大補償値Ｋ_maxおよび最小補償値Ｋ_minを求めて補償値が検索される。

ステップＳ１２４で、高ダイナミックグレースケールのパターンを得るように、勾配、補償値、最大補償値Ｋ_max、および最小補償値Ｋ_minを用いてオリジナルグレースケールのパターンが補償される。

勾配、補償値、最大補償値および最小補償値は、それぞれ以下の諸式で計算され、

ここで、Ｎはオリジナルグレースケールのパターン内の画素の合計数であり、ｉはオリジナルグレースケールのパターン内のｉ番目の画素であり、Ｈ（Ｅ_i）はオリジナルグレースケールのパターン内のｉ番目の画素の勾配であり、ｄＥ_iｘ²はオリジナルグレースケールのパターン内のｉ番目の画素の水平方向の変量であり、ｄＥ_iｙ²はオリジナルグレースケールのパターン内のｉ番目の画素の垂直方向の変量であり、Ｋ（ｉ）はオリジナルグレースケールのパターン内のｉ番目の画素の補償値であり、Ｙ’_iは高ダイナミックグレースケールのパターン内のｉ番目の画素のグレースケール値であり、Ｙ_iはオリジナルグレースケールのパターン内のｉ番目の画素のグレースケール値であり、Ｋ_maxは最大補償値であり、Ｋ_minは最小補償値であり、ｉおよびＮは正整数であって、α、β、およびγは正の数である。

ステップＳ１３０で、次式でＨＤＲ画像が生成され、

ここで、Ａ’_(R)はＨＤＲ画像の赤色の濃淡値であり、Ａ’_(G)はＨＤＲ画像の緑色の濃淡値であり、Ａ’_(B)はＨＤＲ画像の青色の濃淡値であり、Ａ_(R)はオリジナル画像の赤色の濃淡値であり、Ａ_(G)はオリジナル画像の緑色の濃淡値であり、Ａ_(B)はオリジナル画像の青色の濃淡値であり、Ｙ’は高ダイナミックグレースケールのパターンであり、Ｙはオリジナルグレースケールのパターンであって、λは正の数である。

本発明のＨＤＲ画像生成方法は、画像を取り込むことができるデジタル撮像素子に適用される。この方法は、ソフトウェアまたはファームウェアプログラムの形式でデジタル撮像素子の記憶ユニット内に構築することができ、デジタル撮像素子のプロセッサにより、その画像を取り込む機能を用いる一方で内蔵ソフトウェアまたはファームウェアプログラムを実行するやり方で実施することができる。ここで、デジタル撮像素子は、デジタルカメラ、コンピュータ、携帯電話、または画像を取り込むことができる携帯情報端末（ＰＤＡ）でよいが、これらには限定されない。

図６は、好ましい実施形態によってＨＤＲ画像を生成するためのデジタル撮像素子のアーキテクチャの概略図ある。ＨＤＲ画像生成方法によって、デジタル撮像素子４０は、オリジナル画像に対してグレースケール処理および画像補償を実行してＨＤＲ画像を生成する。デジタル撮像素子４０は、画像センサ４２、記憶ユニット４４、処理ユニット４６、および出力ユニット４８を備える。

画像センサ４２は、取り込まれたデジタル画像をオリジナル画像４５に変換する。オリジナル画像４５を保存するために、記憶ユニット４４が画像センサ４２に接続される。ＨＤＲ画像を生成するために、処理ユニット４６が記憶ユニット４４に接続され、ＨＤＲ画像生成方法を実行する。生成されたＨＤＲ画像をデジタル撮像素子４０の画面上に表示するために、出力ユニット４８が処理ユニット４６に接続される。

画像センサ４２は、相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは、電荷結合素子（ＣＣＤ）センサである。

記憶ユニット４４は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）である。

本発明のＨＤＲ画像生成方法およびデジタル撮像素子によれば、オリジナル画像に対してグレースケール処理および画像補償が実行されてＨＤＲ画像が生成される。それによって、複数の画像を取り込むのに要する時間が短縮され、また、取り込んだ画像を保存するための空間が縮小される。一方、複数の画像を単一画像へ合成する時間が短縮され、ぶれも回避される。

４０ デジタル撮像素子
４２ 画像センサ
４４ 記憶ユニット
４５ オリジナル画像
４６ 処理ユニット
４８ 出力ユニット

Claims (6)

1. オリジナル画像を得るステップと、
   オリジナルグレースケールのパターン内の各画素にグレースケール値を割り当てるグレースケール処理を実行して、前記オリジナル画像を前記オリジナルグレースケールのパターンに変換するステップと、
   前記オリジナルグレースケールのパターン内の各画素の前記グレースケール値の勾配および補償値に従って変換プロシージャを実行し、前記勾配および前記補償値を用いることにより高ダイナミックグレースケールのパターンを生成するステップと、
   ＨＤＲ画像を生成するように、前記高ダイナミックグレースケールのパターンを用いて前記オリジナル画像を補償するステップとを含み、
   前記変換プロシージャを実行するステップは、最大補償値および最小補償値を求めて前記補償値を検索するステップと、前記高ダイナミックグレースケールのパターンを得るように、前記勾配、前記補償値、前記最大補償値、および前記最小補償値を用いて前記オリジナルグレースケールのパターンを補償するステップとをさらに含み、前記勾配、前記補償値、前記最大補償値および前記最小補償値が、それぞれ以下の諸式で計算され、
   ここで、Ｎは前記オリジナルグレースケールのパターン内の画素の合計数であり、ｉは前記オリジナルグレースケールのパターン内の前記ｉ番目の画素であり、Ｈ（Ｅ _i ）は前記オリジナルグレースケールのパターン内の前記ｉ番目の画素の勾配であり、ｄＥ _i ｘ ² は前記オリジナルグレースケールのパターン内の前記ｉ番目の画素の水平方向の変量であり、ｄＥ _i ｙ ² は前記オリジナルグレースケールのパターン内の前記ｉ番目の画素の垂直方向の変量であり、Ｋ（ｉ）は前記オリジナルグレースケールのパターン内の前記ｉ番目の画素の補償値であり、Ｙ’ _i は前記高ダイナミックグレースケールのパターン内の前記ｉ番目の画素のグレースケール値であり、Ｙ _i は前記オリジナルグレースケールのパターン内の前記ｉ番目の画素のグレースケール値であり、Ｋ _max は前記最大補償値であり、Ｋ _min は前記最小補償値であり、ｉおよびＮは正整数であって、α、β、およびγは正の数である、単一デジタル画像によって高ダイナミックレンジ（ＨＤＲ）画像を生成するためのデジタル撮像素子に適用可能なＨＤＲ画像生成方法。
2. 前記オリジナルグレースケールのパターン内の各画素のグレースケール値が次式で計算され、
   Ｙ_i＝０．２９９×ｉ_(R)＋０．５８７×ｉ_(G)＋０．１１４×ｉ_(B)
   ここで、ｉは前記オリジナル画像のｉ番目の画素であり、Ｙ_iは前記オリジナルグレースケールのパターンのｉ番目のグレースケール値であり、ｉ_(R)は前記オリジナル画像の前記ｉ番目の画素の赤色画素値であり、ｉ_(G)は前記オリジナル画像の前記ｉ番目の画素の緑色画素値であり、ｉ_(B)は前記オリジナル画像の前記ｉ番目の画素の青色画素値であって、ｉは正整数である請求項１に記載のＨＤＲ画像生成方法。
3. 前記ＨＤＲ画像が次式で生成され、
   ここで、Ａ’_(R)は前記ＨＤＲ画像の赤色の濃淡値であり、Ａ’_(G)は前記ＨＤＲ画像の緑色の濃淡値であり、Ａ’_(B)は前記ＨＤＲ画像の青色の濃淡値であり、Ａ_(R)は前記オリジナル画像の赤色の濃淡値であり、Ａ_(G)は前記オリジナル画像の緑色の濃淡値であり、Ａ_(B)は前記オリジナル画像の青色の濃淡値であり、Ｙ’は前記高ダイナミックグレースケールのパターンであり、Ｙは前記オリジナルグレースケールパターンであって、λは正の数である請求項１に記載のＨＤＲ画像生成方法。
4. 取り込まれたデジタル画像をオリジナル画像に変換するための画像センサと、
   前記オリジナル画像を保存するために前記画像センサに接続された記憶ユニットと、
   ＨＤＲ画像を生成するように、請求項１に記載のＨＤＲ画像生成方法を実行するために前記記憶ユニットに接続された処理ユニットとを備える、単一デジタル画像によってＨＤＲ画像を生成するように適用される高ダイナミックレンジ（ＨＤＲ）画像生成用デジタル撮像素子。
5. 前記画像センサが、相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサである請求項４に記載のＨＤＲ画像生成用デジタル撮像素子。
6. 前記記憶ユニットが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）である請求項４に記載のＨＤＲ画像生成用デジタル撮像素子。