JP5356666B2 - イメージの輝度補正のための装置および方法 - Google Patents

Description

本発明は、イメージの輝度補正のための装置および方法に関し、より詳しくは、イメージに含まれる中心となる物体に対する輝度補正を行うことができるイメージの輝度補正のための装置および方法に関するものである。

一般的にカメラやビデオカメラなどのような所定の被写体のイメージを獲得できる装置は、イメージを獲得する場所の周辺光が過度に明るかったり逆光であったりする場合、獲得されたイメージ内の所定物体の露出不足現象が生じるため、このような露出不足現象を補正する輝度補正を行う。

この時、イメージを獲得する装置におけるイメージの輝度補正のための方法の一例として、イメージを獲得する装置は、獲得されたイメージを複数の領域に分割し、各分割領域に互いに異なる加重値を与えて輝度補正を行う。言い換えれば、イメージを獲得する装置は、複数の分割領域の中にメインオブジェクト、すなわち中心となる物体を含む領域をメイン領域、その他の領域をサブ領域と設定し、設定したメイン領域とサブ領域に互いに異なる加重値を与えて加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）によってイメージが目標とする輝度に達するように補正を行う。

このようなイメージの輝度を補正するために、メイン領域を予め指定し、メインオブジェクトが占める領域に関らず固定されたメイン領域を用いる方式を用いているが、これはイメージ内におけるメインオブジェクトの位置を考慮しないため、メインオブジェクトの位置が変わる場合に正確なメインオブジェクトの輝度を得るのが難しいという問題があり、このためイメージが目標とする輝度に達するのに限界がある。

したがって、獲得されたイメージにてメインオブジェクトが位置するメイン領域をメインオブジェクトの位置に応じて可変的に設定し、正確な輝度補正が行われるようにするための方策が要求されている。
日本公開特許第２００１−２９８６６０号公報

前記の目的を達成するために本発明は、獲得されたイメージを複数の分割領域に分割し、各分割領域の輝度分布によって獲得されたイメージにてメインオブジェクトが位置する領域を可変的に設定し、露出不足現象の発生時にメインオブジェクトの輝度補正を行うことができるイメージの輝度補正のための装置および方法を提供することにその目的がある。

本発明の目的は、以上で言及した目的に制限されず、言及しないまた他の目的は下記記載によって当業者が明確に理解できるものである。

前記目的を達成するために、本発明の一態様に係るイメージの輝度補正のための装置は、イメージを獲得するイメージ獲得部、前記獲得されたイメージを複数の分割領域に分割し、前記各分割領域の輝度分布を算出する輝度分布算出部、および前記算出された輝度分布によって前記獲得されたイメージにてメインオブジェクトが含まれたメイン領域を判断し、前記判断結果に応じて前記獲得されたイメージに対する補正を行う補正部を含む。

また、前記目的を達成するために、本発明の他の態様に係るイメージの輝度補正のための方法は、イメージを獲得するステップ、前記獲得されたイメージを複数の分割領域に分割し、前記各分割領域の輝度分布を算出するステップ、および前記算出された輝度分布によって前記獲得されたイメージにてメインオブジェクトが含まれたメイン領域を判断し、前記判断結果に応じて前記獲得されたイメージに対する補正を行うステップを含む。

本発明のイメージの輝度補正のための装置および方法によれば、獲得されたイメージに含まれた中心となる物体に応じてメイン領域を可変的に設定し、中心となる物体の露出不足現象を解決できる効果がある。

その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され得、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。

以下、本発明の実施形態に係るイメージの輝度補正のための装置および方法を説明するためブロック図または処理フローチャートに対する図面を参考にして本発明について説明する。この時、処理フローチャートの各ブロックとフローチャートの組合せは、コンピュータプログラムインストラクションによって行われることが理解できる。これらコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータ、またはその他のプログラム可能なデータプロセシング装備のプロセッサに搭載することができるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備のプロセッサによって行われるそのインストラクションがフローチャートブロックで説明する機能を行う手段を生成するようになる。これらコンピュータプログラムインストラクションは、特定方式で機能を具現するために、コンピュータまたはその他のプログラム可能なデータプロセシング装備が備えられるコンピュータによって利用可能または読取可能なメモリに格納されることも可能であるため、そのコンピュータによって利用可能または読取可能なメモリに格納されたインストラクションは、フローチャートブロックで説明する機能を行うインストラクション手段を含む製造品目の生産に用いることも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載することも可能であるため、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが行われ、コンピュータで実行されるプロセスを生成して、コンピュータまたはその他のプログラム可能なデータプロセシング装備の機能を行うインストラクションはフローチャートブロックで説明する各ステップの機能を実行することも可能である。

また、各ブロックは、特定された論理的機能を実行するための１つ以上の実行可能なインストラクションを含むモジュール、セグメント、またはコードの一部を示すことができる。また、複数の代替実行例ではブロックで言及された機能が順序から外れて行われることも可能であることに注目しなければならない。例えば、連続して図示されている２つのブロックは、実質的に同時に行われることも可能で、またはそのブロックが時々該当機能により逆順で行われることも可能である。

一般的にイメージの輝度を補正するためには、図１に示すようにイメージ１０内に含まれているメインオブジェクト１１が占める領域に関らず予め指定された領域をメイン領域２１およびサブ領域２２として用いられる。そのため、メイン領域２１には、メインオブジェクト１１ではない他のオブジェクト１２も含まれる場合が生じる。そのため、メインオブジェクト１１に対する正確な輝度を得られなくなり、結果的には図２に示すようにメインオブジェクト１１の輝度が暗くなる。

したがって、本発明の実施形態に係るイメージの輝度補正のための装置は、イメージ内に含まれているメインオブジェクトの位置に応じてメイン領域を可変的に設定して正確なメインオブジェクトの輝度を得るためのものであり、図３は、本発明の実施形態に係るイメージの輝度補正のための装置が示されている図である。

図３に示すように本発明の実施形態に係るイメージを補正するための装置１００は、イメージ獲得部１１０、輝度分布算出部１２０、補正部１３０、格納部１４０、およびユーザ入力部１５０を含む。

イメージ獲得部１１０は、所定の被写体に対するイメージを獲得する撮像素子であるＣＣＤおよびＣＭＯＳセンサなどとして理解することができ。また、本発明の実施形態ではイメージ獲得部１１０が前述した撮像素子に限らず、撮像素子を備えたカメラおよびビデオカメラなどのようなイメージを獲得できる装置として理解することもできる。

以下、本発明の実施形態において、イメージ獲得部１１０によって獲得されるイメージにて中心となる物体を「メインオブジェクト」と称し、その他のオブジェクトを「サブオブジェクト」と称することにする。例えば、イメージ獲得部１１０によって獲得されるイメージに「家」と「木」がある場合、ユーザが「家」を中心となる物体として設定してイメージを獲得すれば、メインオブジェクトは「家」であり、サブオブジェクトは「木」である。また、本発明の実施形態において、イメージ獲得部１１０によって獲得されるイメージにてメインオブジェクトが占める領域を「メイン領域」、サブオブジェクトおよびその他背景などが占める領域を「サブ領域」と称する。

輝度分布算出部１２０は、イメージ獲得部１１０によって獲得されたイメージを複数の分割領域に分割し、各分割領域の輝度に伴う輝度分布を算出することができる。この時、本発明の実施形態では分割領域が互いに均一な大きさを有する場合を例に挙げて説明しているが、これに限らず互いに異なる大きさを有することもでき、分割領域の大きさはイメージを獲得する環境などによって変更され得る。

具体的に、輝度分布算出部１２０は、図４に示すように輝度を複数の輝度レベルに設定し、分割された各分割領域の輝度がどの輝度レベルに含まれるかを判断することができる。例えば、輝度分布算出部１２０で設定される輝度の最大値が１０で、各輝度レベルの輝度を２単位にして合わせて５個のレベルに設定した場合、輝度分布算出部１２０は、各分割領域の輝度がどの輝度レベルに含まれるかを判断することができる。例えば、図４にて輝度レベル１は０〜２の間の輝度を有し、輝度レベル５は８〜１０の間の輝度を有する。また、本発明の実施形態において、輝度分布算出部１２０が用いる分割領域の輝度は該当する分割領域の平均輝度として理解することができ、各輝度レベルに該当する輝度範囲はイメージを獲得する環境などによって変更され得る。

したがって、輝度分布算出部１２０は、各輝度レベルに含まれる分割領域の頻度を示す輝度分布を算出することができる。また、本発明の実施形態にて用いられる輝度レベルとしては、グレイ（Ｇｒａｙ）レベルを用いる場合を例に挙げて説明する。言い換えれば、輝度分布算出部１２０は、獲得されたイメージをグレイに変換した後、各分割領域の輝度に伴う輝度分布を算出する場合を例に挙げて説明する。この時、輝度レベルとしてグレイレベルを用いるのは、本発明の理解を助けるための一例に過ぎず、用いられる輝度レベルの種類は他にも変更され得る。

補正部１３０は、図５に示すように前述した図４の輝度分布から輝度分布算出部１２０によって算出された輝度分布において、所定範囲２００内の輝度レベルに含まれる分割領域をメインオブジェクトが含まれたメイン領域と判断し、そうではない場合はサブオブジェクトが含まれたサブ領域と判断することができる。この時、本発明の実施形態にて補正部１３０がメイン領域と判断する輝度レベルは、輝度分布算出部１２０で算出された輝度分布にて最も明るい輝度レベルと最も暗い輝度レベルとを除いた範囲であると理解することができる。これは、一般的にイメージを獲得する時に露出が十分である場合に獲得されたイメージの場合、各分割領域の輝度は算出された輝度分布で中間くらいの輝度レベルに集中され得る。また、最も明るい輝度レベルを有する分割領域に対する補正が行われる場合、輝度が充分であるにもかかわらず補正が行われてより一層明るくなるという状況が生じてしまう。よって、補正後のイメージが不自然になり得るためこれを事前に防止するためである。

この時、補正部１３０では図６に示すように、前述した図５にて所定範囲２００内に含まれる分割領域のグループ３１１，３１２をイメージ獲得部１１０から獲得されたイメージ３００にてメイン領域３１０として設定し、その他分割領域をサブ領域３２０として設定する。この時、補正部１３０では図６に示すように、メイン領域３１０に含まれた分割領域グループ３１１，３１２の中連続していない分割領域３１２の場合、メインオブジェクトではないと判断して除外させる。言い換えれば、補正部１３０では、獲得されたイメージにてメインオブジェクトが「家」であり、「家」の近くに「木」があり、「家」と「木」に該当する分割領域が算出された輝度分布にて該当範囲内に共に存在する場合、ユーザが「家」をメインオブジェクトとして設定してイメージを獲得すれば、「家」の占める領域の分割領域は連続的に存在するのに対し、「木」が占める領域の分割領域は「家」が占める領域の分割領域とは非連続的に存在するようになる。したがって、連続的でない分割領域を除外させることによって、メイン領域の中においても有効な分割領域を判断して補正を行うことができる。

したがって、補正部１３０は図７に示すように、イメージ獲得部１１０から獲得されたイメージ３００にて前述した有効分割領域をメイン領域にして獲得されたイメージ３００が目標とする輝度になるよう、メイン領域３１０およびサブ領域３２０の加重和によって輝度補正を行い、これによって補正されたイメージ３００は図８に示すように、前述した図２のように補正されたイメージに比べてその輝度が目標とする輝度になっていることが分かる。

一方、補正部１３０は、メイン領域３１０およびサブ領域３２０にてその輝度が明るくなるほど補正値は逆に減少する方法で補正を行う。これは、すべての輝度に対して同一の補正値で補正を行う場合、十分明るい領域であるにもかかわらずその輝度がさらに明るくなるのを事前に防ぐためである。

したがって、補正部１３０は図９に示すように、最大補正値および最小補正値を設定し、所定の基準値以上の輝度を有する領域に対しては最小補正値で補正を行う。例えば、サブ領域の輝度が基準値より明るい場合、補正値は図９に示すように最小補正値に決められ、最小補正値が２０％と仮定してメインオブジェクトが目標とする輝度に達するための補正量が全体イメージの輝度の１０％上昇であれば、最終補正量は１０％＊２０％になり、全体イメージの輝度の２％上昇となる。この時、図９において横軸である領域輝度はサブ領域の輝度として理解することができる。

格納部１４０では、輝度分布算出部１２０で輝度分布を算出する時に用いる輝度レベルに関する情報、イメージ獲得部１１０によって獲得されたイメージ、および補正部１３０によって補正されたイメージが格納され得る。この時、本発明の実施形態では、格納部１４０に輝度レベルに関する情報、獲得されたイメージ、および補正されたイメージがすべて格納される場合を例に挙げて説明しているが、これは本発明の理解を助けるための一例に過ぎず、これに限らず各々ハードウェア的に別途に構成され得る。また、格納部１４０としては、キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュ、ＳＲＡＭ、およびＤＲＡＭのような装置が含まれ得るがこれに限ることがない。

ユーザ入力部１５０にはユーザ入力値が入力され得、補正部１３０ではユーザの入力値が入力される場合にのみ前述した輝度分布算出部１２０によって算出された輝度分布による補正を行うことができる。例えば、ユーザが所定の被写体に対するイメージを獲得された状況が逆光状態の場合、ユーザはユーザ入力部１５０によって獲得されたイメージの補正を要請することができる。したがって、補正部１３０は、常に輝度分布算出部１２０によって算出された輝度分布によって補正を行うこともでき、ユーザによって入力値が入力された場合にのみ輝度分布によって補正を行うこともできるが、これに限らず本発明の実施形態に係るイメージを補正するための装置１００が用いられる環境によって変更され得る。

図１０は、本発明の実施形態に係るイメージの輝度補正のための方法が示される図である。この時、図９のイメージの輝度補正のための方法は、その以前に従来の固定領域分割方式によって獲得されたイメージの輝度が補正された場合の一例として理解することができ、図９はその以前に固定領域分割方式によってイメージの輝度が補正されない場合にも同様に適用され得る。

図面に示すように、本発明の実施形態に係るイメージを補正するための方法は、先ずイメージ獲得部１１０が所定の被写体に対するイメージを獲得する（Ｓ１１０）。この時、イメージ獲得部１１０によって獲得されるイメージにはメインオブジェクトおよびサブオブジェクトが含まれる。勿論、本発明の実施形態ではメインオブジェクトが１つである場合を例に挙げて説明しているが、メインオブジェクトおよびサブオブジェクトは場合によって複数含まれ得る。

輝度分布算出部１２０は、獲得されたイメージを複数の分割領域に分割し（Ｓ１２０）、各分割領域の輝度分布を算出する（Ｓ１３０）。この時、本発明の実施形態にて分割された各分割領域はその大きさが同一である場合を例に挙げて説明することにし、輝度分布算出部１２０による輝度分布算出の前に固定されたメイン領域を用いて補正がなされた場合を例に挙げて説明することにする。言い換えれば、イメージ獲得部１１０によって獲得されたイメージは、固定されたメイン領域によって目標とする輝度に補正された場合を例に挙げて説明することにする。

また、輝度分布算出部１２０は、ユーザがユーザ入力部１５０によって補正を要請した場合、輝度分布を算出する場合を例に挙げて説明することにし、ユーザは、逆光状態や低照度状態でイメージを獲得した場合、ユーザ入力部１５０によって補正を要請することができる。勿論、本発明の実施形態ではユーザが補正を要請した場合を例に挙げて説明しているが、これに限らずイメージの獲得時に自動的に輝度分布を算出することもでき、イメージの獲得時の周辺の光状態に伴って自動的に輝度分布を算出することもできる。

この時、輝度分布算出部１２０にて算出される輝度分布は、複数の輝度レベルを設定し、設定された各輝度レベルに含まれる分割領域の頻度で表すことができる。また、輝度分布算出時に用いられる分割領域の輝度は、該当する分割領域の平均輝度として理解され得る。

補正部１３０は、算出された輝度分布にて所定範囲の輝度レベルに含まれる分割領域からなるメイン領域を設定する（Ｓ１４０）。この時、設定されたメイン領域に含まれた分割領域は、前述したメインオブジェクトに対応する領域として理解され得る。また、補正部１３０では、設定されたメイン領域の中から連続しない分割領域の場合はメイン領域から除外される。この時、本発明の実施形態においては連続しない分割領域が除外されたメイン領域を有効メイン領域と称する。

補正部１３０は、有効メイン領域が設定されれば、加重和によってメイン領域およびサブ領域に加重値を与え、獲得されたイメージの輝度補正を行う（Ｓ１５０）。

本発明の実施形態で用いられる「〜部」という用語は、ソフトウェアまたはＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「〜部」はある役割を行う。ところが「〜部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「〜部」は、アドレッシングできる格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例として「〜部」はソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素と「〜部」の中で提供されている機能は、さらに小さい数の構成要素および「〜部」に結合したり、追加的な構成要素と「〜部」にさらに分離したりすることができる。

以上、本発明に係るイメージの輝度補正のための装置および方法を例示した図面を参照して説明したが、本明細書に開示された実施形態および図面によって本発明は限定されず、本発明の技術思想の範囲内で当業者によって多様な変形が行われ得ることは勿論のことである。

一般的な固定領域分割方式が示される図である。 図１の固定領域分割方式によって輝度が補正されたイメージが示される図である。 本発明の実施形態に係るイメージの輝度補正のための装置が示される図である。 本発明の実施形態に係る輝度分布が示される図である。 図４の輝度分布にてメイン領域に該当する範囲が示される図である。 本発明の実施形態に係るメイン領域に含まれた分割領域が示される図である。 図６で有効分割領域が示される図である。 本発明の実施形態に係るイメージの輝度補正のための装置によって輝度が補正されたイメージが示される図である。 本発明の実施形態に係るメイン領域およびサブ領域の輝度に応じた補正値が示される図である。 本発明の実施形態に係るイメージの輝度補正のための方法が示される図である。

符号の説明

１１０ イメージ獲得部
１２０ 輝度分布算出部
１３０ 補正部
１４０ 格納部
１５０ ユーザ入力部

Claims (17)

1. イメージが獲得された環境に応じて前記獲得されたイメージを互いに異なる大きさの複数の分割領域に分割し、前記各分割領域の輝度分布を算出する輝度分布算出部と、
   前記算出された輝度分布によって前記獲得されたイメージにてメインオブジェクトが含まれたメイン領域を判断し、前記判断の結果に応じて前記獲得されたイメージに対する補正を行う補正部であって、イメージ内に含まれている前記メインオブジェクトの位置に応じて前記メイン領域は可変的に設定される、補正部と、
   を含むイメージの輝度補正のための装置。
2. 前記イメージを獲得するイメージ獲得部をさらに含む請求項１に記載のイメージの輝度補正のための装置。
3. 前記輝度分布算出部は、前記各分割領域の平均輝度に基づき、前記輝度分布を算出する請求項１に記載のイメージの輝度補正のための装置。
4. 前記輝度分布算出部は、複数の輝度レベルを設定し、
   前記各輝度レベルに含まれる分割領域の頻度によって前記輝度分布を算出する請求項１に記載のイメージの輝度補正のための装置。
5. 前記補正部は、前記算出された輝度分布にて所定範囲の輝度レベルに含まれる分割領域のグループを前記メイン領域として判断する請求項１に記載のイメージの輝度補正のための装置。
6. 前記補正部は、前記メイン領域に含まれる分割領域の中から連続しない分割領域を除外する請求項５に記載のイメージの輝度補正のための装置。
7. ユーザの入力値が入力されるユーザ入力部をさらに含み、
   前記補正部は、前記入力値に応じて前記獲得されたイメージを補正するか否かを決定する請求項１に記載のイメージの輝度補正のための装置。
8. 前記補正部は、最大補正値と最小補正値を設定し、所定の基準値によるメイン領域の輝度に基づき最大補正値および最小補正値のうち一つを使用して前記獲得されたイメージのメイン領域の補正を行う請求項１に記載のイメージ輝度補正のための装置。
9. イメージが獲得された環境に応じて前記獲得されたイメージを互いに異なる大きさの複数の分割領域に分割し、前記各分割領域の輝度分布を算出するステップと、
   前記算出された輝度分布によって前記獲得されたイメージにてメインオブジェクトが含まれたメイン領域を判断し、前記判断の結果に応じて前記獲得されたイメージに対する補正を行うステップであって、イメージ内に含まれている前記メインオブジェクトの位置に応じて前記メイン領域は可変的に設定される、ステップと、
   を含むイメージの輝度補正のための方法。
10. 前記イメージを獲得するステップをさらに含む請求項９に記載のイメージの輝度補正のための方法。
11. 前記輝度分布を算出するステップは、前記各分割領域の平均輝度に基づき、前記輝度分布を算出するステップを含む請求項９に記載のイメージの輝度補正のための方法。
12. 前記輝度分布を算出するステップは、
    複数の輝度レベルを設定するステップと、
    前記各輝度レベルに含まれる分割領域の頻度によって前記輝度分布を算出するステップと、
    を含む請求項９に記載のイメージの輝度補正のための方法。
13. 前記補正するステップは、前記算出された輝度分布にて所定範囲の輝度レベルに含まれる分割領域のグループを前記メイン領域として判断するステップを含む請求項１２に記載のイメージの輝度補正のための方法。
14. 前記補正するステップは、前記メイン領域に含まれる分割領域の中から連続しない分割領域を除外するステップを含む請求項１３に記載のイメージの輝度補正のための方法。
15. ユーザの入力値が入力されるステップをさらに含み、
    前記補正するステップは、前記入力値に応じて前記獲得されたイメージを補正するか否かを決定するステップを含む請求項９に記載のイメージの輝度補正のための方法。
16. 前記補正するステップは、最大補正値と最小補正値を設定し、所定の基準値によるメイン領域の輝度に基づき最大補正値および最小補正値のうち一つを使用して前記獲得されたイメージのメイン領域の補正を行うステップを含む請求項９に記載のイメージの輝度補正のための方法。
17. 請求項９に記載の方法を行うためのコードを記録するコンピュータ判読記録媒体。