JP6157274B2

JP6157274B2 - 撮像装置、情報処理方法及びプログラム

Info

Publication number: JP6157274B2
Application number: JP2013171650A
Authority: JP
Inventors: 篤史藤田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-21
Filing date: 2013-08-21
Publication date: 2017-07-05
Anticipated expiration: 2033-08-21
Also published as: JP2015041869A

Description

本発明は、撮像装置、情報処理方法及びプログラムに関する。

写真撮影を行うユーザの被写体の一つに夜景や星空が存在する。きれいな星空を撮影したいというユーザの強い要求はかねてより存在するものの、デジタルカメラに代表される撮像装置できれいな星空の撮影を行うことは難しく、専門的な機材や撮影設定に関する高度な知識が必要とされていた。そこで、近年ではユーザが簡単に、かつ、きれいな星空を撮影することができる機能を搭載したデジタルカメラが提案されている。
特に、夜景や星空を撮影する際に課題となるのが露出設定である。星空のように暗い被写体を撮影する場合は、感度を上げたり、露光時間を長くしたりすることにより撮像装置に多くの光を取り入れる必要がある。しかし、感度を上げすぎるとノイズが増加して画質が劣化したり、露光時間を長くすると像ブレが発生したりする等の問題がある。また、夜景や星空がきれいに見える適正な露出条件を設定するには経験による高度な撮影知識が必要であった。
特許文献１では、ユーザに適切な露出条件を簡単に設定させるための方法として、ユーザがＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）に表示された画像の明るさを見ながら露出設定を変更することができる技術が開示されている。

特開２０１３−７０２９８号公報

しかしながら、特許文献１に開示されている技術では、撮影領域内に暗い星空領域と、明るい地上領域とが存在する場合、ユーザが画像を確認しながら露出条件を設定したとしても、星空領域と、地上領域との両方の明るさを適正に設定することは困難であった。
本発明は、適切な明るさで被写体を撮影する技術を提供することを目的とする。

そこで、本発明の撮像装置は、輝度の異なる複数の画像を生成する画像生成手段と、前記画像生成手段により生成された第１の画像の輝度から、前記画像生成手段により生成された複数の画像の合成に係る合成条件を生成する合成条件生成手段と、前記合成条件生成手段により生成された合成条件に基づいて、前記複数の画像を合成する合成手段と、を有し、前記合成条件生成手段は、前記第１の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて前記第１の画像から被写体画像を分離する分離手段により分離されるまで前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成する。

本発明によれば、適切な明るさで被写体を撮影する技術を提供することができる。

撮影シーンの一例を示す図である。撮像装置のハードウェア構成の一例を示す図である。実施形態１における処理の一例を示すフローチャート（その１）である。ヒストグラムと、露出設定との一例を示す図である。実施形態１における処理の一例を示すフローチャート（その２）である。合成マップ生成処理の概念の一例を示す図である。変倍率Ｓに関するテーブルの一例を示す図である。実施形態２における処理の一例を示すフローチャートである。ずれを補正した場合の合成マップの一例を示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。
＜実施形態１＞
図１は、本実施形態において対象とする撮影シーンの一例を示す図である。
図１の撮影シーンには、明るさ（輝度）の異なる領域として、予め定められた閾値よりも暗い（以下、単に暗いという）低輝度領域である星空領域と、予め定められた閾値よりも明るい（以下、単に明るいという）高輝度領域である地上領域とが含まれている。このような場合、ユーザは、デジタルカメラ等の撮像装置を用いて、星空領域と、地上領域との両方を所望の明るさの設定で撮影することは困難であった。本実施形態では、このような問題を解決する方法について説明する。なお、撮影シーンは、図１のように星空を含むシーンに限らず、輝度差のあるシーンであれば、どのようなシーンであってもよい。また、図２を用いて後述する本実施形態の撮像装置は、入力装置等を介して受け付けたユーザの指示により、上述の閾値を変更することができる。以降で述べる閾値等に関しても同様である。

図２は、本実施形態に係る撮像装置１００のハードウェア構成の一例を示す図である。
光学系１は、複数のレンズ群と、絞り機構とを含む。また、光学系１は、測距用レンズ（ＦｏｃｕｓＬｅｎｓ）１４、ズーム用レンズ（ＺｏｏｍＬｅｎｓ）１５及び絞り機構１３を含む。
撮像素子２は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）及びアナログ信号をデジタル信号に変換するＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器等を含む。また、撮像素子２は、表面が例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われており、カラー撮影をすることができる構成となっている。撮像素子２は、被写体像を結像すると、画像データ（画像信号）を生成してメモリ３に記憶する。
メモリ３は、撮像素子２によって変換された画像信号、撮像装置１００の処理に必要な閾値に関するデータや設定値に関するデータ等を含む各種のデータ及び撮像装置１００の機能を実現するためのプログラム等を記憶している。
画像処理回路４は、メモリ３に保持された画像信号に対して予め定められた画素補間処理や装置起因の歪み、シェーディング、収差、画素欠陥等の補正処理、色空間変換処理を含む色変換処理や現像処理を行う画像処理回路である。また、画像処理回路４は、撮影した画像データを用いて予め定められた演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、決定した撮影条件をシステム制御部５に通知する。また、画像処理回路４は、画像の解析、フィルタ処理及び合成処理等の機能を有し、後述するアルゴリズムに従い画像の合成マップを生成したり、画像を合成したりすることができる。なお、ここでいう合成マップとは、異なる明るさの画像を合成するために生成された画像である。また、合成マップは、異なる明るさの複数の画像を合成するための合成条件の一例である。合成マップの詳細については、図５等を用いて後述する。

システム制御部５は、撮影系全体を制御する。システム制御部５は、画像処理回路４が決定した撮影条件で撮影を行うためにシャッター速度、絞り機構１３、測距用レンズ１４及びズーム用レンズ１５の制御を統括し、露光量制御部６、フォーカスレンズ制御部７及び焦点距離制御部８に対して指示を行う。
露光量制御部６は、光学系１の絞り機構１３、撮像素子２の露光時間及び撮影感度を調整することにより露光量制御を行う。
フォーカスレンズ制御部７は、光学系１の測距用レンズ１４を制御する。
焦点距離制御部８は、光学系１のズーム用レンズ１５を制御する。より具体的にいうと、焦点距離制御部８は、システム制御部５の指示に従って焦点距離を変更する。
圧縮回路９は、画像をＪＰＥＧ等に圧縮し、記録媒体１０に記録する。
表示部１１は、撮像装置１００上のＬＣＤや外部モニタ等の表示装置であり、画像処理回路４によって生成された撮影画像を表示する。
操作部１２は、ユーザの入力を受け付ける入力装置であり、ボタンやタッチパネル等を有している。システム制御部は、操作部１２を介して受け付けたユーザの操作（指示）に従って、撮像装置１００の動作を決定したり、変更したりする。例えば、システム制御部は、操作部１２を介して受け付けたユーザの操作に従って、夜景シーン（星空）を撮影する「星空撮影モード」に動作モードを切り替えたりする。
なお、撮像素子２、画像処理回路４、システム制御部５、露光量制御部６、フォーカスレンズ制御部７、焦点距離制御部８、圧縮回路９、表示部１１及び操作部１２に関する撮像装置１００の機能は、ソフトウェアによって実現されてもよい。その場合、システム制御部を構成するＣＰＵが、メモリ３等に格納されているプログラムを実行することにより、上述の撮像装置１００の機能及び後述するフローチャートに係る処理（情報処理）が実現される。

次に、本実施形態における星空撮影モードの動作フローについて説明する。
図３は、本実施形態における星空撮影モードの処理の一例を示すフローチャートである。
Ｓ１００において、画像処理回路４は、撮影する際の露出設定を決定し、処理をＳ１０１に進める。
図４の（Ａ）は、画像の輝度に関するヒストグラムの一例を示す図である。図４の（Ａ）のヒストグラムにおける縦軸は度数、横軸は画像の信号に基づく値を示している。
露出決定アルゴリズムとしては、図４の（Ａ）のような画面内の明るさのヒストグラムを生成し、高輝度領域が飽和しないことと、低輝度領域が黒潰れしないこととを考慮しつつ、画像全体のバランスを取るように露出設定を決定するというのが一般的である。しかし、図１のように暗い星空領域と、明るい地上領域とが混在するシーンの場合、ヒストグラムの形状が中間調の少ないコントラストのはっきりとした形状となることが多い。そのため、ユーザは、撮像装置を用いて、全体を所望の明るさに調整しようとすると、星空領域が暗すぎて星が目立たなくなったり、地上領域の明るさが飽和してしまったりする場合がある。そこで、本実施形態では、図１のように明暗差のある星空シーンを撮影する場合、画像処理回路４は、図４の（Ａ）において星空領域を示す暗領域（領域Ａ）と、地上領域を示す明領域（領域Ｂ）との各々に対して予め定められた演算を行い、露出設定を求める。そして、画像処理回路４は、求めた露出設定の設定値の差（以下、露出差という）に関する情報をメモリ３に格納し、後述する撮影画像の現像処理に使用する。なお、画像処理回路４が、ヒストグラムに基づいて露出設定を決定する処理は公知の技術であるため、詳細な説明を省略するが、例えば、ヒストグラムのピークに対応する輝度値が適正な値になるように露出設定を行う処理などが考えられる。

ここで、図４の（Ｂ）は、露出設定の一例を示す図である。
例えば、画像処理回路４が上述の方法で図４の（Ｂ）に示すような露出設定を求めたとすると、露出設定Ａと、露出設定Ｂとにおいて、３段分の露出差が存在することになる。ここでいう露出差の段とは、露光時間の１／（２の階乗）に基づくものである。例えば、露出設定Ａの露光時間１ｓに対して、露出設定Ｂの露光時間が（１／２）ｓの場合は露出差が１段であり、（１／４）ｓの場合は露出差が２段であり、露光時間が（１／８）ｓの場合は露出差が３段である。したがって、画像処理回路４は、領域Ａの星空領域と、領域Ｂの地上領域との両方においてユーザが所望する明るさで画像を生成するためには、３段分の露出差がある画像を生成すればよい。そして、画像処理回路４は、星空領域と、地上領域とを、それぞれ領域毎に合成するようにすればよい。

図３の説明に戻る。
Ｓ１０１において、システム制御部５は、Ｓ１００で決定された露出設定に従って撮影シーンを撮影する。ここで、画像処理回路４は、システム制御部５が図４の（Ｂ）における露出設定Ａの条件で撮影した場合、飽和してしまった地上領域のデータを、図５等を用いて後述する画像処理で復元することはできない。そのため、システム制御部５は、露出設定Ｂの条件で撮影する。そして、画像処理回路４は、後述する画像処理の際に前述の露出差３段分のゲインアップを行って露出設定Ａに相当する明るさの画像を生成する。ここでいうゲインアップとは、輝度を上げる処理のことである。なお、ここでは、システム制御部５が露出設定Ｂの条件で撮影し、画像処理回路４が露出差をデジタル信号処理によるゲインアップにより補正するものとしたが、デジタル信号処理によるゲインアップを行うとノイズも増加して星空領域の画質が劣化する。そのため、システム制御部５は、暗い側の露出設定Ａを基準（±０）とし、ゲインアップを許容することができる予め定められた露出差（Ｎ段）の範囲内でアンダー画像を撮影するようにしてもよい。なお、撮像装置１００は、操作部１２等を介して受け付けたユーザの指示により、予め設定する上記の露出差（Ｎ段）を変更することができる。また、ここでいうアンダー画像とは、露出設定の基準（±０）に対して、−Ｎ段の露出差の露出設定で撮影された画像のことである。なお、Ｎは、自然数である。これにより、画像処理回路４は、予め定められた露出差（Ｎ段）の範囲内で明るい画像と、暗い画像との両方を生成することができる。即ち、ユーザは、星空領域の画質が劣化していない画像を得ることができるようになる。

図３の説明に戻る。
Ｓ１０２において、画像処理回路４は、図５等を用いて後述する各種の画像処理を行う。より具体的にいうと、画像処理回路４は、Ｓ１０１で撮影された画像データを基に、明るさの異なる２種類の画像を生成し、生成した２種類の画像を後述する合成マップに従って合成する。
以下、Ｓ１０２の処理のうち、合成処理を含む本実施形態に特徴的な処理の詳細について、図５を用いて説明する。
図５は、Ｓ１０２における画像処理の一例を示すフローチャートである。
Ｓ２００において、画像処理回路４は、図４のＳ１０１で撮影された未加工の画像データであるＲＡＷデータを保持している。
Ｓ２０１において、画像処理回路４は、ＲＡＷデータからＹＵＶ画像等の画像１（第１の画像）を生成する画像処理１を行う。また、Ｓ２０２において、画像処理回路４は、ＲＡＷデータからＹＵＶ画像等の画像２（第２の画像）を生成する画像処理２を行う。なお、Ｓ２０１及びＳ２０２における処理は、画像生成処理の一例である。画像処理回路４がＲＡＷデータからＹＵＶ画像等の画像データを生成する処理は、公知の技術であるため、詳細な説明を省略する。また、画像処理回路４が生成した画像１と、画像２との明るさの差は、上述のＳ１００で求められメモリ３に格納された露出差に関する情報が示す露出差である。上述したように、画像処理回路４は、デジタル信号処理におけるゲインアップやガンマ変換等により輝度を変更することができる。
Ｓ２０３において、画像処理回路４は、Ｓ２０１の処理の結果として画像１を得る。Ｓ２０４において、画像処理回路４は、Ｓ２０２の処理の結果として画像２を得る。

Ｓ２０５からＳ２０７までの処理において、画像処理回路４は、明るさの異なる２枚の画像１及び画像２を合成するための合成マップを生成する。ここで、画像処理回路４は、合成マップをアンダー画像の画像１を元に、領域ごとの明るさに応じて画像１、画像２のどちらの画像を主として使用するべきかの合成マップを生成する。このとき、星空の領域については画像２の明るい画像を主として使用し、建物等の星空以外の被写体の領域については、画像１の暗い画像（アンダー画像）を主として使用するように合成マップを生成する。なお、Ｓ２０５からＳ２０７までの処理は、合成条件生成処理の一例である。
Ｓ２０５において、画像処理回路４は、予め定められた大きさまで画像１を縮小する。この際、画像処理回路４は、図７等を用いて後述する予め定められた変倍率Ｓで、合成マップ生成において、撮影された星空における星の影響をある程度少なくすることができる大きさまで、画像１を縮小する。なお、撮像装置１００は、操作部１２等を介して受け付けたユーザの指示により、予め設定する変倍率Ｓを変更することができる。Ｓ２０５の処理の詳細については、図６等を用いて後述する。
Ｓ２０６において、画像処理回路４は、Ｓ２０５で縮小された画像１を２値化する。以下、本実施形態における２値化処理について説明する。
画像処理回路４は、以下の式（１）及び式（２）に従い、２値化演算を行う。
・Ｍ（ｘ、ｙ）＝１、Ｙ（ｘ、ｙ）≧Ｙ_TH ・・・・式（１）
・Ｍ（ｘ、ｙ）＝０、Ｙ（ｘ、ｙ）＜Ｙ_TH ・・・・式（２）
ここで、Ｍ（ｘ、ｙ）は、２値化処理の出力である。また、Ｙ（ｘ、ｙ）は、座標（ｘ、ｙ）における輝度である。なお、Ｙ（ｘ、ｙ）は、輝度情報の一例である。また、Ｙ_THは、座標（ｘ、ｙ）において予め定められた輝度の閾値である。なお、撮像装置１００は、操作部１２等を介して受け付けたユーザの指示により、輝度の閾値を変更することができる。また、撮像装置１００は、画面全体の輝度の平均値等を輝度の閾値として設定するようにしてもよい。
Ｓ２０７において、画像処理回路４は、Ｓ２０５で２値化された画像１を元の大きさに拡大する。

以下、Ｓ２０５からＳ２０７までの処理の例について、図６を用いて説明する。
図６は、合成マップ生成処理の概念の一例を示す図である。
例えば、画像処理回路４は、図６の（Ａ）のような画像を輝度の２値化によって合成マップに変換する場合、図６の（Ｂ）のように明るい地上領域と、暗い星空領域とを分離することができる。しかし、この場合、画像処理回路４は、明るい輝点である星も地上領域と同じラベルに分類してしまう。一方、画像処理回路４が、図６の（Ｃ）のように画像にＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）をかけてから変倍率Ｓで画像を縮小したとする。なお、ＬＰＦは、予め定められた閾値より小さい被写体画像を分離する分離手段の一例である。この場合、地上領域の建物のように予め定められた面積よりも大きい面積の明るい被写体は残るものの、星のように予め定められた面積よりも小さい面積の明るい被写体は消失する。そのため、画像処理回路４は、図６の（Ｃ）の縮小画像を２値化した２値化画像を元の大きさに拡大すると、図６の（Ｄ）のような合成マップを取得することができるようになる。
ここで、変倍率Ｓについて、図７を用いて説明する。
図７は、変倍率Ｓに関するテーブルの一例を示す図である。
画像処理回路４は、想定する撮影シーンにおける星領域の大きさから変倍率Ｓを予め決めることができる。画像中の星領域の大きさは、撮像装置１００の焦点距離と、画像サイズ（画素数）とにより変動する。そのため、画像処理回路４は、図７の例に示されるような画像サイズと、焦点距離とのマトリクスによって想定する星の面積を決定することで、変倍率Ｓを決定するができる。図７の例の場合、画素数が１２００万画素以上で、かつ、焦点距離が２８ｍｍ以上の場合、画像処理回路４は、変倍率Ｓを０より大きく１６分の１以下の倍率に決定する。なお、撮像装置１００は、操作部１２等を介して受け付けたユーザの指示により、図７に示されるようなテーブルを作成し、メモリ３等に格納しておくことができる。

図５の説明に戻る。
Ｓ２０８において、画像処理回路４は、図６を用いて説明したように、Ｓ２０５からＳ２０７までの処理により生成した合成マップを用いて、画像１と、画像２とを合成する。
Ｓ２０９において、画像処理回路４は、Ｓ２０８の処理の結果として、画像１と、画像２とを合成した画像３を得る。即ち、ユーザは、星空領域と、地上領域との両方が所望の明るさに調整された画像を得ることができる。また、上述したように、画像処理回路４は、Ｓ２０５からＳ２０６までの処理において、画像を縮小してから２値化を行う。これにより、画像処理回路４は、画像を縮小しないで２値化演算を行った場合に比べて、２値化演算にかかる処理時間を短縮することができる。
以上、本実施形態によれば、撮像装置１００は、露出段差の大きい夜景や星空を含む撮影シーンにおいてもユーザが所望する明るさの画像を生成することができる。

＜実施形態２＞
実施形態１では、撮像装置１００が、一枚の撮影画像から異なる明るさの画像を２枚生成し、それらを合成マップに従って合成した。しかし、上述した図３のＳ１００で決定した露出設定の設定値の差が大きくなるほど、撮像装置１００がアンダー画像をデジタル信号処理によってゲインアップするとノイズが増幅することにより出力する画像の画質を劣化させる場合がある。
そこで、本実施形態では、撮像装置１００が、Ｓ１０１の撮影処理の際に異なる露出設定の画像を２枚撮影し、それらを合成マップに従って合成する。その場合におけるＳ１０２の画像処理の詳細について、図８を用いて説明する。なお、本実施形態では、撮影画像が２枚である場合を例に説明するが、撮影画像が３枚以上の場合であっても以下に説明する処理を同様に適用することができる。
図８は、Ｓ１０２における画像処理の一例を示すフローチャートである。
より具体的にいうと、図８のフローチャートは、上述した図５のフローチャートの処理と同様に、撮像装置１００が明るさの異なる２枚の画像を合成し、画面全体の露出がユーザの所望する露出となるような画像を生成する処理に関するフローチャートである。

Ｓ３００において、画像処理回路４は、撮影された未加工の画像データであるＲＡＷデータ（ＲＡＷ１）を保持している。同様に、Ｓ３０１において、画像処理回路４は、撮影された未加工の画像データであるＲＡＷデータ（ＲＡＷ２）を保持している。ここで、ＲＡＷ１と、ＲＡＷ２とは、それぞれ露出設定の異なる２枚の撮影画像である。より具体的にいうと、ＲＡＷ１は、図１における地上領域（高輝度領域）に相当する明るさの領域に対して設定された露出条件で撮影された画像である。一方、ＲＡＷ２は、図１における星空領域（低輝度領域）に相当する明るさの領域に対して設定された露出条件で撮影された画像である。
Ｓ３０２において、画像処理回路４は、ＲＡＷ１からＹＵＶ画像等の画像１（第１の画像）を生成する画像処理１を行う。また、Ｓ３０３において、画像処理回路４は、ＲＡＷ２からＹＵＶ画像等の画像２（第２の画像）を生成する画像処理２を行う。なお、Ｓ３０２及びＳ３０３における処理は、画像生成処理の一例である。
Ｓ３０４において、画像処理回路４は、Ｓ３０２の処理の結果として画像１を得る。Ｓ３０５において、画像処理回路４は、Ｓ３０３の処理の結果として画像２を得る。
Ｓ３０６からＳ３０８までの処理は、実施形態１で説明した図５のＳ２０５からＳ２０７までの処理と同様であるため、説明を省略する。なお、Ｓ３０６からＳ３０８までの処理は、合成条件生成処理の一例である。

Ｓ３０９において、画像処理回路４は、画像の位置合わせ情報を取得する。ユーザは、撮像装置１００を用いて露出の異なる２枚の画像を撮影する際、特に手持ちでの撮影を行う場合、両者の撮影タイミングの違いによって画像間のずれ、即ち、撮影位置の差異が生じる。そのため、画像処理回路４は、Ｓ３０９で取得した位置合わせ情報から画像間の位置のずれ量を推定し、図９に示されるように、ずれを補正して両画像を合成する必要がある。なお、図９は、ずれを補正した場合の合成マップの一例を示す図である。位置合わせ手法としては、徐々にずらしながら対象画像間の差分の総和が最小となるように位置合わせをする方法がある。また、その他、撮像装置１００が有する加速度センサ等を用いて、撮影した際の撮像装置１００の動き量を測定し、その逆補正を行う方法等もある。
Ｓ３１０において、画像処理回路４は、図９の（Ａ）ように位置合わせを考慮しつつ、画像１と、画像２とを合成マップに従って合成する。
Ｓ３１１において、画像処理回路４は、図９の（Ｂ）の斜線領域に相当する画像を切り出した画像である画像３を出力する。この際、画像処理回路４は、Ｓ３０６からＳ３０８までの処理で求めた合成マップも図９の（Ｂ）の斜線領域に相当する領域を使用して合成する。
以上、本実施形態によれば、撮像装置１００は、ゲインアップによる画質の劣化を生じさせることなく、露出段差の大きい夜景や星空を含む撮影シーンにおいてもユーザが所望する明るさの画像を生成することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、適切な明るさで被写体を撮影する技術を提供することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims

輝度の異なる複数の画像を生成する画像生成手段と、
前記画像生成手段により生成された第１の画像の輝度から、前記画像生成手段により生成された複数の画像の合成に係る合成条件を生成する合成条件生成手段と、
前記合成条件生成手段により生成された合成条件に基づいて、前記複数の画像を合成する合成手段と、
を有し、
前記合成条件生成手段は、前記第１の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて前記第１の画像から被写体画像を分離する分離手段により分離されるまで前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成する撮像装置。
前記画像生成手段は、撮影シーンに含まれる予め定められた閾値よりも輝度が高い高輝度領域における露出設定の設定値と、予め定められた閾値よりも輝度が低い低輝度領域における露出設定の設定値との差に基づいて、前記複数の画像を生成する請求項１記載の撮像装置。
前記画像生成手段は、前記差に基づく輝度の差が、第１の画像の輝度と、前記第１の画像よりも輝度が高い第２の画像の輝度との差になるように、前記第１の画像と、前記第２の画像とを生成する請求項２記載の撮像装置。
前記画像生成手段は、前記差に基づく輝度の差が予め定められた閾値よりも大きくなる場合、前記閾値が、前記第１の画像の輝度と、前記第２の画像の輝度との差になるように、前記第１の画像と、前記第２の画像とを生成する請求項３記載の撮像装置。
前記画像生成手段は、予め定められた閾値よりも高い輝度の高輝度領域に係る露出設定で撮影された画像から前記第１の画像を生成し、予め定められた閾値よりも低い輝度の低輝度領域に係る露出設定で撮影された画像から第２の画像を生成する請求項１記載の撮像装置。
前記合成条件生成手段は、前記第１の画像に含まれる被写体画像を面積に応じて分離して２値化した画像を前記合成条件として生成する請求項３乃至５何れか１項記載の撮像装置。
前記合成条件生成手段は、
前記縮小された縮小画像の輝度情報に基づいて、前記縮小画像を２値化する２値化手段と、
前記２値化手段により２値化された２値化画像を元の大きさに拡大する拡大手段と、
を有し、
前記拡大手段により拡大された画像を合成条件として生成する請求項１乃至６何れか１項記載の撮像装置。
画像を生成する撮像装置であって、
輝度の異なる複数の画像を生成する画像生成手段と、
前記画像生成手段により生成された第１の画像の輝度から、前記画像生成手段により生成された複数の画像の合成に係る合成条件を生成する合成条件生成手段と、
前記合成条件生成手段により生成された合成条件に基づいて、前記複数の画像を合成する合成手段と、
を有し、
前記合成条件生成手段は、前記撮像装置の画素数と、焦点距離との組み合わせに対して予め設定された倍率で前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成する撮像装置。
前記縮小された縮小画像は、前記撮像装置の画素数が１２００万画素以上で、かつ、焦点距離が２８ｍｍ以上の場合、前記第１の画像を０より大きく１６分の１以下の倍率で縮小された画像である請求項８記載の撮像装置。
前記合成手段は、前記画像生成手段が複数の撮影画像から輝度の異なる複数の画像を生成する場合、前記合成条件に基づいて前記複数の画像を合成する際に、前記撮影画像に含まれる位置合わせ情報に基づいて前記複数の画像が重なる領域を合成する請求項１乃至９何れか１項記載の撮像装置。
前記画像生成手段は、夜景を撮影する撮影モードの場合、輝度の異なる複数の画像を生成する請求項１乃至１０何れか１項記載の撮像装置。
撮像装置が実行する情報処理方法であって、
輝度の異なる複数の画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された第１の画像の輝度から、前記画像生成ステップにより生成された複数の画像の合成に係る合成条件を生成する合成条件生成ステップと、
前記合成条件生成ステップにより生成された合成条件に基づいて、前記複数の画像を合成する合成ステップと、
を含み、
前記合成条件生成ステップでは、前記第１の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて前記第１の画像から被写体画像を分離する分離手段により分離されるサイズまで前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成する情報処理方法。
撮像装置が実行する情報処理方法であって、
輝度の異なる複数の画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された第１の画像の輝度から、前記画像生成ステップにより生成された複数の画像の合成に係る合成条件を生成する合成条件生成ステップと、
前記合成条件生成ステップにより生成された合成条件に基づいて、前記複数の画像を合成する合成ステップと、
を含み、
前記合成条件生成ステップでは、前記撮像装置の画素数と、焦点距離との組み合わせに対して予め設定された倍率で前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成する情報処理方法。
コンピュータに、
輝度の異なる複数の画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された第１の画像の輝度から、前記画像生成ステップにより生成された複数の画像の合成に係る合成条件を生成する合成条件生成ステップと、
前記合成条件生成ステップにより生成された合成条件に基づいて、前記複数の画像を合成する合成ステップと、
を実行させ、
前記合成条件生成ステップでは、前記第１の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて前記第１の画像から被写体画像を分離する分離手段により分離されるサイズまで前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成するプログラム。
コンピュータに、
輝度の異なる複数の画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された第１の画像の輝度から、前記画像生成ステップにより生成された複数の画像の合成に係る合成条件を生成する合成条件生成ステップと、
前記合成条件生成ステップにより生成された合成条件に基づいて、前記複数の画像を合成する合成ステップと、
を実行させ、
前記合成条件生成ステップでは、前記コンピュータの画素数と、焦点距離との組み合わせに対して予め設定された倍率で前記第１の画像を縮小し、縮小された前記第１の画像を用いて前記合成条件を生成するプログラム。