JP5891874B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、ダイナミックレンジを拡大させた画像を得る撮像装置及びプログラムに関する。

近年、撮像等により得られた画像の鑑賞に対する品質を向上させる目的で、当該画像のデータに対して各種画像処理が施されるようになっている。
このような画像処理の一種として、ハイダイナミックレンジ合成が知られている（特許文献１参照）。ハイダイナミックレンジ合成とは、それぞれ露出値を異ならせた略同一画角の複数の画像のデータを画素加算合成することで、幅広いダイナミックレンジを表現する画像のデータを生成する画像処理をいう。
なお、以下、特段の説明がない場合、このような合成処理を加えた画像を、「ハイダイナミックレンジ合成画像（Ｈｉｇｈ Ｄｉｎａｍｉｃ Ｒａｎｇｅ合成画像）」、又は、「ＨＤＲ合成画像」と呼ぶ。

特開２００６−３４５５０９号公報

しかしながら、上述の従来のハイダイナミックレンジ合成の目的は撮像時の画角の再現性を高めることである。このため、それ以外の目的、例えば、被写体として写る人物の感情を伝える画像を得る目的で、従来のハイダイナミックレンジ合成を単に適用することは好適でない。なぜならば、従来のハイダイナミックレンジ合成では、幅広いダイナミックレンジが表現されるに過ぎず、内面的な感情に対応した画像とはならないからである。

本発明は、このような状況に鑑みてなされたものであり、被写体として含まれている人物の感情に適した、自然な色味で表現された画像を得ることを目的とする。

上記目的を達成するため、本発明の一態様の撮像装置は、撮像手段と、前記撮像手段に対し、露光時間を変えて撮像された複数の画像のデータを出力するよう制御する撮像制御手段と、前記撮像手段により出力された前記画像のデータから顔画像領域を検出する検出手段と、前記検出手段によって検出された前記顔画像領域における表情を判断する表情判断手段と、前記表情判断手段によって判断された表情に基づいて、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して複数の前記画像のデータを合成する画像合成手段と、を備えたことを特徴とする。

本発明によれば、被写体として含まれている人物の感情に適した、自然な色味で表現された画像を得ることができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図１の撮像装置の機能的構成のうち、表情対応画像生成処理を実行するための機能的構成を示す機能ブロック図である。 表情対応画像生成処理により生成された表情対応画像の例を示した模式図である。 図２の機能構成を有する図１の撮像装置が実行する表情対応画像生成処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や画像処理部１４等に適宜供給される。

操作部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部１９は、ディスプレイ等で構成され、画像を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２３が適宜装着される。ドライブ２２によってリムーバブルメディア２３から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア２３は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

図２は、このような撮像装置１の機能的構成のうち、表情対応画像生成処理を実行するための機能的構成を示す機能ブロック図である。
表情対応画像生成処理とは、撮像画像のデータに基づいて、当該撮像画像に被写体として写り込んだ人物の表情を検出し、当該撮像画像のデータを、検出した表情に応じて変換することで、当該表情から判断される感情を自然な色味で表した画像のデータを生成するまでの一連の処理をいう。

表情対応画像生成処理が実行される場合には、図２に示すように、ＣＰＵ１１において、撮像制御部３１と、合成比率決定部３２とが機能し、画像処理部１４において、撮像画像取得部５１と、顔検出部５２と、表情判断部５３と、画像合成部５４とが機能する。
ただし、図２は例示であり、ＣＰＵ１１の機能の少なくとも一部を画像処理部１４に委譲してもよいし、逆に、画像処理部１４の機能の少なくとも一部をＣＰＵ１１に委譲してもよい。
この場合、記憶部２０の一領域として設けられた画像記憶部６１が用いられる。
画像記憶部６１には、撮像部１７から出力された撮像画像のデータが記憶されている。

撮像制御部３１は、各種撮像条件を設定し、撮像部１７における撮像の動作を制御する。このような撮像条件として、いわゆる露光条件を設定する露光条件設定部４１が、撮像制御部３１に設けられている。
本実施形態では、ハイダイナミックレンジ合成が行われるため、撮像制御部３１は、露光条件設定部４１により露光条件の設定を変化させて、即ち露光時間を変化させて、露光条件の設定が変化する毎に撮像部１７に繰り返し撮像させる。

合成比率決定部３２は、撮像画像に被写体として写る人物の顔の表情についての後述の表情判断部５３の判断結果に基づいて、後述の画像合成部５４によるハイダナミックレンジ合成（画素加算合成）に用いられる合成比率を決定する。
具体的には、合成比率決定部３２は、表情が明るい（笑顔に近い表情）という判断結果の場合には、撮像画像内の顔の領域については、露光時間の長い方の画像の割合が高くなるように、合成比率を決定する。これにより、ＨＤＲ合成画像における顔の領域は、（多くの光が当たっているという意味で）トーンが高くなるとともに発色も良くなり、結果的に明るくなる。
これに対して、合成比率決定部３２は、表情が暗いという判断結果の場合には、撮像画像内の顔の領域については、露光時間の短い方の画像の割合が高くなるように、合成比率を決定する。これにより、ＨＤＲ合成画像における顔の領域は、（光が当たらずに影になっているという意味で）トーンが低くなるとともに発色も抑えられ、結果的に暗くなる。
なお、合成比率決定部３２は、合成比率を変更する要素となる夜間撮影の場合、動きのある被写体を撮影した場合、手振れが生じた場合等のその他の場合には、それぞれの場合を考慮して（補正する等して）、合成比率を適宜決定する。
また、合成比率決定部３２は、合成比率を変更する要素となる夜間撮影の場合、動きのある被写体を撮影した場合、手振れが生じた場合等のその他の場合には、それぞれの場合に応じた露光時間の画像の合成比率を決定する。

撮像画像取得部５１は、後述の顔検出部５２による顔検出及び表情判断部５３による表情判断を行うための処理対象として、画像記憶部６１に記憶されている、露出条件（露出時間）が異なる複数の撮像画像のデータのうち、例えば中程度の露出時間の撮像画像のデータを取得する。

顔検出部５２は、撮像画像取得部５１により取得された撮像画像のデータを処理対象として、当該撮像画像に被写体として含まれる人物の顔画像領域を検出する。

表情判断部５３は、顔検出部５２により検出された顔画像領域について、その表情の判断を行う。具体的には、表情判断部５３は、例えば、検出された顔が、喜んでいる顔に該当するのか、哀しんでいる顔に該当するのか等、感情を表す表情の判断を行う。

画像合成部５４は、画像記憶部６１から露光条件の異なる複数の撮像画像のデータを読み出して処理対象として、合成比率決定部３２により決定された画像の合成比率に従って画素加算合成をする。その結果、被写体として写る人物の表情に対応したＨＤＲ合成画像（以下、「表情対応画像」という。）のデータが生成される。
ここで、撮像装置１は、被写体の感情に対応する色味になるように単純に色調を変えた画像処理をするわけではなく、露光条件の異なる複数の撮像画像のデータを画素加算合成しているため、その結果として、被写体の感情を自然なトーンや色味（発色状態）で表した表情対応画像のデータが得られることになる。

次に、表情対応画像生成処理により生成された表情対応画像の例について、図３を参照して説明する。
図３は、表情対応画像生成処理により生成された表情対応画像の例を示した模式図である。
図３（Ａ）は、喜んでいる表情の人物が被写体として写っている場合の撮像画像の一例を示す模式図である。図３（Ｂ）は、図３（Ａ）の撮像画像から得られた表情対応画像の一例を示す模式図である。
図３（Ｃ）は、哀しんでいる表情の人物が被写体として写っている場合の撮像画像の一例を示す模式図であり、図３（Ｄ）は、図３（Ｃ）の撮像画像に基づいて生成される表情対応画像の一例を示す模式図である。

なお、図３では、画像の明暗が表現しきれないため、暗くなるほど濃くなるように模式的に描かれている。
即ち、図３（Ａ）及び図３（Ｃ）の撮像画像が、中間の明るさのため、中間の濃度で示されている。
図３（Ｂ）の表情対応画像が、明るい表情の人物を含んでおり、実際には明るい画像となるため、一番薄い濃度で示されている。なお、実際には、人物の顔画像領域が特に明るくなるが、同図では、本発明の理解をイメージ的に容易なものとすべく、画像全体があえて同一の薄い濃度で示されている。
逆に、図３（Ｂ）の表情対応画像が、暗い表情の人物を含んでおり、実際には暗い画像となるため、一番濃い濃度で示されている。なお、実際には、人物の顔画像領域が暗くなるが、同図では、本発明の理解をイメージ的に容易なものとすべく、画像全体があえて同一の濃い濃度で示されている。

図３（Ａ）の撮像画像には、木々の中を楽しそうに踊る女性が被写体として写っている。女性は喜んでおり、その喜びの感情が、明るい表情として顔に表れている。
このため、撮像装置１では、女性の顔画像領域が顔検出部５２で検出され、明るい表情であることが表情判断部５３により判断される。
このようにして、明るい表情という判断が表情判断部５３により示されたことにより、顔の領域が明るく派手になるように、即ち、露光時間が長い方の画像の割合が高くなるように、合成比率が合成比率決定部３２により決定される。
そして、その決定された合成比率に従って、露光条件の異なる撮像画像のデータが画素加算合成されることにより、図３（Ｂ）に示すような表情対応画像のデータが生成される。
ユーザは、このような図３（Ｂ）に示す表情対応画像から、被写体の女性の喜んだ表情を直感的に視認し、喜びの表情が強調された画像であるという印象を頭に残すことになる。

図３（Ｃ）の例では、川で魚釣りをしている男性が被写体として写っている。男性は魚が釣れずに哀しんでおり、その哀しみが、暗い表情として顔に表れている。
このため、撮像装置１では、男性の顔画像領域が顔検出部５２で検出され、暗い表情であることが表情判断部５３により判断される。
このようにして、暗い表情という判断が表情判断部５３により示されたことにより、顔の領域が暗くになるように、即ち、露光時間が短い方の画像の割合が高くなるように、合成比率が合成比率決定部３２により決定される。
そして、その決定された合成比率に従って、露光条件の異なる撮像画像のデータが画素加算合成されることにより、図３（Ｄ）に示すような表情対応画像のデータが生成される。
ユーザは、このような図３（Ｄ）に示す表情対応画像から、被写体の男性の哀しい表情を直感的に視認し、哀しい表情が強調された画像であるという印象を頭に残すことになる。
ただし、表情対応画像は、上述したように、被写体の感情を自然なトーンや色味で表した画像となっているため、違和感のある画像だという理由で、当該表情対応画像の印象がユーザの頭に残るわけではない。即ち、ユーザは、当該表情対応画像そのものに対して、違和感を覚えることがない。

次に、図４のフローチャートを参照して、図２の機能的構成を有する図１の撮像装置１が実行する表情対応画像生成処理について説明する。
図４は、図２の機能構成を有する図１の撮像装置１が実行する表情対応画像生成処理の流れの一例を示すフローチャートである。

ユーザの操作部１８に対する所定の操作により、表情対応画像生成処理の開始が指示されると、表情対応画像生成処理が開始されて、次のような処理が実行される。

ステップＳ１において、撮像制御部３１は、記録指示が検出されたか否かを判断する。 記録指示が検出されない場合には、ステップＳ１においてＮＯであると判断されて、処理はステップＳ１に戻される。即ち、記録指示が検出されるまでの間、ステップＳ１の判定処理は繰り返される。
例えば操作部１８の図示せぬシャッタボタンが押下操作される等して記録指示が検出された場合には、ステップＳ１においてＹＥＳであると判断されて、処理はステップＳ２に進む。

ステップＳ２において、撮像制御部３１は、露光条件設定部４１により露光条件を変えながら、撮像部１７に複数回撮像の動作をさせる。撮像部１７により露光条件を変えながら連続的に撮像された複数の撮像画像のデータは、画像記憶部６１に記憶される。
その後、撮像画像取得部５１により、複数の撮像画像のデータのうち、例えば露光時間が中間の撮像画像のデータが画像記憶部６１から読み出されて取得されると、処理はステップＳ３に進む。

ステップＳ３において、顔検出部５２は、ステップＳ２の処理で撮像された撮像画像のデータから、顔画像領域が検出されたか否かを判断する。
ステップＳ２の処理で撮像された撮像画像のデータから顔画像領域が検出されなかった場合には、ステップＳ３においてＮＯであると判断され、処理はステップＳ４に進む。

ステップＳ４において、合成比率決定部３２は、他の条件に基づいて、合成比率を決定する。具体的には、合成比率決定部３２は、例えば、合成比率を変更する要素となる夜間撮影の場合、動きのある被写体を撮影した場合、手振れ等の場合を考慮して、合成比率を決定する。
その後、処理はステップＳ８に進む。ステップＳ８以降の処理については後述する。

これに対して、ステップＳ２の処理で撮像された撮像画像のデータから顔画像領域が検出された場合には、ステップＳ３においてＹＥＳであると判断され、処理はステップＳ５に進む。
ステップＳ５において、表情判断部５３は、撮像画像のデータから検出された顔画像領域について、表情を判断する。
具体的には例えば、図３（Ａ）に示す、明るい表情の顔をした女性が被写体として写り込んでいる撮像画像のデータが処理対象となっている場合には、表情が明るいと判断される。このような場合には、ステップＳ５において明るいと判断されて、処理はステップＳ６に進む。

ステップＳ６において、合成比率決定部３２は、顔画像領域について露光条件において露光時間が長い方の画像の割合が大きくなるように、合成比率を決定する。

これに対して、具体的には例えば、図３（Ｃ）に示す、暗い表情の顔をした男性が被写体として写り込んでいる撮像画像のデータが処理対象となっている場合には、表情が暗いと判断される。このような場合には、ステップＳ５において暗いと判断されて、処理はステップＳ７に進む。
ステップＳ７において、合成比率決定部３２は、顔画像領域について露光条件において露光時間が短い方の撮像画像の割合が高くなるように、合成比率を決定する。

ステップＳ８において、画像合成部５４は、露光時間の異なる複数の撮像画像のデータを処理対象として画像記憶部６１から読み出して、処理対象について、ステップＳ４，Ｓ６，又はＳ７の処理で決定された合成比率を用いて、画素加算合成を行う。これにより、表情対応画像のデータが生成される。

具体的には例えば、ステップＳ４において、他の条件に基づいて合成比率が決定された場合には、ステップＳ８において、当該合成比率を用いた画素加算合成が行われて、表情対応画像のデータが生成される。

また例えば、表情が明るい顔の人物が被写体として映り込んだ撮像画像のデータが処理対象となっている場合には、ステップＳ６の処理で決定された合成比率、即ち、顔画像領域については露光時間の長い方の画像の割合が多くなるように決定された合成比率を用いた画素加算合成が行われる。その結果、図３（Ｂ）に示すような、顔画像領域が明るくなった、表情対応画像のデータが生成される。

また例えば、表情が暗い顔の人物が被写体として映り込んだ撮像画像のデータが処理対象となっている場合には、ステップＳ７の処理で決定された合成比率、即ち、顔画像領域については露光時間の短い方の画像の割合が多くなるように決定された合成比率を用いた画素加算合成が行われる。その結果、図３（Ｄ）に示すような、顔画像領域が暗くなった、表情対応画像のデータが生成される。

このようにして、ステップＳ８の処理で画素加算合成が行われて、表情対応画像のデータが生成されると、表情対応画像生成処理は終了する。

以上のような表情対応画像処理を実行する撮像装置１は、撮像部１７と、撮像制御部３１と、顔検出部５２と、表情判断部５３と、画像合成部５４とを備える。
撮像制御部３１は、撮像部１７に対し、露光時間を変えて撮像された複数の画像のデータを出力するよう制御する。
顔検出部５２は、撮像部１７により出力された画像から顔画像領域を検出する。
表情判断部５３は、顔検出部５２によって検出された顔画像領域における表情を判断する。
画像合成部５４は、表情判断部５３によって判断された表情に基づいて、撮像部１７によって出力された複数の画像のデータにおける合成比率を変更して合成する。
従って、撮像装置１では、表情判断部５３によって判断された表情に基づいて、撮像部１７によって出力された複数の画像のデータにおける合成比率を変更して合成するため、撮像画像に被写体として含まれていた人物について、被写体として含まれている人物の感情に適した、自然な色味で表現された画像を得ることができる。
また、従来より知られるような、顔画像領域を優先する露光時間制御（顔優先のＡＥ）とは異なり、比較的露光時間の短い連写を行なって画素加算合成するので、被写対象（人物）が動いていても、被写体ブレを防ぐことができるというメリットもある。

また、画像合成部５４は、顔検出部５２によって検出された顔画像領域について、撮像部１７によって出力された複数の画像のデータにおける合成比率を変更して合成する。
従って、撮像装置１では、検出された顔画像領域について、感情に基づいて、複数の画像のデータにおける合成比率を変更して合成することにより、感情の判断の元となる顔画像領域のトーンや色味が変更されるため、より感情の表現が強調された画像を生成することができる。

また、画像合成部５４は、表情判断部５３により笑顔に近い表情であると判断された場合に、露光時間を変えて出力された複数の画像のうちより長い露光時間で撮像された画像の比率が高くなるように合成比率を変更して合成する。
従って、撮像装置１では、笑顔については、長い露光時間で撮像された画像の比率が高くなるように合成比率を変更して合成するために、楽しい感情や嬉しい感情を直感的に表した画像を生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、１人の被写体の感情に基づいて、画像を生成する例を示したが、これに限られない。複数人の被写体の感情に基づいて、画像を生成することができる。この場合、例えば、複数人のうち割合が多い感情に基づいて、画像を生成するように構成することができる。

また、上述の実施形態では顔画像領域のみを変更するように構成したが、特に限定されず、撮像画像中の任意の領域を変更するように構成してもよい。

また、上述の実施形態では、喜び等の感情を明るい画像となるように合成比率を変更し、哀しい等の感情を暗い画像となるように合成比率を変更するように構成したがこれに限られない。例えば、喜び等の感情では暖色系の色合いになるようにしたり、哀しい等の感情では寒色系の色合いになるようにしたりする等の感情のイメージに合うような色合いになるように画像を変更してもよい。

また、上述の実施形態では、検出した顔を判断して、感情を特定したがこれに限られず、例えば、声やポーズ等の感情を表現する要素から感情を特定するように構成してもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、表情対応画像生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア２３により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア２３は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段と、
前記撮像手段に対し、露光時間を変えて撮像された複数の画像のデータを出力するよう制御する撮像制御手段と、
前記撮像手段により出力された前記画像のデータから顔画像領域を検出する検出手段と、
前記検出手段によって検出された前記顔画像領域における表情を判断する表情判断手段と、
前記表情判断手段によって判断された表情に基づいて、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して複数の前記画像のデータを合成する画像合成手段と、
を備えたことを特徴とする撮像装置。
［付記２］
前記画像合成手段は、前記検出手段によって検出された顔画像領域について、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して合成することを特徴とする付記１に記載の撮像装置。
［付記３］
前記画像合成手段は、前記表情判断手段により笑顔に近い表情であると判断された場合に、前記露光時間を変えて出力された複数の画像のうちより長い露光時間で撮像された画像の比率が高くなるように合成比率を変更して合成することを特徴とする付記１又は２に記載の撮像装置。
［付記４］
撮像手段を備える撮像装置を制御するコンピュータを、
前記撮像手段に対し、露光時間を変えて撮像された複数の画像のデータを出力するよう制御する撮像制御手段、
前記撮像手段により出力された前記画像のデータから顔画像領域を検出する検出手段、
前記検出手段によって検出された前記顔画像領域における表情を判断する表情判断手段、
前記表情判断手段によって判断された表情に基づいて、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して複数の前記画像のデータを合成する画像合成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・画像処理部，１５・・・バス，１６・・・入出力インターフェース，１７・・・撮像部，１８・・・操作部，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，２３・・・リムーバブルメディア，３１・・・撮像制御部，３２・・・合成比率決定部，４１・・・露光条件設定部，５１・・・撮像画像取得部，５２・・・顔検出部，５３・・・表情判断部，５４・・・画像合成部，６１・・・画像記憶部

Claims (4)

1. 撮像手段と、
   この撮像手段に対し、露光時間を変えて撮像させて複数の画像のデータを出力するよう制御する撮像制御手段と、
   前記撮像手段から出力された前記画像のデータから顔画像領域を検出する検出手段と、
   この検出手段によって検出された前記顔画像領域における表情を判断する表情判断手段と、
   この表情判断手段によって判断された表情に基づいて、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して複数の前記画像のデータを合成する画像合成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記画像合成手段は、前記検出手段によって検出された前記顔画像領域について、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して合成する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像合成手段は、前記表情判断手段により笑顔に近い表情であると判断された場合に、前記露光時間を変えて出力された複数の前記画像のデータのうち、より長い露光時間で撮像された画像の割合が高くなるように合成比率を変更して合成する、
   ことを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像手段を備える撮像装置を制御するコンピュータを、
   この撮像手段に対し、露光時間を変えて撮像させて複数の画像のデータを出力するよう制御する撮像制御手段、
   前記撮像手段から出力された前記画像のデータから顔画像領域を検出する検出手段、
   この検出手段によって検出された前記顔画像領域における表情を判断する表情判断手段、
   この表情判断手段によって判断された表情に基づいて、前記撮像手段によって出力された複数の前記画像のデータにおける合成比率を変更して複数の前記画像のデータを合成する画像合成手段、
   として機能させることを特徴とするプログラム。

Images