JP4773396B2 - カメラ - Google Patents

Description

本発明は、見栄えの良い写真を撮影することができるカメラに関する。

近年、ユーザが自身で撮影して得られたデジタルの写真画像を、ネットワークを介して広く公開できるようにしたシステムが各種提案されている。このようなネットワーク上で写真公開ができるシステムにおいては、公開した写真画像が多くの人に見られる可能性があるため、ユーザはなるべくならば見栄えの良い写真画像を撮影して公開したいと考えると思われる。

ここで、人物等の顔のある被写体を撮影する場合、見栄えの良い写真画像とは被写体の表情に大きく依存するものであると考えられる。例えば、被写体の表情が笑顔であれば、怒り顔等よりも写真を見た人の感想が良好なものとなると考えられる。このような被写体の表情を判定する技術として、例えば特許文献１では、入力された画像から被写体の顔部の画像を検出し、該顔部の特徴点（目や口等）を抽出してこの特徴点の分布を予め記録してある各種表情における特徴点の分布と比較することで表情を判定している。また、被写体の表情を評価する技術として、例えば特許文献２では、理想の笑顔画像と無表情の顔画像との差から作成される理想笑顔データと顔を含む撮影画像と無表情の顔画像との差から得られる笑顔データとを比較することで笑顔の評価を行うようにしている。
特開２００５−５６３８８号公報 特開２００５−２４２５６７号公報

ここで、特許文献１及び特許文献２は何れも現時点での被写体の表情を検出するものであり、そのときの被写体の表情が自然なものであるかを判定することはできないため、例えば、被写体の表情がたまたま笑顔に見える表情となった場合であっても、良好な笑顔であると判定される可能性がある。

本発明は、上記の事情に鑑みてなされたもので、ユーザの望む自然で良好な表情の写真画像を撮影できるカメラを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様によるカメラは、被写体を撮影して画像を取得する撮影部と、上記取得された画像における上記被写体の顔部を検出する顔画像検出部と、複数回の上記撮影によって取得される複数の画像に対して上記顔画像検出部によって検出される先行するタイミングと現在のタイミングとの各々のタイミングにおいて上記撮影部によって取得される画像に対して上記顔画像検出部から得られる顔部の画像を比較して、上記現在のタイミングにおける被写体の表情の自然さを判定する自然さ判定部とを具備することを特徴とする。

本発明によれば、ユーザの望む自然で良好な表情の写真画像を撮影できるカメラを提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係るカメラ１００の構成を示すブロック図である。図１に示すカメラ１００は、マイクロプロセッシングユニット（ＭＰＵ）１０１と、操作部１０２と、撮影レンズ１０３と、オートフォーカス（ＡＦ）回路１０４と、絞り機構１０５と、絞り制御回路１０６と、撮像素子１０７と、アナログフロントエンド（ＡＦＥ）回路１０８と、画像処理回路１０９と、表示制御回路１１０と、表示パネル１１１と、距離検出回路１１２と、顔検出回路１１３と、Ｒ値算出回路１１４と、圧縮／伸張部１１５と、記録制御部１１６と、記録メディア１１７と、補助光発光回路１１８とを有している。

ＭＰＵ１０１は、ユーザからの操作部１０２の操作に応じてカメラ１００を構成する各ブロックをシーケンシャルに制御する。操作部１０２は、カメラ１００による撮影を実行させるためのレリーズスイッチや、カメラ１００の動作モードを撮影モードや再生モード等の間で切り替えるための切り替えスイッチ等が含まれる。

また、ＭＰＵ１０１は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。

撮影レンズ１０３は、被写体２００からの像を撮像素子１０７に結像させる。この撮影レンズ１０３は、オートフォーカス（ピント合わせ）用のレンズを含んでいる。オートフォーカスの際に、ＭＰＵ１０１は、ピント合わせレンズのレンズ位置をモニタしつつ、ＡＦ回路１０４を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ１０３のピント合わせを行う。また、絞り機構１０５は、撮影レンズ１０３内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構１０５は、撮影開始時に絞り制御回路１０６によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構１０５の口径を変えることによって、撮影レンズ１０３の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。

撮像素子１０７は、多数の画素が配列されて構成される受光面を有し、撮影レンズ１０３を介して受光した被写体２００からの像を電気的な信号に変換する。本実施形態においては、撮像素子１０７にはＣＣＤ方式及びＣＭＯＳ方式の何れを用いても良い。

ＡＦＥ回路１０８は、ＣＤＳ回路、ゲイン調整回路、ＡＤ変換回路等を含み、撮像素子１０７において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路１０９に入力する。また、ＡＦＥ回路１０８には、撮像素子１０７を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、ＡＦＥ回路１０８によって、４画素（２×２画素）や９画素（３×３画素）の信号をまとめて読み出し、これら読み出した電気信号を加算することでＳ／Ｎを向上させることが出来る。このような処理によって、撮像素子１０７の見かけ上の感度を上げること等が出来る。

さらに、ＡＦＥ回路１０８は、撮像素子１０７からの出力信号を取捨選択する機能も有し、撮像素子１０７の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することも出来る。一般に、撮像素子１０７は間引きを行うことで高速で信号を読み出すことが出来る。この機能を利用して、撮像素子１０７で構図確認用に得られたスルー画像を高速で読み出して画像処理回路１０９において処理してから表示パネル１１１に表示すれば、ユーザは表示パネル１１１上に表示されるスルー画像を利用してフレーミングを行うことが可能である。

画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。

また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データを表示パネル１１１に表示可能なようにリサイズ（縮小）する機能も有する。

表示制御回路１１０は、画像処理回路１０９で得られた画像データや記録メディア１１７に記録されている画像データを映像信号に変換し、変換した映像信号に基づいて画像を表示パネル１１１に表示させる。表示パネル１１１は液晶表示パネルや有機ＥＬ表示パネル等の表示パネルである。また、表示制御回路１１０は、表示パネル１１１に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。

距離検出回路１１２は、画像処理回路１０９によって得られる画像のコントラストを検出する。この距離検出回路１１２によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、ＡＦ回路１０４によって撮影レンズ１０３のピント合わせレンズのレンズ位置を変化させながら、距離検出回路１１２によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ１０３のピント合わせを行うことができる。

顔検出回路１１３は、画像処理回路１０９によって得られる画像内の特徴点（例えば、被写体が人物等であれば、目や鼻、口等）の分布から、画像内における被写体の特に顔に相当する部分を検出する。

Ｒ値算出回路１１４は、顔検出回路１１３によって検出される顔画像から被写体の笑顔度を判定するための値であるＲ値（詳細は後述する）を算出する。なお、Ｒ値算出回路１１４はＭＰＵ１０１とともに自然さ判定部の機能を有する。

圧縮／伸張部１１５は、撮影時に、画像処理回路１０９において処理された画像データを圧縮する。また、圧縮／伸張部１１５は記録メディア１１７に圧縮記録された画像データを伸張する。記録制御部１１６は、圧縮／伸張部１１５で圧縮された画像データに付随データを付随させて記録メディア１１７に記録する。

補助光発光回路１１８は、撮影時の状況に応じて被写体２００に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。この補助光発光回路１１８の動作を、ユーザが操作部１０２を操作してマニュアルで制御できるようにしても良い。

図２は、図１に示すカメラにおける動作の概要について示す図である。撮影前のフレーミング時に、カメラ１００は逐次被写体２００を撮像してスルー画像を取得し、このスルー画像を逐次表示パネル１１１に表示させる。

本実施形態ではフレーミング時に逐次取得されるスルー画像内における人物の顔部の画像から笑顔度を示すＲ値を算出するとともに、撮影タイミングにおいて取得される撮影画像からもＲ値を算出する。そして、フレーミング時のＲ値と撮影タイミングにおけるＲ値とを比較し、撮影タイミングにおける笑顔がどの程度自然な笑顔であるかを判定し、この判定した自然さを点数化して撮影画像とともに表示させる。

図３は、フレーミング時から撮影タイミングまでのＲ値の変化例を示す図である。被写体が自然な笑顔となる場合のＲ値の変化は、図３に示すようにＲ値の低い無表情からＲ値の高い笑顔となるまでほぼＲ値が単調に増加し、撮影タイミング付近でＲ値が最大となる傾向を有する。これに対し、急に撮影がなされた場合等の無理にカメラを意識して笑顔となるような場合のＲ値の変化は、撮影タイミングにおけるＲ値は高い場合もありえるが、撮影タイミング前のＲ値のばらつきが大きくなる傾向を有する。Ｒ値が安定しないということは、あるタイミングでは笑顔に近い表情であり、またあるタイミングでは笑顔ではないということになるため、自然な笑顔が得られているとは言えない。

したがって、本実施形態では、撮影前のＲ値の変化のばらつきが小さい場合に高得点を与え、Ｒ値の変化のばらつき大きい場合に低得点を与える。これによって、ユーザは、被写体が驚くような撮影方法をとらない方が良いと分かり、より自然な表情の撮影が可能となる。

以下、具体的なカメラの動作について説明する。図４は本一実施形態に係るカメラのメイン動作制御について示すフローチャートである。

まず、ＭＰＵ１０１はユーザによる操作部１０２の操作によって撮影指示がなされたか否かを判定する（ステップＳ１）。ステップＳ１の判定において、撮影指示がなされていない場合に、ＭＰＵ１０１はユーザによる操作部１０２の操作によって画像の再生指示がなされたか否かを判定する（ステップＳ２）。ステップＳ２の判定において、再生指示がなされていない場合に、ＭＰＵ１０１は表示パネル１１１にフレーミング用のスルー画像を表示させるための各種の制御を実行する（ステップＳ３）。即ち、ＭＰＵ１０１は撮像素子１０７を連続動作させてスルー画像データを逐次取得し、取得したスルー画像データを画像処理回路１０９において処理してから表示パネル１１１にスルー画像を表示させる。

スルー画像の表示を開始させた後、ＭＰＵ１０１は所定時間（ここでは例えば０．１秒）が経過したか否かを判定する（ステップＳ４）。ステップＳ４の判定において、０．１秒が経過していない場合にはステップＳ１に戻り、ＭＰＵ１０１は撮影指示がなされたかを再び判定する。一方、ステップＳ４の判定において、０．１秒が経過した場合に、ＭＰＵ１０１は現在時刻ｔを検出するとともに、顔検出回路１１３及びＲ値算出回路１１４においてＲ値の算出を開始させる（ステップＳ５）。現在時刻ｔの検出及びＲ値の算出終了後、現在時刻ｔ及びＲ値は例えばＭＰＵ１０１に設けられるメモリに記憶される。その後、ステップＳ１に戻る。そして、ＭＰＵ１０１は撮影指示がなされたかを再び判定する。

ここで、ステップＳ５のＲ値算出について説明する。図５は、Ｒ値の算出処理の詳細について示すフローチャートである。図５において、まず、Ｒ値算出回路１１４は、顔検出回路１１３によって検出された顔部の画像における陰影分布から画像内の顔部における目部、口部を検出する（ステップＳ１０１）。より具体的には画像のコントラストを強調した状態で画像内において略円形をしている顔部を顔検出回路１１３によって検出する。そして、Ｒ値算出回路１１４において顔部内の陰影の分布から目部及び鼻部を検出する。

ステップＳ１０１において目部、鼻部を検出した後、Ｒ値算出回路１１４は、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図６（ａ）参照）を求める（ステップＳ１０２）。次に、Ｒ値算出回路１１４は、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図６（ａ）参照）を求める（ステップＳ１０３）。ＥＡ及びＥＢを求めた後、Ｒ値算出回路１１４は、ＥＡとＥＢの差をＥＡとＥＢの和で正規化した値ＲＥを求める（ステップＳ１０４）。ここで、笑顔の場合には図６（ａ）に示すようにＥＢが０に近くなるため、結果ＲＥが大きくなる。逆に困った顔の場合には図６（ｂ）に示すようにＥＡが０に近くなるため、結果ＲＥが小さくなる。したがって、ＲＥの大小から良好な表情であるか否かを判定することが可能である。

ＲＥを求めた後、Ｒ値算出回路１１４は、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図６（ｂ）参照）を求める（ステップＳ１０５）。次に、Ｒ値算出回路１１４は、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図６（ｂ）参照）を求める（ステップＳ１０６）。ＬＡ及びＬＢを求めた後、Ｒ値算出回路１１４は、ＬＢとＬＡの差をＬＡとＬＢの和で正規化した値ＲＬを求める（ステップＳ１０７）。ここで、笑顔の場合には図６（ａ）に示すようにＬＡが０に近くなるため、結果ＲＬが大きくなる。逆に困った顔の場合には図６（ｂ）に示すようにＬＢが小さくなるため、結果ＲＬが小さくなる。したがって、ＲＬの大小からも良好な表情であるか否かを判定することが可能である。

ＲＥ及びＲＬを求めた後、Ｒ値算出回路１１４はＲＥとＲＬの和Ｒを求める（ステップＳ１０８）。このＲ値は大きいほどそのときの表情は笑顔（良好な表情）に近いものとなる。さらに、図６（ａ）の矢印Ｃで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、Ｒ値算出回路１１４は口部分に歯（白部分）が検出され、かつ口端部に影があるか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、Ｒ値算出回路１１４はＲに１を加算する（ステップＳ１１０）。

一方、ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップＳ１１０の後、Ｒ値算出回路１１４は眉間部分（目の間部分）に矢印Ｄで示すような皺があるか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、眉間部分に皺がある場合に、Ｒ値算出回路１１４はＲから１を減算する（ステップＳ１１２）。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップＳ１１１の判定を行う。

以上のようにして求められるＲ値は笑顔に近いほど高い数値となる。このＲ値により、画像に写っている被写体の笑顔度を判定することが可能となる。ステップＳ５における処理は、フレーミング時のスルー画表示中において所定時間毎のＲ値を検出する処理であり、これによってＲ値の時間変化を求めることが可能である。

ここで、再び図４の説明に戻る。ステップＳ１の判定において、撮影指示がなされた場合に、ＭＰＵ１０１は撮影動作を行うための各種の制御を実行する（ステップＳ６）。即ち、ＭＰＵ１０１は撮影レンズ１０３のピント調整を実行させた後、絞り機構１０５を所定の開口まで絞った状態で撮像素子１０７を動作させ、これによって得られた撮影画像データを画像処理回路１０９において処理させる。その後、画像処理回路１０９において処理した撮影画像データを圧縮／伸張部１１５において圧縮し、この圧縮画像データを記録メディア１１７に記録させる。

次に、ＭＰＵ１０１は記録メディア１１７に記録させた画像データを圧縮／伸張部１１５によって伸張させ、伸張されて得られた画像データに基づきＲ値算出回路１１４によりＲ値を算出させる（ステップＳ７）。Ｒ値の算出手法は図４で説明した手法と同様である。また、Ｒ値の算出は画像データを記録メディア１１７に記録させる前に行うようにしても良い。

Ｒ値の算出終了後、ＭＰＵ１０１は、過去所定時間（ここでは例えば５秒）分のＲ値がメモリに記憶されているか否かを判定する（ステップＳ８）。ステップＳ８の判定において、過去５秒分のＲ値がメモリに記憶されていない場合（例えば、カメラを構えてからすぐに撮影がなされた場合）に、ＭＰＵ１０１は、メモリに記憶されている時間分のＲ値を用いて表情の自然さの判定を行う（ステップＳ９）。一方、ステップＳ８の判定において、過去５秒分のＲ値がメモリに記憶されている場合に、ＭＰＵ１０１は、過去５秒分のＲ値を用いて表情の自然さの判定を行う（ステップＳ１０）。

ステップＳ９又はステップＳ１０の後、ＭＰＵ１０１は、Ｒ値の平均値ＲａｖとＲ値のばらつきを示す標準偏差σを求める（ステップＳ１１）。次に、ＭＰＵ１０１は、標準偏差σを３倍した値を平均値Ｒａｖに加算した値Ｒｃを求める（ステップＳ１２）。その後、ＭＰＵ１０１は、ステップＳ７において求められたＲ値を撮影時のＲ値Ｒｆとするとともに、Ｒｆ及びステップＳ９又はステップＳ１０で得られているＲ値の中の最大値をＲｐとする（ステップＳ１３）。さらに、ＭＰＵ１０１は、最大値Ｒｐに対するＲｆの割合Ｒｒを求める（ステップＳ１４）。ここで、ステップＳ１４ではＲｒを百分率として求めているが、必ずしも百分率を求める必要はない。

ステップＳ１４のＲｒは最も笑顔に近い表情であると考えられるＲ値の最大値Ｒｐに対して撮影時の表情がどの程度の笑顔であるかを示す値となる。即ち、Ｒｒが１００に近いほど、撮影時の表情が最高の笑顔に近いことになるが、上述したように撮影時の表情が自然な笑顔であるとは限らない。そこで、ステップＳ１５の判定を行うことにより撮影時の表情が自然なものであるか否かを判定する。ステップＳ１４の後、ＭＰＵ１０１は、ＲｆがＲｃよりも大きいか否かを判定する（ステップＳ１５）。

ステップＳ１５の判定において、ＲｆがＲｃよりも大きい場合には、Ｒｆが平均値Ｒａｖから大きくばらついていることが判定される。この場合に、ＭＰＵ１０１は、不意の撮影等で不自然に表情が変化したとして、Ｒｆを半減させる（ステップＳ１６）。

ステップＳ１５の判定においてＲｆがＲｃ以下の場合若しくはステップＳ１６の後、ＭＰＵ１０１は、Ｒｆを例えば図２で示すようにして表示パネル１１１に表示させる（ステップＳ１７）。ここで、図２の例では、Ｒｆの値をそのまま表示させるような表示形態であるが、Ｒｆの表示形態としてはこれに限るものではない。例えば、Ｒｆを点数のみの表示とはせずに、点数表示とレベル表示（バー表示）等とを併用して表示するようにしても良い。

また、ステップＳ２の判定において、再生指示がなされた場合に、ＭＰＵ１０１は、ユーザによって選択された画像を表示パネル１１１に表示させる（ステップＳ１８）。

以上説明したように、本一実施形態によれば、被写体の表情が笑顔に近く且つその笑顔が自然な笑顔である場合には表示パネル１１１に表示される点数が高くなる。これにより、ユーザは、点数を高めるためには被写体が驚くような撮影方法を採らないほうが良いと分かる。その結果、撮影を行うユーザと撮影される被写体との間での信頼関係が次第に築かれ、自然な表情での撮影を行えることが期待される。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係るカメラの構成を示すブロック図である。 図１に示すカメラにおける動作の概要について示す図である。 フレーミング時から撮影タイミングまでのＲ値の変化例を示す図である。 本一実施形態に係るカメラのメイン動作制御について示すフローチャートである。 Ｒ値の算出処理の詳細について示すフローチャートである。 図６（ａ）はＲ値の高い表情の例を示す図であり、図６（ｂ）はＲ値の低い表情の例を示す図である。

符号の説明

１００…カメラ、１０１…マイクロプロセッシングユニット（ＭＰＵ）、１０２…操作部、１０３…撮影レンズ、１０４…オートフォーカス（ＡＦ）回路、１０５…絞り機構、１０６…絞り制御回路、１０７…撮像素子、１０８…アナログフロントエンド（ＡＦＥ）回路、１０９…画像処理回路、１１０…表示制御回路、１１１…表示パネル、１１２…距離検出回路、１１３…顔検出回路、１１４…Ｒ値算出回路、１１５…圧縮／伸張部、１１６…記録制御回路、１１７…記録メディア、１１８…補助光発光回路

Claims (2)

1. 被写体を撮影して画像を取得する撮影部と、
   上記取得された画像における上記被写体の顔部を検出する顔画像検出部と、
   複数回の上記撮影によって取得される複数の画像に対して上記顔画像検出部によって検出される先行するタイミングと現在のタイミングとの各々のタイミングにおいて上記撮影部によって取得される画像に対して上記顔画像検出部から得られる顔部の画像を比較して、上記現在のタイミングにおける被写体の表情の自然さを判定する自然さ判定部と、
   を具備することを特徴とするカメラ。
2. 上記自然さ判定部によって判定された上記被写体の表情の自然さを視覚化する視覚化部をさらに具備することを特徴とする請求項１に記載のカメラ。

Images