JP4862755B2 - 画像撮影制御装置及び画像撮影制御方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、人物などの被写体を含んだ画像の撮影を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、画像データに含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、画像データに含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定する画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、笑顔検出に基づいて自動撮影を行なう際に、被写体に対して撮影タイミングに関するフィードバックを与える画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。

カメラは、視覚的な情報を記録する手段として長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｎｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラが広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができ、さらにフィルムの寿命という問題がないといった利点がある。

銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。

例えば、オート・フォーカス機能（ＡＦ）、自動露光（ＡＥ）、手振れ補正などである。デジタルカメラの場合、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。また、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）により撮像画像に対してホワイトバランス・ゲインを掛けるなど、デジタル処理により撮影画像に画質調整を施すことによって、適正な色状態を再現することができる。

オート・フォーカスや画質補正などの機能は、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なうべきである。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。

ここで、撮像した画像信号から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。また、撮像された顔が傾いていると、顔を正しく検出し難いため、顔の角度を検出して、その検出値に応じて顔の画像を回転させた後、マッチング処理などを行なうなどの手法も知られている。顔の角度を検出する方法としては、顔の中心線を検出し、その中心線らしさを示す度合いを顔の左右対称性に基づいて算出して、その度合いの高い中心線の角度を顔の角度として出力する手法などが挙げられる（例えば、特許文献２を参照のこと）。

また、最近では、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタに関する研究開発が進められている。

例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献３〜５を参照のこと）。ここで言う注目部位とは、例えば、人物を撮影するときの当該人物の目や口の形や色、鳥を撮影するときの当該鳥の羽根などである。

具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。例えば、主要被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。また、人物を被写体として撮影した写真を良好にするために写真を修正する技術が従来から知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、笑顔を撮影条件とする理由の１つである。

また、撮影したタイミングを撮影者や被写体に通知するカメラは当業界で広く知られている。例えば、アラーム音の発生やランプの点灯若しくは点滅といった機器からの外部出力によって撮影するタイミングを被写体に通知する方法が挙げられる。

被写体となる人物は、このようなカメラからのフィードバックを手がかりに、所定の撮影条件を満たすよう、静止する、瞬きを差し控える、視線をカメラに合わせるなどを努める。これを笑顔検出により撮影タイミングを決定するという仕様に当てはめた場合、被写体となる人物は笑顔を作り、アラーム音などのフィードバックが到来しないときには、笑顔をさらに装う必要があると判断することができる。

しかしながら、笑顔検出に基づいて自動撮影を行なう場合、カメラからの外部出力のオン／オフといった単純なフィードバックでは、被写体となる人物は、一体どの程度笑顔を作れば撮影条件を満たすのか測り知ることはできない。このため、撮影タイミングの到来を予期できないまま、目を見開き、口をあけて歯を出し横に広げるという仕草をひたすら続けなければならず、苦痛な作業となる。

特開２００３−２７１９３３号公報（段落００５１〜００５３、図６） 特開平９−１７１５６０号公報（段落００３２〜００４４、図４） 特開２０００−３４７２７８号公報 特開２００４−２９４４９８号公報 特開２００６−２３７８０３号公報

本発明の目的は、画像データに含まれる被写体から特定のパターンを認識したことに応じてカメラ・ワークの自動化処理を実現することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、画像データに含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、笑顔検出に基づいて自動撮影を行なう際に、被写体に対して撮影タイミングに関する好適なフィードバックを与えることができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、笑顔検出に基づいて自動撮影を行なう際に、被写体に対して撮影タイミングの到来を予期させるための好適なフィードバックを与えることができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、被写体を結像した画像を入力する画像入力手段と、
該入力画像を信号処理する画像信号処理手段と、
前記画像信号処理手段による信号処理後の入力画像を表示する表示手段と、
画像情報を所定の記録メディアに記録する画像記録手段と、
前記画像信号処理手段による信号処理後の入力画像に含まれる被写体の笑顔パターンを検出する笑顔検出手段と、
前記笑顔検出手段による検出結果をユーザに通知する通知手段と、
前記笑顔検出手段による検出結果に基づいて撮影処理を制御する撮影制御手段と、
を具備することを特徴とする画像撮影装置である。

現在、デジタルカメラなどの画像撮影装置が広範に普及しており、各種カメラ・ワークの自動化技術についても並行して進められている。このうち、自動撮影に関しては、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能について研究開発がなされている。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを適切な撮影タイミングの判断基準とすることが考えられる。

また、カメラが撮影処理を実施する際に、アラーム音の発生やランプの点灯若しくは点滅といったカメラからの外部出力によって撮影するタイミングを被写体に通知する機能は広く採用されている。

ここで、笑顔検出に基づいて自動撮影を行なうという仕様を考えた場合、機器からの外部出力のオン／オフといった単純なインタラクションでは、被写体となる人物は、一体どの程度笑顔を作れば撮影条件を満たすのか測り知ることはできない、という問題がある。すなわち、被写体は、撮影タイミングの到来を予期できないまま、目を見開き、口をあけて歯を出し横に広げるという仕草をひたすら続けなければならない。

これに対し、本発明に係る画像撮影装置は、撮影画像中の被写体から検出される笑顔パターンが所定の撮影条件を満たしたときに外部出力のオン／オフといった単純なフィードバックを行なうのではなく、撮影画像中の被写体から検出される笑顔レベルに応じたフィードバックを行なうことができる。

具体的には、笑顔認識処理の結果を笑顔レベル値として数値化して取り出し、これを撮影条件となる所定の笑顔レベル閾値と比較し、これらの差分に応じたフィードバックを行なう。例えば、笑顔レベル値の差に応じてＬＥＤを点滅させる周期や、点灯するＬＥＤの発光色や発光強度を変化させるようになっている。

被写体となる人物は、このようなＬＥＤの光り具合に基づいて、撮影タイミングの到来を予測することができ、静止する、瞬きを差し控える、視線をカメラに合わせる、目を見開き、口をあけて歯を出し横に広げるという仕草を継続するモチベーションを得ることができる。

本発明に係る画像撮影装置では、基本的に、ユーザからの撮影指示が入力されたことに応じて前記笑顔検出手段が被写体の笑顔パターンの検出を開始し、前記笑顔検出手段により検出された笑顔レベルが所定レベルに達したときに撮影制御手段が画像撮影処理を起動する。

このとき、前記笑顔検出手段による検出結果を笑顔レベル値として数値化して取り出し、これを撮影条件となる所定の笑顔レベル閾値と比較し、通知手段は、これらの差分に応じたフィードバックを行なう。ここで、通知手段は、ＬＥＤを備え、笑顔レベル値の差に応じて該ＬＥＤを点滅させる周期や、点灯するＬＥＤの発光色や発光強度を変化させる。

画像撮影装置は、前記画像信号処理手段による信号処理後の入力画像を、前記表示手段に表示するためのサイズに解像度変換し、あるいは撮影モードに応じた画像サイズに解像度変換する解像度変換手段を備えている。そして、前記笑顔検出手段は、撮影モードに応じた画像サイズに解像度変換された画像（すなわち撮影用の画像）ではなく、前記表示手段に表示するために（すなわちスルー画像用に）解像度変換された画像に基づいて被写体の笑顔パターンを検出するようにする。

画像撮影時には、入力画像を撮影モードに応じた画像サイズに解像度変換し、さらにＪＰＥＧなどにより画像圧縮を施した後に、記録メディアに記録する。このとき、通知手段は、前記画像圧縮手段が入力画像の画像圧縮を行なった時点で、前記画像記録手段が圧縮画像を記録メディアに記録するタイミングに合わせて、ＬＥＤの点灯などを用いて、撮影が行なわれた旨をユーザに通知するようになっている。したがって、被写体となる人物は、自分が笑ったことでキャプチャされたことを知ることができる。

なお、キャプチャ時におけるフィードバックのための笑顔検出は、撮影用に解像度変換された画像ではなく、あらかじめ表示用（すなわちスルー画像用）に解像度変換された画像を用いて行なわれる。したがって、笑顔レベルが撮影条件に到達して撮影処理が起動する際にも、遅延なくＬＥＤ点灯などのフィードバックを実施することができる。

また、本発明の第２の側面は、被写体を結像した入力画像を撮影するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
該入力画像を信号処理する画像信号処理手順と、
前記画像信号処理手順を実行することにより信号処理された後の入力画像を所定の表示手段に表示する表示手順と、
前記画像信号処理手順を実行することにより信号処理された後の入力画像に含まれる被写体の笑顔パターンを検出する笑顔検出手順と、
前記笑顔検出手順を実行して得られた検出結果をユーザに通知する通知手順と、
撮影画像を所定の記録メディアに記録する画像記録手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像撮影装置と同様の作用効果を得ることができる。

本発明によれば、画像データに含まれる被写体から笑顔を認識したことを利用して撮影するタイミングを自動的に決定することができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、笑顔検出に基づいて自動撮影を行なう際に、被写体に対して撮影タイミングに関する好適なフィードバックを与えることができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、笑顔検出に基づいて自動撮影を行なう際に、被写体に対して撮影タイミングの到来を予期させるための好適なフィードバックを与えることができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像撮影装置によれば、被写体の笑顔を検出して自動的に撮影を行なう際に、ＬＥＤを点灯させることで被写体側に撮影が実施されたことを通知することができ、被写体は撮影のための静止状態を速やかにやめることができる。

また、被写体は、画像撮影装置におけるＬＥＤの点灯を手がかりにして、どの程度の笑顔になれば撮影がなされるのかを、感覚的に理解することができる。逆に、笑顔を作っているにも拘らずＬＥＤが点灯しないときには、自分の笑顔の度合いが十分ではなく、さらによい笑顔にしなければならないことを知ることができる。また、画像撮影装置が笑顔の検出レベル（閾値）の設定を変更することができるときには、実際に撮影条件が満たされる笑顔の度合いを基に検出レベルが適当かどうかを判断し易くなる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。

光学系１０は、被写体からの光を撮像素子１１に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッタ機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動を制御する。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列され、被写体からの入射光を電気信号に変換する。受光側には例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップとして構成される。

ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。

タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。

カメラＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。

カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施し、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。また、カメラ信号処理部１７では、ＡＦＥ部１３の出力画像信号を基に、輝度情報を検波し、所定範囲毎のヒストグラムを算出するヒストグラム検波、並びに所定範囲毎に色情報を検波する色検波が行なわれる。ヒストグラム検波並びに色検波の結果は、後述する制御部２７に出力される。

解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｔｅｒ）１８は、画像のサイズの変更を行なう。画像コーデック処理部１９は、ＲＧＢ画像信号を輝度信号と色差信号（Ｙ／Ｃｒ／Ｃｂ）に色空間変換し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。

メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。

モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。また、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ ＳＣｒｅｅｎ Ｄｉｓｐｌａｙ）としてモニタ・ディスプレイ２５上に表示出力する。

メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。

また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）３１などで構成される。

ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・レリーズ・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。

フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。

このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。

カメラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。

図２には、カメラ画像をモニタ・ディスプレイ２５上に表示する際のデータフローを模式的に示している。

被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、パネルに表示するための画像の解像度変換がさらに行なわれ、その結果作成された画像がモニタ・ディスプレイ２５上に表示される。このような画像出力処理の制御は、制御部２７内のＣＰＵ２９が所定のプログラム・コードを実行するという形態で実現される。実際には、制御の分担が細かく分かれているが、本発明の要旨に直接関連しないので、ここでは詳細な説明を省略する。

また、ＵＩ部２８を介したユーザ操作などで制御部２７に画像の記録が指示されると、カメラ信号処理部１７からの画像データは画像コーデック処理部１９に供給され、所定の圧縮符号化処理が施されて、メモリ制御部２０を通じてメモリ装置２４に保存され、あるいはメディア制御部２２を通じて記録メディア２６に保存される。静止画像の記録の際には、カメラ信号処理部１７からは１フレーム分の画像データが画像コーデック処理部１９に供給される。ちなみに、動画像の記録の際には、処理された画像データが画像コーデック処理部１９に連続的に供給される。

図３には、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示している。また、図４には、デジタルスチルカメラ１が画像撮影する際の処理手順をフローチャートの形式で示している。

上記で図２を参照しながら説明したと同様に、被写体をモニタ・ディスプレイ２５上に表示させている状態で、ＵＩ部２８中のシャッターキーをユーザが押下すると（ステップＳ１）、ＵＩ部２８はキー検出して、キー情報の信号をＣＰＵ２９に送る。これにおうとうして、ＣＰＵ２９は、ドライバ１０ａに制御信号を出力し、撮影処理を実行する（ステップＳ２）。その際、適宜ＡＦ及びＡＥの処理が併せて行なわれる。

ドライバ１０ａを通じて撮影処理の指示が行なわれると、上記と同様に、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれ、撮影モードに応じた画像サイズとなるように解像度変換がさらに行なわれる（ステップＳ３）。その後、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ４）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ５）。

本実施形態に係るデジタルスチルカメラ１は、笑顔など被写体の画像から特定のパターンを認識したことを利用して撮影するタイミングを決めるオート・シャッタ機能を適用することができる。笑顔認識は、ＣＰＵ２９において所定の画像認識処理プログラムを実行するか、又は、制御部２７内に画像認識処理用のエンジン（図示しない）を搭載することによって実現可能である。笑顔認識技術自体は周知のものでよいので、ここでは詳細な説明を省略する。

また、デジタルスチルカメラ１は、カメラが撮影処理を実施する際に、ＵＩ部２８の出力機能を用いて、アラーム音の発生やランプの点灯若しくは点滅といったＵＩ部２８からの外部出力によって撮影するタイミングを被写体に通知するようになっている。

笑顔検出に基づいて自動撮影を行なう場合、機器からの外部出力のオン／オフといった単純なインタラクションでは、被写体となる人物は、一体どの程度笑顔を作れば撮影条件を満たすのか測り知ることはできない。このため、被写体は、撮影タイミングの到来を予期できないまま、目を見開き、口をあけて歯を出し横に広げるという仕草をひたすら続けなければならない。

そこで、本実施形態に係るデジタルスチルカメラ１では、撮影画像中の被写体から検出される笑顔パターンが所定の撮影条件を満たしたときに外部出力のオン／オフといった単純なフィードバックを行なうのではなく、撮影画像中の被写体から検出される笑顔レベルに応じたフィードバックを行なう。具体的には、笑顔認識処理の結果を笑顔レベル値として数値化して取り出し、これを撮影条件となる所定の笑顔レベル閾値と比較し、これらの差分に応じたフィードバックを行なう。例えば、笑顔レベル値の差に応じてＬＥＤを点滅させる周期や、点灯するＬＥＤの発光色や発光強度を変化させる。被写体となる人物は、このようなＬＥＤの光り具合に基づいて、撮影タイミングの到来を予測することができ、静止する、瞬きを差し控える、視線をカメラに合わせる、目を見開き、口をあけて歯を出し横に広げるという仕草を継続するモチベーションを得ることができる。

図５には、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうとともに撮影するタイミングを被写体に通知するための処理手順をフローチャートの形式で示している。

まず、図２と同様のデータフローに従って、光学系１０より入力されるカメラ画像をモニタ・ディスプレイ２５上に表示させる（ステップＳ１１）。

このとき、表示される画像は、制御部２７内にも供給され、所定の画像認識処理プログラムを実行するＣＰＵ２９（若しくは、図示しない画像認識エンジン）において、被写体の笑顔パターンが検出される（ステップＳ１２）。

ここで、ＵＩ部２８中のシャッターキーをユーザが押下すると、カメラ撮影処理が起動する。具体的には、ＣＰＵ２９がドライバ１０ａを通じて撮影処理の指示を行ない、被写体の情報は光学系１０、撮像素子１１、及びＡＦＥ部１２を通してデジタル信号に変換されカメラＤＳＰ部１６へ送られる。カメラＤＳＰ部１６では、画像信号処理により明るさ、色などの補正が行なわれる（ステップＳ１３）。

笑顔検出に基づいて自動撮影機能がオンされているときには、シャッターキーの押下操作により即座にシャッタが切られるのではなく、被写体に対する笑顔レベルのフィードバック処理が行なわれる（ステップＳ１８）。具体的には、先行ステップＳ１２における笑顔認識処理の結果を笑顔レベル値として数値化して取り出し、これを撮影条件となる所定の笑顔レベル閾値と比較し、これらの差分に応じたフィードバックを行なう。例えば、笑顔レベル値の差に応じてＬＥＤを点滅させる周期や、点灯するＬＥＤの発光色や発光強度を変化させる。被写体となる人物は、このようなＬＥＤの光り具合に基づいて、どの程度の笑顔になれば撮影がなされるのかを、感覚的に理解することができる。すなわち、撮影タイミングの到来を予測することができ、静止する、瞬きを差し控える、視線をカメラに合わせる、目を見開き、口をあけて歯を出し横に広げるという仕草を継続するモチベーションを得ることができる。

このようにして、シャッターキーの押下操作又は笑顔検出結果に応じてカメラ撮影処理が実施された後、解像度変換部１８によって撮影モードに応じた画像サイズに変換され（ステップＳ１４）、さらに、画像コーデック処理部１９によって画像にＪＰＥＧ圧縮処理が施された後（ステップＳ１５）、メディア制御部２２を通じて記録メディア２６に記録される（ステップＳ１６）。

また、撮影モードに応じた画像サイズに変換された撮影画像をＪＰＥＧ圧縮処理したタイミングで、ＣＰＵ２９は、例えばＵＩ部２８内のＬＥＤを数秒間だけ点灯させるといった、ユーザへのフィードバックを出力する指示を行なう（ステップＳ１７）。これによって、被写体は、自分が笑ったことで撮影が無事に行なわれたことを知ることができる。

なお、ステップＳ１７では、ステップＳ１４で撮影画像用にサイズが解像度変換された画像ではなく、モニタ・ディスプレイ２５に表示するために解像度変換された画像を用いてステッフＳ１２で行なった笑顔検出結果を用いるので、撮影処理に伴って遅延なくＬＥＤ点灯処理を実施することができる。

このように、本実施形態に係るデジタルスチルカメラ１によれば、被写体は、ＬＥＤの点灯を手がかりにして、どの程度の笑顔になれば撮影がなされるのかを、感覚的に理解することができる。逆に、笑顔を作っているにも拘らずＬＥＤが点灯しないときには、自分の笑顔の度合いが十分ではなく、さらによい笑顔にしなければならないことを知ることができる。また、画像撮影装置が笑顔の検出レベル（閾値）の設定を変更することができるときには、実際に撮影条件が満たされる笑顔の度合いを基に検出レベルが適当かどうかを判断し易くなる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、あるいはその他のカメラ機能を備えたさまざまな情報機器に対して本発明を同様に適用することができる。

被写体の笑顔検出は、まず入力画像から被写体の顔を検出し、笑顔検出の対象となる検出顔を特定してから笑顔検出を行なう。本発明の要旨は特定の顔検出処理に限定されるものではない。例えば、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」（第１０回画像センシングシンポジウム（ＳＳＩＩ ２００４））に記載されている顔検出処理方法を適用することができる。また、笑顔検出処理にも同じ処理アルゴリズムを適用することができるが、この場合は参照する画像の辞書が相違する。

また、本明細書では、笑顔検出に基づいて撮影処理を起動する場合についてのみ説明したが、勿論、笑顔検出結果に基づいて撮影以外の処理を行なうことも考えられる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。 図２は、カメラ画像をモニタ・ディスプレイ２５上にスルー表示する際のデータフローを模式的に示した図である。 図３は、デジタルスチルカメラ１が画像撮影処理する際のデータフローを模式的に示した図である。 図４は、デジタルスチルカメラ１が画像撮影する際の処理手順を示したフローチャートである。 図５は、デジタルスチルカメラ１が笑顔検出に基づいて自動撮影を行なうとともに撮影するタイミングを被写体に通知するための処理手順を示したフローチャートである。

符号の説明

１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部

Claims (19)

1. 被写体を含んだ画像に対して所定の笑顔認識処理を実行して得られた結果を笑顔レベル値として数値化する笑顔認識処理手段と、
   前記笑顔レベル値と撮影条件となる所定の笑顔レベル閾値との差分の度合いに応じたフィードバックを前記被写体となる人物に行なう通知手段と、
   前記笑顔レベル値に基づいて撮影処理を制御する撮影制御手段と、
   を具備する画像撮影制御装置。
2. 前記笑顔認識処理手段は、撮影者からの撮影指示が入力されたことに応じて画像に含まれる被写体の笑顔認識処理を開始し、
   前記撮影制御手段は、前記笑顔レベル値が所定値に達したときに撮影処理を起動する、
   請求項１に記載の画像撮影制御装置。
3. 前記通知手段は、ランプを備え、前記差分の度合いに応じた前記ランプの光具合により前記被写体となる人物へのフィードバックを行なう、
   請求項１に記載の画像撮影制御装置。
4. 前記通知手段は、前記差分の度合いに応じて前記ランプを点滅させる周期を変化させて、前記被写体となる人物へのフィードバックを行なう、
   請求項３に記載の画像撮影制御装置。
5. 前記通知手段は、前記差分の度合いに応じて前記ランプの発光色を変化させて、前記被写体となる人物へのフィードバックを行なう、
   請求項３に記載の画像撮影制御装置。
6. 前記通知手段は、前記差分の度合いに応じて前記ランプの発光強度を変化させて、前記被写体となる人物へのフィードバックを行なう、
   請求項３に記載の画像撮影制御装置。
7. 前記通知手段は、前記差分の度合いに応じてアラーム音を変化させて、前記被写体となる人物へのフィードバックを行なう、
   請求項１に記載の画像撮影制御装置。
8. 入力画像を信号処理する画像信号処理手段と、
   画像情報を所定の記録メディアに記録する画像記録手段と、
   前記画像信号処理手段による信号処理後の入力画像を画像圧縮する画像圧縮手段と、
   をさらに備え、
   前記通知手段は、前記画像圧縮手段が入力画像の画像圧縮を行なった後、前記画像記録手段が圧縮画像を記録メディアに記録するタイミングに合わせて、撮影が行なわれた旨を前記被写体となる人物に通知する、
   請求項１に記載の画像撮影制御装置。
9. 入力画像を信号処理する画像信号処理手段と、
   前記画像信号処理手段による信号処理後の入力画像を表示する表示手段と、
   前記画像信号処理手段による信号処理後の入力画像を、前記表示手段に表示するためのサイズに解像度変換し、あるいは撮影モードに応じた画像サイズに解像度変換する解像度変換手段と、
   をさらに備え、
   前記笑顔認識処理手段は、前記表示手段に表示するために解像度変換された画像に基づいて前記笑顔認識処理を実行する、
   請求項１に記載の画像撮影制御装置。
10. 被写体を含んだ画像に対して所定の笑顔認識処理を実行して得られた結果を笑顔レベル値として数値化する笑顔認識処理ステップと、
    前記笑顔レベル値と撮影条件となる所定の笑顔レベル閾値との差分の度合いに応じたフィードバックを前記被写体となる人物に行なう通知ステップと、
    前記笑顔レベル値に基づいて撮影処理を制御する撮影制御ステップと、
    を有する画像撮影制御方法。
11. 前記笑顔認識処理ステップでは、撮影者からの撮影指示が入力されたことに応じて画像に含まれる被写体の笑顔認識処理を開始し、
    前記撮影制御ステップでは、前記笑顔レベル値が所定値に達したときに撮影処理を起動する、
    請求項１０に記載の画像撮影制御方法。
12. 前記通知ステップでは、ランプを備え、前記差分の度合いに応じた前記ランプの光具合により前記被写体となる人物へのフィードバックを行なう、
    請求項１０に記載の画像撮影制御方法。
13. 前記通知ステップでは、前記差分の度合いに応じて前記ランプを点滅させる周期を変化させて、前記被写体となる人物へのフィードバックを行なう、
    請求項１２に記載の画像撮影制御方法。
14. 前記通知ステップでは、前記差分の度合いに応じて前記ランプの発光色を変化させて、前記被写体となる人物へのフィードバックを行なう、
    請求項１２に記載の画像撮影制御方法。
15. 前記通知ステップでは、前記差分の度合いに応じて前記ランプの発光強度を変化させて、前記被写体となる人物へのフィードバックを行なう、
    請求項１２に記載の画像撮影制御方法。
16. 前記通知ステップでは、前記差分の度合いに応じてアラーム音を変化させて、前記被写体となる人物へのフィードバックを行なう、
    請求項１０に記載の画像撮影制御方法。
17. 入力画像を信号処理する画像信号処理ステップと、
    画像情報を所定の記録メディアに記録する画像記録ステップと、
    前記画像信号処理ステップで信号処理した後の入力画像を画像圧縮する画像圧縮ステップと、
    をさらに有し、
    前記通知ステップでは、前記画像圧縮ステップで入力画像の画像圧縮を行なった後、前記画像記録ステップで圧縮画像を記録メディアに記録するタイミングに合わせて、撮影が行なわれた旨を前記被写体となる人物に通知する、
    請求項１０に記載の画像撮影制御方法。
18. 入力画像を信号処理する画像信号処理ステップと、
    前記画像信号処理ステップで信号処理した後の入力画像を表示する表示ステップと、
    前記画像信号処理ステップで信号処理した後の入力画像を、前記表示ステップにおいて表示するためのサイズに解像度変換し、あるいは撮影モードに応じた画像サイズに解像度変換する解像度変換ステップと、
    をさらに有し、
    前記笑顔認識処理ステップでは、前記表示ステップで表示するために解像度変換された画像に基づいて前記笑顔認識処理を実行する、
    請求項１に記載の画像撮影制御装置。
19. 被写体を含んだ画像に対して所定の笑顔認識処理を実行して得られた結果を笑顔レベル値として数値化する笑顔認識処理手段、
    前記笑顔レベル値と撮影条件となる所定の笑顔レベル閾値との差分の度合いに応じたフィードバックを前記被写体となる人物に行なう通知手段、
    前記笑顔レベル値に基づいて撮影処理を制御する撮影制御手段、
    としてコンピュータを機能させるようコンピュータ可読形式で記述されたコンピュータ・プログラム。

Images