JP5321199B2 - 撮影装置、撮影制御方法、撮影制御プログラム及び携帯端末装置 - Google Patents

Description

本発明は、推定される笑顔度によって被写体を自動的に撮影する撮影装置、撮影制御方法、撮影制御プログラム及び携帯端末装置に関する。

被写体の笑顔を検知した場合を契機に自動的にシャッターを切る撮影装置が提案されている。撮影処理として例えば、ファインダ画面に取り込まれた画像から笑顔度を推定し、この笑顔度が閾値を超えていれば、被写体を撮影するというものである。

このような笑顔度を用いる撮影に関し、画像データから顔評価値が算出されている。この顔評価値が判定値以上であると判定されたときに顔の顔評価値を逐次取得し、その顔評価値が所定時間連続して所定変動範囲内であれば撮影を開始することが知られている（例えば、特許文献１）。

特開２００８−１９３４１１号公報

ところで、笑顔度は被写体の画像から推定される笑顔の度合いであって、口角が上がる、目尻が下がる、顔にしわが現れる等、顔の変化の度合いである。

このように画像から推定される笑顔度は、被写体が笑顔でない場合でも、画像歪みによって高く評価される場合がある。このような場合、笑顔でない被写体を撮影してしまう誤動作を生じる。

このような笑顔度によって撮影する場合の誤撮影の原因となる画像歪みは、撮影装置や被写体の動きによって生じるが、その画像歪みの度合いは画像センサの読出し速度に依存すると言われている。

画像センサにはＣＣＤ（Charge Coupled Device ）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）センサが用いられる。また、撮影装置では、メカシャッタを使用しない常時開で撮影するものがある。斯かる撮影装置では、静止状態で例えば、図４１に示すように、正常な画像２００Ａが得られるのに対し、装置筐体を移動させながら撮影すると例えば、図４２に示すように、歪み画像２００Ｂが得られる場合がある。歪み画像２００Ｂに重ねて記載した破線は正常な画像２００Ａ（図４１）に対応している。このような場合、被写体は笑顔状態でないにも拘わらず、装置筐体の移動により、図４２に示すように歪み画像２００Ｂとして取得され、笑顔画像となっている。このような歪み画像では笑顔度が高く評価され、笑顔でない被写体が撮影されるという誤撮影を生じる。このような誤撮影は、撮影の繰り返しを生じさせる。

斯かる画像歪みはＣＭＯＳセンサでメカシャッタ無しの場合に顕著となるが、ＣＣＤセンサを用いてグローバルシャッタの撮影装置でも、撮影条件によっては同様の現象を生じる可能性がある。例えば、暗い撮影環境での撮影では、露光時間が長くなるので、撮影装置に動きが同様の画像歪みを生じさせる場合がある。このような場合には誤撮影を生じる可能性がある。従って、斯かる課題はＣＭＯＳセンサでメカシャッタ無しの撮影装置に限られない。

斯かる課題は特許文献１に開示されておらず、その解決手段の開示や示唆はない。

そこで、本開示の撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置の目的は、笑顔度の判定精度を高め、誤撮影を防止することにある。

上記目的を達成するため、本開示の撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置は、画像から推定される笑顔度と閾値との相対的な関係を変更して撮影タイミングをシフトさせることにより、瞬間的な笑顔度の変動（画像歪みや、筐体の動きに起因する笑顔度の揺らぎ）等の影響を小さくし又は回避し、誤撮影を防止している。

上記目的を達成するため、本開示の撮影装置は、画像から推定された笑顔度に応じて撮影する撮影装置であって、前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを前記撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影する。

上記目的を達成するため、本開示の撮影装置は、画像から推定された笑顔度に応じて撮影する撮影装置であって、前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記加算比率により加算して平滑化する平滑化手段と、前記撮影装置の筐体の動きを検出する動き検出手段とを備え、該動き検出手段の一定時間ごとの検出値を積分し、この積分値に応じて閾値が設定され、前記平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影する。
上記目的を達成するため、本開示の撮影装置は、画像から推定された笑顔度に応じて撮影する撮影装置であって、前記画像に含まれる顔の数に応じて、前記笑顔度の平滑化の度合いを変更して前記笑顔度を平滑化する平滑化手段を備える。該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影する。

上記目的を達成するため、本開示の撮影制御方法は、画像から推定された笑顔度に応じて撮影する撮影制御方法であって、前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化するステップと、前記平滑化により得られた平滑化笑顔度が閾値を超えた場合に撮影するステップとを含む構成である。

上記目的を達成するため、本開示の撮影制御プログラムは、画像から推定された笑顔度に応じて撮影する撮影制御プログラムであって、前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する機能と、平滑化された笑顔度が閾値を超えた場合に撮影する機能とを備える。これら機能をコンピュータに実行させる。

上記目的を達成するため、本開示の携帯端末装置は、画像から推定された笑顔度に応じて撮影する撮影機能を備える携帯端末装置であって、前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔 度の推定前の笑顔度とを前記携帯端末装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する平滑化手段を備える。該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影する。

本開示の撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置によれば、次のような効果が得られる。

(1) 笑顔度の平滑化によって得られる平滑化笑顔度が閾値に到達するまでの時間だけ撮影タイミングがずれるので、瞬間的な笑顔度の変動の影響を小さくでき、真の笑顔の被写体の撮影をすることができる。

(2) 笑顔度の平滑化によって得られる平滑化笑顔度が閾値に到達するまでの時間だけ撮影タイミングがずれるので、瞬間的な笑顔度の影響を回避でき、撮影精度を高めることができる。

(3) 撮影装置や被写体が移動した場合等、撮影画像に歪みを生じても、笑顔として誤判定されることがなく、誤撮影を防止できる。

そして、本発明の他の目的、特徴及び利点は、添付図面及び各実施の形態を参照することにより、一層明確になるであろう。

第１の実施の形態に係る撮影制御部を示す図である。 携帯電話機のハードウェア構成を示す図である。 公知のＣＭＯＳセンサの一例を示す図である。 メモリを示す図である。 携帯電話機を示す図である。 携帯電話機を示す図である。 撮影制御の処理手順を示すフローチャートである。 平滑化笑顔度の算出例を示す図である。 笑顔度の取得、平滑化笑顔度の推移及び撮影タイミングを示す図である。 第２の実施の形態に係る撮影制御部を示す図である。 第２の実施の形態に係る携帯電話機のハードウェア構成を示す図である。 加速度センサの出力を示す図である。 加速度センサ出力・閾値テーブルを示す図である。 メモリの構成を示す図である。 撮影制御の処理手順を示すフローチャートである。 第３の実施の形態に係る撮影制御部を示す図である。 加速度センサの出力を示す図である。 積分値・閾値テーブルを示す図である。 メモリの構成を示す図である。 撮影制御の処理手順を示すフローチャートである。 第４の実施の形態に係る撮影制御部を示す図である。 顔数・忘却係数テーブルを示す図である。 メモリの構成を示す図である。 撮影制御の処理手順を示すフローチャートである。 第５の実施の形態に係る撮影制御部を示す図である。 撮影制御の処理手順を示すフローチャートである。 第６の実施の形態に係る撮影制御部を示す図である。 撮影制御の処理手順を示すフローチャートである。 第７の実施の形態に係る撮影制御部を示す図である。 加速度センサ出力・忘却係数テーブルを示す図である。 メモリの構成を示す図である。 撮影制御の処理手順を示すフローチャートである。 第８の実施の形態に係る撮影制御部を示す図である。 積分値・忘却係数テーブルを示す図である。 メモリの構成を示す図である。 撮影制御の処理手順を示すフローチャートである。 第９の実施の形態に係る撮影制御部を示す図である。 他の実施の形態に係るカメラを示す図である。 他の実施の形態に係るＰＤＡを示す図である。 他の実施の形態に係るＰＣを示す図である。 正常な画像を示す図である。 歪んだ画像を示す図である。

〔第１の実施の形態〕

第１の実施の形態は、笑顔度が笑顔度判定閾値（以下単に「閾値」と称する。）を上回った場合に撮影をする撮影制御であって、笑顔度と閾値との関係を制御し、瞬間的な笑顔度の変動の影響を小さくする。そこで、この実施の形態では、被写体又はその画像から一定の時間間隔で検出した笑顔度を平滑化し、平滑化された笑顔度が閾値を上回った場合に撮影する構成である。平滑化された笑顔度が閾値を超えるまでの時間だけ、撮影タイミングをシフトさせることで、瞬間的な笑顔度の変動の影響を小さくでき、画像歪みによる誤撮影を防止し、笑顔度による撮影精度が高められる。

この第１の実施の形態について、図１を参照する。図１は、第１の実施の形態に係る撮影制御部を示す図である。図１に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この撮影制御部２Ａは、撮影装置、撮影制御方法及び撮影制御プログラムの一例であって、画像歪みによる笑顔度の揺らぎを笑顔度の平滑化によって防止ないし緩和させる機能部であり、例えば、コンピュータ処理によって実現することができる。この撮影制御部２Ａでは、画像取得部４と、笑顔度推定部６と、笑顔度平滑部８と、笑顔度記憶部１０と、忘却係数設定部１２と、笑顔度判定部１４と、笑顔度判定閾値設定部１６と、撮影機能部１８と、画像記録部２０とが備えられている。

画像取得部４は、被写体の画像を取得する手段の一例であって、所定の時間間隔例えば、１００〔ｍＳ〕単位で画像を取得する。この画像取得部４で取得された各画像は、笑顔度を判定するための画像であり、笑顔度推定部６に提供される。

この笑顔度推定部６は、画像から笑顔度を推定する笑顔度推定手段の一例であって、画像から笑顔度を推定し、推定された笑顔度を抽出する。この笑顔度推定部６は、所定の時間間隔で取得された各画像について、その笑顔度を推定し、抽出する。この笑顔度は、一時的に保持される。

笑顔度平滑部８は、笑顔度の平滑化手段であって、笑顔度推定部６から提供された笑顔度（最新の笑顔度）を、該笑顔度と、笑顔度記憶部１０にある従前の笑顔度（平滑化されている笑顔度）とを用いて平滑化する。この平滑化処理には、忘却係数設定部１２にある忘却係数が用いられる。この忘却係数は、現在の笑顔度と、笑顔度記憶部１０にある従前の笑顔度との加算割合に反映させている。即ち、平滑化処理は、現在時点の笑顔度と、現在時点の直前までの平滑化された笑顔度とを用いた平均化のための処理である。

そこで、所定の時間（既述の１００〔ｍＳ〕）毎に笑顔度推定部６から読み出された笑顔度をＳ ＮＯＷ、忘却係数をＣＯＥＦ（＝０〜１）、平滑化された笑顔度（平滑化笑顔度）をＳ ＳＭＯＯＴＨとすると、平滑化笑顔度Ｓ ＳＭＯＯＴＨは、
Ｓ ＳＭＯＯＴＨ＝Ｓ ＳＭＯＯＴＨ＊ＣＯＥＦ
＋Ｓ ＮＯＷ＊（１．０−ＣＯＥＦ）
・・・(1)
で求められる。この場合、ＣＯＥＦ＝０．８とすれば、式(1) は、
Ｓ ＳＭＯＯＴＨ＝Ｓ ＳＭＯＯＴＨ×０．８＋Ｓ ＮＯＷ×０．２
となる。ＣＯＥＦ＝０．８とした平滑化では、現時点の笑顔度Ｓ ＮＯＷと、平滑化笑顔度Ｓ ＳＭＯＯＴＨとの加算割合（加算比率）が、Ｓ ＮＯＷ：２０〔％〕であるのに対し、Ｓ ＳＭＯＯＴＨ：８０〔％〕となり、平滑化笑顔度Ｓ ＳＭＯＯＴＨが現時点の笑顔度Ｓ ＮＯＷより大きく反映される。

この平滑化笑顔度Ｓ ＳＭＯＯＴＨは、笑顔度判定部１４に提供される。笑顔度判定部１４は、平滑化笑顔度Ｓ ＳＭＯＯＴＨの笑顔度判定手段であって、この笑顔度判定では、撮影を許可すべき笑顔度に到達しているか否かを判定する。この笑顔度判定には、笑顔度判定閾値設定部１６に設定された閾値が用いられ、平滑化笑顔度Ｓ ＳＭＯＯＴＨが閾値を上回っているか否かの判定が行われる。この判定結果は、撮影機能部１８に提供される。

撮影機能部１８は、笑顔度の判定結果に基づき、撮影を許可する手段であって、平滑化笑顔度Ｓ ＳＭＯＯＴＨが閾値を上回っている場合に撮影する。この撮影によって得られた画像は、画像記録部２０に格納され、記録される。この画像記録部２０に記録される画像は、撮像部２４（図２）から現時点で取得された画像であるが、平滑化笑顔度Ｓ ＳＭＯＯＴＨが閾値を上回った時点の画像取得部４の画像であってもよい。

このような撮影制御は、所定の時間毎に取り込まれた画像から検出された笑顔度を、その時点の笑顔度と平滑化笑顔度とを用いて平滑化することにより、平滑化笑顔度が閾値を超えるまで、平滑化処理が繰り返し実行される。この結果、撮像開始時点から平滑化笑顔度が閾値を超えるまで、撮影タイミングがシフトするので、画像歪みによる誤撮影を防止でき、笑顔度撮影の撮影精度が高められる。

次に、この撮影制御部２Ａを搭載する携帯電話機について、図２を参照する。図２は、携帯電話機のハードウェア構成を示す図である。図２に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この携帯電話機２２Ａは、撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置の一例であって、既述の撮影制御部２Ａが搭載される。この携帯電話機２２Ａでは、撮像部２４と、入力操作部２６と、ＣＰＵ（Central Processing Unit ）２８と、メモリ３０Ａと、表示部３２と、タイマー部３４と、電話機能部３６とが備えられている。

撮像部２４は、被写体から画像を生成させる撮像手段の一例であって、レンズ３８と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）撮像素子４０と、画像処理部４２とを備える。レンズ３８は、光学系の一例であって、被写体を表す像をＣＭＯＳ撮像素子４０の撮像面に合焦させる。ＣＭＯＳ撮像素子４０は、撮像センサの一例であって、この実施の形態では、ＣＭＯＳセンサを構成している。このＣＭＯＳ撮像素子４０を用いた撮像部２４では、画素毎に露出タイミングが異なるローリングシャッターが用いられ、常時、開状態である。そして、ＣＭＯＳ撮像素子４０で得られた画像情報は、画像処理部４２に提供される。この画像処理部４２は、画像情報から画像を生成させる手段の一例であって、笑顔度を判定するための既述の画像、笑顔度判定後の撮影のための画像が取得される。

入力操作部２６は、起動、情報入力、情報選択等を行うための手段である。この入力操作部２６には例えば、電源投入キー、通常撮影のシャッターキー、笑顔度撮影モードの選択キー、画像取込みの可否の決定キー、記号入力キー等が備えられる。

ＣＰＵ２８は、メモリ３０Ａに格納されているＯＳ（Operating System）やアプリケーションプログラムを実行するとともに、既述の撮影制御プログラムを実行する。既述の撮影制御部２Ａは、このＣＰＵ２８及びＲＡＭ６６（図４）等によって実現される。

メモリ３０Ａは、既述のＯＳやアプリケーションプログラムの他、画像データ等の記憶や記録に用いられる。

表示部３２は、画像等の表示手段であって例えば、ＬＣＤ（Liquid Crystal Display）表示器で構成され、メニュー表示、撮影画像の表示等に用いられる。

タイマー部３４は、計時手段の一例であって、笑顔度の判定に用いられる画像の取得タイミング例えば、１００〔ｍＳ〕の時間の生成、後述の加速度センサ９８（図１１）の検出タイミングの生成等に用いられる。

電話機能部３６は、アンテナ４４を備え、ＣＰＵ２８の制御により、基地局を媒介として相手装置との呼制御、音声による電話通信、パケットデータ等のデータ通信を無線により行う。

次に、ＣＭＯＳ撮像素子４０について、図３を参照する。図３は、公知のＣＭＯＳセンサの一例を示す図である。

このＣＭＯＳセンサ４６は、既述のＣＭＯＳ撮像素子４０として用いられる公知のセンサである。このＣＭＯＳセンサ４６には、１つの水平信号線４８に対して複数の垂直信号線５０１、５０２・・・５０ｎが備えられている。各垂直信号線５０１、５０２・・・５０ｎには、画素Ｐ１１、Ｐ１２・・・Ｐ１ｎ、Ｐ２１、Ｐ２２・・・Ｐ２ｎ、Ｐ３１、Ｐ３２・・・Ｐ３ｎ・・・毎にフォトダイオード５２、増幅器５４、画素選択スイッチ５６が備えられている。フォトダイオード５２は、画素Ｐ１１〜Ｐ３ｎ内の受光部であって、受光した光を電荷に変換して蓄積する。

各蓄積電荷は電圧に変換され、その電圧は増幅器５４で増幅される。画素Ｐ１１、Ｐ１２・・・Ｐ１ｎの画素選択スイッチ５６が閉じられると、増幅器５４で増幅された電圧が画素情報として垂直信号線５０１、５０２・・・５０ｎに出力される。即ち、ライン露光順次読み出しが行われる。

各電圧は、各垂直信号線５０１、５０２・・・５０ｎ毎に設置された列回路（ＣＤＳ回路）５８１、５８２・・・５８ｎに保持される。この保持電圧は列選択スイッチ６０１、６０２・・・６０ｎの導通により、水平信号線４８に出力される。

このようにライン毎の露光が行われるＣＭＯＳセンサ４６では、露光タイミングや電荷読出しに時間的ずれが生じ、これが画像歪みを生じさせる場合がある。斯かるＣＭＯＳセンサ４６が携帯電話機２２Ａに搭載され、携帯電話機２２Ａの移動が画像歪みを生じさせることになる。これは、常時開状態で画像が取り込まれ、画素毎に露出タイミングが異なることによる。既述の撮影制御を用いれば、撮影画像に歪みが生じても、その影響を回避ないし軽減でき、笑顔度判定が正確に行われ、撮影精度が高められる。

次に、メモリ３０Ａについて、図４を参照する。図４は、メモリを示す図である。図４に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図４において、図２と同一部分には同一符号を付してある。

このメモリ３０Ａは、プログラム記憶部６２と、データ記憶部６４と、ＲＡＭ（Random-Access Memory）６６とを備える。プログラム記憶部６２には、既述のＯＳ、撮影制御プログラム等のアプリケーションプログラムが格納される。データ記憶部６４は、画像保持部６８と、忘却係数テーブル７０と、笑顔度判定閾値テーブル７２と、笑顔度記憶部７４と、画像記録部７６とを備える。

画像保持部６８は、笑顔度を判定するための画像を保持する手段であって、所定の時間毎に取り込まれる画像が格納される。忘却係数テーブル７０は、既述の忘却係数設定部１２（図１）に対応し、笑顔度の平滑化処理に用いる平滑化係数である忘却係数が格納される。笑顔度判定閾値テーブル７２は、笑顔度を判定する基準としての笑顔度判定閾値が格納される。笑顔度記憶部７４は、笑顔度を記憶する手段であって、演算結果である既述の平滑化笑顔度が格納される。画像記録部７６は、撮影画像を記録する手段であって、笑顔度撮影モードでは、閾値を超えた際の撮影画像が格納される。

次に、携帯電話機について、図５及び図６を参照する。図５及び図６は、携帯電話機を示す図である。図５及び図６に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図５及び図６において、図２と同一部分には同一符号を付してある。

この携帯電話機２２では、第１の筐体部７８と、第２の筐体部８０とをヒンジ部８２で開閉可能に連結したものである。筐体部７８には図５に示すように、入力操作部２６、マイクロフォン８４等が設置されている。入力操作部２６には決定キー８６、文字入力キー８８等が設置されている。

筐体部８０の上面側には表示部３２の表示画面９０が設置されているとともに、レシーバ９２が設置され、その背面側には、図６に示すように、撮像部２４のレンズ３８が配置されている。

次に、撮影制御の処理手順について、図７を参照する。図７は、撮影制御の処理手順を示すフローチャートである。図７に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、既述の笑顔度を平滑化して閾値と対比する処理を含んでいる。

そこで、この処理手順では、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ１１）、各画像から笑顔度を推定し、笑顔度を得る（ステップＳ１２）。この笑顔度から笑顔度を平滑化する（ステップＳ１３）。この平滑化処理は既述の通りである。

平滑化された笑顔度と、閾値とを比較し（ステップＳ１４）、この比較処理は平滑化処理と連動して継続的に行い（ステップＳ１４のＮＯ）、平滑化笑顔度が閾値を超えた場合（ステップＳ１４のＹＥＳ）、撮影に移行する（ステップＳ１５）。この撮影は、既述の通り、平滑化笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ａの画像記録部７６に格納する。

次に、この撮影制御の平滑化処理について、図８及び図９を参照する。図８は、平滑化笑顔度の算出例である笑顔度算出テーブルを示す図、図９は、笑顔度の取得、平滑化笑顔度の推移及び撮影タイミングを示す図である。

笑顔度算出テーブル９３は、図８に示すように、規定の時間例えば、１００〔ｍＳ〕毎に取得した画像、画像から推定される笑顔度Ｓ ＮＯＷ、式(1) から求めた各時点の平滑化笑顔度Ｓ ＳＭＯＯＴＨである。平滑化笑顔度Ｓ ＳＭＯＯＴＨは、式(1) から求められ、以下の通りである。

ａ) 時刻１００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝０×０．８＋８０×０．２＝１６

ｂ) 時刻２００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝１６×０．８＋８０×０．２＝２８．８

ｃ) 時刻３００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝２８．８×０．８＋８０×０．２＝３９．０４

ｄ) 時刻４００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝３９．０４×０．８＋８０×０．２＝４７．２

ｅ) 時刻５００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝４７．２×０．８＋８０×０．２＝５３．８

ｆ) 時刻６００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝５３．８×０．８＋８０×０．２＝５９．０４

ｇ) 時刻７００〔ｍＳ〕の時点：
Ｓ ＳＭＯＯＴＨ＝５９．０４×０．８＋８０×０．２＝６３．２３２

各時点の笑顔度と、平滑化笑顔度とを時間の推移で表すと、図９に示すように、平滑化笑顔度が時間の経過とともに段階的に上昇する。図９において、各棒グラフの全長部分がＳ ＮＯＷ、そのグレー部分がＳ ＳＭＯＯＴＨである。この場合、閾値を５０とすると、画像取得開始時点ｔ１（時刻１００〔ｍＳ〕）から段階的に上昇し、時刻５００〔ｍＳ〕の時点で平滑化笑顔度が閾値を超え、この時点が撮影開始時点ｔ２となる。画像取得開始時点ｔ１と撮影開始時点ｔ２との間には、ｔ２＝ｔ１＋４００〔ｍＳ〕となっている。即ち、閾値を５０とし、笑顔度が８０である場合、忘却係数を０．８とした場合には、画像取得開始時点ｔ１から撮影開始時点ｔ２の間のタイムラグをｔ１２とすると、ｔ１２＝４００〔ｍＳ〕だけ撮影タイミングが遅延することとなる。

最初に笑顔度８０が推定されると、その時点で閾値５０を超え、従来ではこの時点で撮影が行われていたのに対し、笑顔度の平滑化処理により、閾値５０を超えるまで時間４００〔ｍＳ〕だけ撮影タイミングのシフトが行われている。

このような撮影タイミングのシフト、平滑化処理による撮影タイミングの制御により、撮影タイミングの生成までの間に生じた画像歪みによる影響、即ち、瞬間的な笑顔度の変動の影響を小さくできる。換言すれば、画像歪みによる誤撮影を防止し、笑顔度による撮影精度が高められる。

撮像素子にＣＭＯＳセンサを使用し、フォーカルプレーンシャッターを用いた場合には、ＣＭＯＳセンサによる画素毎に露光タイミングが異なることによる画像歪みによる誤撮影は笑顔度の上記平滑化処理による撮影タイミングのシフトによって回避できる。

また、撮像素子にＣＣＤセンサやメカシャッターを用いた場合、撮影環境が暗く、露光時間が長くなる場合の画像歪みによる影響も回避することができ、笑顔度撮像による撮影精度を高めることができる。

携帯電話機２２等の携帯端末装置では、ファインダ画面の表示を行うため、連続する画面表示を行うが、このようなメカシャッターを使用できない、即ち、常時開状態で画像表示が行う場合にも、画像歪みによる誤撮影を防止できる。

そして、カメラ付きの携帯電話機２２等の携帯端末装置では、発熱や消費電力を抑制するために読出し速度を早めることが難しく、画像歪みを生じることが予想されるが、そのような場合にも画像歪みによる笑顔度撮影の撮影精度を高めることができる。

〔第２の実施の形態〕

第２の実施の形態は、携帯電話機（例えば、筐体）の動きを検出し、その動きに応じて笑顔度の閾値を変更し、即ち、その笑顔度の閾値を高くし、瞬間的な笑顔度の変動の影響を小さくし、笑顔度撮影の撮影精度を高めている。

この第２の実施の形態について、図１０、図１１、図１２、図１３及び図１４を参照する。図１０は、第２の実施の形態に係る撮影制御部を示す図、図１１は、第２の実施の形態に係る携帯電話機のハードウェア構成を示す図、図１２は、加速度センサの出力を示す図、図１３は、加速度センサ出力と閾値との関係を表す加速度センサ出力・閾値テーブルを示す図、図１４は、メモリの構成を示す図である。図１０、図１１、図１２、図１３及び図１４に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図１０、図１１において、第１の実施の形態と同一部分には同一符号を付してある。

この第２の実施の形態の撮影制御部２Ｂでは、図１０に示すように、第１の実施の形態の撮影制御部２Ａ（図１）から笑顔度平滑部８、笑顔度記憶部１０及び忘却係数設定部１２を除き、これらに代えて加速度取得部９４と、笑顔度判定閾値算出部９６とを付加し、その他の構成は第１の実施の形態（図１）と同様である。この実施の形態においても、携帯電話機２２（図５、図６）が用いられる。

そこで、加速度取得部９４は、携帯電話機２２の動きを検出する動き検出手段の一例であって、その動きを表す加速度を取得している。また、笑顔度判定閾値算出部９６は、動きに応じた閾値を算出する手段の一例であって、この実施の形態では、加速度に応じた閾値を算出している。そこで、この撮影制御部２Ｂでは、図１１に示すように、加速度センサ９８が備えられ、携帯電話機２２Ｂ（図１１）が構成されている。

この携帯電話機２２Ｂは、図１１に示すように、加速度センサ９８が搭載され、この加速度センサ９８には携帯電話機２２の筐体７８、８０（図５、図６）の動きが加速度として検出される。その出力は、図１２に示すように、その動きを反映して時間とともに変化する値を呈する。この場合、重力の影響は公知の手法により加速度出力から重力分を除去すればよい。

この加速度センサ９８の出力（絶対値）に対応する閾値を設定した加速度センサ出力・閾値テーブル１００（図１３）を創設する。加速度センサ出力・閾値テーブル１００は、図１３に示すように、加速度センサ出力（絶対値）と閾値とが関係付けられ、加速度センサ出力に一定の幅を持たせ、その段階的な大きさに対応する閾値が設定されている。従って、加速度センサ出力からその値に対応した閾値が加速度センサ出力・閾値テーブル１００から算出される。この加速度センサ出力・閾値テーブル１００は、図１４に示すように、メモリ３０Ｂのデータ記憶部６４に設定すればよい。

次に、この撮影制御の処理手順について、図１５を参照する。図１５は、撮影制御の処理手順を示すフローチャートである。図１５に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ２１）、各画像から笑顔度を推定する（ステップＳ２２）。また、加速度センサ９８から加速度を取得し（ステップＳ２３）、この加速度から閾値を求める（ステップＳ２４）。即ち、既述の加速度センサ出力・閾値テーブル１００を用いることにより、検出された加速度（絶対値）を当てはめ、その加速度に対応する閾値が求められる。

そこで、求めた閾値と、笑顔度とを比較し（ステップＳ２５）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ２５のＮＯ）、笑顔度が閾値を超えた場合（ステップＳ２５のＹＥＳ）、撮影に移行する（ステップＳ２６）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｂの画像記録部７６（図１４）に格納する。

この第２の実施の形態では、加速度センサ９８等を用いて携帯電話機２２Ｂの動きを検出し、その動きが大きい場合には笑顔度を判定する閾値を大きくするので、閾値を笑顔度が超えるまで、撮影タイミングがシフトされる。

このように加速度センサ出力（絶対値）と閾値とを関係付けることで、フォーカルプレーンシャッター等を搭載した場合に画像歪みによって生じる笑顔度が高くなることを抑制でき、画像歪みによる誤撮影を防止でき、笑顔度撮影の撮影精度を高めることができる。

なお、この実施の形態では、携帯電話機２２の動き検出手段として加速度センサ９８を用いて加速度を検出したが、動き検出手段としては、角度センサ、方位センサ等を使用し、その検出出力を動き情報に用いることにより、閾値を変更する構成としてもよい。

〔第３の実施の形態〕

第３の実施の形態は、第２の実施の形態において、携帯電話機２２Ｂの動きが等速直線運動である場合には動き検出に基づき閾値を大きくすることにより、瞬間的な笑顔度の変動を小さくし、笑顔度撮影の撮影精度を高めている。

この第３の実施の形態について、図１６、図１７、図１８及び図１９を参照する。図１６は、第３の実施の形態に係る撮影制御部を示す図、図１７は、加速度センサの出力を示す図、図１８は、積分値・閾値テーブルを示す図、図１９は、メモリの構成を示す図である。図１６、図１７、図１８及び図１９に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図１６、図１９において、第２の実施の形態と同一部分には同一符号を付してある。

この第３の実施の形態の撮影制御部２Ｃでは、図１６に示すように、第２の実施の形態の撮影制御部２Ｂ（図１０）と同様に、加速度取得部９４と、笑顔度判定閾値算出部９６とを備えるとともに、これら加速度取得部９４と、笑顔度判定閾値算出部９６との間に加速度積分部１０４を備える構成であり、その他の構成は第２の実施の形態と同様である。これらの構成はＣＰＵ２８（図２）とメモリ３０Ｃ（図１９）のＲＡＭ６６等を含む。この実施の形態においても、携帯電話機２２（図５、図６）が用いられる。

そこで、加速度積分部１０４では、加速度取得部９４で取得した加速度を積分し、この積分値が笑顔度判定閾値算出部９６に提供される。この笑顔度判定閾値算出部９６は、動きに応じた閾値を算出する手段の一例であって、この実施の形態では、加速度の積分値に応じた閾値を算出している。そこで、この撮影制御部２Ｃでは、第２の実施の形態（図１１）と同様に加速度センサ９８が備えられる。

そして、携帯電話機２２Ｂ（図１１）に搭載された加速度センサ９８には携帯電話機２２Ｂの動きが加速度として検出される。その出力は、図１２に示すように、その動きを反映して時間とともに変化する加速度値を表す。この場合、重力の影響は公知の手法により加速度出力から重力分を除去すればよい。

加速度積分部１０４の積分処理では、図１７に示すように、加速度センサ出力を一定時間に分割し、各時点ｔｉ（ｉ＝１，２・・・ｎ）の加速度値をＡｉ（ｉ＝１，２・・・ｎ）とすると、これらを逐次各値を加算すればよく、その加算値が加速度センサ出力の積分値（絶対値）となる。

そこで、この加速度センサ９８の出力の積分値（絶対値）に対応する閾値を設定した積分値・閾値テーブル１０６（図１８）を創設する。積分値・閾値テーブル１０６は、図１８に示すように、積分値（絶対値）と閾値とが関係付けられ、その積分値に一定の幅を持たせ、その段階的な大きさに対応する閾値が設定されている。従って、積分値からその値に対応した閾値が積分値・閾値テーブル１０６から算出される。この積分値・閾値テーブル１０６は、図１９に示すように、メモリ３０Ｃのデータ記憶部６４に設定すればよい。

次に、この場合の撮影制御の処理手順について、図２０を参照する。図２０は、撮影制御の処理手順を示すフローチャートである。図２０に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ３１）、各画像から笑顔度を推定する（ステップＳ３２）。また、加速度センサ９８から加速度を取得し（ステップＳ３３）、この加速度を逐次積分して積分値を算出し、この積分値から閾値を求める（ステップＳ３４）。即ち、既述の積分値・閾値テーブル１０６を用いることにより、検出された積分値（絶対値）を当てはめ、その積分値に対応する閾値が求められる。

そこで、求めた閾値と、笑顔度とを比較し（ステップＳ３５）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ３５のＮＯ）、笑顔度が閾値を超えた場合（ステップＳ３５のＹＥＳ）、撮影に移行する（ステップＳ３６）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｃの画像記録部７６（図１９）に格納する。

このような加速度センサ９８の出力値を積分し、その積分値に対応して閾値を変更し、その閾値と笑顔度とを対比することができる。即ち、加速度センサ９８の出力の積分値が小の場合には閾値が小、その積分値が大の場合には閾値が大となるので、等速直線運動等で加速度センサ出力が小さくなるという不都合を補完できる。この結果、等速直線運動によって瞬間的な加速度の変化が検出できない場合にも、その動きを監視でき、笑顔度撮影の撮影精度を高めることができる。

〔第４の実施の形態〕

第４の実施の形態は、複数人の撮影の場合に顔毎に笑顔度を求めて笑顔度を判定する際の撮影タイミングの遅延を回避するため、顔の数に応じて笑顔度の平滑化の度合いを制御している。

この第４の実施の形態について、図２１、図２２及び図２３を参照する。図２１は、第４の実施の形態に係る撮影制御部を示す図、図２２は、顔数・忘却係数テーブルを示す図、図２３は、メモリの構成を示す図である。図２１、図２２及び図２３に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。図２１、図２３において、第１の実施の形態と同一部分には同一符号を付してある。

複数人で撮影を行う際に、各人の顔毎に笑顔度を求め、全ての顔の笑顔度が閾値を超えた場合に撮影すれば、全員が笑顔になった場合に撮影でき、記念写真等の撮影に適している。しかし、全員が笑顔になるまで撮影が待機状態となるため、複数の顔に対して笑顔度判定をすれば、顔の数に比例して笑顔度判定に要する時間が増大することになる。例えば、１００〔ｍＳ〕毎の画像取得及び笑顔度判定の処理では、顔の数が２になれば、２００〔ｍＳ〕毎、顔の数が３になれば、３００〔ｍＳ〕毎の処理となり、顔の数に比例して処理時間が増大する。

これに対し、第４の実施の形態では、顔の数に応じて第１の実施の形態における笑顔度の平滑化の度合いを調整している。この撮影制御部２Ｄでは、図２１に示すように、顔数算出部１０８を備え、この顔数算出部１０８は、画像中の顔の数を算出する手段の一例であって、この実施の形態では、画像取得部４で取得された画像から被写体における顔の数を算出する。その算出結果を忘却係数設定部１２に提供する。この忘却係数設定部１２では、その算出結果即ち、顔の数に応じた忘却係数を設定し、笑顔度平滑部８に提供する。この場合、笑顔度平滑部８は、忘却係数を用いて笑顔度を平滑化する平滑化手段の一例であって、この実施の形態では、顔の数に応じて設定された忘却係数を用いて笑顔度を平滑化する。

そこで、この顔数算出部１０８で得られる顔の数と、忘却係数とを関係付けた顔数・忘却係数テーブル１１０（図２２）を創設する。顔数・忘却係数テーブル１１０は、図２２に示すように、顔の数と忘却係数とが関係付けられ、この場合、顔の数１〜４について、忘却係数を段階的に低下させ、顔の数が５を超える場合には、忘却係数＝０に設定している。従って、顔の数に対応した忘却係数が顔数・忘却係数テーブル１１０から算出される。この顔数・忘却係数テーブル１１０は、図２３に示すように、メモリ３０Ｄのデータ記憶部６４に設定すればよい。

次に、この場合の撮影制御の処理手順について、図２４を参照する。図２４は、撮影制御の処理手順を示すフローチャートである。図２４に示す構成は一例であって、斯かる構成に本発明が限定されるものではない。

この処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ４１）、その画像から顔の数を求める（ステップＳ４２）。また、顔の数に応じた忘却係数を設定する（ステップＳ４３）。この忘却係数は、顔数・忘却係数テーブル１１０から算出される。

また、取得した画像から笑顔度を推定し（ステップＳ４４）、その笑顔度を既述の忘却係数を用いて平滑化し（ステップＳ４５）、この平滑化処理は顔の数分だけ繰り返す（ステップＳ４４、Ｓ４５）。

そして、顔の数の全てを平滑化した笑顔度と閾値とを比較し（ステップＳ４６）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ４６のＮＯ）、笑顔度が閾値を超えた場合（ステップＳ４６のＹＥＳ）、撮影に移行する（ステップＳ４７）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｄの画像記録部７６（図２３）に格納する。

このように忘却係数を顔の数に応じて調整すれば、顔の数に拘らず、被写体が笑顔になってから撮影が行われるまでのタイムラグを同じにすることができる。即ち、顔の数が増えるにつれて忘却係数が小さくなるので、笑顔度の平滑化の効果が小さく、生の笑顔度出力に近い値が使用されることになる。また、顔の数が増加するにつれ、全ての顔に対し、画像歪みによって笑顔度が高くなる可能性も低下する。このため、画像歪みによる誤撮影の回避とともに、タイムラグが顔の数によって増大する不都合を回避でき、顔の数が増加しても、笑顔度に応じた撮影を迅速に行える。

〔第５の実施の形態〕

この第５の実施の形態は、第２の実施の形態（図１０、図１１）に第１の実施の形態（図１、図２）の笑顔度の平滑化処理を併用したものであって、この実施の形態に係る撮影制御部２Ｅでは、図２５に示すように、笑顔度推定部６と笑顔度判定部１４との間に笑顔度平滑部８を設置し、この笑顔度平滑部８に忘却係数設定部１２から忘却係数を提供し、笑顔度記憶部１０に平滑化された笑顔度を記憶する構成としてもよい。

この撮影制御について、その処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、図２６に示すように、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ５１）、各画像から笑顔度を推定する（ステップＳ５２）。また、加速度センサ９８から加速度を取得し（ステップＳ５３）、この加速度から閾値を求める（ステップＳ５４）。

また、画像から推定された笑顔度を平滑化する（ステップＳ５５）。この平滑化処理は第１の実施の形態に示した通りである。

そこで、求めた平滑化笑顔度と、閾値とを比較し（ステップＳ５６）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ５６のＮＯ）、平滑化笑顔度が閾値を超えた場合（ステップＳ５６のＹＥＳ）、撮影に移行する（ステップＳ５７）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｂの画像記録部７６（図１４）に格納する。

この実施の形態では閾値と比較する笑顔度に第１の実施の形態と同様に平滑化笑顔度が用いられている。斯かる構成とすれば、平滑化処理による瞬間的な笑顔度の変動の影響を小さくできることに加え、携帯電話機２２の動きに応じて閾値を大きくできるので、携帯電話機２２の動きによる画像の揺らぎによる誤撮影を防止できる。

〔第６の実施の形態〕

この第６の実施の形態は、第３の実施の形態（図１６）に第１の実施の形態（図１、図２）の笑顔度の平滑化処理を併用したものであって、この実施の形態に係る撮影制御部２Ｆでは、図２７に示すように、笑顔度推定部６と笑顔度判定部１４との間に笑顔度平滑部８を設置し、この笑顔度平滑部８に忘却係数設定部１２から忘却係数を提供し、笑顔度記憶部１０に平滑化された笑顔度を記憶する構成としてもよい。

この撮影制御について、その処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、図２８に示すように、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ６１）、各画像から笑顔度を推定する（ステップＳ６２）。また、加速度センサ９８から加速度を取得し（ステップＳ６３）、この加速度の積分値を算出し、その積分値から閾値を求める（ステップＳ６４）。

また、画像から推定された笑顔度を平滑化する（ステップＳ６５）。この平滑化処理は第１の実施の形態に示した通りである。

そこで、求めた平滑化笑顔度と、閾値とを比較し（ステップＳ６６）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ６６のＮＯ）、平滑化笑顔度が閾値を超えた場合（ステップＳ６６のＹＥＳ）、撮影に移行する（ステップＳ６７）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｃの画像記録部７６（図１９）に格納する。

この実施の形態では閾値と比較する笑顔度に第１の実施の形態と同様に平滑化笑顔度が用いられている。斯かる構成とすれば、平滑化処理による瞬間的な笑顔度の変動の影響を小さくできることに加え、携帯電話機２２の動きに応じて閾値を大きくできるので、携帯電話機２２の動きによる画像の揺らぎによる誤撮影を防止できる。

〔第７の実施の形態〕

この第７の実施の形態は、第５の実施の形態（図２５）において、加速度取得部９４の出力によって忘却係数を調整する構成としたものである。この実施の形態に係る撮影制御部２Ｇでは、図２９に示すように、加速度取得部９４で取得された加速度を忘却係数設定部１２に提供する。忘却係数設定部１２では、その加速度に応じた忘却係数を設定する。笑顔度平滑部８では、加速度によって調整された忘却係数により、第１の実施の形態で示した通り、笑顔度の平滑化が行われる。

そこで、加速度取得部９４で取得された加速度センサ出力（絶対値）と、忘却係数とを関係付けた加速度センサ出力・忘却係数テーブル１１２（図３０）を創設する。この加速度センサ出力・忘却係数テーブル１１２は、図３０に示すように、加速度センサ出力（絶対値）と忘却係数とが関係付けられ、この場合、加速度センサ出力の値に段階的に幅を持たせ、その値に対して忘却係数を段階的に増加させている。従って、忘却係数は加速度センサ出力に対応した加速度センサ出力・忘却係数テーブル１１２から算出される。この加速度センサ出力・忘却係数テーブル１１２は、図３１に示すように、メモリ３０Ｅのデータ記憶部６４に設定すればよい。

この撮影制御部２Ｇを用いた処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、図３２に示すように、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ７１）、各画像から笑顔度を推定する（ステップＳ７２）。また、加速度センサ９８から加速度を取得し（ステップＳ７３）、この加速度から忘却係数を求め、その忘却係数を設定する（ステップＳ７４）。この忘却係数の算出では、加速度センサ出力・忘却係数テーブル１１２を用いることにより、検出された加速度センサ出力（絶対値）を当てはめ、その加速度センサ出力（絶対値）に対応する忘却係数が求められる。

この忘却係数を用いて笑顔度の平滑化を行い（ステップＳ７５）、その平滑化笑顔度と閾値とを比較し（ステップＳ７６）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ７６のＮＯ）、平滑化笑顔度が閾値を超えた場合（ステップＳ７６のＹＥＳ）、撮影に移行する（ステップＳ７７）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｅの画像記録部７６に格納する。

このような加速度センサ９８の出力によって忘却係数を変更し、動きが大きい場合には忘却係数が大きくなるので、このように加速度センサ出力（絶対値）と忘却係数とを関係付けることで、フォーカルプレーンシャッター等を搭載した場合に画像歪みによって生じる笑顔度が高くなることを抑制でき、画像歪みによる誤撮影を防止でき、笑顔撮影の撮影精度を高めることができる。

〔第８の実施の形態〕

この第８の実施の形態は、第６の実施の形態において、加速度取得部９４の出力を積分する加速度積分部１０４で得られる積分値によって忘却係数を調整する構成としたものである。この実施の形態に係る撮影制御部２Ｈでは、図３３に示すように、加速度取得部９４で取得された加速度が加速度積分部１０４で積分され、この積分値が忘却係数設定部１２に提供される。忘却係数設定部１２では、その加速度の積分値に応じた忘却係数を算出し、設定する。笑顔度平滑部８では、加速度の積分値によって調整された忘却係数により、第１の実施の形態で示した通り、笑顔度の平滑化が行われる。

そこで、加速度取得部９４で取得された加速度センサ出力の積分値（絶対値）と、忘却係数とを関係付けた積分値・忘却係数テーブル１１４（図３４）を創設する。この積分値・忘却係数テーブル１１４は、図３４に示すように、積分値（絶対値）と忘却係数とが関係付けられ、この場合、積分値に段階的に幅を持たせ、その値に対して忘却係数を段階的に増加させている。従って、忘却係数は加速度センサ出力の積分値に対応した積分値・忘却係数テーブル１１４から算出される。この積分値・忘却係数テーブル１１４は、図３５に示すように、メモリ３０Ｆのデータ記憶部６４に設定すればよい。

この撮影制御部２Ｈを用いた処理手順は、撮影制御方法及び撮影制御プログラムの一例であって、この処理手順では、図３６に示すように、撮像部２４の画像処理部４２から画像を所定の時間毎に取得し（ステップＳ８１）、取得した画像から笑顔度を推定する（ステップＳ８２）。

また、加速度センサ９８から加速度を取得し（ステップＳ８３）、この加速度を積分し、その積分値（絶対値）から忘却係数を求める（ステップＳ８４）。この忘却係数の算出は、既述の積分値・忘却係数テーブル１１４を用いることにより、検出された加速度センサ出力の積分値（絶対値）を当てはめ、その積分値に対応する忘却係数が求められる。

そして、笑顔度を既述の忘却係数を用いて平滑化し（ステップＳ８５）、平滑化した笑顔度と閾値とを比較し（ステップＳ８６）、この比較処理は画像の取得タイミングに連動して継続的に行い（ステップＳ８６のＮＯ）、笑顔度が閾値を超えた場合（ステップＳ８６のＹＥＳ）、撮影に移行する（ステップＳ８７）。この撮影は、既述の通り、笑顔度が閾値を超えた時点で、撮像部２４に得られる画像を撮影し、メモリ３０Ｆの画像記録部７６に格納する。

このような加速度センサ９８の出力値を積分し、その積分値に対応して忘却係数を変更し、その忘却係数を用いる平滑化処理により平滑化した笑顔度と閾値とを対比することができる。即ち、加速度センサ９８の出力の積分値が小の場合には忘却係数が小、その積分値が大の場合には忘却係数が大となるので、等速直線運動等で加速度センサ出力が小さくなるという不都合を補完できる。この結果、等速直線運動によって瞬間的な加速度の変化が検出できない場合にも、その動きを監視でき、笑顔度撮影の撮影精度を高めることができる。

〔第９の実施の形態〕

既述の第４の実施の形態（図２１）では、顔数算出部１０８で算出された顔の数に応じて忘却係数を変更したが、この第９の実施の形態では、検出された顔の数に応じて閾値を変更する構成である。そこで、この撮影制御部２Ｉでは、図３７に示すように、顔数算出部１０８で算出された顔の数を笑顔度判定閾値設定部１６に提供しており、笑顔度判定閾値設定部１６では、顔の数に応じた閾値を設定している。

斯かる構成によっても、顔の数に応じて閾値を低下させれば、顔の数だけ笑顔度の判定を行う撮影タイミングの遅延を防止し、撮影タイミングを迅速化できる。

〔他の実施の形態〕

上記実施の形態では、撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置の一例として撮影制御部２Ａ〜２Ｉや携帯電話機２２、２２Ａ、２２Ｂを例示したが、撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置は、携帯電話機だけでなく、カメラ１２０（図３８）、撮影機能を備える携帯情報端末機（ＰＤＡ：Personal Digital Assistant）１２２（図３９）、パーソナルコンピュータ（ＰＣ）１２４（図４０）に適用してもよい。図３８、図３９及び図４０において、上記実施の形態と対応する部分には同一符号を付し、その説明を省略する。

そこで、カメラ１２０、ＰＤＡ１２２又はＰＣ１２４において、笑顔度に応じて撮影する撮影制御部を上記実施の形態のように構成すれば、上記実施の形態と同様の効果がカメラ１２０、ＰＤＡ１２２又はＰＣ１２４においても得られる。カメラ１２０には、図３８に示すように、撮影を開始するシャッターボタン１８６が設置され、このシャッターボタン１８６は、既述の決定キー８６（図５）に相当する。

次に、以上述べた実施の形態から抽出される技術的思想を請求項の記載形式に準じて付記として列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の付記に本発明が限定されるものではない。

（付記１） 画像から推定された笑顔度に応じて撮影する撮影装置であって、
前記笑顔度を平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする撮影装置。

（付記２） 画像から推定された笑顔度に応じて撮影する撮影装置であって、
前記撮影装置の筐体の動きを検出する動き検出手段を備え、該動き検出手段の検出出力によって閾値を変更し、該閾値を前記笑顔度が超えた場合に撮影することを特徴とする撮影装置。

（付記３） 前記画像に含まれる顔の数に応じて、前記笑顔度の平滑化の度合い又は前記閾値を変更することを特徴とする付記１記載の撮影装置。

（付記４） 前記撮影装置の筐体の動きを検出する動き検出手段を備え、該動き検出手段の検出出力によって前記閾値を変更することを特徴とする付記１記載の撮影装置。

（付記５） 前記撮影装置の筐体の動きを検出する動き検出手段を備え、該動き検出手段の検出出力によって前記笑顔度の平滑化の度合いを変更することを特徴とする付記１記載の撮影装置。

（付記６） 前記平滑化手段は、
前記画像から推定された現時点の笑顔度を、該笑顔度と、該笑顔度の推定前の笑顔度又は前記平滑化笑顔度とを用いて平滑化することを特徴とする付記１記載の撮影装置。

（付記７） 前記平滑化笑顔度は、
忘却係数を反映させた加算比率により、登録されている平滑化出力と、前記画像から推定された現時点の笑顔度とを加算した値であることを特徴とする付記１記載の撮影装置。

（付記８） 画像から推定された笑顔度に応じて撮影する撮影制御方法であって、
前記笑顔度を平滑化するステップと、
前記笑顔度の平滑化により得られた平滑化笑顔度が閾値を超えた場合に撮影するステップと、
を含むことを特徴とする撮影制御方法。

（付記９） 画像から推定された笑顔度が閾値を超えた場合に撮影する撮影制御方法であって、
撮影装置の筐体の動きを検出するステップと、
該検出出力によって前記閾値を変更するステップと、
変更された閾値を笑顔度が超えた場合に撮影するステップと、
を含むことを特徴とする撮影制御方法。

（付記１０） 画像から推定された笑顔度に応じて撮影する撮影制御プログラムであって、
前記笑顔度を平滑化する機能と、
平滑化された笑顔度が閾値を超えた場合に撮影する機能と、
をコンピュータに実行させることを特徴とする撮影制御プログラム。

（付記１１） 画像から推定された笑顔度が閾値を超えた場合に撮影する撮影制御プログラムであって、
撮影装置の筐体の動きを検出する機能と、
該検出出力によって前記閾値を変更する機能と、
変更された閾値を笑顔度が超えた場合に撮影する機能と、
をコンピュータに実行させることを特徴とする撮影制御プログラム。

（付記１２） 画像から推定された笑顔度に応じて撮影する撮影機能を備える携帯端末装置であって、
前記笑顔度を平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする携帯端末装置。

（付記１３） 画像から推定された笑顔度が閾値を超えた場合に撮影する撮影機能を備える携帯端末装置であって、
前記撮影装置の筐体の動きを検出する動き検出手段を備え、該動き検出手段の検出出力によって前記閾値を変更し、該閾値を前記笑顔度が超えた場合に撮影することを特徴とする携帯端末装置。

（付記１４） 前記画像に含まれる顔の数に応じて、前記笑顔度の平滑化の度合い又は前記閾値を変更することを特徴とする付記１２記載の携帯端末装置。

（付記１５） 前記撮影装置の筐体の動きを検出する動き検出手段を備え、該動き検出手段の検出出力によって前記笑顔度の平滑化の度合い又は前記閾値を変更することを特徴とする付記１２記載の携帯端末装置。

（付記１６） 前記平滑化手段は、前記画像から推定された現時点の笑顔度を、該笑顔度と、該笑顔度の推定前の笑顔度又は前記平滑笑顔度とを用いて平滑化することを特徴とする付記１２記載の携帯端末装置。

（付記１７） 前記平滑化笑顔度は、
忘却係数を反映させた加算比率により、登録されている平滑化出力と、前記画像から推定された現時点の笑顔度とを加算した値であることを特徴とする付記１２記載の携帯端末装置。

以上説明したように、撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置の好ましい実施の形態等について説明したが、本発明は、上記記載に限定されるものではなく、特許請求の範囲に記載され、又は発明を実施するための形態に開示された発明の要旨に基づき、当業者において様々な変形や変更が可能であることは勿論であり、斯かる変形や変更が、本発明の範囲に含まれることは言うまでもない。

本開示の撮影装置、撮影制御方法、撮影制御プログラム又は携帯端末装置は、画像から推定された笑顔度を平滑化して平滑化笑顔度を算出し、その平滑化笑顔度が閾値を超えた場合に撮影する。また、筐体の動きを検出して閾値を変更し、その閾値を笑顔度が超えた場合に撮影する。被写体の顔の数に応じて笑顔度の平滑化処理の度合いを変更することにより得た平滑化笑顔度が閾値を超えた場合に撮影する。このような撮影形態では、従前の笑顔度と閾値との固定的な比較に対し、瞬間的な笑顔度の変動の影響や、筐体の変動の影響、複数の顔の笑顔度を判定する際の撮影タイミングの遅延を防止でき、笑顔度に基づく撮影精度を高めることができ、有用である。

２Ａ、２Ｂ、２Ｃ、２Ｄ、２Ｅ、２Ｆ、２Ｇ、２Ｈ、２Ｉ 撮影制御部
４ 画像取得部
６ 笑顔度推定部
８ 笑顔度平滑部
１０ 笑顔度記憶部
１２ 忘却係数設定部
１４ 笑顔度判定部
１６ 笑顔度判定閾値設定部
１８ 撮影機能部
２０ 画像記録部
２２、２２Ａ、２２Ｂ 携帯電話機
２４ 撮像部
２６ 入力操作部
２８ ＣＰＵ
３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ、３０Ｅ、３０Ｆ メモリ
３２ 表示部
３４ タイマー部
３６ 電話機能部
３８ レンズ
４０ ＣＭＯＳ撮像素子
４２ 画像処理部

Claims (7)

1. 画像から推定された笑顔度に応じて撮影する撮影装置であって、
   前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを前記撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする撮影装置。
2. 画像から推定された笑顔度に応じて撮影する撮影装置であって、
   前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記加算比率により加算して平滑化する平滑化手段と、
   前記撮影装置の筐体の動きを検出する動き検出手段と、
   を備え、該動き検出手段の一定時間ごとの検出値を積分し、この積分値に応じて閾値が設定され、前記平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする撮影装置。
3. 前記画像に含まれる顔の数に応じて、前記笑顔度の平滑化の度合い又は前記閾値を変更することを特徴とする請求項１記載の撮影装置。
4. 画像から推定された笑顔度に応じて撮影する撮影装置であって、
   前記画像に含まれる顔の数に応じて、前記笑顔度の平滑化の度合いを変更して前記笑顔度を平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする撮影装置。
5. 画像から推定された笑顔度に応じて撮影する撮影制御方法であって、
   前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化するステップと、
   前記笑顔度の平滑化により得られた平滑化笑顔度が閾値を超えた場合に撮影するステップと、
   を含むことを特徴とする撮影制御方法。
6. 画像から推定された笑顔度に応じて撮影する撮影制御プログラムであって、
   前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを撮影装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する機能と、
   平滑化された笑顔度が閾値を超えた場合に撮影する機能と、
   をコンピュータに実行させることを特徴とする撮影制御プログラム。
7. 画像から推定された笑顔度に応じて撮影する撮影機能を備える携帯端末装置であって、
   前記画像から推定された現時点の笑顔度を、該現時点の笑顔度と前記現時点の笑顔度の推定前の笑顔度とを前記携帯端末装置の筐体の動きに応じて設定される忘却係数を反映させた加算比率により加算して平滑化し、又は前記現時点の笑顔度と平滑化された笑顔度とを前記忘却係数を反映させた前記加算比率により加算して平滑化する平滑化手段を備え、該平滑化手段で得られた平滑化笑顔度が閾値を超えた場合に撮影することを特徴とする携帯端末装置。

Images