JP4927808B2 - カメラ付き機器 - Google Patents

Description

本発明は、カメラ付き携帯電話機、カメラ付きＰＤＡ（Personal Digital Assistant）、デジタルカメラ等のカメラ付き機器に関するものである。

従来、カメラ付き携帯電話機やデジタルカメラ等のカメラ付き機器には、シャッターを押す者が誰もいない場合に使用する自動撮影機能として、通常、セルフタイマー機能が備えられている。セルフタイマーが設定されている状態において、シャッターボタンが押されると、一定時間後にシャッターが切られ、撮影された画像がメモリに保存される。ユーザは、シャッターボタンを押した後、撮影位置へ移動し、撮影準備を整えてシャッターが切られるのを待つことになる。

しかしながら、セルフタイマー機能を用いた場合には、どうしても時間的制約があるため、何らかの原因により撮影準備に手間取ってしまうと、準備が完了する前にシャッターが切られてしまうことが起こり得る。この場合、もう一度、セルフタイマーをセットし直して撮影を行わなければならなくなる。

一方、これらカメラ付き機器の中には、リモートコントローラ（リモコン）を備え、リモコンによる遠隔操作を行うことによりシャッターを切ることができるようにしたもの、即ち、リモートシャッター機能を備えたものもある（たとえば、特許文献１）。

このように、リモコンによって撮影操作を行う場合には、十分に撮影準備が整った後に、撮影者の所望のタイミングでシャッターを切ることができる。

なお、最近では、被写体の顔やその顔の表情を検出し、顔の表情や動きに応じて自動的にシャッターが切れるカメラ付き機器も開発されている（たとえば、特許文献２）。
特開２００７−４１２０５号公報 特開２００８−４２３１９号公報

しかしながら、リモートシャッター機能を有するカメラ付き機器にあっては、機器と一緒にリモコンを持ち歩かなければならず、リモコンを携帯するのを忘れてしまったり、リモコンの電池が切れてしまったりした場合には、リモートシャッター機能を活用できない。

また、顔の動きや表情により自動撮影するカメラ付き機器にあっては、被写体の笑顔の表情などを逃さずに撮影することができる点には優れているが、あくまで機器側が撮影タイミングを決めるため、必ずしも撮影者の意図するタイミングでシャッターが切られない。さらに、表情やポーズが制限され、自由な表情、ポーズで撮影が行えない惧れもある。

本発明は、このような課題を解消するためになされたものであり、撮影者が意図する所望のタイミングでシャッター動作を行わせることができる、操作性に優れたカメラ付き機器を提供することを目的とする。

本発明の第１の態様に係るカメラ付き機器は、撮像画像を画像情報として出力するカメラ部と、前記画像情報を記憶する記憶部と、顔画像に関する情報を保持する顔登録部と、前記顔画像を前記撮像画像から検出する顔検出部と、前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するリモート記憶部と、前記顔検出部によって検出された前記顔画像を前記撮像画像中において追跡する追跡部と、を有する。ここで、前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動され、前記追跡部により前記顔画像が前記撮像画像から抜け出たことが検出されたことに応じて停止される。

本発明の第２の態様に係るカメラ付き機器は、撮像画像を画像情報として出力するカメラ部と、前記画像情報を記憶する記憶部と、顔画像に関する情報を保持する顔登録部と、前記顔画像を前記撮像画像から検出する顔検出部と、前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するリモート記憶部と、を有する。ここで、前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動され、前記顔検出部によって検出された前記顔画像の大きさが閾値を超えたことに応じて停止される。

これらの構成によれば、撮影者の顔が隠れて再び現れる動作が行われると、これに基づいてシャッター動作が行われて画像情報が記憶される。
したがって、撮影者は、上記の動作を行うことで、自分の意図する所望のタイミングで写真撮影（画像記憶）を行うことができる。しかも、リモコンがいらないので、リモコンを携帯するのを忘れるなどしても、リモート撮影が行えなくなる心配がない。

また、これらのような構成とすれば、撮影者が逐一設定操作を行うことなく、リモート撮影のための制御処理を起動させることができるので、さらに操作性が良くなる。

さらに、これらのような構成とすれば、撮影者が逐一設定操作を行うことなく、リモート撮影のための制御処理を停止させることができるので、さらに操作性が良くなる。

以上のとおり、本発明によれば、撮影者が意図する所望のタイミングでシャッター動作を行わせることができる、操作性に優れたカメラ付き機器を提供することができる。

本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態に記載されたものに何ら制限されるものではない。

以下、本発明の実施の形態につき図面を参照して説明する。図１は携帯電話機の外観構成を示す図であり、同図（ａ）は、第２キャビネットが開放された状態の携帯電話機の正面図、同図（ｂ）は同じ状態での側面図である。同図（ｃ）は同図（ｂ）のＡ−Ａ´断面図である。

携帯電話機は、第１キャビネット１と第２キャビネット２を備えている。第１キャビネット１の正面側には、テンキー部１１が配されている。テンキー部１１には、複数個の番号・文字入力キーや通話開始キー、通話終了キーなどが備えられている。テンキー部１１の背後には、バックライト装置１２（以下、「キーバックライト」という）が配されている。キーバックライト１２は、光源となるＬＥＤを備え、テンキー部１１に光を供給する。これにより、ユーザは、周囲が暗くても各キーに付された表示を見ることができる。

第１キャビネット１の内部には、カメラモジュール１３が配されている。カメラモジュール１３のレンズ窓（図示せず）は、第１キャビネット１の背面に臨んでおり、このレンズ窓から被写体の像がカメラモジュール１３に取り込まれる。

第２キャビネット２の正面側には、縦長の矩形状を有するディスプレイ２１が配されており、その表示面が正面に臨んでいる。このディスプレイ２１は、たとえば、液晶パネルや有機ＥＬなどを用いて構成することができる。ディスプレイ２１の背後には、バックライト装置２２（以下、「パネルバックライト」という）が配されている。パネルバックライト２２は、光源となるＬＥＤを備え、ディスプレイ２１に光を供給する。

第２キャビネット２の正面側には、さらに、メインキー部２３が配されている。メインキー部２３には、各種の機能モード（カメラモード、メールモード、インターネットモード、電話帳モード）を起動するためのモードキー、画面をスクロールしたりハイライトフォーカスを移動させたりするための移動キー、各種の決定動作を行うための決定キーなどが配されている。

なお、テンキー部１１やメインキー部２３は、タッチパネルやタッチセンサを用いて実現することもできる。

第２キャビネット２は、スライド機構部３によって、第１キャビネット１に対し図１のＸ軸方向にスライド可能に連結されている。図１（ｃ）に示すように、スライド機構３は、ガイド板３１とガイド溝３２によって構成されている。ガイド板３１は、第２キャビネット２の背面の左右両端部に設けられており、その下端に突条３１ａを有する。ガイド溝３２は、第１キャビネット１の側面に、スライド方向（図１のＸ軸方向）に沿って形成されている。ガイド板３１の突条３１ａは、ガイド溝３２に係合されている。

携帯電話機を閉じた状態では、図１（ｂ）に一点鎖線で示すように、第２キャビネット２が第１キャビネット１の上に略完全に重なっている。この状態（閉じた状態）では、第２キャビネット２の背後にテンキー部１１の全てのキーが隠れた状態となる。第２キャビネット２は、ガイド板３１がガイド溝３２の終端位置に達するまでスライドする（開いた状態とする）ことができる。第２キャビネット２が完全に開くと、図１（ａ）に示すように、テンキー部１１の全てのキーが外部に露出する。

図２は、携帯電話機の全体構成を示すブロック図である。本実施の形態の携帯電話機は、上述した各構成要素の他、ＣＰＵ１００、映像エンコーダ１０１、マイク１０２、音声エンコーダ１０３、通信モジュール１０４、メモリ１０５、バックライト駆動回路１０６、映像デコーダ１０７、音声デコーダ１０８、スピーカ１０９を備えている。

カメラモジュール１３は、撮像レンズ１３ａ、撮像素子１３ｂなどから構成されている。撮像レンズ１３ａは、被写体の像を撮像素子１３ｂ上に結像させる。撮像素子１３ｂは、例えばＣＣＤからなり、取り込んだ画像に応じた画像信号を生成し、映像エンコーダ１０１へ出力する。映像エンコーダ１０１は、撮像素子１３ｂからの画像信号を、ＣＰＵ１００が処理できるディジタルの画像信号に変換してＣＰＵ１００へ出力する。

マイク１０２は、音声信号を電気信号に変換して音声エンコーダ１０３へ出力する。音声エンコーダ１０３は、マイク１０２からの音声信号を、ＣＰＵ１００が処理できるディジタルの音声信号に変換してＣＰＵ１００へ出力する。

通信モジュール１０４は、ＣＰＵ１００からの音声信号や画像信号、テキスト信号などを無線信号に変換し、アンテナ１０４ａを介して基地局へ送信する。また、アンテナ１０４ａを介して受信した無線信号を音声信号や画像信号、テキスト信号などに変換してＣＰＵ１００へ出力する。

メモリ１０５は、ＲＯＭおよびＲＡＭを含む。メモリ１０５には、ＣＰＵ１００に制御機能を付与するための制御プログラムが記憶されている。また、メモリ１０５には、カメラモジュール２４で撮影した画像データや通信モジュール１０４を介して外部から取り込んだ画像データ、テキストデータ（メールデータ）などが所定のファイル形式で保存される。

バックライト駆動回路１０６は、ＣＰＵ１００からの制御信号に応じた電圧信号をパネルバックライト２２、キーバックライト１２に供給する。

映像デコーダ１０７は、ＣＰＵ１００からの映像信号をディスプレイ２１で表示できるアナログの映像信号に変換し、ディスプレイ２１に出力する。

音声デコーダ１０８は、ＣＰＵ１００からの音声信号をスピーカ１０９で出力できるアナログの音声信号に変換し、スピーカ１０９に出力する。スピーカ１０９は、音声デコーダ１０８からの音声信号を音声として再生する。

ＣＰＵ１００は、カメラモジュール１３、マイク１０２、メインキー部２３、テンキー部１１など各部からの入力信号に基づいて、通信モジュール１０４、映像デコーダ１０７、音声デコーダ１０８などの各部に制御信号を出力することにより、種々の機能モードの処理を行う。

たとえば、ＣＰＵ１００は、カメラモードのモードキーが押されると、カメラを起動する。そして、このカメラモードにおいて、カメラモジュール１３から送られてき画像をプレビュー画像としてディスプレイ２１に表示させる。カメラモジュール１３からは毎秒数十コマの画像が送られてくるため、ディスプレイ２１には、ほぼ動画状態で画像が表示される。

ユーザによってシャッターキー（たとえば、決定キーが割り当てられている）が押されると、ＣＰＵ１００は、そのタイミングで撮影された画像を、ＪＰＥＧなど所定のファイル形式によってメモリ１０５に記憶させる。

さて、本実施の形態の携帯電話機は、カメラモードの中の１つの機能として、リモート撮影モードの機能を備えている。ユーザ自らが撮影写真に加わる場合に、所定のキー操作を行うことでリモート撮影モードを起動させることができる。

図３は、リモート撮影モードを実現するための機能ブロック図である。

ＣＰＵ１００およびメモリ１０５は、リモート撮影モードを実現するため、顔抽出部５０１と、顔パラメータ抽出部５０２と、登録制御部５０３と、顔登録部５０４と、マッチング判定部５０５と、撮影制御部５０６とを備えている。

顔抽出部５０１、顔パラメータ抽出部５０２、登録制御部５０３、マッチング判定部５０５および撮影制御部５０６は、ＣＰＵ１００によって実行されるソフトウェアの機能として実現される。また、顔登録部５０４には、メモリ１０５の一部の記憶領域が割り当てられる。

カメラモジュール１３から出力された画像データは、映像エンコーダ１０１を介してＣＰＵ１００に入力され、この画像データが顔抽出部５０１や顔パラメータ抽出部５０２によって取得される。

顔抽出部５０１は、１コマ毎あるいは数コマ毎に、１画面分（１フレーム分）の画像データを取得し、この画像データを基にその画像の中に含まれる顔画像の領域（顔領域）を抽出する。たとえば、顔抽出部５０１は、画像中の肌色を検出し、さらに、目、鼻、口などの特徴部分を画像の濃淡等に基づいて検出することにより、顔領域の抽出を行う。そして、顔領域を特定するための情報、たとえば顔の輪郭の位置情報（以下、「顔領域情報」という）を顔パラメータ抽出部５０２に出力する。なお、顔抽出部５０１は、１画面中に顔画像が複数個あれば、全ての顔領域を抽出する。

顔パラメータ抽出部５０２は、顔抽出部５０１と同じタイミングで、１画面分の画像データを取得し、顔抽出部５０１から送られてきた顔領域情報を基に、顔領域に対応する画像データから、その顔画像を特徴づけるためのパラメータを抽出する。たとえば、パラメータには、目、鼻、口などの各パーツの形状、各パーツ間の間隔の比率、肌の色等が挙げられる。

このように、顔パラメータ抽出部５０２は、顔抽出部５０１により抽出された全ての顔領域について、それぞれ顔画像のパラメータを抽出し、マッチング判定部５０５へ出力する。

マッチング判定部５０５は、送られてきた顔画像のパラメータと、顔登録部５０４に登録されている顔画像のパラメータとを照合し、登録され顔画像とのマッチング率（適合率）を算出する。

顔登録部５０４への顔画像のパラメータの登録は、登録制御部５０３により行われる。登録制御部５０３は、ユーザからの登録操作の入力を受けると、顔パラメータ抽出部５０２に対し、顔登録部５０４へパラメータを送るよう指示する。顔パラメータ抽出部５０２は、この指示を受けて、そのときに抽出した顔画像のパラメータを顔登録部５０４へ送る。このようにして、顔登録部５０４に顔画像のパラメータが登録される。

マッチング判定部５０５は、抽出された全ての顔領域の顔画像に対するマッチング率を算出して撮影制御部５０６へ出力する。

撮影制御部５０６は、送られてきたマッチング率を、予め設定された閾値と比較することにより、画像中に登録された顔画像が存在するか否かを判定し、この判定結果に基づいて撮影処理を行う。

図４は、リモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。また、図５（ａ）は、リモート撮影モードが起動してから撮影が完了するまでの操作の流れを、イラスト画を用いて示した図である。さらに、図５（ｂ）は、検出されたマッチング率の推移とそれに伴う制御動作の流れを示す図である。なお、図５（ｂ）に示すマッチング率の棒グラフは、便宜上、同じ人物の顔画像について常に同じ高さになるように描かれているが、同じ人物の顔画像であっても、少し向きが変わるなどすればマッチング率が変動するため、実際は若干グラフの高さが異なってくる。以下、これら図を参照して制御動作について説明する。

まず、リモート撮影モードを利用する前に、予め、ユーザによって自分の顔画像を登録する作業が行われる。カメラモジュール１３よりユーザが撮影されている状態で、ユーザもしくは別の人が登録操作行うと、上述したように登録制御部５０４が動作して、ユーザの顔画像のパラメータが顔登録部５０４に登録される。こうして、ユーザは、リモート撮影モードの設定を行える状態となる。

なお、上記のように登録する際に撮影を行うのではなく、予め撮影されてメモリ１０５に記憶されている画像から顔画像のパラメータを抽出し、顔登録部５０４に登録する構成とすることも可能である。

次に、ユーザによって、リモート撮影モードのためのキー操作が行われると、リモート撮影モードが起動する。

リモート撮影モードが起動すると、モード起動中は常に顔抽出部５０１、顔パラメータ抽出部５０２およびマッチング判定部５０５が動作し、一定時間間隔（１コマまたは数コマ間隔）で１画面分の全ての顔画像のマッチング率がマッチング判定部５０５から撮影制御部５０６へ出力される。

撮影制御部５０６は、まず、初期設定として、リモートフラグ（ＲＦＧ）およびシャッターフラグ（ＳＦＧ）をリセットする。

次に、撮影制御部５０６は、１画面分の顔画像のマッチング率を取得し（Ｓ１０２）、１画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する（Ｓ１０３）。

顔画像を登録したユーザ（以下、「登録ユーザ」という）が、カメラモジュール１３の撮影領域に入っていない場合（図５（ａ）の画面（Ａ））には、画像中に他の人物がいてその顔画像が抽出されたとしても、そのマッチング率は低い値となる（図５（ｂ）の時間領域（Ａ））。

この場合、撮影制御部５０６は、閾値を超えるマッチング率の顔画像がないと判定し（Ｓ１０３：ＮＯ）、さらに、ＲＦＧはリセットされたままであるため（Ｓ１０５：ＮＯ）、ステップＳ１０２の処理に戻り、次に送られてくる１画面分の顔画像のマッチング率を取得する。

その後、登録ユーザが撮影領域に入ってくると（図５（ａ）の画面（Ｂ））、登録ユーザの顔画像が抽出される。そして、その顔画像のマッチング率は高い値となる（図５（ｂ）の時間領域（Ｂ））。

これにより、撮影制御部５０６は、閾値を超えるマッチング率の顔画像があると判定すると（Ｓ１０３：ＹＥＳ）、リセット状態にあるＲＦＧをセット状態とする（Ｓ１０４：ＮＯ→Ｓ１０７）。これにより、リモート撮影の準備状態となる。その後、撮影制御部５０６は、ステップＳ１０２の処理に戻り、次に送られてくる１画面分の顔画像のマッチング率を取得する。

さて、撮影位置に着いた登録ユーザは、撮影準備が整うと、撮影を行うための動作を行う。即ち、撮影指示の合図として、自分の顔を一旦隠して再び現す動作を行う。たとえば、登録ユーザは顔を一旦下に向けた後にもとに戻す動作を行う（図５（ａ）の画面（Ｃ）→（Ｄ））。登録ユーザが顔を隠す動作を行うと、その顔画像が抽出されなくなるため、マッチング率が閾値を超える顔画像がなくなり、そして、再び顔を現す動作を行うと、マッチング率が閾値を超える顔画像が再び現れる（図５（ｂ）の時間領域（Ｃ）→（Ｄ））。

撮影制御部５０６は、リモート撮影の準備状態において、マッチング率が閾値を超える顔画像がないと判定すると（Ｓ１０３：ＮＯ）、このときは、ＲＦＧがセットさており（Ｓ１０５：ＹＥＳ）、かつＳＦＧは未だリセット状態であるため（Ｓ１０８：ＮＯ）、ＳＦＧをセットする（Ｓ１０９）。

その後、撮影制御部５０６は、再び、マッチング率が閾値を超える顔画像があると判定すると（Ｓ１０３：ＹＥＳ）、このときは、ＲＦＧおよびＳＦＧがともにセット状態であるため（Ｓ１０４：ＹＥＳ→Ｓ１０６：ＹＥＳ）、自動撮影を開始する（Ｓ１１０）。

撮影制御部５０６は、たとえば、一定の遅延時間（３秒後など）が経過した後に、シャッター動作を行い、そのときにカメラモジュール１３が撮影した画像の画像データをメモリ１０５に記憶させる。このとき、登録ユーザ等に撮影することを知らせるため、「ピッ、ピッ、ピッ、カシャ」というような報知音を、スピーカ１０９から出力させるようにすると良い。また、報知音とともに、あるいは報知音に変えて、ＬＥＤ等の発光部を発光させたり、ディスプレイ２１の表示状態を変えるようにしたりすることもできる。

なお、自動撮影の動作としては、上記のものに限られず、上記遅延時間の経過を待たずに、直ちにシャッター動作を行うようにしても良いし、オートフォーカス機能が設けられていれば、フォーカス調整後にシャッター動作を行うにしても良い。

こうして、撮影が完了する（図５（ａ）の画面（Ｅ））。続けて撮影を行いたい場合、登録ユーザは、先と同様に、顔を隠した後に現す動作を行う。こうすると、撮影処理が実行され（ステップＳ１０３：ＹＥＳ→Ｓ１０４：ＹＥＳ→Ｓ１０６：ＹＥＳ→Ｓ１１０）、新たに撮影された画像の画像データがメモリ１０５記憶される。

その後、ユーザによって、リモート撮影モード解除のためのキー操作が行われると、リモート撮影モードが停止される。

以上、本実施の形態によれば、登録ユーザは、顔を一旦下に向けた後にもとに戻すなど、自分の顔を隠して再び現す動作を行うだけで、自分の意図する所望のタイミングで写真撮影（画像記憶）を行うことができる。しかも、リモコンがいらないので、リモコンを携帯するのを忘れるなどしても、リモート撮影が行えなくなる心配がない。

したがって、カメラの操作性に優れた携帯電話機を実現することができる。

＜変更例１＞
上記実施の形態では、検出タイミング毎の画像中においてマッチング率が閾値を超える顔画像があれば、撮影領域に登録ユーザが存在するとみなしている。このため、画像中に登録ユーザと顔の似た人物がいたときには、登録ユーザの顔画像がなくなっても、似た人物の顔画像が閾値を超えていれば、登録ユーザの顔画像があると判定されてしまう。これにより、登録ユーザが撮影動作を行っても適正に写真撮影がなされない、という問題が起こり得る。

これを解消するための一つの方法としては、閾値を高く設定する方法がある。しかし、登録ユーザとの撮影距離が遠くなり抽出される顔画像が小さくなると、マッチング率が低下するため、このような場合に閾値が高すぎると、登録ユーザを検出できない惧れが生じる。また、登録ユーザが顔の向きを変えるだけでマッチング率は変動するので、閾値が高すぎる場合には、この変動によってマッチング率が閾値を下回ったり上回ったりし、登録ユーザが意図しないのにシャッター動作が行われて写真撮影されてしまう、という事態も起こり得る。

そこで、上記実施の形態に比べて、制御処理は複雑になるものの、登録ユーザの顔画像の有無を精度よく判定できるよう、以下に示す変更例１のような構成を採用することができる。

図６は、変更例１に係るリモート撮影モードを実現するための機能ブロック図である。

本変更例では、マッチング判定部５０５と撮影制御部５０６との間に、ターゲット特定部５１１と、ターゲット追跡部５１２と、顔有無検出部５１３とが配されている。その他の構成は、上記実施の形態と同様である。

ターゲット特定部５１１は、マッチング判定部５０５から取得したマッチング率と、顔抽出部５０１から送られてくる顔領域情報とに基づいて、どの顔領域の顔画像が登録ユーザの顔画像であると推定されるかを特定し、その顔画像の顔領域情報をターゲット追跡部５１２に出力する。

ターゲット追跡部５１２は、登録ユーザの顔画像の顔領域情報を受け取ると、カメラモジュール１３からの画像データを一定間隔（１コマあるいは数コマ間隔）で取得することにより、ターゲットである顔領域の動きを追跡し、その位置の情報（以下、「ターゲット位置情報」という）を顔有無検出部５１３に出力する。なお、ターゲットの追跡手法としては、たとえば、動きベクトルを用いた周知の手法（たとえば、特開２００６−３２３４３７号公報を参照）を採用することができる。

顔有無検出部５１３は、顔抽出部５０１から送られてくる顔領域情報とターゲット追跡部５１２から送られてくるターゲット位置情報とに基づいて、画像中の登録ユーザの顔画像の有無を検出する。顔有無検出部５１３は、ターゲット位置情報に適合するような顔領域情報があれば、すなわち、追跡中のターゲットの位置に顔画像が検出されれば、画像中に登録ユーザの顔画像が存在するとして、顔有り信号を撮影制御部５０６へ出力する。一方、ターゲット位置情報に適合するような顔領域情報がなければ、すなわち、追跡中のターゲットの位置に顔画像が検出されなければ、画像中に登録ユーザの顔画像が存在しないとして、顔無し信号を撮影制御部５０６へ出力する。

撮影制御部５０６は、顔有無検出部５１３により検出された顔有無の結果に基づいて所定の撮影動作を行う。

図７は、変更例１に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図である。同図（ａ）は、登録ユーザの顔画像を特定するための処理（ターゲット特定処理）を示す図である。このターゲット特定処理は、ターゲット特定部５１１とターゲット追跡部５１２によって実行される。また、同図（ｂ）は、登録ユーザの顔有無の検出結果に基づいて撮影を行うための処理（自動撮影処理）の処理フローを示す図である。この自動撮影処理は、ターゲット追跡部５１２、顔有無検出部５１３および撮影制御部５０６によって実行される。以下、図７を参照して、制御動作について説明する。

リモート撮影モードが起動すると、まず、ターゲット特定処理が行われる。ターゲット特定部５１１は、１画面分の顔画像のマッチング率と顔領域情報を取得し（Ｓ２０１）、１画面毎に、取得したマッチング率を閾値と比較して閾値を超えるものがあるか否かを判定する（Ｓ２０２）。そして、閾値を超えるものがあれば（Ｓ２０２：ＹＥＳ）、その顔画像のマッチング率がターゲット特定処理を開始してから最高のマッチング率であるか否かを判定し（Ｓ２０３）、最高のマッチング率であれば（Ｓ２０３：ＹＥＳ）、その顔画像が登録ユーザの顔画像のであると判定して、その顔画像に関する顔領域情報をターゲット追跡部５１２に送る。ターゲット追跡部５１２は、その顔領域情報で特定される顔領域をターゲット候補とし、その動きの追跡を開始する（Ｓ２０４）。

ターゲット特定部５１１は、リモート撮影モードが起動してからの時間を計測している。本変更例では、登録ユーザがリモート撮影モードの設定操作を行ってから撮影位置に移動するまでの時間を見越して、登録ユーザを最終的に特定するためサーチ時間が設定されている。

ターゲット特定部５１１は、サーチ時間が経過していなければ（Ｓ２０５：ＮＯ）、ステップＳ２０１の処理に戻り、次に送られてくる１画面分の顔画像のマッチング率と顔領域情報を取得する。こうして、サーチ時間が経過するまで、ステップＳ２０１からＳ２０４の処理が繰り返される。この間、マッチング率が最高の顔画像が検出される度に、ターゲット候補が更新され、更新されたターゲット候補の動きが追跡される。なお、この間にターゲット候補が画像中からいなくなれば、ターゲット追跡部５１２は、追跡を中断して次の顔領域情報を受け取るまで待機する。

こうして、サーチ時間が経過すると（Ｓ２０５：ＹＥＳ）、ターゲット特定部５１１は、ターゲット候補が存在しているか否かを判定する（Ｓ２０６）。そして、ターゲット候補が存在していれば（Ｓ２０６：ＹＥＳ）、そのときのターゲット候補を正式なターゲットとして確定し（Ｓ２０７）、ターゲット特定処理を終了する。以降、ターゲット追跡部５１２は、確定したターゲットの追跡を行うこととなる。

このように、本変更例では、サーチ時間を設けて、その時間の中でマッチング率が最も高い顔画像を登録ユーザの顔画像と特定することで、撮影領域に登録ユーザと顔の似た人物がいても、その人物の顔画像を登録ユーザの顔画像とみなしてしまうのを防止することができる。

一方、登録ユーザが、移動するのに手間取るなどしてサーチ時間内に撮影領域内に入ることができず、サーチ時間内にターゲット候補が特定されない場合（Ｓ２０６：ＮＯ）には、サーチ時間の計測がリセットされ（Ｓ２０８）、Ｓ２０１に戻って、再度、ターゲット候補のサーチ動作が行われる。

なお、ターゲット特定部５１１は、ターゲット特定処理が完了すると、ターゲット追跡部５１２に対してターゲットが確定した旨の信号を送る。ターゲット追跡部５１２はこの確定信号を受け取ると、顔有無検出部５１３へのターゲット位置情報の出力を開始する。

ターゲット特定処理が完了すると、続いて、自動撮影処理が開始される。撮影制御部５０６は、まず、シャッターフラグ（ＳＦＧ）をリセット状態とする（Ｓ３０１）。

ターゲット追跡部５１２は、ターゲット、即ち登録ユーザと推定された顔画像の追跡を行い（Ｓ３０２）、ターゲットが撮影領域内から外れなければ（Ｓ３０３：ＮＯ）、顔抽出部５０１から顔領域情報が出力されるタイミングに合わせて、ターゲット位置情報を顔有無検出部５１３へ出力する。

顔有無検出部５１３は、上述のように、顔抽出部５０１から送られてくる顔領域情報とターゲット追跡部５１２から送られてくるターゲット位置情報とに基づいて、登録ユーザの顔画像の有無を検出し、顔有り信号または顔無し信号を撮影制御部５０６へ出力する（Ｓ３０４）。

登録ユーザが、上記実施の形態と同様、自分の顔を隠した後に現す動作を行うと、顔有無検出部５１３からは顔無し信号が出力され、その後、顔有り信号が出力される。

撮影制御部５０６は、顔無し信号を受け取ると、ターゲットとなる顔画像、即ち登録ユーザの顔画像がないと判定し（Ｓ３０５：ＮＯ）、このときはＳＦＧがリセット状態にあるため（Ｓ３０７：ＮＯ）、ＳＦＧをセットする（Ｓ３０８）。そして、次に、顔有り信号を受け取ると、登録ユーザの顔画像があると判定し（Ｓ３０５：ＹＥＳ）、このときはＳＦＧがセット状態にあるため（Ｓ３０６：ＹＥＳ）、自動撮影を行う（Ｓ３０９）。自動撮影の動作については、上記実施の形態と同様である。

なお、登録ユーザが、何らかの事情で撮影領域から出た場合、ターゲット追跡部５１２はステップＳ３０３でターゲットが撮影領域から外れたと判定する（Ｓ３０３：ＹＥＳ）。この場合、自動撮影処理が終了し、ターゲット追跡部５１２からは、ターゲット特定部５１１、顔有無検出部５１３および撮影制御部５０６にリセット信号がされる。これに基づいて、図７（ａ）に示すターゲット特定処理から再び自動撮影のための処理が開始される。

以上、本変更例の構成によれば、登録ユーザであると判定した顔画像の動き追跡するようにしているので、同じ画像中に登録ユーザと似た顔の人物がいた場合でも、登録ユーザの顔画像の有無を精度よく検出でき、適正に自動撮影処理に移ることができる。

＜変更例２＞
写真撮影を行う際、その時々の状況に応じて、撮影に関する所定の設定や調整が行われ得る。たとえば、自動撮影における上記遅延時間の有無の設定やフラッシュのオン／オフの設定、ズームの調整等が行われ得る。登録ユーザは、これらの設定等を、リモート撮影モードの設定を行う際あるいはそれ以前に行う場合もあるが、撮影位置に着いてから行う場合もある。

そこで、本変更例では、登録ユーザの顔の状態（顔が左右に向いている状態）や他の部分（手など）の状態に基づいて、撮影に関する設定等を行うことができる構成とされている。

図８は、変更例２に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図６に示す変更例１の機能ブロックに対し、状態検出部５２１が付加されている。

状態検出部５２１には、ターゲット追跡部５１２から登録ユーザの顔画像に関するターゲット位置情報が入力される。また、状態検出部５２１には、画像データが入力される。状態検出部５２１は、これら入力に基づいて、登録ユーザの顔画像の状態を検出し、その状態に応じた設定等の指示信号を撮影制御部５０６へ出力する。

状態検出部５２１には、顔画像の状態とそれに対応する指示内容とが予め設定されている。たとえば、遅延時間の有無が顔の左右の向きにより設定される場合、右向きの顔画像に対して遅延時間有りの指示内容が、左向きの顔画像に対して遅延時間無しの指示内容が設定されている。

顔の向きを検出する方法としては、公知の検出方法、たとえば、特開２０００−９７６７６号公報に示されている手法を用いることができる。この場合、状態検出部５２１は、顔領域となる肌色領域の重心位置に対する目、鼻、口等の相対位置に基づいて、顔画像が右向きであるのか左向きであるのかを検出する。即ち、登録ユーザの顔が右を向けば、肌色領域において目、鼻、口等が右に偏るので、状態検出部５２１は、顔が右を向いていると判定し、遅延時間有りの指示信号を出力する。一方、登録ユーザの顔が左を向けば、肌色領域において目、鼻、口等が左に偏るので、状態検出部５２１は、顔が左を向いていると判定し、遅延時間無しの指示信号を出力する。なお、顔画像が左右に向く範囲は、勿論、顔抽出部５０１によって顔画像が検出される範囲となる。

撮影制御部５０６は、動作検出部５２１から設定等の指示信号を受けると、これに従って設定等の処理を行う。

図９は、変更例２に係る自動撮影処理の処理フローを示す図である。同図の処理フローでは、撮影に関する設定等を実行するため、図７の処理フローに対し、撮影制御部５０６によるステップＳ３１１およびＳ３１２の処理が付加されている。

撮影制御部５０６は、登録ユーザの顔画像（ターゲット）が特定された後に顔画像があると判定すると（Ｓ３０５：ＹＥＳ→Ｓ３０６：ＮＯ）、動作検出部５２１から機能設定等の指示があったか否かを判定する（Ｓ３１１）。そして、機能設定等の指示があれば、その指示に従った処理を行う（Ｓ３１２）。

たとえば、上記遅延時間の有無が設定される場合、登録ユーザが顔を右に向ければ遅延時間有りの設定が行われ、登録ユーザが顔を左に向ければ遅延時間無しの設定が行われる。

以上、本変更例の構成によれば、登録ユーザが携帯電話機とは離れた場所から撮影に関する設定や調整を行うことが可能となるため、使い勝手が向上する。

なお、本変更例では、顔画像の状態に応じて上記遅延時間以外の設定等がなされる構成とされても良い。たとえば、携帯電話機にフラッシュ機能が具備されている場合には、フラッシュのオン／オフが設定されても良く、また、ズーム機能が具備されている場合には、ズームのイン／アウトの調整が行われても良い。この場合は、ディスプレイ２１がカメラのレンズ窓と同じ向きに切り替えられる機構を設けて、被写体（登録ユーザ）方向からズーム状況を確認できるようにすることが望ましい。

また、本変更例では、顔の状態ではなく、顔以外の部分の状態に応じて機能設定等がなされる構成とされても良い。たとえば、指で方向を指す状態が検出され、指の向きに応じて機能設定等がなされても良い。ただし、本変更例の場合は、登録ユーザの顔領域が追跡される構成であるため、顔以外の状態を検出する場合には、登録ユーザの状態であることが判別できるよう、登録ユーザの顔画像の周辺の状態のみが検出される構成とされることが望ましい。

＜変更例３＞
上記実施の形態および変更例１、２では、リモート撮影モードの設定／解除が所定のキー操作により行われる。よって、登録ユーザは、リモート撮影モードを利用する度に、設定および解除の操作をしなければならない。

そこで、本変更例では、リモート撮影モードの設定／解除（起動／停止）が、キー操作によらずに自動で行われる構成としている。

図１０は、変更例３に係るリモート撮影モードを実現するための機能ブロック図である。本変更例では、図６に示す変更例１の機能ブロックに対し、モード制御部５３１が付加されている。

変更例１では、ターゲット追跡部５１２からのリセット信号が、顔有無検出部５１３、撮影制御部５０６およびターゲット特定部５１１に出力されていたが、本変更例では、モード制御部５３１に出力される。

また、本変更例では、リモート撮影モードが起動していないときでも、顔抽出部５０１、顔パラメータ抽出部５０２およびマッチング判定部５０５が動作し、モード制御部５３１には、マッチング判定部５０５からマッチング率が入力されるとともに、顔抽出部５０１から顔位置情報が入力される。

モード制御部５３１は、リモート撮影モードが起動されていない状態において、入力されたマッチング率に基づいてリモート撮影モードを起動させる。また、リモート撮影モードが起動している状態において、入力されたマッチング率、顔領域情報およびリセット信号に基づいてリモート撮影モードを停止させる。

図１１は、変更例３に係るリモート撮影モードを自動設定する処理、および自動解除する処理の処理フローを示す図である。同図（ａ）は自動設定の処理フローを示し、同図（ｂ）は自動解除の処理フローを示す。また、図１２は、変更例３に係るリモート撮影モードの自動設定／解除の流れを、イラスト画を用いて示した図である。同図（ａ）は自動設定の流れを示し、同図（ｂ）、（ｃ）は自動解除の流れを示す。以下、これらの図を参照して制御動作について説明する。

図１１（ａ）を参照して、モード制御部５３１は、１画面分の顔画像のマッチング率を取得し（Ｓ４０１）、１画面毎に、取得したマッチング率を閾値と比較し、閾値を超えるものがあるか否かを判定する（Ｓ４０２）。

登録ユーザが、写真撮影に加わらず撮影領域に入らなければ、マッチング率が閾値を超えないので（Ｓ４０２：ＮＯ）、リモート撮影モードはオフのままとなる（図１２（ａ）の画面（Ａ））。

一方、登録ユーザが、撮影に加わるために撮影領域に入ると、マッチング率が閾値を超えるので（Ｓ４０２：ＹＥＳ）、モード制御部５３１は、画像中に登録ユーザの顔画像があると判定して、リモート撮影モードを起動する（Ｓ４０３；図１２（ａ）の画面（Ｂ））。

本変更例では、リモート撮影モードが起動すると同時に撮影準備状態に移行する。即ち、本変更例では、変更例１の場合と違って、図７（ａ）のターゲット特定処理が行われず、ステップＳ４０２で閾値を超えたと判定した顔画像（複数あれば、マッチング率が最高のもの）を登録ユーザの顔画像とみなして、その顔領域情報をターゲット追跡部５１２へ出力する。これにより、以降は図７（ｂ）の自動撮影処理が行われる。

次に、図１１（ｂ）を参照して、モード制御部５３１は、リモート撮影モードの起動中、１画面分の顔画像のマッチング率と顔領域情報を取得し（Ｓ５０１）、マッチング率を超える顔画像、即ち登録ユーザの顔画像の顔領域のサイズが閾値を超えたか（拡大したか）否かを判定する（Ｓ５０２）。また、顔領域のサイズが閾値を超えなければ（Ｓ５０２：ＮＯ）、顔領域（ターゲット）が撮影領域から外れたか否か、即ちターゲット追跡部５１２からリセット信号が出力されたか否かを判定する（Ｓ５０３）。

撮影が継続されている間、登録ユーザは遠近方向にあまり大きく動くことがなく、また、撮影領域から離れることもないので、その顔領域のサイズは閾値を超えず（Ｓ５０２：ＮＯ）、また、リセット信号が入力されることもない（Ｓ５０３：ＮＯ）。よって、この場合は、リモート撮影モードが起動したままとなる（図１２（ｂ）の画面（Ｃ）、図１２（ｃ）の画面（Ｅ））。

一方、撮影が終了すると、登録ユーザは、携帯電話機（カメラモジュール１３）の方に向かう。このとき、登録ユーザの顔画像は、撮影領域内で携帯電話機に近づくか、撮影領域から外れるかする。

モード制御部５３１は、顔画像が撮影領域内で携帯電話機に近づくことによって、その顔領域のサイズが閾値を超えたと判定すると（Ｓ５０２：ＹＥＳ）、リモート撮影モードを停止する（Ｓ５０４；図１２（ｂ）の画面（Ｄ））。あるいは、顔領域が撮影領域から外れることにより、リセット信号が入力されると（Ｓ５０３：ＹＥＳ）、リモート撮影モードを停止する（Ｓ５０４；図１２（ｂ）の画面（Ｆ））。

以上、本変更例の構成によれば、登録ユーザが逐一キー操作を行うことなく、リモート撮影モードの起動、停止を行うことができるので、操作性をより一層向上させることができる。

なお、本変更例では、リモート撮影モードの起動および停止の双方が自動で行われる構成とされているが、どちらか一方のみが自動で行われる構成とされても良い。

また、本変更例では、登録ユーザの顔領域のサイズが閾値を超えたときと顔領域が画像中から外れたときの双方が判定され、リモート撮影モードが停止される構成とされているが、どちらか一方のみが判定される構成とされても良い。

さらに、本変更例は、図３ないし図５に示す上記実施の形態にも適用され得る。ただし、上記実施の形態においては、ターゲット追跡部５１２が具備されていないため、登録ユーザの顔領域のサイズが閾値を超えたときのみに、リモート撮影モードが停止される構成とされる。

図１３は、変更例３に係る構成を、上記実施の形態に適用する場合の機能ブロック図である。同図に示すように、モード制御部５３１には、マッチング判定部５０５からマッチング率が入力されるとともに、顔抽出部５０１から顔領域情報が入力される。

この構成においては、リモート撮影モードを起動させる処理として、図１１（ａ）と同様の処理が行われる。一方、リモート撮影モードを停止させる処理として、図１１（ｂ）と同様な処理がなされるが、ステップＳ５０３の処理は除かれる。この場合は、ステップＳ５０２で顔領域のサイズが閾値を超えていないと判定されると、ステップＳ５１１の処理に戻るような処理フローとなる。

＜その他＞
本発明の実施形態は、上記以外にさらに種々の変更が可能である。

たとえば、上記実施の形態では、シャッター動作が行われると、直ちに撮影された画像の画像データがメモリ１０５に正式に記憶される構成とされている。しかしながら、このような構成に限らず、メモリ１０５やＣＰＵ１００などに一時的な記憶領域が設けられ、シャッター動作が行われると、この一時記憶領域に撮影画像が一旦保存され、その後、登録ユーザ等により所定の保存操作がなされると、メモリ１０５に正式に記憶される構成とされても良い。

このように、特許請求の範囲に記載された本発明の記憶部は、上記実施の形態のメモリ１０５のように撮影画像を正式に記憶するための手段のみに限られるものでなく、上記一時記憶領域のように撮影画像を一時的に記憶するための手段をも含む概念である。

また、上記実施の形態では、カメラ付き携帯電話機を例示したが、本発明のカメラ付き機器は、携帯電話機に限られず、カメラ付きＰＤＡ（Personal Digital Assistant）やデジタルカメラ等とすることができる。

この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

実施の形態に係る携帯電話機の外観構成を示す図 実施の形態に係る携帯電話機の全体構成を示すブロック図 実施の形態に係るリモート撮影モードを実現するための機能ブロック図 実施の形態に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図 実施の形態に係るリモート撮影モードの流れを説明するための図 変更例１に係るリモート撮影モードを実現するための機能ブロック図 変更例１に係るリモート撮影モードにおいて実行される撮影処理の処理フローを示す図 変更例２に係るリモート撮影モードを実現するための機能ブロック図 変更例２に係る自動撮影処理の処理フローを示す図 変更例３に係るリモート撮影モードを実現するための機能ブロック図 変更例３に係るリモート撮影モードを自動設定する処理、および自動解除する処理の処理フローを示す図 変更例３に係るリモート撮影モードの自動設定／解除の流れについて説明するための図 変更例３に係る構成を、実施の形態に適用する場合の機能ブロック図

符号の説明

１３ カメラモジュール（カメラ部）
１０５ メモリ（記憶部）
５０１ 顔抽出部（顔検出部）
５０２ 顔パラメータ抽出部（顔検出部）
５０４ 顔登録部
５０５ マッチング判定部（顔検出部）
５０６ 撮影制御部（顔検出部、リモート記憶部）
５１１ ターゲット特定部（顔検出部）
５１２ ターゲット追跡部（顔検出部、追跡部）
５１３ 顔有無検出部（顔検出部）
５２１ 状態検出部
５３１ モード制御部

Claims (2)

1. 撮像画像を画像情報として出力するカメラ部と、
   前記画像情報を記憶する記憶部と、
   顔画像に関する情報を保持する顔登録部と、
   前記顔画像を前記撮像画像から検出する顔検出部と、
   前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するリモート記憶部と、
   前記顔検出部によって検出された前記顔画像を前記撮像画像中において追跡する追跡部と、
   を有し、
   前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動され、前記追跡部により前記顔画像が前記撮像画像から抜け出たことが検出されたことに応じて停止される、
   ことを特徴とするカメラ付き機器。
2. 撮像画像を画像情報として出力するカメラ部と、
   前記画像情報を記憶する記憶部と、
   顔画像に関する情報を保持する顔登録部と、
   前記顔画像を前記撮像画像から検出する顔検出部と、
   前記顔検出部によって前記顔画像が検出された後、前記顔画像が検出されなくなり、その後、再び、前記顔画像が検出されたことに基づいて、前記画像情報を前記記憶部に記憶させるための制御処理を実行するリモート記憶部と、
   を有し、
   前記リモート記憶部による制御処理は、前記カメラ部による撮像が開始された後、前記顔検出部によって前記顔画像が検出されたことに応じて起動され、前記顔検出部によって検出された前記顔画像の大きさが閾値を超えたことに応じて停止される、
   ことを特徴とするカメラ付き機器。

Images