<本技術を適用した撮影装置の一実施の形態>
図1は、本技術を適用した撮影装置の一実施の形態の構成例を示すブロック図である。
図1において、撮影装置は、例えば、動画や静止画を撮影するディジタルカメラであり、制御部11、コミュニケーション処理部12、撮影部13、記録部14、通信部15、及び、位置情報取得部16を有する。
制御部11は、撮影装置全体を制御する。
また、制御部11は、撮影部13から供給される、その撮影部13によって撮影された撮影画像に必要な処理を施し、記録部14に供給して記録させる。
さらに、制御部11は、コミュニケーション制御部11A、及び、撮影制御部11Bを有する。
コミュニケーション制御部11Aは、コミュニケーション処理部12によるコミュニケーション処理を制御する。
撮影制御部11Bは、撮影部13による撮影画像の撮影を制御する撮影制御を行う。
コミュニケーション処理部12は、制御部11(のコミュニケーション制御部11A)の制御に従って、被写体とコミュニケーションをとるためのコミュニケーション処理を行う(実行する)。
ここで、コミュニケーション処理としては、被写体とコミュニケーションをとるための任意の処理を採用することができる。すなわち、コミュニケーション処理としては、例えば、画像の表示や、音声の出力、ロボットによるジェスチャ等の処理を採用することができる。
なお、図1では、コミュニケーション処理部12は、撮影装置に含まれているが、コミュニケーション処理部12は、撮影装置とは別個の装置として構成することができる。コミュニケーション処理部12が、撮影装置とは別個の装置として構成される場合、制御部11(のコミュニケーション制御部11A)は、コミュニケーション処理部12と無線通信、又は、有線通信を行うことにより、コミュニケーション処理部12によるコミュニケーション処理を制御する。
撮影部13は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ等のイメージセンサを有し、制御部11(の撮影制御部11B)による撮影制御に従って、被写体を撮影する。さらに、撮影部13は、被写体を撮影した撮影画像を、制御部11に供給する。
記録部14は、制御部11から供給される撮影画像を記録する。
すなわち、記録部14は、記録制御部14A、及び、記録媒体14Bを有する。記録制御部14Aは、制御部11から供給される撮影画像を、記録媒体14Bに記録する記録制御を行う。記録媒体14Bは、例えば、メモリカードやディスク等の記録媒体であり、記録部14に着脱可能な記録媒体であっても良いし、記録部14内に固定された記録媒体であっても良い。
通信部15は、制御部11の制御に従い、インターネットその他のネットワークを介して通信を行う。制御部11は、通信部15に通信を行わせることにより、例えば、インターネット上のサーバ等から、必要な情報(コンテンツやプログラム等)を取得することができる。
位置情報取得部16は、例えば、GPS(Global Positioning System)等を利用して、撮影装置の現在地を取得し、制御部11に供給する。制御部11は、位置情報取得部16から供給される現在地を必要に応じて用いて処理を行う。
<撮影装置の外観構成例>
図2は、図1の撮影装置の第1の外観構成例を示す斜視図である。
図2において、撮影装置は、静止画及び動画の撮影が可能なディジタルスチルカメラであり、本体21と液晶パネル22とから構成される。
本体21は、図1の制御部11、撮影部13、及び、記録部14を内蔵し、正面側に、撮影部13(のイメージセンサ)に光を集光するためのレンズが設けられている。
液晶パネル22は、図1のコミュニケーション処理部12として機能する。図2では、液晶パネル22は、本体21の背面側に設けられており、本体21の上部を回動中心として回動可能なように装着されている。
図2の撮影装置では、液晶パネル22を本体21から開くように回動すると、液晶パネル22の表示画面が正面側(撮影方向)を向き、これにより、表示画面に表示される画像を、被写体に提示し、その画像によって、被写体とのコミュニケーションを図ることができるようになっている。
すなわち、液晶パネル22は、表示画面に、所定のメッセージその他の画像を表示する処理を、コミュニケーション処理として行うことで、表示画面に表示される画像によって、被写体とのコミュニケーションを図る。
なお、液晶パネル22(又は本体21)には、スピーカを内蔵させることができ、この場合、液晶パネル22は、所定のメッセージその他の音声(音)を、スピーカから出力する処理を、コミュニケーション処理として行うことができる。この場合、スピーカから出力される音声によって、被写体とのコミュニケーションを図ることができる。
図3は、図1の撮影装置の第2の外観構成例を示す斜視図である。
図3において、撮影装置は、静止画及び動画の撮影が可能なディジタルスチルカメラであり、本体31から構成される。
本体31は、図2の本体21と同様に構成される。すなわち、本体31は、図1の制御部11、撮影部13、及び、記録部14を内蔵し、正面側に、撮影部13に光を集光するためのレンズが設けられている。
さらに、本体31は、無線LAN(Local Area Network)やBluetooth(登録商標)等の無線通信によって、本体31とは別個の出力端末32と通信することができるようになっている。
出力端末32は、画像の表示や音声の出力等のコミュニケーション処理が可能な端末であり、図1のコミュニケーション処理部12として機能する。出力端末32は、本体31(の制御部11)からの無線通信による制御に従って、画像の表示や音声の出力等のコミュニケーション処理を行うことで、被写体とのコミュニケーションを図る。
出力端末32としては、例えば、タブレット端末を採用することができる。出力端末32として、タブレット端末を採用する場合には、例えば、撮影装置としての本体31を操作して被写体を撮影する撮影者が、出力端末32を持って、その出力端末32に表示される画像等を、被写体に提示する。
また、出力端末32としては、例えば、被写体が所有するスマートフォンや、グラス(めがね)型等のウエアラブルなデバイスを採用することができる。出力端末32として、被写体が所有するスマートフォンやウェアラブルなデバイスを採用する場合には、被写体は、所有するスマートフォンやウェアラブルなデバイスから、そのスマートフォンやウェアラブルなデバイスに表示される画像等の提示を受けることができる。
以上のように、図3の撮影装置では、本体31とは別個の出力端末32に表示される画像や、その出力端末32から出力される音声によって、被写体とのコミュニケーションを図ることができる。
なお、上述の図2の撮影装置においては、液晶パネル22を本体21から着脱可能なように構成することができ、この場合、本体21から取り外された液晶パネル22は、図3の出力端末32として利用することができる。
また、出力端末32として、被写体が所有するスマートフォンやウェアラブルなデバイスを採用する場合には、コミュニケーション処理において表示される画像等の他、撮影部13で撮影された被写体の撮影画像を、本体31から被写体が所有するスマートフォン等に送信することができる。
本体31において、被写体が所有するスマートフォン等を特定する特定情報を、あらかじめ登録しておき、被写体を撮影したときに、その被写体を認識し、その被写体が所有するスマートフォン等を特定する特定情報を検索することで、その特定情報によって特定されるスマートフォン等、すなわち、撮影された被写体が所有するスマートフォン等に、被写体が撮影された撮影画像を送信することができる。
図4は、図1の撮影装置の第3の外観構成例を示す斜視図である。
図4において、撮影装置は、動画及び静止画の撮影が可能なディジタルビデオカメラであり、本体41及び液晶パネル42から構成される。
本体41は、図1の制御部11、撮影部13、及び、記録部14を内蔵し、正面側に、撮影部13に光を集光するためのレンズが設けられている。
液晶パネル42は、図1のコミュニケーション処理部12として機能する。図4では、液晶パネル42は、本体41の側面側に設けられており、本体41のレンズ側の一辺を回動中心として、本体41から開くような回動が可能なように装着されている。
さらに、液晶パネル42は、本体41に対して開閉する回動の回動中心と直交する方向を回動中心として回動可能なように構成されており、これにより、液晶パネル42は、例えば、本体41に閉じたときに、表示画面が本体41側に収納された状態や、外側を向いた状態に回動することができるようになっている。
したがって、液晶パネル42は、本体41から開いた状態で、表示画面を、被写体側(撮影方向)に向けることができ、これにより、表示画面に表示される画像を、被写体に提示し、その画像によって、被写体とのコミュニケーションを図ることができるようになっている。
すなわち、液晶パネル42は、表示画面に、所定のメッセージその他の画像を表示する処理を、コミュニケーション処理として行うことで、表示画面に表示される画像によって、被写体とのコミュニケーションを図る。
なお、液晶パネル42(又は本体41)には、スピーカを内蔵させることができ、この場合、液晶パネル42は、所定のメッセージその他の音声を、スピーカから出力する処理を、コミュニケーション処理として行うことができる。この場合、スピーカから出力される音声によって、被写体とのコミュニケーションを図ることができる。
また、図4においては、図3の場合と同様に、本体41とは別個の出力端末32を、図1のコミュニケーション処理部12として機能させることができる。
図5は、図1の撮影装置の第4の外観構成例を示す斜視図である。
図5において、撮影装置は、ペット(犬)型ロボットとして構成されており、4本の脚を動かすことで、自律的に、又は、ユーザ(撮影者や被写体)の遠隔操作に従って移動し、撮影画像を撮影することができる。
図1の制御部11、撮影部13、及び、記録部14は、ペット型ロボットに内蔵されている。特に、例えば、撮影部13は、ペット型ロボットの頭部51に、ペット型ロボットの目(視覚)として内蔵されている。
また、図5において、ペット型ロボットの胸部には、図1のコミュニケーション処理部12として機能する液晶パネル52が設けられている。
液晶パネル52は、所定のメッセージその他の画像を表示する処理を、コミュニケーション処理として行うことで、そのコミュニケーション処理において表示される画像によって、被写体とのコミュニケーションを図る。
なお、液晶パネル52は、ペット型ロボットの胸部以外の位置、すなわち、例えば、腹部に設けることができる。液晶パネル52を、ペット型ロボットの腹部に設ける場合には、ペット型ロボットが後ろ脚だけで立った状態(いわゆるチンチンの状態)になったときに、液晶パネル52に表示された画像が被写体に提示され、被写体とのコミュニケーションを図ることができる。
また、ペット型ロボットの頭部51には、ペット型ロボットの口として、スピーカを内蔵させることができ、ペット型ロボットは、所定のメッセージその他の音声を、スピーカから出力する処理を、コミュニケーション処理として行うことができる。この場合、スピーカから出力される音声によって、被写体とのコミュニケーションを図ることができる。
さらに、図5のペット型ロボットにおいては、図3の場合と同様に、ペット型ロボットとは別個の出力端末32を、図1のコミュニケーション処理部12として機能させることができる。
また、図5のペット型ロボットにおいては、画像の表示や音声の出力の他、ジェスチャを、コミュニケーション処理として行うことができる。ジェスチャとしては、ペット型ロボットの頭部51や、脚、尻尾等を動かして所定の行動をとることを採用することができる。その他、例えば、頭部51を、口を開閉することができるように構成し、口からあめ玉を出すような行動等を、コミュニケーション処理としてのジェスチャとして採用することができる。かかる、口からあめ玉を出すような行動によれば、子供の注意を喚起することができる。
さらに、図5のペット型ロボットには、例えば、プロジェクタを搭載し、そのプロジェクタによって、スクリーンに画像を表示する処理を、コミュニケーション処理として行うことができる。
ここで、図2及び図3のディジタルスチルカメラ、及び、図4のディジタルビデオカメラについては、移動可能な移動手段を装着することで、図5のペット型ロボットと同様に、自律的に、又は、ユーザの遠隔操作に従って移動し、撮影画像を撮影することが可能になる。
なお、図1の撮影装置は、ディジタルカメラ(ディジタルスチルカメラ、ディジタルビデオカメラ)や、(ペット型)ロボットに限定されるものではなく、例えば、ウェアラブルカメラや、PC(Personal Computer)、その他の、画像を撮影する機能を搭載可能な電子機器に適用することができる。
<所望の状態の被写体を撮影する処理>
図6は、図1の撮影装置において、所望の状態の被写体の撮影を行う処理の例を説明するフローチャートである。
図1の撮影装置では、コミュニケーション処理部12においてコミュニケーション処理を行うことで、例えば、プロのカメラマンが撮影を行う場合と同様のコミュニケーションを、被写体との間でとって、そのコミュニケーションによって、被写体を所望の状態になるように行動させることによって、所望の状態の被写体を撮影することができるようになっている。
ステップS11において、撮影部13は、被写体を撮影し、その撮影によって得られる撮影画像を、制御部11に供給して、処理は、ステップS12に進む。
ステップS12では、制御部11は、撮影部13からの撮影画像等を用いて、被写体の状態を検出し、処理は、ステップS13に進む。なお、被写体の状態の検出には、撮影画像の他、被写体の音声、さらには、被写体の体温その他の生体情報等を用いることができる。
ステップS13では、制御部11は、被写体の状態が所望の状態であるか(又は、所望の状態になりそうであるか)どうかを判定する。
ここで、所望の状態としては、例えば、被写体が笑顔になっている状態や、(撮影方向に)正対している状態、被写体が静止している状態(撮影画像に写る被写体がぶれない程度に静止している状態)等がある。
所望の状態を、どのような状態とするかは、例えば、ユーザの操作に従って、又は、撮影装置が自律的に決定することができる。
ステップS13において、被写体が所望の状態でない(又は、所望の状態になりそうではない)と判定された場合、処理は、ステップS14に進み、制御部11は、所望の状態に対して、複数パターン用意された誘発処理の中から、1つ(又は2つ以上)の誘発処理を、コミュニケーション処理として選択し、そのコミュニケーション処理を実行するように、コミュニケーション処理部12を制御して、処理は、ステップS15に進む。
ここで、誘発処理とは、被写体が所定の状態になるように誘発する処理であり、被写体が、最終的に所望の状態になるような行動をとるように誘発する処理が含まれる。本明細書における「誘発」とは、被写体を所定の状態にするための、直接的又は間接的な指示(例えば、「笑って」というメッセージや、ユーモアのあるメッセージの出力)や、情報の提示、その他の、被写体を所定の状態にする原因となるあらゆる行為を含む広い概念である。
誘発処理としては、例えば、被写体が所定のポーズをとるように誘発する処理や、被写体の撮影が所定の向きで行われるように誘発する処理等がある。
被写体が所定のポーズをとるように誘発する誘発処理としては、例えば、被写体が笑顔になる(笑顔のポーズをとる)ように誘発する処理や、被写体が静止する(静止のポーズをとる)ように誘発する処理、被写体がジャンプする(ジャンプのポーズをとる)ように誘発する処理、被写体がピースサイン(Vサイン)のポーズをとるように誘発する処理、被写体がポートレート撮影で理論的に好ましいとされるポーズをとるように誘発する処理、モデルのように撮影されるポーズをとるように誘発する処理等がある。
被写体の撮影が所定の向きで行われるように誘発する誘発処理としては、例えば、被写体が正対する(被写体が正対する向きで撮影が行われる)ように誘発する処理や、撮影が順光となる向きで行われるように誘発する処理等がある。
誘発処理は、所望の状態ごとに、複数パターンの処理が用意されている。
すなわち、例えば、所望の状態が、被写体が笑顔になっている状態である場合については、例えば、直接的に笑うことを誘発する「笑って」メッセージの出力(「笑って」メッセージの画像の表示や音声の出力)や、子供に人気の傾向があるキャラクタの画像の表示や、女性に人気の傾向があるキャラクタの画像の表示、各地域で人気の傾向があるコンテンツの出力、撮影装置がペット型ロボットとして構成される場合には、女性に人気の傾向があるペット型ロボットのジェスチャの出力等の複数パターンの処理が、誘発処理として用意されている。
また、例えば、所望の状態が、被写体が静止している状態である場合については、例えば、直接的に静止することを誘発する、言い方の異なる「止まって」メッセージ(例えば、優しい言い方の「止まって」や、強い言い方の「止まって」等)の出力や、男性に人気の傾向がある商品の画像の表示や、女性に人気の傾向があるアイドル(例えば、前年の女性向けの雑誌に多く掲載されたアイドル等)の画像の表示等の複数パターンの処理が、誘発処理として用意されている。
ステップS14では、制御部11は、所望の状態に対して、上述のように、複数パターン用意された誘発処理の中から、1つの誘発処理を、コミュニケーション処理として選択する。
ステップS15では、コミュニケーション処理部12は、制御部11の制御に従い、ステップS14で選択されたコミュニケーション処理を実行する。
その後、処理は、ステップS15からステップS11に戻り、以下、ステップS13において、被写体の状態が所望の状態であると判定されるまで、ステップS11ないしS15の処理が繰り返される。
なお、ステップS11ないしS15の繰り返しの処理では、ステップS14において、それまでにコミュニケーション処理として選択されていない誘発処理を、コミュニケーション処理として選択することができる。すでに選択された誘発処理では、被写体を所望の状態にする効果が低い場合があるからである。
一方、ステップS13において、被写体の状態が所望の状態であると判定された場合、処理は、ステップS16に進み、撮影部13は、所望の状態の被写体を撮影し、その結果得られる撮影画像を、制御部11に供給する。
さらに、ステップS16では、制御部11は、撮影部13からの撮影画像を記録部14に記録させ、処理を終了する。
なお、制御部11では、被写体が所望の状態になったときに行われたコミュニケーション処理(として選択された誘発処理)を、被写体と対応付けて、コミュニケーション履歴として記憶し、そのコミュニケーション履歴を用いて、例えば、被写体の個人別や、年齢層別、男女別、地域別に、被写体が所望の状態になりやすい誘発処理(コミュニケーション処理)を順位付けする順位付け学習を行うことができる。
以上のような順位付け学習の後、被写体を識別する識別処理を行うことにより、例えば、その被写体の年齢や、住んでいる地域、性別等の属性ごとに、被写体に効果的な誘発処理、すなわち、被写体を所望の状態にしやすい誘発処理を、優先的に、コミュニケーション処理として選択することができる。そして、そのようなコミュニケーション処理を行うことによって、被写体を、比較的迅速に所望の状態にして撮影することができる。
なお、被写体の年齢や性別は、被写体を撮影した撮影画像を用いて、被写体の認識を行うことにより予測(推定)することができる。
また、被写体が住んでいる地域については、撮影装置において、位置情報取得部16で取得される現在地や、撮影装置の時刻の設定(時刻設定がどの地域の時刻になっているか)等によって認識することができる。
<コミュニケーション処理を選択する処理>
図7は、図6のステップS14において、コミュニケーション処理(とする誘発処理)を選択する処理の例を説明するフローチャートである。
ステップS21において、制御部11は、撮影部13からの撮影画像に写っている被写体である注目被写体を、画像処理によって認識し、処理は、ステップS22に進む。
ステップS22では、制御部11は、ステップS21で認識された注目被写体が、登録済みの被写体であるかどうかを判定する。
ここで、過去に、注目被写体になったことがある被写体については、その被写体に関する被写体情報が、制御部11が内蔵する図示せぬメモリに記憶されたテーブル(以下、被写体テーブルともいう)に登録される。
登録済みの被写体とは、被写体テーブルに被写体情報が登録されている被写体を意味する。
被写体情報は、例えば、被写体が写っている撮影画像から抽出される被写体の特徴量(被写体の画像そのものでもよい)を含み、ユニークなID(Identification)が付与されて、被写体テーブルに登録される。
ステップS22において、注目被写体が登録済みの被写体でないと判定された場合、すなわち、注目被写体の被写体情報が、被写体テーブルに登録されていない場合、処理は、ステップS23に進み、制御部11は、注目被写体(の被写体情報)を、被写体テーブルに登録し、処理は、ステップS24に進む。
ステップS24では、制御部11は、所望の状態に対して用意された複数のデフォルトの誘発処理の中から、1つの誘発処理を、コミュニケーション処理として、例えば、注目被写体に基づいて選択し、処理は、ステップS27に進む。
すなわち、制御部11では、注目被写体の年齢や、性別、住んでいる地域等の属性を認識することができ、上述の順位付け学習が済んでいる場合には、ステップS24において、順位付け学習の学習結果と注目被写体に基づいて、注目被写体の属性にとって効果的な誘発処理を、コミュニケーション処理として選択することができる。そのように選択されたコミュニケーション処理によれば、注目被写体を、迅速に所望の状態にすることができる。
また、順位付け学習が済んでいない場合であっても、被写体の属性ごとに、効果的な誘発処理を推定することができる場合には、その推定結果と注目被写体に基づいて、注目被写体の属性にとって効果的な誘発処理(例えば、注目被写体(の属性)が若い女性である場合に、若い女性に人気の傾向があるアイドルの画像を表示する誘発処理等)を、コミュニケーション処理として選択することができる。
その他、ステップS24では、注目被写体に関係なく、所望の状態に対して用意された複数のデフォルトの誘発処理の中から、1つの誘発処理を、コミュニケーション処理として、ランダムに選択することができる。
一方、ステップS22において、注目被写体が登録済みの被写体であると判定された場合、処理は、ステップS25に進み、注目被写体を、所望の状態にするために、コミュニケーション処理として行われた誘発処理の履歴であるコミュニケーション履歴が、注目被写体(の被写体情報)に対応付けて、被写体テーブルに登録されているかどうかを判定する。
ステップS25において、注目被写体についてのコミュニケーション履歴が登録されていないと判定された場合、処理は、ステップS24に進み、以下、上述した処理が行われる。
また、ステップS25において、注目被写体についてのコミュニケーション履歴が登録されていると判定された場合、処理は、ステップS26に進み、制御部11は、注目ユーザについてのコミュニケーション履歴を用いて、注目被写体を所望の状態にするのに効果的な誘発処理を求める学習を行い、その学習の結果に基づいて、注目被写体を所望の状態にするのに効果的な1つの誘発処理を、コミュニケーション処理として選択して、処理は、ステップS27に進む。
ここで、注目ユーザについてのコミュニケーション履歴には、注目被写体に対してコミュニケーション処理として行われた誘発処理が、その誘発処理が行われたときの注目被写体のリアクションと対応付けられている。
ステップS26の学習では、良いリアクション(注目被写体が所望の状態になるリアクション)に対応付けられた誘発処理が、効果的な誘発処理として求められる。
コミュニケーション履歴として、誘発処理に対応付けられるリアクションとしては、誘発処理(コミュニケーション処理)が行われてから、注目被写体が所定の状態になるまでの時間や、誘発処理が行われたときの注目被写体の表情等から予測される、注目被写体の感情を表す情報等を採用することができる。
例えば、所望の状態が、笑顔の状態である場合には、喜怒哀楽の感情のうちの喜びや楽しさの感情が大きく、誘発処理が行われてから笑顔になるまでの時間が短いリアクションに対応付けられた誘発処理が、良いリアクションに対応付けられた誘発処理として、ステップS26の学習で求められる。
なお、ステップS26の学習は、あらかじめ行っておくことができる。
以上のように、注目被写体についてのコミュニケーション履歴に基づいて、コミュニケーション処理として行う誘発処理を選択することで、注目被写体との過去のコミュニケーションから、効果的な誘発処理を、コミュニケーション処理として選択することができる。そして、注目被写体については、その注目被写体に対して、上述のような効果的な誘発処理が、コミュニケーション処理として行われるので、注目被写体を、迅速に所望の状態にすることができる。
すなわち、例えば、所望の状態が笑顔の状態である場合に、ある注目被写体に対して過去に行われたコミュニケーション処理の中で、注目被写体が、より笑顔になったコミュニケーション処理が行われるので、注目被写体を、効果的に笑顔にすることができる。
ステップS27では、制御部11は、ステップS24又はS26で、コミュニケーション処理として選択された誘発処理を、注目被写体のコミュニケーション履歴として被写体テーブルに追加(登録)し、処理を終了する。
なお、以上のようにして選択されたコミュニケーション処理は、図6のステップS15で実行され、その後、そのコミュニケーション処理としての誘発処理に対する注目被写体のリアクションが、コミュニケーション処理として実行された誘発処理に対応付けられ、被写体テーブルに登録される。
<所望の状態と誘発処理の例>
図8は、所望の状態と誘発処理の例を説明する図である。
所望の状態としては、例えば、被写体が笑顔になっている状態や、静止している状態、正対している状態、目を開いている状態、口を閉じている状態、姿勢が良い状態等を採用することができる。
被写体を笑顔の状態にする誘発処理(被写体を笑顔にするように誘発する処理と)しては、例えば、(いわゆるシャッタ(露光)のタイミング(撮影タイミング)を基準とする)出力タイミングや言い方等が異なる複数パターンの「笑って」メッセージの表示や、年齢層や性別ごとに異なる、楽しさや喜びの感情を起こさせる複数パターンの画像の表示、各地域で人気の傾向がある、地域ごとに異なる複数のコンテンツの出力、笑いを誘う複数パターンのジェスチャの出力等がある。
被写体を静止の状態にする誘発処理としては、例えば、出力タイミングや言い方等が異なる複数の「止まって」メッセージの表示や、年齢層や性別ごとに異なる、注意を喚起する複数パターンの画像の表示等がある。
被写体を正対の状態にする誘発処理としては、例えば、出力タイミングや言い方等が異なる複数パターンの「こっち向いて」メッセージの表示や、あめ玉の出力、注意を喚起する音やフラッシュする光の出力等がある。
被写体を、目が開いている状態にする誘発処理としては、例えば、出力タイミングや言い方等が異なる複数パターンの「目を開けて」メッセージの表示等がある。
被写体を、口が閉じている状態にする誘発処理としては、例えば、出力タイミングや言い方等が異なる複数パターンの「口を閉じて」メッセージの表示等がある。
被写体を、姿勢が良い状態にする誘発処理としては、例えば、出力タイミングや言い方等が異なる複数パターンの「顎をひいて」メッセージや「背筋を伸ばして」メッセージの表示等がある。
図6のステップS14(図7のステップS24及びS26)では、制御部11において、図8に示したように、所望の状態に対して複数パターン用意された誘発処理の中から、1つの誘発処理が、コミュニケーション処理として選択される。
なお、本実施の形態では、説明を簡単にするため、コミュにエーション処理としては、1つの誘発処理を選択することとするが、コミュニケーション処理としては、1つの誘発処理の他、2つ以上の誘発処理(の組み合わせ)を選択することができる。
すなわち、例えば、被写体を笑顔の状態にする場合には、所定パターンの「笑って」メッセージの表示を行う誘発処理と、笑いを誘う所定パターンのジェスチャの出力を行う誘発処理等の2つ以上の誘発処理を、コミュニケーション処理に選択することができる。
そして、2つ以上の誘発処理をコミュニケーション処理として選択した場合には、そのコミュニケーション処理としての2つ以上の誘発処理を、同時に、又は、時系列に実行することができる。
また、誘発処理の内容については、制御部11に、あらかじめ登録しておくことができる。さらに、通信部15において、外部のサーバと通信を行うことにより、そのサーバから、新たな誘発処理の内容を取得し、その新たな誘発処理の内容によって、制御部11に登録されている誘発処理の内容を更新することができる。
図9は、誘発処理を行うタイミングの例を説明する図である。
いま、所望の状態が、笑顔の状態であり、制御部11において、撮影画像に写る被写体から、その被写体が笑顔になっている度合いを表すスマイル度を求め、そのスマイル度に基づき、被写体が所望の状態としての笑顔の状態になっているかどうかを判定(検出)することとする。
図9は、スマイル度の時間変化の例を示している。
制御部11では、過去に行われた、「笑って」メッセージの出力(表示)等のコミュニケーション処理の開始時刻t0から、被写体のスマイル度が最大になる時刻t1までの時間(以下、リアクション時間ともいう)△Tを、コミュニケーション履歴に含めておくことができる。
そして、図7のステップS26の学習では、コミュニケーション履歴に含まれるリアクション時間△Tを用いて、コミュニケーション処理の開始から、スマイル度が最大になるまでのリアクション時間△Tを、被写体ごと等に求めておき、その後に行われるコミュニケーション処理については、例えば、被写体ごとに、「笑って」メッセージを出力する出力タイミング等の、コミュニケーション処理を開始する開始タイミングを調整することができる。
例えば、ある被写体について、コミュニケーション履歴を用いた学習によって、「笑って」メッセージの出力から、スマイル度が最大になるまでのリアクション時間として、時間△Tが得られた場合には、その被写体については、シャッタのタイミング(撮影タイミング)を基準として、時間△Tだけ前の出力タイミングで、「笑って」メッセージの出力を行うことで、スマイル度が最大の状態(最大に近い状態)の被写体を撮影することができる(可能性が高くなる)。
<笑顔で、動きぶれのない状態の被写体を撮影する処理>
図10は、図1の撮影装置において、笑顔で、静止した状態の被写体の撮影を行う処理の例を説明するフローチャートである。
図1の撮影装置では、所望の状態として、複数の状態を採用し、複数の所望の状態になっている被写体の撮影を行うことができる。
図10は、所望の状態として、笑顔の状態と、静止した状態(動きぶれのない状態)とを採用し、笑顔で、かつ、静止した状態の被写体の撮影を行う処理を説明するフローチャートである。
なお、図10では、複数の誘発処理の中からのコミュニケーション処理の選択の処理(図6のステップS14に相当する)については、説明を省略してある。
ステップS31において、撮影部13は、被写体を撮影し、その撮影によって得られる撮影画像を、制御部11に供給して、処理は、ステップS32に進む。
ステップS32では、制御部11は、撮影部13からの撮影画像等を用いて、被写体の状態を検出し、処理は、ステップS33に進む。
ステップS33では、制御部11は、被写体が笑顔の状態であるか(又は、笑顔の状態になりそうであるか)どうかを判定する。
ステップS33において、被写体が笑顔の状態でない(又は、笑顔の状態になりそうではない)と判定された場合、処理は、ステップS34に進み、コミュニケーション処理部12は、コミュニケーション処理として、笑顔の状態になることを誘発する誘発処理の1つとしての、例えば、「笑って」メッセージの出力(画像の表示又は音声の出力)を行い、処理は、ステップS31に戻る。
一方、ステップS33において、被写体が笑顔の状態であると判定された場合、処理は、ステップS35に進み、撮影部13は、笑顔の状態の被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS36に進む。
ステップS36では、制御部11は、ステップS35で撮影部13から供給された撮影画像に写る被写体に動きぶれがあるかどうかを判定する。
ステップS36において、撮影画像に写る被写体に動きぶれがあると判定された場合、処理は、ステップS37に進み、制御部11は、被写体に動きぶれがある撮影画像が、N回(N回は、例えば、あらかじめ設定された回数)連続で撮影されたかどうかを判定する。
ステップS37において、被写体に動きぶれがある撮影画像が、まだ、N回連続では撮影されていないと判定された場合、すなわち、被写体に動きぶれがある撮影画像が連続して撮影された回数が、N回未満である場合、処理は、ステップS31に戻り、以下、同様の処理が繰り返される。
また、ステップS37において、被写体に動きぶれがある撮影画像が、N回連続で撮影されたと判定された場合、すなわち、ある程度待っても、被写体が静止せずに、激しく動いており、その結果、動きぶれがない撮影画像を撮影することができない場合、処理は、ステップS38に進み、コミュニケーション処理部12は、コミュニケーション処理として、静止の状態になることを誘発する誘発処理の1つとしての、例えば、「止まって」メッセージの出力を行い、処理は、ステップS31に戻る。
そして、ステップS36において、撮影画像に写る被写体に動きぶれがないと判定された場合、すなわち、笑顔で、動きぶれのない状態の被写体を撮影することができた場合、制御部11は、その、笑顔で、動きぶれのない状態の被写体を撮影した撮影画像を記録部14に記録させ、処理を終了する。
なお、図10では、被写体に動きぶれがある撮影画像が、N回連続で撮影された場合に、被写体を静止の状態にすることを誘発するコミュニケーション処理としての「止まって」メッセージの出力を行うこととしたが、この「止まって」メッセージの出力を行う、いわば閾値としてのN回は、あらかじめ決められた固定の回数にする他、コミュニケーション履歴に基づき、可変の回数にすることができる。
すなわち、制御部11において、被写体を認識し、被写体が、過去に、「止まって」メッセージの出力が行われたことがある被写体である場合には、閾値としてのN回は、あらかじめ設定されたデフォルトの回数よりも少ない回数にすることができる。
例えば、過去に、何度も、「止まって」メッセージの出力が行われたことがある被写体については、閾値としてのN回は、例えば、0回に設定し、動きぶれがある撮影画像が撮影された場合に、即座に、「止まって」メッセージの出力を行うことができる。
この場合、例えば、日頃から元気に動き回る子供を被写体とするときには、動きぶれがない撮影画像を撮影することができないと、即座に、「止まって」メッセージが出力される。
<コミュニケーション処理に応じた撮影制御に従った撮影の処理>
図11は、図1の撮影装置で行われる、コミュニケーション処理に応じた撮影制御に従った撮影の処理の例を説明するフローチャートである。
ここで、例えば、上述のように、日頃から元気に動き回る子供を被写体とする場合には、「止まって」メッセージを出力しても、被写体である子供が、即座に静止するとは限らず、動き回ることを継続することがある。
この場合に、動きぶれがある撮影画像が撮影されたときと同様の設定(撮影部13の設定(シャッタスピード(露光時間)や、絞り、シャッタのタイミング等))で、再度、撮影を行っても、動きぶれがある撮影画像が撮影される可能性が高く、動き回っている被写体を、適切に撮影することが困難である。
そこで、図1の撮影装置では、被写体を適切に撮影すべく、コミュニケーション処理に応じた撮影制御を行い、その撮影制御に従った撮影を行うことができるようになっている。
すなわち、上述のように、動き回る被写体について、動きぶれがない撮影画像を撮影するために、コミュニケーション処理部12において、コミュニケーション処理としての、例えば、「止まって」メッセージの出力を行ったときには、制御部11(の撮影制御部11B)では、その「止まって」メッセージの出力に応じて、例えば、シャッタスピードを上げる撮影制御を行い、撮影部13は、その撮影制御に従って、シャッタスピードを上げて、被写体を撮影する。
その結果、「止まって」メッセージの出力後、被写体が、動き回り続けていたとしても、その被写体を、適切に撮影すること、すなわち、動きぶれのない、又は、動きぶれの低減した撮影画像を撮影することができる。
図11は、以上のような撮影の処理を説明するフローチャートである。
ステップS51において、制御部11は、複数の誘発処理の中から、1つの誘発処理を、コミュニケーション処理として選択し、そのコミュニケーション処理を実行するように、コミュニケーション処理部12を制御して、処理は、ステップS52に進む。
ここで、ステップS51でのコミュニケーション処理の選択は、例えば、図7で説明したように行うことができる。また、ステップS51でのコミュニケーション処理の選択では、図8で説明したように、コミュニケーション処理として、1つの誘発処理の他、2つ以上の誘発処理を選択することができる。
ステップS52では、コミュニケーション処理部12は、制御部11の制御に従い、ステップS51で選択されたコミュニケーション処理を実行し、処理は、ステップS53に進む。
ステップS53では、制御部11は、コミュニケーション処理12が実行したコミュニケーション処理に応じて、撮影部13を制御する撮影制御を行い、撮影部13は、その撮影制御に従って、被写体を撮影する。
さらに、ステップS53では、撮影部13が、被写体の撮影の結果得られる撮影画像を、制御部11に供給して、処理は、ステップS54に進む。
ステップS54では、制御部11は、撮影部13からの撮影画像を記録部14に記録させ、処理を終了する。
以上のように、コミュニケーション処理に応じて、撮影制御を行い、その撮影制御に従って、被写体を撮影することで、被写体を、適切に撮影することができる。
以下、コミュニケーション処理に応じて、撮影制御を行い、その撮影制御に従って、被写体を撮影する撮影処理の具体例について、動きぶれのない状態の被写体を撮影する場合、ジャンプしている状態の被写体を撮影する場合、及び、正対している状態の被写体を撮影する場合を例に説明する。
<動きぶれのない状態の被写体を撮影する場合の撮影処理>
図12は、動きぶれのない状態の被写体を撮影する場合の撮影処理の例を説明するフローチャートである。
ステップS61において、撮影部13は、被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS62に進む。
ステップS62では、制御部11は、撮影部13から供給された撮影画像に写る被写体に動きぶれがあるかどうかを判定する。
ステップS62において、撮影画像に写る被写体に動きぶれがあると判定された場合、すなわち、被写体が動いているために、撮影画像に写る被写体に動きぶれが生じている場合、処理は、ステップS63に進む。
ステップS63では、制御部11は、静止の状態になることを誘発する誘発処理の1つとしての、例えば、「止まって」メッセージの出力を、コミュニケーション処理として選択し、そのコミュニケーション処理を実行するように、コミュニケーション処理部12を制御して、処理は、ステップS64に進む。
ステップS64では、コミュニケーション処理部12は、制御部11の制御に従い、コミュニケーション処理としての「止まって」メッセージの出力を行い、処理は、ステップS65に進む。
ステップS65では、制御部11は、ステップS64で行ったコミュニケーション処理としての「止まって」メッセージの出力に応じて、シャッタスピードを上げるように、撮影部13の撮影制御を行う。
さらに、ステップS65では、撮影部13が、制御部11の撮影制御に従って、例えば、通常のオートで設定される基準値よりもシャッタスピードを上げて(速めて)、被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS66に進む。
一方、ステップS62において、撮影画像に写る被写体に動きぶれがないと判定された場合も、処理は、ステップS66に進む。
ステップS66では、制御部11は、撮影部13からの撮影画像を記録部14に記録させ、処理を終了する。
以上のように、被写体が動いているために、撮影画像に動きぶれが生じる場合には、動きぶれがない撮影画像を撮影するために、コミュニケーション処理部12において、コミュニケーション処理としての「止まって」メッセージの出力が行われ、その「止まって」メッセージの出力に応じて、シャッタスピードを上げる撮影制御が行われる。そして、撮影部13では、その撮影制御に従って、シャッタスピードを上げて、被写体が撮影される。
したがって、「止まって」メッセージの出力後、被写体が、動き続けている場合や、動きの速度を緩めつつ動いている場合でも、その被写体を、適切に撮影すること、すなわち、動きぶれのない、又は、動きぶれの低減した撮影画像を撮影することができる。
なお、ステップS65では、シャッタスピードを上げる撮影制御の他、例えば、撮影タイミングを調整する撮影制御を行うことができる。
すなわち、例えば、被写体を認識し、被写体が、コミュニケーション処理としての「止まって」メッセージの出力から静止するまでの時間(この時間も、以下、適宜、リアクション時間という)を学習し、コミュニケーション処理としての「止まって」メッセージの出力を行う場合には、その「止まって」メッセージの出力から、学習の結果得られるリアクション時間が経過したタイミングを、撮影タイミングとするように、撮影部13の撮影制御を行うことができる。
リアクション時間の学習は、被写体となるユーザごとに行うことや、年齢層ごと、性別ごと等に、被写体を分類して行うこともできるし、そのような分類なしで行うこともできる。
<ジャンプしている状態の被写体を撮影する場合の撮影処理>
図13は、ジャンプしている状態の被写体を撮影する場合の撮影処理の例を説明するフローチャートである。
ステップS71において、制御部11は、ジャンプしている状態になることを誘発する誘発処理の1つとしての、例えば、「ジャンプして」メッセージの出力を、コミュニケーション処理として選択し、そのコミュニケーション処理を実行するように、コミュニケーション処理部12を制御して、処理は、ステップS72に進む。
ステップS72では、コミュニケーション処理部12は、制御部11の制御に従い、コミュニケーション処理としての「ジャンプして」メッセージの出力を行い、処理は、ステップS73に進む。
ステップS73では、制御部11は、ステップS72で行ったコミュニケーション処理としての「ジャンプして」メッセージの出力に応じて、撮影部13の撮影モードを、静止画の連写モード、又は、動画のハイフレームレートモードに設定するように、撮影部13の撮影制御を行う。
さらに、ステップS73では、撮影部13が、制御部11の撮影制御に従って、撮影モードを、静止画の連写モード、又は、動画のハイフレームレートモードに設定して、被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS74に進む。
ステップS74では、制御部11は、撮影部13からの撮影画像を記録部14に記録させ、処理を終了する。
ここで、撮影部13の撮影モードとしては、例えば、動画を撮影する動画モードと、静止画を撮影する静止画モードとがある。
さらに、動画モードの中には、例えば、動画を、所定のフレームレートである通常フレームレートで撮影する通常フレームレートモードと、通常フレームレートよりも高いフレームレートであるハイフレームレートで撮影するハイフレームレートモードとがある。
また、静止画モードの中には、例えば、静止画を1枚撮影するモード、静止画を連写するモード、及び、タイムラプス(Timelapse)撮影(コマ撮り)を行うモードがある。
コミュニケーション処理としての「ジャンプして」メッセージの出力に応じて、撮影部13の撮影モードを、静止画の連写モード、又は、動画のハイフレームレートモードに設定する撮影制御を行うことにより、ジャンプした被写体を、適切に撮影することができる。
すなわち、「ジャンプして」メッセージの出力に応じて、撮影モードが、静止画の連写モード、又は、動画のハイフレームレートモードに設定する撮影制御が行われるので、撮影部13では、連写モード、又は、動画のハイフレームレートモードで、撮影が行われる。
したがって、「ジャンプして」メッセージの出力に対して、被写体がジャンプした場合には、そのジャンプしている被写体が、連写モード、又は、動画のハイフレームレートモードで撮影され、その結果、ジャンプしている被写体の一瞬一瞬を捉えた撮影画像を得ることができる。
なお、ハイフレームレートモードでの撮影では、動画のフレームレートを一定のハイフレームレートのまま撮影を行うこともできるし、例えば、被写体がジャンプの最高点に向かうにつれて、フレームレートが高くなるような可変のフレームレートでの撮影を行うこともできる。
また、コミュニケーション処理としての「ジャンプして」メッセージの出力に応じて行う撮影制御としては、撮影モードの制御(設定)の他、撮影タイミングの制御(調整)や、撮影画像に対するエフェクト(ピクチャエフェクト)の制御、撮影装置の移動制御、撮影部13の撮影方向の制御等を採用することができる。
すなわち、撮影タイミングの制御については、例えば、被写体がジャンプの最高点に到達するタイミングで撮影が行われるように、撮影タイミングを制御することができる。
エフェクトの制御については、例えば、被写体のジャンプを強調するようなブラーを背景にかけるエフェクトが実行されるように、エフェクトを制御することができる。
撮影装置の移動制御については、例えば、撮影装置が、図5に示したように、移動可能なペット型ロボットである場合には、被写体のジャンプに合わせて流し撮りになるように、撮影装置を移動する制御を行うことができる。
撮影部13の撮影方向の制御については、例えば、撮影装置が、図5に示したように、ペット型ロボットであり、撮影部13を内蔵する頭部51を動かして、撮影部13の撮影方向を調整することができる場合には、被写体のジャンプに合わせて流し撮りになるように、撮影部13の撮影方向を、被写体に追従させる制御を行うことができる。
<正対している状態の被写体を撮影する場合の撮影処理>
図14は、正対している状態の被写体を撮影する場合の撮影処理の例を説明するフローチャートである。
ステップS81において、撮影部13は、被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS82に進む。
ステップS82では、制御部11は、撮影部13から供給された撮影画像に写る被写体が正対していない(横向きになっている)かどうかを判定する。
ステップS82において、被写体が正対していないと判定された場合、すなわち、被写体(の顔)が横向きである場合、処理は、ステップS83に進む。
ステップS83では、制御部11は、被写体が正対している状態になることを誘発する誘発処理の1つとしての、例えば、「こっち向いて」メッセージの出力を、コミュニケーション処理として選択し、そのコミュニケーション処理を実行するように、コミュニケーション処理部12を制御して、処理は、ステップS84に進む。
ステップS84では、コミュニケーション処理部12は、制御部11の制御に従い、コミュニケーション処理としての「こっち向いて」メッセージの出力を行い、処理は、ステップS85に進む。
ステップS85では、制御部11は、ステップS84で行ったコミュニケーション処理としての「こっち向いて」メッセージの出力に応じて、被写体の顔の動きの検出を開始し、その顔の動きの減速を確認した後のタイミングを撮影タイミングとするように、撮影部13の撮影制御を行う。
さらに、ステップS85では、撮影部13が、制御部11の撮影制御に従った撮影タイミングで、被写体を撮影し、その結果得られる撮影画像を、制御部11に供給して、処理は、ステップS86に進む。
一方、ステップS82において、撮影画像に写る被写体が正対している(横向きでない)と判定された場合も、処理は、ステップS86に進む。
ステップS86では、制御部11は、撮影部13からの撮影画像を記録部14に記録させ、処理を終了する。
以上のように、被写体が横を向いて正対していない場合には、正対した状態の被写体を撮影するために、コミュニケーション処理部12において、コミュニケーション処理としての「こっち向いて」メッセージの出力が行われ、その「こっち向いて」メッセージの出力に応じて、顔の動きの減速を確認した後のタイミングを撮影タイミングとする撮影制御が行われる。そして、撮影部13では、その撮影制御に従った撮影タイミングで、被写体が撮影される。
したがって、「こっち向いて」メッセージの出力後、被写体が、顔を、(撮影部13の)撮影方向に向ける動作を開始し、撮影方向に正対しつつあるために、顔の動きを減速すると、その減速の確認後のタイミングで、すなわち、被写体が撮影方向に(ほぼ)正対したタイミングで撮影が行われる。
その結果、被写体を、適切に撮影すること、すなわち、正対している状態の被写体が写った撮影画像を撮影することができる。
<コミュニケーション処理(とする誘発処理)の選択>
図15は、図11のステップS51において、複数の誘発処理の中から、1つの誘発処理を、コミュニケーション処理として選択する処理の例を説明するフローチャートである。
ステップS91において、制御部11は、例えば、撮影部13において撮影される(いわゆるスルー画としての)撮影画像に基づき、被写体が、複数人であるかどうかを判定する。
ステップS91において、被写体が複数人でないと判定された場合、すなわち、被写体が1人であると判定された場合、制御部11は、複数の誘発処理の中から、1人の被写体用の誘発処理の1つを、コミュニケーション処理として選択し、処理を終了する。
ここで、複数の誘発処理には、1人の被写体とコミュニケーションをとるための1人の被写体用の誘発処理と、複数人の被写体とコミュニケーションをとるための複数人の被写体用の誘発処理とがある。
さらに、複数人の被写体用の誘発処理には、複数人の被写体の中に、主たる被写体である主要被写体が存在する場合用の誘発処理が含まれており、その主要被写体が存在する場合用の誘発処理には、複数の被写体のうちの主要被写体とコミュニケーションをとるための主要被写体用の誘発処理と、主要被写体以外の被写体とコミュニケーションをとるための誘発処理とがある。
ステップS92では、以上のような複数の誘発処理の中から、1人の被写体用の誘発処理の1つが、コミュニケーション処理として選択される。
一方、ステップS91において、被写体が複数人であると判定された場合、処理は、ステップS93に進み、制御部11は、例えば、撮影部13において撮影される撮影画像に基づき、その撮影画像に写る複数人の被写体の関係を判定して、処理は、ステップS94に進む。
ここで、複数人の被写体の関係については、例えば、撮影者であるユーザが、撮影装置に、被写体の情報(例えば、父親(母親)と息子(娘)の親子である、友達である等の情報)を入力することで、その情報に基づいて判定することができる。
また、複数人の被写体の関係については、例えば、制御部11において、過去に撮影された撮影画像に写る被写体の年齢層や性別を推定し、その推定結果や、撮影画像に写る複数の被写体の状態(例えば、1人の被写体が、他の1人の被写体を抱いている状態や、複数人の被写体が並んでいる状態等)に基づいて、複数人の被写体の関係を学習することにより、その学習の結果に基づいて判定することができる。
ステップS94では、制御部11は、複数人の被写体の中に、主要被写体が存在するかどうかを、複数人の被写体の関係等に基づいて判定する。
ここで、ステップS94では、例えば、複数人の被写体の関係が、友達どうしである場合には、その友達である複数人の被写体全員の撮影が目的であると推定されるため、特に、主要被写体が存在しないと判定することができる。
また、ステップS94では、例えば、複数人の被写体の関係が、父親と子供の親子である場合には、子供の撮影が目的であると推定されるため、子供が主要被写体であると判定することができる。
なお、その他、例えば、撮影装置の動作モードとして、子供(赤ちゃん)を優先する子供優先モードを設けておき、ユーザ(撮影者)が、動作モードを、子供優先モードに設定するように操作を行った場合には、ステップS93での複数人の被写体の関係の判定結果に関係なく、複数人の被写体の中に、子供が存在すれば、その子供を、主要被写体として扱うことができる。
ステップS94において、複数人の被写体の中に、主要被写体が存在しないと判定された場合、処理は、ステップS95に進み、制御部11は、複数人の被写体用の誘発処理のうちの、主要被写体が存在する場合用の誘発処理以外の誘発処理の1つを、コミュニケーション処理として選択し、処理を終了する。
また、ステップS94において、複数人の被写体の中に、主要被写体が存在すると判定された場合、処理は、ステップS95に進み、制御部11は、複数の被写体の関係等に応じて、主要被写体が存在する場合用の誘発処理のうちの、主要被写体用の誘発処理の1つ、又は、主要被写体以外の被写体とコミュニケーションをとるための誘発処理の1つを、コミュニケーション処理として選択し、処理を終了する。
図15のコミュニケーション処理の選択の処理によれば、例えば、複数人の被写体の関係が、(父)親と子供の親子である場合には、主要被写体としての子供が存在すると判定される。
また、主要被写体が存在する場合用の誘発処理には、例えば、主要被写体である子供を笑顔の状態にするため、「笑って」メッセージの出力のような、笑顔になることを直接的に誘発するメッセージの出力の他、複数人の被写体の関係に応じた「パパと一緒でいいなぁ」メッセージの出力のような、笑顔になることを間接的に誘発するメッセージの出力や、主要被写体である子供に適切なコンテンツの出力等が含まれる。
したがって、主要被写体としての子供が存在する場合には、主要被写体用の誘発処理の1つである、例えば、「パパと一緒でいいなぁ」メッセージの出力を、コミュニケーション処理として選択することができる。
この場合、主要被写体としての子供に対して、「パパと一緒でいいなぁ」メッセージが出力される。
また、主要被写体が存在する場合用の誘発処理には、主要被写体以外の被写体とコミュニケーションをとるための誘発処理として、例えば、主要被写体である子供を所定の状態に誘導すること等を、主要被写体ではない親に指示する誘導指示メッセージの出力等が含まれる。
誘導指示メッセージとしては、例えば、主要被写体ではない親に対して、主要被写体である子供を、あやすこと等によって、子供が笑顔の状態等の適切な状態になるように誘導することを指示するメッセージを採用することができる。
主要被写体としての子供が存在する場合には、主要被写体以外の被写体とコミュニケーションをとるための誘発処理の1つである誘導指示メッセージの出力を、コミュニケーション処理として選択することができる。
この場合、主要被写体ではない親に対して、主要被写体である子供を、あやすこと等によって、子供が笑顔の状態等の適切な状態になるように誘導することを指示する誘導指示メッセージが出力される。
ここで、誘導指示メッセージは、コミュニケーション処理部12において、例えば、いわゆるカンペ(crib sheet)のように表示することができる。
以上のように、複数人の被写体が存在する場合には、例えば、親子等の、複数人の被写体の関係を考慮して、コミュニケーション処理とする誘発処理を選択することができる。
なお、複数人の被写体が存在する場合には、その複数人の被写体の関係を考慮して、コミュニケーション処理とする誘発処理の選択を行う他、撮影制御を行うことができる。
すなわち、例えば、複数人の被写体が親子であり、主要被写体である子供が存在する場合には、その主要被写体である子供を中心とするフレーミングとなるように、ズームの調整や、フォーカスの調整、撮影装置としてのペット型ロボットの移動、撮影部13の撮影方向の調整等の撮影制御を行うことができる。
<コミュニケーション処理に応じた撮影制御>
図16は、図11のステップS53での、コミュニケーション処理に応じて行われる撮影制御の例を説明するフローチャートである。
撮影制御は、例えば、コミュニケーション処理に対して、被写体がとったリアクションに応じて行うことができる。
図16のAは、コミュニケーション処理に対する被写体のリアクションに応じて行われる撮影制御の第1の例を説明するフローチャートである。
図16のAでは、ステップS101において、制御部11は、コミュニケーション処理に対してリアクションをとった被写体を検出し、処理は、ステップS102に進む。
ステップS102では、制御部11は、コミュニケーション処理に対するリアクションをとった被写体にフレーミングする撮影制御、又は、フォーカスを合わせる撮影制御を行って、処理を終了する。
図16のBは、コミュニケーション処理に対する被写体のリアクションに応じて行われる撮影制御の第2の例を説明するフローチャートである。
図16のBでは、ステップS111において、制御部11は、コミュニケーション処理に対して被写体がとったリアクションに応じたエフェクトを撮影画像にかける撮影制御を行って、処理を終了する。
ここで、コミュニケーション処理に対して被写体がとったリアクションに応じたエフェクトとしては、例えば、被写体がジャンプするリアクションをとった場合には、そのジャンプを効果的に見せるエフェクトを採用することができる。
また、例えば、被写体が笑うリアクションをとった場合には、楽しげな感情を想起させるエフェクト(例えば、花や星等のイラストのオーバレイや、背景の色彩をピンク色にする等)を採用することができる。
図16のCは、コミュニケーション処理に対する被写体のリアクションに応じて行われる撮影制御の第3の例を説明するフローチャートである。
図16のCでは、ステップS121において、制御部11は、コミュニケーション処理に対して被写体がとったリアクションに応じた撮影モードを設定する撮影制御を行って、処理を終了する。
ここで、コミュニケーション処理に対して被写体がとったリアクションに応じた撮影モードとしては、例えば、被写体がおもしろい動きのリアクションをとった場合には、動画の通常フレームレートモードを採用することができる。
また、例えば、被写体が激しい動きのリアクションをとった場合には、静止画の連写モードを採用することができる。
<撮影画像の記録>
図17は、図11のステップS54(その他、図12のステップS66、図13のステップS74、及び、図14のステップS86、並びに、図6のステップS16、及び、図10のステップS39)において、記録部14が行う撮影画像の記録の処理の例を説明するフローチャートである。
ステップS141において、記録部14は、制御部11から供給される撮影画像を、その撮影画像の撮影時に行われたコミュニケーション処理に関するコミュニケーション情報と対応付けて記録し、処理を終了する。
ここで、コミュニケーション処理に関するコミュニケーション情報としては、例えば、コミュニケーション処理の内容(カテゴリ)を表す情報を採用することができる。
例えば、コミュニケーション処理が、「笑って」メッセージの出力である場合には、その「笑って」メッセージを表すタグを、コミュニケーション情報として採用することができる。
以上のようなコミュニケーション情報は、撮影画像のメタデータとして記録することができ、かかるコミュニケーション情報は、撮影画像を整理(分類)する場合等に利用することができる。
また、コミュニケーション処理が、画像(動画又は静止画)の表示である場合には、その画像(コミュニケーション処理において表示された画像そのものの他、その画像の縮小画像や、その画像をシンボル化した画像等を含む)を、コミュニケーション情報として採用することができる。
さらに、コミュニケーション処理が、動画の表示である場合には、コミュニケーション処理での動画の表示時に、ユーザのリアクションの動画(以下、リアクション動画ともいう)を撮影し、コミュニケーション処理において表示された動画の直後に、リアクション動画を追加した動画を、コミュニケーション情報に採用することができる。
この場合、撮影画像の撮影時のコミュニケーション処理において表示された動画と、その動画を見て被写体がとったリアクションとを確認することができる。
また、コミュニケーション処理が、静止画の表示であり、コミュニケーション情報として、そのコミュニケーション処理において表示された静止画を採用する場合には、撮影画像の再生時に、例えば、その撮影画像と対応付けられたコミュニケーション情報としての静止画(の縮小画像)を、撮影画像にオーバレイ表示することができる。
この場合、撮影画像を撮影したときに行われたコミュニケーション処理において表示された静止画を確認することができる。
<コミュニケーション処理、及び、撮影制御の処理ルールの学習>
図18は、コミュニケーション処理、及び、撮影制御の処理ルールの学習の処理の例を説明するフローチャートである。
ここで、コミュニケーション処理や撮影制御については、例えば、過去に実行されたコミュニケーション処理と、そのコミュニケーション処理に対する被写体のリアクションとを対応付けた履歴であるコミュニケーション履歴を用いて、コミュニケーション処理や撮影制御の処理ルールを学習し、その学習の結果得られる処理ルールに従って、その後のコミュニケーション処理や撮影制御を行うことができる。
図18は、以上のような処理ルールの学習の処理(以下、ルール学習処理ともいう)の例を説明するフローチャートである。
ルール学習処理は、例えば、コミュニケーション処理が実行された後に行うことができる。
ルール学習処理では、ステップS151において、制御部11は、コミュニケーション処理部12が実行したコミュニケーション処理と、そのコミュニケーション処理に対する被写体のリアクション(表情や動作等)とを対応付け、コミュニケーション履歴として、例えば、記録部14に記録させて、処理は、ステップS152に進む。
ステップS152では、制御部11は、コミュニケーション履歴を用いて、コミュニケーション処理(として選択される誘発処理)や撮影制御の処理ルールを学習(更新)し、処理を終了する。
ここで、コミュニケーション処理の処理ルールとしては、例えば、コミュニケーション処理において出力するコンテンツを決定する第1のルールや、コミュニケーション処理においてコンテンツを出力する出力方法を決定する第2のルール、コミュニケーション処理においてコンテンツを出力する出力タイミングを決定する第3のルール等がある。
また、撮影制御の処理ルールとしては、例えば、撮影タイミングを決定する第4のルール等がある。
ルール学習処理では、第1のルールは、例えば、被写体のスマイル度をより高くしたコンテンツを、コミュニケーション処理において出力するコンテンツに決定するように更新することができる。また、被写体が1人の場合と複数人の場合とで、コミュニケーション処理において出力するコンテンツを変更するように更新することができる。
かかるルール学習処理において更新された第1のルールによれば、例えば、被写体のスマイル度をより高くしたコンテンツを、コミュニケーション処理において出力することができる。また、被写体が1人の場合と複数人の場合とで、異なるコンテンツを出力することができる。
また、ルール学習処理では、第2のルールは、例えば、音声、及び、画像によるコンテンツの出力方法のうちの、被写体のリアクションの良さを表すリアクション度が高い出力方法を、コミュニケーション処理においてコンテンツを出力する出力方法に決定するように更新することができる。
かかるルール学習処理において更新された第2のルールによれば、例えば、コミュニケーション処理において、音声、及び、画像のうちの、被写体のリアクションが良い方で、コンテンツを出力することができる。
さらに、ルール学習処理では、第3のルールは、例えば、動きぶれが生じやすい被写体に対して、「止まって」メッセージが早めの出力タイミングで出力されるように更新することができる。
かかるルール学習処理において更新された第3のルールによれば、例えば、コミュニケーション処理において、動きぶれが生じやすい被写体に対して、「止まって」メッセージを早めに出力し、早めに静止することを誘発することができる。
また、ルール学習処理では、第4のルールは、コミュニケーション処理においてコンテンツを出力してから、被写体がリアクションをとるまでの時間を考慮して、撮影タイミングを決定するように更新することができる。
かかるルール学習処理において更新された第4のルールによれば、例えば、コミュニケーション処理においてコンテンツを出力してから、被写体がリアクションをとるまでの時間を考慮して、撮影タイミングを制御することができる。
<本技術を適用した撮影装置の他の一実施の形態>
図19は、本技術を適用した撮影装置の他の一実施の形態の構成例を示すブロック図である。
なお、図中、図1の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図19の撮影装置は、制御部11ないし位置情報取得部16を有する点で、図1の場合と共通する。但し、図19の撮影装置は、移動制御部17、及び、移動部18を有する点で、図1の場合と相違する。
移動制御部17は、制御部11の制御に従い、移動部18を駆動することで、撮影装置を移動させる移動制御を行う。
移動部18は、例えば、図5に示したペット型ロボットの脚や、撮影装置を自動車のごとく走行させる車輪、撮影装置をヘリコプタのごとく飛行させるプロペラ(ロータ)、撮影装置をモータボートや潜水艦のごとく走行させるプロペラ等の、撮影装置を移動させる機構である。
以上のように構成される撮影装置では、移動制御部17の移動制御に従って、移動部18が駆動し、これにより、撮影装置が移動する。
移動制御部17の移動制御によれば、撮影装置を移動することによって、撮影時の撮影装置の位置や撮影方向を調整する撮影制御を行うことができる。
<本技術を適用したコンピュータの説明>
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図20は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
<1>
被写体を撮影する撮影部と、
前記被写体とコミュニケーションをとるためのコミュニケーション処理を制御するコミュニケーション制御部と、
前記コミュニケーション処理に応じて、前記撮影部による撮影を制御する撮影制御を行う撮影制御部と
を備える撮影装置。
<2>
前記コミュニケーション処理として、前記被写体が所定の状態になるように誘発する誘発処理が行われる
<1>に記載の撮影装置。
<3>
前記撮影制御として、撮影モードの制御を行う
<1>又は<2>に記載の撮影装置。
<4>
前記撮影モードとして、静止画を1枚撮影するモード、静止画を連写するモード、タイムラプス撮影を行うモード、動画を通常フレームレートで撮影するモード、及び、動画をハイフレームレートで撮影するモードのうちの2以上のモードを有する
<3>に記載の撮影装置。
<5>
前記コミュニケーション処理として、前記被写体が所定の行動をとるように誘発する前記誘発処理が行われる
<1>又は<2>に記載の撮影装置。
<6>
前記撮影制御として、前記撮影部による撮影のシャッタスピードの制御を行う
<1>、<2>、又は、<5>に記載の撮影装置。
<7>
前記撮影制御として、前記撮影部の撮影タイミングの制御を行う
<1>、<2>、又は、<5>に記載の撮影装置。
<8>
前記撮影制御として、前記撮影部により撮影された撮影画像に対するエフェクトの制御を行う
<1>、<2>、又は、<5>に記載の撮影装置。
<9>
前記撮影制御として、前記撮影装置の移動制御、及び、前記撮影部の撮影方向の制御のうちの一方又は両方を行う
<1>、<2>、又は、<5>に記載の撮影装置。
<10>
前記コミュニケーション処理として、前記被写体が所定のポーズをとるように誘発する前記誘発処理が行われる
<1>ないし<9>のいずれかに記載の撮影装置。
<11>
前記コミュニケーション処理として、前記被写体が笑顔になるように誘発する前記誘発処理、前記被写体が静止するように誘発する前記誘発処理、又は、前記被写体がジャンプするように誘発する前記誘発処理が行われる
<10>に記載の撮影装置。
<12>
前記コミュニケーション処理として、前記被写体の撮影が所定の向きで行われるように誘発する前記誘発処理が行われる
<1>ないし<9>のいずれかに記載の撮影装置。
<13>
前記コミュニケーション処理として、前記被写体が正対するように誘発する前記誘発処理が行われる
<12>に記載の撮影装置。
<14>
複数人の被写体が存在し、その複数人の被写体の中に、主たる被写体である主要被写体が存在する場合、前記コミュニケーション制御部は、前記主要被写体とコミュニケーションをとるためのコミュニケーション処理を行わせる
<1>ないし<13>のいずれかに記載の撮影装置。
<15>
前記撮影制御部は、前記コミュニケーション処理に対してリアクションをとった被写体、又は、前記コミュニケーション処理に対して被写体がとったリアクションに応じて、前記撮影制御を行う
<1>ないし<14>のいずれかに記載の撮影装置。
<16>
前記撮影部による撮影時に行った前記コミュニケーション処理に関するコミュニケーション情報を、前記撮影部により撮影された撮影画像と対応付けて記録する記録部をさらに備える
<1>ないし<15>のいずれかに記載の撮影装置。
<17>
実行されたコミュニケーション処理と、そのコミュニケーション処理に対する被写体のリアクションとを対応付け、コミュニケーション履歴として記録し、
前記コミュニケーション履歴に基づいて、前記コミュニケーション処理、又は、撮影制御を行う
<1>ないし<16>のいずれかに記載の撮影装置。
<18>
前記コミュニケーション処理を行うコミュニケーション処理部をさらに備える
<1>ないし<17>のいずれかに記載の撮影装置。
<19>
被写体とコミュニケーションをとるためのコミュニケーション処理に応じて、前記被写体を撮影する撮影部による撮影を制御する撮影制御を行う
ステップを含む撮影方法。
<20>
被写体とコミュニケーションをとるためのコミュニケーション処理を制御するコミュニケーション制御部と、
前記コミュニケーション処理に応じて、前記被写体を撮影する撮影部による撮影を制御する撮影制御を行う撮影制御部と
して、コンピュータを機能させるためのプログラム。