以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
<使用場面の説明>
図1は、本発明の第一の実施形態による撮影システムを説明する図である。図1において、カメラ51と、高機能携帯電話機100と、によって撮影システムが構成される。カメラ51は、三脚52にセットされている。また、カメラ51は無線通信ユニットを搭載する。
無線通信ユニットは、カメラ51の筐体内に搭載される他、カメラ51の筐体外部のアクセサリ端子などに装着させるものでもよい。
人物1は、スマートフォンと呼ばれる高機能携帯電話機100を携帯している。高機能携帯電話機100は、オペレーティングシステム(OS)と呼ばれる基本プログラムを実行した上で、OS上で動作する所定のアプリケーションプログラム(以下、単にアプリと呼ぶ)を実行する。スマートフォンは公知であるので、本実施形態の説明では高機能携帯電話機100の詳細な説明を省略するが、後述する第三の実施形態の説明において図10に例示するものと同様である。
高機能携帯電話機100が、例えばカメラ用のアプリを実行した場合、高機能携帯電話機100はカメラとして動作し、高機能携帯電話機100が、情報提供用のアプリを実行した場合、高機能携帯電話機100はセンシング機器として動作する。本実施形態では、高機能携帯電話機100をセンシング機器として使用するので、以降、情報提供用のアプリを実行した高機能携帯電話機100をセンシング機器100と呼ぶ。
センシング機器100は、例えば、カメラ51との間で無線LANを介してPTP(Picture Transfer Protocol)接続を行い、PTP接続中のカメラ51へセンシング情報を送信する。本実施形態では、センシング機器100に内蔵される角加速度センサによって検出される角加速度信号や、センシング機器100に内蔵される加速度センサによって検出される加速度信号をセンシング情報とする。
図1の使用場面において、人物1は、カメラ51を操作して自分撮りモードを起動させる。自分撮りモードは、カメラ51を操作した人物1がカメラ51の撮影画角内まで移動して略停止した場合に、カメラ51が自動で人物1を含む撮影を行うモードである。
カメラ51は、自分撮りモードが起動された以降にセンシング機器100から送信されるセンシング情報に基づいて人物1の移動軌跡を求め、この移動軌跡に基づいてカメラ51の撮影画角内で人物1が略停止したことを判定すると、撮影処理を行う。
<カメラの説明>
図2は、上記カメラ51の構成例を説明するブロック図である。図2において、カメラ51は、撮像光学系11と、撮像素子12と、画像データ受信部13と、画像処理回路14と、LCDモニタ15と、RAM16と、フラッシュメモリ17と、CPU18と、通信制御回路19と、操作部材20と、を備える。
画像処理回路14、LCDモニタ15、通信制御回路19、RAM16、フラッシュメモリ17、およびCPU18は、それぞれバス21を介して接続されている。
撮像光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の撮像面に結像させる。なお、図2を簡単にするため、撮像光学系11を単レンズとして図示している。撮像素子12は、CMOSイメージセンサなどで構成され、撮像面上の被写体像を撮像する。撮像素子12からは、明るさに応じた光電変換信号(画像データ)が画素ごとに読み出される。
画像データ受信部13は、撮像素子12から読み出された画像データを受信し、画像処理回路14へ送る。画像処理回路14は、画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。
LCDモニタ15は液晶パネルによって構成され、CPU18からの指示に応じて画像や操作メニュー画面などを表示する。RAM16はCPU18のワークメモリとして使用される。また、RAM16は、画像処理回路14による画像処理工程における画像データを一時的に記憶する。フラッシュメモリ17は、CPU18が実行するプログラムを記憶する。
CPU18は、フラッシュメモリ17が記憶するプログラムを実行することにより、カメラ51の動作を制御する。CPU18は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、例えば、画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求めるコントラスト検出方式を用いる。露出(AE)演算は、例えば、フォーカス調節の対象とされている領域の画像信号に基づいて演算を行う。
操作部材20は、メインスイッチ、レリーズボタンおよびメニュースイッチなどを含む。操作部材20は、メインスイッチ操作やレリーズ操作、メニュー選択操作、シャッター速度の変更操作など、各操作に応じた操作信号をCPU18へ送出する。CPU18は、操作部材20からの操作信号の入力を監視する。
CPU18は、自分撮りモード時にセンシング機器100から送信されるセンシング情報、すなわち角加速度検出信号および加速度検出信号に基づいて、人物1の移動軌跡を算出するとともに、人物1が略停止状態にあるか否かを判断する。移動軌跡を算出することによって、カメラ51を基準にした人物1の位置を求めることができる。また、センシング機器100の揺動の大きさから、人物1が移動中であるか、移動を停止した状態であるかを判断できる。
CPU18は、通常の撮影モード時にレリーズボタンの押下(全押し)操作信号を受けた場合に加えて、自分撮りモード時に人物1がカメラ51の撮影画角内で略停止したことを判定した場合に、図2の各ブロックへ指示を送って撮影処理を開始させる。つまり、自分撮りモード時におけるカメラ51の撮影タイミングは、センシング機器100から送信されるセンシング情報に基づいてカメラ51のCPU18が決定する。
通信制御回路19は、センシング機器100との間で無線通信を行うため、CPU18からの指示に応じてアンテナ19aを介して電波を送受信する。本実施形態では、通信制御回路19がセンシング機器100との間で無線通信を行う。
なお、無線通信ユニットがカメラ51の筐体外部のアクセサリとして構成される場合、通信制御回路19は無線通信ユニットに搭載されていてもよい。
<フローチャートの説明>
自分撮りモードにおいてカメラ51(CPU18)が実行する処理の流れと、センシング機器100が実行する処理の流れについて、図3に例示するフローチャートを参照して説明する。図3(a)は、カメラ51が実行する処理を例示するフローチャートである。図3(b)は、センシング機器100が実行する処理を例示するフローチャートである。
<カメラ側の処理>
カメラ51のCPU18は、ユーザー操作によって自分撮りモードにセットされると、図3(a)による処理を開始する。ステップS310において、CPU18は、自分撮りモードの処理を起動させてステップS320へ進む。ステップS320において、CPU18は、接続シーケンス処理を実行してステップS330へ進む。接続シーケンス処理では、接続要求を送信した端末機(センシング機器100)との間で上記PTP接続を行う。
ステップS330において、CPU18は、レリーズ操作が行われたか否かを判定する。CPU18は、操作部材20を構成するレリーズボタンが押下された場合にステップS330を肯定判定してステップS340へ進み、レリーズボタンが押下されない場合にはステップS330を否定判定してステップS390へ進む。
ステップS340において、CPU18は、センシング機器100へセンシング情報(本例では角加速度信号と加速度信号)の送信要求を送り、センシング機器100によって所定間隔で検出、送信されるセンシング情報の受信を開始する。
ステップS350において、CPU18は、受信したセンシング情報に基づいて人物1の移動軌跡を算出する。CPU18は、1回目のセンシング情報が取得された時点の人物1の位置がカメラ51の位置と等価であるとみなし、カメラ51の位置を基準にして人物1の移動軌跡を求める。
ステップS360において、CPU18は、人物1の位置がカメラ51の撮影画角内か否かを判定する。撮影画角については、撮像光学系11の設計データに基づく値(画角情報)があらかじめフラッシュメモリ17に記録されている。CPU18は、上記移動軌跡に基づく人物1の位置が画角内に存在する場合にステップS360を肯定判定してステップS370へ進み、人物1の位置が画角内に存在しない場合には、ステップS360を否定判定してステップS340へ戻る。
ステップS370において、CPU18は、人物1が静止したか否かを判定する。CPU18は、上記加速度信号に基づいて、人物1の移動が止まって略停止と判断できる場合にステップS370を肯定判定してステップS380へ進み、人物1の移動が停止しておらず、略停止と判断できない場合には、ステップS370を否定判定してステップS340へ戻る。ステップS340へ戻る場合、CPU18は上述した処理を繰り返す。CPU18は、加速度信号が0でなくても、所定値以下であれば、略停止と判断する。
ステップS380において、CPU18は撮影許可コマンドを出力し、撮影処理を行わせる。CPU18は、人物1の移動軌跡に基づいてカメラ51から人物1までの距離を算出し、この距離に合わせて焦点調節を行ってから本撮影を行う。
なお、あらかじめ焦点調節位置を固定しておく、いわゆる置きピンによって本撮影を行ってもよい。
ステップS390において、CPU18は、自分撮りモードを終了するか否かを判定する。CPU18は、操作部材20から終了操作が行われた場合、ステップS390を肯定判定してステップS400へ進む。CPU18は、終了操作が行われない場合には、ステップS390を否定判定してステップS330へ戻る。ステップS330へ戻るCPU18は、上述した処理を繰り返す。
ステップS400において、CPU18は、自分撮りモードの処理を終了させて図3(a)による処理を終了する。
なお、上記説明では、ステップS370において、CPU18は、人物1が静止したか否かを判定したが、ステップS370は省略してもよい。すなわち、ステップS360において、CPU18は、人物1の位置がカメラ51の撮影画角内であると判定した場合に、ステップS380に進み、CPU18は撮影許可コマンドを出力し、撮影処理を行わせるように構成しても良い。また、その場合に、CPU18が人物1の位置がカメラ51の撮影画角内であると判定した後、所定の時間を経過後に撮影許可コマンドを出力するように構成しても良い。
<センシング機器側の処理>
センシング機器100は、ユーザー操作によって情報提供用のアプリを実行すると、図3(b)による処理を開始する。ステップS710において、センシング機器100は、自動撮りモードの処理を開始してステップS720へ進む。
ステップS720において、センシング機器100は接続シーケンス処理を実行し、カメラ51との間でPTP接続を行う。
ステップS730において、センシング機器100は、カメラ51からセンシング情報の送信要求の有無を判定する。センシング機器100は、送信要求を受信した場合にステップS730を肯定判定してステップS740へ進み、送信要求を受信していない場合にはステップS730を否定判定してステップS750へ進む。
ステップS740において、センシング機器100は、センシング情報(本例では角加速度信号と加速度信号)をカメラ51へ送信してステップS750へ進む。
ステップS750において、センシング機器100は、自分撮りモードを終了するか否かを判定する。センシング機器100は、ユーザー操作によって情報提供用のアプリの終了が指示されると、ステップS750を肯定判定してステップS760へ進む。センシング機器100は、情報提供用のアプリの終了が指示されない場合には、ステップS750を否定判定してステップS730へ戻る。ステップS730へ戻るセンシング機器100は、上述した処理を繰り返す。この結果、カメラ51からセンシング情報の送信要求の有った場合に、センシング機器100は、所定間隔でセンシング情報(本例では角加速度信号と加速度信号)をカメラ51へ送信することになる。
ステップS760において、センシング機器100は、自分撮りモードの処理を終了して図3(b)による処理を終了する。
上述した第一の実施形態によれば、次の作用効果が得られる。
(1)カメラ51は、人物1が備えるセンシング機器100によるセンシング情報を取得する通信制御回路19と、取得したセンシング情報を用いて、人物1を撮像するカメラ51の撮影タイミングを決定するCPU18と、を備えるようにした。人物1の情報を人物1の近くでセンシングすることにより、人物1から離れた位置でセンシングする場合に比べて高精度のセンシングが行える。このため、高精度のセンシング結果を用いた適切な撮影タイミングで撮影を行い得る。
(2)上記CPU18は、センシング情報に基づいて撮影に関するコマンドを出力するので、例えば、撮影許可コマンドなどのレリーズを許可するコマンドや、手動撮影する場合におけるレリーズタイミングを知らせるコマンドを、適切なタイミングで出力できる。
(3)上記センシング情報は、人物1の移動情報を示し、上記CPU18は、センシング情報に基づいて人物1の移動軌跡を演算し、移動軌跡に基づき人物1がカメラ51の画角内まで移動したと判断した場合に、上記コマンドを出力するようにした。移動軌跡に基づいてコマンドを出力することで、人物1が早く移動するか、遅く移動するかにかかわらず、人物1が画角内へ移動した適切なタイミングで、上記コマンドを出力することができる。
(4)上記CPU18は、カメラ51の画角内で人物1が略停止したと判断した場合に、上記コマンドを出力するようにしたので、移動中の人物1の像ぶれを抑えた撮影を行い得る。
(変形例1)
上記カメラ51は、センシング機器100との間で通信を行うものであれば、デジタルカメラでなくてもよく、銀塩カメラであっても構わない。
また、上記カメラ51は、自分撮りモード用のアプリを実行した別の高機能携帯電話機100やタブレット端末などのモバイル機器によって構成してもよい。また、センシング機器100は、眼鏡型または腕時計型などのウェアラブル端末によって構成してもよい。
(変形例2)
上述した説明では、カメラ51のCPU18が、撮影処理(S380)を行うための許可コマンドを出す例を説明したが、ステップS350〜S370に相当する処理をセンシング機器100側で行うようにしてもよい。
変形例2において、CPU18は、操作部材20を構成するレリーズボタンが押下された場合にステップS330を肯定判定して以下の処理を行う。すなわち、CPU18は、センシング機器100へ撮影許可の要求を送信し、センシング機器100からの撮影許可を待つ。CPU18は、撮影許可を要求する前に、上記画角情報をセンシング機器100へ送信しておく。
撮影許可の要求を受けたセンシング機器100は、上記ステップS350〜S370に相当する処理を行う。そして、ステップS370に相当する処理において肯定判定したセンシング機器100は、撮影許可コマンドをカメラ51へ送信する。
また、センシング機器100は、上記撮影許可コマンドとともに距離情報をカメラ51へ送信する。距離情報は、人物1の移動軌跡に基づいて算出したカメラ51から人物1までの距離である。撮影許可コマンドをセンシング機器100から受信したカメラ51のCPU18は、上記ステップS380において撮影処理を行う。以上説明した変形例2によっても、上記第一の実施形態と同様の作用効果が得られる。
(変形例3)
移動する人物1がカメラ51の画角内において停止する位置をあらかじめ決めておいてもよい。カメラ51のCPU18またはセンシング機器100は、人物1の移動軌跡に基づいて、カメラ51を基準にする所定の位置(例えば、撮影画角内で右、左、手前、奥)へ人物1が移動した場合に、撮影許可コマンドを出力する。
(変形例4)
また、撮影許可コマンドを出力する撮影距離を、あらかじめ決めておいてもよい。カメラ51のCPU18またはセンシング機器100は、人物1の移動軌跡に基づいて、カメラ51を基準にした所定の撮影距離まで人物1が移動した場合に、撮影許可コマンドを出力する。
(第二の実施形態)
<使用場面の説明>
図4は、本発明の第二の実施形態による撮影システムを説明する図である。図4において、カメラ51と、複数の高機能携帯電話機(いわゆるスマートフォン)100A〜100Eと、によって撮影システムが構成される。カメラ51は、無線通信ユニットを搭載する。無線通信ユニットは、カメラ51の筐体内に搭載する他に、カメラ51の筐体外部のアクセサリ端子などに装着させてもよい。なお、図4、図5において第一の実施形態の説明で用いた符号と同じ符号が存在する場合、本実施形態における説明を優先して適用する。
図4の例では、複数の人物A〜人物Eが集う室内に、カメラ51が配置されている。カメラ51は、自動雲台53を有する三脚52にセットされている。モータによって駆動される自動雲台53がパン(左右に回転)、チルト(上下に回転)動作をすることにより、カメラ51の撮影方向が制御される。人物A〜人物Eは着席しておらず、各自が室内を自由に移動できる。
なお、カメラ51および自動雲台53は、三脚52にセットする代わりに、部屋の壁や天井に取り付けてもよい。また、カメラ51と自動雲台53は、必ずしも別体である必要は無く、カメラ51に自動雲台53が含まれる構成であっても良い。
人物A〜人物Eは、それぞれ高機能携帯電話機100A〜100Eを携帯している。高機能携帯電話機100A〜100Eは、それぞれがOSを実行した上で所定のアプリを実行する。スマートフォンは公知であるので高機能携帯電話機100A〜100Eの詳細な説明を省略するが、後述する第三の実施形態の説明において図10に例示するものと同様である。
本実施形態では、高機能携帯電話機100A〜100Eにそれぞれ情報提供用のアプリを実行させて、高機能携帯電話機100A〜100Eをセンシング機器として使用する。以降、情報提供用のアプリを実行した高機能携帯電話機100A〜100Eを、センシング機器100A〜100Eと呼ぶ。
高機能携帯電話機に代えて、タブレット端末などのモバイル機器や、眼鏡型または腕時計型などのウェアラブル端末を、センシング機器100A〜100Eとして用いてもよい。
センシング機器100A〜100Eは、カメラ51との間で相互に無線通信を行い、カメラ51へセンシング情報を送信する。本実施形態では、センシング機器100A〜100Eに内蔵されるマイクによって検出される音声信号や、センシング機器100A〜100Eに内蔵される位置検出部によって検出される位置情報、さらにセンシング機器100A〜100Eに内蔵される角加速度センサによって検出される角加速度信号を、センシング情報とする。
図4の使用場面において、カメラ51は、あらかじめ自動撮影モードで起動されている。自動撮影モードは、センシング機器100A〜100Eから送出されたセンシング情報に基づいて、カメラ51が自動で人物A〜人物Eの撮影を行うモードである。
カメラ51は、自動撮影モードが起動された以降にセンシング機器100A〜100Eから送信されるセンシング情報に基づいて撮影方向を制御する(例えば、会話がはずんでいる人物Aと人物Dと人物Eとで構成されるグループ61へカメラ51を向ける)とともに、所定のタイミング(例えば、グループ61の会話が盛り上がった時点)で撮影処理を行う。
<カメラの説明>
図5は、カメラ51および自動雲台53の構成を例示する図である。カメラ51は、自動雲台53にセットされ、自動雲台53は、三脚52(図4)に取り付けられている。カメラ51および自動雲台53間は、無線通信によって接続される。カメラ51およびセンシング機器100A〜100E間も、無線通信によって接続される。
なお、カメラ51および自動雲台53間の接続は、無線通信接続に代えて有線通信接続を行ってもよい。
カメラ51は、レンズ群11と、撮像素子12と、電源コントローラ13と、カードコントローラ14と、カードスロット15と、CPU16と、通信ドライバ17と、送受信回路18と、I/F(インターフェース)ドライバ19と、操作部材20と、メモリ21と、LCDドライバ22と、ディスプレイ23と、を有し、電池31およびメモリカード32が実装される。
レンズ群11はズームレンズを含み、被写体像を撮像素子12に結像させる。撮像素子12は、レンズ群11により結像された被写体像を撮像する。電源コントローラ13は、電池31の電圧を所定の電圧に変換してカメラ51内の各部へ供給する。カードコントローラ14は、CPU16からの指示に応じてカードスロット15に実装されたメモリカード32に対するデータの書き込みや、メモリカード32に記録されているデータの読み出しを行う。
CPU16は、CPU16内の不揮発性メモリに記録された所定のプログラムに基づいてカメラ51内の各部を制御しながら、自動焦点調節(AF)、自動露出調節(AE)、撮影を行う。通信ドライバ17は、CPU16からの指示に応じて送受信回路18を駆動する。送受信回路18は、センシング機器100A〜100Eとの間で無線通信を行うため、CPU16からの指示に応じて電波を送受信する。本実施形態では、送受信回路18が、センシング機器100A〜100Eとの間の無線通信に加えて、自動雲台53との間の無線通信も行う。
なお、カメラ51の筐体外部のアクセサリとして無線通信ユニットを構成した場合、通信ドライバ17および送受信回路18を無線通信ユニットに搭載してもよい。
送受信回路18は、センシング機器100A〜100Eから送信されたセンシング情報を受信する。
I/F(インターフェース)ドライバ19は、操作部材20からの操作信号を所定のデータに変換してCPU16へ送出する。操作部材20はレリーズボタンや操作ダイヤルなどを含み、操作部材20に対する操作に応じた操作信号を発する。メモリ21は、CPU16のワークメモリとして用いられる。LCDドライバ22は、CPU16からの指示に基づいて、ディスプレイ23に画像や操作メニュー画面を表示させるための表示制御信号を生成する。ディスプレイ23は、例えばLCD(液晶表示)パネルによって構成され、LCDドライバ23からの表示制御信号に基づいて表示を行う。
<自動雲台の説明>
自動雲台53は、駆動モータ41と、電源コントローラ42と、CPU43と、通信ドライバ44と、送受信回路45と、メモリ46と、を有し、電池33が実装されている。
駆動モータ41は、パン用モータおよびチルト用モータによって構成される。駆動モータ41は、電源コントローラ42から供給される駆動パルス信号に応じて、自動雲台53を左右方向に回動させたり、自動雲台53を上下方向に回動させたりする。電源コントローラ42は、電池33の電圧を所定の電圧に変換して自動雲台53内の各部へ供給する他、CPU43からの指示に応じてパン用モータおよびチルト用モータに対する駆動パルス信号を生成する。
CPU43は、CPU43内の不揮発性メモリに記録された所定のプログラムに基づいて自動雲台53内の各部を制御する。通信ドライバ44は、CPU43からの指示に応じて送受信回路45を駆動する。送受信回路45は、カメラ51との間で無線通信を行うため、CPU43からの指示に応じて電波を送受信する。本実施形態では、送受信回路45が、カメラ51との間で無線通信を行う。
送受信回路45は、自動雲台53を左右方向に回動するためにカメラ51から送信された指示や、自動雲台53を上下方向に回動するためにカメラ51から送信された指示を受信する。すなわち、自動雲台53のパン動作およびチルト動作(すなわちカメラ51の撮影方向の変更)は、カメラ51からの制御信号によって制御される。送受信回路45は、自動雲台53に設定されている角度(左右方向および上下方向)を示す情報を、カメラ51へ送信する。メモリ46は、CPU43のワークメモリとして用いられる。
カメラ51の撮影条件(シャッター速度、絞り、焦点距離等)は、カメラ51のCPU16によって制御される。また、カメラ51による撮影タイミングは、センシング機器100A〜100Eから送信されるセンシング情報に基づいてカメラ51のCPU16が決定する。また、カメラ51が撮影する方向も、センシング機器100A〜100Eから送信されるセンシング情報に基づいてカメラ51のCPU16が決定する。カメラ51で撮影された画像は、カメラ51に装着されたメモリカード32に保存される。
<フローチャートの説明>
自動撮影モードにおいてカメラ51(CPU16)が実行する処理の流れと、センシング機器100が実行する処理の流れについて、図6に例示するフローチャートを参照して説明する。図6(a)は、カメラ51のCPU16が実行する処理を例示するフローチャートである。図6(b)は、センシング機器100(100A〜100E)が実行する処理を例示するフローチャートである。
<カメラ側の処理>
CPU16は、ユーザー操作によって自動撮影モードにセットされると、図6(a)による処理を開始する。ステップS10において、CPU16は、自動撮影モードの処理を起動させてステップS20へ進む。ステップS20において、CPU16は、リクエストハンドラ処理を起動させてステップS30へ進む。リクエストハンドラ処理では、例えば接続要求受付問い合わせ(Inquiry)をブロードキャスト送信する。ブロードキャスト送信するのは、無線通信可能な範囲に存在する多くの端末機(センシング機器100)へ送信するためである。
ステップS30において、CPU16は、人物A〜人物Eが携帯する端末機(センシング機器100A〜100E)のうち、自動撮影モードが起動されている端末機を検出する。CPU16は、接続要求を送信している端末機を検出した場合にステップS30を肯定判定してステップS40へ進み、接続要求を送信している端末機を検出しない場合には、当該検出処理を繰り返す。
ステップS40において、CPU16は、接続シーケンス処理を実行してステップS50へ進む。接続シーケンス処理では、接続要求を送信した端末機(センシング機器100)との間でそれぞれ無線接続を開始させ、個々の端末機(センシング機器100)を認識する為のIDを各端末機へ送付する。
ステップS50において、CPU16は、音声取得処理を実行してステップS60へ進む。音声取得処理では、無線接続中の端末機(センシング機器100)に対し、例えば音声取得開始時刻を指定して録音要求を送信する。このとき、CPU16(カメラ51側)の現在時刻を送信することによって、CPU16と端末機(センシング機器100)との間の時刻ずれを端末機(センシング機器100)において補正させる。
CPU16は、録音要求に応じた無線接続中の端末機(センシング機器100)から、各端末機(センシング機器100)で取得された音声情報を受信する。音声情報には、各端末機(センシング機器100)のIDと、音声取得時刻情報とが付されている。音声情報は、所定時間(例えば10秒)単位の録音データである。
ステップS60において、CPU16は、音声マッチング処理を実行してステップS70へ進む。図7は、音声マッチング処理を説明する図である。音声波形71は、センシング機器100Aから受信した音声情報に基づく波形であり、横軸は時間、縦軸は周波数の高低を表す。音声波形72は、センシング機器100Bから受信した音声情報に基づく波形であり、横軸は時間、縦軸は周波数の高低を表す。他の音声波形73〜音声波形75も、それぞれセンシング機器100C〜100Eから受信した音声情報に基づく波形である。
CPU16は、各端末機(センシング機器100)から受信した音声情報に基づく音声波形71〜音声波形75の中から類似する音声波形を検出する。図7の例では音声波形71、音声波形74および音声波形75が類似する。このため、CPU16は、音声波形71、音声波形74および音声波形75が、概ね一致していると判定する。本実施形態では、音声の大小(振幅差)や、音声波形の中に部分的に違う周波数成分が加わっている等、データとしての厳密な一致までを判定基準とせず、波形形状が類似していれば概ね一致と判定するおおよそのマッチング判定を行う。
おおよそのマッチング判定を行う理由は、音声データ(パターン)の厳密な一致判定ができるほど、各端末機(センシング機器100)において集音条件が同じとはいえないからである。例えば、音源(話す人物)と各端末機(センシング機器100)との位置関係が異なると、取得される音声レベルが異なる。また、端末機(センシング機器100)が露出しているか否か、端末機(センシング機器100)が衣類のポケットやバッグ等の中に収納されているか否かによって、録音信号の中に、音声とは別の摩擦音などの周波数成分が加わることもある。このため、本実施形態では音声波形の厳密な一致判定を行わない。
音声波形71、音声波形74および音声波形75が類似する場合の環境例としては、図4において人物A、人物Dおよび人物Eが集まって談笑している場面があげられる。音源が1つであろうと複数であろうと、同じ音源からの音を録音した音声波形は類似するという考え方に基づく。CPU16は、図4に例示するように、類似する音声波形に対応する端末機(センシング機器100)を携帯する人物をブロックに分ける。ブロック61は、音声波形71、音声波形74および音声波形75に対応する人物A、人物Dおよび人物Eを包含するブロックである。類似しない音声波形72、音声波形73に対応する人物B、人物Cについては、それぞれ個別のブロック62、ブロック63とする。
なお、本実施形態では音声波形71〜音声波形75のおおよそのマッチング判定を行う例を説明したが、音声の振幅や周波数成分を任意に限定するようにしてもよい。例えば、音声レベル(音圧)が所定値以上の音声波形のみを比較したり、周波数成分が所定の周波数帯に含まれる音声波形のみを比較したりすることにより、多様なマッチング判定を行うことができる。
図6のステップS70において、CPU16は、上記音声マッチング処理における一致の有無を判定する。CPU16は、上述したように音声波形の概ね一致(類似)を判定した場合にステップS70を肯定判定してステップS80へ進み、音声波形の概ね一致(類似)を判定しない場合には、ステップS70を否定判定してステップS50へ戻る。ステップS50へ戻るCPU16は、上述した処理を繰り返す。
ステップS80において、CPU16は、端末機(センシング機器100)の位置情報を取得する。CPU16は、類似を判定した音声波形に対応する端末機(本例では、ブロック61内のセンシング機器100A、100Dおよび100E)から、それぞれの位置情報を取得する。位置情報は、室内における端末機(センシング機器100)の位置を検出するための信号であり、例えばIMES(Indoor MEssaging System)で用いる信号でもよいし、無線LANを利用する場合はアクセスポイント位置を示す信号でもよい。
なお、カメラ51が端末機(センシング機器100)の位置情報を音声情報と別に取得する代わりに、ステップS50で取得する音声情報に位置情報を含めておいてもよい。この場合は、音声情報の中に各端末機(センシング機器100)のIDと、各端末(センシング機器100)の音声取得時刻情報と、各端末(センシング機器100)の位置情報とが付されることになる。
ステップS90において、CPU16は、自動撮影および記録を行わせる。自動撮影および記録は以下の手順で行う。先ずCPU16は、ブロック61内のセンシング機器100A、100Dおよび100Eの位置情報に基づいて、カメラ51の撮影方向を決める。図8に例示するように、CPU16は、センシング機器100A、100Dおよび100Eの位置を中心とする3つの同半径の円が交わる領域90(斜線で示す)を撮影画角の中央に含むように撮影すべき方向を決め、この撮影方向を知らせるコマンドを自動雲台53へ出力する。具体的には、自動雲台53を回転させる指示を送受信回路18から送信させる。円の半径は、適宜変更して構わない。すなわち、領域90が広すぎる場合は円の半径を小さくし、3つの円が交わらず、領域90が存在しない場合は円の半径を大きくする。
また、CPU16は、ブロック61内のセンシング機器100A、100Dおよび100Eの位置情報に基づいて、センシング機器100A、100Dおよび100E(すなわち人物A、人物Dおよび人物E)が撮影画角から外れると判断した場合には、レンズ群11のズームレンズによるズーム倍率を変化させて撮影画角を変更する。
次にCPU16は、撮像素子12によって取得されたプレビュー画像に基づいて顔検出処理を行い、検出した顔(例えば人物Dの顔)を対象に自動焦点調節(AF)を行う。プレビュー画像は、本撮影前に所定のフレームレート(例えば60fps)で繰り返し取得するモニタ用の画像である。
CPU16はさらに、類似を判定した音声波形に対応する端末機(本例では、ブロック61内のセンシング機器100A、100Dおよび100E)から送信された音声情報の音声レベルが、あらかじめ定めた所定のレベルを超えた場合に、撮影許可コマンドを出力して本撮影を開始させる。本撮影は、撮像素子12によって記録用画像を所定のフレームレート(例えば60fps)で繰り返し取得させる。
なお、本撮影開始のタイミングの決定は、上述した音声情報の音声レベルに基づく決定の他に、上記類似を判定した音声波形と、あらかじめCPU16内の不揮発性メモリに記録させた基準波形との比較結果に基づいて決定してもよい。CPU16は、両波形間で公知のパターンマッチング処理を行うことにより、両波形が略一致していると判断した場合に、本撮影を開始させる。基準波形は、例えば笑い声、樂曲のフレーズ、感嘆詞などの所定の言葉の音声波形を用いることもできる。
基準波形は、ユーザーが自由にCPU16内の不揮発性メモリへ追加したり、不揮発性メモリから削除したりすることができる。また、音声レベルに基づいて本撮影を開始させたCPU16が、そのときに取得された音声波形を基準波形として不揮発性メモリに保存させてもよい。
CPU16は、本撮影で取得した画像のデータを、類似を判定した音声波形に対応する端末機(本例では、ブロック61内のセンシング機器100A、100Dおよび100E)から送信された音声情報とともにメモリカード32に記録させる。
ステップS100において、CPU16は、自動撮影を終了するか否かを判定する。CPU16は、類似を判定した音声波形に対応する端末機(本例では、ブロック61内のセンシング機器100A、100Dおよび100E)から送信された音声情報の音声レベルが、上記所定のレベルを下回った場合に、ステップS100を肯定判定し、上記本撮影を終了させてステップS110へ進む。CPU16は、ブロック61内のセンシング機器100A、100Dおよび100Eから送信された音声情報の音声レベルが、継続して上記所定のレベルを上回っている場合にはステップS100を否定判定し、上記本撮影を継続しながら判定処理を繰り返す。
なお、音声情報の音声レベルが上記所定のレベルを下回らなくても、本撮影の開始から所定時間が経過した場合に自動撮影を終了させるようにしてもよい。
ステップS110において、CPU16は、自動撮影モードを終了するか否かを判定する。CPU16は、ユーザー操作によって自動撮影モード以外の他のモードにセットされると、ステップS110を肯定判定してステップS120へ進む。CPU16は、自動撮影モードが維持されている場合には、ステップS110を否定判定してステップS50へ戻る。ステップS50へ戻るCPU16は、上述した処理を繰り返す。
ステップS120において、CPU16は、自動撮影モードの処理を終了させて図6(a)による処理を終了する。
なお、ステップS20〜S40の処理は、図6(a)におけるイニシャル処理としてだけではなく、自動撮影処理中も所定のタイミングで行うようにしてもよい。一定期間ごとに行うことにより、例えば遅れて参加した人物が携帯するセンシング機器100との間の無線接続をカメラ51が後から追加することが可能になる。
<センシング機器側の処理>
センシング機器100は、ユーザー操作によって情報提供用のアプリを実行すると、図6(b)による処理を開始する。ステップS510において、センシング機器100は、自動撮影モードの処理を開始してステップS520へ進む。
ステップS520において、センシング機器100は、カメラ51から接続要求受付問い合わせ(Inquiry)を受信した場合に、接続要求をカメラ51へ送信する。センシング機器100はさらに、接続シーケンスを実行する。具体的には、カメラ51との間で無線接続を開始させる。
ステップS530において、センシング機器100は、カメラ51からIDを受信したか否かを判定する。センシング機器100は、IDを受信した場合にステップS530を肯定判定してステップS540へ進み、IDを受信していない場合にはステップS530を否定判定してIDの受信を待つ。
ステップS540において、センシング機器100は、音声取得処理を行ってステップS550へ進む。音声取得処理では、カメラ51からの録音要求に応じて、カメラ51から指定された時刻から所定時間(本例では10秒)の録音を行う。センシング機器100は、録音を行うと、録音した音声情報に、センシング機器100のIDと、センシング機器100の音声取得時刻情報と、を付してカメラ51へ送信する。
なお、録音した音声情報に、センシング機器100の位置情報を付してもよい。
ステップS550において、センシング機器100は、自動撮影モードを終了するか否かを判定する。センシング機器100は、ユーザー操作によって情報提供用のアプリの終了が指示されると、ステップS550を肯定判定してステップS560へ進む。センシング機器100は、情報提供用のアプリの終了が指示されない場合には、ステップS550を否定判定してステップS540へ戻る。ステップS540へ戻るセンシング機器100は、上述した処理を繰り返す。
ステップS560において、センシング機器100は、自動撮影モードの処理を終了して図6(b)による処理を終了する。
上述した第二の実施形態によれば、次の作用効果が得られる。
(1)カメラ51は、人物A〜Eが備えるセンシング機器100A〜100Eによるセンシング情報を取得する送受信回路18と、取得したセンシング情報を用いて、人物A〜Eを撮像するカメラ51の撮影タイミングを決定するCPU16と、を備えるようにした。人物A〜Eが備えるセンシング機器100A〜100Eを用いることにより、人物A〜Eの情報を人物A〜Eの近くでセンシングすることが可能となり、人物A〜Eから離れた位置でセンシングする場合に比べて高精度のセンシングが行える。このため、高精度のセンシング結果を用いた適切な撮影タイミングで撮影を行い得る。
(2)センシング情報は、人物A〜Eの位置と異なる種類の物理量を示し、上記CPU16は、上記物理量に基づいて撮影に関するコマンドを出力するので、位置情報以外の物理量のセンシング結果に基づく適切なタイミングでコマンドを出力できる。
(3)センシング機器100A〜100Eは上記物理量として音をセンシングし、上記CPU16は、音を示す信号に基づいて上記コマンドを出力する。これにより、人物A〜Eの近くでセンシングした音に基づく適切なタイミングでコマンドを出力できる。
(4)上記の説明では、カメラ51は、複数のセンシング機器100A〜100Eでそれぞれセンシングされた複数の音を取得したが、一つのセンシング機器のみからの音を取得するように構成しても良い。その場合、上記CPU16は、音の信号パターンと基準パターンとの比較に基づいて上記コマンドを出力するので、例えば、笑い声や樂曲のフレーズ、所定の言葉の音声パターンと合致した場合にコマンドを出力できる。また、カメラ51が音を直接取得するのに比べて、被写体が有するセンシング機器がセンシングした音を取得することにより、より高精度のセンシングが行える。
(5)センシング情報は、複数のセンシング機器100A〜100Eでそれぞれセンシングされた複数の音を示し、上記CPU16は、複数の音のうち類似する音の信号パターンに基づいて上記コマンドを出力するようにした。例えば、センシングした音のパターンが類似するセンシング機器100Aとセンシング機器100Dとセンシング機器100Eとが存在する方向を、撮影方向とするようにコマンドを出力する。これにより、全てのセンシング機器100A〜100Eを含めた撮影を行う場合に比べて、撮影対象を絞った適切な撮影を行い得る。
(6)上記センシング情報は、複数のセンシング機器100A〜100Eのそれぞれの位置を示し、上記CPU16は、類似する音がセンシングされた複数の位置に基づいて、カメラ51の撮影方向を決めるようにした。類似する音がセンシングされたセンシング機器100Aの位置とセンシング機器100Dの位置とセンシング機器100Eの位置とに基づいて撮影方向を決めることで、例えばグループ61において談笑する人物A、人物D、および人物Eを、撮影対象とすることができる。
(7)上記CPU16は、類似する音がセンシングされた複数の位置を画角内に含むようにカメラ51の画角を変更するようにした。これにより、全てのセンシング機器100A〜100Eが画角に含まれない場合には、画角を広げるように対処できる。
(変形例5)
上記カメラ51は、センシング機器100A〜100Eとの間で通信を行うものであれば、自動撮影モード用のアプリを実行した別の高機能携帯電話機100などのモバイル機器によって構成してもよい。また、センシング機器100A〜100Eは、眼鏡型または腕時計型などのウェアラブル端末によって構成してもよい。
(変形例6)
上述した説明では、カメラ51のCPU16が決定した撮影方向へ、自動雲台53を駆動することによってカメラ51の撮影方向を自動制御する例を説明したが、人物が、カメラ51を手持ちして撮影できるように構成してもよい。変形例6においては、カメラ51が決定した撮影すべき方向を、カメラ51のディスプレイ23に表示させる。変形例6の場合は、ディスプレイ23に対する表示コマンドが撮影すべき方向を知らせるコマンドに相当する。ディスプレイ23の表示内容は、例えば第三の実施形態において例示する図11の場合と同様に行わせることができる。
変形例6によれば、カメラ51を操作する人物に対し、カメラ51が決定した撮影すべき方向を知らせることができる。
(変形例7)
センシング機器100A〜100Eによって検出された振動に基づいて、本撮影開始のタイミングの決定を行うようにしてもよい。CPU16は、所定のセンシング機器(例えば、上述したように類似を判定した音声波形に対応するセンシング機器)から送信された振動情報の振幅が、あらかじめ定めた所定のレベルを超えた場合に、撮影許可コマンドを出力して本撮影を開始させる。
一般に、場を盛り上げている人物は、大きく揺動することが多い。このため、この人物が携帯するセンシング機器の振動が大きくなったタイミングはシャッターチャンスの可能性が高い。
また、人物が踊る場合、踊る人物が携帯するセンシング機器は大きな振動を検出する。このため、踊る人物が携帯するセンシング機器の振動が大きくなったタイミングはシャッターチャンスの可能性が高い。
変形例7によれば、本撮影開始のタイミングの決定について、音声情報の音声レベルに基づく決定以外にも、振動情報の振動レベルに基づいて決定することができる。
(第三の実施形態)
<使用場面の説明>
図9は、本発明の第三の実施形態による撮影システムを説明する図である。図9において、複数の高機能携帯電話機(いわゆるスマートフォン)100A、100B−1、100B−2によって撮影システムが構成される。
本実施形態では、情報提供用のアプリを実行した高機能携帯電話機100(以降、センシング機器100B−1、100B−2と呼ぶ)を携帯する人物Oと人物Pが、それぞれセンシング機器100B−1、100B−2を用いて撮影を行う。センシング機器100B−1、100B−2は撮像部(カメラモジュール)を備えており、人物O、人物Pはそれぞれ、気に入った風景、他の人物、動物、草花等を撮影する。
撮影処理を実行したセンシング機器100B−1、100B−2はそれぞれ、撮影時刻と、位置情報と、撮影した方位を示す情報とを、センシング情報として他の高機能携帯電話機へブロードキャスト送信する。他の高機能携帯電話機は、自動撮影用のアプリを実行した高機能携帯電話機100(以降、自動撮影装置100Aと呼ぶ)であり、上記人物O、人物Pと異なる人物Qが携帯している。なお、自動撮影装置100Aは、第二の実施形態で説明したカメラ51と自動雲台53として構成しても良い。
センシング機器100B−1、100B−2によって撮影が行われると、自動撮影装置100Aにはセンシング情報(例えば、撮影が行われたという情報)が集まる。自動撮影装置100Aは、集まったセンシング情報に基づいて、撮影すべき方向を決定する。例えば、より多くの撮影が行われている方向を撮影すべき方向とする。
自動撮影装置100Aはさらに、集まったセンシング情報に基づいて決定したタイミングで、自動撮影を行う。例えば、センシング情報がより多く集まってきた時点で撮影を行わせる。
上述したようなセンシング機器100B−1、100B−2および自動撮影装置100Aについて、さらに詳細に説明する。図10は、高機能携帯電話機100の要部構成を例示するブロック図である。図中に第一の実施形態、第二の実施形態の説明において用いた符号と同じ符号が存在する場合、本実施形態における説明を優先して適用する。
センシング機器100B−1、100B−2および自動撮影装置100Aは、高機能携帯電話機100として同じ構成を有する。すなわち、高機能携帯電話機100は、表示・入力部25と、制御部30と、カメラ26と、カメラ27と、通信部28と、センサ群29と、を有する。
表示・入力部25は、表示面22と、位置検出部23とを含む。表示面22は、操作面を兼ねる。位置検出部23は、指による接触位置を示す位置検出信号と、表示制御部33が有する表示情報(表示・入力部25の表示面22のどこに、何を表示させているかを示す情報)とに基づいて、表示・入力部25の画面上の対象(アイコンなど)を特定する。
制御部30は、プログラム実行部32と、表示制御部33と、通信制御部34と、不揮発性メモリ35とを含み、高機能携帯電話機100内の各部の動作を制御する。プログラム実行部32は、オペレーションシステム(OS)と呼ばれる基本プログラムを実行した上で、OS上で動作するアプリを不揮発性メモリ35から読み込んで実行する。なお、アプリを不揮発性メモリ35から読み込んで実行することを、単にアプリを起動すると称することもある。
プログラム実行部32は通常、表示・入力部25の位置検出部23によって特定された不図示のアイコンに対応づけられているアプリを実行する。プログラム実行部32がカメラ用のアプリを実行した場合、プログラム実行部32はカメラ26または27を起動させて撮影機能を発揮させる。プログラム実行部32が情報提供用のアプリを実行した場合、プログラム実行部32は高機能携帯電話機100にセンシング機器としての機能を発揮させる。プログラム実行部32が自動撮影用のアプリを実行した場合、プログラム実行部32はカメラ27を起動させて自動撮影機能を発揮させる。ユーザーは、表示・入力部25の表示面22に表示されているアイコンに対応する任意のアプリを起動させることが可能である。
表示制御部33は、表示・入力部25の表示面22に、画像やテキスト、アイコンなどを表示させる。通信制御部34は、通信部28を介して行う外部機器との通信を制御する。不揮発性メモリ35は、上記OSやアプリ、および必要なデータなどを格納する。ユーザーは、不揮発性メモリ35に上記OS上で動作する任意のアプリを追加、削除することが可能である。
カメラ26は、ユーザー自身を撮影する際や、高機能携帯電話機100のテレビ電話機能を使用する際に、ユーザー撮影用カメラとして使用される。カメラ27は、高機能携帯電話機100で撮影機能・自動撮影機能を発揮する際に、撮影用カメラとして使用される。
通信部28は、通信制御部34からの指示に応じて無線通信を行う。通信部28は、不図示の無線LANのアクセスポイントを経由する通信や、不図示の携帯電話回線網を経由する通信の他に、他の高機能携帯電話機100などとの間で直接、近距離無線通信を行うことが可能に構成されている。近距離無線通信は、メッシュネットワークを構成するものを含む。
センサ群29は、輝度センサ、音センサ(マイク)、角加速度センサ、加速度センサ、重力センサ、温度センサ、気圧センサ、湿度センサ、磁気センサ、方位センサ、位置検出部を含む。位置検出部は、屋外ではGPS衛星からの送信波に基づいて位置情報を取得し、屋内では、例えばIMESによる送信波に基づいて位置情報を得る。センサ群29は、制御部30からの要求に応じて検出した信号や取得した情報を、制御部30へ送出する。
<センシング情報の送信>
情報提供用のアプリを実行したセンシング機器100B−1、100B−2は、それぞれ人物O、人物Pによってなされたレリーズ操作に応じて撮影処理を実行する。撮影処理自体は、カメラ用のアプリを実行した場合の通常の撮影処理と同様である。
撮影処理を実行したセンシング機器100B−1、100B−2はさらに、各機器の撮影時刻と、各機器の位置情報と、各機器の撮影した方位を示す情報とを、センシング情報として自動撮影装置100Aへブロードキャスト送信する。ブロードキャスト送信するのは、無線通信可能な範囲に自動撮影装置100A以外の他の自動撮影装置が存在する場合に、多くの自動撮影装置へセンシング情報を送るためである。
<撮影方向の決定>
自動撮影用のアプリを実行した自動撮影装置100Aは、上述したように、センシング機器100B−1、100B−2から送信されたセンシング情報に基づいて、撮影方向を決定する。決定した撮影方向は、表示・入力部25の表示面22に表示させる。図11は、表示面22の表示画面を例示する図である。撮影方向の決定方法の詳細については後述する。
図11(a)は、撮影方向(撮影すべき方向)と、自動撮影装置100Aのカメラ27の向きとが異なる場合の表示画面である。制御部30は、撮影方向(撮影すべき方向)が東の方位であるのに対し、カメラ27の向きが北の方位を向いている場合には、東へ向くようにメッセージを表示させる。
図11(b)は、撮影方向(撮影すべき方向)と、自動撮影装置100Aのカメラ27の向きとが一致している場合の表示画面である。制御部30は、カメラ27の向き(東の方位)が撮影方向(撮影すべき方向)と一致している場合、その旨を表示させる。
<撮影タイミングの決定>
自動撮影装置100Aはさらに、センシング機器100B−1、100B−2から送信されたセンシング情報に基づいて、所定のタイミング(例えば、センシング情報の受信回数が所定時間において所定回数(例えば直近の10秒間に10回)を超えた時点)で撮影処理を開始する。
<フローチャートの説明>
自動撮影モードにおいて自動撮影装置100Aが実行する処理の流れと、センシング機器100B−1、100B−2が実行する処理の流れについて、図12に例示するフローチャートを参照して説明する。図12(a)は、センシング機器100B−1、100B−2が実行する処理を例示するフローチャートである。図12(b)は、自動撮影装置100Aが実行する処理を例示するフローチャートである。
<センシング機器側の処理>
センシング機器100B−1、100B−2は、それぞれユーザー操作によって情報提供用のアプリを実行すると、図12(a)による処理を開始する。センシング機器100B−1および100B−2は同じ処理を行うので、以降は、センシング機器100Bとして説明する。ステップS210において、センシング機器100Bは、情報提供撮影モードの処理を開始してステップS220へ進む。
ステップS220において、センシング機器100Bは、レリーズ操作が行われたか否かを判定する。センシング機器100Bは、例えば表示・入力部25の表示面22に表示されているカメラアイコンがタップ操作された場合にステップS220を肯定判定してステップS230へ進み、カメラアイコンがタップ操作されない場合にはステップS230を否定判定してタップ操作を待つ。
ステップS230において、センシング機器100Bは、カメラ27による撮影処理を実行してステップS240へ進む。ステップS240において、センシング機器100Bは、センサ群29からセンシング情報(本例では、撮影時刻と、位置情報と、撮影した方位を示す情報)を取得してステップS250へ進む。
ステップS250において、センシング機器100Bは通信部28へ指示を送り、センシング情報を送信させてステップS260へ進む。ステップS260において、センシング機器100Bは、情報提供撮影モードを終了するか否かを判定する。センシング機器100Bは、ユーザー操作によって情報提供用のアプリの終了が指示されると、ステップS260を肯定判定してステップS270へ進む。センシング機器100Bは、情報提供撮影モードが維持されている場合には、ステップS260を否定判定してステップS220へ戻る。ステップS220へ戻るセンシング機器100Bは、上述した処理を繰り返す。
ステップS270において、センシング機器100Bは、情報提供撮影モードの処理を終了して図12(a)による処理を終了する。
<自動撮影装置側の処理>
自動撮影装置100Aは、ユーザー操作によって自動撮影用のアプリを実行すると、図12(b)による処理を開始する。ステップS610において、自動撮影装置100Aは、自動撮影モードの処理を起動させてステップS620へ進む。
ステップS620において、自動撮影装置100Aは、センシング機器100Bからセンシング情報を受信したか否かを判定する。自動撮影装置100Aは、センシング機器100Bからのセンシング情報を受信した場合にステップS620を肯定判定してステップS630へ進み、センシング機器100Bからのセンシング情報を受信しない場合にはステップS620を否定判定してステップS670へ進む。
ステップS630において、自動撮影装置100Aは、受信したセンシング情報を蓄積(例えば不揮発性メモリ35に記録)してステップS640へ進む。ステップS640において、自動撮影装置100Aは、センシング機器100Bによる複数回の撮影に対応するセンシング情報に基づいて撮影方向を決める。自動撮影装置100Aは、図9に例示するように、センシング機器100Bによる複数の撮影位置から、それぞれのセンシング機器100Bが撮影した方位へ伸ばした複数の直線が交差する位置Xを、撮影対象物の位置と推定する。図中の符号D1は、センシング機器100B−1によって撮影された方位を示し、図中の符号D2は、センシング機器100B−2によって撮影された方位を示す。
自動撮影装置100Aはさらに、自動撮影装置100Aの位置検出部で検出される自己の位置から上記推定した位置Xへ向かう方位Dを、自動撮影装置100Aで撮影すべき方向として決定する。決定した方向は、図11に例示したように、表示・入力部25の表示面22に表示させる。
自動撮影装置100Aのユーザーは、表示・入力部25の表示面22に表示される撮影すべき方向(上記方位D)と、自動撮影装置100Aのカメラ27の向き(方位センサで検出される方位)が一致するように、自動撮影装置100Aを構えればよい。
ステップS650において、自動撮影装置100Aは、レリーズ許可を行うための所定条件を満たすか否かを判定する。自動撮影装置100Aは、例えば、センシング情報の受信回数が所定時間において所定回数(直近の10秒間に10回)を超えた時点を撮影タイミングとし、このときステップS650を肯定判定してステップS660へ進む。自動撮影装置100Aは、上記所定条件を満たさない場合は、ステップS650を否定判定してステップS620へ戻る。ステップS620へ戻る自動撮影装置100Aは、センシング情報の受信を継続する。
ステップS660において、自動撮影装置100Aは撮影処理を行う。自動撮影装置100Aは、自動撮影装置100Aの位置検出部で検出される自己位置から、上記推定した位置Xまでの距離を算出し、この距離に合わせて焦点調節を行ってから本撮影を行う。
ステップS670において、自動撮影装置100Aは、自動撮影モードを終了するか否かを判定する。自動撮影装置100Aは、ユーザーにより終了操作が行われた場合、ステップS670を肯定判定してステップS680へ進む。自動撮影装置100Aは、終了操作が行われない場合には、ステップS670を否定判定してステップS620へ戻る。ステップS620へ戻る自動撮影装置100Aは、上述した処理を繰り返す。
ステップS680において、自動撮影装置100Aは、自動撮影モードの処理を終了させて図12(b)による処理を終了する。
本実施形態では、わかりやすく説明するためにセンシング機器100Bと自動撮影装置100Aとを分けて説明したが、センシング機器100Bが自動撮影装置100Aを兼ねるとともに、自動撮影装置100Aがセンシング機器100Bを兼ねるようにしてもよい。すなわち、情報提供用のアプリと自動撮影用のアプリの双方を実行する高機能携帯電話機100は、センシング機器100Bとしての機能と自動撮影装置100Aとしての機能とを備える。
上述した第三の実施形態によれば、次の作用効果が得られる。
(1)自動撮影装置100Aは、センシング機器100Bから複数の信号を取得する通信部28と、取得した複数の信号を用いて、カメラ27の撮影に関するコマンドを出力する制御部30と、を備えるようにした。センシング機器100Bからの複数の信号を用いることで、自動撮影装置100Aでは直接得られない複数の信号を用いて、適切な撮影タイミングで撮影を行い得る。
(2)上記複数の信号は、センシング機器100Bの位置と、センシング機器100Bがレリーズしたことを示す信号と、センシング機器100Bが撮影した方向を示す信号と、を含み、上記制御部30は、センシング機器100Bがレリーズしたことを示す信号に基づいて上記コマンドを出力するようにした。これにより、例えば、複数の信号の受信回数が直近の10秒間に10回を超えた時点で、撮影処理を行い得る。つまり、センシング機器100Bによって多くの撮影が行われた場合に、自動的に撮影を行わせることができる。
(3)上記制御部30は、複数のセンシング機器100Bの各位置から、センシング機器100Bがそれぞれ撮影した方向を示す複数の直線が交差する位置の方向を、カメラ27の撮影すべき方向とする。これにより、センシング機器100Bによる撮影方向を用いて、自動撮影装置100Aによる撮影方向を自動的に決めることができる。
(変形例8)
上記センシング機器100B−1、100B−2、および自動撮影装置100Aは、それぞれ相互に通信を行うものであれば、情報提供用アプリ、自動撮影モード用のアプリを実行した別の高機能携帯電話機100などのモバイル機器や、ウェアラブル端末によって構成してもよい。
(第四の実施形態)
<使用場面の説明>
本実施形態では、第三の実施形態の説明において図10に例示したものと同様の高機能携帯電話機100に、センシング機器としての機能と、情報表示装置としての機能と、を備える。センシング機能と情報表示機能とを備えた高機能携帯電話機100は複数台存在し、これらの高機能携帯電話機100を、複数のユーザーがそれぞれ携帯している。
高機能携帯電話機100を携帯するユーザーは、各自の高機能携帯電話機100を用いて撮影を行う。ユーザーはそれぞれ、気に入った風景、人物、動物、草花等を撮影する。撮影動作を行った携帯電話機100を、以降センシング機器100Bと呼ぶ。
撮影処理を実行したセンシング機器100Bはそれぞれ、撮影時刻と、位置情報と、撮影に関して付随する情報とを、センシング情報として他の高機能携帯電話機100へブロードキャスト送信する。撮影に関して付随する情報には、撮影した画像を解析して得た被写体や撮影シーンの情報、ユーザーが入力したコメントなどが含まれる。ユーザーのプロフィール情報を含めてもよい。
ブロードキャスト送信する理由は、無線通信可能な範囲にセンシング機器100B以外の他の高機能携帯電話機100が存在する場合に、なるべく多くの高機能携帯電話機100へセンシング情報を送るためである。
センシング機器100Bから送信されたセンシング情報を受信した別の高機能携帯電話機100(以降、情報表示装置100Aと呼ぶ)は、センシング情報を受信した旨をユーザーに知らせる通知表示を行う。
図13は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面を例示する図である。情報表示装置100Aは、地図画面上に現在地(自己の位置)とセンシング情報によって伝えられたセンシング機器100Bの撮影位置(センシング機器100Bの位置)とを表示する。図13においてマーク82、88、92、98、99は、それぞれセンシング機器100の撮影位置を示す。
情報表示装置100Aのユーザーが、例えばマーク98をタップ操作すると、情報表示装置100Aは、マーク98が示す撮影位置に対応するセンシング情報を地図に重ねて表示する。図13の例では、センシング情報として、撮影位置の他に、撮影日時、撮影者(センシング機器100Bのユーザー)のニックネーム、撮影画像のカテゴリ、撮影者が入力したコメントが含まれている。ここで、図13にはサムネイル画像を加えて図示したが、カテゴリやコメントの内容を分かり易くするために図示したものである。本実施形態ではサムネイル画像をセンシング情報に含めていないので、通常、通知表示としてサムネイル画像を表示しない。
<フローチャートの説明>
情報表示装置100Aが実行する処理の流れについて、図14に例示するフローチャートを参照して説明する。図14において、情報表示装置100Aは、ユーザー操作によって情報表示用のアプリを実行すると、図14による処理を開始する。ステップS810において、情報表示装置100Aは、情報表示モードの処理を起動させてステップS820へ進む。
ステップS820において、情報表示装置100Aは、センシング機器100Bからセンシング情報を受信したか否かを判定する。情報表示装置100Aは、センシング機器100Bからのセンシング情報を受信した場合にステップS820を肯定判定してステップS830へ進み、センシング機器100Bからのセンシング情報を受信しない場合にはステップS820を否定判定してステップS860へ進む。
ステップS830において、情報表示装置100Aは、受信したセンシング情報を蓄積(例えば不揮発性メモリ35に記録)してステップS840へ進む。ステップS840において、情報表示装置100Aは、センシング機器100Bによる複数回の撮影に対応するセンシング情報に基づいて、所定の条件を満たす情報が存在するか否かを判定する。所定の条件は、例えば、あらかじめユーザーが指定しておいたカテゴリ(例えば、自然、花、動物、スポーツ、海、花火、クルマ、航空機、…など)や、コメント(「いいね」など)によって指定する。
情報表示装置100Aは、受信したセンシング情報に上記所定の条件を満たす情報が存在する場合にステップS840を肯定判定してステップS850へ進み、受信したセンシング情報の中に上記所定の条件を満たす情報が存在しない場合には、ステップS840を否定判定してステップS860へ進む。
情報表示装置100Aは、ステップS850において、表示・入力部25の表示面22に表示された通知表示画面(図13)を表示させてステップS860へ進む。通知表示画面を見た情報表示装置100Aのユーザーは、どこで撮影が行われたかを知ることができる。ユーザーが撮影対象を撮りたくなった場合には、地図に示された撮影位置を訪れるなどのアクションを起こすことが可能である。
ステップS860において、情報表示装置100Aは、表示を終了するか否かを判定する。情報表示装置100Aは、ユーザーにより終了操作が行われた場合、ステップS860を肯定判定してステップS870へ進む。情報表示装置100Aは、終了操作が行われない場合には、ステップS860を否定判定してステップS820へ戻る。ステップS820へ戻る情報表示装置100Aは、上述した処理を繰り返す。
ステップS870において、情報表示装置100Aは、情報表示モードの処理を終了させて図14による処理を終了する。
<センシング機器側の処理>
センシング機器100Bの処理は、第三の実施形態の説明において例示した図12の左側のフローチャートによって表すことができる。ただし、図12のステップS240において取得するセンシング情報は、撮影時刻と、位置情報と、撮影に関して付随する情報とを、含む。撮影に関して付随する情報は、上述したように、センシング機器100Bが撮影した画像を解析して得た被写体や撮影シーンの情報、ユーザーが入力したコメントなどである。
上記フローチャートの説明では、わかりやすく説明するためにセンシング機器100Bと情報表示装置100Aとを分けて説明したが、センシング機器100Bが情報表示装置100Aを兼ねるとともに、情報表示装置100Aがセンシング機器100Bを兼ねる点は、上述した通りである。すなわち、情報提供用のアプリと情報表示用のアプリの双方を実行する高機能携帯電話機100は、センシング機器100Bとしての機能と情報表示装置100Aとしての機能とを兼ね備える。
第四の実施形態において説明したセンシング機能および情報表示機能を備えた高機能携帯電話機100を用いると、次のような使用場面において作用効果が得られる。
(1)遊園地などでキャラクターショーが始まると、複数の人物が、センシング機器100Bを用いて出演中のキャラクターを数多く撮影する。撮影を行ったセンシング機器100Bは、キャラクターショーの開催を知らないで遊園地を訪れた人物が携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、キャラクターショーの開催を知らなかった人物は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面をたよりにキャラクターショーの開催場所へ移動し得るから、キャラクターショーを見逃すことがなくなる。
(2)海浜公園などで花火大会が開演すると、複数の人物が、センシング機器100Bを用いて花火が打ち上げられた場面を数多く撮影する。撮影を行ったセンシング機器100Bは、海浜公園を訪れたものの、花火の鑑賞ポイントを知らない人物が携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、鑑賞ポイントを知らなかった人物は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面をたよりに鑑賞ポイントへ移動することが可能になる。
(3)結婚披露宴のとき、披露宴会場の庭へ出た新郎新婦の撮影会が行われると、複数の人物が、センシング機器100Bを用いて新郎新婦を数多く撮影する。撮影を行ったセンシング機器100Bは、同じ披露宴に出席しているものの、自己のテーブル席で食事や会話に夢中になっている人物が携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、当初撮影会に気づかなかった人物は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面をたよりに新郎新婦の撮影チャンスを知り得るから、せっかくの撮影チャンスを逃してしまうことを防止できる。
(4)街なかで、芸能人などの著名人が歩いていた場合、著名人に気づいた人物が、センシング機器100Bを用いて著名人を撮影する。撮影を行ったセンシング機器100Bは、その著名人の近くにいるものの著名人に気づかない人物が携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、著名人に気づかなかった人物は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面をたよりに、著名人の存在を知り得るから、せっかくの遭遇チャンスを逃してしまうことが少なくなる。
(5)ある場所で、モデル撮影会が行われていたとする。あらかじめ撮影会と知って出かけた複数の人物が、センシング機器100Bを用いてモデルを数多く撮影する。撮影を行ったセンシング機器100Bは、モデル撮影会と知らずに訪れた人物が携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、撮影会と知らずに訪れた人物は、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面を通じて、モデル撮影会であることや、モデルの名前等を知り得るから、何が開催されているのかがわからないということが少なくなる。
(6)人物Aが、撮影会場でカメラ撮影を行っている人物Bに出会ったとき、人物Bが撮影に用いたセンシング機器100Bは、人物Aが携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、人物Aは、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面を通じて、人物Bがどのような人かを知り得る。つまり、センシング機能および情報表示機能を備えた高機能携帯電話機100を使って、他人に対して自己紹介を行い得る。
(7)人物Pが、見ず知らずの人物Qによって撮影されたとき、人物Qが撮影に用いたセンシング機器100Bは、人物Pが携帯する情報表示装置100Aに対してセンシング情報を通知する。これにより、人物Pは、情報表示装置100Aの表示・入力部25の表示面22に表示された通知表示画面を通じて、人物Qによって撮影されたという事実を知り得る。つまり、センシング機能および情報表示機能を備えた高機能携帯電話機100を使って、隠し撮り防止を行い得る。
(変形例9)
上記高機能携帯電話機100は、それぞれ相互に通信を行うものであれば、センシング機能および情報表示機能を備えたモバイル機器や、ウェアラブル端末によって構成してもよい。
(変形例10)
上述した各実施形態におけるカメラ51、高機能携帯電話機100、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図15に例示するように、プログラムを格納したパーソナルコンピュータ205から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
パーソナルコンピュータ205に対するプログラムの供給は、プログラムを格納したCD−ROMなどの記憶媒体204をパーソナルコンピュータ205にセットして行ってもよいし、ネットワークなどの通信回線201を経由する方法でパーソナルコンピュータ205へローディングしてもよい。通信回線201を経由する場合は、当該通信回線に接続されたサーバー202のストレージ装置203などにプログラムを格納しておく。
また、通信回線201に接続された無線LANのアクセスポイント(不図示)を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記憶媒体204Bをモバイル機器にセットしてもよい。このように、プログラムは記憶媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。
また、各実施形態やその変形例の一つもしくは複数を、各実施形態と組み合わせることも可能である