以下、図面を参照して、一実施形態に係る撮影補助システムについて説明する。以下の実施形態の構成は例示であり、撮影補助システムは実施形態の構成には限定されない。
以下、図1から図7の図面に基づいて、撮影補助システムを説明する。
<実施例>
〔システム構成〕
図1に、本実施形態の撮影補助システム1の説明図を例示する。図1に例示の撮影補助システム1では、例えば、ネットワークNを介して接続された情報処理装置11、撮像装置10が含まれる。ネットワークNには、例えば、インターネット等の公衆ネットワーク、携帯電話網等の無線ネットワーク等が含まれる。ネットワークNには、複数の撮像装置10が接続され得る。撮像装置10は、例えば、デジタルカメラ、ビデオカメラ等の撮像装置であり、ネットワークNに接続するための通信機能を有する。撮像装置10には、例えば、携帯電話、スマートフォン、タブレットPC(PC:Personal Computer)、PDA(Personal Data Assistance)といった撮影機能を有する可搬可能な情報処理装置が含まれる。
情報処理装置11は、例えば、サーバ、PCといったコンピュータである。情報処理装置11は、各種プログラムおよび各種データを格納する記憶媒体を備えた記憶装置を有する。記憶装置は、外部記憶装置とも呼ばれる。記憶装置としては、例えば、ソリッドステートドライブ装置、ハードディスクドライブ装置等がある。また、記憶装置は、CD(Compact Disc)ドライブ装置、DVD(Digital Versatile Disc)ドライブ装置、BD(Blu-ray(登録商標) Disc)ドライブ装置等の可搬記録媒体を含むことができる。なお、情報処理装置11、記憶装置は、例えば、ネットワーク上のコンピュータ群であるクラウドの一部を構成するものであってもよい。
図1に例示の撮影補助システム1は、例えば、ネットワークNに接続された各撮像装置10のイベント等における撮影中の画像情報から、画像情報の撮影者、画像情報に含まれる被写体の認識を行う。また、撮影補助システム1は、例えば、イベント等に参加している各撮像装置10の撮影中の撮影位置を検出し、撮影中の撮像装置10の撮影位置に近接する距離範囲内の他の撮像装置10を検出する。そして、撮影補助システム1は、撮影中の画像情報から撮影状況を判断し、撮影中の撮像装置10と撮像装置10に近接する距離範囲内の他の撮像装置10に対して、それぞれの撮影状況に応じた撮影助言を行う。撮影助言は、例えば、それぞれの撮像装置10のモニタ等の表示部を介して表示される。
それぞれの撮像装置10のユーザは、例えば、撮影中の画像情報が表示されるモニタ等に表示された撮影助言に基づいて、撮影中の画像情報に被写体として含まれることを促したり、撮影中の画像情報に対する撮影依頼を行うことができる。本実施形態の撮影補助システム1では、例えば、各撮像装置10のモニタ等に表示された撮影助言をきっかけとして、相互のコミュニケーションを図ることができるため、イベント等の参加者間の交流を深めることが可能となる。本実施形態の撮影補助システム1では、例えば、イベント等の参加者間の交流が促進することで、相互に撮影し合う撮影状況が形成できるため、撮影機会のバラツキを軽減させることが可能となる。
図1に例示の撮影補助システム1において、情報処理装置11は、ネットワークNに接続された各撮像装置10のイベント等における撮影中の画像情報を取得する。情報処理装置11は、撮影中の画像情報に含まれる被写体の識別を行う。情報処理装置11は、撮影中の画像情報に被写体が含まれないことを判別する。また、情報処理装置11は、撮影装置10を識別する情報、撮影者を撮影した画像情報等から、画像情報を撮影中の撮影者の識別を行う。また、情報処理装置11は、撮影中の撮像装置10の近接した距離範囲に位置する他の撮像装置の撮影者を特定する。情報処理装置11は、例えば、ネットワークNに接続された撮像装置10、他の撮像装置から位置情報を取得する。各撮像装置10の位置情報は、例えば、GPS(Global Positioning System)機能等で取得される。そして、情報処理装置11は、取得した撮像装置10の位置情報と他の撮像装置との相対的な距離関係から、近接した距離範囲に位置する他の撮影者を特定する。
図1に例示の撮影補助システム1において、情報処理装置11は、受信した撮影中の画像情報から識別された被写体、被写体の有無、撮影者、近接した距離範囲に位置する他の撮像装置の撮影者等の情報から、撮像装置10毎の撮影中の撮影状況を認識する。
また、図1に例示の撮影補助システム1において、情報処理装置11は、例えば、インターネット等のネットワークNを介して接続された撮像装置10から、該撮像装置10の利用者(以下、ユーザとも称す)が撮影した写真や動画といった画像情報を収集する。収集した画像情報は、例えば、情報処理装置11の記憶装置に蓄積される。情報処理装置11は、例えば、収集・蓄積した画像情報から、ユーザ毎の写真撮影等の撮影技量(以下、スキルレベルとも称す)を示すランク付けを行う。また、情報処理装置11は、収集した画像情報の被写体構図に対し、被写体構図毎の撮影数量である被写体頻度、被写体頻度に撮影者のスキルレベルを加味した被写体ポイントを算出する。
そして、情報処理装置11は、撮影中の撮影状況を変更した場合の状況について、変更前後の被写体構図、撮影者のスキルレベル、他の撮影者のスキルレベル等を反映したポイント情報を含む変更可能性情報を生成する。なお、変更前後の被写体構図には、風景画像といった被写体を含まない撮影状況からの変更が含まれる。
図1に例示の撮影補助システム1の撮像装置10は、生成された変更可能性情報のポイント情報に基づいて、画像情報を撮影中の撮影者に対する助言情報を生成する。助言情報には、撮影中の画像情報に被写体として含まれることを促したり、撮影中の画像情報に対する撮影依頼を行うといった助言が含まれる。撮像装置10は、撮像装置10に対応付けられた所定の表示方法により、生成した助言情報を、撮影中の画像情報が表示されるモニタ等に表示する。助言情報は、例えば、撮影中の画像情報に重畳して、モニタ等に表示される。
撮像装置10の撮影者は、撮影中の画像情報に重畳して表示された助言情報に基づいて、例えば、撮像装置10の近接した距離範囲に位置する他の撮像装置10の撮影者に対して、撮影中の画像情報に被写体として含まれることを促すことが可能となる。また、近接する他の撮像装置10の撮影者は、例えば、撮影中の画像情報に重畳して表示された撮影助言に基づいて、撮影中の画像情報の撮影依頼を一方の撮像装置10の撮影者に対して行うことができる。
本実施形態の撮影補助システム1では、例えば、各撮像装置10のモニタ等に表示された撮影助言をきっかけとして、相互のコミュニケーションを図ることができるため、イベント等の参加者間の交流を深めることが可能となる。この結果、本実施形態の撮影補助システム1では、例えば、イベント等の参加者間の交流が促進することで、相互に撮影し合う撮影状況が形成できるため、撮影機会の偏りを軽減させる技術が提供できる。
〔装置構成〕
図2Aに、情報処理装置90のハードウェア構成を例示する。図2Aに例示する情報処理装置90は、いわゆる一般的なコンピュータの構成を有している。図1に例示する、撮像装置10、情報処理装置11は、例えば、図2Aに例示の情報処理装置90によって実現される。
情報処理装置90は、接続バスB1によって相互に接続されたCPU(Central Processing Unit)91、主記憶部92、補助記憶部93、入力部94、出力部95、通信部96を有する。主記憶部92及び補助記憶部93は、情報処理装置90が読み取り可能な記録媒体である。
情報処理装置90は、CPU91が補助記憶部93に記憶されたプログラムを主記憶部92の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行う。これにより、情報処理装置90は、所定の目的に合致した機能を実現することができる。
図2Aに例示の情報処理装置90において、CPU91は、情報処理装置90全体の制御を行う中央処理演算装置である。CPU91は、補助記憶部93に格納されたプログラムに従って処理を行う。主記憶部92は、CPU91がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶部92は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)を含む。
補助記憶部93は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納する。補助記憶部93には、オペレーティングシステム(Operating System :OS)、各種プログラム、各種テーブル等が格納される。OSは、通信部96を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。外部装置等には、例えば、接続されたネットワークN上の、他のサーバ等の情報処理装置、外部記憶装置、通信機能を有する装置等が含まれる。
補助記憶部93は、例えば、EPROM(Erasable Programmable ROM)、ソリッドステートドライブ装置、ハードディスクドライブ(HDD、Hard Disk Drive)装置等である。また、補助記憶部93としては、例えば、CDドライブ装置、DVDドライブ装置、BDドライブ装置等が提示できる。記録媒体としては、例えば、不揮発性半導体メモリ(フラッシュメモリ)を含むシリコンディスク、ハードディスク、CD、DVD、BD、USB(Universal Serial Bus)メモリ、メモリカード等がある。
入力部94は、ユーザ等からの操作指示等を受け付ける。入力部94は、入力ボタン、キーボード、タッチパネル等のポインティングデバイス、ワイヤレスリモコン、マイクロフォン、カメラ等の入力デバイスである。また、入力部94には、赤外線等の近接センサ等の各種センサ、GPS受信機等が含まれる。入力部94から入力された情報は、接続バスB1を介してCPU91に通知される。
出力部95は、CPU91で処理されるデータや主記憶部92に記憶されるデータを出力する。出力部95は、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electroluminescence)パネル、有機ELパネル、プリンタ、スピーカ等の出力デバイスである。通信部96は、例えば、ネットワークN等とのインターフェースである。
撮像装置10としての情報処理装置90は、例えば、CPU91が補助記憶部93に記憶されているOS、各種プログラムや各種データを主記憶部92に読み出して実行することにより、図2Bに例示の各機能部を実現する。
例えば、撮像装置10としての情報処理装置90は、図2Bに例示の映像受信部101、映像記録部102、撮影位置検出部103、近接状況検出部104、撮影助言通知部105、映像表示部106としての機能を実現する。また、撮像装置10としての情報処理装置90は、以上の各機能部が参照し、或いは、管理するデータの格納先として、例えば、補助記憶部93に構築された、映像データDB201、助言表示数設定テーブル202、助言表示方法設定テーブル203を有する。
撮像装置10としての情報処理装置90は、以上の機能部が機能することにより、例えば、カメラ等の入力部94を介して撮像された撮影中の画像情報をネットワークN等に出力することができる。また、撮像装置10は、例えば、GPS機能等を機能させて、画像情報を撮影中の撮像装置10の位置情報を取得し、取得した位置情報をネットワークNに出力することができる。また、撮影装置10は、例えば、ネットワークNを介して、画像情報を撮影中の撮影状況に対する、撮影助言情報を受信することができる。撮像装置10は、受信した撮影助言情報に基づいて、所定の助言メッセージを例えば、撮像装置10のELパネルといったモニタに含まれる出力デバイスに表示する。撮像装置10のユーザは、ELパネルといったモニタを介し、画像情報を撮影中の撮影状況に対する撮影助言を受けることができる。
情報処理装置11としての情報処理装置90は、例えば、CPU91が補助記憶部93に記憶されているOS、各種プログラムや各種データを主記憶部92に読み出して実行することにより、図2Cに例示の各機能部を実現する。
例えば、情報処理装置11としての情報処理装置90は、図2Cに例示の被写体認識部111、撮影者認識部112、撮影状況判定部113としての機能を実現する。また、情報処理装置11としての情報処理装置90は、以上の各機能部が参照し、或いは、管理するデータの格納先として、例えば、補助記憶部93に構築された、映像DB211、被写体DB212、被写体情報DB213、イベント映像DB214、イベント状況DB215を有する。また、情報処理装置11としての情報処理装置90は、例えば、補助記憶部93に構築された、撮影者情報DB216、撮影助言DB217を有する。なお、情報処理装置11は、例えば、補助記憶部93に、変更可能性リスト218、撮像画像に含まれる被写体の顔の特徴を特定するためのテンプレートデータを有する。
情報処理装置11は、以上の機能部が機能することにより、例えば、ネットワークNに接続された複数の撮像装置10から撮影中の画像情報を取得し、各撮像装置10の位置情報を取得することができる。また、情報処理装置11は、例えば、ネットワークNに接続された複数の撮像装置10から撮像記録としての画像情報を収集し、例えば、補助記憶部93に蓄積することができる。
情報処理装置11は、例えば、補助記憶部93に蓄積された画像情報から、画像情報を撮影した撮影者の撮影技量(スキルレベル)のランク付けを行う。また、補助記憶部93に蓄積した画像情報の被写体構図に対し、被写体構図毎の撮影数量である被写体頻度、被写体頻度に撮影者のスキルレベルを加味した被写体ポイントを算出する。
情報処理装置11は、受信した撮影中の画像情報から識別された被写体、被写体の有無、撮影者、近接した距離範囲に位置する他の撮像装置の撮影者等の情報から、撮像装置10毎の撮影中の撮影状況を認識する。そして、情報処理装置11は、撮影中の撮影状況を変更した場合の状況について、撮影中の画像情報に被写体として含まれることを促したり、撮影中の画像情報に対する撮影依頼を行うといった助言情報を生成する。
情報処理装置11は、例えば、近接した距離範囲内に位置する一方の撮像装置10に対して、撮影中の画像情報に被写体として含まれることを他の撮像装置10に促すように助言をすることができる。また、情報処理装置11は、例えば、近接した距離範囲内に位置する他の撮像装置10に対して、撮影中の画像情報の撮影依頼を一方の撮像装置10の撮影者に依頼するように助言をすることができる。
なお、情報処理装置11の各機能部のうち、いずれかが、他の情報処理装置に含まれてもよい。例えば、被写体認識部111を含む情報処理装置と、撮影者認識部112を含む情報処理装置と、撮影状況判定部113を含む情報処理装置とが、ネットワーク等を介して接続されることにより、情報処理装置11として機能してもよい。同様に、情報処理装置11の各DBは、複数の記憶装置に分散されて格納し、ネットワーク等を介して接続されるとしてもよい。情報処理装置11は、複数の情報処理装置に機能部を分散し、複数の記憶装置にDBを分散し、各機能部を実現することで、処理負荷を軽減することができる。
〔機能ブロック構成〕
図3に、撮影補助システム1としての機能構成の説明図を例示する。図3に例示の説明図は、図2Bに例示の撮像装置10の機能構成、図2Cに例示の情報処理装置11の機能構成の遷移関係を示すものである。
図3に例示の説明図において、被写体認識部111、撮影者認識部112、撮影状況判定部113は、例えば、情報処理装置11のCPU91が、主記憶部92上に実行可能に展開されたコンピュータプログラムを実行することで提供される。撮像装置10の、映像受信部101、映像記録部102、撮影位置検出部103、近接状況検出部104、撮影助言通知部105、映像表示部106についても同様である。例えば、撮像装置10のCPU91が、主記憶部92上に実行可能に展開されたコンピュータプログラムを実行することで、上述の各機能部が提供される。
また、図3に例示の説明図において、映像DB211、被写体DB212、被写体情報DB213、イベント映像DB214、イベント状況DB215、撮影者情報DB216、撮影助言DB217は、例えば、補助記憶部93に構築される。なお、情報処理装置11が備える補助記憶部93には、変更可能性リスト218、撮像画像に含まれる被写体の顔の特徴を特定するためのテンプレートデータが含まれる。なお、テンプレートデータには複数のサイズのデータが含まれる。撮影補助システム1の情報処理装置11は、補助記憶部93に構築された各DB等を参照し、或いは、管理するデータの格納先として各機能部による処理を実行する。
(撮像装置10)
図3に例示の説明図において、映像受信部101は、撮像装置10のカメラ等の撮影デバイスで撮像中の画像情報を受け付ける。画像情報には、撮影対象の複数の被写体が含まれる。画像情報内の各被写体の並び、位置、ポージング等は、被写体構図となる。映像受信部101で受け付けられた撮影中の画像情報は、例えば、Exif(Exchangeable image file format)等の撮影情報と共に、撮像装置10の主記憶部92の所定の領域に一時的に記憶する。ここで、Exifとは、デジタルカメラ等で撮影視された画像情報等に付加される属性情報であり、日本電子工業振興会により標準化された規格である。
Exif情報には、例えば、撮影日時、撮像装置10の機種名、メーカー名、解像度、シャッタースピード、絞り、撮影モード、焦点距離といった情報が付加される。また、電子コンパスやGPS機能を有する場合には、撮影時の撮影方向、緯度・経度・標高といった位置情報が含まれる。
映像受信部101は、撮影中の画像情報を、撮像装置10の映像記録部102、映像表示部106に引き渡す。また、映像受信部101は、撮影中の画像情報を、撮像装置10の通信部96を介し、接続されたネットワークNに送信する。ネットワークNに送信された撮影中の画像情報は、例えば、該ネットワークNに接続された情報処理装置11に受信される。情報処理装置11に受信された撮影中の画像情報は、情報処理装置11の被写体認識部111、撮影者認識部112に引き渡される。
映像記録部102は、例えば、入力部94に含まれるシャッターといった操作入力ボタンのユーザ操作を契機として、映像受信部101から引き渡された撮影中の画像情報を、映像データとして記録する。映像記録部102は、例えば、図2Bに例示の、撮像装置10の補助記憶部93に構築された映像データDB201に、撮影中の画像情報を、映像記録として格納する。また、映像記録部102は、例えば、イベントの撮影機会に係る付属情報を映像受信部101から引き渡された撮影中の画像情報と共に、ネットワークNに接続されたイベント映像DB214、イベント状況DB215に格納する。映像記録部102は、例えば、撮影中の画像情報をイベント映像DB214に、イベントの撮影機会に係る付属情報をイベント状況DB215に格納する。
ここで、付属情報には、例えば、ネットワークNを介して接続された情報処理装置11の被写体認識部111で認識された被写体情報、撮影者認識部112で認識された撮影者情報が含まれる。被写体情報は、撮像装置10の映像受信部101から送信された撮影中の画像情報に基づいて特定される。撮影者情報は、撮影装置10を識別する情報、撮影者を撮影した画像情報等から特定される。
また、付属情報には、例えば、撮影位置検出部103で検出された撮像装置10の位置情報、近接状況検出部104で検出された撮像装置10の近接する距離範囲に位置する他の撮像装置の情報が含まれる。なお、例えば、撮像装置10が、電子コンパス等の機能を有する場合には、電子コンパス機能等で検出された撮影方向の方角情報が付属情報に含まれるとしてもよい。
なお、画像情報がExif情報を含む場合では、例えば、映像記録部102は、Exif情報を含む画像情報をイベント映像DB214に格納し、付属情報とExif情報とを参照情報としてイベント状況DB215に格納してもよい。撮影補助システム1は、画像情報が含まれる映像記録の格納先とイベントに係る参照情報の格納先とを分別した上で、例えば、イベント状況DB215に格納された情報を、撮影機会に係るイベントの撮影状況を一元管理する情報として参加者の間で共有する。共有されたイベント状況DB215に格納された情報には具体的な映像記録は含まれないため、例えば、他の参加者に閲覧させたくないような写真、映像等の画像情報が不用意に共有されることはない。
撮影位置検出部103は、画像情報を撮影中の撮像装置10の位置情報を検出する。撮像装置10がGPS機能を有する場合には、撮影位置検出部103は、例えば、GPS機能を機能させ、撮像装置10の緯度、経度情報を位置情報として検出する。なお、撮像装置10の位置情報は、例えば、撮像装置10が接続するネットワークNに含まれる携帯電話網等の、無線基地局との距離から判別して検出するとしてもよい。撮影位置検出部103は、検出した撮像装置10の位置情報を、例えば、主記憶部92の所定の領域に一時的に記憶する。撮影位置検出部103は、検出した撮像装置10の位置情報を、映像記録部102に引き渡すと共に、通信部96を介し、ネットワークNに接続された情報処理装置11の撮影状況判定部113に引き渡す。
なお、撮像装置10が、電子コンパス等の機能を有する場合では、撮影位置検出部103は、例えば、電子コンパス等の機能を介して検出した撮影方向の方角情報を取得するとしてもよい。方角情報は、例えば、真北を「0」とし、時計回りに、真北に対する相対角度で表すことができ、0〜360度の範囲の相対角度で表すことができる。取得された撮像装置10の撮影方向の方角情報は、例えば、映像記録部102、及び、ネットワークNに接続された情報処理装置11の撮影状況判定部113に引き渡される。
近接状況検出部104は、画像情報の撮影機会に係る撮像装置10に対して、近接した距離範囲に位置する他の撮像装置の検出を行う。例えば、近接状況検出部104は、ネットワークNに接続された情報処理装置11から、イベントに参加している他のユーザの撮像装置の位置情報のリストを取得する。そして、近接状況検出部104は、例えば、取得した他の撮像装置の位置情報と撮影位置検出部103で検出された位置情報から、他の撮像装置との相対距離を算出する。そして、近接状況検出部104は、撮像装置10と他の撮像装置との相対距離の大小関係から、撮像装置10に対して近接した範囲に位置する他の撮像装置の検出を行う。
近接状況検出部104は、例えば、算出された相対距離値が小さい(相対距離が近い)順に近接装置リストを作成し、主記憶部92の所定の領域に一時的に記憶する。なお、近接装置リストの作成にあたり、相対距離値の大小を判定する閾値を設けるとしてもよい。例えば、近接状況検出部104は、閾値未満の相対距離値を有する他の撮像装置に対して近接装置リストを作成するとしてもよい。相対距離値の大小を判定する閾値を設けることにより、複数の撮像装置10に対する絞り込みを行うことができる。ここで、相対距離値の大小を判定する閾値は任意であり、イベントの規模、場所、時間、イベントに参加する参加者の数等に応じて設定できる。
近接状況検出部104は、例えば、作成した近接装置リストを、通信部96を介し、ネットワークNに接続された情報処理装置11の撮影状況判定部113に送信する。なお、近接状況検出部104の機能は、例えば、情報処理装置11に含めるとしてもよい。例えば、情報処理装置11は、ネットワークNに接続された、イベントに参加する複数の撮像装置10の位置情報を収集する。そして、情報処理装置11は、収集した撮像装置10毎の位置情報に基づき、撮影機会に係る撮像装置10に対する他の撮像装置との相対距離値を算出するとすればよい。情報処理装置11は、算出した相対距離値に基づいて、撮影機会に係る撮像装置10と他の撮像装置との近接装置リストを作成し、撮影状況判定部113に引き渡すとすればよい。近接状況検出部104の機能を情報処理装置11に含めることにより、撮像装置10の処理の負荷を軽減できる。
撮影助言通知部105は、例えば、撮影状況判定部113から通知された撮影中の撮影状況に対する変更可能性情報に応じて、撮影助言DB217を参照し、撮影中の被写体構図等の撮影方法に係る助言情報を特定する。助言情報には、例えば、撮影者に近接する、スキルレベルの高い他の撮影者(撮影可能者)に対する撮影依頼が含まれる。撮影助言通知部105は、撮影助言DB217を参照して特定した助言情報を、例えば、主記憶部92の所定の領域に一時的に記憶し、映像表示部106に引き渡す。なお、撮影助言通知部105の撮影助言通知処理については、図6Jで詳細を説明する。
映像表示部106は、例えば、映像受信部101から引き渡された撮影機会に係る撮影中の画像情報を、撮像装置10が備える出力部95のELパネルといったモニタ用の表示デバイスに表示させる。映像表示部106は、例えば、画像情報に含まれるExif情報等の撮影に係る属性情報を撮影中の映像データに重畳させてモニタ用の表示デバイスに表示させる。また、映像表示部106は、例えば、撮影助言通知部105から引き渡された撮影方法に係る助言情報についても同様に、撮影中の映像データに重畳させてモニタ用の表示デバイスに表示させる。撮影助言通知部105で特定された、撮影中の撮影機会に係る助言情報は、モニタ用の表示デバイスを介して、撮像装置10のユーザに提示される。
(情報処理装置11)
図3に例示の説明図において、被写体認識部111は、ネットワークNを介して撮像装置10から送信された撮影中の画像情報を解析し、撮像装置10の撮影機会で対象とされる被写体構図中の被写体を認識する。被写体の認識は、例えば、顔認識技術により処理される。被写体認識部111は、例えば、ネットワークNを介して撮像装置10から送信された撮影中の画像情報を受信し、主記憶部92の所定の領域に一時的に記憶する。被写体認識部111は、受信した画像情報の映像データから被写体構図中の被写体の顔の検出を行い、顔領域の特定を行う。そして、被写体認識部111は、特定された顔領域に対して顔認識処理を行う。被写体認識部111の被写体認識処理ついては、図6Cで詳細を説明する。
被写体認識部111は、例えば、映像DB211、被写体DB212、被写体情報DB213を参照し、特定した被写体の顔の撮像領域と映像DB211に格納された記録映像に含まれる顔情報とのパターンマッチング等による照合を行う。被写体認識部111は、例えば、照合の結果、両者の合致度が所定の閾値以上である場合には、撮影中の画像情報に含まれる被写体は被写体DB212に登録された被写体であると認識する。一方、被写体認識部111は、例えば、照合の結果、両者の合致度が所定の閾値未満である場合には、撮影中の画像情報に含まれる被写体は被写体DB212に登録されていない被写体であると認識する。
被写体認識部111は、例えば、撮影中の画像情報に含まれる被写体が被写体DB212に登録されていると認識する場合には、被写体DB212に登録された被写体情報を、通信部96を介してネットワークNに接続された撮像装置10に送信する。ここで、被写体情報には、例えば、被写体を一意に識別する被写体ID、被写体DB212に登録された被写体名が含まれる。撮像装置10で受信された被写体情報は、映像記録部102に通知される。また、被写体認識部111は、例えば、撮影中の画像情報に含まれる被写体が被写体DB212に登録されていると認識する場合には、被写体DB212に登録された被写体情報を、撮影状況判定部113に引き渡す。
なお、撮影中の画像情報に含まれる被写体が被写体DB212に登録されていないと認識する場合の撮像装置10に対する通知処理には特に限定はない。例えば、被写体認識部111は、撮像装置10に対し、撮影中の画像情報に含まれる被写体が被写体DB212に登録されてないことを示す特定IDを通知するとしてもよい。特定IDの通知を受けた撮像装置10の映像記録部102は、例えば、特定IDを被写体情報として付属情報に含め、撮影した画像情報を記録することができる。また、例えば、撮像装置10の映像記録部102は、被写体情報を付属情報に含めずに撮影した画像情報を記録するとしてもよい。撮影状況判定部113に引き渡す被写体情報についても同様であり、例えば、被写体認識部111は、撮影中の画像情報に含まれる被写体が被写体DB212に登録されていないことを示す特定IDを被写体情報として引き渡すことができる。
撮影者認識部112は、撮像装置10を識別する情報、例えば、撮像装置10との通信時に取得した情報、画像情報の受信時に取得した情報から撮影中の撮影者の特定を行う。撮影者認識部112は、例えば、画像情報を送信した撮像装置10の通信に係るアドレス情報等から撮影者の特定を行うことができる。撮影者認識部112は、例えば、撮像装置10の通信に係るアドレス情報と、該アドレス情報を有するユーザ(撮影者)とを対応付けた撮影者リスト等を予め補助記憶部93に保持しておけばよい。通信に係るアドレス情報とユーザとの対応付けは、例えば、撮影補助システム1の情報処理装置11に対する画像情報の登録時に作成すればよい。撮影者認識部112は、例えば、撮像装置10からネットワークNを介して送信された撮影中の画像情報の受信時に、補助記憶部93等に保持された撮影者リスト等を参照し、通信に係るアドレス情報とユーザとの対応付けを行うとすればよい。
また、撮像装置10が、例えば、撮影者を撮影するインカメラ、被写体を撮影するアウトカメラといった複数の撮像デバイスを備えているような場合では、撮影者側に位置するカメラ等で撮影された画像情報を用いて撮影者を特定するとしてもよい。例えば、撮影者認識部112は、被写体認識部111で説明したように、撮像装置10の画像情報に対して、顔認識技術を適用することで撮影者の特定を行うことができる。撮影者認識部112は、被写体認識部111と同様に、例えば、受信した画像情報の映像データから特定した撮影者の顔の撮像領域と映像DB211に格納された記録映像の顔情報とのパターンマッチング等による照合を行えばよい。そして、撮影者認識部112は、両者の合致度が所定の閾値以上である場合に、画像情報に含まれる撮影者を写体DB212に登録された撮影者として特定すればよい。
撮影者認識部112は、撮像装置10から送信された画像情報に基づいて特定した撮影者情報を、例えば、通信部96を介してネットワークNに接続された撮像装置10に送信する。ここで、撮影者情報には、例えば、撮影者を一意に識別する撮影者ID、撮影者情報DB216等に登録された撮影者名が含まれる。撮像装置10で受信された撮影者情報は、例えば、映像記録部102に通知される。また、撮影者認識部112は、特定した撮影者情報を、例えば、撮影状況判定部113に引き渡す。
撮影状況判定部113は、撮像装置10から送信された撮影中の画像情報から、イベントの撮影機会に係る撮影状況を認識する。撮影状況判定部113は、例えば、被写体認識部111で認識された被写体情報、撮影者認識部112で特定された撮影者情報を収集する。また、撮影状況判定部113は、ネットワークNを介し、撮像装置10の撮影位置検出部103で検出された撮像装置10の位置情報、近接状況検出部104で作成された近接装置リストを収集する。
撮影状況判定部113は、例えば、収集した各種情報と撮影者情報DB216を参照し、撮影中の画像情報の撮影者、イベントに参加する他の撮影者の撮影技量を示すスキルレベルを特定する。また、撮影状況判定部113は、例えば、収集した各種情報とイベント状況DB215を参照し、撮影中の画像情報の被写体構図に対する過去の撮影頻度、被写体ポイント等を特定する。そして、撮影状況判定部113は、撮影中の撮影状況に対して撮影状況が変更された場合のポイント付けを行い、変更可能性リスト218を生成する。そして、撮影状況判定部113は、例えば、生成した変更可能性リスト218、或いは、変更可能性リスト218の生成完了の通知を、撮影中の画像情報を送信した撮像装置10に送信する。なお、撮影状況判定部113で行われる撮影状況判定処理の詳細は、図6Gで説明する。
撮影状況判定部113から、送信された変更可能性リスト218、或いは、変更可能性リスト218の生成完了の通知は、例えば、ネットワークNに接続された撮像装置10の撮影助言通知部105に受信される。撮像装置10の撮影助言通知部105は、受信した情報に基づいて撮影助言DB217を参照し、撮像装置10が備えるELパネルといったモニタ用の表示デバイスに表示する助言情報を特定する。なお、撮影助言通知部105で特定される助言情報には、複数の助言が含まれる。
〔データベース構成〕
図4Aに、映像DB211の一例を例示する。映像DB211には、例えば、本実施形態の撮影補助システム1の情報処理装置11で収集・蓄積された画像情報が格納される。映像DB211に収集・蓄積された画像情報には、例えば、撮像装置10で撮像された、イベント毎の画像情報が含まれる。なお、イベント映像DB214には、例えば、図4Aに例示の形式で、撮像されたイベント毎の画像情報が格納される。
図4Aに例示の映像DB211は、「ファイル Index」、「ファイル名」、「格納先」、「映像種別」、「撮影日時」、「撮影場所」、「撮影者ID」のカラムを有する。「ファイル Index」カラムには、撮像装置10で撮像された、イベント毎の画像情報を一意に識別する識別情報が格納される。「ファイル Index」カラムに格納される識別情報は、例えば、撮影補助システム1を管理する管理者により、或いは、情報処理装置11により自動的に採番される。「ファイル名」カラムには、撮像装置10によって撮像された画像情報のファイル名が格納される。「格納先」カラムには、撮像装置10によって撮像された画像情報のファイル名が格納されているフォルダへのパスが格納される。なお、画像情報が格納されているフォルダには、例えば、撮像装置10の補助記憶部93に設けられた画像情報を格納するフォルダが含まれる。
「映像種別」カラムには、撮像装置10によって撮像された画像情報の種別が格納される。図4Aの例では、例えば、撮像された画像情報が写真等の静止画像の場合では「P」、ビデオ等の動画像の場合では「M」が格納される。画像情報の種別は、例えば、「ファイル名」カラムに格納された画像情報のファイル名の、「.jpg」、「.mpg」等の拡張子で特定できる。情報処理装置11は、例えば、「ファイル名」カラムに格納された画像情報の拡張子から「映像種別」カラムに格納される画像情報の種別を決定するとしてもよい。
「撮影日時」カラムには、撮像装置10によって撮像された画像情報の撮影日時が格納される。「撮影日時」カラムに格納される撮影日時は、例えば、4桁の西暦、2桁の月暦、2桁の日暦、に加え、それぞれ2桁の時暦、分暦、秒暦を示す時刻情報が付加される形態が例示できる。撮影日時は、例えば、画像情報に含まれるExif情報、或いは、ファイルに付加されたタイムスタンプから特定できる。
「撮影場所」カラムには、撮像装置10によって撮影された画像情報の撮影場所の位置情報が格納される。「撮影場所」カラムに格納される位置情報には、例えば、GPS機能を介して取得した撮影場所の緯度・経度情報が含まれる。なお、「撮影場所」カラムに格納される位置情報として、例えば、ネットワークNに接続するための通信基地局との位置関係を利用した位置情報が含まれるとしてもよく、撮影場所を地図上で指定することで取得した緯度・経度の位置情報が格納されるとしてもよい。
「撮影者ID」カラムには、撮像装置10によって撮像された画像情報の撮影者を一意に識別する撮影者識別情報(撮影者ID)が格納される。「撮影者ID」カラムに格納される撮影者識別情報は、例えば、撮影補助システム1の利用登録時に登録された識別情報が格納される。撮影者IDは、例えば、撮像装置10の通信に係るアドレス情報と対応付けられている場合、該アドレス情報が格納されるとしてもよい。
図4Aの例では、「ファイル Index」カラムに「3」が格納されたレコードにおいて、「Photo002.jpg」が「ファイル名」カラムに格納され、「格納先」カラムには、「Photo002.jpg」が格納されたフォルダのパスである「C:\20100331」が格納されている。また、「映像種別」には、撮像された画像情報の種別を示す「P」が格納され、「撮影日時」カラムには、画像情報の撮影日時を示す「2010/3/31 15:30:41」が格納されている。「撮影場所」カラムには、画像情報が撮影された位置情報を示す「北緯 43’34 東経 133」が格納され、「撮影者ID」カラムには画像情報を撮影したユーザを識別する「1」が格納されている。
図4Bに、被写体DB212の一例を例示する。被写体DB211には、映像DB211に格納された画像情報に含まれる被写体を一意に識別する被写体識別情報(被写体ID)と被写体名が対応付けて格納される。なお、映像DB211に格納された画像情報と、被写体DB212に格納される被写体との対応付けは、被写体情報DB213で管理される。
図4Bに例示するように、被写体DB212は、「被写体ID」、「被写体名」のカラムを有する。「被写体ID」カラムには、被写体を識別する被写体識別情報が格納される。「被写体名」カラムには、被写体の氏名等が格納される。なお、「被写体名」に格納される情報は、例えば、映像DB211に格納された画像情報の撮影者等が判別可能な名称であってもよい。例えば、被写体が含まれる画像情報の撮影後に、撮影者等が撮像された画像情報を参照し、「被写体名」に名称を登録することができる。図4Bの例では、例えば、「被写体ID」カラムに「11」が格納されたレコードには、「友人A男」といった名称が「被写体名」カラムに格納されている。なお、「被写体ID」カラムに「1」が格納されたレコードでは、画像情報を撮影した撮影者が「管理者」といった名称で「被写体名」カラムに格納されている。
図4Cに、被写体情報DB213の一例を例示する。被写体情報DB213には、映像DB211に格納された画像情報と、被写体DB212に格納される被写体との対応付ける被写体情報が格納される。図4Cに例示するように、被写体情報DB213は、「Index」、「映像ID」、「被写体ID」、「被写体領域」、「処理済」のカラムを有する。
「Index」カラムには、被写体情報DB213に格納される被写体情報を一意に識別する識別情報が格納される。「映像ID」カラムには、映像DB211に格納された画像情報を指し示す識別情報が格納される。「映像ID」カラムに格納される識別情報は、映像DB211の「ファイル Index」カラムに格納される識別情報である。「被写体ID」カラムには、被写体DB212に格納された被写体を指し示す識別情報が格納される。「被写体ID」カラムに格納される識別情報は、被写体DB212の「被写体ID」カラムに格納される被写体識別情報が格納される。「被写体領域」カラムには、「映像ID」カラムに格納された識別情報で指し示された画像情報における、被写体の顔が撮影された領域の領域情報が格納される。被写体の顔の領域情報は、例えば、顔認識技術により処理された領域情報が格納される。
「処理済」カラムには、被写体累計処理が完了したか否かの情報が格納される。被写体累計処理については、図5Cで詳細を説明する。なお、被写体累計処理が完了したか否かの情報として、例えば、1ビットで表される2値のステータス情報が例示できる。例えば、2値のステータス情報として、被写体累計処理の完了に対し「1」、被写体累計処理の未完了に対し「0」とのステータス状態が例示できる。なお、「処理済」カラムに格納される情報は、被写体累計処理が完了したこと、或いは、被写体累計処理が未完了であることを判別可能な情報が格納されればよい。例えば、被写体累計処理が未完了である場合には、「処理済」カラムの状態は空欄の状態としてもよく、「ZZZ」等の文字や文字列が格納されるとしてもよい。
図4Dに、画像情報に含まれる被写体領域の説明図を例示する。図4Dに例示の説明図は、例えば、映像DB211の「ファイル Index」カラムに「1201」との識別情報で格納された画像情報である。図4Dに例示の画像情報は、例えば、画素数が480(横)×320(縦)のHVGA(Half-Video Graphics Array)規格で撮影された静止画像である。図4Dの画像例には、被写体DB212の「被写体ID」が「1」、「2」、「4」でそれぞれ識別される複数の被写体画像が含まれている。
図4Dの画像例では、顔認識技術により処理された、「被写体ID」が「1」で指し示される被写体の顔の画像領域は、破線の矩形領域で囲まれた領域A1である。また、「被写体ID」が「4」で指し示される被写体の顔の画像領域は、破線の矩形領域で囲まれた領域A2であり、「被写体ID」が「2」で指し示される被写体の顔の画像領域は、破線の矩形領域で囲まれた領域A3である。
被写体情報DB213の「被写体領域」カラムに格納される領域情報は、例えば、画像情報の画素数を座標情報として捉え、対象となる被写体の顔が撮影された矩形領域の「(左上の座標)−(右下の座標)」として表すことができる。図4Dの画像例では、例えば、複数の被写体画像が含まれる静止画像を、左上の座標を(0、0)とし、右下の座標を(319、479)とする領域サイズで表すことができる。このため、例えば、静止画像に含まれる各被写体の顔が撮影された矩形領域は、(0、0)−(319、479)の領域範囲内の座標値で表すことができる。撮影された画像情報の画素数を座標情報として捉えることにより、被写体の顔領域が撮影された領域を画像情報内で特定することができる。
図4Cの被写体情報DB213の例に戻り、「Index」カラムに「223」が格納されたレコードの「被写体領域」カラムには、「(13,0)−(157,220)」との領域情報が格納されている。「Index」が「223」のレコードでは、「映像ID=1201」の静止画像の中に、「被写体ID=1」の被写体の顔領域が、「(13,0)−(157,220)」で表される矩形領域に存在していることを示している。図4Dの画像例では、「被写体ID=1」の顔領域が撮影された領域A1は、左上の座標を(13,0)とし、右下の座標を(157,220)とする矩形領域に存在することを示している。
同様に、「Index」が「224」のレコードでは、「映像ID=1201」の静止画像の中に、「被写体ID=2」の被写体の顔領域が、「(311,38)−(458,232)」で表される矩形領域に存在していることを示している。また、「Index」が「224」のレコードでは、「映像ID=1201」の静止画像の中に、「被写体ID=1」の被写体の顔領域が、「(181,12)−(289,159)」で表される矩形領域に存在していることを示している。
なお、図4C−4Dの例では、被写体領域情報は、撮影された画像情報の画素数を座標情報として捉え、対象となる被写体の顔が撮影された矩形領域を「(左上の座標)−(右下の座標)」として表したが、顔領域を特定できる形式であれば任意である。例えば、被写体領域情報は、矩形領域の左上の座標を指定し、矩形領域の横サイズ×縦サイズを指定するといった形式で、対象となる画像上の被写体の顔領域を特定するとしてもよい。例えば、図4Dの例では、「被写体ID=2」の被写体の顔領域は、「(311,38)−(147×194)」との被写体領域情報として表すことができる。
イベント状況DB215は、被写体累計情報テーブル215a、撮影者テーブル215b、撮影場所テーブル215cを含む。被写体累計情報テーブル215aには、撮影機会を有するイベントに参加した参加者毎の、映像DB211の画像情報に被写体として記録された累計情報が格納される。撮影者テーブル215bには、撮影者情報DB216に登録された撮影者の中で、イベントに参加した参加者に対応する撮影者情報が格納される。撮影場所テーブル215cには、イベントで撮影された画像情報の撮影場所の位置情報が格納される。
図4Eに、被写体累計情報テーブル215aの一例を例示する。図4Eに例示するように、被写体累計情報テーブル215aは、「被写体ID」、「被写体名」、「被写体頻度」、「被写体ポイント」のカラムを有する。「被写体ID」、「被写体名」については図4B等で説明した。「被写体頻度」カラムには、映像DB211に蓄積・収集された画像情報に対して、被写体として撮影された撮影頻度が格納される。「被写体ポイント」カラムには、被写体として撮影された撮影状況を加味したポイント値が格納される。なお、被写体累計情報テーブル215aの「被写体頻度」カラム、「被写体ポイント」カラムについては、図5Cで詳細を説明する。
図4Fに、撮影者情報DB216の一例を例示する。撮影者情報DB216には、映像DB211に収集・蓄積された画像情報に対する撮影者情報が格納される。図4Fに例示するように、撮影者情報DB216は、「撮影者ID」、「撮影者名」、「スキルレベル」のカラムを有する。「撮影者ID」カラムには、撮影者を一意に識別する撮影者識別情報が格納される。「撮影者名」カラムには、撮影者の名前等が格納される。なお、「撮影者名」に格納される情報は、例えば、映像DB211に格納された画像情報の撮影者等を判別可能なペンネーム等の名称であってもよい。例えば、図4Fの例では、「撮影者ID」カラムに「11」が格納されたレコードには、「友人A男」といった名称が「撮影者名」カラムに格納されている。
「スキルレベル」カラムには、撮影者の写真等の撮影技量を示すランクが格納される。撮影技量は、例えば、「A(上級)」、「B(中級)」、「C(初級)」といった、相対的な複数段階のランクで表すことができる。撮影技量を示すランクは、例えば、撮像装置10での撮影数量から相対的に算出することができる。撮影数量が多い場合では、撮影機会に対する熟練度が高いと推定されるからである。なお、撮影技量を示すランクには、例えば、撮像装置10の使用期間を反映するとしてもよい。撮影装置10の使用期間が長い場合では、撮影装置10の装置技術、撮影装置10の使用方法、映像に対する撮影構図、絞りやシャッタースピード、使用レンズの選定等に関する知識量が豊富であると推定されるからである。また、撮影技量を示すランクは、撮影者がネットワークNを介してSNS(Social Networking Service)等に公開した、写真等の画像情報に対する他者からの評価等を反映するとしてもよい。例えば、撮影技量を示すランクは、公開された画像情報に対する「いいね」等の評価数に基づいて相対的に算出することができる。
なお、撮影者情報DB216の「スキルレベル」カラムに格納される撮影技量を示すランクは、例えば、映像DB211に収集・蓄積された画像情報とすることが好ましい。映像DB211に記録された画像情報に基づいて、撮影者毎の撮影技量を定量的に、且つ、相対的に評価できるからである。
ランク付けの例として、例えば、撮影者の過去に撮影した撮影数量が400未満では「C」のランク、400以上、且つ、800未満では「B」のランク、800以上では「A」のランクを付与することが例示できる。なお、撮影数量には、写真等の静止画像、ビデオ等の動画像の撮影数量が含まれる。例えば、撮影者の過去に撮影した写真等の静止画像が100枚、ビデオ等の動画像が100本の場合では、両者を合わせた数量の「200」が撮影数量となる。
図4Fの例では、「撮影者ID」が「1」、「12」のレコードでは、「スキルレベル」カラムにランク「A」が格納されている。また、「撮影者ID」が「11」のレコードでは、「スキルレベル」カラムにランク「B」が格納されている。「撮影者ID」が「2」、「13」のレコードでは、「スキルレベル」カラムにランク「C」が格納されている。
図4Fの例において、「撮影者ID」が「1」、「12」の撮影者は、「撮影者ID」が「2」、「11」、「13」の撮影者より撮影技量が高いことが判る。また、「撮影者ID」が「11」の撮影者は、「撮影者ID」が「2」、「13」の撮影者より撮影技量が高いことが判る。
なお、撮影者の撮影技量を示すランクには、例えば、過去に撮影した画像情報の中で、手振れ等により撮影に失敗した画像情報の率を評価対象として含めるとしてもよい。また、撮影機会に使用されたレンズの種類といった製品情報を評価対象として含めるとしてもよい。
〔処理フロー〕
以下、図5A−5D、図6A−6Nに例示の図面を参照し、本実施形態の撮影補助システム1の撮影補助処理を説明する。撮影補助システム1では、例えば、情報処理装置11は、イベント等に参加する各ユーザの撮像装置10から送信された、撮影中の画像情報の受信により撮影機会を検知する。情報処理装置11は、例えば、撮影中の画像情報から、画像情報の撮影者情報、画像情報に含まれる被写体情報を特定する。また、情報処理装置11は、例えば、撮像装置10の撮影位置を特定し、撮像装置10に近接した所定範囲内の他の撮像装置10の撮影者を特定する。情報処理装置11は、例えば、特定した撮影者情報、被写体情報、撮像装置の撮影位置、撮像装置10に近接した所定範囲内の他の撮像装置10の撮影者等の情報から、撮影中の撮影状況を判断する。そして、情報処理装置11は、撮影中の撮影状況に応じて、例えば、撮影者変更、被写体変更、撮影位置変更等の状況の変更可能性を撮影助言情報として生成する。情報処理装置11に接続される各撮像装置10では、撮影中の撮影状況に応じて生成された撮影助言情報に基づいた撮影助言を特定する。各撮像装置10で特定された撮影助言は、例えば、各撮像装置10のモニタ等に助言メッセージとして表示される。
撮像装置10の撮影者は、例えば、モニタ等に表示された助言メッセージに沿って、所定範囲に位置する他の撮像装置10の撮影者に対して、撮影中の画像情報に被写体として含まれることを促したり、撮影依頼を行うことができる。本実施形態の撮影補助システム1では、画像情報を撮影中の各撮影者に対して、相互のコミュニケーションを図るきっかけを与えることができる。本実施形態の撮影補助システム1では、例えば、撮影中の撮影状況に応じて生成された撮影助言情報に基づいてイベント等の参加者間の交流を促進することで、相互に撮影し合う撮影状況が形成できるため、撮影機会のバラツキを軽減させることが可能となる。
図5Aは、イベント等の画像情報の撮影に係る撮影補助処理のフローチャートの例示である。図5Aに例示のフローチャートにおいて、撮影処理の開始は、例えば、イベント等の撮影機会において、撮像装置10のカメラ等により、撮影中の画像情報を受け付けたときが例示できる。撮像装置10のカメラ等により、受け付けられた撮影中の画像情報は、例えば、被写体の映像と共にExif情報等の属性情報が付加された状態で、ネットワークNに接続された情報処理装置11に送信される。
図5Aに例示のフローチャートにおいて、例えば、撮影中の画像情報を受け付けた、撮影補助システム1の撮像装置10は、撮影中の画像情報に対する撮影を終了するかを判定する(S1)。撮像装置10は、例えば、撮影中の画像情報を受け付けた状態で、一定期間以上、撮影に係る操作が行われない場合には(S1、Yes)、撮影に係る撮影補助処理を終了する。ここで、撮影に係る操作とは、例えば、撮影中の映像に対する撮影モード、絞り、シャッタースピード、ピント合わせといった画像情報を撮影するための操作である。撮影補助システム1の撮像装置10は、例えば、撮影中の画像情報を受け付けた状態で30秒、1分といった秒単位、分単位の期間において、撮影に係る操作を検知しない場合には、撮影補助処理を終了する。
一方、撮影補助システム1の撮像装置10は、例えば、撮影中の画像情報を受け付けた状態で、一定期間の間に、撮影に係る操作が行われた場合には(S1、No)、撮影中の画像情報に対しS2−S3の撮影補助処理を実行する。撮影補助システム1は、撮像装置10で受け付けた撮影中の画像情報に基づいて、撮影助言処理を行い(S2)、撮影中の画像情報を映像データとして記録する撮影処理を実行する(S3)。
図5Aに例示のS2の処理の撮影助言処理については図6Aに例示のフローチャートを参照し、S3の処理の撮影処理については図5Bに例示のフローチャートを参照して、詳細を説明する。
なお、本実施形態の撮影補助システム1において、例えば、撮像装置10で受け付けた撮影中の画像情報には、撮影対象者としての被写体が含まれていない風景画像等も含まれる。本実施形態の撮影補助システム1では、撮影対象者としての被写体が含まれていない画像情報も含めて撮影状況を判断し、撮影助言処理を行う。
[撮影処理]
図5Bに例示のフローチャートを参照し、図5Aに例示のS3の撮影処理を説明する。図5Bに例示の撮影処理では、撮影補助システム1の撮像装置10は、例えば、シャッター等の撮影ボタンの操作を契機として、イベント等で撮影中の画像情報を記録映像として確定する。記録映像として確定された画像情報は、例えば、撮像装置10が備える補助記憶部93の映像データDB201、情報処理装置11のイベント映像DB214、イベント状況DB215のそれぞれに格納される。
図5Bに例示のフローチャートにおいて、撮影補助システム1の撮像装置10は、例えば、シャッター等の撮影ボタンの押下を検出する(S31)。撮影補助システム1の撮像装置10は、例えば、シャッター等の撮影ボタンの押下を検出しない場合には(S31、No)、図5Bに例示の、撮影中の画像情報に対する撮影処理を終了する。一方、撮影補助システム1の撮像装置10は、例えば、シャッター等の撮影ボタンの押下を検出した場合には(S31、Yes)、撮影中の画像情報に対し、S32−S35の処理を実行し、撮影処理を終了する。
S32の処理では、撮像装置10は、例えば、映像受信部101で受け付けた受信中の映像信号をデジタルデータ化し、記録映像としての画像情報を、補助記憶部93の映像データDB201に格納(記録)する。また、撮像装置10は、補助記憶部93に格納された記録映像としての画像情報を、例えば、ネットワークNを介してイベント映像DB214に格納(記録)する。イベント映像DB214に格納された画像情報には、例えば、画像情報の参照情報、Exif情報等の付属情報等が含まれる。画像情報の参照情報は、例えば、図4Aに例示の映像DB211の、「ファイル名」、「格納先」カラム等に格納される情報に相当する。また、画像情報の付属情報としてのExif情報等は、例えば、図4Aに例示の映像DB211の、「撮影日時」、「撮影場所」カラム等に格納される情報に相当する。
S33の処理では、例えば、撮像装置10は、被写体認識部111で認識した画像情報に含まれた被写体の情報を、イベント状況DB215に格納する。撮像装置10は、例えば、図4Eに例示の、イベント状況DB215の被写体累計情報テーブル215aの「被写体ID」、「被写体名」カラムに、被写体認識部111で認識された被写体の情報を格納する。なお、対象となる画像情報中に複数の被写体が含まれる場合には、撮像装置10は、それぞれの被写体IDを「,」等で組み合わせた被写体IDを「被写体ID」カラムに格納する。
また、S33の処理では、撮影補助システム1の情報処理装置11は、被写体累計情報テーブル215aへの被写体情報の格納に伴い、被写体認識部111で認識した画像情報に含まれる被写体情報を、被写体情報DB213に格納する。
例えば、情報処理装置11は、撮像装置10の被写体累計情報テーブル215aに対する被写体情報の書き込みを、API(Application Programming Interface)等を介して検知する。そして、情報処理装置11は、APIを介して検知した被写体情報の書き込みを契機として、例えば、図4Cに例示する被写体情報DB213の「被写体ID」、「被写体領域」カラムに、被写体認識部111で特定された被写体の情報を格納すればよい。被写体情報DB213への被写体情報の格納は、被写体毎に行われる。情報処理装置11は、例えば、対象となる画像情報に対して、一意に識別する映像識別情報(映像ID)を付与し、被写体認識部111で特定された被写体の情報を格納する。情報処理装置11により付与された映像識別情報は、例えば、被写体情報DB213の「映像ID」カラムに格納される。
S34の処理では、例えば、撮像装置10は、撮影者認識部112で特定された撮影者情報を、イベント映像DB214、イベント状況DB215に格納する。撮像装置10は、例えば、イベント映像DB214の「撮影者ID」カラムに、撮影者認識部112で特定された撮影者の情報を格納する。また、撮像装置10は、例えば、イベント状況DB215の撮影者テーブル215bに、撮影者認識部112で特定された撮影者の情報を格納する。
S35の処理では、例えば、撮像装置10は、撮影位置検出部103で検出した画像情報の撮影機会に係る撮影位置情報を、イベント映像DB214、イベント状況DB215に格納する。撮像装置10は、例えば、イベント映像DB214の「撮影場所」カラムに、撮影位置検出部103で検出された撮影機会に係る撮影位置情報を格納する。また、撮像装置10は、例えば、イベント状況DB215の撮影場所テーブル215cに、撮影位置検出部103で検出された撮影機会に係る撮影位置情報を格納する。なお、撮像装置10は、S32の処理において、撮影機会に係る撮影位置情報を、画像情報に付加されたExif情報等の付属情報から抽出してイベント映像DB214に格納している場合には、S35のイベント映像DB214に対する処理をスキップしてもよい。
撮影補助システム1の情報処理装置11は、S33−S34の処理で、イベント映像DB214、イベント状況DB215に対する撮像画像の被写体情報、撮影者情報の格納が行われた後、図5Cに例示の被写体累計処理を実行する。
(被写体累計処理)
図5Cは、撮像装置10で記録映像として撮影された画像情報に対する被写体累計処理のフローチャートの例示である。本実施形態の撮影補助システム1の情報処理装置11は、図5Cに例示の被写体累計処理を行うことにより、記録映像として撮像装置10で撮影された画像情報に対し、被写体を含む画像情報の被写体頻度を算出することができる。また、撮影補助システム1の情報処理装置11は、図5Cに例示の被写体累計処理により、被写体を含む画像情報が撮影された撮影状況に対する、被写体ポイントを算出することができる。ここで、被写体ポイントとは、例えば、画像情報に登場する被写体に対し、被写体を撮影した撮影者の撮影技量(スキルレベル)で重み付けを行ったポイント値である。図5Cに例示の被写体累計処理により、例えば、図4Eに例示する被写体累計情報テーブル215aの「被写体頻度」、「被写体ポイント」カラムに格納される値が更新される。
図5Dに、イベント等で被写体が撮影された撮影状況の説明図を例示する。図5Dに例示の説明図において、「被写体」カラムの格納情報は、画像情報に被写体として登場するイベント参加者を表し、「撮影者」カラムの格納情報は、画像情報を撮影したイベント参加者を表す。また、図5Dの説明図において、「撮影者のスキルレベル」カラムの格納情報は、画像情報を撮影したイベント参加者の撮影技量を表し、「撮影枚数」カラムの格納情報は、イベントで撮影された画像情報の数量を表す。図5Dの説明図の例では、イベント参加者は、「管理者」、「妻」、「太郎」、「花子」、「友人A男」、「友人B男」、「友人C子」の7名である。イベント参加者の関係は、「管理者」と「妻」は夫婦であり、「太郎」と「花子」の親である。「友人A男」、「友人B男」、「友人C子」は、それぞれ、「管理者」と「妻」の共通の友人である。撮影技量を示すスキルレベルは、「管理者」と「友人B男」では「A」であり、「友人A男」では「B」であり、「妻」と「友人C子」では「C」である。
図5Dの説明例において、「管理者」単体を被写体として撮影した画像情報の数量は、「妻」の撮影による2枚である。「妻」単体を被写体として撮影した画像情報の数量は、「管理者」の撮影による5枚である。「太郎」と「管理者」は一緒に行動していたため、「太郎」単体を被写体として撮影した画像情報の数量は、「管理者」の撮影による30枚となった。「花子」と「妻」は一緒に行動していたため、「花子」単体を被写体として撮影した画像情報の数量は、「妻」の撮影による22枚となった。「友人A男」と「友人B男」は連れだって行動していたため、「友人A男」単体を被写体として撮影した画像情報の数量は、「友人B男」の撮影による7枚となり、「友人B男」単体を被写体として撮影した画像情報の数量は、「友人A男」の撮影による7枚となった。「友人C子」は風景や花等の撮影のため単体で行動する傾向にあり、「友人C子」単体を被写体として撮影した画像情報の数量は、近くを通りかかった「友人B男」の撮影による2枚である。
「太郎」と「花子」の組み合わせの撮影は「管理者」の役割であるため、「太郎」と「花子」を被写体として撮影した画像情報の数量は、「管理者」の撮影による5枚であった。「管理者」、「太郎」、「花子」の3人で撮影された画像情報の数量は、「妻」の撮影による4枚であった。「妻」、「太郎」、「花子」の3人で撮影された画像情報の数量は、「管理者」の撮影による2枚であった。「管理者」、「妻」、「太郎」、「花子」の4人で撮影された画像情報の数量は、「友人A男」に頼んで撮影された2枚であった。
「管理者」と「妻」との夫婦では、子供が生まれた後は2人で撮影されることは無く、また、子供たちと一緒に撮影される場合は、2人の子供と一緒に撮影されることが習慣となっていた。このため、「管理者」と「妻」、「管理者」と「太郎」、「管理者」と「花子」、「妻」と「太郎」、「妻」と「花子」、「管理者」と「妻」と「太郎」、「管理者」と「妻」と「花子」という組み合わせの画像情報の数量は0枚であった。
情報処理装置11は、例えば、図5Dに例示の状況で撮影された画像情報に対して図5Cに例示の被写体累計処理を実行することにより、図4Eに例示の被写体累計情報テーブル215aの「被写体頻度」、「被写体ポイント」カラムの格納値を算出する。
図5Cに例示のフローチャートにおいて、被写体累計処理の開始は、例えば、図5Bに例示のS34の処理の完了のときが例示できる。情報処理装置11は、例えば、API(Application Programming Interface)等により、被写体累計情報テーブル215aに対する被写体情報の書き込みが完了したことを検知する。情報処理装置11は、被写体累計情報テーブル215aに対する被写体情報の書き込みが完了したことを検知し、イベントで撮影された画像情報に対するS11−S15の被写体累計処理を実行する。
図5Cに例示のフローチャートにおいて、情報処理装置11は、例えば、被写体情報DB213を参照し、被写体累計処理が完了していないレコードが存在するか否かを判定する(S11)。情報処理装置11は、例えば、被写体情報DB213の「処理済」カラムに「0」、「ZZZ」等の被写体累計処理の完了していないことを示す情報が格納されたレコードが存在する否かを判定する。或いは、情報処理装置11は、例えば、被写体情報DB213の「処理済」カラムの状態が空欄であるレコードが存在するか否かを判定する。
情報処理装置11は、例えば、被写体情報DB213の「処理済」カラムが空欄状態、或いは、「0」等の被写体累計処理の完了していないことを示す情報が格納されたレコードが存在しない場合には(S11、存在しない)、被写体累計処理を終了する。一方、情報処理装置11は、例えば、被写体情報DB213の「処理済」カラムが空欄状態、或いは、「0」等の被写体累計処理の完了していないことを示す情報が格納されたレコードが存在する場合には(S11、存在する)、S12−S15の処理を実行する。
情報処理装置11は、S11の処理で被写体累計処理が完了していないレコードの「映像ID」カラムに格納された映像IDを取得する(S12)。そして、情報処理装置11は、被写体情報DB213を参照し、S12の処理で取得した映像IDと同一のID情報が格納されたレコードを検索する(S13)。
情報処理装置11は、S12−S13の処理で取得した映像IDに対し、被写体頻度、被写体ポイントの算出を行う(S14)。被写体頻度、被写体ポイントの算出は、映像ID毎に行われる。情報処理装置11は、例えば、S12−S13の処理で取得した映像IDに対し、被写体として撮影された被写体IDを特定する。例えば、図4Dに例示の、映像ID=「1201」では、被写体ID=「1」、「2」、「4」の3人の被写体が含まれている。情報処理装置11は、例えば、S12−S13の処理で取得した映像IDに対し、映像IDに含まれる被写体は、被写体ID=「1」、「2」、「4」の3人であることを特定する。そして、情報処理装置11は、被写体ID=「1」、「2」、「4」の3人をセットとし、セットの被写体が撮影された映像IDの画像情報の撮影数量を「1」つカウントする。
情報処理装置11は、例えば、被写体累計情報テーブル215aの「被写体ID」カラムを検索し、被写体ID=「1」、「2」、「4」のセットが格納されたレコードを特定する。そして、情報処理装置11は、カウントした画像情報の撮影数量を、被写体累計情報テーブル215aの、被写体ID=「1」、「2」、「4」を「被写体ID」カラムに格納するレコードの「被写体頻度」カラムに累計する。被写体累計処理により、被写体累計情報テーブル215aの、被写体ID=「1」、「2」、「4」を「被写体ID」として格納するレコードの「被写体頻度」カラムの格納値には、撮影数量である「1」が加算される。
また、情報処理装置11は、例えば、S12−S13の処理で取得した映像IDに基づいて、イベント映像DB214の検索を行い、該映像IDに対応するレコードに格納された撮影者IDを取得する。そして、情報処理装置11は、例えば、取得した撮影者IDに基づいて、撮影者情報DB216を検索し、該撮影者IDに対応するレコードに格納されたスキルレベルを取得する。
そして、情報処理装置11は、取得した撮影者IDのスキルレベルに対して、被写体ポイントを付与する。被写体ポイントの付与は、例えば、スキルレベルに応じて決定される。例えば、スキルレベルが「A」、「B」、「C」の3段階に区分けされる場合、「A」の場合には「3」ポイント、「B」の場合には「2」ポイント、「C」の場合には「1」ポイントといったように、重み付けを行ったポイントを付加することができる。
情報処理装置11は、撮影者IDのスキルレベルに応じて決定されたポイントを、例えば、被写体累計情報テーブル215aの、被写体ID=「1」、「2」、「4」が「被写体ID」カラムに格納されたレコードの「被写体ポイント」カラムに累計する。例えば、撮影者IDのスキルレベルが「A」の場合では、被写体累計情報テーブル215aの、被写体ID=「1」、「2」、「4」を「被写体ID」として格納するレコードの「被写体ポイント」カラムの格納値には、ポイント値の「3」が加算される。同様に、撮影者IDのスキルレベルが「B」の場合ではポイント値の「2」、スキルレベル「C」の場合ではポイント値の「1」が、対象となるレコードの「被写体ポイント」カラムに加算される。
S15の処理では、情報処理装置11は、S12−S14の処理の対象となった映像IDに対する、被写体累計処理を完了する。情報処理装置11は、例えば、被写体情報DB213を参照し、S12−S14の処理の対象となった映像IDのレコードの「処理済」カラムに、被写体累計処理の完了を示す「1」を格納する。そして、情報処理装置11は、S11−S15の処理を繰り返し、対象となるイベントで取得された画像情報に対する被写体累計処理を終了する。S11−S15の処理により、対象となるイベントで取得された画像情報に対する、被写体累計情報テーブル215aの被写体頻度、被写体ポイントの算出処理が完了する。
図4Eに例示の被写体累計情報テーブル215aの各レコードの「被写体頻度」、「被写体ポイント」カラムの格納値には、例えば、図5Dの説明例で撮影された画像情報に対する被写体累計処理の結果が格納されている。
例えば、図5Dの説明例では、「管理者」単体を被写体として撮影した画像情報の数量は、撮影技量を示すスキルレベルが「C」の「妻」により撮影された2枚である。「管理者」の被写体IDは「1」である。図5Cに例示の被写体累計処理の結果、情報処理装置11は、「管理者」単体を被写体として撮影された画像情報の数量を「被写体頻度」として累計する。また、情報処理装置11は、撮影者のスキルレベル「C」のポイント値に、撮影者によって撮影された「管理者」単体の画像情報の数量を掛け合せた値を「被写体ポイント」として累計する。累計された「被写体頻度」、「被写体ポイント」は、被写体累計情報テーブル215aに格納される。
図4Eに例示の被写体累計情報テーブル215aでは、被写体ID=「1」のレコードにおいて、「被写体頻度」カラムには、累計された画像情報の数量である「2」が格納されている。また、被写体ID=「1」のレコードの「被写体ポイント」カラムには、累計された撮影者のスキルレベルに応じたポイント値である「2」が格納されている。
また、図5Dの説明例で、「管理者」、「妻」、「太郎」、「花子」の4人を被写体として撮影された画像情報の数量は、撮影技量を示すスキルレベルが「B」の「友人A男」によって撮影された2枚である。「管理者」の被写体IDは「1」、「妻」の被写体IDは「2」、「太郎」の被写体IDは「3」、「花子」の被写体IDは「4」である。
被写体累計処理により、情報処理装置11は、「管理者」、「妻」、「太郎」、「花子」の4人を被写体として撮影された画像情報の数量を「被写体頻度」として累計する。また、情報処理装置11は、撮影者のスキルレベル「B」のポイント値に、撮影者によって撮影された「管理者」、「妻」、「太郎」、「花子」の4人を被写体とする画像情報の数量を掛け合せた値を「被写体ポイント」として累計する。図4Eに例示の被写体累計情報テーブル215aでは、被写体ID=「1,2,3,4」のレコードにおいて、「被写体頻度」カラムには、累計された画像情報の数量である「2」が格納されている。また、被写体ID=「1,2,3,4」のレコードの「被写体ポイント」カラムには、累計された撮影者のスキルレベルに応じたポイント値である「4」が格納されている。
[撮影助言処理]
図6Aに例示のフローチャートを参照し、図5Aに例示のS2の撮影助言処理を説明する。本実施形態の撮影補助システム1では、撮影助言処理は、情報処理装置11、撮像装置10のそれぞれで撮影助言処理に係る処理が行われる。図6Aに例示の撮影助言処理では、情報処理装置11は、例えば、撮像装置10から送信された撮影中の画像情報等に基づいて、イベント等の撮影状況を判定し、撮影状況に応じた撮影者の変更可能性情報を、撮像装置10に送信する。撮像装置10は、例えば、情報処理装置11から送信された、撮影者の変更可能性情報を受信し、変更可能性情報に応じた撮影助言をモニタ用の表示デバイス等に表示する。イベント等の撮影状況に応じた撮影助言情報は、撮影中の各撮像装置10のモニタ用表示デバイス等を介して撮影者に提示される。
図6Aに例示のフローチャートにおいて、S21の処理は、図6B−6Dで詳細を説明する。また、S23の処理は、図6E、Fで詳細を説明する。S25の処理は、図6G−6Iで詳細を説明する。S26の処理は、図6J−6Nで詳細を説明する。
図6Aに例示のフローチャートにおいて、撮影助言処理の開始は、例えば、撮像装置10からネットワークNを介して送信された撮影中の画像情報の、情報処理装置11による受信のときが例示できる。撮影補助システム1の情報処理装置11は、例えば、受信した撮影中の画像情報に対して被写体認識処理を行い、画像情報に含まれる被写体を認識する(S21)。
また、情報処理装置11は、例えば、撮影中の画像情報を送信した撮像装置10のユーザ(撮影者)を認識する(S22)。情報処理装置11は、例えば、撮像装置10の通信に係るアドレス情報を取得し、取得したアドレス情報と撮像装置10のユーザとの対応付けを行うことにより、受信した画像情報の撮影者を特定する。
図6Aに例示のフローチャートにおいて、撮影補助システム1の撮像装置10は、該撮像装置10に対し、近接した距離範囲に位置する他の撮像装置を検出する(S23)。また、撮像装置10は、例えば、画像情報を撮影中の撮像装置10の位置情報を検出する(S24)。
例えば、撮像装置10はGPS機能を機能させ、撮像装置10の緯度、経度情報を位置情報として検出する。撮像装置10は、S22−S23の処理で検出した他の撮像装置情報、撮影位置情報を、例えば、主記憶部92の所定の領域に一時的に格納する。そして、撮像装置10は、S22−S23の処理で検出した他の撮像装置情報、撮影位置情報をネットワークNに接続された情報処理装置11に送信する。なお、撮影補助システム1において、情報処理装置11で実行されるS21−S22の処理と、撮像装置10で実行されるS23−S24の処理とは並列して実行されるとしてもよい。
S25の処理では、情報処理装置11は、例えば、S21−S22の処理で認識された被写体情報、及び、撮影者情報と、撮像装置10から送信された他の撮像装置情報、及び、撮影位置情報に基づいて、撮影中の画像情報に係る撮影状況の判定を行う。そして、情報処理装置11は、判定した撮影状況に応じて、撮影中の画像情報に対する撮影者の変更可能性情報を作成し、撮像装置10に送信する。
S26の処理では、撮像装置10は、情報処理装置11から送信された、撮影中の画像情報に対する撮影者の変更可能性情報に基づいて、イベント等の撮影状況に応じた撮影助言情報を特定する。撮像装置10は、例えば、撮影助言DB217を参照し、情報処理装置11から送信された撮影中の画像情報に対する撮影者、被写体、撮影位置の変更可能性情報に応じて、撮影中の画像情報に対する撮影助言情報の特定を行う。
S26の処理で特定された撮影助言情報は、例えば、撮像装置10が備える出力部95のELパネルといったモニタ用の表示デバイスに表示される。撮像装置10は、例えば、撮影中の画像情報に重畳して撮影助言情報を表示させる。S26の処理で特定された撮影助言情報は、撮像装置10のモニタ用表示デバイス等を介してユーザに提示される。
本実施形態の撮影補助システム1では、図6Aに例示の撮影助言処理の終了後、図5Aに例示の撮影処理が実行されるため、撮影補助システム1は撮像装置10を介し、画像情報を撮影中の撮影者に、撮影状況に応じた撮影助言情報を提示することができる。撮影助言情報は、撮影中の画像情報に重畳して撮像装置10のモニタ等に表示することができる。撮像装置10のユーザ(撮影者)は、モニタ等に表示された撮影助言情報を、撮影中の画像情報の撮影処理が確定する前に、認識することができる。撮像装置10のユーザは、撮影助言情報の提示をきっかけとして、例えば、近接する他の撮像装置10のユーザに対して以下のコミュニケーションを図ることができる。
例えば、一方の撮像装置10のユーザは、撮影中の画像情報が表示されるモニタ等に表示された撮影助言に基づいて、近接する他の撮像装置10のユーザに対して、撮影中の画像情報に被写体として含まれることを促すことが可能となる。
また、近接する他の撮像装置10のユーザは、例えば、撮影中の画像情報が表示されるモニタ等に表示された撮影助言に基づいて、撮影中の画像情報の撮影依頼を一方の撮像装置10のユーザに対して行うことができる。さらに、近接する他の撮像装置10のユーザは、例えば、撮影中の画像情報が表示されるモニタ等に表示された撮影助言に基づいて、被写体として撮影してもらうように、一方の撮像装置10のユーザに働きかけを行うことができる。
本実施形態の撮影補助システム1では、例えば、各撮像装置10のモニタ等に表示された撮影助言をきっかけとして、相互のコミュニケーションを図ることができるため、イベント等の参加者間の交流を深めることが可能となる。本実施形態の撮影補助システム1では、例えば、イベント等の参加者間の交流が促進することで、相互に撮影し合う撮影状況が形成できるため、撮影機会のバラツキを軽減させる技術が提供できる。
[被写体認識処理]
図6Bに例示のフローチャートを参照し、図6Aに例示のS21の処理を説明する。本実施形態の撮影補助システム1では、S21の処理は、情報処理装置11における被写体認識処理として実行される。情報処理装置11は、撮像装置10から送信された撮影中の画像情報等に基づいて、図6Bに例示の被写体認識処理のフローチャートを実行する。
図6Bのフローチャートにおいて、情報処理装置11は、例えば、撮像装置10から受信した撮影中の画像情報に対して、顔検出処理を行い(S41)、顔認識処理を行う(S42)。S41の顔検出処理は、図6Cで詳細を説明する。また、S42の顔認識処理は、図6Dで詳細を説明する。
情報処理装置11は、S41−S42の処理で認識した、被写体の顔情報から、未処理の顔情報を抽出する(S43)。情報処理装置11は、例えば、未処理の顔情報が存在するか否かを判定し(S44)、存在しない場合には(S44,“存在しない”)、被写体認識処理を終了する。一方、情報処理装置11は、未処理の顔情報が存在する場合には(S44,“存在する”)、S43の処理で抽出した顔情報が被写体DB212に既に登録されているかを判定する(S45)。
情報処理装置11は、S43の処理で抽出した顔情報が被写体DB212に登録されている場合には(S45,“登録済み”)、S46の処理に移行する。一方、情報処理装置11は、S43の処理で抽出した顔情報が被写体DB212に登録されていない場合には(S45,“未登録”)、S46の処理をスキップしてS47の処理に移行する。
S46の処理では、情報処理装置11は、S43の処理で抽出した顔情報のレコードを、被写体情報DB213に追加する。例えば、情報処理装置11は、S43の処理で抽出した顔情報が含まれる画像情報の映像IDを「映像ID」カラムに追加し、顔情報に合致する被写体IDを「被写体ID」カラムに追加する。また、例えば、情報処理装置11は、S43の処理で抽出した画像情報内での、被写体の顔が撮影された領域を「被写体領域」カラムに追加する。
情報処理装置11は、S47の処理に移行し、S43の処理で抽出した顔情報について、被写体認識処理がなされたとして、受信した撮影中の画像情報に対する被写体認識処理を繰り返す。情報処理装置11は、例えば、受信した撮影中の画像情報に、未処理の顔情報が存在しなくなるまでS41−S47の処理を繰り返す。
(顔検出処理)
次に、図6Cに例示のフローチャートを参照し、図6Bに例示のS41の顔検出処理を説明する。図6Cに例示の顔検出処理は、例えば、目、鼻、口といった顔の特徴を表すテンプレートデータとのパターンマッチングにより、行われる。情報処理装置11は、対象となる画像情報とテンプレートデータとのパターンマッチングの度合い(合致度)により、顔検出処理を行う。
なお、撮影中の画像情報には、風景等の顔検出処理に対応しない画像情報が含まれる。撮影中の画像情報が風景等の顔検出処理に対応しない画像の場合には、例えば、情報処理装置11は、撮影中の画像情報に、顔検出が行えなかったことを示す情報を付加し、図4Bの被写体認識処理を終了する。情報処理装置11は、例えば、被写体認識処理の結果として、撮影中の画像情報に被写体が含まれなかったことを、図6Aに例示のS25の撮影状況判定処理に通知する。
図6Cに例示のフローチャートにおいて、情報処理装置11は、例えば、撮像装置10から受信した撮影中の画像情報について、顔検出処理の対象となる未処理の受信画像を抽出する(S51)。そして、情報処理装置11は、例えば、顔検出処理の対象となる受信画像が存在するか否かを判定し(S52)、存在しない場合には(S52,“存在しない”)、顔検出処理を終了する。一方、情報処理装置11は、顔検出処理の対象となる未処理の受信画像が存在する場合には(S52,“存在する”)、S51の処理で抽出した受信画像に対してS53−S59の処理を実行する。
S53の処理では、例えば、情報処理装置11は、補助記憶部93等に格納されたテンプレートデータを参照し、顔を特徴付ける目、鼻、口といったテンプレートデータの中から、最小サイズのデータを取得する。テンプレートデータには複数のサイズのデータが含まれる。取得された最小サイズのテンプレートデータは、例えば、主記憶部92の所定の領域に一時的に記憶される。
S54の処理では、情報処理装置11は、例えば、S51の処理で抽出した受信画像を対象とし、S53の処理で取得したテンプレートデータによるパターンマッチング走査を行い、合致度の算出を行う。情報処理装置11は、例えば、受信画像に対するパターンマッチングの対象領域を左右方向にシフトさせながら、合致度の算出を行う。情報処理装置11は、受信画像に対するパターンマッチングの対象領域が左右方向の何れかの端部に到達すると、合致度を算出する対象領域の位置を上下方向にシフトさせ、再び、左右方向での合致度の算出を繰り返すことで、受信画像に対する走査を行う。算出されたテンプレートデータとの合致度は、対象領域の座標を含む領域情報と共に、例えば、主記憶部92の所定の領域に一時的に記憶される。
S55の処理では、情報処理装置11は、例えば、S53の処理で算出された合致度と、対象領域が顔領域であることを判定する閾値との比較を行い、閾値を超える合致度の領域が存在したか、を判定する。情報処理装置11は、例えば、閾値を超える合致度の対象領域が存在した場合には(S55、“ある”)、S56の処理に移行する。一方、情報処理装置11は、例えば、閾値を超える合致度の対象領域が存在しない場合には(S55、“ない”)、S56の処理をスキップし、S57の処理に移行する。
S56の処理では、情報処理装置11は、例えば、S53の処理で閾値を超えた合致度の対象領域を、顔領域情報として、主記憶部92の所定の領域に一時的に記憶する。情報処理装置11は、例えば、閾値を超える合致度を有する対象領域が、他の閾値を超える合致度を有する対象領域と重なっている場合には、合致度の最も高い対象領域を顔領域情報として記憶する。また、情報処理装置11は、閾値を超える合致度を有する対象領域が、他の閾値を超える合致度を有する対象領域と重なっていない場合には、対象領域を顔領域情報として記憶する。
S57の処理では、情報処理装置11は、例えば、補助記憶部93等に格納されたテンプレートデータを参照し、S53の処理で取得したサイズに対して、1段階上のサイズのテンプレートデータを取得する。情報処理装置11は、取得したテンプレートデータを、例えば、主記憶部92の所定の領域に一時的に記憶する。
S58の処理では、情報処理装置11は、例えば、S57の処理で取得したテンプレートデータのサイズが最大サイズ以上か、を判定する。情報処理装置11は、例えば、S57の処理で取得したテンプレートデータのサイズが最大サイズ未満の場合には(S58,No)、S54に移行し、S54−S58の処理を繰り返す。
一方、情報処理装置11は、例えば、S57の処理で取得したテンプレートデータのサイズが最大サイズ以上の場合には(S58,Yes)、S51で抽出した受信画像を処理済みとして(S59)、S51の処理に移行し、S51−S59の処理を繰り返す。情報処理装置11は、例えば、受信した撮影中の画像情報に、未処理の顔領域情報が存在しなくなるまでS51−S59の処理を繰り返す。
(顔認識処理)
次に、図6Dに例示のフローチャートを参照し、図6Bに例示のS42の顔認識処理を説明する。図6Dに例示の顔認識処理は、例えば、図6BのS41の処理で検出された顔領域情報と被写体情報DBに登録された被写体の顔領域情報との類似度により、顔認識処理を行う。
図6Dに例示のフローチャートにおいて、情報処理装置11は、例えば、図6BのS41の処理で検出された顔領域情報から、顔認識処理の対象となる未処理の顔領域情報を抽出する(S61)。そして、情報処理装置11は、例えば、顔認識処理の対象となる顔領域情報が存在するか否かを判定し(S62)、存在しない場合には(S62,“存在しない”)、顔認識処理を終了する。一方、情報処理装置11は、顔認識処理の対象となる未処理の顔領域情報が存在する場合には(S62,“存在する”)、S61の処理で抽出した顔領域情報に対してS63−S6aの処理を実行する。
S63の処理では、例えば、情報処理装置11は、S61の処理で抽出された顔領域情報に対して、顔領域内の顔の特徴パラメータを取得する。ここで、特徴パラメータとは、例えば、顔の輪郭で囲まれた領域内の、目の位置、鼻の位置、口の位置等をベクトルデータとしてパラメータ化したものである。情報処理装置11は、取得した特徴パラメータを、例えば、主記憶部92の所定の領域に一時的に記憶する。
S64の処理では、例えば、情報処理装置11は、被写体DB212、被写体情報DB213を参照し、顔認識処理で未処理の被写体に対し、顔の特徴パラメータを取得する。情報処理装置11は、被写体DB212、被写体情報DB213を参照し、取得した特徴パラメータを被写体IDと対応付けて、例えば、主記憶部92の所定の領域に一時的に記憶する。
情報処理装置11は、例えば、被写体DB212等に顔認識処理の未処理の被写体が存在するか否かを判定し(S65)、存在しない場合には(S65,“ない”)、S69の処理に移行する。一方、情報処理装置11は、例えば、被写体DB212等に顔認識処理の未処理の被写体が存在する場合には(S65,“ある”)、S66の処理に移行する。
S66の処理では、情報処理装置11は、例えば、S63の処理の取得した特徴パラメータとS64の処理で取得した特徴パラメータとの類似度を算出する。ここで、類似度は、例えば、S63の処理で取得した特徴パラメータとS64の処理で取得した特徴パラメータとの差分により求めることができる。例えば、類似度は、両者の特徴パラメータである、顔領域内における目、鼻、口等の位置のベクトルデータ同士の差分から距離値を求め、求めた距離値が「0」となる場合に、類似度を「1」とする計算により求めることができる。
そして、情報処理装置11は、算出した特徴パラメータ同士の類似度が、類似度の度合いを判定する閾値との比較により、閾値との大小関係を判定する。情報処理装置11は、例えば、算出した特徴パラメータ同士の類似度が、閾値以上の場合には(S66,“大きい”)、S67の処理に移行する。一方、情報処理装置11は、例えば、算出した特徴パラメータ同士の類似度が、閾値未満の場合には(S66,“小さい”)、S67の処理をスキップしS68の処理に移行する。
S67の処理では、情報処理装置11は、例えば、S66の処理で類似度が閾値以上の被写体について、S61の処理で抽出した顔領域情報、S64の処理で取得した被写体ID、S66の処理で算出した類似度を、人物候補データとして記録する。情報処理装置11は、人物候補データを、例えば、主記憶部92の所定の領域に一時的に記憶する。
S68の処理では、情報処理装置11は、例えば、S64の処理で取得した被写体IDに対する顔認識処理を処理済みとして(S68)、S64の処理に移行し、S64−S68の処理を繰り返す。情報処理装置11は、例えば、被写体DB212等に、未処理の顔領域情報が存在しなくなるまでS64−S68の処理を繰り返す。
S69の処理では、情報処理装置11は、例えば、S67の処理で記憶された人物候補データを参照し、S61の処理で抽出した顔領域情報を有する被写体の顔認識結果としての顔情報リストを作成し、主記憶部92の所定の領域に一時的に記憶する。顔情報リストには、例えば、S61の処理で抽出した顔領域情報、S64の処理で取得した被写体IDが含まれる。なお、情報処理装置11は、例えば、S67の処理で、人物候補データが作成されない場合には、顔認識処理により対象となる被写体が存在しないことを顔情報リストに記憶する。また、人物候補データが単一の場合では、情報処理装置11は、作成された人物候補データを顔情報リストに記憶する。また、例えば、情報処理装置11は、人物候補データが複数に存在する場合には、類似度が最も高い被写体の情報を、顔情報リストとして記憶する。
S6aの処理では、情報処理装置11は、例えば、S61の処理で抽出した顔領域情報に対する顔認識処理を処理済みとして、S61の処理に移行し、S61−S6aの処理を繰り返す。情報処理装置11は、例えば、顔検出処理で検出された顔領域情報に、未処理の顔領域情報が存在しなくなるまでS61−S6aの処理を繰り返す。
(近接状況検出処理)
次に、図6Eに例示のフローチャートを参照し、図6Aに例示のS23の近接状況検出処理を説明する。図6Eに例示の近接状況検出処理は、例えば、撮像装置10のGPS機能等により取得した位置情報に基づいて処理を行う。
図6Eに例示のフローチャートにおいて、撮像装置10は、例えば、被写体の画像情報を撮影中に、GPS機能を機能させ、位置情報を取得し(S71)、取得した位置情報を、情報処理装置11に送信する(S72)。情報処理装置11は、例えば、撮影補助システム1に接続する他の撮像装置10から取得した位置情報が格納されたリストを撮像装置10に送信する。位置情報は、例えば、撮像装置毎の、緯度・経度等の座標情報で表すことができる。また、リストには、例えば、他の撮像装置に対応付けられた撮影者ID、撮影者名が含まれる。撮像装置10は、ネットワークNを介し、情報処理装置11が送信したリストを取得する(S73)。
撮像装置10は、例えば、S73の処理で取得したリストの他の撮像装置の位置情報に基づいて、撮像装置10と他の撮像装置との距離値を算出する(S74)。そして、撮像装置10は、例えば、算出した距離値の大小を判定する閾値との比較を行い、閾値以下の他の撮像装置に対して、距離値の小さい順に近接する撮像装置リスト(近接装置リスト)を生成する(S74)。撮像装置10は、生成した撮像装置リストを、例えば、主記憶部92の所定の領域に一時的に記憶する。
なお、撮像装置リストは、例えば、撮像装置10の位置情報を取得した情報処理装置11が生成するとしてもよい。図6Fに、情報処理装置11による近接状況検出処理のフローチャートを例示する。
図6Fに例示のフローチャートにおいて、情報処理装置11は、例えば、撮影補助システム1のネットワークNに接続された複数の撮像装置の位置情報を取得する(S76)。そして、情報処理装置11は、例えば、S76の処理で取得した各撮像装置の位置情報から、撮像装置10と他の撮像装置との間の距離値を算出する(S77)。そして、情報処理装置11は、例えば、算出した距離値の大小を判定する閾値との比較を行い、閾値以下の他の撮像装置に対する、距離値の小さい順に近接する撮像装置リストを生成すればよい(S78)。そして、情報処理装置11は、生成した撮像装置リストを、撮像装置10に送信するとすればよい。
(撮影状況判定処理)
次に、図6Gに例示のフローチャートを参照し、図6Aに例示のS25の撮影状況判定処理を説明する。図6Gに例示の撮影状況判定処理は、例えば、撮影補助システム1の情報処理装置11により行われる。図6Gに例示の撮影状況判定処理では、例えば、情報処理装置11は、図6Aに例示のS21−S24の処理結果に基づいて、イベント等で撮影中の撮影状況を判定し、撮影状況に応じた撮影者の変更可能性情報を生成する。情報処理装置11は、例えば、撮影状況判定処理により生成された、撮影状況に応じた撮影者の変更可能性情報の生成完了の通知を、ネットワークNを介し、被写体を撮影中の撮像装置10に送信する。
図6Gに例示のフローチャートにおいて、S81の処理では、情報処理装置11は、図6Aに例示のS21の被写体認識処理で認識された撮影中の画像情報に含まれる被写体情報、S22の処理で認識された画像情報を撮影中の撮影者情報を取得する。また、情報処理装置11は、図6Aに例示のS23の処理で検出された、撮像装置10の近接した距離範囲に位置する他の撮像装置リスト、S24の処理で検出された撮像装置10の位置情報を取得する。そして、情報処理装置11は、例えば、取得した各種情報に基づく撮影状況情報を生成する。生成された撮影状況情報は、例えば、主記憶部92の所定の領域に一時的に格納される。
図6Hに撮影状況情報のリスト例を例示する。図6Hに例示の撮影情報リストは、例えば、図6H(1)が撮影者ID=1の管理者によるものであり、図6H(2)が撮影者ID=13の友人C子によるものである。管理者と友人C子は、互いに近接した距離範囲内で個別に撮影中の状況にある。
図6Hに例示の撮影状況情報リストは、例えば、「撮影者」、「被写体」、「撮影位置」、「近接端末情報」のカラムを有する。「撮影者」カラムにはS22の処理で認識された画像情報を撮影中の撮影者の撮影者IDが格納される。「被写体」カラムにはS21の処理で認識された撮影中の画像情報に含まれる被写体の被写体IDが格納される。なお、S21の処理結果として、撮影中の画像情報が風景等の被写体を含まない通知を受けた場合では、例えば、「なし」といった情報が格納される。「撮影位置」カラムにはS24の処理で検出された撮影中の撮像装置10の位置情報が格納される。「近接端末情報」カラムにはS23の処理で検出された、撮影中の撮像装置10に近接した距離範囲に位置する他の撮像装置に対応付けられた撮影者の撮影者IDが格納される。
図6H(1)の例において、「撮影者」カラムに「ID=1」が格納されたレコードの、「被写体」カラムには、「なし」といった撮影中の画像情報に被写体が含まれないことを示す情報が格納されている。同レコードの「撮影位置」カラムには、「北緯x1」、「東経y1」といった緯度・経度情報に加え、「方角z1」といった、例えば、電コンパス機能を機能させて取得した情報が格納されている。「近接端末情報」カラムには、「ID=13」といった撮影者IDが格納されている。
また、図6H(2)の例において、「撮影者」カラムに「ID=13」が格納されたレコードの、「被写体」カラムには、「なし」といった撮影中の画像情報に被写体が含まれないことを示す情報が格納されている。同レコードの「撮影位置」カラムには、「北緯x2」、「東経y2」といった緯度・経度情報に加え、「方角z2」といった、例えば、電コンパス機能を機能させて取得した情報が格納されている。「近接端末情報」カラムには、「ID=1」といった撮影者IDが格納されている。
図6H(1)、(2)に例示の撮影状況リストにより、撮影者ID=1と撮影者ID=13とは、互いに近接した範囲内に位置し、それぞれ被写体が含まれない風景画像を撮影中であることが判る。
情報処理装置11は、S81の処理により、図6H(1)、(2)に例示の撮影状況情報リストを生成する。
図6Gに例示のフローチャートに戻り、S82の処理では、情報処理装置11は、例えば、撮影者情報DB216を参照し、S81の処理で生成した撮影状況情報リストに格納された撮影者の撮影者情報を取得する。情報処理装置11は、例えば、撮影状況情報リストの「撮影者」カラムに格納された撮影者IDの撮影者情報を、撮影者情報DB216から取得する。また、情報処理装置11は、例えば、撮影状況情報リストの「近接端末情報」カラムに格納された撮影者IDの撮影者情報を、撮影者情報DB216から取得する。情報処理装置11は、撮影者情報DB216から取得した、各撮影者IDの撮影者情報を、例えば、主記憶部92の所定の領域に一時的に記憶する。
S83の処理では、情報処理装置11は、例えば、S81の処理で生成した撮影状況情報リストに格納された、「被写体」カラム、「撮影者」カラム、「撮影位置」カラムに格納された情報について、イベント状況DB215を検索する。情報処理装置11は、例えば、「撮影者」カラムに格納された撮影者IDでイベント状況DB215の撮影者テーブル215a、「撮影位置」カラムに格納された緯度・経度で、イベント状況DB215の撮影場所テーブル215cを検索する。
そして、情報処理装置11は、「撮影者」カラム、「撮影位置」カラムの各情報に対応する、被写体累計情報テーブル215aを特定する。情報処理装置11は、例えば、特定された被写体累計情報テーブル215aに対し、撮影状況情報リストの「被写体」カラムに格納された被写体IDで検索し、被写体IDに対する被写体頻度、被写体ポイントといった、過去の撮影状況を表す情報を取得する。情報処理装置11は、例えば、被写体累計情報テーブル215aから取得した、被写体IDに対する被写体頻度、被写体ポイントといった過去の撮影状況を表す情報を、主記憶部92の所定の領域に一時的に記憶する。
S84の処理では、情報処理装置11は、例えば、S82−S83の処理で取得した撮影者情報、及び、被写体IDに対する被写体頻度、被写体ポイントといった過去の撮影状況を表す情報に基づいて、撮影中の撮影状況に対する状況変更の可能性を判断する。情報処理装置11は、撮影中の撮影状況に対する状況変更の可能性の判断結果として、例えば、図6Iに例示の、変更可能性リスト218を生成する。変更可能性リスト218は、例えば、撮影中の撮影状況に対し、被写体や撮影者を変更した場合の可能性、変更可能性に対する優劣等を決定するためのポイント情報等が格納されたリストである。情報処理装置11は、生成した変更可能性リスト218を、例えば、主記憶部92の所定の記憶領域に一時的に格納する。
ここで、情報処理装置11で実行されるS81−S83の処理は、複数の撮像装置からそれぞれ受信した画像情報に基づいて被写体とそれぞれの撮影位置とを認識すると共に、それぞれの撮影位置から所定範囲内の撮像装置のグループを特定し、被写体、撮影位置、および所定範囲内の撮像装置に関連付けられた撮影者を含む撮影状況を検出するステップの一例である。また、情報処理装置11のCPU91等は、複数の撮像装置からそれぞれ受信した画像情報に基づいて被写体とそれぞれの撮影位置とを認識すると共に、それぞれの撮影位置から所定範囲内の撮像装置のグループを特定し、被写体、撮影位置、および所定範囲内の撮像装置に関連付けられた撮影者を含む撮影状況を検出する手段の一例としてS81−S83の処理を実行する。
また、情報処理装置11で実行されるS84の処理は、複数の撮像装置のそれぞれの撮影状況に応じた撮影助言をそれぞれの撮影位置から所定範囲内の撮像装置のグループに出力するステップの一例である。また、情報処理装置11のCPU91等は、複数の撮像装置のそれぞれの撮影状況に応じた撮影助言をそれぞれの撮影位置から所定範囲内の撮像装置のグループに出力する手段の一例としてS84の処理を実行する。
図6Iに、S84の処理で生成される変更可能性リスト218の一例を例示する。図6Iに例示の変更可能性リスト218は、例えば、図6I(1)が撮影者ID=1の管理者によるものであり、図6I(2)が撮影者ID=13の友人C子によるものである。S84の処理では、撮影中の撮像装置毎に変更可能性リストが生成される。
図6I(1)、6I(2)に例示の変更可能性リスト218は、例えば、「リストID」、「撮影者」、「撮影者変更フラグ」、「被写体」、「被写体変更フラグ」、「撮影位置」、「撮影位置変更フラグ」、「ポイント」のカラムを有する。
「リストID」カラムには、変更後の撮影状況を一意に識別する識別情報(リストID)が格納される。なお、「リストID」カラムに「1」が格納されたレコードには、撮影中の撮影状況を示す各種情報が格納される。「撮影者」カラムには、撮影中の撮影者ID、変更後の撮影者IDが格納される。なお、変更後の撮影者IDは、例えば、S82の処理で生成された撮影状況情報リストの「近接端末情報」カラムに格納された、他の撮像装置に係る撮影者IDである。
「撮影者変更フラグ」カラムには、画像情報を撮影中の撮影者に対する変更の有無を示すフラグ情報が格納される。「撮影者変更フラグ」カラムに格納されるフラグ情報として、例えば、「0」、「1」といった2値のステータス状態を示す情報が例示できる。例えば、撮影者の変更がない場合には「0」、撮影者の変更がある場合には「1」といったフラグ情報を、「撮影者変更フラグ」カラムに格納することができる。
「被写体」カラムには、被写体IDが格納される。なお、「被写体」カラムに格納される被写体IDには、例えば、撮影者IDに対応する被写体IDが含まれる。「被写体変更フラグ」カラムには、撮影中の画像情報に含まれる被写体に変更があるか否かを示すフラグ情報が格納される。「被写体変更フラグ」カラムに格納されるフラグ情報には、例えば、被写体に変更がない場合には「0」、被写体に変更がある場合には「1」といった、ステータス状態を示す情報が格納される。なお、撮影中の画像情報に被写体が含まれない場合では、被写体を含まない状態から被写体に変更がある場合では、被写体が新たに追加されるため「2」とのステータス状態を示す情報が格納される。
「撮影位置」カラムには、撮影中の撮影場所の位置情報等が格納される。なお、「撮影位置」カラムに格納される位置情報等には、例えば、電子コンパス機能で取得した撮影方向を示す撮影方角情報が含まれるとしてもよい。撮影方角情報は、例えば、真北を「0」とし、時計回りに、真北に対する相対角度で表すことができ、0〜360度の範囲の相対角度で表すことができる。「撮影位置変更フラグ」カラムには、撮影中の撮影場所からの変更があるか否かを示すフラグ情報が格納される。「撮影位置変更フラグ」カラムに格納されるフラグ情報には、例えば、撮影中の撮影場所からの変更がない場合には「0」、撮影中の撮影場所からの変更がある場合には「1」といった、2値のステータス状態を示す情報が格納される。
「ポイント」カラムには、撮影中の撮影状況と変更可能な状況との差分から算出したポイント値が格納される。「ポイント」カラムに格納されるポイント値は、例えば、以下の数式(1)により算出される。
ポイント値=(撮影者が変更になることによるポイント)
+(被写体が変更になることによるポイント) 数式(1)
数式(1)の(撮影者が変更になることによるポイント)は、例えば、撮影中の撮影者と、変更可能な他の撮影者の撮影技量を示す指標値としての「スキルレベル」で算出される。情報処理装置11は、例えば、S82の処理で撮影者情報DB216から取得した撮影者情報の「スキルレベル」に基づいて、撮影中の撮影者と、変更可能な他の撮影者とのスキルレベルの比較を行う。そして、情報処理装置11は、例えば、撮影中の撮影者と変更可能な他の撮影者とのスキルレベルに応じてポイント値を計算すればよい。
例えば、撮影中の撮影者と変更可能な他の撮影者とのスキルレベルが同じスキルレベルの場合は、ポイント値を「0」とすることが例示できる。また、例えば、変更可能な他の撮影者のスキルレベルが撮影中の撮影者のスキルレベルより上位のレベルの場合には、1段階、異なる毎に「+1」を付与することが例示できる。同様に、例えば、変更可能な他の撮影者のスキルレベルが撮影中の撮影者のスキルレベルより下位のレベルの場合には、1段階、異なる毎に「−1」を付与することが例示できる。
例えば、撮影中の撮影者の「スキルレベル」が「C」、変更可能な他の撮影者の「スキルレベル」が「A」の場合、(撮影者が変更になることによるポイント)のポイント値は「+2」となる。一方、例えば、撮影中の撮影者の「スキルレベル」が「A」、変更可能な他の撮影者の「スキルレベル」が「C」の場合、数式(1)の(撮影者が変更になることによるポイント)のポイント値は「−2」となる。
また、数式(1)の(被写体が変更になることによるポイント)は、例えば、イベント状況DB215の被写体累計情報テーブル215aの「被写体ポイント」カラムに格納されたポイント値から算出される。
情報処理装置11は、例えば、被写体累計情報テーブル215aを参照し、変更可能な被写体が含まれるレコードの「被写体ポイント」カラムの格納値を取得する。そして、情報処理装置11は、例えば、S83の処理で取得した、撮影中の被写体が含まれるレコードの「被写体ポイント」カラムの格納値と、変更可能な被写体が含まれるレコードの「被写体ポイント」カラムの格納値との差分を算出する。そして、例えば、情報処理装置11は、「被写体ポイント」カラムの格納値から算出された差分値を、数式(1)の(被写体が変更になることによるポイント)のポイント値とする。被写体累計情報テーブル215aの「被写体ポイント」カラムのポイント値は、撮影数量に応じて増加するからである。
例えば、図4Eに例示の被写体累計情報テーブル215aでは、「被写体ID」カラムに「ID=2,3,4」が格納されたレコードの「被写体ポイント」カラムの格納値は「6」である。変更可能な被写体として「ID=1,2,3,4」を想定した場合、被写体累計情報テーブル215aの「被写体ID」カラムに「ID=1,2,3,4」が格納されたレコードの「被写体ポイント」カラムの格納値は「4」である。情報処理装置11は、例えば、撮影中の被写体を「ID=2,3,4」から「ID=1,2,3,4」への変更可能性に対し、「被写体ポイント」カラムの格納値の差分で算出された「2」を、(被写体が変更になることによるポイント)のポイント値とする。
そして、情報処理装置11は、例えば、(撮影者が変更になることによるポイント)と(被写体が変更になることによるポイント)とを足し合わせて算出されたポイント値を、変更可能性リスト218の「ポイント」カラムに格納する。
図6I(1)の、変更可能性リスト218例では、「リストID」カラムに「1」が格納されたレコードには、撮影中の撮影状況が格納されるため、「撮影者変更フラグ」、「被写体変更フラグ」、「撮影位置変更フラグ」カラムには「0」が格納されている。また、同レコードの「ポイント」カラムには、同様に、「0」が格納されている。なお、「リストID」カラムに「1」が格納されたレコードの「撮影者」、「被写体」、「撮影位置」カラムには、例えば、S81の処理で生成された、図6H(1)に例示の撮影状況情報リストと同じ情報が格納される。
図6I(1)の、変更可能性リスト218例では、図6H(1)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=13」を被写体とした場合の、撮影状況の変更可能性を示すレコードが作成されている。また、図6H(1)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=13」を撮影者とし、撮影者ID=1、つまり、撮影者自身を被写体とした場合の、撮影状況の変更可能性を示すレコードが作成されている。
図6I(1)の例では、「ID=13」を被写体とした場合の、撮影状況の変更可能性を示すレコードは、「リストID」カラムに「2」が格納されたレコードである。同レコードの、「撮影者変更フラグ」カラムには撮影者の変更はないため、「0」が格納されている。また、同レコードの「撮影位置」には撮影中の撮影場所の位置情報が格納され、「撮影位置変更フラグ」カラムには、撮影中の撮影場所からの変更はないため、「0」が格納されている。そして、同レコードの、「被写体」カラムには図6H(1)の「近接端末情報」カラムに格納された「ID=13」の被写体IDが格納され、「被写体変更フラグ」には、「2」が格納されている。撮影中の被写体が含まれない画像情報の状態から、被写体が新たに含まれる状態へ変更となるためである。
ここで、例えば、図4Fに例示の撮影者情報DB216では、撮影者ID=1の「スキルレベル」は「A」である。また、例えば、図4Eに例示の被写体累計情報テーブル215aにおいて、「被写体ID」カラムに「ID=13」が格納されたレコードの「被写体ポイント」カラムの格納値は「6」である。
図6I(1)の「ID=13」を被写体とした場合のレコードでは、撮影者の変更はないため、例えば、情報処理装置11は、数式(1)の(撮影者が変更になることによるポイント)を「0」と算出する。また、被写体を含まない画像状態から被写体を含む画像状態に変更となるため、情報処理装置11は、例えば、数式(1)の(被写体が変更になることによるポイント)を、「6」と算出する。そして、情報処理装置11は、数式(1)に基づいて、「ID=13」を被写体とした場合のレコードの「ポイント」カラムに「6」を格納する。
次に、図6I(1)の、「ID=13」を撮影者とし、「ID=1」を被写体とした場合の、撮影状況の変更可能性を示すレコードは、「リストID」カラムに「3」が格納されたレコードである。「撮影者変更フラグ」カラムには撮影者が変更となるため、「1」が格納されている。同レコードの「撮影位置」には撮影中の撮影場所の位置情報が格納され、「撮影位置変更フラグ」カラムには、撮影中の撮影場所からの変更はないため、「0」が格納されている。そして、同レコードの、「被写体」カラムには撮影者の「ID=1」の被写体IDが格納され、「被写体変更フラグ」には、「2」が格納されている。撮影中の被写体が含まれない画像情報の状態から、被写体が新たに含まれる状態へ変更となるためである。
ここで、例えば、図4Fに例示の撮影者情報DB216では、撮影者ID=1の「スキルレベル」は「A」であり、撮影者ID=13の「スキルレベル」は「C」である。また、例えば、図4Eに例示の被写体累計情報テーブル215aにおいて、「被写体ID」カラムに「ID=1」が格納されたレコードの「被写体ポイント」カラムの格納値は「2」である。
情報処理装置11は、例えば、数式(1)の(撮影者が変更になることによるポイント)を「−2」と算出する。また、被写体を含まない画像状態から被写体を含む画像状態に変更となるため、情報処理装置11は、例えば、数式(1)の(被写体が変更になることによるポイント)を、「2」と算出する。そして、情報処理装置11は、数式(1)に基づいて、「ID=13」を撮影者とし、「ID=1」を被写体とした場合のレコードの「ポイント」カラムに「0」を格納する。
また、図6I(2)の、変更可能性リスト218例では、図6H(2)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=1」を被写体とした場合の、撮影状況の変更可能性を示すレコードが作成されている。また、図6H(2)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=1」を撮影者とし、撮影者ID=13、つまり、撮影者自身を被写体とした場合の、撮影状況の変更可能性を示すレコードが作成されている。
図6I(2)の例では、「ID=1」を被写体とした場合の、撮影状況の変更可能性を示すレコードは、「リストID」カラムに「2」が格納されたレコードである。同レコードの、「撮影者変更フラグ」カラムには撮影者の変更はないため、「0」が格納されている。また、同レコードの「撮影位置」には撮影中の撮影場所の位置情報が格納され、「撮影位置変更フラグ」カラムには、撮影中の撮影場所からの変更はないため、「0」が格納されている。そして、同レコードの、「被写体」カラムには「ID=1」の被写体IDが格納され、「被写体変更フラグ」には、「2」が格納されている。撮影中の被写体が含まれない画像情報の状態から、被写体が新たに含まれる状態へ変更となるためである。
ここで、例えば、図4Fに例示の撮影者情報DB216では、撮影者ID=13の「スキルレベル」は「C」である。また、例えば、図4Eに例示の被写体累計情報テーブル215aにおいて、「被写体ID」カラムに「ID=1」が格納されたレコードの「被写体ポイント」カラムの格納値は「2」である。
図6I(2)の「ID=1」を被写体とした場合のレコードでは、撮影者の変更はないため、例えば、情報処理装置11は、数式(1)の(撮影者が変更になることによるポイント)を「0」と算出する。また、被写体を含まない画像状態から被写体を含む画像状態に変更となるため、情報処理装置11は、例えば、数式(1)の(被写体が変更になることによるポイント)を、「2」と算出する。そして、情報処理装置11は、数式(1)に基づいて、「ID=1」を被写体とした場合のレコードの「ポイント」カラムに「2」を格納する。
次に、図6I(2)の、「ID=1」を撮影者とし、「ID=13」を被写体とした場合の、撮影状況の変更可能性を示すレコードは、「リストID」カラムに「3」が格納されたレコードである。「撮影者変更フラグ」カラムには撮影者が変更となるため、「1」が格納されている。同レコードの「撮影位置」には撮影中の撮影場所の位置情報が格納され、「撮影位置変更フラグ」カラムには、撮影中の撮影場所からの変更はないため、「0」が格納されている。そして、同レコードの、「被写体」カラムには撮影者の「ID=13」の被写体IDが格納され、「被写体変更フラグ」には、「2」が格納されている。撮影中の被写体が含まれない画像情報の状態から、被写体が新たに含まれる状態へ変更となるためである。
そして、例えば、図4Fに例示の撮影者情報DB216では、撮影者ID=13の「スキルレベル」は「C」であり、撮影者ID=1の「スキルレベル」は「A」である。また、例えば、図4Eに例示の被写体累計情報テーブル215aにおいて、「被写体ID」カラムに「ID=13」が格納されたレコードの「被写体ポイント」カラムの格納値は「6」である。
情報処理装置11は、例えば、数式(1)の(撮影者が変更になることによるポイント)を「2」と算出する。また、被写体を含まない画像状態から被写体を含む画像状態に変更となるため、情報処理装置11は、例えば、数式(1)の(被写体が変更になることによるポイント)を、「6」と算出する。そして、情報処理装置11は、数式(1)に基づいて、「ID=1」を撮影者とし、「ID=13」を被写体とした場合のレコードの「ポイント」カラムに「8」を格納する。
情報処理装置11は、図6Gに例示のフローチャートの、S84の処理において、上述した、撮影者変更、被写体変更、撮影位置変更の変更可能性をポイント値として表した、変更可能性リスト218を撮像装置10毎に生成する。生成した変更可能性リスト218は、例えば、補助記憶部93の所定の記憶領域に一時的に格納される。また、情報処理装置11は、例えば、生成した変更可能性リスト218の補助記憶部93への格納を契機として、撮影状況に応じた変更可能性情報の生成完了の通知を、画像情報を撮影中の撮像装置10に送信する。例えば、情報処理装置10は、撮影者ID=1に対する変更可能性情報の生成完了の通知を撮影者ID=1の撮像装置10に送信する。また、例えば、情報処理装置10は、撮影者ID=13に対する変更可能性情報の生成完了の通知を撮影者ID=13の撮像装置10に送信する。
(撮影助言通知処理)
次に、図6Jに例示のフローチャートを参照し、図6Aに例示のS26の撮影助言通知処理を説明する。図6Jに例示の撮影助言通知処理は、例えば、撮影補助システム1の撮像装置10により行われる。図6Jに例示の撮影助言通知処理では、例えば、撮像装置10は、図6Aに例示のS25の処理結果として生成された変更可能性リスト218の生成完了の通知に基づいて、撮影中の撮影状況に対する撮影助言情報を特定する。そして、撮像装置10は、特定した撮影助言情報を、例えば、撮影中の画像情報が表示されたELパネル等のモニタ画面に重畳させて表示する。図6Jに例示の撮影助言通知処理は、画像情報を撮影中の撮像装置10毎に行われる。
図6Jに例示のフローチャートにおいて、S91の処理では、撮像装置10は、例えば、情報処理装置11からの完了通知を契機として、ELパネル等に表示する助言表示数の設定値を取得する。そして、撮像装置10は、例えば、情報処理装置11の補助記憶部93に格納された変更可能性リスト218を参照し、助言表示数設定テーブル202から取得した助言表示数の設定値分のレコードを、表示対象の助言として取得する。撮像装置10は、例えば、変更可能性リスト218の「ポイント」カラムに格納されたポイント値の高い順に、助言表示数設定テーブル202から取得した助言表示数の設定値分のレコードを取得する。撮像装置10は、取得した変更可能性リスト218のレコードを、例えば、主記憶部92の所定の領域に一時的に格納する。
図6Kに、助言表示数設定テーブル202の一例を例示する。助言表示数設定テーブル202は、例えば、助言表示数との設定項目が格納される「設定項目」カラムを有し、助言設定数の数値が格納される「規定値」、「現在の値」のカラムを有する。助言表示数設定テーブル202の「規定値」カラムには、各撮像装置10で予め設定されている数値が格納され、「現在の値」には、例えば、撮像装置10の撮影者等により設定された数値が格納される。図6Kの例では、「規定値」カラムには「1」、「現在の値」カラムには「1」が格納されている。例えば、撮影者ID=1の管理者、撮影者ID=13の友人C子の撮像装置10は、図6Kに例示のように、助言表示数「1」が設定されている。
撮像装置10は、図6Jに例示のS91の処理において、例えば、図6Kに例示の助言表示数設定テーブル202を参照し、助言表示数との設定項目が格納されたレコードの、「現在の値」に格納された設定数である「1」を取得する。
そして、各撮像装置10は、例えば、図6I(1)、6I(2)に例示の変更可能性リスト218の「ポイント」カラムに格納されたポイント値を参照し、ポイント値の高い順に、助言表示数の数量に相当するレコードを表示対象の助言として取得する。
(撮影者ID=1の撮像装置10のS92の処理)
図6I(1)の例では、被写体ID=13を被写体とした場合のポイント値は「6」であり、撮影者ID=13を撮影者とし、被写体ID=1を被写体とした場合のポイント値は「0」である。撮像装置10は、例えば、変更可能性リスト218から、「ポイント」カラムに「6」が格納されたレコードを表示対象の助言として取得し、主記憶部92の所定の領域に一時的に格納する。
撮像装置10の、図6Jに例示のS91の処理で取得された、表示対象の助言としてのレコードを、図6L(1)に例示する。図6L(1)に例示のように、撮像装置10は、例えば、変更可能性リスト218の中から最もポイント値の高いレコードを主記憶部92の所定の領域に格納する。
図6L(1)に例示のレコードでは、例えば、撮影中の画像情報に対し、被写体ID=13を被写体に含むように変更するといった撮影状況の変更可能性が提示されている。ここで、被写体ID=13のユーザは、例えば、図6H(1)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=13」のユーザ、つまり、友人C子である。撮像装置10は、例えば、変更可能性リスト218から取得した、図6L(1)に例示のレコードに沿って、撮影中の撮影状況に対する変更可能性の助言表示を行う。
図6Jに例示のフローチャートにおいて、S92の処理では、撮像装置10は、例えば、撮影助言DB217を参照し、S91の処理で取得した表示対象の助言としてのレコードに適応した、助言内容の文字列を取得する。
図6Mに、撮影助言DB217の一例を例示する。図6Mに例示の撮影助言DB217は、例えば、「助言ID」、「変更内容」、「助言文字列」のカラムを有する。「助言ID」カラムには、助言を一意に識別する識別情報(助言ID)が格納される。「変更内容」カラムには、撮影状況を変更する際の変更対象の属性情報が格納される。変更対象の属性情報には、例えば、撮影者、被写体、撮影場所等が含まれる。変更対象の属性情報は、例えば、変更可能性リスト218の「撮影者変更フラグ」、「被写体変更フラグ」、「撮影位置変更フラグ」で「1」、または「2」が格納された変更対象の属性情報に対応する。
例えば、「被写体(1)」との属性情報は、「被写体変更フラグ」として「1」が格納された場合に対応し、「被写体(2)」との属性情報は、「被写体変更フラグ」として「2」が格納された場合に対応する。また、例えば、「撮影者と被写体(1)」との属性情報は、「撮影者変更フラグ」、「被写体変更フラグ」に「1」が格納された場合に対応する。同様に、「撮影者と被写体(2)」との属性情報は、「撮影者変更フラグ」に「1」、「被写体変更フラグ」に「2」が格納された場合に対応する。
「助言文字列」カラムには、表示対象としての助言の文字列情報が格納される。助言の文字列情報には、例えば、変更対象の属性情報が文字列等として挿入される挿入領域が含まれる。助言の文字列情報の、挿入領域は、例えば、「<>」といった挿入領域を示す記号で囲まれる。
図6Mの例では、例えば、「助言ID」カラムに「1」が格納されたレコードの「変更内容」カラムには、撮影中の撮影状況から変更対象となる属性情報の「撮影者」が格納されている。同レコードの「助言文字列」カラムには、「近くに<撮影者ID>さんがいます。写真を撮ってもらいませんか。」といった、撮影者の変更を促すメッセージが助言文字列として格納されている。
また、例えば、「助言ID」カラムに「11」が格納されたレコードの「変更内容」カラムには、撮影中の撮影状況から変更対象となる属性情報の「被写体(2)」が格納されている。同レコードの「助言文字列」カラムには、「近くに<被写体ID>さんがいます。写真を撮ってあげませんか。」といった、被写体を画像情報に含む撮影状況の変更を促すメッセージが助言文字列として格納されている。
また、例えば、助言ID」カラムに「101」が格納されたレコードの「変更内容」カラムには、撮影中の撮影状況から変更対象となる属性情報の「撮影者と被写体(2)」が格納されている。同レコードの「助言文字列」カラムには、「近くに<撮影者ID>さんがいます。勇気を出して、自分の写真を撮ってもらってみませんか。」といった、撮影者を変更した上で、自身を被写体とする撮影状況への変更にきっかけとなるメッセージが助言文字列として格納されている。
なお、助言文字列の挿入領域に挿入された「撮影者ID」は、「変更内容」カラムに格納された「撮影者」の識別情報(撮影者ID)を表している。撮像装置10は、例えば、助言文字列を取得後に、助言文字列中の挿入領域を示す記号で囲まれた領域の“撮影者ID”との文字列を、図6L(1)に例示のレコードの「撮影者」カラムに格納された撮影者IDで指し示される撮影者のテキスト情報で置換えればよい。撮像装置10は、例えば、図4Fに例示の撮影者情報DB216を参照し、撮影者IDに対応するレコードの「撮影者名」カラムに格納された撮影者名を取得し、取得した撮影者名で助言文字列中の“撮影者ID”との文字列を置き換えればよい。
同様に、助言文字列の挿入領域に挿入された「被写体ID」は、「変更内容」カラムに格納された「被写体」の識別情報(被写体ID)を表している。撮像装置10は、例えば、助言文字列を取得後に、助言文字列中の挿入領域を示す記号で囲まれた領域の“被写体ID”との文字列を、図6L(1)に例示のレコードの「被写体」カラムに格納された被写体IDで指し示される被写体のテキスト情報で置換えればよい。撮像装置10は、例えば、図4Bに例示の被写体DB212を参照し、被写体IDに対応するレコードの「被写体名」カラムに格納された被写体名を取得し、取得した被写体名で助言文字列中の“被写体ID”との文字列を置き換えればよい。
図6Jに例示のS92の処理では、撮像装置10は、例えば、S91の処理で取得した変更可能性リスト218のレコードの、「撮影者変更フラグ」、「被写体変更フラグ」、「撮影位置変更フラグ」の格納値を参照し、変更対象の属性情報を特定する。例えば、図6L(1)に例示のレコードでは、「撮影者変更フラグ」、「被写体変更フラグ」、「撮影位置変更フラグ」の中で「2」のステータス値が格納された変更対象の属性情報は、「被写体」である。撮像装置10は、例えば、撮影助言DB217を参照し、「変更内容」カラムに「被写体(2)」が含まれるレコードを特定し、該レコードの「助言文字列」カラムに格納された助言文字列を取得する。取得した助言文字列は、「助言ID」カラムに「11」が格納されたレコードの「近くに<被写体ID>さんがいます。写真を撮ってあげませんか。」となる。
また、撮像装置10は、被写体DB212を参照し、S91の処理で取得した変更可能性リスト218のレコードの、「被写体」カラムに格納された被写体IDに対応するレコードの「被写体名」カラムに格納された被写体名を特定する。撮像装置10は、例えば、図6L(1)に例示のレコードの「被写体」カラムに格納された「ID=13」の被写体は「友人C子」であることを特定する。そして、撮像装置10は、例えば、助言文字列に含まれる挿入領域の文字列を、特定した撮影者名に置き換えて、助言文字列を生成する。図6L(1)のレコードに対応して生成された助言文字列例を以下に示す。
・リストID=2:「近くに 友人C子さん がいます。写真を撮ってあげませんか。」
撮影者ID=1の撮像装置10は、図6Jに例示のS92の処理で生成した助言文字列を、例えば、主記憶部92の所定の領域に一時的に格納する。
(撮影者ID=13の撮像装置10のS92の処理)
図6I(2)の例では、被写体ID=1を被写体とした場合のポイント値は「2」であり、撮影者ID=1を撮影者とし、被写体ID=13を被写体とした場合のポイント値は「8」である。撮像装置10は、例えば、変更可能性リスト218から、「ポイント」カラムに「8」が格納されたレコードを表示対象の助言として取得し、主記憶部92の所定の領域に一時的に格納する。撮像装置10の主記憶部92に格納された、表示対象の助言としてのレコードを、図6L(2)に例示する。図6L(2)に例示のように、撮像装置10は、例えば、変更可能性リスト218の中から最もポイント値の高いレコードを取得する。
図6L(2)に例示のレコードでは、例えば、撮影中の画像情報に対し、撮影者を撮影者ID=1に、被写体に被写体ID=13を含むように変更するといった撮影状況の変更可能性が提示されている。被写体ID=13のユーザは、画像情報を撮影中の撮影者、つまり、友人C子であり、撮影者ID=1のユーザは、図6H(2)に例示の撮影状況情報リストの「近接端末情報」カラムに格納された「ID=1」のユーザである。撮像装置10は、例えば、変更可能性リスト218から取得した、図6L(2)に例示のレコードに沿って、撮影中の撮影状況に対する変更可能性の助言表示を行う。
撮像装置10は、図6Jに例示のS92の処理では、例えば、撮影助言DB217を参照し、S91の処理で取得した表示対象の助言としてのレコードに適応した、助言内容の文字列を取得する。
撮像装置10は、例えば、S91の処理で取得した変更可能性リスト218のレコードの、「撮影者変更フラグ」、「被写体変更フラグ」、「撮影位置変更フラグ」の格納値を参照し、変更対象の属性情報を特定する。例えば、図6L(2)に例示のレコードでは、「撮影者変更フラグ」に「1」、「被写体変更フラグ」に「2」のステータス値が格納された変更対象の属性情報は、「撮影者と被写体(2)」である。
撮像装置10は、例えば、撮影助言DB217を参照し、「変更内容」カラムに「撮影者と被写体(2)」が含まれるレコードを特定し、該レコードの「助言文字列」カラムに格納された助言文字列を取得する。取得した助言文字列は、「助言ID」カラムに「101」が格納されたレコードの「近くに<撮影者ID>さんがいます。勇気を出して、自分の写真を撮ってもらってみませんか。」となる。
撮像装置10は、撮影者情報DB216を参照し、S91の処理で取得した変更可能性リスト218のレコードの、「撮影者」カラムに格納された撮影者IDに対応するレコードの「撮影者名」カラムに格納された撮影者名を特定する。撮像装置10は、例えば、図6L(2)に例示のレコードの「撮影者」カラムに格納された「ID=1」の撮影者は「管理者」であることを特定する。そして、撮像装置10は、例えば、助言文字列に含まれる挿入領域の文字列を、特定した撮影者名に置き換えて、助言文字列を生成する。図6L(2)のレコードに対応して生成された助言文字列例を以下に示す。
・ リストID=3:「近くに 管理者 さんがいます。勇気を出して、自分の写真を撮ってもらってみませんか。」
撮影者ID=13の撮像装置10は、図6Jに例示のS92の処理で生成した助言文字列を、例えば、主記憶部92の所定の領域に一時的に格納する。
図6Jに例示のフローチャートに戻り、S93の処理では、撮像装置10は、例えば、補助記憶部93に格納された助言表示方法設定テーブル203を参照し、表示対象の助言の表示方法を特定する。そして、撮像装置10は、S93の処理で特定された表示方法に沿って、S92の処理で生成された助言文字列の表示を行う(S94)。撮像装置10は、例えば、S92の処理で生成された助言文字列を撮影中の画像情報に重畳させて、ELパネル等のモニタの表示領域に表示を行う。
ここで、撮像装置10で実行されるS91−S92の処理は、情報処理装置から、画像情報の被写体、撮像装置の撮影者、撮影位置から所定範囲内の撮像装置のグループに基づいて検出された撮影状況に対する撮影助言を取得するステップの一例である。また、撮像装置10のCPU91等は、情報処理装置から、画像情報の被写体、撮像装置の撮影者、撮影位置から所定範囲内の撮像装置のグループに基づいて検出された撮影状況に対する撮影助言を取得する手段の一例としてS91−S92の処理を実行する。
また、撮像装置10で実行されるS93−S94の処理は、撮影位置から所定範囲内の撮像装置のグループの撮影状況に応じた撮影助言を情報出力部に出力するステップの一例である。また、撮像装置10のCPU91等は、撮影位置から所定範囲内の撮像装置のグループの撮影状況に応じた撮影助言を情報出力部に出力する手段の一例としてS93−S94の処理を実行する。
図6Nに、助言表示方法設定テーブル203の一例を例示する。図6Nに例示の、助言表示方法設定テーブル203には、例えば、ELパネル等のモニタに表示される助言文字列の表示方法、助言文字列の表示時における効果音の有無等が設定値に対応付けて、複数に格納される。
図6Nに例示の、助言表示方法設定テーブル203は、「設定値」、「ファイル名」、「表示方法の説明」といったカラムを有する。「設定値」カラムには、表示方法を表す数値が格納される。「ファイル名」には、助言文字列の表示形態を規定したファイルの名称が格納される。助言文字列の表示形態を規定したファイルは、例えば、XML(Extensible Markup Language)等の形式で記述されたファイルを例示できる。助言文字列の表示形態を規定したファイルには、例えば、フォント等のテキスト情報、ELパネル等の表示位置、表示タイミング、表示時の効果音の有無、効果音の種別等の指定が含まれる。撮像装置10は、例えば、「ファイル名」カラムに格納されたXML等で記述されたファイルに沿って、助言文字列の表示を行う。「表示方法の説明」カラムには、「ファイル名」カラムに格納されたファイルにより指定される表示方法の簡易説明が格納される。
図6Nの例では、例えば、「設定値」カラムに「1」を格納したレコードが、撮像装置10の予め規定値として設定されている。規定値は、例えば、複数の変更可能性に係る助言文字列をELパネル等の表示領域に同時に表示し、助言文字列の表示時の効果音は無しといった表示方法であり、ユーザにより頻繁に使用されると想定される表示方法である。
なお、図6Nの例において、「設定値」カラムに「3」を格納したレコードの表示方法は、例えば、複数の変更可能性に係る助言文字列をELパネル等の表示領域に順次表示し、助言文字列の表示の際には効果音を付加するといった表示方法である。
撮像装置10は、例えば、「設定値」カラムに「1」が格納されたレコードの、「ファイル名」カラムに格納された「Advice1.xml」を参照し、助言文字列に対する表示方法を特定する。撮影者ID=1、13のそれぞれの撮像装置10は、「設定値」カラムに「1」が格納されたレコードの、「Advice1.xml」を参照し、助言文字列に対する表示方法を特定する。そして、各撮像装置10は、図6JのS92の処理で生成した複数の変更可能性に係る助言文字列を、例えば、ELパネル等の表示領域に同時に表示し、助言文字列の表示の際には効果音を付加しないといった表示方法で表示する。
図7(1)、(2)に、撮像値10における助言文字列の表示方法の説明図を例示する。図7(1)は、撮影者ID=1の撮像装置10での画面表示例であり、図7(2)は、撮影者ID=13の撮像装置10での画面表示例である。図7(1)の撮影状況は、例えば、撮影者ID=1の管理者が撮影者として、街並みといった風景を画像情報として撮影中の状態である。また、図7(2)の撮影状況は、例えば、撮影者ID=13の友人C子が撮影者として、草花に止まる蝶といった風景を画像情報として撮影中の状態である。それぞれの撮像装置10は、互いに近接した距離範囲に位置している。
図7(1)、(2)に例示の助言文字列の表示方法は、例えば、図6JのS93の処理で特定した表示方法である。撮像装置10は、例えば、ELパネル等のモニタに撮影中の画像情報に重畳させて、助言文字列の表示を行う。
図7(1)に例示の説明図において、領域A1は、例えば、ELパネル等のモニタの表示領域である。領域A1には、撮影中の街並みといった風景画像が表示されている。領域A2は、撮影中の撮影状況に対する助言文字列が表示される表示領域であり、領域A1に重畳されて表示されている。領域A2の表示領域は、例えば、ELパネル等のモニタの表示領域の上部に配置されている。図6Nの、設定値が「1」の表示方法では、例えば、図6L(1)のリストID=2のレコードに対応する、「近くに 友人C子さん がいます。写真を撮ってあげませんか。」との助言文字列が表示される。管理者の撮像装置10の領域A2には、「近くに 友人C子さん がいます。写真を撮ってあげませんか。」との助言文字列が撮影中の画像情報に重畳されて表示される。
また、図7(2)に例示の説明図において、領域A3は、例えば、ELパネル等のモニタの表示領域であり、領域A3には撮影中の草花に止まる蝶といった風景画像が表示されている。領域A4は、撮影中の撮影状況に対する助言文字列が表示される表示領域であり、領域A3に重畳されて表示されている。領域A4の表示領域は、例えば、ELパネル等のモニタの表示領域の上部に配置されている。図6Nの、設定値が「1」の表示方法では、例えば、図6L(2)のリストID=3のレコードに対応する、「近くに 管理者 さんがいます。勇気を出して、自分の写真を撮ってもらってみませんか。」との助言文字列が表示される。友人C子の撮像装置10の領域A4には、「近くに 管理者 さんがいます。勇気を出して、自分の写真を撮ってもらってみませんか。」との助言文字列が撮影中の画像情報に重畳されて表示される。
図7(1)、(2)に例示のように、互いに近接した範囲内に位置するそれぞれの撮像装置10に、撮影中の撮影状況に応じた助言文字列が撮影中の画像情報に重畳されて表示される。それぞれの撮像装置10の撮影者は、モニタ等に表示された助言メッセージをきっかけとして、相互のコミュニケーションを図ることができ、交流を促進することができる。
なお、それぞれの撮像装置10に表示された助言メッセージに沿って、撮影中の画像情報を変更し、変更後の撮影状況で撮影された画像情報を映像記録とする場合、映像記録の共有化が行われる。例えば、管理者の撮像装置10で画像情報の映像記録を行った場合には、友人C子宛に記録された画像情報を映像データとして送付することが可能である。本実施形態の撮影補助システム1では、変更後の撮影状況で取得された画像情報に対して共有化を促すように助言を行うとしてもよい。
例えば、情報処理装置11は、変更可能性リスト218の生成完了後の一定期間内に、撮影状況が変更となった撮影中の画像情報に含まれる友人C子を被写体認識処理により検出する。そして、情報処理装置11は、管理者の撮像装置10に対して、例えば、「友人C子に写真を共有してあげましょう。」といった画像情報の共有化を促す助言文字列を送信する。管理者の撮像装置10は、例えば、シャッターボタンの押下といった、撮影中の画像情報に対する記録確定操作の検出と共に、画像情報の共有化を促す助言文字列をモニタ等に表示するとすればよい。
なお、画像情報の共有化を促す助言情報は、例えば、図6Mに例示の撮影助言DB217に格納される助言文字列に含めるとしてもよい。撮像装置10は、例えば、撮影状況の変更に係る助言情報、及び、画像情報の共有化を促す助言情報を取得する。そして、撮影状況の変更に係る助言情報の表示後の一定期間内に、例えば、撮影中の画像情報から認識された被写体認識情報に基づいて、画像情報の共有化を促す助言情報をモニタ等に表示するとしてもよい。
以上、説明したように、本実施形態の撮影補助システム1では、撮影中の画像情報から被写体情報、撮影者情報を認識することができる。また、本実施形態の撮影補助システム1では、画像情報を撮影中の撮像装置10の撮影位置を特定し、撮像装置10の近接した距離範囲に位置する他の撮像装置に対応付けられた撮影者情報を特定することができる。
そして、本実施形態の撮影補助システム1では、被写体情報、撮影者情報、撮影位置、撮影位置に近接する他の撮像装置10の位置から、撮像装置毎の撮影中の撮影状況を判断できる。また、本実施形態の撮影補助システム1では、イベント等で撮影された被写体の撮影頻度を被写体頻度として算出し、算出された被写体頻度に対して撮影者の撮影技量を示すスキルレベルを反映した被写体ポイントを算出できる。
そして、撮影補助システム1では、撮影中の撮影状況に対する被写体変更、撮影者変更、撮影位置変更等の状況変更の可能性をポイント付けした変更可能性情報を生成できる。変更可能性情報は、撮影中の画像情報に被写体が含まれない状況を分別した、撮影中の撮影状況に対する被写体変更を含むことができる。このため、撮影補助システム1では、風景の撮影といった、撮影中の画像情報に被写体を含まない撮影状況に対する変更可能性情報を生成できる。
変更情報のポイントには、変更前後の撮影状況の被写体ポイント差により算出されたポイントが反映されるため、例えば、撮影数量の少ない被写体構図の撮影可能性を高める変更可能性が提示できる。また、変更情報のポイントには、変更前後の撮影者とのスキルレベル差により算出されたポイントを反映できるため、撮影スキルの高い撮影可能者の撮影による変更可能性が提示できる。
本実施形態の撮影補助システム1では、変更情報にポイント付けされたポイント値の高低に応じて、撮影中の撮影状況に対する撮影助言を選択することができる。撮影助言の選択には、撮影中の画像情報に被写体が含まれない状況からの撮影助言が含まれる。選択された撮影助言は、画像情報を撮影中の撮影状況に応じて、撮像装置10毎に表示することができる。この結果、本実施形態の撮影補助システム1の撮像装置10は、撮影中の撮影状況に応じて表示された撮影助言をきっかけとして、相互のコミュニケーションを促進することができるため、被写体の撮影機会のバラツキを軽減させることが可能となる。
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。