以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。近年、カメラ等の撮像装置が安価になる、或いはスマートフォン等の撮像機能を有する携帯端末が普及する等の要因により、多くの静止画像や動画像が記録、保存されるようになっている。保存された画像は画像サーバ等により集積、共有されることが考えられ、その場合には共有される画像の枚数は、個人により撮像、保存される画像枚数に比べて飛躍的に増大することになる。
画像サーバはローカルなネットワーク上で用いられるものであってもよいが、近年のネットワークの発展を考慮すれば、インターネット等を介してPC等と接続されるものが広く用いられると考えられ、その場合多くのユーザが当該画像サーバを利用することになるため、共有される画像枚数は膨大なものとなる。さらに言えば、カメラ等の撮像専用端末でありながら通信機能を有する端末装置、或いはスマートフォン等のような撮像機能を有する通信機器の普及もあり、PC等を介さずに画像サーバを利用するという形態も考えられる。この場合、利便性が向上するため、より多くの画像共有が期待されることになる。
このように多くの画像ファイルが収集された場合には、当該画像ファイルの管理が問題となる。例えば、所与のユーザが特定の属性を有する(例えば特定の被写体が撮像された)画像の閲覧を目的として画像サーバに接続してきた場合に、画像サーバが自身の有する全ての画像を提示したのでは、ユーザに対して膨大な画像群から所望画像の手動での探索を強いることになり好ましくない。
よって、大量の画像情報を何らかの手法により管理する必要があり、ここでは画像情報に対してメタデータ(タグ)を付加するものとする。ここでメタデータとは、画像情報に対して付加される、画像情報自身に関するデータである。メタデータの内容は種々考えられ、例えば画像情報に撮像された被写体を表す文字列データ(例えば柴犬を撮影した画像であれば「柴犬」、「犬」、「動物」、「ペット」等のデータ)であってもよい。或いは撮像対象とは直接関係ないデータをメタデータとして含んでもよく、撮像が行われた場所を表す地名、撮影者の氏名、撮影時刻等であってもよい。また、メタデータのデータ形式は文字列データに限定されるものではなく、真偽を表す2値情報、整数や小数等の数値情報であってもよい。さらに、データサイズ等が問題にならなければ画像情報、音声データをメタデータとして用いてもよい(メタデータである画像情報は、当該メタデータの付加対象である画像情報と区別するため、適宜「メタ画像情報」と表記する)。
画像情報に対してメタデータが付加されれば、当該メタデータを用いることで膨大な画像情報を効率的に管理することが可能になる。例えば上述の画像情報の提示の場合には文字列データを用いた検索等を行えばよい。また、大量の画像情報を解析して何らかの結果を得ようとした場合(例えば画像データベースを対象としたデータマイニングを行う場合)にも、各ピクセルの画素値の集合(或いはそれを符号化したデータ)である画像情報だけでなく、メタデータを含めることで有用性の高い解析が可能になる。或いは、メタデータが付加された画像情報が大量に取得されれば、それらを教師データとして用いることで、新たに取得された画像に対して自動的なメタデータ付加も可能となる。
しかし、これらの処理においては、画像情報に対して付加されるメタデータの精度が高いことが必要となる。ここで、メタデータの精度とは、当該メタデータが付加対象である画像情報の属性を適切に表しているか否かを表すものである。例えば、ユーザAが午後3時に東京で柴犬を撮影した画像に対して、「ユーザA」、「午後3時」、「東京」、「犬」といったメタデータが付加されれば、当該メタデータの精度は高いと言える。それに対して、前記画像情報に「ユーザB」、「京都」、「午前10時」、「猫」といったように、現実の属性とは異なる属性を表すメタデータが付加されれば、当該メタデータの精度は低いということになる。メタデータの精度が問題となるのは、当該精度がその後の処理結果(上述の例であれば検索処理により提示される画像情報、解析結果、自動付加されたメタデータ)の妥当性に大きな影響を与えるためである。
メタデータをユーザが手動で付加したり、特許文献1のようにフォルダ分けを利用してメタデータを付加した場合、メタデータの精度は高くできるが、ユーザの負担が大きく、膨大な画像情報を対象とした場合現実的でない。また、画像情報に対する画像処理に基づいて自動的にメタデータを付加しようとすると、上述したように十分な量の正確な教師データが必要となるため、当該教師データを準備するのは容易ではない。
これに対して、特許文献2,3に開示されているように、あらかじめシーンや撮影リストを取得しておき、撮像時に当該シーンや撮影リストに従った映像(画像)を撮像するという手法が考えられる。この場合、ユーザは所与のシーン、或いは撮影リストのうちの一つに合致するように撮像を行うことが期待されるため、撮像画像に対して当該シーン等を表すメタデータを付加することで、高精度のメタデータ付加が可能になる。
しかし、特許文献2ではシーンを表すシナリオが限定されており、結果として付加されるメタデータの種類が限定される。また特許文献3では、撮影リストは多くのユーザに配信されるものではない。例えば、商品カタログに用いる画像をカメラマンに委託する際に、カタログに記載される商品の一覧を表すデータ(例えば「カバンA」、「カバンB」、「ネックレス」、「指輪」等の集合データ)が撮影リストに対応するものとなる。よって、撮影リストからメタデータを作成しても、当該メタデータに対応する画像情報は、撮影リストを受け取ったユーザからしか取得されず、その量はごく少ないものとなる。上述したように、膨大な画像情報を分類するだけでなく、それを用いた解析等の処理まで考慮した場合、画像データベースは、メタデータの種類数が多い、1つのメタデータに紐づけられた画像情報数が多いといった条件を満たすことが望ましい。そのため、特許文献2,3の手法では、メタデータの精度は確保できるものの、メタデータが付加された画像情報の集合である画像データベースの利用まで考慮すると好ましいとは言えない。
そこで本出願人は、ソーシャルデータ(狭義にはツイートデータ)を多くのユーザに対して配信し、各ユーザが配信されたソーシャルデータに基づいて撮像した画像情報を取得する手法を提案する。そして、取得した画像情報に対しては、ソーシャルデータから作成されたメタデータや、ソーシャルデータ配信前後の撮影情報(例えばツイートデータ配信から撮像までに要した時間情報等)、行動情報(撮像場所の情報等)をメタデータとして付加する。
ここでソーシャルデータとは、ソーシャルネットワーキングサービス(Social Networking Service。以下SNSと表記する)において、ユーザにより投稿されるデータ全般を指すものとする。SNSは、複数のユーザ間でのインタラクション、コミュニケーションを行うためのバックグラウンド、及びそのための付随的なサービスを提供するものである。よって本実施形態のソーシャルデータとは、当該ソーシャルデータの発信者が、ソーシャルデータ受信者(特定、不特定を問わない)に対して自身の考え等を提示するデータが想定される。
そのため、ソーシャルデータは典型的にはユーザの思想感情を表現した文章データとなることが想定されるが、必ずしもそれに限定されず写真データや動画データであってもよい。また、ソーシャルデータが文章データである場合、当該ソーシャルデータが1つの単語から構成されることは妨げられないが、コミュニケーション等を目的に発信される情報であることに鑑みれば、基本的には複数の文節からなる文章として構成されることが想定される。また、ソーシャルデータ自身は文字列データであっても、当該文字列データの一部又は全部に、写真データや動画データ等への参照情報(リンク)が含まれてもよい。なお、本実施形態においてソーシャルデータの投稿に用いられるシステム(例えば具体的なサービス)は限定されない。つまり、本実施形態にかかるサーバシステムは、ユーザからのソーシャルデータの受け付け、記憶、配信を行うソーシャルサービスサーバ(狭義にはツイートサービスサーバ)を含むことで、ソーシャルデータ配信に関するSNSを提供するものであってもよい。或いは、本実施形態のサーバーシステムはソーシャルデータ投稿・閲覧用SNSの提供は行わずに、他のSNSにより管理されているソーシャルデータを取得してくるものであってもよい。
また、ツイートデータとは、ソーシャルデータの一種であり、SNS上で投稿された、典型的にはユーザの思想感情を表現した文章データを少なくとも含む、マルチメディアデータのことであり、コミュニケーションサービス「Twitter」で、投稿されたメッセージも含まれる。以下、ソーシャルデータとしてツイートデータを例にとって説明する。ただし、ソーシャルデータはツイートデータ以外のデータ(例えば文章データを含まない画像データ、動画データ等から構成されるデータ)であってもよく、以下の説明におけるツイートデータという用語は、ツイートデータ以外のソーシャルデータに置き換えることが可能である。
本実施形態のツイートデータは、発信者の思想感情の表現等に用いられるものであるため、従来手法のシーンや撮影リストと異なりその内容の自由度が非常に高い。なお、ボットと呼ばれるプログラムによるもののように、時事的な既存の記事を組み合わせる等の手法によりコンピュータが自動的に作成するツイートデータも存在する。この場合、ツイートデータは発信者の思想感情を表すものとはならないが、その内容の自由度が高い点は、ユーザにより投稿されるツイートデータと変わるものではない。
よって、ツイートデータに対応して撮像した画像に対して、ツイートデータから作成したメタデータを付加することで、画像データベースに含まれるメタデータの種類を豊富なものにできる。また、ツイートデータを多くのユーザに対して配信することにより、同一ツイートデータに対して多くの画像情報を紐づけることが可能になる。よって、ツイートデータからメタデータを作成した場合に、1つのメタデータに対して多くの画像情報が対応づけられることになり、画像データベースを利用する有用性が向上する(例えば解析精度が向上する)。
また、本実施形態では必須の構成ではないが、配信されたツイートデータに対して画像情報を送信する処理等までSNSの一部としてもよい。例えば広く用いられているSNSでは、あるユーザにより投稿されたツイートデータに対しては、他のユーザによる参照や返信が可能となっており、当該SNSはそれらの機能を用いたコミュニケーションツールとして用いられている。それと同様に、本実施形態のサーバシステムが、ツイートデータの配信機能、それに対するユーザによる画像情報の送信機能、送信された画像情報に対するユーザ間でのコメント等の送信機能、その他種々の機能を有するサービスを提供することで、画像情報の送信意欲を高めてもよい。上述したように、共有されるメタデータ付き画像情報が多いほど、画像データベースの価値が高まるため、ユーザが積極的に画像情報を送信するような環境を準備することは有用である。その他、画像情報の送信意欲を高めるための種々の手法を用いてもよく、例えば著名人によるツイートデータを、当該著名人に興味を持っているユーザに対して配信する等の手法を用いてもよい。
以下、本実施形態に係る端末装置、サーバシステムを含む情報処理システムの構成例を説明した後、ツイートデータの送信からメタデータ付き画像情報の取得までの処理フローを述べる。その後、本実施形態の変形例、及び本実施形態の手法を用いたサービスの一例等について説明する。
2.システム構成例
図1に本実施形態に係る端末装置(200−1等)と、サーバシステム300等を含む情報処理システムの構成例を示す。情報処理システムは、配信側端末装置100と、受信側の複数の端末装置(200−1〜200−N)と、サーバシステム300を含み、それらはネットワーク10を介して接続されている。
配信側端末装置100は、ツイートデータの配信者により操作される端末装置である。配信側端末装置100は、PCであってもよいし、スマートフォン等の携帯通信端末であってもよいし、ツイートデータの入力・送信が可能な他の装置であってもよい。
端末装置200−1等は、ツイートデータの配信を受けて、当該ツイートデータに対応する画像情報を取得、送信する端末装置である。端末装置200−1等は、撮像部から画像情報を取得する必要があることから、カメラ等の撮像装置であることが想定されるがそれに限定されるものではなく、例えばカメラ等の機器から画像情報を取得し、取得画像を送信する装置であってもよい。
また、図1では端末装置200−1等が直接ネットワーク10に接続されているがこれに限定されず、他の装置を介してネットワーク10に接続されてもよい。例えば、端末装置200−1は通信機能を有さない撮像装置であり、当該撮像装置を通信機能を有するPCに接続する利用形態であってもよい。この場合、PCがネットワーク10を介してツイートデータを取得し、取得したツイートデータを有線或いは無線でPCに接続された撮像装置に転送する。そして、撮像装置は転送されたツイートデータに対応する画像情報を撮像する。撮像時は、撮像対象の多様性を確保すること、及びユーザの利便性を考慮すれば、撮像装置とPCは接続されていないことが想定される。撮像終了後には、再度撮像装置とPCが接続され、撮像装置から画像情報がPCに転送され、PCは当該画像情報をサーバシステム300に送信すればよい。
サーバシステム300は、ツイートデータの受信・配信、及び画像情報の取得等を行う。サーバシステム300は、例えば図1に示したように、ツイートデータ配信サーバ310と、画像サーバ320とを含んでもよい。
ツイートデータ配信サーバ310は、配信側端末装置100が送信したツイートデータを取得する。本実施形態のサーバシステム300がツイートデータを共有するためのSNS(画像の共有に限定されず、ツイートデータのやりとりを行うことによるコミュニケーションサービス)の提供を行う場合であれば、配信側端末装置100から直接ツイートデータを取得することが想定される。また、ツイートデータの送受信等を行う他のSNSを利用して、当該SNSにおけるツイートデータを取得する場合も考えられる。この場合、配信側端末装置100は本実施形態のサーバシステム300に含まれない外部サーバに対してツイートデータを送信し、ツイートデータ配信サーバ310は、当該外部サーバからツイートデータを取得することが想定される。そして、ツイートデータ配信サーバ310は、取得したツイートデータを、端末装置200−1〜200−Nに対して配信する。
画像サーバ320は、端末装置200−1〜200−Nからの画像情報を取得する。画像情報は端末装置200−1〜200−N側でメタデータが付加されていてもよいが、画像サーバ320において、メタデータの作成と当該メタデータの画像情報への付加等を行ってもよい。また、画像サーバ320はメタデータ付き画像情報の保存等を行う。
図2に配信側端末装置100、端末装置200(端末装置200−1〜200−Nのうちの1つ)、サーバシステム300の詳細な構成例を示す。ただし、配信側端末装置100等は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
配信側端末装置100は、ツイートデータ入力部110と、送信処理部120を含む。ツイートデータ入力部110は、ツイートデータ配信者によるツイートデータの入力を受け付ける。送信処理部120は、入力されたツイートデータの送信処理を行う。送信処理部120による送信処理の対象は、サーバシステム300であってもよいし、本実施形態のサーバシステム300には含まれない外部サーバ等であってもよいのは上述したとおりである。
端末装置200は、受信処理部210と、表示制御部220と、画像取得部230と、送信処理部250を含む。
受信処理部210は、後述するサーバシステム300のツイートデータ送信部313から送信されたツイートデータを受信する。表示制御部220は、受信したツイートデータを表示部に表示する制御を行う。表示制御部220の制御により表示部に表示される画面の例を図3に示す。図3は端末装置200が、背面に表示部を有する撮像装置の例であり、この場合表示制御部220は、表示部の一部にツイートデータを表示する制御を行う。図3の例では、表示制御部220は、表示部を撮像装置のファインダーとして用いるための表示制御(この場合は撮像対象である家や山等の風景の表示)を行いつつ、それに重畳させて画面上部にツイートデータを表示する制御を行っているが、表示手法はこれに限定されない。なお、ツイートデータに動画等へのリンクが含まれる場合には、リンクを表示してもよいし、リンク先の動画等を表示してもよい。また、ツイートデータの文字数が多い場合には、その一部を表示したりスクロール表示する等の制御を行ってもよい。或いは、半透明、コントラスト、間欠(半押しで消える)等の表示制御を行ってもよい。
画像取得部230は、表示制御部220の制御により表示されたツイートデータに基づいて、ユーザにより撮像された画像を取得する。
送信処理部250は、画像取得部230で取得された画像情報をサーバシステムに対して送信する。なお送信処理部250は、後述するように端末装置200においてメタデータが作成されるのであれば、作成されたメタデータを画像情報と併せて送信してもよい。また、サーバシステム300でのメタデータの作成において、後述する撮影情報や行動情報、或いは図5を用いて後述する部分指定情報(重要領域を指定する情報)が用いられる場合、これらの情報は端末装置200において取得されることが想定されるため、送信処理部250は、当該撮影情報、行動情報、部分指定情報を画像情報と併せて送信してもよい。
サーバシステム300は、ツイートデータ取得部311と、ツイートデータ送信部313と、画像情報取得部321と、メタデータ作成部322と、メタデータ付加部323と、認証処理部330を含む。
ツイートデータ取得部311は、配信側端末装置の送信処理部120から送信されたツイートデータを取得する。ツイートデータ送信部313は、ツイートデータ取得部311が取得したツイートデータを端末装置200に対して送信する。図2ではツイートデータの送信対象として端末装置200を示したが、実際には図1の端末装置200−1〜200−Nのように複数の送信対象があることが想定される。なお、ツイートデータ取得部311とツイートデータ送信部313は、図1に示したツイートデータ配信サーバ310に含まれてもよい。
画像情報取得部321は、端末装置200の送信処理部250から、画像情報を取得する。なお、端末装置200のメタデータ作成部240においてメタデータの作成が行われている場合には、作成されたメタデータを画像情報に合わせて取得してもよい。
メタデータ作成部322は、画像情報取得部321で取得された画像情報に対して付加されるメタデータを作成する。メタデータ作成処理の詳細は後述する。メタデータ付加部323は、取得した画像情報にメタデータを付加する。付加されるメタデータは、サーバシステム300のメタデータ作成部322において作成したメタデータであってもよい。ただし、メタデータ作成部322で作成されたメタデータを全て付加するものには限定されず、メタデータ付加部323は、作成されたメタデータの一部のメタデータを選択する処理を行い、選択されたメタデータを付加してもよい。また、メタデータ付加部323で付加されるメタデータは、端末装置200で作成されたメタデータであってもよい。その場合、図15に示したように、画像取得部230で取得された画像情報に対して付加されるメタデータを作成するメタデータ作成部240が、端末装置200に含まれるものとしてもよい。なお、画像情報取得部321と、メタデータ付加部323は、図1に示した画像サーバ320に含まれてもよい。
認証処理部330は、ツイートデータの送信、及び画像情報の取得の際に、対象となる端末装置200の特定及び認証処理を行う。例えば、本実施形態の情報処理システムがSNS等のサービスの一部として提供される場合には、認証処理部330はサーバシステム300への接続が当該サービスの正規ユーザ(登録ユーザ)によるものか否か等を判定すればよい。認証処理に基づく処理の一例としては、ツイートデータ送信部313は、認証処理部330が保持する登録ユーザ情報に基づいて、登録ユーザの端末装置200−1〜200−Nに対してツイートデータを送信することが考えられる。また、画像情報取得部321は、端末装置200−1〜200−Nから画像送信のための接続が試行された場合に、登録ユーザからの接続については画像情報の取得を行い、非登録ユーザからの接続については画像情報の取得を拒否してもよい。なお、登録ユーザについても必ず接続を許可するものには限定されず、接続等が禁止される禁止ユーザや、接続等に制限がない無限ユーザ等の属性を利用することで、任意の認証処理を行ってもよい。例えば、基本的には接続を許可しつつ、連続での接続は制限する連続禁止の設定等を行ってもよい。
3.処理の流れ
次に図4、図11を用いて本実施形態の処理の流れを説明する。具体的には、図4を用いてツイートデータの配信から画像情報の取得、メタデータの付与までの処理の流れを説明する。また、図11を用いてサーバシステムに記憶された画像情報の評価処理の流れを説明する。ただし、図11の評価処理は本実施形態における必須の処理とは限らない。
本実施形態では、まず配信側端末装置100でツイートデータが入力、送信される(S101)。サーバシステム300は、配信側端末装置100から送信されたツイートデータを直接、或いは他のサーバ等を経由して取得する(S102)。そして、取得したツイートデータを端末装置200に対して配信する(S103)。この配信処理は、複数の端末装置を対象にすることが想定され、例えば上述したように登録ユーザの端末装置にツイートデータを配信する処理となる。つまり、端末装置200での処理(後述するS104〜S108)は、ツイートデータが配信された各端末装置で行われるものであるが、図4では便宜上1つの端末装置での処理として説明する。
端末装置200は、サーバシステム300から配信されたツイートデータを受信するとともに、受信した旨をユーザに通知する(S104)。この通知処理は、例えば通知音を発生させたり、LEDを点灯させることで行ってもよい。或いは端末装置200とは異なる装置において通知処理を行ってもよい。例えば端末装置200がカメラである場合に、当該カメラにツイートデータが配信された場合に、同一のユーザの利用するスマートフォン等(スマートフォンだけでなく、ツイートデータ参照の際のクライアントソフトウェアがインストールされた任意の装置を含む)で通知が行われてもよい。スマートフォン等での通知はアラームを鳴らしたり、バイブレーション機能による通知等、種々の手法をとることができる。なお、この場合のスマートフォン等への通知指示は、カメラから送られてもよい。或いは、サーバシステム300が、登録ユーザの利用するスマートフォンのネットワークアドレス(例えば電子メールアドレス)等の情報を保持しているのであれば、サーバシステム300がスマートフォンに対する通知指示を行ってもよい。この場合、カメラは常にスタンバイの状態である必要はなく、電源を入れたときにツイートデータの受信処理を行えばよい。
次に、端末装置200の表示制御部220は、図3に示したように、配信されたツイートデータを表示部に表示する制御を行う(S105)。なお、S105の表示制御が、S104でのユーザへの通知処理を兼ねてもよい。この場合、それまでスリープ状態であったり、他の画面を表示していた表示部が、新たなツイートデータを表示することで、ツイートデータの配信をユーザに通知することになる。
ツイートデータが表示されたら、当該表示に起因して行われたユーザによる撮像操作を受け付け、撮像された画像情報を取得する(S106)。
端末装置200は、取得した画像情報を、サーバシステム300に対して送信する(S107)。この際、画像情報とメタデータだけではなく、当該画像情報に対応するツイートデータも対応づけて送信することが望ましい。サーバシステム300は過去のツイートデータ等、複数のツイートデータを保持していることが想定されるため、サーバシステム300においてツイートデータに基づく新たなメタデータの作成、付加等を行う場合に、画像情報とツイートデータとの関連づけが必要となるためである。
サーバシステム300は、端末装置200から送信された画像情報に付加するメタデータを作成する(S108)。そして画像情報及び作成したメタデータを取得し(S109)、メタデータが付加された画像情報であるメタデータ付き画像情報を記憶する(S110)。この際、サーバシステム300において新たにメタデータの作成、付加を行ってもよい。
次に、図11を用いて本実施形態の評価処理フェーズの流れを説明する。なお、評価処理やフェーズ構成等の詳細については後述する。この評価処理フェーズは例えば、サーバシステム300によるツイートデータの配信後、端末装置200−1〜200−N等による当該ツイートデータに対応する画像情報の撮像・送信が終了した後に開始されてもよい。画像情報の撮像・送信の終了タイミングとは、後述するように新たなツイートデータの配信により以前のツイートデータに対する撮像等が制限される場合には、当該新たなツイートデータの配信タイミングであってもよいし、他のタイミングであってもよい。
また評価処理フェーズは、所与のツイートデータに対する複数のユーザの撮像が全て終了してから行われるものに限定されず、所与のユーザが画像情報をサーバシステム300に送信した場合に、他のユーザの送信を待たずに、当該画像情報に対する評価処理を行ってもよい。この場合、早く送信するほど先に評価処理の対象となるため、画像情報を送信するユーザにとっては、自身の画像情報に対する他のユーザの注目度が高まる等の効果が期待でき、本実施形態の端末装置200−1〜200−N等を利用するユーザの撮像意欲を向上させることが可能である。
評価処理フェーズが開始されると、まずサーバシステム300は評価処理の対象となる画像情報のサムネイル画像を作成し(S301)、作成したサムネイル画像を評価情報の作成主体である端末装置等に配信する(S302)。
ここでサムネイル画像としては図12(A)〜図12(C)に示した手法により取得されるサムネイル画像であってもよい。図12(A)が元の画像情報である場合に、サムネイル画像とは撮像対象となる被写体の範囲(画角)を変えずに解像度を低下させた図12(B)に示す画像であってもよいし、元の画像情報の一部をトリミングした図12(C)に示す画像であってもよい。なお、サムネイル画像はサーバシステム300において作成されるものに限定されず、端末装置200が作成したサムネイル画像をネットワーク10を介して取得するものであってもよい。画像情報そのものではなく、解像度を落としたサムネイル画像を配信するのは、ネットワーク10に対する負荷軽減や、高解像度の画像情報はサーバシステム300に集約し、端末装置200−1〜200−N等では基本的には低解像度のサムネイル画像だけ閲覧させるためのものである。ただし、これに限定されず元の画像情報そのものを配信してもよい。
図11では、評価対象である画像情報は第2の端末装置において撮像・送信されたものである。よって、S302でのサムネイル画像の配信処理の対象は、複数の端末装置200−1〜200−Nのうち、第2の端末装置を除いた他の端末装置となる。ただし、図6では他の端末装置のうち、第1の端末装置での処理を図示している。
第1の端末装置は、サーバシステム300からサムネイル画像を受信し(S303)、受信したサムネイル画像に対する評価を表す評価情報を送信する(S304)。評価情報の内容については種々考えられるが、詳細については後述する。
なお、評価情報の送信は端末装置において行うものに限定されず、ツイートデータを送信した配信側端末装置100で行われてもよい。つまり、サーバシステム300はサムネイル画像を配信側端末装置100にも送信し、配信側端末装置100がサムネイル画像の受信(S309)、及び評価情報の送信(S310)を行ってもよい。
サーバシステム300は、第1の端末装置(及び図11に不図示であるがその他の端末装置)と配信側端末装置100から受信した評価情報に基づいて、評価処理を行う(S305)。評価処理の詳細については後述する。そして、評価処理の結果として、画像情報に対する評価が高かった場合には、当該画像情報を送信した第2の端末装置に対して、評価特典情報を送信する。具体的には、評価特典情報を作成し(S306)、作成した評価特典情報を第2の端末装置に送信する(S307)。評価特典情報の作成主体、作成タイミング、その具体的内容等は種々考えられるが、詳細は後述する。送信された評価特典情報は、第2の端末装置により取得される(S308)。
4.メタデータの作成
メタデータ作成処理の詳細について説明する。メタデータはツイートデータ(以下では特に文章データを対象として考える)に基づいて作成されるものと、ツイートデータ以外の情報(特にここでは撮影情報及び行動情報)から作成されるものが考えられる。
4.1 ツイートデータに基づくメタデータ
ツイートデータは、上述したように内容の自由度が高く、そこからメタデータを作成する手法も種々考えられる。
ツイートデータに基づくメタデータとしては、ツイートデータ全体をそのまま用いてもよい。これはツイートデータが1つの単語・文節から構成される場合、或いは複数の単語・文節を含むが全体としての文字数が少ない場合等に有効である。
或いは、ツイートデータである文章データに対して構文解析処理を行い、その結果取得される単語・文節をメタデータとしてもよい。例えばツイートデータが「いい天気だね」という文章であった場合、形容詞「いい」、名詞「天気」、助動詞「だ」、助詞「ね」といった分解が可能である。構文解析処理については種々の手法が広く知られているため詳細な説明は省略する。
この場合、メタデータとしては取得された単語それぞれを全て用いてもよい。或いは、取得された単語のうち一部をメタデータとしてもよい。例えば、何らかの手法により各単語について文章(或いは会話)での使用頻度を表す情報を取得しておき、使用頻度の高いものだけをメタデータとしてもよい。これは、端末装置200を用いるユーザ(画像情報の撮影者)は、ツイートデータのうち会話において一般的に用いられる単語に着目し、当該単語に対応する画像情報を撮影されることが考えられるためである。
また、それとは逆に会話での使用頻度が低い単語をメタデータとしてもよい。これは、使用頻度が低い単語ほど、そのツイートデータを特徴付ける重要な単語となる可能性を考慮したものである。特に本実施形態の手法がSNS等のサービスとして実現された場合、取得される画像情報もコミュニケーションに用いられる。よって、各ユーザ(画像情報の撮影者)は、他のユーザとの差別化を図ることで、自身の撮影した画像情報に対する注目度の向上等を目指すことも想定され、その場合特殊な(使用頻度の低い)単語に着目して画像情報を撮像する可能性がある。
なお、文章での使用頻度は、所与の文章データ(新聞、雑誌、小説、或いは過去に投稿されたツイートデータ等)を統計的に解析することで取得することができる。その場合、解析対象とする文章データは状況に応じて変更してもよい。例えば、過去に投稿されたツイートデータを解析対象とすれば、単語の使用頻度とはそのコミュニティ(SNS)を基準としたものとなり、一般的には新聞等に比べて、話し言葉に近いくだけた表現の使用頻度が高くなることが想定される。また、時間的な条件から解析対象を限定してもよく、例えばより新しい文章データを対象とすることで、時事単語であるか否かという観点から使用頻度を設定することができる。また、インターネット上の検索サイト等で入力される検索ワード等から使用頻度を設定してもよい。検索ワードは単語単位で入力されるケースが多いため、構文解析処理等を行う必要性が低く、処理が容易である。
或いは、ツイートデータの文頭から所定数の文字(例えば文頭から5文字)を抜き出してメタデータとしてもよい。上述の「いい天気だね」の例であれば、語尾の「だね」は会話で多用されるくだけた表現であり、天気がよいことを断定しつつ、語調、語勢を整え柔らかい印象を与えるためのものである。つまり上記ツイートデータは、天気がよいという情報を伝達するものであるところ、語尾の「だね」は情報伝達に寄与しない。このように、日本語の表現においては語尾は情報の内容には寄与が少ないため、文頭から所定文字をメタデータとすることで、語尾を除くこととしてもよい。
また、それとは逆にツイートデータの文末から所定数の文字を抜き出してメタデータとしてもよい。上述したように語尾は情報伝達自体には寄与が少ない。しかし、「だね」というくだけた表現は目上の人間に用いることは考えにくく、ツイートデータの発信者と受信者は、発信者が上の立場か、或いは親しい関係にあることが推測される。つまり、語尾部分は発信者と受信者間の関係や、当該ツイートデータを発信する際の発信者の感情等を表す可能性がある。よって、文末から所定数の文字を抜き出すことで、そのような部分をメタデータとして用いることができる。
或いは、文字記号を図形的に組み合わせたアスキーアート等がツイートデータに含まれる場合、当該アスキーアート部分をメタデータとしてもよい。アスキーアートは顔文字等のように、ツイートデータ発信者の感情表現に用いることが多い。よって、アスキーアートをメタデータとすることで、上述した語尾の例と同様に、発信者の感情に関する情報をメタデータとして取得することが可能になる。
また、ツイートデータ(狭義には文章データ)そのものの内容とは異なる情報をメタデータとしてもよい。例えば、配信側端末装置100においてツイートデータが作成されたタイミングを表す作成時間情報や、ツイートデータが送信されたタイミングを表す送信時間情報をメタデータとする。なお、ここでの時間情報は、作成処理や送信処理が行われた時刻を表す時刻情報であってもよいが、それに限定されずタイミングを表す任意の形式により実現可能である。
さらには、ツイートデータが作成された場所を表す情報もメタデータとすることができる。作成場所は、配信側端末装置100にGPS等の位置情報を取得できるセンサが搭載されている場合には、当該センサから取得することができる。或いは、配信側端末装置100がスマートフォン等であれば、基地局との通信を行う際に、当該基地局の位置情報を利用することもできる。
また、ツイートデータの作成に要した時間情報をメタデータとしてもよい。上述の作成時間情報がツイートデータの作成完了タイミングを表す情報であるのに対し、ここでの時間情報とは、例えばツイートデータの作成開始タイミングから作成完了タイミングまでの所用時間を表す情報である。なお、ツイートデータを作成する際には、インターネットブラウザ等を用いてツイートサービスのサイトにアクセスする、或いは専用のツイートアプリケーションを起動する等の操作が行われるため、作成開始タイミングを認識することは可能である。
4.2 撮影情報に基づくメタデータ
また、ツイートデータそのものとは関係なく、撮影情報からメタデータを作成してもよい。具体的には、ツイートデータの配信タイミング等を起点とした時間情報をメタデータとしてもよい。例えば、本実施形態の手法がSNS等のサービスとして実現される場合、ツイートデータの配信タイミングのユーザ間での差は大きくない(例えばサーバシステムはツイートデータの一斉配信処理を行う)はずである。つまり、ツイートデータの配信後できるだけ早く画像情報を送信すれば、それだけ送信した画像情報に対する他のユーザの注目度は高くなりやすい。よって、時間情報からユーザの意欲等を推測することができ、意欲の高いユーザはより高品質の(例えばツイートデータによく合致した)画像情報を送信するという判断をすることも可能である。
以上のことから、ツイートデータを取得してから画像情報を取得するまでの時間情報や、ツイートデータを取得してから画像情報を送信するまでの時間情報等をメタデータとしてもよい。
或いは、画像情報の撮像までのユーザがどの程度労力を払ったかでも、ユーザの意欲(つまりは画像情報の品質)を推定することができる。よって、ツイートデータの取得後、画像情報の送信までの間の、撮影回数、端末装置200(狭義にはカメラ)の起動回数、操作回数(例えば起動中にボタン押下やレバー操作がされた回数)等の情報をメタデータとしてもよい。
また、Exif(Exchangeable image file format)や、その他撮影を行う際に一般的に取得される情報をメタデータとすることもできる。Exifには、撮影機器のメーカー名、モデル名の他、シャッタースピード、絞り、焦点距離等の撮像条件を表す情報等が含まれる。
ただし、メタデータの作成に用いられる撮影情報は、ツイートデータ取得後のものには限定されない。例えば、ツイートデータの取得前においても、撮影回数や操作回数が多いユーザは、撮影スキルの高い熟練者であると見なすことができる。画像情報の撮像がそのような熟練者により行われたのか否かは、当該画像情報を表す情報として用いることができるため、ツイートデータ取得前の撮影情報に基づいてメタデータを作成することは可能である。
4.3 行動情報に基づくメタデータ
また、撮影情報のように、通常の撮像の際に取得可能な情報だけでなく、ユーザの行動を表す行動情報に基づいて、メタデータを作成してもよい。行動情報には、センサ等を追加することで取得される情報や、撮像時に取得可能ではあるが一般的に出力されるものではない情報等が含まれることが想定される。
例えば、ツイートデータを取得してから当該ツイートデータをユーザが確認するまでの時間情報をメタデータとしてもよい。通常の撮像装置では、取得した情報を確認(閲覧)したタイミングに関する情報を記憶することは想定していないが、この情報は上述のツイートデータを取得してから画像情報を取得するまでの時間情報と同様に、ユーザがどれだけ撮像に意欲的であるかを推定する指標値となり得るためである。
同様に、画像情報撮像時のシャッターの半押し時間をメタデータとしてもよい。シャッターの完全な押下や、半押しにする操作は上述の撮影情報に含まれると考えられるが、半押し時間を出力することは一般的ではない。しかし、半押し時間が長いということは、フォーカス操作を行った結果、フォーカスが所望の状態であるか、或いは構図は適切であるかといった判断を慎重に行っていることが推測される。よって半押し時間についても、ユーザの意欲を推定するためのメタデータとして用いることができる。
また、端末装置200にGPSが搭載されている場合等には、画像情報の撮像場所の情報をメタデータとすることができる。この撮影場所の情報は、例えばツイートデータの作成場所との対比で用いることができる。例えば、ツイートデータが日本で作成された場合、ツイートデータの作成ユーザにとっては、撮影場所が日本である画像情報(日本の風景、町並み、動物等を被写体とした画像)はありふれたものと考えられるが、外国で撮影された画像はレアなものとなり、価値が高いと判定することができる。或いは、所与のツイートデータに対応して送信された複数の画像情報の撮影場所を比較してもよい。例えば、あるツイートデータに対して、ほとんどの画像が日本で撮影されている場合に、外国で撮影された画像は、やはりレアなものとなりうる。
或いは、ツイートデータの受信後、撮像を行うまでの移動距離や歩数をメタデータにしてもよい。歩数を用いる場合には、端末装置200は歩数計(例えば加速度センサを含み、その情報を解析するものが考えられる)を含む。移動距離は、上述したGPSの位置情報の時間的な変化等を用いて取得すればよい。移動距離が長い、或いは歩数が多い場合とは、取得したツイートデータに合致する被写体を求めて、意欲的に移動したことが想定される。つまりこれらの情報も、ユーザの意欲等を推定するメタデータとして活用することが可能である。
なお、ユーザの行動に関する情報だけでなく、画像情報を撮像するユーザ自身の情報をメタデータとしてもよい。画像情報とその撮影者の対応付けを行うことが想定されるため、ユーザID等の情報はメタデータとして用いられる可能性が高いが、それ以外にも、ユーザの性別や年齢、趣味、特技、出身地や、その他の情報を用いてもよい。
ただし、メタデータの作成に用いられる行動情報は、ツイートデータ取得後のものには限定されない。例えば、ツイートデータの取得前においても、撮像場所を頻繁に変更して撮像を行っているユーザは、画像情報の撮像に対して意欲的なユーザであるという判定ができるため、そのような行動情報はメタデータの作成に用いることができる。また、本実施形態では、撮像がツイートデータの取得後に行われるものには限定されない。つまり、端末装置200で事前に撮像しておいた画像が、たまたまその後取得されたツイートデータと合致する場合には、その画像情報をサーバシステム300に送信してもよい。その場合、重要となるのはツイートデータ取得後の行動情報ではなく、撮像時の行動情報ということになる。この場合には、ツイートデータ取得前の行動情報が、メタデータの作成において有用である。
4.4 重要領域に基づくメタデータ
画像情報が取得された場合に、端末装置200を操作するユーザにより当該画像情報の一部の領域を選択する指示が行われた場合には、当該選択された領域を重要領域とし、重要領域に基づくメタデータ設定を行ってもよい。
例えば、「家」をその一部に含み、且つ「山」や「太陽」等を含まないツイートデータに対して、ユーザが図5の第1の画像情報を撮像した場合を考える。第1の画像情報は被写体として家を含むため、ツイートデータに対応した画像情報であるが、第1の画像にはツイートデータと関連しない山等の被写体が含まれている。この場合、ユーザは第1の画像情報全体ではなく、その一部の領域である家部分が特にツイートデータに合致するものとして撮像を行ったはずである。このようなケースでは、端末装置200はユーザからの重要領域を指定する入力を受け付けることで、より適切な処理が可能となる。
具体的には、図5の家が撮像された画像領域のように、ツイートデータとの合致度が高い重要領域の指定入力を受け付ける。そして、当該重要領域を第1の画像情報に付加するメタデータとして用いればよい。この場合、上述の手法等により第1の画像情報に対してメタデータを付加する(例えば、ツイートデータに基づいて「家」というメタデータ(文字列データ)を付加する)とともに、重要領域に対応するメタ画像情報も付加されることになる。
或いは、重要領域を新たな画像情報(メタデータの付加される対象となるデータ)として取り扱ってもよい。この場合、重要領域に対応する第2の画像情報に対しては、重要領域の抽出元となった画像情報(第1の画像情報)に対して付加されていたメタデータをそのまま付加すればよい。例えば、上記例であれば第1の画像情報に「家」というメタデータが付加されていたため、第2の画像情報に対しても「家」というメタデータを付加すればよい。このようにすれば、第1の画像情報に比べて、よりメタデータの精度が高い第2の画像情報を取得することができる。
なお、ユーザからの指定は重要領域に限定されるものではなく、画像情報の一部(例えば点)を指定する部分指定情報により行われてもよい。具体的には、指でなぞって線で囲むことで指定される部分や、中心と半径をタップする中心をタップした後、広がっていく領域について当該広がりの程度を指定することで特定される部分、或いは重要でない部分を指定することで特定される部分等を表す情報を、部分指定情報としてもよい。
5.評価処理
次に、評価処理の詳細について説明する。具体的には、端末装置200−1〜200−N等、及び配信側端末装置100から送信される評価情報の内容、及び当該評価情報を用いた評価処理を説明した後、メタデータを用いた評価処理について説明する。
5.1 評価情報の詳細
端末装置200からの評価情報の送信処理は、例えば端末装置200の表示部240及び操作部(図3のボタン等)を用いて行えばよい。評価情報の送信処理を行う際に、端末装置200の表示部240に表示される画面の例を図13に示す。ここでは、撮像の起点となったツイートデータをC1に表示し、当該ツイートデータに対応して撮像され、且つサーバシステム300により配信された評価対象となる画像情報(狭義にはそのサムネイル画像)がC2に表示されている。ツイートデータの表示は必須ではないものの、本実施形態の画像情報はツイートデータの配信を起点として行われ、当該画像情報の評価にはツイートデータとの関連度合いも考慮されることを考えれば、C1の表示領域が画面上に配置されることが望ましい。なおC1は、ツイートデータの送信者が自身を表すものとして用いているアイコン画像C11と、送信者の用いているユーザ名C12と、複数配信されることが想定されるツイートデータのうち、C2に表示される画像と対応する1つのツイートデータの本文C13とを表示するものとしているが、これに限定されない。
図13の例では、端末装置200での評価情報はC3の領域を用いてサーバシステム300に送信される。例えば、C31に示したように、C2に表示された画像(狭義にはC2のサムネイル画像に対応する画像情報)の評価を高めるボタンを設け、当該ボタンが押下された場合に、その旨を表す情報を評価情報としてサーバシステム300に送信する。この場合、図11のS305においてサーバシステム300で行われる評価処理とは、複数の端末装置200−1〜200−N(狭義にはそのうちC2に対応する画像情報を送信した端末装置ではないもの)から、C31のボタンの押下を表す評価情報を受信した回数の総和を求める処理となる。
或いは、図13のC32に示すように、一定の点数を満点とした場合のC2に表示された画像の点数を選択する表示を設け、当該表示を用いて選択された点数を評価情報としてサーバシステム300に送信してもよい。図13の例では、5つの星印を表示し、左からN番目の星印の選択処理(例えば物理ボタンを用いたカーソルの移動処理)が行われた場合に、左からN個の星の色を変更することで、点数としてN点が選択されていることをユーザに通知する。そして、その状態で左からN番目の星印の決定処理(例えば物理ボタンである決定ボタンの押下)が行われた場合に、N点という点数を表す評価情報をサーバシステム300に送信する。この場合、図11のS305においてサーバシステム300で行われる評価処理とは、複数の端末装置200−1〜200−N(狭義にはそのうちC2に対応する画像情報を送信した端末装置ではないもの)から送信された評価情報により表される点数の、総和或いは平均等を求める処理となる。なお、点数を決定する際のインターフェースはこれに限定されるものではない。例えば表示部に表示されている評価対象の画像に対する操作時間(タッチパネルの機能を有する表示部であれば、表示された評価対象画像の領域を押している時間)等を計測し、長いほど点数が高くなる等の手法でもよい。
ただし、評価情報の内容、及び当該評価情報を用いた評価処理はこれに限定されるものではない。例えば評価情報は数値化が容易なものに限定されず、文章データであるコメント情報等であってもよい。或いは、図5に示したように画像の一部に対して評価を行い、その結果を評価情報としてもよい。図5の例では画像情報の取得者(撮像ユーザ)が重要領域を指定することを想定したが、評価処理においては当該画像情報を評価するユーザが領域指定を行うことになる。
5.2 メタデータに基づく評価処理
上述したとおり、評価情報とは画像情報(狭義にはそのサムネイル画像)を閲覧したユーザの操作に基づいて作成される情報であり、閲覧ユーザにとっての当該画像情報の良し悪しを表すものである。ただし、評価処理はそのような評価情報に基づいて行われるものに限定されず、画像情報に紐づけられたメタデータに基づいて行われてもよい。なお、全てのメタデータが評価処理に用いられるとは限らず、評価処理には有用ではないメタデータがある場合も考えられる。
例えば、ツイートデータの作成タイミング、送信タイミングについては、それらのタイミングに対してどれだけ早く(タイムリーに)画像が収集されたかという観点から評価処理を行うことができる。例えば、撮影情報に含まれる撮影時刻との比較を行い、より近いタイミングであるほど評価を高くすればよい。
ツイートデータの作成場所については、撮影場所を表すメタデータとの対比で用いることができる。例えば、ツイートデータが日本で作成された場合、ツイートデータの作成ユーザにとっては、撮影場所が日本である画像情報(日本の風景、町並み、動物等を被写体とした画像)はありふれたものと考えられるが、外国で撮影された画像はレアなものとなり、高い評価を与えるようにすることが考えられる。
また、ツイートデータから抽出した単語については、当該ツイートデータから抽出された単語の総数が少ないほど評価を高くするとよい。単語数が多い場合には、画像情報がそれらのうち一部としか合致しないこともあり、それ以外の単語はメタデータとしての精度が低くなる。一方で、単語数が少なければ、各単語は画像情報の特性を特定するキーワードとしての信頼性が高いと考えられる。
また、ツイートデータの作成に要した時間が長い場合には、当該ツイートデータに含まれる単語等を厳選して用いていることが想定されるため、当該ツイートデータをテーマとした画像の撮像がしやすいことが期待される。よって、作成時間が長いほど評価を高くしてもよい。
また、撮影情報や行動情報のメタデータについては、画像情報の撮像に際し、ユーザがどれだけ意欲的に取り組んだかを表す指標値として用いることができる。よって、意欲的に取り組んだことが期待される場合に、評価を高くすればよい。
具体的には、ツイートデータの受信後、当該ツイートデータを閲覧するまでの時間、画像情報を撮像するまでの時間、或いは撮像から送信処理までに要した時間等は、短いほどユーザは意欲的と考えられるため高評価となる。
また、撮影時のシャッター半押し時間、撮影回数、操作回数等の情報は、時間が長いほど或いは回数が多いほど、構図や撮影条件(焦点距離、絞り、ISO感度等)にこだわりを見せたと言うことであるため、評価を高くする。
上述したように、ツイートデータ取得前の撮影情報に基づいて、メタデータが作成されてもよく、そのようなメタデータを用いた評価処理も可能である。例えば、ツイートデータ受信前から撮影回数、操作回数が多く、撮影スキルの高い熟練者と見なされるユーザにより撮像された画像情報は、そうでない画像情報に比べて価値が高いと考えることができる。よって、ツイートデータ作成前の撮影回数等が多いほど、評価を高くしてもよい。この場合、撮像対象となる被写体に応じて評価処理を変更してもよく、例えば風景や建物等、撮影スキルが問われるような被写体を撮像している場合には、熟練者であるか否かは重要な指標となるため、撮影回数等が多い場合により高い評価とすることが考えられる。
或いは、ツイートデータの受信前後の撮影情報を比較することで評価処理を行ってもよい。例えば、ツイートデータ受信前の撮影回数に比べて、ツイートデータ受信後の撮影回数が極端に多い場合、そのユーザは当該ツイートデータ、或いは当該ツイートデータを配信したツイートデータ配信ユーザに対して強い興味を持っているということが推定できる。興味を持っている分野では、より価値の高い画像情報が送信されると考えられるため、このような指標を用いて評価処理を行ってもよい。
同様に、ツイートデータの受信後、画像情報の撮像までの移動距離や歩数については、移動距離が長いほど、また歩数が多いほど、被写体を探すために労力を払ったと言うことであるため評価が高い。
画像情報の撮像場所については、上述したようにツイートデータの作成場所との相違が大きいほど高評価としてもよい。或いは、所与のツイートデータに対応して送信された複数の画像情報の撮影場所を比較してもよい。例えば、あるツイートデータに対して、ほとんどの画像が日本で撮影されている場合に、外国で撮影された画像は、レアなものとなりうるため高評価とする。
撮影情報と同様に、行動情報についてもツイートデータの取得前のものを用いてもよい。例えば、ツイートデータ取得前の位置情報の傾向から、ユーザの標準的な行動範囲を推定しておき、撮影時(ツイートデータ取得前でも取得後でもよい)の位置情報が当該行動範囲内であるか否かという観点から評価処理を行ってもよい。具体的には、行動範囲外で撮像された画像情報については、その撮像に労力を払っている、或いはレアな画像情報であるという観点から高い評価を与えることが考えられる。或いは、時間情報とは独立に位置情報を用いた評価を行ってもよい。例えば、全国的に有名なスポット(朝日がきれいに見えるスポット等)において、その有名となった理由となる被写体(例えば朝日)を撮像した画像情報は、多くの人に好意的に受け入れられる可能性が高く、価値が高いと判定できる。よって、位置情報が有名スポットに合致するか否かを判定し、合致する場合に高い評価を行ってもよい。
また、メタデータに基づく評価では、意欲等とは異なる観点からの評価も可能である。例えば、画像データベースの作成等を考えた場合、収集される画像枚数は多いほど望ましい。つまり、短時間で撮像する、多くの回数撮像する、撮像条件を頻繁に変更する等の行動は大量の画像収集につながりうるものであるため、撮影までの時間、撮影回数、操作回数等はこれらの観点を考慮した場合の評価の指標値としても用いることができる。
その他、メタデータ自体の種類が豊富であったり、同一のメタデータに対して多様な画像情報が紐づけられたりすることも画像データベース等では重要となる。また、ツイートデータの配信に対して、どれだけ早く(タイムリーに)画像を収集できるかということも評価指標となり得るし、ユーザにより厳選された画像情報であるか否かも当該画像情報の評価に関係する。上記のメタデータにはこれらの観点での評価にも用いることができるものがあるため、多様なメタデータ、多様な観点から評価処理を行ってもよい。これらの評価観点と、メタデータとの関連性をまとめたものを図14に示す。
以上のように、評価処理は画像情報に付加されたメタデータからも行うことができる。評価情報を用いた評価処理との差異を考えた場合、評価情報はユーザにより作成される情報であるのに対し、メタデータはシステム側で(例えばサーバシステム300のメタデータ作成部322で)作成される点が異なる。
つまり、評価情報を用いた評価処理は、実際に画像情報(或いはそのサムネイル画像)を見たユーザからの情報により行われるため、各ユーザの主観が入り込むとはいえ、画像情報の内容が評価対象となるという利点がある。また、機械的に行われた評価に比べて、人により行われた評価の方が当該評価をされたユーザの意欲向上等が期待できる。
一方で、メタデータに基づく評価処理は、当該メタデータを考慮すれば、メタデータの画像に対する合致度が高いことが期待される、或いはユーザが意欲的に撮像していることが期待される、ということをもって評価が高いとしている。よって、画像情報の内容をシステムが解析する必要はなく、また他のユーザからの情報も不要であるため、システム内(例えばサーバシステム300内)で評価処理を完結することができるという利点がある。
5.3 評価特典情報の例
次に評価処理の結果として付与される評価特典情報の具体例について説明する。なお評価特典情報の送信対象となる端末装置の決定処理は種々の手法により行われてよく、例えば評価処理の結果が点数で表される場合には、点数が一定以上、或いは点数を用いて順位付けをした場合に順位が一定以上の画像情報を撮像した端末装置を対象とすることが考えられる。
評価特典情報は、当該評価特典情報を取得できる可能性を提示することで、ユーザの撮像意欲を向上させる情報であれば内容は任意である。よって、評価特典情報は画像情報(静止画像でもよいし動画像でもよい)、音声情報、テキスト情報等種々の情報が考えられる。後述するように、ツイートデータ自体への注目度も高めようとすれば、ツイートデータの送信者が著名人となる場合があり、その際には当該著名人に関する情報を評価特典情報とすればよい。
例えば著名人がアイドルや俳優等であれば、当該著名人を撮像した画像情報や、当該著名人のメッセージを録音した音声情報等は、当該著名人のファンにとっては非常に価値の高いものとなるため、評価特典情報として用いると有用である。また、著名人が小説家等であれば、当該著名人の書き下ろし小説であるテキスト情報等を評価特典情報とすればよい。
また、評価特典情報は以上のものには限定されない。例えば、端末装置200の有する機能の一部に制限を加えておき、当該制限を解除する情報を評価特典情報としてもよい。一例としては、端末装置200が撮像装置である場合に、当該撮像装置の撮像機能に対して、ツイートデータの受信後所与の期間でしか撮像できないという制限を設けることで、通常時はツイートデータに対するリアクションに専念させつつ、良い評価が得られた場合に当該制限を解除して撮像装置の利便性を高める(本実施形態特有のカメラではなく、通常のカメラとしての使用を許可する)等の手法が考えられる。
6.変形例
以上で説明した本実施形態の手法の変形例について説明する。
6.1 通信機能を持たない撮像装置を用いる変形例
上述したように、撮像装置自体が通信機能を持たない場合であっても、当該撮像装置を通信機能を有するPC等の端末に接続することで、本実施形態の手法を適用することができる。例えば、図6に示したようにサーバシステム300とネットワーク10を介して接続されるPC30と、カメラ(端末装置200)とを接続する。PC30とカメラとの接続は例えばUSB端子を用いた接続を行えばよく、図6に示したようにPC30のUSB端子と有線接続されたクレードル20を用い、当該クレードル20にカメラを設置すればよい。ただし、PC30とカメラの接続は、図6の手法以外にも種々の形態が考えられる。
図6の場合の処理の流れを図7に示す。この場合、配信側端末装置100でのツイートデータの入力(S201)、サーバシステム300によるツイートデータの取得、配信(S202,S203)については図4のS101〜S103と同様である。
ただし、サーバシステム300によるツイートデータの配信先がカメラそのものではなく、PC30となる。PC30は、ネットワーク10を介してツイートデータを受信し(S204)、受信したツイートデータを例えばUSB接続等を用いてカメラに転送する(S205)。
カメラは、PC30からツイートデータを受信し(S206)、PC30との接続が解除された場合に(S207)、受信したツイートデータ(狭義には受信したツイートデータのうち最新のもの)を表示する制御を行う(S208)。これは、図6のようにPC30と接続された状態では、撮像操作が行われるとは考えにくいため、接続解除を持って撮像フェーズへの移行と判断し、その際にツイートデータの表示によるユーザへの通知を行うとしたものである。ただし、接続解除のタイミングや、ツイートデータ受信のユーザへの通知、ツイートデータの表示制御等の流れは図7に限定されるものではない。
その後、ユーザの撮像操作に基づき画像情報を取得し(S209)、メタデータを作成する(S210)。そして再び図6の状態となるようにPC30とカメラが接続された場合に(S211)、カメラから画像情報とメタデータをPC30に送信する(S212)。
PC30は、カメラから画像情報とメタデータを受信し、受信したデータをネットワーク10を介してサーバシステム300に転送する(S213)。サーバシステム300は、PC30から画像情報とメタデータを受信して(S214)、メタデータ付き画像情報を記憶する(S215)。なお、上述したようにツイートデータが発信されたことを、スマートフォン等の端末で受け取ることで、接続をうながしてもよい。
6.2 メタデータ作成主体の変形例
上述したように、メタデータの作成は端末装置200で行ってもよいし、サーバシステム300で行ってもよい。メタデータ作成処理は、メタデータ作成用情報を取得し、当該メタデータ作成用情報に基づき実際にメタデータを作成するという2つのフェーズを有すると考えられる。
ツイートデータに基づくメタデータ作成では、メタデータ作成用情報とは、ツイートデータそのものである。この場合、サーバシステム300はツイートデータの取得、配信主体であるため、メタデータ作成用情報であるツイートデータを有するのは当然である。一方、端末装置200においても、ユーザに対してツイートデータを通知しなくては、ユーザが撮像対象を決定できない以上、ツイートデータは必ず取得する。つまり、サーバシステム300も端末装置200もメタデータ作成用情報を保持している以上、メタデータの作成はどちらで行ってもよい。ただし、ツイートデータは複数の端末装置(200−1〜200−N等)で共通であることが想定されるため、サーバシステム300側でメタデータを作成することで、処理の一元化、効率化を図ることができる。
また、撮影情報、行動情報或いは部分指定情報に基づくメタデータ作成では、メタデータ作成用情報とは、典型的には端末装置における操作履歴等の情報(操作情報)となる。この操作情報等は、端末装置200は直接取得できるが、サーバシステム300は端末装置200からの送信等、外部からの情報無しでは取得できない。よって、操作情報に基づくメタデータ作成は端末装置200で行われることが自然である。特に、操作情報はツイートデータを取得したタイミングを表すタイムスタンプ、画像情報の取得や送信タイミングを表すタイムスタンプ、或いは操作されたボタンを表す情報の時系列的な集合等が想定される。つまり、操作情報からのメタデータの作成は、差分演算等の簡単な処理、或いは操作情報をそのまま用いる等の手法により実現できる可能性が高い。よって、端末装置200のようにマシンリソースが限定されうる機器であっても、メタデータ作成に支障があるとは考えにくい。ただし、端末装置200からサーバシステム300に対して操作情報等を転送し、サーバシステム300側でメタデータを作成することは妨げられない。
また、図6に示したようにPC30とカメラが連動する場合、メタデータの作成はPC30で行ってもよい。PC30はツイートデータを取得するため、ツイートデータに基づくメタデータ作成は可能である。また、上述のサーバシステム300と同様に、操作情報を直接は取得できないものの、当該操作情報をカメラから取得するようにすれば、操作情報に基づくメタデータ作成も可能である。
6.3 複数のツイートデータを受信する場合の例
配信側端末装置100からは、複数のツイートデータが送信されることが想定される。特に、配信側端末装置100が1つに限定されない場合には、複数のツイートデータが送信される可能性はさらに高くなる。そうした場合、端末装置200での画像情報の取得タイミングに所与の制限を加えてもよい。
一例としては、端末装置200が第1のツイートデータを受信してから、第1のツイートデータとは異なる第2のツイートデータを受信するまでの間だけ、第1のツイートデータについての画像情報の取得を許可する等の制限である。
上述してきたように、ツイートデータとは発信者の思想感情等が表現された、コミュニケーションを目的とした文章であり、本実施形態の手法はSNS等のサービスの一部として実現される可能性がある。その場合、複数のツイートデータが時系列的に配信されれば、サービスを利用するユーザの注目は最新のツイートデータに集まる傾向があると考えられる。つまり、時間的にかなり過去のタイミングで配信されたツイートデータに対して、いつまでも画像情報の取得・送信を許可していても、当該過去のツイートデータに対する注目度は低いはずであり、それに対する画像情報の撮像において撮影者が意欲的でない可能性が高い。撮影者の意欲等は、撮像される画像情報とツイートデータとの合致度合い(つまりはツイートデータに基づくメタデータの精度)とも関連しうることから、あえて画像情報の撮像・取得タイミングを制限することで、画像情報に付加されるメタデータの精度向上を図ることが可能である。
なお、画像情報の取得・送信タイミングの制限手法は上述のものに限定されず、例えば所与のツイートデータに対する画像情報の取得・送信は、後のツイートデータの配信の有無にかかわらず、当該所与のツイートデータの配信後一定期間内に制限する等の手法でもよい。その他、画像情報の取得・送信タイミングの制限手法は種々の変形実施が可能である。
7.本実施形態の手法を用いたサービスの一例
次に、上述した本実施形態の端末装置200等を用いたサービスの一例を説明する。ただし、本実施形態の端末装置200等が、後述するサービスに用いられるものに限定されず、種々の形態での利用が可能であることは言うまでもない。
7.1 ツイートデータ配信者とサービス利用者の設定
本実施形態では、撮影イベントの開始通知情報(ツイートデータの配信)に基づいて、端末装置200において取得された画像情報をサーバシステム300に蓄積することを想定している。この際、ツイートデータと画像情報とがしっかり対応づけられていれば、ツイートデータに基づくメタデータを画像情報に付加することで、種類が豊富で且つ精度の高いメタデータが付加された画像情報を大量に取得することが可能となる。
ツイートデータが上述したようにSNSにおいて送信されるコミュニケーション用データであることを考えれば、それに基づいて作成されたメタデータの多様性は確保できる。しかし、メタデータの精度、及びメタデータが付加された画像情報の量は、撮像を行うユーザの意欲等に依存する。ツイートデータというテーマが与えられた場合に、当該テーマに沿った画像の撮像を行うには、被写体の選択等を行う労力が発生する以上、ユーザの意欲が低くてはテーマに十分合致しない画像が撮像されたり、そもそも撮像自体が行われない可能性があるためである。
よってサービスの形態としては、サービス利用者による撮像意欲を高めさせることを考える。一例としては、ツイートデータの配信者に著名人を選択し、サービスは当該著名人のファン等に対して提供するものとすればよい。著名人のファンであれば、当該著名人に対する関心が高いため、意欲的に撮像に取り組むことが期待できる。
さらに、サーバシステムにアップロードされた画像に対する評価システムを取り入れることで一層の意欲向上が可能である。例えば、撮像した画像の評価が高いユーザには特典を与えることが考えられる。ここでは、著名人に関係する特典を用意するとよい。著名人がアイドルであれば、当該アイドルを撮像した画像、或いはアイドルのメッセージを録音した音声ファイル等はファンにとって価値が高いものであるため、撮像意欲の向上につながる。特に、本サービス以外のメディア(例えば雑誌や、本サービスとは異なるインターネットサイト等)では閲覧することのできない希少価値の高い画像等を特典とすれば、本サービスを利用する必然性が高まるため効果的である。このようにサービス独自の特典が用意できる場合には、サービスを利用する際に制限を設けることも考えられる。制限とは例えば、ユーザ登録を行う、或いは専用の端末装置を購入する等の準備を行ったユーザに限り、サービス利用を認める等の手法である。このようにすれば、特典の希少価値が増すことになり、ユーザのさらなる意欲向上が期待できる。なお、サービス利用を制限することで、意欲の低いユーザが画像をアップロードする可能性を低減できるため、ツイートデータと画像との合致度(メタデータの精度)を高めることもできる。
また、著名人自身による評価(気に入った画像の選択)を行ってもよい。この場合、その評価を求めてサービス利用者の意欲は飛躍的に向上すると考えられる。
なお、評価システムはメタデータの精度判定等にも用いることができる。本サービスでの評価の良し悪しは、ツイートデータに沿っているか否かが1つの判断基準となることが想定されるため、評価の高い画像とはメタデータの信頼性が高いと判定できるためである。
以上のことから、本サービスでは著名人のツイートデータを配信し、当該著名人のファン等であるサービス利用者から画像を取得するものとして説明する。ただし、配信されるツイートデータに対してサービス利用者が積極的に画像を投稿することが期待できるのであれば、ツイートデータ配信者とサービス利用者が他の態様であってもよい。
7.2 画像アップロードフェーズ
画像のアップロードに関する処理までのフェーズについて図8を用いて説明する。図8に示したように、本サービスの処理は著名人によるツイートデータの投稿を起点とする(図8(1))。サーバシステムは著名人が投稿したツイートデータを、各サービス利用者の端末装置に対して配信する(図8(2))。
サービス利用者である一般ユーザは、配信されたツイートデータに合致すると自身が判断した画像情報を撮像し(図8(3))、サーバシステム300にアップロードする(図8(4))。
サーバシステム300は、アップロードされた撮像画像に対して、メタデータを関連づけて記憶する(図8(5))。メタデータは、ツイートデータから取得されるものであってもよいし、撮像画像の撮像までに取得された撮影情報(撮影にかかった時間や、操作履歴等)であってもよい。
そしてサーバシステム300は、サービス利用者に対して公開されるサービスサイト(例えばWebサイト)等で、各サービス利用者からアップロードされた画像を公開する(図8(6))。サービスサイトは、サービス利用者の端末装置(200−1等)が通信機能を有するのであれば、当該端末装置から参照されるものであってもよい。或いは端末装置とは異なる装置(例えばPC等)から参照されるものであってもよい。なお、上述したようにサービス利用者を制限するのであれば、サービスサイトに対する登録ユーザ以外によるアクセスを制限するようにしてもよい。
サービスサイトの一例は図8に示したようなものである。ここでは、著名人から配信されたツイートデータをA1に表示し、当該ツイートデータに対応してサービス利用者から投稿された画像がA2に表示されている。
7.3 評価フェーズ
次に、図8のサービスサイト画面例に示したように、サービス利用者により投稿された画像情報が公開された場合に、当該画像情報に対して評価を行うフェーズについて図9を用いて説明する。
ここでは、画像情報に対して著名人自身による評価(図9(1−a))と、一般ユーザによる評価(図9(1−b))の両方を可能にしている。評価手法の一例としては、図9に示したように、投稿された画像情報から1又は複数の画像情報を選択し(ここではB1に示したように、選択画像が太枠で強調されるものとしている)、その上で選択された画像情報の評価を向上させるボタンB2を押下すればよい。
上述したように、評価情報は画像情報とツイートデータの合致度を判定する指標として用いることが可能であるため、評価情報を画像に付加するメタデータとしてもよい(図9(2))。
そして、評価の高い画像情報を投稿したサービス利用者に対しては、以降の撮像意欲を向上させるために、何らかの特典を与える(図9(3))。
なお、本サービスでは著名人の行為に対するサービス利用者の関心が非常に高いことが想定されるため、著名人自身による評価は重要度の高いものとして扱うとよい。例えば、著名人により高い評価を受けた画像情報を投稿したサービス利用者には、一般ユーザからの評価にかかわらず希少価値の高い特典を与えるようにしてもよい。或いは、著名人により高い評価を受けた画像情報を、当該著名人のコメント等を付加して、サービスサイト上で拡大表示する等、他の画像情報と差別化を図る処理を行ってもよい。或いは、著名人の評価の高い画像は秘匿する等の処理を行ってもよい。
7.4 画像セットの作成・送信フェーズ
また、サービスのエンターテイメント性の向上、或いはサービス利用者の撮像意欲の向上等を目的として、サーバシステム300で作成した画像セットの送信処理を行ってもよい。この処理を図10を用いて説明する。
具体的には、ユーザからスライドショー表示を行う要求情報が送信された場合に(図10(1))、サーバシステム300は画像セットを作成し(図10(2))、作成した画像セットを要求元の端末装置200に送信する(図10(3))。そして端末装置200では、送信された画像セットを用いたスライドショー表示を行う(図10(4))。
ここで想定している画像セットには、スライドショー表示を行うサービス利用者が所有していない画像を含めることを想定している。通常、サービス利用者は自身で撮像した画像情報(狭義にはそのサムネイル画像)と、取得した特典画像(ただし評価の高いユーザに限る)を保持しているに過ぎず、その画像情報の多様性は低い。そこでサーバシステム300において、サービス利用者の所有している画像情報と、当該サービス利用者の所有していない挿入画像とを組み合わせた画像セットを作成する。このような画像セットが当該サービス利用者によるスライドショー表示の対象となることで、自身の所有しない挿入画像も閲覧可能になり、エンターテイメント性が増す。特に、サービス利用者に対して事前に挿入画像の内容を通知しないことで、サプライズ演出も可能となる。
さらに、挿入画像として著名人に関する希少価値の高い画像(上述した特典である画像に対応)を用いてもよい。このようにすれば、本来画像情報を投稿して高い評価を得なければ参照できない希少価値の高い特典画像を参照可能となる。その際に、挿入画像として希少価値の高い画像が選択される確率や、選択される希少価値の高い画像の内容等を制御することで、より一層サービスのエンターテイメント性を高めることができ、サービス利用意欲の向上、及び撮像意欲の向上が期待され、結果として投稿される画像情報の精度(メタデータの精度)向上や量の増大が可能となる。
なお、挿入画像(サプライズ画像)は著名人自身により提供される画像であってもよい(図10(op))。また、挿入画像として用いられる画像の選択を著名人に委ねることで、挿入画像に対して画像そのものの価値とは異なる付加価値を持たせることも可能である。
図10では、作成された画像セットは端末装置に送信され、当該端末装置、又は当該端末装置に接続される他の装置(高解像度の表示部を有するテレビ等)でスライドショー表示がされるものとしたがこれに限定されない。例えば、サーバシステム300において画像セットの作成まで行い、当該画像セットに対応する画像情報を紙媒体のアルバムに印刷し、当該アルバムを郵送するという形で画像セットを利用してもよい。
8.本実施形態の端末装置等の詳細な例
以上の本実施形態では、端末装置200は図2に示したように、ソーシャルネットワーキングサービスにおいて他の端末装置(配信側端末装置100)から送信されたソーシャルデータを、ネットワークを介して受信する処理を行う受信処理部210と、受信したソーシャルデータを表示部に表示する制御を行う表示制御部220と、ソーシャルデータに対応して撮像部により撮像された画像情報を取得する画像取得部230と、画像取得部230が取得した画像情報を、ソーシャルデータと関連づけて送信する処理を行う送信処理部250と、を含む。
これにより、ソーシャルデータの配信を受けるとともに、ソーシャルデータに対応して撮像された画像情報を当該ソーシャルデータと関連づけて送信することが可能になる。ここでは、ソーシャルデータの配信を受けて撮像を行うため、撮像された画像情報とソーシャルデータとの関連性が高いことが期待される。そのため、画像情報を用いた何らかの処理を行う際に、ソーシャルデータ自体や、当該ソーシャルデータに基づいて作成されたデータを併用することで、複雑な処理を可能にする、或いは処理精度を向上させる等の効果が期待できる。また、ソーシャルデータはソーシャルネットワーキングサービス(SNS)で用いられる、主としてコミュニケーション用途のデータであることから、ソーシャルデータの配信を撮像の起点とすることで、自然に画像情報の取得(撮像装置での撮像)が行われることが期待される。例えば、ソーシャルデータ配信者と親しい者やファン等は、当該ソーシャルデータ配信者とコミュニケーションをとる意図で画像情報を取得すると考えられるため、画像情報の送信先(例えばサーバシステム300)では大量の画像収集が可能となる。
なお、画像情報とソーシャルデータとの関連づけの手法は種々考えられる。例えば、画像情報とソーシャルデータ関連情報とを、別データとして端末装置200において取得し、それらを分けて他の装置(サーバシステム300等)に送信してもよい。或いは、本実施形態の手法に特化した端末装置200を用いるのであれば、画像情報にソーシャルデータを埋め込む処理を行い(この処理はユーザーフレンドリー等の観点から考えれば、端末装置200により自動的に行われることが望ましい)、当該処理後の画像情報を送信してもよい。或いは、他の装置(サーバシステム300等)の側で、ソーシャルデータの送付対象となる端末装置の情報を保持しているのであれば、当該端末装置から送信された画像情報に対しては、ソーシャルデータの保持主体である他の装置において、対応するソーシャルデータを関連づける処理を行ってもよい。この場合、所与の端末装置に1つのソーシャルデータしか配信されないのであれば、当然画像情報とソーシャルデータの関連づけは可能であるし、複数のソーシャルデータが送信されたとしても、ソーシャルデータの送受信に関する時間情報及び画像情報の取得や送信に関する時間情報を用いれば、画像情報とソーシャルデータの関連づけは可能である。
また、送信処理部250は、ソーシャルデータが送信された送信時間情報、ソーシャルデータが受信された受信時間情報、画像情報が撮像された撮像時間情報、及び前記画像情報を送信する画像送信時間情報の少なくとも1つに基づいて、画像情報と、ソーシャルデータを関連づけて送信してもよい。
具体的には、送信時間情報及び受信時間情報のいずれかと、画像送信時間情報の比較処理に基づいて、画像情報をソーシャルデータと関連づけて送信する処理を行ってもよい。或いは、送信時間情報及び受信時間情報のいずれかと、撮像時間情報の比較処理に基づいて、画像情報をソーシャルデータと関連づけて送信する処理を行ってもよい。
さらに具体的には、受信処理部210は、ソーシャルデータとして、第1のソーシャルデータと、第1のソーシャルデータよりも後のタイミングで受信される第2のソーシャルデータとを受信する処理を行い、送信処理部250は、第1のソーシャルデータの受信処理後、第2のソーシャルデータの受信処理までに、画像取得部230により取得された画像情報と、第1のソーシャルデータとを関連づけて送信する処理を行ってもよい。
なお、ソーシャルデータとは狭義にはツイートデータであってもよい。本実施形態でのソーシャルデータ及びツイートデータの定義については、上述したため詳細な説明は省略する。
これにより、ソーシャルデータが時系列的に複数配信される場合に、先に受信したソーシャルデータに対応する画像情報の取得タイミング或いは送信タイミングを制限することが可能になる。ソーシャルデータと画像情報の関連度合いを高くすることが、それらを用いた処理においては重要である。具体的には、ソーシャルデータに関係する時間情報(ソーシャルデータを、サーバシステム300側で送信した送信時間情報でもよいし、端末装置200側で受信した受信時間情報でもよい)と、画像情報に関係する時間情報(画像情報が撮像された撮像時間情報でもよいし、当該画像情報がサーバシステム300に対して送信された画像送信時間情報でもよい)とを考慮することで、この関連性を高めることが可能である。
特に、ソーシャルデータが先にあって、画像情報をそれに合わせて取得するという本実施形態の手法では、ソーシャルデータと画像情報の関連度合いは、画像情報取得時における端末装置200を操作するユーザの意欲等に依存する。新しい第2のソーシャルデータを受信した場合には、その前の第1のソーシャルデータに対するユーザの注目度は低くなると考えられるため、意欲的な撮像を促進するためにも、古いソーシャルデータに対する撮像を制限するとよい。特に図8〜図10を用いて説明したように、本実施形態の手法がSNSの一部として用いられる場合には、画像情報を取得するユーザ自身だけでなく、評価等を行う他のユーザにとっても(言い換えればSNSのコミュニティ全体にとっても)、新しい第2のソーシャルデータが注目度が高いことになるため、より効果的であるといえる。
なお、ソーシャルデータに対する撮像制限の手法はこれに限定されない。例えば、新しいソーシャルデータが受信された場合に、過去のソーシャルデータに対する撮像を全て制限するのではなく、新しい方から所与の個数(ここでは2以上)のソーシャルデータに対する撮像を許可してもよい。或いは、新しいソーシャルデータが受信されたか否かという観点ではなく、各ソーシャルデータについて当該ソーシャルデータが送信、或いは受信されてから所与の期間を経過したか否かに基づいて、制限を行ってもよい。つまり各ソーシャルデータは、送信或いは受信から所定期間内に限り、当該ソーシャルデータに対する撮像等が可能となる。また、サーバシステム300側で、各ソーシャルデータについて撮像受け付けをするか否かを設定するものとしてもよい。この場合は、撮像受け付け中のソーシャルデータに対しては画像情報の撮像、送信が可能であるが、そうでないソーシャルデータに対する撮像等は制限されることになる。
また、端末装置200は図15に示したように、ソーシャルデータの受信処理前又は後の撮影に関する情報である撮影情報、ソーシャルデータの受信処理前又は後のユーザの行動に関する情報である行動情報、及びソーシャルデータの少なくとも1つに基づいて、画像情報に対して付加されるメタデータを作成するメタデータ作成部240を含んでもよい。そして送信処理部250は、ソーシャルデータ及びメタデータと、画像情報とを関連づけた情報を送信する処理を行う。
ここで撮影情報とは、ソーシャルデータの受信前後における、撮影に関する情報である。撮影情報には、ソーシャルデータの受信タイミングを起点とした場合の、撮影のための各処理(ソーシャルデータの表示、撮影条件設定のためのボタン操作、実際の撮像のための操作等であり、撮像した画像情報の送信処理も含む)が行われるまでの時間情報が含まれる。また、撮影情報は撮像装置等に設けられた操作部(各種ボタンやレバー等)に対する操作履歴であってもよいし、撮影を行う撮影者(ユーザ)に関する情報であってもよい。
また行動情報とは、ソーシャルデータの受信前後におけるユーザの行動を表す情報であり、特に通常の撮像装置(カメラ)においては取得や出力が想定されない情報等を表すものである。行動情報には、ソーシャルデータの受信から当該ソーシャルデータの閲覧までの時間情報、画像情報を撮像する際のシャッター半押し時間情報、GPSや歩数計等を用いることで取得される撮影場所や移動距離、移動の際の歩数等の情報が含まれる。
これにより、撮影情報、行動情報及びソーシャルデータの少なくとも1つに基づいてメタデータを作成することが可能になる。また、ソーシャルデータと画像情報を関連づけるだけでなく、当該画像情報に、作成したメタデータも関連づけることが可能になる。撮影情報は、実際に撮影が行われた際の情報であるため、画像情報の属性によく合致した情報となる。また、ソーシャルデータと画像情報の関連性が高いことが期待される以上、当該ソーシャルデータから作成されたメタデータは画像情報の属性によく合致する(つまりメタデータの精度が高い)ことになり、有用なメタデータが付加された画像情報を送信することができる。
また、メタデータ作成部240は、ソーシャルデータが送信された送信時間情報、ソーシャルデータが受信された受信時間情報、画像情報が撮像された撮像時間情報、画像情報を送信する画像送信時間情報の少なくとも1つに基づいて、メタデータを作成してもよい。
これにより、ソーシャルデータの送受信に関する時間情報や、画像情報の撮像、送信に関する時間情報をメタデータとすることが可能になる。これらは単体で用いても、1日の中での時刻(早朝、昼間、深夜等)や、1年の中での日付(春夏秋冬、或いは記念日に相当するか否か)という画像情報の属性を表すものとなり得る。また、ソーシャルデータに関する時間情報と、画像情報に関する時間情報の両方を用いることで、ソーシャルデータの配信に対してどれだけ早く行動を起こしたかという判定を行うことができるため、ユーザの意欲等を推定するデータとしても用いることができる。
また、メタデータ作成部240は、文章データであるソーシャルデータの少なくとも一部を、メタデータとして作成してもよい。
具体的には、メタデータ作成部240は、文章データであるソーシャルデータそのもの(ソーシャルデータ全体)をメタデータとしてもよい。或いは、メタデータ作成部240は、文章データであるソーシャルデータに対して構文解析処理を行い、構文解析処理により取得された、ソーシャルデータに含まれる単語又は文節をメタデータとして作成してもよい。その場合、メタデータ作成部240は、構文解析処理により取得された、ソーシャルデータに含まれる単語又は文節のうち、文章における使用頻度情報に基づいて選択された単語又は文節をメタデータとして作成してもよい。
或いは、メタデータ作成部240は、文章データであるソーシャルデータのうち、文頭又は文末から所与の文字数を抜き出したデータをメタデータとして作成してもよい。
これにより、ソーシャルデータが文章データである場合に、当該ソーシャルデータから種々のメタデータを作成することが可能になる。また、複数の手法を併用することで、メタデータの多様性を高めることとしてもよい。具体的な手法は上述したとおりであるため、詳細な説明は省略する。
また、メタデータ作成部240は、ソーシャルデータの取得処理からソーシャルデータが表示部に表示されるまでの第1の時間情報と、ソーシャルデータの取得処理から画像情報が取得されるまでの第2の時間情報と、ソーシャルデータの取得処理から送信処理部による画像情報の送信処理までの第3の時間情報とのうちの少なくとも1つを、撮影情報として取得し、取得した撮影情報に基づいて、メタデータを作成してもよい。
これにより、撮影情報としてソーシャルデータの取得処理のタイミングを起点とした時間情報を取得し、それに基づいてメタデータを作成することが可能になる。なお、時間情報が撮影情報として取得された場合、当該時間情報をそのまま(例えば「h時間m分s秒」という形で)メタデータとしてもよいし、単位変換を行って(例えば上述の形式を「S秒」に変換して)メタデータとしてもよいし、その他の処理(例えば過去の対応する時間情報を用いて平均値を求める処理等)を行った結果をメタデータとしてもよい。この場合、ソーシャルデータの取得から撮像等までの時間が短いほど、端末装置200を用いるユーザは当該ソーシャルデータに対する注目度が高いと考えることができる。よって、そのようなユーザは意欲的に撮像を行うと想定されるため、画像情報とソーシャルデータの関連性が高い(つまりソーシャルデータに基づいて作成されたメタデータの精度が高い)と判定すること等が可能になる。この場合、撮影情報である時間情報から、ソーシャルデータに基づいて作成されたメタデータの信頼性を表す指標値を算出し、算出した指標値を撮影情報に基づくメタデータとしてもよい。
なお、時間情報の起点はソーシャルデータの取得処理に限定されるものではない。よって、ソーシャルデータの取得タイミングを第1のタイミング、ソーシャルデータが表示部に表示されたタイミングを第2のタイミング、画像情報が取得されたタイミングを第3のタイミング、画像情報の送信処理が行われたタイミングを第4のタイミングとした場合に、第1〜第4のタイミングのうち2つのタイミングの間の時間を表す時間情報を撮影情報としてもよい。この場合にも、各処理をどれだけ迅速に行っていたかを知ることができるため、時間情報は撮影者の意欲等を判定する指標値となり、メタデータとして有用である。
また、メタデータ作成部240は、画像情報の一部を指定する部分指定情報をユーザから受け付け、部分指定情報をメタデータとして作成してもよい。その場合、メタデータ作成部240は、部分指定情報とともに、部分指定情報に関するユーザからのコメント情報を受け付け、部分指定情報とコメント情報を関連づけた情報を、メタデータとして作成してもよい。
ここで部分指定情報とは、画像情報の一部を指定する情報であればよく、点を指定する情報でもよいし、図5に重要領域として示したように、領域を指定する情報であってもよい。重要領域を指定する場合にも、その指定手法は種々考えられ、端末装置200に設けられた操作部(図3に示したようなボタン等)を用いて操作してもよい。或いは、表示部がタッチパネルにより構成されている場合には、画像上の点をタッチすることでその周辺領域を指定してもよいし、重要領域の境界をなぞる操作を行ってもよいし、マルチタッチによるピンチアウト操作を行ってもよい。
これにより、画像領域の一部をメタデータとして取り扱うことが可能になる。部分指定情報が点を指定するものであれば、当該点を表す座標情報をメタデータとすればよい。また、領域を指定するものであれば、当該領域の特徴点(例えば左上の点)と領域サイズ(縦と横の画素数等)をメタデータとすればよい。或いは、領域に対応する新たな画像情報をメタデータとしてもよい。このようにすれば、取得された画像情報のうち、よりユーザにとって注目度が高い(例えばソーシャルデータによく合致する)部分を特定し、その情報を画像情報に対応づけることができるため、画像情報の有用性を高めることが可能になる。その際には、ユーザによるコメント情報をメタデータに含めてもよく、例えば部分指定情報を指定した意図(その領域を注目すべき理由等)を付加しておけば、その後の処理において部分指定情報であるメタデータを用いた処理を円滑にする等の効果が期待できる。
また、表示制御部220は、ソーシャルデータが送信された送信時間情報、ソーシャルデータが受信された受信時間情報のいずれかに基づいて、ソーシャルデータを表示部に表示する制御を行ってもよい。
具体的には、受信処理部210により、第1〜第N(Nは2以上の整数)のソーシャルデータが受信された場合に、表示制御部220は、第1〜第Nのソーシャルデータに対応する第1〜第Nの送信時間情報の比較処理、又は第1〜第Nの受信時間情報の比較処理を行い、第1〜第Nのソーシャルデータのうち、より後のタイミングにおいて送信又は受信されたソーシャルデータを、優先的に表示部に表示する制御を行ってもよい。
これにより、ソーシャルデータのサーバシステム300における送信処理、又は端末装置200における受信処理のいずれかの時間を表す情報に基づいて、表示部に表示されるソーシャルデータを制御すること等が可能になる。端末装置200を用いるユーザは、表示部に表示されるソーシャルデータに対する撮像を行うことが想定されるため、このようにすることで画像情報が撮像、送信される対象となるソーシャルデータを制御することが可能になる。例えば、より新しいソーシャルデータが表示されやすいものとすれば、新しいソーシャルデータに対して画像情報が撮像、送信される可能性を高めることができる。この手法の利点については、上述したソーシャルデータに対する撮像制限と同様のものであるため、詳細な説明は省略する。
また、送信処理部250は、画像情報とソーシャルデータを関連づけた情報に加え、端末装置200の識別に用いられる認証用情報を送信する処理を行ってもよい。
これにより、端末装置200の認証処理を行うこと等が可能になる。上述したように、端末装置200を用いるユーザの撮像意欲を高めるために、サービスの利用を制限するケースが考えられる。この場合には、画像情報の送信者がサービスの登録ユーザであるか否かを判定する必要があり、そのためには、端末装置200から識別に必要な情報を送信することになる。なお、認証用情報としては端末装置200のMACアドレスを用いてもよいし、他の情報を用いてもよい。
また、受信処理部210は、送信処理部250により送信された画像情報に対して、送信先であるサーバシステム300において行われた評価処理の結果を表す評価結果情報を、サーバシステム300から受信してもよい。
ここでの評価結果情報は、評価処理の内容によって種々の形式により実現することができる。例えば、配信側端末装置100や、端末装置200−1〜200−Nのうち画像情報を送信した端末以外の端末装置から、図13のC31、C32のような入力に基づいて送信された評価情報を評価処理に用いる場合であれば、C31のボタン押下回数や、C32で設定された点数の総和や平均等が評価結果情報となる。また、図14のようにメタデータを評価処理に用いる場合であれば、メタデータに基づいてよい評価をされた回数が評価結果情報となるし、各メタデータがその良し悪しを数値化するものであれば、当該数値の総和や平均が評価結果情報となる。その他、評価結果情報は種々の形式により実現可能である。
これにより、サーバシステム300での評価処理の結果を端末装置200にフィードバックすることが可能になる。送信した画像情報が高い評価を得ていることがユーザに伝われば、当該ユーザは画像情報の取得、送信に対する意欲が向上すると考えられ、その結果ソーシャルデータとの合致度が高い(つまりメタデータを付与した場合その精度が高い)画像情報が取得、送信される可能性を高めることができる。
また、受信処理部210は、サーバシステム300における評価処理の結果に基づいて、サーバシステム300から評価特典情報を受信してもよい。具体的には、受信処理部210は、他の端末装置(配信側端末装置100)を用いてソーシャルデータの発信を行ったソーシャルデータ発信ユーザに関する情報を、評価特典情報として受信してもよい。
これにより、評価結果だけでなく、評価がよい場合にはユーザは特典を取得することが可能になるため、より一層の意欲向上が可能になる。特に、画像情報を送信したユーザは、複数受信することが想定されるソーシャルデータのなかから、特定のソーシャルデータ発信ユーザの発信したソーシャルデータに対して画像情報を送信していることから、当該ソーシャルデータ発信ユーザに対する関心度合いは強いことが想定される。よって、ソーシャルデータ発信ユーザに関する情報(例えば、当該ソーシャルデータ発信ユーザを撮像した画像情報や、ソーシャルデータ発信ユーザにより作成された情報)は、端末装置200を用いるユーザの意欲向上に効果的である。
また以上の本実施形態は、図2に示したように、配信側端末装置100からのソーシャルデータを取得するソーシャルデータ取得部311と、取得したソーシャルデータを複数の配信先端末装置(図1の200−1〜200−N等)に対して送信するソーシャルデータ送信部313と、ソーシャルデータが送信された配信先端末装置から、ソーシャルデータに関連づけられた画像情報を取得する画像情報取得部321と、ソーシャルデータに基づいて、ソーシャルデータに関連づけられた画像情報に対して、メタデータを付加するメタデータ付加部323と、を含むサーバシステムに適用できる。
これにより、配信側端末装置100(上述したサービス例であれば著名人の操作する端末装置)により送信されたソーシャルデータを取得して、取得したソーシャルデータを複数の端末装置に配信するとともに、配信先端末装置からソーシャルデータに対応する画像情報を取得し、メタデータと関連づけて管理することが可能になる。よって、精度の高いメタデータが付加された画像情報を大量に取得することができるため、当該画像情報の集合である画像データベースを用いて種々の処理を効果的に行うことが可能になる。
また、画像情報取得部321は、画像情報及びソーシャルデータとともに、配信先端末装置において画像情報に対応づけられたメタデータを取得し、メタデータ付加部は、取得したメタデータを画像情報に対して付加してもよい。
これにより、メタデータを端末装置200側で作成し、サーバシステムは端末装置200で作成されたメタデータの取得処理と、当該メタデータを画像情報に関連づけて保存する処理を行うことが可能になる。ただし、上述したように、サーバシステム300がメタデータ作成部を含み、サーバシステム300側でメタデータを作成してもよい。
また、サーバシステム300は図2に示したように、ソーシャルデータの配信先であり、画像情報の送信元である配信先端末装置を特定する認証情報に基づいて、配信先端末装置の認証処理を行う認証処理部330を含んでもよい。そして、ソーシャルデータ送信部313は、複数の配信先端末装置のうち、認証処理部330での認証処理が行われた配信先端末装置に対してソーシャルデータを送信する。また、画像情報取得部321は、複数の配信先端末装置のうち、認証処理部330での認証処理が行われた配信先端末装置からの画像情報を取得する。
これにより、サーバシステム300において配信先端末装置(200−1〜200−N等)の認証処理を行うことが可能になる。認証処理を行ってサービス利用を制限する利点については上述したとおりである。
また、ソーシャルデータ送信部313は、ソーシャルデータとして、第1のソーシャルデータと、第1のソーシャルデータよりも後のタイミングにおいて送信される第2のソーシャルデータとを送信してもよい。そして、画像情報取得部321は、第1のソーシャルデータの送信処理が行われてから、第2のソーシャルデータの送信処理が行われるまでの間、第1のソーシャルデータに関連づけられた画像情報を取得してもよい。
これにより、ソーシャルデータが時系列的に複数配信される場合に、先に受信したソーシャルデータに対応する画像情報を、サーバシステム300が取得するタイミングを制限することが可能になる。この場合にも、端末装置200側で画像情報を取得する(狭義には画像情報を撮像する)タイミングや送信するタイミングを制限するのと同様の効果が期待できる。
なお、本実施形態の端末装置(端末装置200−1等)及びサーバシステム300等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の端末装置及びサーバシステム300等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶媒体(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリ(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また端末装置、サーバシステムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。