以下に本願に係る情報表示プログラム、情報表示装置及び情報表示方法を実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報表示プログラム、情報表示装置及び情報表示方法が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.実施形態〕
図1から図4を用いて、本実施形態の情報表示プログラム等により実現される情報表示処理を説明する。なお、以下の説明において、ユーザが利用する端末装置100には、当該ユーザの行動に関する行動情報を収集(ストック)するアプリケーション(以下、「情報収集アプリ」と記載する場合がある)が実装されている例を示す。また、以下の説明において、情報収集アプリの機能によって、実施形態に係る情報表示処理が実現されるものとする。
図1から図4に示す端末装置100は、ユーザによって利用されるスマートフォンやタブレット等のスマートデバイスであり、3G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。図1から図4に示す例では、端末装置100がユーザU1によって利用されるスマートフォンである場合を示す。また、端末装置100は、液晶ディスプレイ等の出力部(以下、「画面」と記載する場合がある)を有し、タッチパネルが採用されているものとする。すなわち、ユーザU1は、指や専用ペンで出力部の表示面をタッチすることにより端末装置100の各種操作を行う。なお、端末装置100は、スマートデバイスのみならず、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等の情報処理装置であってもよい。
以下、図1から図4を用いて、端末装置100が行う情報収集アプリの表示処理について説明する。なお、以下の説明では、端末装置100の画面の状態遷移を図示する場合、順に第1状態、第2状態、・・・、第N状態(Nは任意の数)と表記する。また、図1から図4に示す例において、端末装置100に実装された情報収集アプリにより、ユーザU1の行動情報が収集されているものとする。ここで、以下の説明において、行動情報とは、ユーザU1が端末装置100を用いて取得した端末装置100の画面のスクリーンショットや、ユーザU1が端末装置100を用いて撮影した画像及び動画、ユーザU1が端末装置100を用いて閲覧した画像及び動画、ユーザU1が端末装置100を用いて送受信した電子メール、ユーザU1が端末装置100を介して利用したアプリケーション、ウェブサービス等においてブックマークしたコンテンツ等を示す。
まず、図1を用いて、ユーザの行動情報に基づいて推定するユーザの行動の主題(テーマ)の表示処理について説明する。図1は、実施形態に係る端末装置の一例を示す図(1)である。
図1の第1状態は、過去に推定されたユーザU1の行動の主題を表示する画面の状態を示す。図1の第1状態において、端末装置100は、過去に推定されたユーザU1の行動の主題に対応するコンテンツを領域AR11に表示する。また、図1の第1状態において、端末装置100は、行動の主題の推定処理を端末装置100に指示するための領域AR12を表示する。
続いて、図1の第2状態は、主題の推定処理の指示をユーザU1から受け付けた場合に表示する画面の状態を示す。図1の第2状態において、端末装置100は、情報収集アプリにより収集したユーザU1の行動情報に対応するサムネイルを領域AR13に表示する。なお、以下の説明において、サムネイルとは、行動情報であるスクリーンショットそのものや、ブックマークしたコンテンツに含まれる画像等を示す。
例えば、図1の第2状態において、端末装置100は、ユーザU1の行動情報に対応するサムネイルD1〜D9を領域AR13に表示する。また、端末装置100は、ユーザU1が領域AR13に表示したサムネイルの選択操作を行うための領域AR14を、各サムネイルに重畳させて表示する。また、端末装置100は、ユーザU1が選択したサムネイルの確定操作を行うための領域AR15を表示する。
続いて、図1の第3状態は、ユーザU1からサムネイルの選択操作を受け付けた画面の状態を示す。なお、図1の例において、ユーザU1がサムネイルD1〜D3を選択したものとする。ここで、サムネイルD1は、飲食店紹介サービスにおいてユーザU1がブックマークした仙台市内の飲食店Aに関するコンテンツに対応する。また、サムネイルD2は、路線検索サービスにおいて、ユーザU1が出発日時を「1月13日7時56分」とし、出発地「東京」から到着地「仙台」までの乗換案内を検索した検索結果を示す画面のスクリーンショットに対応する。また、サムネイルD3は、ユーザU1が端末装置100を用いて受信した、「1月13日」における仙台市内のホテルBの予約確認に関する電子メールに対応する。ここで、端末装置100は、各サムネイルに対応する行動情報に含まれるテキスト情報、時間情報、位置情報等の情報を、画像解析や、形態素解析等の種々の従来技術を適宜用いて解析することにより抽出する。
そして、端末装置100は、領域AR15が選択されることにより、画面を第3状態から第4状態に遷移させる。
続いて、図1の第4状態は、ユーザU1が選択したサムネイルに対応する行動情報に基づいて端末装置100が推定したユーザU1の行動の主題を画面に表示した状態を示す。図1の第4状態において、端末装置100は、サムネイルD1〜D3に対応する行動情報に基づいて推定したユーザU1の行動の主題を領域AR16に表示する。また、図1の第4状態において、端末装置100は、ユーザU1が行動の主題の確定操作を行うための領域AR17を表示する。
例えば、図1の例において、端末装置100は、サムネイルD1〜D3に対応する行動情報が仙台市に関するものであり、出発地「東京」から到着地「仙台」までの乗換案内の検索、並びに、仙台市内のホテルBの予約が同一の日付を対象とするものであるため、ユーザU1の行動の主題を1月13日における「仙台旅行」と推定し、推定した結果を領域AR16に表示する。そして、端末装置100は、領域AR17が選択されることにより、画面を第4状態から第5状態に遷移させる。
続いて、図1の第5状態は、推定したユーザU1の行動の主題に対応するコンテンツが第1状態において表示される画面に追加された状態を示す。図1の第5状態に示すように、端末装置100は、「仙台旅行」に対応するコンテンツを領域AR11に表示する。
次に、図2を用いて、ユーザの行動の主題に対応するコンテンツの表示処理について説明する。図2は、実施形態に係る端末装置の一例を示す図(2)である。図2では、図1において端末装置100が推定したユーザU1の行動の主題「仙台旅行」に対応するコンテンツC1(「仙台旅行」のスケジュールに関するコンテンツ)を編集する例を示す。また、コンテンツC1は、スマートデバイス用に最適化されたコンテンツであり、横方向の表示サイズが、端末装置100が有する画面の横方向の表示サイズと同じウェブページであるものとする。また、コンテンツC1は、縦方向の表示サイズが、端末装置100が有する画面の縦方向の表示サイズよりも長いコンテンツであるものとする。
また、図2に示すように、端末装置100は、ユーザU1が図1の第3状態において選択したサムネイルD1〜D3に対応する行動情報を示すコンテンツC11、C12及びC14、並びに、行動の主題「仙台旅行」に関連する情報をユーザU1にレコメンドするためのコンテンツC13が含まれるコンテンツC1を画面に表示する。なお、図2の例において、端末装置100は、コンテンツC1に含まれるコンテンツを時系列順に配置して画面に表示する領域AR21を含むものとする。例えば、端末装置100は、コンテンツC1に含まれるコンテンツに対応する行動情報に対して、画像解析や、形態素解析等の種々の従来技術を適宜用いて解析することにより、時間情報を抽出する。そして、端末装置100は、領域AR21のうち、抽出した時間情報に対応する表示位置にコンテンツを配置して表示する。
ここで、以下の説明において、端末装置100が、コンテンツC12に対応する行動情報から出発日時「1月13日7時56分」及び到着日時「1月13日9時30分」を時間情報として抽出したものとする。この場合、端末装置100は、領域AR21のうち、コンテンツC12から抽出した時間情報に対応する表示位置に配置して表示する。
また、以下の説明において、端末装置100が、コンテンツC14に対応する行動情報からホテルBへのチェックイン可能時間「15時30分〜29時」を時間情報として抽出したものとする。この場合、ユーザU1の行動の主題「仙台旅行」において、コンテンツC14に対応するユーザU1の行動(ホテルBへのチェックイン)がスケジュールの最後に行われることが想定されるため、端末装置100は、領域AR21の最下端にコンテンツC14を配置して表示する。そして、端末装置100は、コンテンツC14への選択操作(例えば、タップ)を受け付け、ユーザU1の指F10のドラッグ操作に応じてコンテンツC14の表示位置を、領域AR21のうち、チェックイン可能時間「15時30分〜29時」に対応する表示位置の範囲内で移動させる。
また、以下の説明において、端末装置100が、コンテンツC11に対応する行動情報から、時間情報として「飲食店A」の営業時間のみが抽出され、固定された時間(例えば、予約日時など)が抽出されなかったものとする。この場合、端末装置100は、コンテンツC12に対応するユーザU1の行動(飲食店Aへ来店)が行われる時間が未確定であるとして、領域AR21以外の領域(コンテンツC1の最上端)にコンテンツC12を配置して表示する。すなわち、初期状態の「仙台旅行」のスケジュールには、飲食店Aへの来店に関する行動が組み込まれていない。
また、図2における説明において、端末装置100は、領域AR21のうち、他のコンテンツが配置されていない領域(すなわち、スケジュールが確定していない空白時間に対応する位置)にコンテンツC13を配置して表示する。
図2の第1状態は、端末装置100が画面にコンテンツC1を表示する初期状態を示す。図2の第1状態において、端末装置100は、コンテンツC1のうち最上端からコンテンツC11及びコンテンツC12を画面に表示する。そして、端末装置100は、コンテンツC1の表示態様の変更を端末装置100に指示するための領域AR22をコンテンツC1に重畳させて表示する。また、端末装置100は、コンテンツC1(ボード)の保存を端末装置100に指示するための領域AR23をコンテンツC1に重畳させて表示する。領域AR23がユーザU1に選択された場合、端末装置100はコンテンツC1の編集処理を終了し、領域AR21に配置されたコンテンツ、並びに、各コンテンツに対応する時間に関する情報を、「仙台旅行」のスケジュールとして端末装置100の記憶部に格納する。なお、端末装置100は、各コンテンツに対応する時間に関する情報に基づいてユーザU1に通知するアラームを設定してもよい。
ここで、図2の第1状態において、ユーザU1が飲食店Aへの来店を希望したものとする。この場合、端末装置100は、ユーザU1の指F10によるコンテンツC11への選択操作を受け付け、ユーザU1の指F10のドラッグ操作に応じてコンテンツC11の表示位置を移動させる。そして、端末装置100は、ユーザU1の指F10によるコンテンツC11への選択が解除された位置にコンテンツC11を配置して画面に表示する。なお、図2の説明において、領域AR21のうち、「10時」から「12時」に対応する領域にコンテンツC11が配置されたものとする。
続いて、図2の第2状態は、ユーザU1のスクロール操作等によりコンテンツC1が下方向に移動することによって、第1状態では非表示となっていたコンテンツC1の領域が画面に表示された状態を示す。図2の第2状態において、端末装置100は、コンテンツC11、コンテンツC12及びコンテンツC13を画面に表示する。また、第2状態においても、端末装置100は、領域AR22及び領域AR23をコンテンツC1に重畳させて表示する。
ここで、図2の第2状態において、ユーザU1が空白時間にスケジュールを組み込むことを希望したものとする。この場合、端末装置100は、ユーザU1によるコンテンツC13への選択操作を受け付け、画面を第3状態に遷移させる。
続いて、図2の第3状態は、行動の主題「仙台旅行」に関連する情報を示すコンテンツをコンテンツC1に替えて画面に表示した状態を示す。図2の第3状態において、端末装置100は、行動の主題と対応する情報を検索し、検索した情報に対応するコンテンツをユーザU1にレコメンドするコンテンツとして画面に表示する。例えば、端末装置100は、ウェブ上(ウェブページや、端末装置100にインストールされた各種アプリ)から、行動の主題「仙台旅行」と対応する情報を検索する。また、端末装置100は、端末装置100に実装された情報収集アプリにより収集したコンテンツC11、コンテンツC12及びコンテンツC13に対応する行動情報以外のユーザU1の行動情報であって、行動の主題「仙台旅行」に関連する行動情報を検索する。また、端末装置100は、ユーザU1の行動情報に基づくデモグラフィック属性やサイコグラフィック属性に基づいて、行動の主題「仙台旅行」と対応する情報を検索する。そして、端末装置100は、検索した情報のうち、空白時間においてユーザU1が実施可能な行動に関するコンテンツを、ユーザU1にレコメンドする情報を示すコンテンツとして表示する。なお、図2の第3状態において、端末装置100は、ユーザU1にレコメンドする情報を示すコンテンツとして、コンテンツC15及びコンテンツC16を画面に表示したものとする。
図2の第3状態において、空白時間にコンテンツC15に関するスケジュールを組み込むことを希望したものとする。この場合、端末装置100は、ユーザU1によるコンテンツC15への選択操作を受け付け、画面を第4状態に遷移させる。
続いて、図2の第4状態は、新たなコンテンツがコンテンツC13に替えて表示された画面の状態を示す。図2の第4状態において、端末装置100は、第3状態においてユーザU1が選択したコンテンツC15に対応するコンテンツC17をコンテンツC13に替えて画面に表示する。また、第2状態においても、端末装置100は、領域AR22及び領域AR23をコンテンツC1に重畳させて表示する。
ここで、図2の第4状態において、領域AR22が選択された場合、端末装置100は、画面を第5状態または第6状態に遷移させる。
続いて、図2の第5状態は、コンテンツC1の領域AR21に配置されたコンテンツを、地図上の各コンテンツに対応する位置に配置した画面の状態を示す。例えば、図2の例において、端末装置100は、コンテンツC11及びコンテンツC14に対応する行動情報、並びに、コンテンツC17に関する情報に対して、画像解析や、形態素解析等の種々の従来技術を適宜用いて解析することにより、位置情報を抽出する。そして、端末装置100は、仙台市の地図上のコンテンツC11に対応する位置P1、コンテンツC17に対応する位置P2、並びに、コンテンツC14に対応する位置P3に各コンテンツを配置して画面に表示する。
なお、端末装置100は、コンテンツC1に含まれるコンテンツに対応する行動情報から抽出した位置情報に基づいて、各コンテンツをコンテンツC1に配置して表示してもよい。例えば、端末装置100は、「仙台駅」を出発地点として設定する。そして、端末装置100は、コンテンツC1に含まれる各コンテンツに対応する行動情報から位置情報を抽出し、抽出した位置情報の「仙台駅」からの距離に応じて各コンテンツをコンテンツC1に配置して表示する。
また、端末装置100は、領域AR21に配置された各コンテンツに対応する時間に関する情報(各コンテンツに対応する位置にユーザU1が移動する時間に関する情報)に基づいて、仙台市の地図上の位置P1〜P3にユーザU1が訪問する順番に関する情報を表示してもよい。
続いて、図2の第6状態は、コンテンツC1の領域AR21に配置されたコンテンツに対応するサムネイルをアルバムの形式で表示する画面の状態を示す。図2の第6状態において、端末装置100は、コンテンツC1の領域AR21に配置されたコンテンツC11、コンテンツC12、コンテンツC14及びコンテンツC17に対応するサムネイルをアルバムの形式で画面に表示する。
なお、図2の例において、第6状態に示すように行動の主題「仙台旅行」におけるユーザU1の持ち物に関するコンテンツC18を表示してもよい。例えば、端末装置100は、ユーザU1によるコンテンツC18への選択操作を受け付け、画面を行動の主題「仙台旅行」におけるユーザU1の持ち物の編集画面に遷移させる。また、端末装置100は、ユーザU1が持ち物の編集画面への遷移を端末装置100に指示するためのアイコン画像等を図2の第1状態〜第6状態に重畳させて表示してもよい。
また、図2の例において、端末装置100は、コンテンツC1に含まれるコンテンツに対応する位置間の移動手段に関する情報を検索し、検索した情報に対応するコンテンツをコンテンツC1に表示してもよい。例えば、図2の第2状態において、端末装置100は、仙台駅から飲食店Aの所在地までの交通手段を路線検索サービス等において検索し、検索結果を示すコンテンツをコンテンツC11及びコンテンツC12の間に配置する。
また、図2の例において、端末装置100は、コンテンツC1の表示後、行動の主題「仙台旅行」に関連する行動情報が新たに収集された場合、新たに収集された行動情報に対応するコンテンツをコンテンツC1に配置するか否かに関する通知を行ってもよい。
次に、図3を用いて、サムネイルに行動情報に関する情報を重畳させて表示する表示処理について説明する。図3は、実施形態に係る端末装置の一例を示す図(3)である。図3では、情報収集アプリにより収集したユーザU1の行動情報に対応するサムネイルを画面に表示する際(図1の第2状態に相当)、各サムネイルに行動情報に関する情報(以下、「対象情報」と記載する場合がある)を重畳させて表示する例を示す。ここで、以下の説明において、対象情報とは、行動情報に対して画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより取得した情報(例えば、テキスト情報、時間情報、位置情報など)や、行動情報の提供元(例えば、アプリケーション、ウェブサービスなど)を特定するための情報、行動情報の提供元に対応するアイコン画像(例えば、アプリアイコンや、ウェブサービスに設定されているアイコン画像(ウェブクリックアイコン)など)等を示す。なお、以下の説明において、情報収集アプリは、対象情報を行動情報に対応付けて取得しているものとする。
また、以下の説明において、情報収集アプリが収集した行動情報に対応するサムネイルD1〜D9を端末装置100が表示する例を示す。サムネイルD1〜D3は、図1において示したものと同一であるため、説明を省略する。サムネイルD4は、チケット販売サービスにおいて、ユーザU1が端末装置100を用いて購入したコンサートCのチケットの発券コード(QRコード(登録商標))を表示した画面のスクリーンショットに対応する。サムネイルD5は、地図アプリにおけるスクリーンショットに対応する。サムネイルD6〜9は、電子商取引サービスにおいてユーザU1がブックマークした商品に対応する。
図3の第1状態は、情報収集アプリにより収集したユーザU1の行動情報に対応するサムネイルを表示した画面の状態を示す。図3の例において、端末装置100は、対象情報を表示する領域AR18を、各サムネイルに重畳させて表示する。なお、領域AR13〜AR15は、図1の第2状態おいて示したものと同一であるため、説明を省略する。
図3の例において、端末装置100は、対象情報として、行動情報から取得したテキスト情報、並びに、行動情報の提供元に対応するアイコン画像を領域AR18に表示する。例えば、図3の例において、端末装置100は、サムネイルD1及びD5に対して、行動情報の提供元に対応するアイコン画像と共にテキスト情報を重畳させて表示する。また、端末装置100は、行動情報に時間情報(例えば、出発日時や、予約日時など)が含まれる場合、サムネイルD2〜D5に示すように、時間情報を含む対象情報を重畳させて表示する。また、端末装置100は、行動情報に商品や、商品の価格等の商品情報が含まれる場合、サムネイルD6〜D9に示すように、商品情報を含む対象情報を重畳させて表示する。
なお、端末装置100は、対象情報として取得された文字列と対応する処理を実行してもよい。例えば、時間情報を含む対象情報をサムネイルに重畳させて表示する場合、端末装置100は、当該時間情報に基づいてユーザU1に通知するアラーム(例えば、飲食店紹介サービスにおいてユーザがブックマークした飲食店が営業時間外または休業日である旨のアラート)を設定してもよい。また、端末装置100は、ユーザU1の現在位置に基づいてユーザU1に通知するアラームを設定してもよい。例えば、行動情報(例えば、飲食店紹介サービスにおいてユーザがブックマークした飲食店に関するコンテンツ)に位置情報が含まれる場合、端末装置100は、ユーザU1の現在位置が当該位置情報から所定の範囲内(例えば、100メートル、500メートルなど)である場合、ユーザU1に当該行動情報に関する通知を行ってもよい。また、例えば、端末装置100は、ユーザにサービスを提供するサービス提供装置などの外部装置等からユーザU1の現在位置周辺の店舗に関する情報を収集してもよい。そして、端末装置100は、ユーザU1の現在位置から所定の範囲内の店舗にユーザの行動情報に対応する商品(例えば、サムネイルD6〜9に対応する商品)を扱う店舗が存在する場合、ユーザU1に当該行動情報に関する通知を行ってもよい。
また、端末装置100は、行動情報の提供元から提供される情報に基づいて更新された対象情報を表示してもよい。例えば、端末装置100は、サムネイルD1に対し、飲食店Aの営業時間や、休業日などの変更に関する情報を含む対象情報を重畳させて表示してもよい。また、端末装置100は、サムネイルD2に対し、電車の遅延情報を含む対象情報を重畳させて表示してもよい。また、端末装置100は、サムネイルD6〜D9に対し、商品の価格の変更に関する情報(例えば、値引きに関する情報)を含む対象情報を重畳させて表示してもよい。また、端末装置100は、行動情報の提供元から提供される情報に基づいて対象情報が更新された旨の通知をユーザU1に行ってもよい。
続いて、図3の第2状態は、第1状態で表示したサムネイルがユーザU1に選択された場合に表示される画面の状態を示す。図3の例において、端末装置100は、第1状態で表示したサムネイルがユーザU1に選択された場合、当該サムネイルに対応する行動情報の提供元のコンテンツであって、当該行動情報に対応するコンテンツを画面に表示する。ここで、図3の例において、サムネイルD2が選択されたものとする。この場合、端末装置100は、ユーザU1がサムネイルD2に対応する行動情報であるスクリーンショットを取得した際の路線検索サービス上のコンテンツ(検索結果)を画面に表示する。すなわち、端末装置100は、行動情報を取得した際に入力されたパラメータ情報と同一のものを入力した状態で、当該行動情報の提供元であるアプリケーションやウェブサービスを表示する。
なお、端末装置100は、ユーザU1が実店舗において端末装置100が有する撮像部を用いて撮影した商品の画像に対応するサムネイルが選択された場合、当該商品に対応する所定の電子商取引サービス上のコンテンツを表示してもよい。
次に、図4を用いて、ユーザの行動の主題に関連する情報を示すコンテンツ(以下、「関連コンテンツ」と記載する場合がある)の表示処理について説明する。図4は、実施形態に係る端末装置の一例を示す図(4)である。図4では、図1において端末装置100が推定したユーザU1の行動の主題「仙台旅行」に対応するコンテンツC2(「仙台旅行」のスケジュールに関するコンテンツ)の編集処理において、関連コンテンツを表示する例を示す。また、コンテンツC2は、スマートデバイス用に最適化されたコンテンツであり、横方向の表示サイズが、端末装置100が有する画面の横方向の表示サイズと同じウェブページであるものとする。また、コンテンツC2は、縦方向の表示サイズが、端末装置100が有する画面の縦方向の表示サイズよりも長いコンテンツであるものとする。
また、図4に示すように、端末装置100は、ユーザU1が図1の第3状態において選択したサムネイルD2及びD3に対応する行動情報を示すコンテンツC12及びC14が含まれるコンテンツC2を画面に表示する。なお、図4の例におけるコンテンツC12及びC14は、図2において示したものと同一であるため、説明を省略する。
図4の第1状態は、端末装置100が画面にコンテンツC2を表示する初期状態を示す。図4の第1状態において、端末装置100は、コンテンツC2のうち最上端からコンテンツC12を画面に表示する。そして、端末装置100は、領域AR22及びAR23をコンテンツC2に重畳させて表示する。なお、図4の例における領域AR22及びAR23は、図2において示したものと同一であるため、説明を省略する。
ここで、図4の第1状態において、ユーザU1の指F10による画面最下部(領域AR23ではない)に対する上方向へのスライド操作が行われたものとする。この場合、端末装置100は、画面を第2状態に遷移させる。
続いて、図4の第2状態は、関連コンテンツを表示する領域(以下、「関連コンテンツ領域」と記載する場合がある)をコンテンツC2に重畳させて表示した状態を示す。図4の例において、関連コンテンツ領域には、ユーザU1が図1の第3状態において選択したサムネイルD1に対応する行動情報(言い換えると、ユーザU1が図1の第3状態において選択した行動情報のうち、行動情報に対応するユーザU1の行動が行われる時間が未確定である行動情報)を示すコンテンツC11、並びに、行動の主題「仙台旅行」に関連する情報であって、ユーザU1にレコメンドする情報を示すコンテンツC19及びコンテンツC20が含まれる。なお、図4の例におけるコンテンツC11は、図2において示したものと同一であるため、説明を省略する。
ここで、図4の第2状態において、ユーザU1の指F10によるコンテンツC11への選択操作が行われたものとする。この場合、端末装置100は、画面を第3状態に遷移させる。
続いて、図4の第3状態は、関連コンテンツ領域を縮小させた状態を示す。なお、図4の第3状態において、ユーザU1の指F10によるコンテンツC11への選択操作が継続されているものとする。この場合、端末装置100は、コンテンツC11の表示位置がユーザU1の指F10により保持された状態で関連コンテンツ領域を縮小させる。すなわち、端末装置100は、コンテンツC11をユーザU1の指F10により保持された状態でコンテンツC2に重畳して表示させる。
続いて、図4の第4状態は、関連コンテンツ領域が縮小し、コンテンツC11以外の関連コンテンツが端末装置100の画面上から非表示となった状態を示す。なお、図4の第3状態において、ユーザU1の指F10によるコンテンツC11への選択操作が継続されているものとする。ここで、端末装置100は、ユーザU1の指F10によるコンテンツC11へのドラッグ操作に応じてコンテンツC11の表示位置を移動させる。
続いて、図4の第5状態は、コンテンツC11の表示位置を移動させた状態を示す。図4の第5状態に示すように、端末装置100は、ユーザU1の指F10による操作に応じた位置にコンテンツC11を表示する。
続いて、図4の第6状態は、ユーザU1の指F10によるコンテンツC11への選択操作が解除された状態を示す。図4の第6状態に示すように、端末装置100は、コンテンツC11への選択操作が解除された位置(時間帯)に、コンテンツC11に関するスケジュールを組み込む。
なお、端末装置100は、画面に表示したコンテンツC2のうち、所定の領域に関連コンテンツ領域を重畳させて表示してもよい。例えば、端末装置100は、画面に表示したコンテンツC2のうち、画面の最下部から画面の中央までの領域(すなわち、画面の下半分の領域)に関連コンテンツ領域を重畳させて表示する。また、端末装置100は、図4の第1状態において、画面最下部から、ユーザU1の指F10による画面最下部に対する上方向へのスライド操作が解除された位置までの領域に関連コンテンツ領域をする。
また、端末装置100は、コンテンツC2に配置されたコンテンツに対する所定の操作(例えば、フリック操作)を受け付けた場合、当該コンテンツをコンテンツC2から削除し、関連コンテンツ領域において表示してもよい。
また、端末装置100は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択操作(例えば、タッチ操作。以下、「移動操作」と記載する場合がある)を受け付けた場合、当該コンテンツをユーザU1の指F10による操作に応じた位置に表示し、コンテンツC2のうち、移動操作が解除された位置に当該コンテンツを表示してもよい。ここで、端末装置100は、コンテンツの移動操作が解除された位置(時間帯)に応じて、当該コンテンツに対応する行動情報(例えば、時間情報)を更新してもよい。
また、端末装置100は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択操作であって、移動操作とは異なる選択操作(例えば、ロングタップ。)を受け付けた場合、当該コンテンツをユーザU1の指F10により保持された状態で関連コンテンツ領域をコンテンツC2に重畳して表示させてもよい。そして、端末装置100は、関連コンテンツ領域上で上記コンテンツの選択が解除された場合、上記コンテンツをコンテンツC2から削除し、関連コンテンツ領域において表示してもよい。
また、上記の説明における端末装置100の画面のスクリーンショットは、情報収集アプリの機能により取得されてもよいし、端末装置100のOS(Operating System)の機能によって取得されてもよい。
また、上記の説明におけるユーザの行動情報は、情報収集アプリの機能により収集されたものに限らず、ユーザの操作に応じて情報収集アプリに追加された情報を含んでもよい。
一般に、ユーザは何らかの行動の指針に基づいて物事を調べ、収集した情報を使って予定を立て、行動する。このとき、情報収集した結果を集約し、スケジュール等の形でユーザに提供した場合、ユーザ体験は向上する。ここで、実施形態に係る端末装置100は、上記のようにユーザの行動情報に基づいてユーザの行動の主題を推定し、行動の主題に対応するコンテンツを表示する。すなわち、実施形態に係る端末装置100は、ユーザの行動の指針に基づいて情報を提供できる。
また、従来、携帯端末のアプリケーションを操作中に表示画面のスクリーンショットを撮影して画像データを取得する技術や、スクリーンショット画像がウェブページの場合にタイトルやURLを重畳させて表示する技術が開示されている。しかしながら、従来の技術では、過去に取得したスクリーンショットのもとになったアプリケーションやITサービスが直感的にわからず、ユーザビリティ向上の余地があった。これに対し、実施形態に係る端末装置100は、上記のようにスクリーンショットに含まれるテキスト情報や、スクリーンショットの提供元に関する情報を、スクリーンショットに重畳させて表示することができる。すなわち、実施形態に係る端末装置100は、ユーザビリティを向上できる。
また、従来、メイン情報の表示領域とは別の、サブ表示の表示領域の配置に基づいてコンテンツ(メイン情報やサブ情報)のレイアウトを調整する技術が提案されている。しかしながら、従来の技術では、コンテンツの配置をユーザが変更する際の操作性は考慮されておらず、ユーザビリティ向上の余地があった。これに対し、実施形態に係る端末装置100は、上記のように関連コンテンツ領域において表示される情報(サブ情報)を、ユーザの感覚的な操作によりメインのコンテンツに配置することができる。すなわち、実施形態に係る端末装置100は、ユーザビリティを向上できる。
〔2.表示処理システムの構成〕
次に、上述した表示処理を実現するための表示処理システム1ついて図5を用いて説明する。図5は、実施形態に係る表示処理システムの構成例を示す図である。図5に示すように、表示処理システム1は、端末装置100と、コンテンツ配信サーバ10と、外部装置20とを含む。端末装置100、コンテンツ配信サーバ10及び外部装置20は、ネットワークNを介して有線または無線により通信可能に接続される。なお、ネットワークNは、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、図5に示す表示処理システム1には、複数台の端末装置100や、複数台のコンテンツ配信サーバ10や、複数台の外部装置20が含まれてもよい。
コンテンツ配信サーバ10は、端末装置100に情報収集アプリに関するコンテンツを配信するサーバ装置である。なお、コンテンツ配信サーバ10は、コンテンツとして情報収集アプリのデータそのものを端末装置100に配信してもよい。なお、コンテンツ配信サーバ10は、端末装置100に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、JavaScript(登録商標)等のスクリプト言語やCSS(Cascading Style Sheets)等のスタイルシート言語により記述される。なお、コンテンツ配信サーバ10から配信される情報収集アプリそのものを制御情報とみなしてもよい。コンテンツ配信サーバ10の構成は後述する。
外部装置20は、端末装置100に各種コンテンツの情報を配信するサーバ装置である。外部装置20は、例えば、ポータルサイト、ニュースサイト、オークションサイト、天気予報サイト、ショッピングサイト、ファイナンス(株価)サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどに関連する各種情報が配置されたウェブページを端末装置100に配信する装置である。なお、外部装置20は、例えば、端末装置100にインストールされた各種アプリ(例えば、ポータルアプリ、ニュースアプリ、オークションサイト、天気予報アプリ、ショッピングアプリ、ファイナンス(株価)アプリ、路線検索アプリ、地図提供アプリ、旅行アプリ、飲食店紹介アプリ、ブログ閲覧アプリ等)に表示する情報を端末装置100に配信する装置であってもよい。また、外部装置20は、アプリケーションのデータそのものを配信するサーバであってもよい。また、外部装置20は、端末装置100に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、JavaScript(登録商標)等のスクリプト言語やCSS等のスタイルシート言語により記述される。なお、外部装置20から配信されるアプリケーションそのものを制御情報とみなしてもよい。
端末装置100は、ユーザによって利用される情報処理装置である。端末装置100は、ユーザの操作に従って、コンテンツ配信サーバ10から情報収集アプリに関する情報を取得する。また、端末装置100は、ユーザの操作に従って、外部装置20から各種コンテンツの情報を取得する。また、端末装置100は、上述の表示処理を実現する制御情報をコンテンツ配信サーバ10から受け取った場合には、制御情報に従って表示処理を実現する。端末装置100の構成は後述する。
〔3.コンテンツ配信サーバの構成〕
次に、図6を用いて、実施形態に係るコンテンツ配信サーバ10の構成について説明する。図6は、実施形態に係るコンテンツ配信サーバの構成例を示す図である。図6に示すように、コンテンツ配信サーバ10は、通信部11と、記憶部12と、制御部14とを有する。
(通信部11について)
通信部11は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部11は、ネットワークNと有線または無線で接続され、端末装置100、外部装置20等との間で情報の送受信を行う。
(記憶部12について)
記憶部12は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図6に示すように、記憶部12は、コンテンツ情報記憶部13を有する。
(コンテンツ情報記憶部13について)
コンテンツ情報記憶部13は、コンテンツに関する情報を記憶する。例えば、コンテンツ情報記憶部13は、ユーザの行動の主題に対応するコンテンツ(図2の例における「コンテンツC1」に相当)を記憶する。また、コンテンツ情報記憶部13は、ユーザの行動の主題に関連する情報であって、ユーザにレコメンドする情報を示すコンテンツを記憶する。また、コンテンツ情報記憶部13は、ユーザの行動情報や属性情報に応じてレコメンドするユーザの行動の主題に対応するコンテンツを記憶する。ここで、図7を用いて、コンテンツ情報記憶部13が記憶するコンテンツに関する情報の一例を説明する。図7は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。図7の例において、コンテンツ情報記憶部13は、「コンテンツID」、「コンテンツ情報」、「属性情報」、「行動履歴」といった項目を有する。
「コンテンツID」は、コンテンツを識別するための識別情報を示す。「コンテンツ情報」は、コンテンツを構成する情報を示す。図7では、「コンテンツ情報」に「コンテンツ情報1」といった概念的な情報が格納される例を示したが、実際には、コンテンツの内容を示すテキスト情報や、画像情報、映像情報、または、その格納場所を示すファイルパス名などが格納される。
「属性情報」は、「コンテンツ情報」に格納されたコンテンツの配信対象となるユーザのデモグラフィック属性やサイコグラフィック属性等の情報が格納される。「行動履歴」は、「コンテンツ情報」に格納されたコンテンツの配信対象となるユーザの行動情報の履歴が格納される。
すなわち、図7では、「属性情報1」に対応する属性を有し、「行動履歴1」に示す行動を行ったユーザに対し、コンテンツID「C101」によって識別される「コンテンツ情報1」が配信される例を示す。
(制御部14について)
制御部14は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、コンテンツ配信サーバ10内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部14は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。実施形態に係る制御部14は、図6に示すように、受付部15と、取得部16と、推定部17と、配信部18とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(受付部15について)
受付部15は、端末装置100からコンテンツの配信要求や、行動情報を受け付ける。
(取得部16について)
取得部16は、受付部15が端末装置100から受け付けた行動情報に対して、画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、行動情報に関する情報(対象情報)を取得する。例えば、取得部16は、行動情報の提供元に対応するアイコン画像(例えば、アプリアイコンや、ウェブサービスに設定されているアイコン画像(ウェブクリックアイコン)など)を含む対象情報を取得する。また、取得部16は、行動情報に対して画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、テキスト情報や、時間情報、位置情報等を含む対象情報を取得する。
(推定部17について)
推定部17は、ユーザの行動に関する行動情報に基づいて、ユーザの行動と対応する主題を推定する。例えば、推定部17は、受付部15が端末装置100から受け付けた行動情報に対して、画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、行動情報に含まれるテキスト情報や、時間情報、位置情報等の情報を抽出する。そして、推定部17は、行動情報から抽出した情報に基づいて、ユーザの行動の主題を推定する。
(配信部18について)
配信部18は、受付部15によってコンテンツの配信要求が受け付けられた場合に、端末装置100を利用するユーザの属性情報や行動情報に応じてコンテンツ情報記憶部13に格納されたコンテンツを配信する。また、配信部18は、取得部16が取得した対象情報を端末装置100に配信する。また、配信部18は、ユーザが利用する端末装置であって、推定部17により推定された主題と対応する情報の表示処理を行う端末装置に主題に関する情報を配信する。例えば、配信部18は、推定部17が推定したユーザの行動の主題に関する情報を端末装置100に配信する。
〔4.端末装置の構成〕
次に、図8を用いて、実施形態に係る端末装置100の構成について説明する。図8は、実施形態に係る端末装置の構成例を示す図である。図8に示すように、端末装置100は、通信部110と、記憶部120と、入力部130と、出力部140と、撮像部150と、制御部160とを有する。
(通信部110について)
通信部110は、例えば、NIC等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、コンテンツ配信サーバ10、外部装置20等との間で情報の送受信を行う。
(記憶部120について)
記憶部120は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図8に示すように、記憶部120は、行動情報記憶部121を有する。
(行動情報記憶部121について)
行動情報記憶部121は、ユーザの行動に関する行動情報を記憶する。ここで、図9を用いて、行動情報記憶部121が記憶する行動情報の一例を説明する。図9は、実施形態に係る行動情報記憶部の一例を示す図である。図9の例において、行動情報記憶部121は、「日付」、「行動情報」、「解析結果情報」といった項目を有する。
「日付」は、端末装置100を利用するユーザが「行動情報」に格納された情報によって示される行動を行った日付を示す。「行動情報」は、端末装置100を利用するユーザが行なった行動に関する情報を示す。なお、図9では、「行動情報」に「コンテンツ情報1」といった概念的な情報が格納される例を示したが、実際には、端末装置100の画面のスクリーンショットや、ユーザが端末装置100を用いて撮影した画像及び動画、ユーザが端末装置100を用いて閲覧した画像及び動画、ユーザが端末装置100を用いて送受信した電子メール、ユーザが端末装置100を介して利用したアプリケーション、ウェブサービス等においてブックマークしたコンテンツ等の情報、または、その格納場所を示すファイルパス名が格納される。
「解析結果情報」は、「行動情報」に格納された情報に対して、画像解析や、形態素解析等の種々の従来技術を適宜用いて解析することにより抽出した時間情報や、位置情報等の情報(図3の例における対象情報)を示す。
すなわち、図9では、日付「20XX/1/9」に端末装置100を利用するユーザが「行動情報1」に示す行動を行い、「行動情報1」から「解析結果1」が抽出された例を示す。
(入力部130及び出力部140について)
入力部130は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部130は、キーボードやマウスや操作キー等によって実現される。出力部140は、各種情報を表示するための表示装置である。つまり、出力部140は、端末装置100の表示画面に相当する。例えば、出力部140は、液晶ディスプレイ等によって実現される。なお、端末装置100にタッチパネルが採用される場合、入力部130及び出力部140は一体化される。
(撮像部150について)
撮像部150は、レンズ等の光学系と、CCD(Charge Coupled Device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子とを有する。
(制御部160について)
制御部160は、コントローラであり、例えば、CPUやMPU等によって、端末装置100内部の記憶装置に記憶されている各種プログラム(表示プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。なお、制御部160は、上述した表示処理を実現する制御情報又はアプリケーションをコンテンツ配信サーバ10から配信された場合、かかる制御情報又はアプリケーションに従って動作し、表示処理を実現する。
また、制御部160は、コントローラであり、例えば、ASICやFPGA等の集積回路により実現される。実施形態に係る制御部160は、図8に示すように、取得部161と、処理部162と、推定部163と、検索部164と、表示部165と、表示制御部166とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
(取得部161について)
取得部161は、撮影画像を用いて、当該撮影画像に撮影された撮影対象に関する情報である対象情報を取得する。例えば、図3の例において、取得部161は、端末装置100の画面のスクリーンショットや、ユーザU1が端末装置100を用いて撮影した画像及び動画、ユーザU1が端末装置100を用いて閲覧した画像及び動画、ユーザU1が端末装置100を用いて送受信した電子メール、ユーザU1が端末装置100を介して利用したアプリケーション、ウェブサービス等においてブックマークしたコンテンツ等を含む行動情報に対して、画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、対象情報を取得する。
また、取得部161は、撮影対象の提供元となるアプリケーションに関する情報を示す対象情報を取得してもよい。例えば、図3の例において、取得部161は、行動情報の提供元(例えば、アプリケーション、ウェブサービスなど)を特定するための情報を含む対象情報を取得する。
また、取得部161は、撮影対象の提供元となるアプリケーションを示すアイコン画像を含む対象情報を取得してもよい。例えば、図3の例において、取得部161は、行動情報の提供元に対応するアイコン画像(例えば、アプリアイコンや、ウェブサービスに設定されているアイコン画像(ウェブクリックアイコン)など)等を含む対象情報を取得する。
また、取得部161は、撮影対象となる文字列の解析結果を対象情報として取得してもよい。例えば、図3の例において、取得部161は、行動情報に対して、画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、テキスト情報や、時間情報、位置情報等を含む対象情報を取得する。
また、取得部161は、撮影対象となる二次元コードが示す情報を示す対象情報を取得する。通常、チケット販売サービス等から提供されるチケットの発券コード(例えば、QRコード(登録商標)等)の表示画面には、発券コードと共に発券コードに対応するイベントの開催日時に関する時間情報や、開催地に関する位置情報等の情報が表示されることが想定される。そのため、取得部161は、二次元コードを表示した画面のスクリーンショットに対して、画像解析を用いて解析することにより、二次元コードが示す情報を示す時間情報や、位置情報等の対象情報を取得する。
なお、取得部161は、コンテンツ配信サーバ10から対象情報を取得してもよい。例えば、取得部161は、行動情報の提供元を特定するための情報と共に行動情報をコンテンツ配信サーバ10に送信する。そして、取得部161は、コンテンツ配信サーバ10が行動情報の提供元を特定するための情報及び行動情報を解析することにより抽出した対象情報をコンテンツ配信サーバ10から受け付けることにより、対象情報を取得してもよい。
(処理部162について)
処理部162は、対象情報として取得された文字列と対応する処理を実行する。例えば、処理部162は、ユーザU1の現在位置に基づいて、対象情報として取得された文字列と対応する処理を実行する。例えば、図3の例において、行動情報(例えば、飲食店紹介サービスにおいてユーザがブックマークした飲食店に関するコンテンツ)に位置情報が含まれる場合、処理部162は、ユーザU1の現在位置が当該位置情報から所定の範囲内(例えば、100メートル、500メートルなど)である場合、ユーザU1に当該行動情報に関する通知を行う。
また、例えば、図3の例において、処理部162は、ユーザU1にサービスを提供するサービス提供装置などの外部装置20等からユーザU1の現在位置周辺の店舗に関する情報を収集する。そして、端末装置100は、ユーザU1の現在位置から所定の範囲内の店舗にユーザの行動情報に対応する商品(例えば、サムネイルD6〜9に対応する商品)を扱う店舗が存在する場合、ユーザU1に当該行動情報に関する通知を行う。
また、処理部162は、行動情報の提供元から提供される情報に基づいて対象情報が更新された旨の通知をユーザU1に行ってもよい。例えば、図3の例において、処理部162は、サムネイルD1の行動情報に対応する飲食店Aの営業時間や、休業日などの変更に関する情報や、サムネイルD2の行動情報に対応する電車の遅延情報、サムネイルD6〜D9の行動情報に対応する商品の価格の変更に関する情報等の通知をユーザU1に行ってもよい。また、処理部162は、各種交通手段の遅延情報の通知とともに、迂回案に関する情報をユーザU1に通知してもよい。
また、処理部162は、対象情報として取得された文字列が時刻を示す場合は、当該時刻を利用者に通知する処理を実行してもよい。例えば、図3の例において、処理部162は、対象情報に時間情報が含まれるサムネイルD2〜D4に対応する行動情報に関する通知を当該時間情報に基づいて行ってもよい。
(推定部163について)
推定部163は、ユーザの行動に関する行動情報に基づいて、ユーザの行動と対応する主題を推定する。例えば、図1の例において、推定部163は、端末装置100に実装された情報収集アプリにより収集されたユーザU1の行動情報に基づいて、ユーザU1の行動と対応する主題を推定する。
また、推定部163は、行動情報のうち一部の行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、「仙台」に関連する行動情報(サムネイルD1〜D3に対応する行動情報)に基づいて、ユーザU1の行動の主題を推定する。
また、推定部163は、行動情報のうちユーザによって選択された行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、ユーザU1が選択したサムネイルD1〜D3に対応する行動情報に基づいて、ユーザU1の行動の主題を推定する。
また、推定部163は、ユーザの操作に応じて保存された情報である行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、ユーザU1が端末装置100を用いて取得した端末装置100の画面のスクリーンショットや、ユーザU1が端末装置100を用いて撮影した画像及び動画、ユーザU1が端末装置100を用いて閲覧した画像及び動画、ユーザU1が端末装置100を用いて送受信した電子メール、ユーザU1が端末装置100を介して利用したアプリケーション、ウェブサービス等においてブックマークしたコンテンツなどといった、ユーザU1の能動的な操作によって取得された行動情報に基づいて、ユーザU1の行動の主題を推定する。
また、推定部163は、電子メールに関する情報を含む行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、ユーザU1が端末装置100を用いて受信した、「1月13日」における仙台市内のホテルBの予約確認に関する電子メールを含む行動情報に基づいて、ユーザU1の行動の主題を推定する。
また、推定部163は、アプリケーションの表示画面に関する画像の画像認識結果に基づく情報を含む行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、所定のアプリケーション上における路線検索サービスの表示画面のスクリーンショットに対し、種々の従来技術を適宜用いて解析することによりテキスト情報や、時間情報、位置情報等の情報を抽出する。そして、推定部163は、抽出した情報を含む行動情報に基づいてユーザU1の行動の主題を推定する。
また、推定部163は、ユーザが行った経路検索の結果を含む行動情報を取得し、経路検索の結果に基づいてユーザが訪問する地域を推定し、推定した地域を主題としてもよい。例えば、図1の例において、推定部163は、ユーザU1が行った路線検索サービスにおける検索結果の表示画面のスクリーンショットを含む行動情報を取得する。そして、推定部163は、表示画面のスクリーンショットに対し、種々の従来技術を適宜用いて解析することにより抽出した到着地「仙台」に関連する主題「仙台旅行」をユーザU1の行動の主題とする。
また、推定部163は、行動情報のうちユーザによって選択された行動情報に基づいて、主題を推定してもよい。例えば、図1の例において、推定部163は、ユーザU1によって選択されたサムネイルD1〜D3に対応する行動情報に基づいて、ユーザU1の行動の主題を推定する。
なお、推定部163は、コンテンツ配信サーバ10から行動情報に含まれるテキスト情報や、時間情報、位置情報等の情報を取得してもよい。例えば、推定部163は、行動情報をコンテンツ配信サーバ10に送信する。そして、推定部163は、コンテンツ配信サーバ10が行動情報を解析することにより抽出したテキスト情報や、時間情報、位置情報等の情報をコンテンツ配信サーバ10から受け付け、受け付けた情報に基づいてユーザの行動の主題を推定する。また、推定部163は、コンテンツ配信サーバ10に送信した行動情報に基づいてコンテンツ配信サーバ10(推定部17)が推定したユーザの行動の主題に関する情報を取得してもよい。また、推定部163は、推定部163が推定したユーザの行動の主題と、コンテンツ配信サーバ10が推定したユーザの行動の主題との同期をとるようにしてもよい。
(検索部164について)
検索部164は、推定部163により推定された主題と対応する情報を検索する。例えば、図2の例において、検索部164は、行動情報記憶部121や、ユーザU1にサービスを提供するサービス提供装置などの外部装置20等から、行動の主題「仙台旅行」と対応する情報を検索する。
また、検索部164は、行動情報から主題と対応する情報を検索してもよい。例えば、図2の例において、検索部164は、端末装置100に実装された情報収集アプリにより収集した行動情報であって、行動の主題「仙台旅行」に関連する行動情報を検索する。
また、検索部164は、主題と対応するウェブ上の情報を検索してもよい。例えば、図2の例において、検索部164は、ウェブページや、端末装置100にインストールされた各種アプリから、行動の主題「仙台旅行」と対応する情報を検索する。
また、検索部164は、主題と対応する施設であって、ユーザによって選択された行動情報と対応する位置から所定の範囲内にある施設の情報を検索してもよい。例えば、検索部164は、ユーザによって選択された行動情報に位置情報が含まれる場合、当該位置情報から所定の範囲内(例えば、100メートル、500メートルなど)にある主題と対応する施設の情報を検索する。
また、検索部164は、ユーザの検索履歴に基づいて、施設の情報を検索する。例えば、検索部164は、端末装置100に実装された情報収集アプリにより収集した行動情報に含まれるユーザの検索履歴に基づいて、施設の情報を検索する。
なお、検索部164は、推定部163がコンテンツ配信サーバ10から取得したユーザの行動の主題に関する情報に基づいて、当該情報が示すユーザの行動の主題に対応する情報を検索してもよい。例えば、検索部164は、推定部163がコンテンツ配信サーバ10から取得したユーザの行動の主題に関する情報が「仙台旅行」を示すものである場合、「仙台旅行」と対応する情報を行動情報記憶部121や、ユーザU1にサービスを提供するサービス提供装置などの外部装置20等から検索する。
(表示部165について)
表示部165は、少なくとも、検索部164により検索された情報に基づいたコンテンツを表示する。例えば、図2の例において、表示部165は、ユーザU1にサービスを提供するサービス提供装置などの外部装置20や、端末装置100に実装された情報収集アプリにより収集したユーザU1の行動情報等から検索部164により検索された行動の主題「仙台旅行」と対応する情報に基づいたコンテンツC1を表示する。
また、表示部165は、ユーザの行動に関する行動情報と、検索部164により検索された情報とに基づいたコンテンツを表示してもよい。例えば、図2の例において、表示部165は、端末装置100に実装された情報収集アプリにより収集した行動情報に対応するコンテンツC11、コンテンツC12及びコンテンツC13と、検索部164により検索された情報に対応するコンテンツC17とに基づいたコンテンツC1を表示する。
また、表示部165は、ユーザの状況に応じた態様でコンテンツを表示してもよい。例えば、図2の例において、表示部165は、現在時刻が朝(例えば、5時から8時)または夜(例えば、18時から24時)の場合にコンテンツC1を表示する際、ユーザU1が当日のスケジュールまたは翌日のスケジュールを確認することを目的としてコンテンツC1を閲覧することが想定されるため、コンテンツC1をタイムラインの形式(図2の第1状態、第2状態及び第4状態)や、アルバムの形式(図2の第6状態)で表示する。
また、例えば、表示部165は、端末装置100に実装された種々のセンサにより検知されたセンサ情報に基づいて推定されるユーザの状況に応じた態様でコンテンツを表示する。例えば、図2の例において、端末装置100に実装された種々のセンサにより、ユーザの状況が「歩行状態」と推定された場合、表示部165は、コンテンツC1をマップの形式(図2の第5状態)で表示する。
また、表示部165は、主題に応じた態様でコンテンツを表示する。例えば、図2の例において、表示部165は、推定部163がユーザU1の行動の主題を「仙台旅行」と推定したため、旅行に応じたイムラインの形式でコンテンツC1を表示し、編集操作を受け付ける。なお、表示部165は、推定部163が推定したユーザの行動の主題に応じて、種々の態様でコンテンツを表示してもよい。ここで、図10を用いて、コンテンツをアルバムの形式で表示する例を示す。図10は、実施形態に係る端末装置の一例を示す図(5)である。
なお、図10の例において、電子商取引サービスにおいてユーザU1がブックマークした商品(靴H〜靴K)に関する行動情報が選択され、推定部163がユーザU1の行動の主題を「購入する靴を検討中(ほしいものメモ)」と推定したものとする。そして、図10の第1状態(図1の第5状態に相当)において、表示部165がユーザU1の行動の主題「ほしいものメモ」に対応するコンテンツを領域AR11に表示したものとする。
図10の第1状態において、行動の主題「ほしいものメモ」に対応するコンテンツに対するユーザU1の選択操作を受け付けることにより、表示部165は、画面を第2状態に遷移させる。図10の第2状態は、ユーザが選択した行動情報に対応する情報が表示された状態を示す。図10の例において、表示部165は、ユーザが選択した行動情報に対応するコンテンツC21〜C24を画面に表示する。また、表示部165は、コンテンツC21〜C24の表示態様の変更をユーザU1が指示するための領域AR22を画面に表示する。
図10の第2状態において、表示部165は、行動情報の提供元から取得した商品の画像や、商品の価格、値引きに関する情報等を含むコンテンツC21〜C24を表示する。なお、図10の第2状態において、表示部165は、ユーザU1の行動情報に基づくデモグラフィック属性やサイコグラフィック属性に基づいて、ユーザU1の行動の主題において購入の検討対象となっている靴に関する情報を表示してもよい。
また、図10の第2状態において、領域AR22が選択された場合、表示部165は、コンテンツC21〜C24に対応する商品を販売している実店舗の位置を示す地図情報を画面に表示してもよい。例えば、表示部165は、ユーザU1の現在位置から所定の範囲内(例えば、100メートル、500メートルなど)でコンテンツC21〜C24に対応する商品を販売している実店舗の位置を示す地図情報を画面に表示する。
続いて、図10の第3状態は、ユーザU1が選択した行動情報に対応する情報が表示された状態を示す。例えば、図10の例において、表示部165は、電子商取引サービスにおいてユーザU1が選択した行動情報に対応する商品のページを情報収集アプリに含まれるブラウザに表示する。
また、表示部165は、主題と対応する情報から時間情報または位置情報を抽出し、当該時間情報または当該位置情報に基づく表示位置に主題と対応する情報を配置したコンテンツを表示してもよい。例えば、図2の例において、表示部165は、コンテンツC1に含まれるコンテンツに対応する行動情報から時間情報を抽出し、抽出した時間情報に対応する表示位置にコンテンツを配置して画面に表示する。また、図2の例において、表示部165は、「仙台駅」を出発地点として設定し、コンテンツC1に含まれる各コンテンツに対応する行動情報等から位置情報を抽出する。そして、表示部165は、抽出した位置情報の「仙台駅」からの距離に応じて各コンテンツをコンテンツC1に配置して画面に表示する。
また、表示部165は、位置情報に基づいて、主題と対応する情報を配置した地図情報を含むコンテンツを表示してもよい。例えば、図2の例において、表示部165は、コンテンツC1に含まれるコンテンツに対応する行動情報等から位置情報を抽出し、仙台市の地図上において抽出した位置情報に対応する位置に各コンテンツを配置して画面に表示する。
また、表示部165は、時間情報または位置情報に基づいて、主題と対応する情報を時系列に沿った順に配置したコンテンツを表示してもよい。例えば、図2の例において、表示部165は、コンテンツC1に含まれるコンテンツに対応する行動情報等から時間情報または位置情報を抽出し、コンテンツC1に含まれる各コンテンツを、領域AR21に配置して画面に表示する。
また、表示部165は、ユーザによって選択された行動情報と、ウェブ上の情報とを表示してもよい。例えば、図2の例において、表示部165は、ユーザU1によって選択された行動情報に対応するコンテンツC11、コンテンツC12及びコンテンツC13と、検索部164が検索した情報に対応するコンテンツを含むコンテンツC1を表示する。
なお、表示部165は、行動の主題のレコメンドを表示してもよい。ここで、図11を用いて、行動の主題のレコメンドを表示する例を示す。図11は、実施形態に係る端末装置の一例を示す図(6)である。
なお、図11の例において、端末装置100に実装された情報収集アプリによって、映画Lに関するユーザU1の行動情報が収集されているものとする。例えば、図11の例において、映画Lに関する行動情報として、ユーザU1が端末装置100を用いて閲覧した映画Lに関する画像及び動画、映画Lを上映している映画館Mに関するウェブサービスにおけるブックマーク等が情報収集アプリによって収集されているものとする。また、図11の例において、推定部163が映画Lに関する行動情報に基づいて、ユーザU1の行動の主題を「映画L」と推定したものとする。そして、図11の第1状態(図1の第5状態に相当)において、表示部165がユーザU1にレコメンドする行動の主題「映画L」に対応するコンテンツを領域AR11に表示したものとする。
図11の第1状態は、行動の主題のレコメンドを表示した状態を示す。図11の第1状態において、表示部165は、行動の主題「映画L」に対応するコンテンツの視認性を低下させた状態で、「今週末映画を見に行きませんか?」といったテキストと共に表示する。ここで、行動の主題「映画L」に対応するコンテンツに対するユーザU1の選択操作を受け付けることにより、表示部165は、画面を第2状態に遷移させる。
続いて、図11の第2状態は、行動の主題「映画L」に関連するコンテンツが表示された状態を示す。例えば、図11の例において、検索部164は、行動の主題「映画L」に関連する情報を検索する。そして、表示部165は、検索部164が検索した情報から時間情報を抽出し、抽出した時間情報に対応する表示位置に当該情報を示すコンテンツC25〜C27の視認性を低下させて表示する。また、図11の第1状態においても、端末装置100は、領域AR22及び領域AR23を表示する。ここで、コンテンツC25は、路線検索サービスにおけるユーザU1の居住地域「下北沢」から映画館Mの所在地「新宿」までの乗り換え案内に関する情報を示す。また、コンテンツC26は、映画館Mにおける映画Lの上映時間に関する情報を示す。また、コンテンツC27は、検索部164が行動の主題「映画L」においてユーザU1が訪問する地域「新宿」に関連する情報(所在地が「新宿」である飲食店Nに関する情報)を検索した結果を示す。
なお、図11の第2状態において、コンテンツC25〜C27に所定の操作(例えば、タップ、ロングタップなど)が行われた場合、各コンテンツに対応するアプリケーションや、ウェブサービス、コンテンツ等を表示してもよい。例えば、コンテンツC25に所定の操作が行われた場合、表示部165は、路線検索サービスをコンテンツC25に対応するパラメータ情報が入力された状態で立ち上げる。そして、表示部165は、パラメータ情報が変更(例えば、到着時間が変更)された場合、図11の第2状態において、変更後のパラメータ情報に対応する表示位置にコンテンツC25を表示する。また、例えば、コンテンツC26またはC27に所定の操作が行われた場合、表示部165は、施設予約サービスにおける映画Lまたは飲食店Nの予約に関するページを表示する。また、例えば、コンテンツC27に所定の操作が行われた場合、表示部165は、ユーザU1が訪問する地域「新宿」に関連する情報であって、飲食店Nに関する情報とは異なる情報に対応するコンテンツをユーザU1にレコメンドするコンテンツとして画面に表示する。
続いて、図11の第3状態は、第2状態において表示したコンテンツがユーザU1に選択された状態を示す。なお、図11の例において、ユーザU1にコンテンツC25〜C27が選択されたものとする。この場合、表示部165は、コンテンツC25〜C27の視認性を高めて表示する。そして、図11の第3状態において領域AR23が選択されたことにより、表示部165は、行動の主題「映画L」に関連するコンテンツを記憶部120に格納し、画面を第4状態に遷移させる。
続いて、図11の第4状態は、行動の主題のレコメンドがユーザU1に選択された状態を示す。図11の第4状態に示すように、表示部165は、行動の主題「映画L」に対応するコンテンツの視認性を高めた状態で表示する。
また、表示部165は、取得部161により取得された対象情報を撮影画像に重畳させて表示してもよい。例えば、図3の例において、表示部165は、取得部161により取得された対象情報を表示する領域AR18を、各サムネイルに重畳させて表示する。
また、表示部165は、撮影対象の提供元となるアプリケーションから提供される情報に基づいて更新された対象情報を、撮影画像に重畳させて表示してもよい。例えば、図3の例において、表示部165は、撮影対象の提供元から提供される飲食店の営業時間や、休業日などの変更に関する情報や、各種交通手段の遅延情報、商品の価格の変更に関する情報によって更新された対象情報を各サムネイルに重畳させて表示する。
また、表示部165は、撮影画像が選択された場合、撮影対象に対応する画面であって、撮影対象の提供元となるアプリケーションが提供する画面を表示してもよい。例えば、図3の例において、表示部165は、ユーザU1が選択したサムネイルに対応する行動情報を取得した際に入力されたパラメータ情報と同一のものを入力した状態で、当該行動情報の提供元であるアプリケーションやウェブサービスを表示する。
また、表示部165は、第1コンテンツに対し、第2コンテンツが配置された第3コンテンツを重畳させて表示してもよい。例えば、図4の例において、表示部165は、関連コンテンツを表示する関連コンテンツ領域をコンテンツC2に重畳させて表示する。
また、表示部165は、第1コンテンツに対し、複数の第2コンテンツが配置された第3コンテンツを重畳させて表示してもよい。例えば、図4の例において、表示部165は、ユーザU1にレコメンドする情報を示すコンテンツC19及びコンテンツC20が含まれる関連コンテンツ領域をコンテンツC2に重畳させて表示する。
また、表示部165は、第1コンテンツに含まれる第4コンテンツが選択された場合、第3コンテンツを表示してもよい。例えば、図4の例において、表示部165は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択操作を受け付けた場合、当該コンテンツをユーザU1の指F10により保持された状態で関連コンテンツ領域をコンテンツC2に重畳して表示させる。
また、表示部165は、選択された第4コンテンツの位置を保持したまま第3コンテンツを表示してもよい。例えば、図4の例において、表示部165は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択操作であって、移動操作とは異なる選択操作を受け付けた場合、当該コンテンツをユーザU1の指F10により保持された状態で関連コンテンツ領域をコンテンツC2に重畳して表示する。
(表示制御部166について)
表示制御部166は、第2コンテンツが選択された場合、第1コンテンツと、選択された当該第2コンテンツとを表示させたまま、第3コンテンツが表示される領域を縮小させる。例えば、図4の例において、表示制御部166は、ユーザU1の指F10による選択操作が行われたコンテンツC11を表示させた状態で、関連コンテンツ領域を縮小させる。
また、表示制御部166は、第2コンテンツを第1コンテンツに重畳させて表示させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10による選択操作が行われたコンテンツC11をコンテンツC2に重畳させて表示する。
また、表示制御部166は、選択された第2コンテンツの表示態様を変更した状態で、第1コンテンツに重畳して表示させてもよい。例えば、表示制御部166は、バイブレーションや、点滅、色付け、サイズアップ、サイズダウン、輝度アップ、輝度ダウン、マーキングの追加等が行われた状態の第2コンテンツを、第1コンテンツに重畳して表示させる。
また、表示制御部166は、第2コンテンツが選択された場合、第1コンテンツ及び第3コンテンツの表示態様を変更した状態で表示させてもよい。例えば、表示制御部166は、バイブレーションや、点滅、色付け、サイズアップ、サイズダウン、輝度アップ、輝度ダウン、マーキングの追加等が行われた状態の第1コンテンツ及び第3コンテンツを表示する。
また、表示制御部166は、選択された第2コンテンツの視認性を高めた状態で、第1コンテンツに重畳して表示させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10による選択操作が行われたコンテンツC11の視認性を高めた状態でコンテンツC2に重畳させて表示する。
また、表示制御部166は、選択された第2コンテンツの視認性を低下させた状態で、第1コンテンツに重畳して表示させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10による選択操作が行われたコンテンツC11の視認性を低下させた状態でコンテンツC2に重畳させて表示する。
また、表示制御部166は、第1コンテンツ及び第3コンテンツの視認性を低下させた状態で表示させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10によりコンテンツC11への選択操作が行われた後、コンテンツC2及び関連コンテンツ領域の視認性を低下させた状態で表示する。
また、表示制御部166は、第3コンテンツが表示される領域を徐々に縮小させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10によりコンテンツC11への選択操作が行われた後、関連コンテンツ領域を徐々に縮小させる。
また、表示制御部166は、第1コンテンツが表示される領域を徐々に拡大させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10によりコンテンツC11への選択操作が行われた後、コンテンツC2を徐々に拡大させる。
また、表示制御部166は、第2コンテンツの位置を保持したまま、第3コンテンツが表示される領域を縮小させてもよい。例えば、図4の例において、表示制御部166は、コンテンツC11をユーザU1の指F10により保持された状態で関連コンテンツ領域を徐々に縮小させる。
また、表示制御部166は、第2コンテンツが選択され続けた場合、第3コンテンツが表示される領域を縮小させてもよい。例えば、図4の例において、表示制御部166は、コンテンツC11がユーザU1の指F10によりロングタップ等の操作が行われた場合、関連コンテンツ領域を縮小させる。
また、表示制御部166は、第2コンテンツが選択された選択位置が所定方向へ移動された場合、第3コンテンツが表示される領域を縮小させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10によりコンテンツC11への選択操作が行われ、所定方向へ移動された場合、関連コンテンツ領域を縮小させる。
また、表示制御部166は、第2コンテンツが選択された選択位置の移動に応じて、当該第2コンテンツの表示位置を移動させてもよい。例えば、図4の例において、表示制御部166は、ユーザU1の指F10によるコンテンツC11へのドラッグ操作に応じてコンテンツC11の表示位置を移動させる。
また、表示制御部166は、第2コンテンツに対する選択が解除された場合、第1コンテンツのうち第2コンテンツの選択が解除された位置と対応する位置に第2コンテンツを重畳させて表示してもよい。例えば、図4の例において、表示制御部166は、コンテンツC2のうち、ユーザU1の指F10によるコンテンツC11への選択操作が解除された位置にコンテンツC11を表示する。
また、表示制御部166は、いずれかの第2コンテンツが選択された場合は、第1コンテンツと選択された第2コンテンツとを表示させたまま、第3コンテンツが表示される領域を縮小させてもよい。例えば、図4の例において、表示制御部166は、関連コンテンツ領域に表示されたコンテンツC11、コンテンツC19及びコンテンツC20のいずれかのコンテンツが選択された場合、選択されたコンテンツを表示させたまま関連コンテンツ領域を縮小させる。
また、表示制御部166は、第1コンテンツに含まれる第4コンテンツに対し所定の操作が行われた場合、第1コンテンツが表示される領域において4コンテンツを非表示としてもよい。例えば、図4の例において、表示制御部166は、コンテンツC2に配置されたコンテンツに対する所定の操作(例えば、フリック操作)を受け付けた場合、当該コンテンツをコンテンツC2から削除する。
また、表示制御部166は、第3コンテンツが表示される領域で第4コンテンツに対する選択が解除された場合、第1コンテンツが表示される領域において第4コンテンツを非表示とし、第3コンテンツが表示される領域において第4コンテンツを表示してもよい。例えば、図4の例において、表示制御部166は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択操作に応じて表示部165が表示した関連コンテンツ領域上で、上記コンテンツの選択が解除された場合、上記コンテンツをコンテンツC2から削除し、関連コンテンツ領域において表示する。
また、表示制御部166は、第3コンテンツが表示される領域で第4コンテンツに対する選択が解除された場合、第1コンテンツが表示される領域において第4コンテンツを非表示とし、第3コンテンツが表示される領域において第4コンテンツを表示したまま第3コンテンツが表示される領域を縮小させてもよい。例えば、図4の例において、表示制御部166は、コンテンツC2に配置されたコンテンツに対するユーザU1の指F10による選択が関連コンテンツ領域上で解除された場合、当該コンテンツをコンテンツC2から削除し、関連コンテンツ領域において表示したまま関連コンテンツ領域を縮小させる。
〔5.表示処理のフロー〕
図12を用いて、実施形態に係る表示処理システム1のコンテンツの表示処理の手順について説明する。図12は、実施形態に係る表示処理手順の一例を示すフローチャート(1)である。
図12に示すように、端末装置100は、ユーザの行動情報に基づいて、ユーザの行動の主題を推定する(ステップS101)。続いて、端末装置100は、ユーザの行動の主題に対応する情報を検索する(ステップS102)。例えば、端末装置100は、ウェブ上(ウェブページや、端末装置100にインストールされた各種アプリ)や、端末装置100に実装された情報収集アプリが収集したユーザの行動情報から、ユーザの行動の主題に対応する情報を検索する。
続いて、端末装置100は、検索した情報に基づくコンテンツを表示し(ステップS103)、処理を終了する。
次に、図13を用いて、実施形態に係る表示処理システム1の対象情報の表示処理の手順について説明する。図13は、実施形態に係る表示処理手順の一例を示すフローチャート(2)である。
図13に示すように、端末装置100は、行動情報から対象情報を取得する(ステップS201)。例えば、端末装置100は、行動情報に対して画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、テキスト情報や、時間情報、位置情報、行動情報の提供元を特定するための情報、行動情報の提供元に対応するアイコン画像等を取得する。
続いて、端末装置100は、対象情報を撮影画像に重畳させて表示する(ステップS202)。例えば、端末装置100は、行動情報として取得した端末装置100のスクリーンショット等に対象情報を重畳させて表示する。
続いて、端末装置100は、対象情報に対応する処理を実行し(ステップS203)、処理を終了する。例えば、端末装置100は、対象情報に時間情報が含まれる場合、当該時間情報に基づいてユーザに通知するアラームを設定する。
次に、図14を用いて、実施形態に係る表示処理システム1のコンテンツの表示処理の手順について説明する。図14は、実施形態に係る表示処理手順の一例を示すフローチャート(3)である。
図14に示すように、端末装置100は、第1コンテンツを表示する(ステップS301)。例えば、図4の例において、端末装置100は、コンテンツC2を表示する。続いて、端末装置100は、第3コンテンツの表示処理を指示する操作が行われた場合(ステップS302;Yes)、第2コンテンツが配置された第3コンテンツを第1コンテンツに重畳させて表示する(ステップS303)。例えば、図4の例において、端末装置100は、関連コンテンツが配置された関連コンテンツ領域をコンテンツC2に重畳させて表示する。一方、端末装置100は、第3コンテンツの表示処理を指示する操作が行われない場合(ステップS302;No)、第1コンテンツをそのまま表示する。そして、端末装置100は、第1コンテンツの保存処理を指示する操作が行われた場合(ステップS306;Yes)、第1コンテンツを保存し(ステップS307)、処理を終了する。また、端末装置100は、第1コンテンツの保存処理を指示する操作が行われない場合(ステップS306;No)、第1コンテンツを継続して表示する。
続いて、端末装置100は、第2コンテンツが選択された場合(ステップS304;Yes)、第1コンテンツ及び第2コンテンツを表示させたまま第3コンテンツが表示される領域を縮小させる(ステップS305)。一方、端末装置100は、第2コンテンツが選択されない場合(ステップS304;No)、第3コンテンツが表示される領域を縮小させ、第1コンテンツを表示する。例えば、端末装置100は、第3コンテンツに所定の操作(例えば、スワイプ操作)が行われた場合、第3コンテンツが表示される領域を縮小させ、第1コンテンツを表示する。そして、端末装置100は、第1コンテンツの保存処理を指示する操作が行われた場合(ステップS306;Yes)、第1コンテンツを保存し(ステップS307)、処理を終了する。また、端末装置100は、第1コンテンツの保存処理を指示する操作が行われない場合(ステップS306;No)、第1コンテンツを継続して表示する。
続いて、第1コンテンツの保存処理を指示する操作が行われた場合(ステップS306;Yes)、第1コンテンツを保存し(ステップS307)、処理を終了する。例えば、端末装置100は、第2コンテンツが配置された状態の第1コンテンツを保存する。一方、端末装置100は、第1コンテンツの保存処理を指示する操作が行われない場合(ステップS306;No)、第2コンテンツが配置された状態の第1コンテンツを継続して表示する。
〔6.変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
〔6−1.行動情報について〕
上述の実施形態において、行動情報とは、ユーザU1が端末装置100を用いて取得した端末装置100の画面のスクリーンショットや、ユーザU1が端末装置100を用いて撮影した画像及び動画、ユーザU1が端末装置100を用いて閲覧した画像及び動画、ユーザU1が端末装置100を用いて送受信した電子メール、ユーザU1が端末装置100を介して利用したアプリケーション、ウェブサービス等においてブックマークしたコンテンツ等である例を示したが、行動情報は上述した例に限られない。行動情報とは、情報処理装置等により取得可能なユーザの行動に関する情報であれば、どのような情報であってもよい。
〔6−2.表示部165及び表示制御部166について〕
上述した図4の例において、表示部165及び表示制御部166が、関連コンテンツを表示する関連コンテンツ領域を画面に重畳させて表示する例を示したが、表示部165及び表示制御部166の機能は上述した例に限られない。第2コンテンツは、第1コンテンツに対し付加が可能な情報であれば、どのような情報であってもよい。例えば、表示部165は、メッセージアプリを第1コンテンツとして表示し、メッセージに付加可能なテキスト、画像、動画等の情報である第2コンテンツが配置された第3コンテンツを第1コンテンツに重畳させて表示する。そして、表示制御部166は、上記メッセージアプリにおいて、上述した表示制御を行う。
〔6−3.ユーザの行動パターンに基づくコンテンツの表示について〕
表示部165は、ユーザの行動パターンに基づくコンテンツを表示してもよい。例えば、ユーザが地域Oに継続して訪問していることを示す行動情報が収集された場合、推定部163は、ユーザの行動の主題を「地域Oへの訪問」と推定する。そして、表示部165は、検索部164が検索した地域Oに関する情報(地域O周辺の飲食店等の施設など)を含むコンテンツを表示する。また、表示部165は、上記所定の地域に関するコンテンツを表示する際、毎回コンテンツの内容を変更して表示してもよい。また、表示部165は、ユーザが実際に表示部165の表示したコンテンツに対応する行動を行った後の当該コンテンツの評価に関する情報に基づいて、ユーザにコンテンツを表示してもよい。
〔6−4.行動情報に関連するコンテンツの表示について〕
表示部165は、収集されたユーザの行動情報に関連するコンテンツを表示してもよい。例えば、ユーザの行動情報として、コンサートの観賞や、イベントの参加などの情報が含まれる場合、表示部165は、当該コンサートの次回作に関するコンテンツや、当該イベントの次年度の開催に関するコンテンツを表示する。
〔7.効果〕
上述してきたように、実施形態に係る端末装置100は、取得部161と、処理部162と、推定部163と、検索部164と、表示部165と、表示制御部166とを有する。取得部161は、撮影画像を用いて、当該撮影画像に撮影された撮影対象に関する情報である対象情報を取得する。処理部162は、対象情報として取得された文字列と対応する処理を実行する。推定部163は、ユーザの行動に関する行動情報に基づいて、ユーザの行動と対応する主題を推定する。検索部164は、推定部163により推定された主題と対応する情報を検索する。表示部165は、少なくとも、検索部164により検索された情報に基づいたコンテンツを表示する。また、表示部165は、取得部161により取得された対象情報を撮影画像に重畳させて表示する。また、表示部165は、第1コンテンツに対し、第2コンテンツが配置された第3コンテンツを重畳させて表示する。表示制御部166は、第2コンテンツが選択された場合、第1コンテンツと、選択された当該第2コンテンツとを表示させたまま、第3コンテンツが表示される領域を縮小させる。
これにより、実施形態に係る端末装置100は、ユーザの行動の主題に対応する情報に基づくコンテンツを表示するため、ユーザの行動の指針に基づいて情報を提供できる。また、実施形態に係る端末装置100は、撮影対象に関する対象情報を撮影画像に重畳させて表示するため、ユーザビリティを向上できる。また、実施形態に係る端末装置100は、コンテンツが動的に変化する場合に応じてコンテンツの表示を制御するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、行動情報のうち一部の行動情報に基づいて、主題を推定する。そして、検索部164は、行動情報から主題と対応する情報を検索する。
これにより、実施形態に係る端末装置100は、行動情報のうち関連性を有する行動情報に基づいてユーザの行動の主題を推定し、ユーザの行動情報からユーザに提供する情報を検索するため、推定の精度を高め、且つ、訴求力の高い情報をユーザに提供できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、行動情報のうちユーザによって選択された行動情報に基づいて、主題を推定する。
これにより、実施形態に係る端末装置100は、ユーザが選択した行動情報に基づいてユーザの行動の主題を推定するため、ユーザの要望に沿った情報を提供できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、ユーザの行動に関する行動情報と、検索部164により検索された情報とに基づいたコンテンツを表示する。
これにより、実施形態に係る端末装置100は、ユーザの行動の主題に対応するコンテンツを表示するため、訴求力の高い情報をユーザに提供できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、ユーザの状況に応じた態様でコンテンツを表示する。
これにより、実施形態に係る端末装置100は、ユーザがコンテンツを閲覧する時間帯や、ユーザの移動状態に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、主題に応じた態様でコンテンツを表示する。
これにより、実施形態に係る端末装置100は、ユーザの行動の主題に応じた態様でコンテンツを表示できるため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、主題と対応する情報から時間情報または位置情報を抽出し、当該時間情報または当該位置情報に基づく表示位置に主題と対応する情報を配置したコンテンツを表示する。
これにより、実施形態に係る端末装置100は、時間情報または位置情報に基づくコンテンツを表示できるため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、位置情報に基づいて、主題と対応する情報を配置した地図情報を含むコンテンツを表示する。
これにより、実施形態に係る端末装置100は、地図上での位置とともにユーザに情報を提供するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、時間情報または位置情報に基づいて、主題と対応する情報を時系列に沿った順に配置したコンテンツを表示する。
これにより、実施形態に係る端末装置100は、時系列順に情報を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、ユーザの操作に応じて保存された情報である行動情報に基づいて、主題を推定する。
これにより、実施形態に係る端末装置100は、ユーザが保存した行動情報に基づいてユーザの行動の主題を推定するため、ユーザの要望に沿った情報を提供できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、電子メールに関する情報を含む行動情報に基づいて、主題を推定する。
これにより、実施形態に係る端末装置100は、電子メールを含めてユーザの行動の主題を推定するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、アプリケーションの表示画面に関する画像の画像認識結果に基づく情報を含む行動情報に基づいて、主題を推定する。
これにより、実施形態に係る端末装置100は、アプリケーションの表示画面を含めてユーザの行動の主題を推定するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、ユーザが行った経路検索の結果を含む行動情報を取得し、経路検索の結果に基づいてユーザが訪問する地域を推定し、推定した地域を主題とする。
これにより、実施形態に係る端末装置100は、ユーザの訪問地域に関する情報を提供するため、訴求力の高い情報をユーザに提供できる。
また、実施形態に係る端末装置100において、例えば、推定部163は、行動情報のうちユーザによって選択された行動情報に基づいて、主題を推定する。そして、検索部164は、主題と対応するウェブ上の情報を検索する。そして、表示部165は、ユーザによって選択された行動情報と、ウェブ上の情報とを表示する。
これにより、実施形態に係る端末装置100は、ユーザの行動の主題に関連する情報をウェブ上から検索し、表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、検索部164は、主題と対応する施設であって、ユーザによって選択された行動情報と対応する位置から所定の範囲内にある施設の情報を検索する。
これにより、実施形態に係る端末装置100は、ユーザの行動の主題に関連する施設を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、検索部164は、ユーザの検索履歴に基づいて、施設の情報を検索する。
これにより、実施形態に係る端末装置100は、ユーザの検索履歴に基づいて施設を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、取得部161は、撮影対象の提供元となるアプリケーションに関する情報を示す対象情報を取得する。また、例えば、取得部161は、撮影対象の提供元となるアプリケーションを示すアイコン画像を含む対象情報を取得する。また、例えば、表示部165は、撮影対象の提供元となるアプリケーションから提供される情報に基づいて更新された対象情報を、撮影画像に重畳させて表示する。
これにより、実施形態に係る端末装置100は、撮影対象の提供元に関する情報を視認可能な状態で撮影画像を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、撮影画像が選択された場合、撮影対象に対応する画面であって、撮影対象の提供元となるアプリケーションが提供する画面を表示する。
これにより、実施形態に係る端末装置100は、撮影対象の提供元のアプリケーションの画面を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、取得部161は、撮影対象となる文字列の解析結果を対象情報として取得する。また、例えば、取得部161は、撮影対象となる二次元コードが示す情報を示す対象情報を取得する。
これにより、実施形態に係る端末装置100は、撮影対象の情報視認可能な状態で撮影画像を表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、処理部162は、対象情報として取得された文字列が時刻を示す場合は、当該時刻を利用者に通知する処理を実行する。
これにより、実施形態に係る端末装置100は、撮影対象に含まれる時間情報に基づいて撮影対象に関する通知を実行するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、第2コンテンツを第1コンテンツに重畳させて表示させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、選択された第2コンテンツの表示態様を変更した状態で、第1コンテンツに重畳して表示させる。また、例えば、表示制御部166は、第2コンテンツが選択された場合、第1コンテンツ及び第3コンテンツの表示態様を変更した状態で表示させる。また、例えば、表示制御部166は、選択された第2コンテンツの視認性を高めた状態で、第1コンテンツに重畳して表示させる。また、例えば、表示制御部166は、選択された第2コンテンツの視認性を低下させた状態で、第1コンテンツに重畳して表示させる。また、例えば、表示制御部166は、第1コンテンツ及び第3コンテンツの視認性を低下させた状態で表示させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、第3コンテンツが表示される領域を徐々に縮小させる。また、例えば、表示制御部166は、第1コンテンツが表示される領域を徐々に拡大させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、第2コンテンツの位置を保持したまま、第3コンテンツが表示される領域を縮小させる。また、例えば、表示制御部166は、第2コンテンツが選択され続けた場合、第3コンテンツが表示される領域を縮小させる。また、例えば、表示制御部166は、第2コンテンツが選択された選択位置が所定方向へ移動された場合、第3コンテンツが表示される領域を縮小させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、第2コンテンツが選択された選択位置の移動に応じて、当該第2コンテンツの表示位置を移動させる。また、例えば、表示制御部166は、第2コンテンツに対する選択が解除された場合、第1コンテンツのうち第2コンテンツの選択が解除された位置と対応する位置に第2コンテンツを重畳させて表示する。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示部165は、第1コンテンツに対し、複数の第2コンテンツが配置された第3コンテンツを重畳させて表示する。そして、表示制御部166は、いずれかの第2コンテンツが選択された場合は、第1コンテンツと選択された第2コンテンツとを表示させたまま、第3コンテンツが表示される領域を縮小させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、実施形態に係る端末装置100において、例えば、表示制御部166は、第1コンテンツに含まれる第4コンテンツに対し所定の操作が行われた場合、第1コンテンツが表示される領域において第4コンテンツを非表示とする。また、例えば、表示部165は、第1コンテンツに含まれる第4コンテンツが選択された場合、第3コンテンツを表示する。そして、表示制御部166は、第3コンテンツが表示される領域で第4コンテンツに対する選択が解除された場合、第1コンテンツが表示される領域において第4コンテンツを非表示とし、第3コンテンツが表示される領域において第4コンテンツを表示する。また、例えば、表示部165は、選択された第4コンテンツの位置を保持したまま第3コンテンツを表示する。また、例えば、表示制御部166は、第1コンテンツが表示される領域において第4コンテンツを非表示とし、第3コンテンツが表示される領域において第4コンテンツを表示したまま第3コンテンツが表示される領域を縮小させる。
これにより、実施形態に係る端末装置100は、ユーザの直観的な操作に応じてコンテンツを表示するため、ユーザビリティを向上できる。
また、上述してきたように、実施形態に係るコンテンツ配信サーバ10は、受付部15と、取得部16と、推定部17と、配信部18とを有する。受付部15は、端末装置100からコンテンツの配信要求や、行動情報を受け付ける。取得部16は、受付部15が端末装置100から受け付けた行動情報に対して、画像解析、形態素解析等の種々の従来技術を適宜用いて解析することにより、行動情報に関する情報を取得する。推定部17は、ユーザの行動に関する行動情報に基づいて、ユーザの行動と対応する主題を推定する。配信部18は、ユーザが利用する端末装置であって、推定部17により推定された主題と対応する情報の表示処理を行う端末装置に主題に関する情報を配信する。
これにより、実施形態に係るコンテンツ配信サーバ10は、ユーザの行動情報に基づいてユーザの行動の主題を推定するため、ユーザの要望に沿った情報を提供できる。
〔8.ハードウェア構成〕
また、上述してきた各実施形態に係る端末装置は、例えば図15に示すような構成のコンピュータ1000によって実現される。以下、端末装置100を例に挙げて説明する。図15は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(実施形態のネットワークNに対応する)を介して他の機器からデータを受信してCPU1100へ送り、また、通信網500を介してCPU1100が生成したデータを他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が端末装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部160の機能を実現する。また、HDD1400には、端末装置100の記憶装置内の各データが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
〔9.その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述した端末装置100は、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。