JP6891879B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

近年の情報処理および情報通信技術の発展に伴い、コンピュータが広く普及し、日常生活においてもコンピュータが積極的に利用されるようになった。例えば、スマートフォン、携帯電話端末等のモバイル通信端末を用いて、外出先からネットワークに接続して情報を閲覧したり、目的地までの経路案内サービスを利用したりすること等が可能となった。

ネットワークに接続した情報処理端末からユーザが得る情報は、視覚情報と音情報の大きく２つに分けられ、特に視覚情報は高画質・高解像度であり、グラフィックス表現の進歩や映像表示技術の発達により、直感的で分かりやすい情報を提示することが可能である。しかし視覚情報の場合はユーザの視野が狭まり、移動中に表示画面を見ることは危険が伴う。一方、音情報であればユーザの視野が狭まることなく、移動中であっても情報提示を受けることができる。

このような音による情報提示手法に関し、例えば下記特許文献１では、所定条件に基づいて音情報をフィルタリングした上で定位させて出力し、ユーザにとって必要な情報を音情報として直感的に理解させる情報処理装置について記載されている。

特開２０１３−５０２１号公報

ここで、音声による情報提示であれば、日常の「ながら」動作中（歩きながら、自転車に乗りながら、家事をしながら等）でも視覚が奪われることなく提示された情報を理解することができる。しかしながら、音声情報の場合、聞き逃した情報を後から参照することや、詳細な情報を確認することは困難であった。

そこで、本開示では、読み上げられた音声情報を確認する際の利便性を向上させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部を備える、情報処理装置を提案する。

本開示によれば、プロセッサが、取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力することを含む、情報処理方法を提案する。

本開示によれば、コンピュータを、取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部として機能させる、プログラムを提案する。

以上説明したように本開示によれば、読み上げられた音声情報を確認する際の利便性を向上させることが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態による情報処理装置の概要を説明する図である。 本実施形態による情報処理装置の構成の一例を示すブロック図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態による読み上げ履歴データの一例を示す図である。 本実施形態の情報処理装置１による読み上げ処理を示すフローチャートである。 本実施形態のサーバによるタイムラインＵＩ生成処理を示すフローチャートである。 本実施形態の表示装置によるタイムラインＵＩ表示処理を示すフローチャートである。 本実施形態の第１の実施例による画面表示例を示す図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 本実施形態の第１の実施例によるタイムラインＵＩの画面遷移を説明する図である。 第１の実施例の変形例によるタイムラインＵＩについて説明する図である。 本実施形態の第２の実施例による画面表示例を示す図である。 本実施形態の第３の実施例による画面表示例を示す図である。 本実施形態の第４の実施例による画面表示例を示す図である。 本実施形態の第５の実施例による画面表示例を示す図である。 本実施形態による他のタイムラインＵＩを説明する図である。 本実施形態による他のタイムラインＵＩを説明する図である。 本実施形態による他のタイムラインＵＩを説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２−１．情報処理装置１の構成
２−２．サーバ２の構成
３．動作処理
３−１．読み上げ処理
３−２．タイムラインＵＩ生成処理
３−３．タイムラインＵＩ表示処理
４．画面表示例
４−１．第１の実施例
４−２．第２の実施例
４−３．第３の実施例
４−４．第４の実施例
４−５．第５の実施例
４−６．その他
５．まとめ

＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
まず、本開示の一実施形態による情報処理システムの概要について、図１を参照して説明する。図１は、本実施形態による情報処理システムの概要を説明する図である。

図１に示すように、本実施形態による情報処理システムは、ユーザに装着される情報処理装置１と、サーバ２と、表示装置３を含む。情報処理装置１、サーバ２、および表示装置３は、ネットワーク４を介して互いにデータの送受信が可能である。なお表示装置３は、ユーザに携帯されるスマートフォンや携帯電話、タブレット端末、またはノートＰＣ等のような情報処理端末であってもよい。また、このような表示装置３が情報処理装置１とペアリングして無線通信接続した場合、情報処理装置１は表示装置３を介してサーバ２とのデータ送受信を行うことが可能である。

情報処理装置１は、例えばユーザの首に掛けられるネックバンド型の情報処理端末である。ネックバンド型の情報処理装置１は、首の両側から後ろ側（背中側）にかけて半周回するような形状の装着ユニット（装着部）を有し、ユーザの首にかけられることでユーザに装着される。本明細書では、上下左右前後といった方向を示す言葉を用いるが、これらの方向はユーザの直立姿勢における、ユーザの体の中心（例えば鳩尾の位置）からみた方向を示すものとする。例えば、「右」とはユーザの右半身側の方向を示し、「左」とはユーザの左半身側の方向を示し、「上」とはユーザの頭側の方向を示し、「下」とはユーザの足側の方向を示すものとする。また、「前」とはユーザの体が向く方向を示し、「後」とはユーザの背中側の方向を示すものとする。

図１に示すように、装着ユニットは、ユーザの首に密着して装着されてもよいし、離間して装着されてもよい。なお首かけ型の装着ユニットの他の形状としては、例えば首下げ紐によりユーザに装着されるペンダント型や、頭にかけるヘッドバンドの代わりに首の後ろ側を通るネックバンドを有するヘッドセット型が考えられる。

また、装着ユニットの使用形態は、人体に直接的に装着されて使用される形態であってもよい。直接的に装着されて使用される形態とは、装着ユニットと人体との間に何らの物体も存在しない状態で使用される形態を指す。例えば、図１に示す装着ユニットがユーザの首の肌に接するように装着される場合は本形態に該当する。他にも、頭部に直接的に装着されるヘッドセット型やメガネ型等の多様な形態が考えられる。若しくは、装着ユニットの使用形態は、人体に間接的に装着されて使用される形態であってもよい。間接的に装着されて使用される形態とは、装着ユニットと人体との間に何らかの物体が存在する状態で使用される形態を指す。例えば、図１に示した装着ユニットが、シャツの襟の下に隠れるように装着される等、服の上からユーザに接するように装着される場合は、本形態に該当する。他にも、首下げ紐によりユーザに装着されるペンダント型や、衣服に留め具等で留められるブローチ型等の多様な形態が考えられる。

また、本実施形態による情報処理装置１には、複数のマイクロホン、カメラ、およびスピーカが設けられている。マイクロホンは、ユーザ音声又は周囲の環境音等の音声データを取得する。カメラは、周囲の様子を撮像し撮像データを取得する。また、スピーカは、音声データの再生を行う。これらマイクロホン、カメラ、およびスピーカの設置位置および設置数は特に限定しない。例えば、マイクロホン、カメラ、およびスピーカは、１つまたは複数（マイクアレイ等）設けられてもよい。

（背景）
ここで、ウェアラブル装置を身に付けて、情報検索サービス、エンターテインメント情報、行動支援情報の提供サービス等を日常的に享受する際、視覚情報により提示されると日常生活の多くの「ながら」中の確認ができないという問題があった。例えば、歩きながら、自転車に乗りながら、家事をしながら等の視覚情報の確認は、視覚が一時的に奪われるため危険であった。

これに対し、聴覚的な情報提示、すなわち音声による情報提示の場合は、日常の「ながら」動作中にもハンズフリー、アイズフリーで確認することが可能となる。

また、提示される情報にはプル型とプッシュ型が想定される。プル型とは、ユーザが知りたい時にリクエストして提示される情報であって、ボタン操作や画面操作、音声操作によって発動する。また、プッシュ型とは、ユーザが意識せずとも、自動で提示される情報であって、例えばメール通知、着信、アプリケーションからの呼び出し、通知、電池残量の警告等が想定される。

プッシュ型の音声通知は、自動的に情報が提示されるというメリットがある一方、詳細な情報を確認したい場合には時間がかかるというデメリットがある。また、テキストや画像など視覚的な情報を参照することができない、聞き逃した情報を後から簡単に参照することが出来ない、というデメリットもある。

そこで、本実施形態では、読み上げられた音声情報を確認する際の利便性を向上させることを可能とする。

具体的には、例えば音声情報を提示した際のユーザの位置（場所の名称等）と行動を紐付けて記録し、提示した（読み上げた）音声情報のテキストをユーザ行動や位置と共に提示するタイムラインＵＩ（User Interface）を生成する。音声情報がどこで何をしていた時に提示されたかという記憶は残りやすいため、ユーザは、聞き逃した情報を後から確認する際、自身の行動を辿って容易に目的の情報を探すことが可能となる。また、情報の詳細を知りたい等、気になった情報があれば音声提示された際に音声操作等によりブックマークできるようにする。この場合、音声情報のタイムラインＵＩにおいて、ブックマーク等された情報を大きく表示したり、詳細な情報を（画像があれば画像と共に）表示したりすることで、ユーザは気になった音声情報を後から容易に確認することができる。

以上、本実施形態による情報処理装置１の概要について説明した。続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。

＜＜２．構成＞＞
＜２−１．情報処理装置１の構成＞
続いて、本実施形態による情報処理装置１の構成について図２を参照して説明する。図２は、本実施形態による情報処理装置１の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、制御部１０、通信部１１、マイクロホン１２、カメラ１３、９軸センサ１４、スピーカ１５、位置測位部１６、および記憶部１７を有する。

（制御部１０）
制御部１０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。制御部１０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部１０は、図２に示すように、読み上げ情報取得部１０ａ、読み上げ制御部１０ｂ、ユーザ状況認識部１０ｃ、操作認識部１０ｄ、および読み上げ履歴送信制御部１０ｅとして機能する。

読み上げ情報取得部１０ａは、ユーザに音声提示する（読み上げる）情報を取得する。読み上げ情報は、通信部１１により外部装置（例えばスマートフォン）やネットワーク上（例えばサーバ２）から受信してもよいし、記憶部１７から取得してもよいし、情報処理装置１で起動するアプリケーションから取得してもよい。また、読み上げ情報取得部１０ａは、ＲＳＳリーダーによりＷｅｂサイト上から情報を取得してもよい。

読み上げ制御部１０ｂは、読み上げ情報取得部１０ａにより取得された読み上げ情報をスピーカ１５から音声出力するよう制御する。例えば読み上げ制御部１０ｂは、読み上げ情報（テキスト情報）に基づいて音声合成を行い、読み上げ情報の音声化を行い、生成した音声情報をスピーカ１５から出力し、ユーザに提示する。また、読み上げ制御部１０ｂは、取得した読み上げ情報の一部（タイトルのみ、タイトルと要約まで、タイトルと本文の一文目まで等）を読み上げるよう（すなわち、音声出力するよう）制御し、ユーザ操作に基づいて追加読み上げが必要であると判断した場合はさらに読み上げ情報を出力制御する。

ユーザ状況認識部１０ｃは、各種センサ情報に基づいてユーザ状況を認識する。具体的には、ユーザ状況認識部１０ｃは、マイクロホン１２により収音されたユーザ音声や周辺の環境音、カメラ１３により撮像された周辺の撮像画像、９軸センサ１４により検知されたセンサ値（加速度センサ値、ジャイロセンサ値、地磁気センサ値等）、若しくは位置測位部１６により取得された位置情報の少なくもいずれかを用いて、ユーザの位置や行動（走っている、歩いている、自転車に乗っている等）を認識する。さらに、ユーザ状況認識部１０ｃは、徒歩、自転車、ランニング、静止、乗り物等の行動認識（ローコンテキスト）の他、行動のハイコンテキストを認識し得る。行動のハイコンテキストとは、例えば自宅、帰宅、通勤、オフィス、外出等、行動内容をより詳細に認識した結果である。

操作認識部１０ｄは、ユーザによる操作入力を認識する。例えば、操作認識部１０ｄは、マイクロホン１２により収音されたユーザ音声の音声認識を行い、ユーザによる音声での操作指示を受け付ける。ユーザによる音声操作は、例えば「Skip、More、Bookmark、Again、Previous」といったものが想定される。「Skip」は、次の音声情報に進む指示、「More」は、さらに詳しい情報を要求する指示、「Bookmark」は、今の音声情報に目印を付ける指示、「Again」は、今の音声情報を最初からもう一度再生する指示（繰り返し指示）、「Previous」は、前の情報に戻る指示である。

読み上げ履歴送信制御部１０ｅは、読み上げ制御部１０ｂにより音声出力制御された、すなわち読み上げられた読み上げ情報の履歴（以下、「読み上げ履歴」と称す）を、通信部１１からサーバ２へ送信するよう制御する。読み上げ履歴には、読み上げ時の状況（時間、位置、行動（ハイコンテキスト、ローコンテキスト））、操作、読み上げ情報、読み上げ済み情報（読み上げ情報のうち実際に音声出力した部分）が含まれる。

（通信部１１）
通信部１１は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１１は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。

（マイクロホン１２）
マイクロホン１２は、ユーザの音声や周囲の環境を収音し、音声データとして制御部１０に出力する。

（カメラ１３）
カメラ１３は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。例えば、カメラ１３は、情報処理装置１（装着ユニット）がユーザに装着された状態で、ユーザの前方を撮像可能に設けられる。この場合、カメラ１３は、ユーザの周囲の景色や、ユーザが見ている方向の景色を撮像することが可能となる。また、カメラ１３は、情報処理装置１がユーザに装着された状態で、ユーザの顔を撮像可能に設けられてもよい。この場合、情報処理装置１は、撮像画像からユーザの視線方向や表情を特定することが可能となる。また、カメラ１３は、デジタル信号とされた撮像画像のデータを制御部１０へ出力する。

（９軸センサ１４）
９軸センサ１４は、３軸ジャイロセンサ（角速度（回転速度）の検出）、３軸加速度センサ（Ｇセンサとも称す。移動時の加速度の検出）、および３軸地磁気センサ（コンパス、絶対方向（方位）の検出）を含む。９軸センサ１４は、情報処理装置１を装着したユーザの状態または周囲の状態をセンシングする機能を有する。なお９軸センサ１４は、センサ部の一例であって、本実施形態はこれに限定されず、例えば速度センサまたは振動センサ等をさらに用いてもよいし、加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくともいずれかを用いてもよい。また、センサ部は、情報処理装置１（装着ユニット）とは別の装置に設けられていてもよいし、複数の装置に分散して設けられていてもよい。例えば、加速度センサ、ジャイロセンサ、および地磁気センサが頭部に装着されたデバイス（例えばイヤホン）に設けられ、速度センサや振動センサがスマートフォンに設けられてもよい。９軸センサ１４は、センシング結果を示す情報（センサ情報）を制御部１０へ出力する。

（スピーカ１５）
スピーカ１５は、制御部１０の制御に従って、読み上げ制御部１０ｂにより処理された音声信号を再生する。スピーカ１５は、指向性を有していてもよい。

（位置測位部１６）
位置測位部１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１６は、ＧＰＳ（Global Positioning
System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１０に出力する。また、情報処理装置１は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。

（記憶部１７）
記憶部１７は、上述した制御部１０が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部１７は、サーバ２へ送信する読み上げ履歴を蓄積してもよい。

以上、本実施形態による情報処理装置１の内部構成例について具体的に説明した。

＜２−２．サーバ２の構成＞
次に、本実施形態によるサーバ２の構成について図３を参照して説明する。図３は、本実施形態によるサーバ２の構成の一例を示すブロック図である。図３に示すように、サーバ２は、制御部２０、通信部２１、および記憶部２２を有する。

（制御部２０）
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２内の動作全般を制御する。制御部２０は、例えばＣＰＵ、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ、及び適宜変化するパラメータ等を一時記憶するＲＡＭを含んでいてもよい。

また、本実施形態による制御部２０は、図３に示すように、記憶制御部２０ａ、タイムラインＵＩ生成部２０ｂ、および送信制御部２０ｃとして機能する。

記憶制御部２０ａは、情報処理装置１から送信され、通信部２１により受信した読み上げ履歴を記憶部２２に記憶するよう制御する。

タイムラインＵＩ生成部２０ｂは、記憶部２２に記憶された読み上げ履歴に基づいて、ユーザが後から読み上げ情報を確認する際に提供するタイムラインＵＩを生成する。生成するタイムラインＵＩの具体例については、図８〜図２２を参照して後述する。

送信制御部２０ｃは、生成されたタイムラインＵＩを通信部２１から表示装置３（例えばユーザのスマートフォン）に送信するよう制御する。

（通信部２１）
通信部２１は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。例えば通信部２１は、ネットワーク４を介して情報処理装置１と接続し、読み上げ履歴を受信する。また、通信部２１は、ネットワーク４を介して表示装置３と接続し、制御部２０により生成されたタイムラインＵＩを送信する。

（記憶部２２）
記憶部２２は、上述した制御部２０が各機能を実行するためのプログラムやパラメータを格納する。また、本実施形態による記憶部２２は、情報処理装置１から送信された読み上げ履歴を蓄積する。ここで、図４を参照して読み上げ履歴のデータ例について説明する。

図４は、本実施形態による読み上げ履歴データの一例を示す図である。図４に示すように、読み上げ履歴データは、例えば読み上げの日時、位置（例えば緯度経度情報）、位置名称、行動のハイコンテキスト、行動のローコンテキスト、操作（ユーザによる操作入力）、読み上げ情報、読み上げ済み情報が対応付けて記憶されている。位置名称は、例えば緯度経度情報に基づいて地図データを参照して取得され得る。位置名称は、情報処理装置１のユーザ状況認識部１０ｃにより認識されてもよいし、サーバ２側で認識されてもよい。

また、「読み上げ情報」は、読み上げ情報の取得元（例えばネットワーク上から取得した場合はそのＵＲＬ）が示されている。実際に読み上げた情報は、「読み上げ済み情報」として格納される。

以上、本実施形態によるサーバ２の構成の一例について説明した。

なお、本実施形態による情報処理システムの構成は図１に示す例に限定されず、上述したサーバ２の構成をスマートフォン等の情報処理端末で実現された表示装置３に設け、情報処理装置１と表示装置３から成るシステム構成としてもよい。

続いて、本実施形態による動作処理について図５〜図７を参照して説明する。

＜＜３．動作処理＞＞
＜３−１．読み上げ処理＞
図５は、本実施形態の情報処理装置１による読み上げ処理を示すフローチャートである。図５に示すように、まず、情報処理装置１は、読み上げイベントが発生すると（ステップＳ１００）、ユーザ状況認識部１０ｃによりユーザ状況の認識を行う（ステップＳ１０３）。読み上げイベントは、予め設定された時間や、定期的、不定期的、または新着情報取得時等に発生する。例えば、１日のうち決まった時間に最新ニュースやイベント情報の読み上げイベントが発生するようにしてもよい。また、継続的にユーザ状況の認識を行い、認識結果が所定の条件を満たす場合に読み上げイベントを発生させるようにしてもよい。ユーザ状況の認識は、上述したように、マイクロホン１２、カメラ１３、９軸センサ１４（加速度センサ、ジャイロセンサ、地磁気センサ等）、位置測位部１６（ＧＰＳ等）から取得した各種情報に基づいて行われ得る。例えばユーザ状況認識部１０ｃは、ユーザの位置、行動のハイコンテキスト、ローコンテキスト等を認識する。

次に、情報処理装置１は、読み上げ情報を取得する（ステップＳ１０６）。

次いで、情報処理装置１は、情報の読み上げ制御（すなわち、スピーカ１５からの音声出力制御）を行う（ステップＳ１０９）。

次に、情報の読み上げ中にユーザ操作を認識した場合（ステップＳ１１２／Ｙｅｓ）、情報処理装置１の読み上げ制御部１０ｂは、追加読み上げを行うか否かを判断する（ステップＳ１１５）。情報読み上げ中のユーザ操作は、上述したように、例えば、Skip、More、Bookmark、Again、Previousといったものがある。また、「More」はさらに詳細な情報の要求指示であるため、情報処理装置１は追加読み上げを行う。

そして、情報処理装置１は、読み上げが終了すると、読み上げた日時、位置、行動のハイコンテキスト、ローコンテキスト、読み上げ中のユーザ操作（Skip、More、Bookmark、Again、Previous）、読み上げ情報、および読み上げた済み情報を含む読み上げ履歴をサーバ２へ送信する（ステップＳ１１８）。

＜３−２．タイムラインＵＩ生成処理＞
図６は、本実施形態のサーバ２によるタイムラインＵＩ生成処理を示すフローチャートである。図６に示すように、まず、サーバ２は、タイムラインＵＩの取得要求を外部装置（ここでは、表示装置３を用いる）から受け付けると（ステップＳ１２０）、記憶部１７に記憶された対象ユーザの読み上げ履歴を取得する（ステップＳ１２３）。

次いで、サーバ２のタイムラインＵＩ生成部２０ｂは、読み上げ履歴に含まれる行動情報（ハイコンテキスト、ローコンテキスト）に基づいて、ユーザ負荷を判断する（ステップＳ１２６）。本明細書において、ユーザ負荷とは、ユーザが音声情報を聞きにくい（音声情報に集中しにくい）状況の程度を示すものである。例えばランニングやサイクリング中は走ることや運転に集中するためユーザ負荷が高い、すなわち音声情報が聞きにくい状況であると判断される。また、徒歩中は、ランニングやサイクリングに比べるとユーザ負荷は高くないと判断される。また、電車に乗っている時は、徒歩中よりもユーザ負荷は低い、すなわち音声情報が聞き易い状況であると判断される。

次に、タイムラインＵＩ生成部２０ｂは、読み上げ履歴に含まれる操作情報に基づいてユーザの音声情報に対する嗜好判断を行う（ステップＳ１２９）。例えば、「Skip」操作が行われた場合はネガティブ判断（ユーザが好まない（興味がない）情報であるとの判断）を行い、「More」、「Bookmark」、または「Again」操作が行われた場合はポジティブ判断（ユーザが好む（興味がある）情報であるとの判断）を行う。また、「Previous」操作が行われた場合や、何ら操作が行われなかった場合は、ネガポジいずれの判断も行わない。

次いで、タイムラインＵＩ生成部２０ｂは、ユーザ負荷や嗜好判断結果に基づいて、表示情報の粒度を算出する（ステップＳ１３２）。表示情報の粒度とは、タイムラインＵＩで音声情報をどこまで詳細に（タイトルのみか、本文も表示するか等）表示するかを示すものである。例えばタイムラインＵＩ生成部２０ｂは、ユーザ負荷が高い場合またはポジティブ判断された場合は粒度「大」、ユーザ負荷が中程度の場合または嗜好判断無しの場合は粒度「中」、ユーザ負荷が低い場合またはネガティブ判断された場合は粒度「小」と算出する。

次に、タイムラインＵＩ生成部２０ｂは、算出された粒度情報や読み上げ履歴に含まれる各種情報に基づいて、タイムラインＵＩを生成する（ステップＳ１３５）。
例えばタイムラインＵＩ生成部２０ｂは、読み上げ時のユーザの行動のハイコンテキストを示すアイコンや位置名称、時刻と共に、読み上げ情報を時系列に並べる。また、タイムラインＵＩ生成部２０ｂは、算出された粒度情報に応じて読み上げ情報をどの程度詳細に表示するかを制御する。例えば粒度「大」の場合はタイトルと本文全てを表示し、粒度「中」の場合はタイトルと本文の１文目までを表示し、粒度「小」の場合はタイトルのみ表示するようにしてもよい。図６に示す動作処理では、ユーザ負荷や嗜好判断結果、粒度情報に基づいてタイムラインＵＩを生成する場合の処理を説明しているが、本実施形態はこれに限定されない。例えば読み上げ済み情報を時系列で表示したり、読み上げ時に撮像した撮像画像を時系列で表示したりしてもよい。このような様々なタイムラインＵＩの具体例については後述する。

続いて、未処理のデータが有る場合はステップＳ１２３に戻る（ステップＳ１３８）。例えば一日の読み上げ履歴全ての処理を行うまで上記ステップＳ１２３〜Ｓ１３５が繰り返される。

そして、サーバ２は、タイムラインＵＩの取得要求元の外部装置、例えば表示装置３に、生成したタイムラインＵＩを送信する（ステップＳ１４１）。

＜３−３．タイムラインＵＩ表示処理＞
図７は、本実施形態の表示装置３によるタイムラインＵＩ表示処理を示すフローチャートである。図７に示すように、まず、表示装置３は、タイムラインＵＩの取得要求をサーバ２に対して行う（ステップＳ１５０）。

次に、表示装置３は、タイムラインＵＩをサーバ２から取得すると（ステップＳ１５３／Ｙｅｓ）、タイムラインＵＩを表示部に表示する（ステップＳ１５６）。

続いて、タイムラインＵＩに対してユーザ操作が有った場合（ステップＳ１５９／Ｙｅｓ）、表示装置３は、ユーザ操作に応じて表示更新を行うか否かを判断する（ステップＳ１６２）。

そして、表示更新を行う判断を行った場合（ステップＳ１６２／Ｙｅｓ）、表示装置３は、ステップＳ１５６に戻ってタイムラインＵＩの表示更新を行う。例えば表示装置３のタッチパネルディスプレイにおいてタイムラインＵＩと共に表示された地図上をユーザがタップ操作した場合、表示装置３は、タップされた位置で読み上げられた音声情報を表示するようタイムラインＵＩをスクロールさせて表示更新を行う。

＜＜４．画面表示例＞＞
続いて、本実施形態によるタイムラインＵＩの画面表示例について複数の実施例を用いて具体的に説明する。

＜４−１．第１の実施例＞
図８は、本実施形態の第１の実施例による画面表示例を示す図である。まず、本実施例によるタイムラインＵＩでは、ユーザ行動（ハイコンテキスト）の切り替わり毎に、１つのタイムライン地図画像（タイムライン軌跡を示す地図画像）を含む表示欄が表示される。例えば図８に示す例では、表示画面３０に、「6:50-7:30 On your way home」の表示欄と、「7:45-8:30
Outside」の表示欄が、時系列順に表示されている。図８に示す例では「帰宅中」と「外出」の２つの表示欄のみが表示されているが、画面をスクロールすることで他の行動時の表示欄が表示される。

「外出」の表示欄は、時刻と行動のハイコンテキストを示す「7:45-8:30 Outside」の表示画像３０１と、地図画像３０２と、読み上げに関する情報の表示３０３と、読み上げ情報の表示３０４を含む。読み上げに関する情報の表示３０３および読み上げ情報の表示３０４に表示される読み上げ情報は、地図上のタイムライン軌跡（対応する行動時の移動経路。ここでは、「外出」時の移動経路）の各地点のうち任意にタップされた地点付近で読み上げられた情報である。タイムライン軌跡上には、情報を読み上げた地点にピンが表示されている。また、任意にタップされた地点付近の撮像画像（ユーザがその地点を移動している際に情報処理装置１のカメラ１３により撮像された撮像画像）が表示される。また、ユーザがタイムライン軌跡を指でなぞってスライドした際に各地点の撮像画像が順次表示されるようにしてもよい。ユーザは撮像画像に写る情景を見ながら、この場所に居た時に聞いた情報を改めて確認したいなというように、情景を手掛かりにして容易に情報検索を行うことができる。

次いで、表示される読み上げ情報について説明する。読み上げに関する情報の表示３０３は、読み上げ時刻、読み上げ情報の種類（ニュース、イベント等）、行動のローコンテキスト（走っていた、歩いていた、自転車に乗っていた、電車に乗っていた等）、場所（位置名称）の表示を含む。また、読み上げ情報の表示３０４では、読み上げられた情報のテキストが表示されている。例えばニュース情報の場合、図８に示すように、タイトル表示３０５、情報提供元、および本文３０６が表示されている。タイトル表示３０５には、例えば情報提供元（例えばニュースサイト）へのリンクが貼られている。ユーザがタイトル表示３０５をタップすると、ニュースサイトに画面が遷移する。

また、図８に示す本文３０６は、読み上げられた文章（読み上げ済み情報）が小さく表示され、読み上げられてない文章が大きく表示されている。例えば読み上げ時にはタイトルと本文１文目までしか読まれなかった場合、２文目から大きく表示される。このように、読み上げられていない情報が強調して表示されている。ここでは強調表示の一例としても文字を大きくする表示態様を用いているが、本実施形態はこれに限定されず、他と異なる色にしたり、書体を変えたり、背景を変えたり、アニメーションを加えたり等することで強調表示を行ってもよい。ユーザが後から音声情報を確認するというシチュエーションは、ユーザが提示された音声情報に興味を持ってさらに詳しく知りたいと思っているということが想定されるため、音声情報を確認する際に、どこからが未聴の情報であるかが直感的に分かれば、より利便性が向上する。

「帰宅中」の表示欄も同様に表示されている。すなわち、時刻と行動のハイコンテキストを示す「7:45-8:30 Outside」の表示画像３０７と、地図画像３０８と、読み上げに関する情報の表示３０９と、読み上げ情報の表示３１０を含む。読み上げ情報の表示３１０も同様に、読み上げられた情報のテキストとして、例えばイベント情報の場合、図８に示すように、タイトル表示３１１、情報提供元、および本文３１２が表示されている。本文３１２は、読み上げられていない情報（本文の２文目以降）が強調表示（文字サイズが大きく表示）されている。

続いて、本実施例によるタイムラインＵＩの画面遷移について、図９〜図１４を参照して説明する。図９〜図１４は、本実施例によるタイムラインＵＩの画面遷移を説明する図である。

図９に示すように、まず、画面３１に「Today's Timeline」として、今日一日のユーザ行動の各ハイコンテキストを示す項目が時系列で表示される。ユーザがいずれかの項目をタップすると、その行動時のタイムライン軌跡を示す地図画像が表示される。例えば図９に示すように、各項目のうち「7:45-8:30 pm : Outside」（外出）をタップすると、図９右側の画面３２に示すように、外出時のタイムライン軌跡を示す地図画像３１４が表示される。

次に、図１０左側の画面３３に示すように、ユーザはタイムライン軌跡上の任意の地点をタップする。タイムライン軌跡上に立つピンは、情報の読み上げが行われた地点を示す。ユーザが任意の地点をタップすると、図１０右側の画面３４に示すように、タップした地点で読み上げられた情報（読み上げに関する情報の表示３１５と、読み上げ情報の表示３１６を含む。）が表示される。

次いで、図１１左側の画面３５に示すように、地図画像３１４のタイムライン軌跡上の他の地点をタップすると、図１１右側の画面３６に示すように、画面右側の音声情報提示画面が、タップした地点の情報（読み上げに関する情報の表示３２１と、読み上げ情報の表示３２２を含む。）に切り替わる。ここでは、一例として、８時２５分に公園を走っていた際に読み上げられた天気予報情報が表示されている。

次に、例えば図１２左側の画面３７に示すように、他のハイコンテキストの項目３２４（「6:50-7:30 pm : On your way home」（帰宅））をタップすると、図１２右側の画面３８に示すように、帰宅時のタイムライン軌跡を示す地図画像３２５が表示される。

次いで、図１３左側の画面３９に示すように、地図画像３２５に示される帰宅時のタイムライン軌跡のうち任意の地点をタップすると、図１３右側に示すように、タップした地点で読み上げられた情報（読み上げに関する情報の表示３２６と、読み上げ情報の表示３２７を含む。）が表示される。ここでは、一例として、7時10分に「2nd St」で自転車に乗っている際に読み上げられたイベント情報が表示されている。

続いて、さらに他の行動時に提示された音声情報を確認した場合、ユーザは、図１４左側の画面４１に示すように、画面をスクロール操作し、他のハイコンテキストの項目３３０（「3:30-4:05 pm : Outside」（外出））を表示させる。当該項目３３０をタップすると、図１４右側の画面４２に示すように、外出時のタイムライン軌跡を示す地図画像３３１が表示される。上述した場合と同様に、地図画像３３１のタイムライン軌跡のうち任意の地点がタップされると、当該地点で読み上げられた情報が地図画像３３１の右側に表示される。

以上、本実施例によるタイムラインＵＩの画面遷移について具体的に説明した。以下、本実施例の変形例について説明する。

（変形例）
図１５を参照して、タイムライン軌跡を示す地図画像と共に音声情報のテキストを表示する場合の変形例について説明する。本変形例では、音声提示されたときの状況を再現することで、ユーザの情報検索を支援する。

具体的には、図１５左側の画面４３に示すように、まず地図画像上にタイムライン軌跡が示され、ユーザが任意の地点をタップすると、タップされた地点の情景（撮像画像）が表示され、さらに同地点で読み上げられた情報のテキストが表示されると共に、同地点で読み上げられた情報が再度音声出力される。また、ここで表示されるテキストは、読み上げ済みの音声情報のテキストとしてもよい。また、地図画像上には、複数のハイコンテキストのタイムライン軌跡が表示されている。また、情報が読み上げられた地点を示すピンと、読み上げられた情報の種類、時刻、行動（ローコンテキスト）が併せて地図上に表示されている。

また、ユーザがタイムライン軌跡上の地点をタップすると、図１５右側の画面４４に示すように、タップされた地点の情景（撮像画像）が地図画像上に表示され、さらに同地点で読み上げられた情報のテキストが表示されると共に、同地点で読み上げられた情報が再度音声出力される。

このように、タイムライン軌跡や読み上げ地点の撮像画像（情景）の他、読み上げた情報を再度音声で出力して読み上げ時の状況を再現することで、ユーザが詳しく聞きたいと思った音声情報がどれであったかを思い出すことを支援することができる。

＜４−２．第２の実施例＞
続いて、図１６を参照して第２の実施例による画面表示例について説明する。第２の実施例では、ユーザ行動毎に、その行動時に読み上げられた音声情報を表示する。この際、音声情報の表示粒度を、読み上げ時のユーザ操作に基づくユーザ嗜好に応じて変更することで、ユーザの情報検索を支援する。

例えば図１６の画面４５に示すように、「Today's Timeline」として、今日一日のユーザ行動（ここでは、一例としてローコンテキスト）を示す項目４５０、４５４が時系列で表示され、各項目の下に、その行動時に読み上げた情報が表示されている。

各読み上げ情報の横には、読み上げ時のユーザ操作を示すアイコン４５１、４５７、４５９が表示されている。例えば、7時45分にユーザが公園を走っている際に読み上げられたイベント情報に対し、ユーザが「Bookmark」を指示する音声操作を（「Bookmark」と発話）した場合、サーバ２のタイムラインＵＩ生成部２０ｂは、ポジティブフィードバックが行われたと判断する。これにより、当該イベント情報はユーザが興味を示したものであるため、情報粒度「大」で表示制御される。すなわち、読み上げ情報のタイトル４５２と本文全文４５３が表示される。なお、読み上げ時はタイトルと本文１文目までが読み上げられることを前提とする。ユーザはタイトルや本文一文目を聞いて興味が湧いた場合、「Bookmark」と発話し、後から情報を確認する際に確認し易くする。また、図１６に示すように、「Bookmark」の音声操作が行われたことを示す所定のアイコン４５１が、イベント情報と共に表示される

また、例えばアイコン４５９は、「More」の音声操作が行われたことを示すものであって、この場合もPositive
Feedback操作と判断され、ニュース情報が粒度大で表示される。すなわち、例えば図１６に示すように、7時10分にユーザが電車に乗っている際に読み上げられた３つ目のニュース情報に対して「More」の音声操作が行われた場合、タイトル４６０と本文全文４６１が表示される。

このように、Positive Feedback操作と判断されるユーザ操作は、例えば「More」、「Again」、「Bookmark」であって、これらの場合は粒度大で表示され得る。

一方、「Skip」の音声操作は、Negative Feedback操作と判断される。この場合、情報は粒度「小」で表示される。例えば図１６に示すように、7時10分にユーザが電車に乗っている際に読み上げられた２つ目のニュース情報に対して「Skip」の音声操作が行われた場合、サーバ２のタイムラインＵＩ生成部２０ｂは、ネガティブフィードバックが行われたと判断し、タイトル４５８のみを表示する。また、「Skip」の音声操作が行われたことを示す所定のアイコン４５７を併せて表示する。このように、ユーザの興味が無い情報は検索対象とならないことが想定されるため、表示分量を少なくすることで、ユーザが確認したい情報の検索を支援する。

また、音声操作が何等行われなかった場合や、音声操作が「Previous」であった場合は、嗜好判断が行われず、粒度「中」で表示制御される。例えば図１６に示すように、7時10分にユーザが電車に乗っている際に読み上げられた１つ目のニュース情報に対して何ら操作が行われなかった場合、タイトル４５５と本文１文目４５６までが表示される。

＜４−３．第３の実施例＞
次に、図１７を参照して第３の実施例による画面表示例について説明する。上述した第２の実施例では、情報読み上げに対するユーザ操作に基づくユーザ嗜好に応じて情報表示の粒度を変更していたが、本実施形態はこれに限定されず、例えば情報読み上げ時のユーザ行動に基づくユーザ負荷に応じて情報表示の粒度を変更してもよい。第３の実施例では、かかるユーザ負荷に応じた情報表示の粒度変更について説明する。

図１７に示すように、画面４６には、「Today's Timeline」として、今日一日のユーザ行動（ここでは、一例としてローコンテキスト）を示す項目４６１、４６２、４６３、４６４が時系列で表示され、各項目の下に、その行動時に読み上げられた音声情報のテキストが表示されている。

ユーザ行動に応じたユーザ負荷とは、上述したように、ユーザが音声情報を聞きにくい（音声情報に集中しにくい）状況の程度を示すものであって、例えばランニングやサイクリング中はユーザ負荷が高い（すなわち音声情報が聞きにくい）と判断される。したがって、図１７に示すように、例えば7時45分にユーザが走っている際（項目４６１）に読み上げられたイベント情報は、ユーザが聞き逃している可能性が高いため、情報粒度「大」で表示制御される。具体的には、例えばタイトルと本文全文が表示される。これにより、走っている際に情報が読み上げられたが聞き取り難かった場合に当該読み上げ情報を後から確認する際の利便性が向上する（なお本実施例においても、読み上げ済み情報は（「More」の音声操作が行われていなければ）タイトルと本文一文目までであることを前提とする）。

また、徒歩中は、ランニングやサイクリングに比べるとユーザ負荷は高くないと判断され、情報粒度「中」で読み上げ情報が表示制御される。例えば、図１７に示すように、7時10分にユーザが歩いている際（項目４６２）に読み上げられたニュース情報は、多少は聞き取れている可能性が高いため、情報粒度「中」で表示制御される。具体的には、例えばタイトルと本文一文目までが表示される。

また、電車に乗っている時は、徒歩中よりもユーザ負荷は低いと判断され、情報粒度「小」で読み上げ情報が表示制御される。例えば、図１７に示すように、7時12分にユーザが電車に乗っている際（項目４６３）に読み上げられたニュース情報は、しっかり聞き取れている可能性が高いため、情報粒度「小」で表示制御される。具体的には、例えばタイトルのみが表示される。電車に乗っている際に読み上げられた情報はしっかりと聞き取れているため、後から再確認される可能性は低く、かかる音声情報の表示量を少なくすることで、ユーザが他の読み上げ情報を確認する際の邪魔になってしまうことを回避することができる。

＜４−４．第４の実施例＞
次に、図１８を参照して第４の実施例による画面表示例について説明する。上述した第２、第３の実施例では、情報読み上げ時のユーザ操作に基づく嗜好判断結果や、情報読み上げ時のユーザ行動に基づくユーザ負荷に応じて、タイムラインＵＩにおける表示情報の粒度を変更する場合について説明したが、本実施形態はこれに限定されず、例えば嗜好判断結果やユーザ負荷に応じて、さらに表示情報のフォントサイズを変更してもよい。

図１８に示すように、画面４７には、「Today's Timeline」として、今日一日のユーザ行動（ここでは、一例としてローコンテキスト）を示す項目４７１、４７４が時系列で表示され、各項目の下に、その行動時に読み上げられた音声情報のテキストが表示されている。

例えば、図１８に示すように、7時45分にユーザが公園を走っている際（項目４７１）に読み上げられたイベント情報に対し、ユーザが「Bookmark」を指示する音声操作を（「Bookmark」と発話）した場合、サーバ２のタイムラインＵＩ生成部２０ｂは、ポジティブフィードバックが行われたと判断する。これにより、当該イベント情報はユーザが興味を示したものであるため、情報粒度「大」で表示制御すると共に、さらに、フォントサイズ「大」で表示する。すなわち、読み上げ情報のタイトルと本文全文を、後述するネガティブフィードバックされた音声情報や嗜好判断されなかった音声情報よりも大きいフォントサイズで表示する。また、「Bookmark」の音声操作が行われたことを示す所定のアイコン４７２も併せて表示される。これにより、ユーザが興味を持った音声情報を後から確認する際の利便性が向上する。

また、7時10分にユーザが電車に乗っている際（項目４７４）に読み上げられたニュース情報に対し「More」を指示する音声操作が行われた場合も同様にポジティブフィードバックが行われたと判断され、読み上げ情報のタイトルと本文全文がフォントサイズ「大」で表示される。また、「More」の音声操作が行われたことを示す所定のアイコン４７５も併せて表示される。これにより、ユーザが興味を持った音声情報を後から確認する際の利便性が向上する。

また、図１８に示すように、7時45分にユーザが公園を走っている際（項目４７１）に読み上げられた２つ目のイベント情報は、何ら操作が行われず、３つ目のイベント情報は、「Skip」を指示する音声操作が行われた（アイコン４７３は、「Skip」操作が行われたことを意味する）場合は、いずれもフォントサイズ「小」で表示制御される。このように、ユーザが興味を持っていない音声情報は小さいサイズで表示することで、ユーザがタイムラインＵＩをスクロールしながら情報を探す際に邪魔になることを回避することができる。

なお、図１８に図示した例では、一例としてユーザ嗜好に応じたフォントサイズの変更について説明したが、本実施例はこれに限定されず、ユーザ行動に基づくユーザ負荷に応じてフォントサイズを変更してもよい。この場合、例えばユーザ負荷が高かった場合は大きいサイズで表示し、ユーザが負荷が低かった場合は小さいサイズで表示する。

＜４−５．第５の実施例＞
続いて、図１９を参照して第５の実施例による画面表示例について説明する。本実施例では、ユーザ行動のコンテキストに応じて読み上げ情報が中断、再開された場合に、タイムラインＵＩにおいて、これら中断、再開の情報も併せて表示することで、ユーザが読み上げ情報を聞いた際の状況を思い出し易くさせ、情報検索の支援を行うことができる。

図１９に示すように、画面４８には、「Today's Timeline」として、今日一日のユーザ行動（ここでは、一例としてローコンテキスト）を示す項目４８１、４８３、４８６が時系列で表示され、各項目の下に、その行動時に読み上げられた音声情報のテキストが表示されている。ここでは、読み上げ済みの音声情報が表示され、ユーザ行動のコンテキストに応じて読み上げを中断した場合は「paused」（表示４８２、表示４８５）、再開した場合は「continue」（表示４８４、表示４８７）と表示される。例えば情報処理装置１の読み上げ制御部１０ｂは、ユーザ行動に基づくユーザ負荷（聞き取り易さ）を考慮して、ユーザが信号待ち等で停止している場合に情報の読み上げを行い、動き出した時は読み上げを中断して再び停止した時に再開するよう制御することが可能である。このような読み上げ制御情報（「中断」、「再開」）は、読み上げ履歴に含まれ、サーバ２へ送信される。

そして、後から音声情報を確認する際のタイムラインＵＩにおいて、図１９の画面４８に示すように、読み上げ済み音声情報のテキストが、「中断」、「再開」等の読み上げ制御情報と併せて表示される。これによりユーザは、例えば7時10分に自転車に乗って信号待ち等で止まっている際（項目４８１）に読み上げられたニュース情報が途中で中断されこと、およびその続きの情報が7時15分に自転車に乗って再び信号待ち等で止まっている際（項目４８３）に読み上げられたことが直感的に把握できる。

＜４−６．その他＞
以上、本実施形態によるタイムラインＵＩについて複数の実施例を用いて具体的に説明した。なお本実施形態によるタイムラインＵＩは上述した実施例に限定されず、さらに次のようなものであってもよい。

（情景ベースで構成されるタイムラインＵＩ）
図２０は、本実施形態による他のタイムラインＵＩを説明する図である。図２０に示すように、画面４９には、「Today's Timeline」として、今日一日に情報が読み上げられた地点における情景を写した撮像画像４９１、４９２、４９３（例えば情報処理装置１のカメラ１３により情報読み上げ時に撮像した周辺の撮像画像、若しくは予め用意された各地点の撮像画像）が、時系列で表示されている。音声情報がどこに居る時に提示されたかという記憶は残りやすいため、ユーザは、聞き逃した情報等を後から確認する際に図２０の画面４９のような自身が見た景色を手掛かりにして容易に目的の情報を探すことが可能となる。また、画面４９に表示される撮像画像上には、その場所で読み上げられた音声情報（読み上げ済み情報）のテキストや時間、情報の種類等が表示されていてもよい。

（タイムライン軌跡と読み上げ情報表示領域の同期）
図２１は、本実施形態による他のタイムラインＵＩを説明する図である。図２１の左側に示すように、画面５０には、「Today's Timeline」として、地図画像５０１にユーザ行動のライムライン軌跡（移動経路の軌跡）が表示されている。ユーザがタイムライン軌跡上の任意の地点をタップすると、当該地点で読み上げられた情報のテキスト（または画像）が読み上げ表示領域に表示される。画面５０では、例えば、タップした地点で読み上げられた天気予報情報（項目５０２）が読み上げ表示領域（図２１に示す例では地図画像５０１の下方）に表示される。

次いで、ユーザがタイムライン軌跡をなぞる操作を行うと、かかる操作に同期して読み上げ表示領域に表示される読み上げ情報の項目がスクロールされ、かつ、対応する項目の中身が表示される。例えば図２１の右側に示す画面５１のように、タイムライン軌跡をなぞるユーザ操作に応じて読み上げ情報表示領域の画面がスクロールされ、次の項目５０３の中身（イベント情報）が表示される。ここでは、例えば読み上げ済みの音声情報のテキストが表示される。また、地図画像５１１には対応する地点の情景が表示される。

なお、地図画像５１１はピンチインアウトで縮尺を変えることも可能であり、読み上げ情報表示領域も同期される。

（キーワードの強調表示）
図２２は、本実施形態による他のタイムラインＵＩを説明する図である。図２２に示すように、画面５２には、「Today's Timeline」として、今日一日のユーザ行動（ここでは、一例としてローコンテキスト）を示す項目５２１、５２２が時系列で表示され、各項目の下に、その行動時に読み上げられた音声情報のテキストが表示されている。

図２２に示す例では、画面５２に表示されるテキストは、実際に読み上げられた音声情報（読み上げ済み情報）であって、さらに読み上げ済み情報のうち所定のキーワードが強調表示（例えばフォントサイズを大きく表示）されている。所定のキーワードは、例えば固有名詞や、タイトルに使用されている名詞等、読み上げ情報を聞いたユーザの記憶に残り易い言葉が想定される。

このように、読み上げられた情報のキーワードを強調表示するタイムラインＵＩを提示することで、ユーザが情報を探す際に、キーワードを手掛かりにして探し易くなる。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１では、読み上げられた音声情報を確認する際の利便性を向上させることを可能とする。具体的には、情報読み上げ時の日時、位置、行動、操作、または情景に基づいた検索を可能とするＵＩを提供することで、ユーザが聞き逃した情報や興味を持った情報等を後から探し易くさせることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部を備える、情報処理装置。
（２）
前記情報粒度は、情報量であって、タイトルのみ、タイトルと本文の一部、またはタイトルと本文全部のいずれかに制御される、前記（１）に記載の情報処理装置。
（３）
前記ユーザ操作は、スキップ指示、繰り返し指示、詳細再生指示、ブックマーク指示、または前に戻る指示を示す音声入力操作である、前記（２）に記載の情報処理装置。
（４）
前記出力制御部は、さらに前記ユーザ操作に基づいて推定されるユーザ嗜好に応じて、前記音声情報のフォントサイズが変更された表示画面の情報を出力する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記読み上げ履歴に含まれる音声情報の読み上げ時におけるユーザ行動に基づいて推定されるユーザ負荷に応じて、前記音声情報の情報粒度が制御される、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記読み上げ履歴に含まれる音声情報の読み上げ時におけるユーザ行動の認識結果、読み上げ時の日時、場所、読み上げられた情報の種類の少なくともいずれかが前記表示画面にさらに含まれる、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記表示画面で表示される読み上げ情報は、読み上げ済み情報のテキストよりも読み上げられていない部分のテキストが強調表示される、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記読み上げ履歴に含まれる各音声情報の読み上げ時におけるユーザの位置履歴に基づく移動軌跡が前記表示画面に含まれる地図画像上に表示され、さらにユーザにより指定された前記移動軌跡の任意の地点付近で読み上げられた音声情報が表示される、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記表示画面には、さらにユーザにより指定された前記移動軌跡の任意の地点付近の情景を写した撮像画像が表示される、前記（８）に記載の情報処理装置。
（１０）
プロセッサが、
取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力することを含む、情報処理方法。
（１１）
コンピュータを、
取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ操作に基づいて判断された情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部として機能させる、プログラム。

１ 情報処理装置
１０ 制御部
１０ａ 読み上げ情報取得部
１０ｂ 読み上げ制御部
１０ｃ ユーザ状況認識部
１０ｄ 操作認識部
１０ｅ 読み上げ履歴送信制御部
１１ 通信部
１２ マイクロホン
１３ カメラ
１４ ９軸センサ
１５ スピーカ
１６ 位置測位部
１７ 記憶部
２ サーバ
２０ 制御部
２０ａ 記憶制御部
２０ｂ タイムラインＵＩ生成部
２０ｃ 送信制御部２０ｃ
２１ 通信部
２２ 記憶部
３ 表示装置
４ ネットワーク

Claims (10)

1. 取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ行動に基づいて推定されるユーザ負荷に応じて制御される情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部を備える、情報処理装置。
2. 前記情報粒度は、情報量であって、タイトルのみ、タイトルと本文の一部、またはタイトルと本文全部のいずれかに制御される、請求項１に記載の情報処理装置。
3. 前記情報粒度は、前記音声情報の読み上げ時におけるユーザ操作に基づいて判断され、前記ユーザ操作は、スキップ指示、繰り返し指示、詳細再生指示、ブックマーク指示、または前に戻る指示を示す音声入力操作である、請求項２に記載の情報処理装置。
4. 前記出力制御部は、さらに前記ユーザ操作に基づいて推定されるユーザ嗜好に応じて、前記音声情報のフォントサイズが変更された表示画面の情報を出力する、請求項３に記載の情報処理装置。
5. 前記読み上げ履歴に含まれる音声情報の読み上げ時におけるユーザ行動の認識結果、読み上げ時の日時、場所、読み上げられた情報の種類の少なくともいずれかが前記表示画面にさらに含まれる、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記表示画面で表示される読み上げ情報は、読み上げ済み情報のテキストよりも読み上げられていない部分のテキストが強調表示される、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記読み上げ履歴に含まれる各音声情報の読み上げ時におけるユーザの位置履歴に基づく移動軌跡が前記表示画面に含まれる地図画像上に表示され、さらにユーザにより指定された前記移動軌跡の任意の地点付近で読み上げられた音声情報が表示される、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記表示画面には、さらにユーザにより指定された前記移動軌跡の任意の地点付近の情景を写した撮像画像が表示される、請求項７に記載の情報処理装置。
9. プロセッサが、
   取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ行動に基づいて推定されるユーザ負荷に応じて制御される情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力することを含む、情報処理方法。
10. コンピュータを、
    取得された音声情報の読み上げ履歴に含まれる当該音声情報の読み上げ時におけるユーザ行動に基づいて推定されるユーザ負荷に応じて制御される情報粒度で、前記音声情報のテキストを時系列順に表示する表示画面の情報を出力する出力制御部として機能させる、プログラム。

Images