JP5198339B2 - 情報提示装置、情報提示方法、情報提示システムおよびプログラム - Google Patents

Description

本発明は、複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示装置に関する。

従来、雑誌などの情報媒体に掲載されたコンテンツを携帯カメラで撮影すると、そのコンテンツに関する情報をユーザに提示するシステムが提案されている。例えば、雑誌などに掲載されたロゴマークを携帯機器のカメラで撮影すると、そのロゴマークから特徴を抽出してホームページのＵＲＬを検索し、そのホームページにアクセスするシステムが提案されている（例えば、特許文献１参照）。
特開２００３−１５９８０号公報

しかしながら、従来のシステムにおいては、情報媒体（例えば雑誌）の一つのページに複数のコンテンツ（例えばロゴマーク）が掲載されている場合には、一つのコンテンツごとに一つの画像を撮影（接写）する必要があり、つまり、コンテンツの撮影のたびにカメラの画角（画像のサイズ）を調節する必要があり、ユーザにとって手間がかかる（使い勝手が良くない）という問題があった。

したがって、情報媒体（例えば雑誌）の複数のページに複数のコンテンツ（例えばロゴマーク）が掲載されている場合には、ページをめくりながら、一つ一つのコンテンツごとに画像を撮影（接写）する必要があり、多大な手間がかかるという問題があった。

本発明は、上記の課題に鑑みてなされたもので、情報媒体の複数のページに掲載された複数のコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができ、ユーザの手間を大幅に低減できる情報提示装置を提供することを目的とする。

本発明の情報提示装置は、複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示装置であって、ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得するページ画像取得手段と、前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する画像検出手段と、検出された前記コンテンツの部分画像に関連する情報を収集する情報収集手段と、収集した前記情報を前記ユーザに提示するための一覧リストを作成するリスト作成手段と、を備えている。

これにより、ページをめくりながら情報媒体の撮影をするだけで、その情報媒体に含まれるコンテンツに関する情報が（例えば、インターネット経由で）収集されて、一覧リストのかたちでユーザに提示される。したがって、情報媒体の複数のページに様々なコンテンツが分散して掲載されている場合であっても、それらのコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができる。

また、本発明の情報提示装置は、前記ページ画像における前記部分画像の位置情報を取得する画像位置取得手段と、前記位置情報に基づいて、前記ページ画像から前記部分画像を切出す画像切出し手段と、を備え、前記リスト作成手段は、切出した前記部分画像を用いて前記一覧リストを作成してもよい。

これにより、情報媒体から切出した部分画像が（例えば、サムネイル画像として）一覧リストに用いられるので、その情報媒体に含まれるコンテンツに関する情報を提示するときに、その情報がどのコンテンツに関するものであるかを、ユーザに分かりやすく提示することができる。

また、本発明の情報提示装置は、前記ユーザの現在位置の情報を取得する現在位置取得手段を備え、前記リスト作成手段は、前記ユーザの現在位置に基づいて、収集した前記情報のうち前記一覧リストに含める情報を選択し、または、前記一覧リストに含めた情報を並び替えてもよい。

これにより、一覧リストに含められる情報がユーザの現在位置に基づいて選択される。あるいは、一覧リストに含められた情報がユーザの現在位置に基づいて並び替えられる。これにより、ユーザの現在位置を考慮した情報をユーザに提示することができる。例えば、ユーザの現在位置から近いレストランの情報などが優先的にユーザに提示される。

また、本発明の情報提示装置は、現在時刻の情報を取得する現在時刻取得手段を備え、前記リスト作成手段は、前記現在時刻に基づいて、収集した前記情報のうち前記一覧リストに含める情報を選択し、または、前記一覧リストに含めた情報を並び替えてもよい。

これにより、一覧リストに含められる情報が現在時刻に基づいて選択される。あるいは、一覧リストに含められた情報が現在時刻に基づいて並び替えられる。これにより、時間帯を考慮した情報をユーザに提示することができる。例えば、昼の時間帯には、昼食をとるのに適したレストランの情報などが優先的にユーザに提示される。

また、本発明の情報提示装置は、前記情報媒体の撮影が行われたときに、前記ページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さを、同一コンテンツ撮影時間として計測する同一コンテンツ撮影時間計測手段を備え、前記リスト作成手段は、前記同一コンテンツ撮影時間の長さに基づいて、収集した前記情報のうち前記一覧リストに含める情報を選択する、または、前記一覧リストに含めた情報を並び替えてもよい。

これにより、一覧リストに含められる情報がそのコンテンツを撮影した時間の長さ（同一コンテンツ撮影時間）に基づいて選択される。あるいは、一覧リストに含められた情報がそのコンテンツを撮影した時間の長さ（同一コンテンツ撮影時間）に基づいて並び替えられる。これにより、ユーザがそのコンテンツを車内カメラの前に掲げた時間の長さに応じて、ユーザに情報を提示することができる。例えば、車内カメラの前でしばらく（長い時間）撮影し続けたコンテンツの情報（レストランの情報など）が優先的にユーザに提示される。

本発明の情報提示方法は、複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示方法であって、ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得することと、前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出することと、検出された前記コンテンツの部分画像に関連する情報を収集することと、収集した前記情報を前記ユーザに提示するための一覧リストを作成することと、を含んでいる。

この方法によっても、上記のように、ページをめくりながら情報媒体の撮影をするだけで、その情報媒体に含まれるコンテンツに関する情報が（例えば、インターネット経由で）収集されて、一覧リストのかたちでユーザに提示される。したがって、情報媒体の複数のページに様々なコンテンツが分散して掲載されている場合であっても、それらのコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができる。

本発明のプログラムは、複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示用のプログラムであって、コンピュータに、ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得する処理と、前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する処理と、検出された前記コンテンツの部分画像に関連する情報を収集する処理と、収集した前記情報を前記ユーザに提示するための一覧リストを作成する処理と、を実行させる。

このプログラムによっても、上記のように、ページをめくりながら情報媒体の撮影をするだけで、その情報媒体に含まれるコンテンツに関する情報が（例えば、インターネット経由で）収集されて、一覧リストのかたちでユーザに提示される。したがって、情報媒体の複数のページに様々なコンテンツが分散して掲載されている場合であっても、それらのコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができる。

本発明の情報提示システムは、複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示システムであって、ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得するページ画像取得手段と、前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する画像検出手段と、検出された前記コンテンツの部分画像に関連する情報を収集する情報収集手段と、収集した前記情報を前記ユーザに提示するための一覧リストを作成するリスト作成手段と、を備えている。

このシステムによっても、上記のように、ページをめくりながら情報媒体の撮影をするだけで、その情報媒体に含まれるコンテンツに関する情報が（例えば、インターネット経由で）収集されて、一覧リストのかたちでユーザに提示される。したがって、情報媒体の複数のページに様々なコンテンツが分散して掲載されている場合であっても、それらのコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができる。

本発明によれば、情報媒体の複数のページに掲載された複数のコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができ、ユーザの手間を大幅に低減することができる。

以下、本発明の実施の形態の情報提示装置について、図面を用いて説明する。本実施の形態では、カーナビゲーション装置等に適用される情報提示装置の場合を例示する。この装置は、情報媒体（雑誌など）の複数のページに掲載された複数のコンテンツに関する情報を一括してユーザに提示する機能を有している。この機能は、装置のＨＤＤやメモリ等に格納されたプログラムによって実現される。

まず、本実施の形態の情報提示装置の構成を、図面を参照して説明する。図１は、情報提示装置の構成を示すブロック図であり、図２は、情報提示装置の一例（カーナビゲーション装置に適用した例）を示す図である。図１および図２に示すように、情報提示装置１は、車内カメラ２と接続されており、車内カメラ２で撮影した画像を取得する画像取得部３を備えている。この場合、画像取得部３は、ユーザがページをめくりながら雑誌（情報媒体）を撮影すると、車内カメラ２で撮影した雑誌のページ画像を取得する機能を備えている（図３および図４参照）。したがって、この画像取得部３は、本発明のページ画像取得手段に相当するともいえる。

この情報提示装置１は、雑誌のページ画像に含まれるコンテンツの部分画像（例えば、店の写真など）を検出する画像検出部４を備えている。この画像検出部４は、検出対象の候補画像（例えば、日本全国の店の写真など）が記憶されている画像データベース５（画像ＤＢ）と、部分画像と候補画像とのマッチング処理を行なうマッチング部６を備えている。このように、画像検出部４は、ページ画像に画像処理（マッチング処理）を施すことによって、ページ画像に含まれるコンテンツの部分画像（画像データベース５の候補画像とマッチした画像）を検出できるように構成されている。

また、情報提示装置１は、雑誌のページ画像における部分画像の位置情報（例えば、そのページにおける部分画像のｘｙ座標など）を取得する画像位置取得部７と、その位置情報に基づいて部分画像の切出し処理を行なう画像切出し部８を備えている。なお、切出された部分画像は、メモリ（図示せず）などに一時的に保存される。

また、情報提示装置１は、コンテンツの部分画像に関連する情報を収集する情報収集部９を備えている。この情報収集部９は、例えば、インターネットの画像検索などを利用して、コンテンツの部分画像に関する情報を収集する。さらに、この情報提示装置１は、ＧＰＳ装置（図示せず）からユーザの現在位置の情報を取得する現在位置取得部１０と、現在時刻の情報を取得する現在時刻取得部１１を備えている。

この情報提示装置１は、情報収集部９で収集したコンテンツに関する情報をユーザに提示するための一覧リストを生成するリスト作成部１２を備えている。このリスト作成部１２は、画像切出し部８で切出した部分画像を、サムネイル画像として用いて一覧リストを生成する機能を備えている（図５参照）。また、このリスト作成部１２は、ユーザの現在位置に応じて一覧リストに含める情報を選択する機能を備えている。例えば、ユーザの現在位置から近いレストランの情報などが選択される。また、このリスト作成部１２は、現在時刻に応じて一覧リストに含める情報を選択する機能を備えている。例えば、昼の時間帯には、昼食をとるのに適したレストランの情報などが選択される。

さらに、このリスト作成部１２は、ユーザの現在位置に応じて一覧リストに含めた情報を並び替える機能を備えている。例えば、ユーザの現在位置から近いレストランの情報などが優先的に表示されるように並び替えが行われる。また、このリスト作成部１２は、現在時刻に応じて一覧リストに含めた情報を並び替える機能を備えている。例えば、昼の時間帯には、昼食をとるのに適したレストランの情報などが優先的に表示されるように並び替えが行われる。

また、情報提示装置１は、液晶画面などで構成される表示部１３を備えている。この表示部１３には、車内カメラ２で撮影した画像（カメラ画像）や、リスト作成部１２によって作成された一覧リストなどが表示される（図４および図５参照）。

さらに、この情報提示装置１は、過去から現在までの走行履歴の情報が記録される走行履歴データベース１４（走行履歴ＤＢ）を備えている。リスト作成部１２は、この走行履歴ＤＢ１４に記録された走行履歴の情報に基づいて、一覧リストに含める情報を選択したり、一覧リストに含めた情報を並び替える機能も備えている。例えば、ユーザの走行経路を考慮してユーザの現在位置から近いレストランの情報などが選択されたり、優先的に表示されるように並び替えが行われる。

また、この情報提示装置１は、車内カメラ２で雑誌の撮影を行なうときに、その雑誌のページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さ（同一コンテンツ撮影時間）を計測する同一コンテンツ撮影時間計測部１５を備えている。そして、リスト作成部１２は、そのコンテンツを撮影した時間の長さに基づいて、一覧リストに含める情報を選択したり、一覧リストに含めた情報を並び替える機能も備えている。例えば、車内カメラの前でしばらく（長い時間）撮影し続けたコンテンツの情報（レストランの情報など）が上位に表示されるように情報の選択が行われたり、一覧リストの並び替えが行われる。一覧リストの並び替え方法には、例えば、所定のしきい時間より長く撮影し続けたコンテンツを優先的にリストの上位に持ってくる方法や、撮影し続けた時間が長いコンテンツほど上位に持ってくる方法などが含まれる。

以上のように構成された情報提示装置１について、図面を用いてその動作を説明する。

図６は、情報提示装置１における動作の流れを示すフロー図である。情報提示装置１を使用するときには、まず、車内カメラ２を起動し（Ｓ１）、図３に示すように、ユーザがページをめくりながら雑誌（情報媒体）の撮影を行なう。そうすると、情報提示装置１の画像取得部３が、雑誌のページ画像を取り込んで（Ｓ２）、表示部１３に表示されるカメラ画像を更新する（Ｓ３）。

つぎに、情報提示装置１の画像検出部４によって、雑誌のページ画像に含まれるコンテンツの部分画像が検出され（Ｓ４）、画像位置取得部７によって、そのコンテンツの部分画像の画像位置が取得される（Ｓ５）。そして、情報収集部９では、インターネットの画像検索などを利用して、その部分画像に関連する情報の収集が行なわれ（Ｓ６）、画像切出し部８では、その部分画像の切出しが行なわれる（Ｓ７）。

そして、情報提示装置１のリスト作成部１２では、収集した情報と切出した部分画像を用いて一覧リストの作成が行なわれる（Ｓ８）。上記のステップＳ２からステップＳ８までの処理を、すべてのページ画像に含まれるコンテンツの部分画像についての画像検出が終了するまで繰り返す（Ｓ９）。このようにして作成された一覧リストを表示部１３に表示して、ユーザに提示する（Ｓ１０）。

このような本実施の形態の情報提示装置１によれば、情報媒体（雑誌など）の複数のページに掲載された複数のコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができ、ユーザの手間を大幅に低減することができる。

すなわち、本実施の形態では、ページをめくりながら情報媒体（雑誌など）の撮影をするだけで、その情報媒体に含まれるコンテンツに関する情報が（例えば、インターネット経由で）収集されて、一覧リストのかたちでユーザに提示される。したがって、情報媒体の複数のページに様々なコンテンツが分散して掲載されている場合であっても、それらのコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができる。

また、本実施の形態では、情報媒体（雑誌など）から切出した部分画像が（例えば、サムネイル画像として）一覧リストに用いられるので、その情報媒体に含まれるコンテンツに関する情報を提示するときに、その情報がどのコンテンツに関するものであるかを、ユーザに分かりやすく提示することができる。

また、本実施の形態では、一覧リストに含められる情報がユーザの現在位置に基づいて選択される。あるいは、一覧リストに含められた情報がユーザの現在位置に基づいて並び替えられる。これにより、ユーザの現在位置を考慮した情報をユーザに提示することができる。例えば、ユーザの現在位置から近いレストランの情報などが優先的にユーザに提示される。

また、本実施の形態では、一覧リストに含められる情報が現在時刻に基づいて選択される。あるいは、一覧リストに含められた情報が現在時刻に基づいて並び替えられる。これにより、時間帯を考慮した情報をユーザに提示することができる。例えば、昼の時間帯には、昼食をとるのに適したレストランの情報などが優先的にユーザに提示される。

また、本実施の形態では、一覧リストに含められる情報がそのコンテンツを撮影した時間の長さ（同一コンテンツ撮影時間）に基づいて選択される。あるいは、一覧リストに含められた情報がそのコンテンツを撮影した時間の長さ（同一コンテンツ撮影時間）に基づいて並び替えられる。これにより、ユーザがそのコンテンツを車内カメラ２の前に掲げた時間の長さに応じて、ユーザに情報を提示することができる。例えば、車内カメラ２の前でしばらく（長い時間）撮影し続けたコンテンツの情報（レストランの情報など）が優先的にユーザに提示される。

（他の実施の形態）
以上の説明では、車両に搭載される装置にすべての構成を備えられている情報提示装置の例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、車両に搭載される装置（クライアント装置）に一部の構成が備えられ、センターなどに設置される装置（サーバ装置）に残りの構成が備えられている情報提示システムであってもよい。

図７は、本発明の他の実施の形態としての情報提示システムの一例を示すブロック図である。図７に示すように、情報提示システム１００は、車両に搭載されるクライアント装置２０と、センターなどに設置されるサーバ装置３０によって構成されている。クライアント装置２０とサーバ装置３０は、互いに情報通信を行なうための通信部２１、３１を備えている。

クライアント装置２０は、車内カメラ２に接続されており、上記の実施の形態と同様の画像取得部３と表示部１３を備えている。また、サーバ装置３０も、上記の実施の形態と同様の画像検出部４、画像位置取得部７、画像切出し部８、情報収集部９、現在位置取得部１０、現在時刻取得部１１、リスト作成部１２、走行履歴ＤＢ１４、同一コンテンツ撮影時間計測部１５を備えている。これらの構成の機能は上記の実施の形態とほぼ同様である。したがって、ここでは詳しい説明を省略する。なお、走行履歴ＤＢ１４や同一コンテンツ撮影時間計測部は、クライアント装置２０のほうに備えられていてもよい。

このような情報提示システム１００によっても、上記の実施の形態の情報提示装置１と同様の作用効果を得ることができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかる情報提示装置は、情報媒体の複数のページに掲載された複数のコンテンツに関する情報を一括して分かりやすく簡単にユーザに提示することができるという効果を有し、カーナビゲーション装置等に用いられ、有用である。

本実施の形態の情報提示装置のブロック図である。 情報提示装置の一例を示す図である。 情報提示装置を使用するときの一例を示す図である。 雑誌の撮影時に表示部に表示されるページ画像の一例を示す図である。 表示部に表示される一覧リストの一例を示す図である。 情報提示装置の動作を説明するためのフロー図である。 他の実施の形態の情報提示システムのブロック図である。

１ 情報提示装置
２ 車内カメラ
３ 画像取得部
４ 画像検出部
５ 画像データベース
６ マッチング部
７ 画像位置取得部
８ 画像切出し部
９ 情報収集部
１０ 現在位置取得部
１１ 現在時刻取得部
１２ リスト作成部
１３ 表示部
１４ 走行履歴データベース
１５ 同一コンテンツ撮影時間計測部
２０ クライアント装置
３０ サーバ装置
１００ 情報提示システム

Claims (6)

1. 複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示装置であって、
   前記情報提示装置は、
   ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得するページ画像取得手段と、
   前記情報媒体の撮影が行われたときに、前記ページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さを、同一コンテンツ撮影時間として計測する同一コンテンツ撮影時間計測手段と、
   前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する画像検出手段と、
   検出された前記コンテンツの部分画像に関連する情報を収集する情報収集手段と、
   収集した前記情報を前記ユーザに提示するための一覧リストを作成するリスト作成手段と、
   を備え、
   前記リスト作成手段は、前記同一コンテンツ撮影時間が長いほど、収集した前記情報が優先して前記ユーザに提示されるように、前記一覧リストに含める情報の選択、または、前記一覧リストに含めた情報の並び替えを行うことを特徴とする情報提示装置。
2. 前記ユーザの現在位置の情報を取得する現在位置取得手段を備え、
   前記リスト作成手段は、前記ユーザの現在位置に基づいて、収集した前記情報のうち前記一覧リストに含める情報を選択する、または、前記一覧リストに含めた情報を並び替えることを特徴とする請求項１に記載の情報提示装置。
3. 現在時刻の情報を取得する現在時刻取得手段を備え、
   前記リスト作成手段は、前記現在時刻に基づいて、収集した前記情報のうち前記一覧リストに含める情報を選択する、または、前記一覧リストに含めた情報を並び替えることを特徴とする請求項１または請求項２に記載の情報提示装置。
4. 複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示装置で実行される方法であって、
   前記方法は、
   ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得することと、
   前記情報媒体の撮影が行われたときに、前記ページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さを、同一コンテンツ撮影時間として計測することと、
   前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出することと、
   検出された前記コンテンツの部分画像に関連する情報を収集することと、
   収集した前記情報を前記ユーザに提示するための一覧リストを作成することと、
   を含み、
   前記一覧リストの作成では、前記同一コンテンツ撮影時間が長いほど、収集した前記情報が優先して前記ユーザに提示されるように、前記一覧リストに含める情報の選択、または、前記一覧リストに含めた情報の並び替えを行うことを特徴とする方法。
5. 複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示用のプログラムであって、
   前記プログラムは、コンピュータに、
   ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得する処理と、
   前記情報媒体の撮影が行われたときに、前記ページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さを、同一コンテンツ撮影時間として計測する処理と、
   前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する処理と、
   検出された前記コンテンツの部分画像に関連する情報を収集する処理と、
   収集した前記情報を前記ユーザに提示するための一覧リストを作成する処理と、
   を実行させるものであり、
   前記一覧リストを作成する処理では、前記同一コンテンツ撮影時間が長いほど、収集した前記情報が優先して前記ユーザに提示されるように、前記一覧リストに含める情報の選択、または、前記一覧リストに含めた情報の並び替えが行われることを特徴とするプログラム。
6. 複数ページを有する情報媒体に含まれるコンテンツに関する情報をユーザに提示する情報提示システムであって、
   前記情報提示システムは、
   ページをめくりながら前記情報媒体の撮影が行われたときに、前記情報媒体のページ画像を取得するページ画像取得手段と、
   前記情報媒体の撮影が行われたときに、前記ページ画像に含まれる同一のコンテンツが連続して撮影された時間の長さを、同一コンテンツ撮影時間として計測する同一コンテンツ撮影時間計測手段と、
   前記ページ画像に画像処理を施して、前記ページ画像に含まれるコンテンツの部分画像を検出する画像検出手段と、
   検出された前記コンテンツの部分画像に関連する情報を収集する情報収集手段と、
   収集した前記情報を前記ユーザに提示するための一覧リストを作成するリスト作成手段と、
   を備え、
   前記リスト作成手段は、前記同一コンテンツ撮影時間が長いほど、収集した前記情報が優先して前記ユーザに提示されるように、前記一覧リストに含める情報の選択、または、前記一覧リストに含めた情報の並び替えを行うことを特徴とする情報提示システム。