JP5544570B2 - 情報提示システム、情報提示プログラム、及び情報提示方法 - Google Patents

Description

本発明は、情報提示システム、情報提示プログラム、及び情報提示方法に関する。

近年、直感的に情報を取得するためのツールとして、カメラ画像を通した現実環境にコンピュータ内で生成した情報を付加提示する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が様々な場面で利用されてきている。

合成提示される電子情報は、例えば、現実環境中の特定の対象物に関する説明や関連情報といった固有情報とされ、対象物となる実物体近くに提示されることが多い。このため、拡張現実を実現するための技術として、ユーザが対象を観察する位置など現実環境の情報を取得する技術が基礎技術として重要視されている。このような情報の提示や取得の際には、携帯情報端末のようなデバイスが利用されている。

情報提示の際には、まずは入手したい対象物を特定する必要がある。このための方法としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や無線通信によるアクセスポインタを使用して取得する位置情報や、対象物の画像パターン又はＩＣタグ等のマーカ情報を利用するものが知られている（例えば、特許文献１、２参照。）。

特開２０１０−１２８１３３号公報 特開２０１０−０３３３９７号公報

しかしながら、上記従来の技術を家庭内等の屋内で利用する場合、ＧＰＳの精度が低かったり、対象物によってはマーカを取り付けられないものがあったりして、対象物を特定することが難しい。また、ＧＰＳや無線通信を使用する場合、受信するデバイスには、地磁気センサや加速度センサが搭載されている必要がある。しかも、屋内では、家電等から出るノイズによりセンサ精度が悪化してしまう。

そこで、本発明は上記事情に鑑みて成されたものであり、特別なセンサ設備を有しなくても、対象物の固有情報を迅速かつ簡易に取得・提示することができる情報提示システム、情報提示プログラム、及び情報提示方法を提供することを目的とする。

本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る情報提示システムは、所定の領域内に配された複数の情報取得対象物及びユーザに関する画像情報を獲得する画像情報取得部と、前記情報取得対象物に関する固有情報を獲得する固有情報取得部と、前記情報取得対象物の前記画像情報から、前記領域内における前記情報取得対象物の位置情報を算出する位置情報取得部と、前記画像情報に基づき、前記ユーザが所望する一又は複数の前記情報取得対象物を特定する取得対象分析部と、特定された前記情報取得対象物の画像に該情報取得対象物に係る前記固有情報を付加する画像処理部と、を備え、前記取得対象分析部が、ユーザの前記画像情報から該ユーザの指差し位置及び指差し方向を算出するジェスチャ認識部と、算出した指差し位置及び指差し方向、並びに前記情報取得対象物の前記位置情報から、ユーザが所望する前記情報取得対象物を特定する特定部と、を備えていることを特徴とする。

また、本発明に係る情報提示システムは、前記情報提示システムであって、特定された前記情報取得対象物とこれに関する前記固有情報とを表示させた履歴情報を作成する閲覧情報作成部を備えていることを特徴とする。

また、本発明に係る情報提示システムは、前記情報提示システムであって、前記固有情報取得部が、前記情報取得対象物の画像情報から特徴点を抽出して、該特徴点の変化を前記固有情報として算出することを特徴とする。

また、本実施形態に係る情報提示プログラムは、コンピュータを、本発明に係る情報提示システムとして機能させることを特徴とする。

また、本実施形態に係る情報提示方法は、所定の領域内に配された複数の情報取得対象物の画像情報を獲得して前記領域内における位置情報を算出する位置情報取得工程と、前記情報取得対象物に関する固有情報を獲得する固有情報取得工程と、前記固有情報の入手を所望するユーザの前記領域内における画像情報を獲得する画像情報取得工程と、該画像情報からユーザの指差し位置及び指差し方向を算出するジェスチャ認識工程と、算出した指差し位置及び指差し方向、並びに前記情報取得対象物の前記位置情報から、ユーザが所望する一又は複数の情報取得対象物を特定する特定工程と、特定された前記情報取得対象物の画像に該情報取得対象物に係る前記固有情報を付加する画像処理工程と、を備えていることを特徴とする。

また、本発明に係る情報提示方法は、前記情報提示方法であって、特定された前記情報取得対象物とこれに関する前記固有情報とを表示させた履歴情報を作成する閲覧情報作成工程を備えていることを特徴とする。

本発明によれば、固有情報を入手するためのデバイスが特別なセンサ設備を有しなくても、対象物の固有情報を迅速かつ簡易に取得・提示することができる。

本発明の一実施形態に係る情報提示システムを示す概要図である。 本発明の一実施形態に係る情報提示システムを示す機能ブロック図である。 本発明の一実施形態に係る情報提示方法を示すフロー図である。 本発明の一実施形態に係る情報提示システムの他の実施例を示す概要図である。

本発明に係る一実施形態について、図１から図３を参照して説明する。
本実施形態に係る情報提示システム１は、図１に示すように、複数の家電機器（情報取得対象物）Ｅ１，Ｅ２，Ｅ３とともに室内（所定の領域）Ａに配されたルームサーバ２と、ルームサーバ２と通信可能に接続された撮影機器３と、不図示のカメラ部及び表示画面Ｗを備えてユーザＵが有する携帯情報端末５と、を備えている。

ルームサーバ２は、撮影機器３より送信された画像信号の各種処理を行う不図示のサーバ側演算処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のサーバ側プログラムメモリ部と、各種情報を格納するサーバ側データメモリ部６と、外部との送受信を行う不図示のサーバ側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。

撮影機器３は、室内Ａに固定された第一ステレオカメラ７と、室内Ａを移動可能に配された第二ステレオカメラ８と、を備えている。

携帯情報端末５は、種々の演算処理や制御処理等を行う不図示のデバイス側中央処理部と、画像信号の各種処理に必要なプログラムを格納する不図示のデバイス側プログラムメモリ部と、各種情報を格納する不図示のデバイス側データメモリ部と、カメラ部等との送受信を行う不図示のデバイス側入出力インタフェース部と、を備えている。これらは相互に通信可能に接続されている。

情報提示システム１は、機能手段（プログラムモジュール）として、図２に示すように、サーバ側プログラムメモリ部に格納される画像情報取得部１０、固有情報取得部１１、位置情報取得部１２、取得対象分析部１３、閲覧情報作成部１５と、デバイス側プログラムメモリ部に格納される画像処理部１６、表示部１７と、を備えている。これらの機能手段は、サーバ側演算処理部やサーバ側プログラムメモリ部によって実現されるサーバ側制御部１８、及び、デバイス側中央処理部やデバイス側プログラムメモリ部によって実現されるデバイス側制御部２０によってそれぞれ制御される。

画像情報取得部１０は、画像情報として第一ステレオカメラ７及び第二ステレオカメラ８によって撮影された家電機器Ｅ１，Ｅ２，Ｅ３を含む室内Ａの画像信号を生成する。

固有情報取得部１１は、家電機器Ｅ１，Ｅ２，Ｅ３の画像信号からそれぞれの特徴点を公知の方法によって抽出して、該特徴点の変化を家電機器Ｅ１，Ｅ２，Ｅ３の利用履歴データ（固有情報）として算出する不図示の各種演算部をさらに備えている。ここで、特徴点とは、例えば、情報取得対象物がテレビの場合には、画面の明るさであり、テレビの画面の明るさの変化を視聴時とそうでない時との差異としてとらえて視聴履歴データとする。また、情報取得対象物がポットの場合には、特徴点は置かれた位置座標であり、位置座標の変化をポットの使用時とそうでない時との差異としてとらえて使用履歴データとする。得られた利用履歴データは、サーバ側データメモリ部６に格納される。

位置情報取得部１２は、家電機器Ｅ１，Ｅ２，Ｅ３の画像信号から、公知の技術によって室内Ａにおけるそれぞれの位置情報を算出する不図示の各種演算部をさらに備えている。得られた位置情報は、サーバ側データメモリ部に格納される。

取得対象分析部１３は、さらに、ジェスチャ認識部２１と、特定部２２と、を備えている。

ジェスチャ認識部２１は、例えば、特開２００９−０３７４３４号公報に記載の技術を利用して、第一ステレオカメラ７及び第二ステレオカメラ８により取得したユーザＵの画像情報から、ユーザＵの指差し位置及び指差し方向を算出する不図示の各種演算部をさらに備えている。

特定部２２も、例えば、特開２００９−０３７４３４号公報に記載の技術を利用する。すなわち、ジェスチャ認識部２１が算出した指差し位置及び指差し方向、並びに、位置情報取得部１２が算出した家電機器Ｅ１，Ｅ２，Ｅ３の位置情報から、ユーザＵが情報提示を所望する家電機器（例えば、Ｅ１）を特定する不図示の各種演算部をさらに備えている。

閲覧情報作成部１５は、ユーザＵによって特定された家電機器Ｅ１とこれの利用履歴データとをユーザＵが閲覧したという閲覧履歴データ（履歴情報）を作成して、サーバ側データメモリ部６に格納する。

画像処理部１６は、特定部２２によって特定されてルームサーバ２から送信された家電機器Ｅ１の画像に対して、拡張現実に関する公知の方法によって、同様に送信された家電機器Ｅ１の利用履歴データを重畳する不図示の各種演算部をさらに備えている。

表示部１７は、家電機器Ｅ１とともに、重畳された利用履歴データを携帯情報端末５の表示画面Ｗに表示させたり、閲覧情報作成部１５が作成した閲覧履歴データをサーバ側データメモリ部６から読み込んで表示させたりする。

次に、本実施形態に係る情報提示方法について、情報提示システム１の作用とともに説明する。本実施形態に係る情報提示方法は、図３に示すように、位置情報取得工程（Ｓ０１）と、固有情報取得工程（Ｓ０２）と、画像情報取得工程（Ｓ０３）と、ジェスチャ認識工程（Ｓ０４）と、特定工程（Ｓ０５）と、画像処理工程（Ｓ０６）と、画像表示工程（Ｓ０７）と、閲覧情報作成工程（Ｓ０８）と、を備えている。

位置情報取得工程（Ｓ０１）では、まずは、第一ステレオカメラ７及び第二ステレオカメラ８を駆動して家電機器Ｅ１，Ｅ２，Ｅ３を撮像する。撮像データは、例えば、ＷＥＢサービスを利用して画像情報取得部１０に入力される。次に、この画像信号に基づき、位置情報取得部１２によって室内Ａにおけるそれぞれの位置情報を、ＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法等を用いて算出する。得られた位置情報は、サーバ側データメモリ部に格納される。

固有情報取得工程（Ｓ０２）では、画像情報取得部１０に入力された家電機器Ｅ１，Ｅ２，Ｅ３の画像信号に対し、固有情報取得部１１にてそれぞれの特徴点を抽出して、該特徴点の変化を家電機器Ｅ１，Ｅ２，Ｅ３の利用履歴データとして算出する。得られた利用履歴データは、サーバ側データメモリ部６に格納される。なお、位置情報取得工程（Ｓ０１）及び固有情報取得工程（Ｓ０２）は、ユーザＵの有無にかかわらず常時行われる。

画像情報取得工程（Ｓ０３）では、ユーザＵが所有する携帯情報端末５のアプリケーションを起動し、ルームサーバ２がこれを検知することによって開始される。ここでは、まずは第一ステレオカメラ７及び第二ステレオカメラ８を駆動する。そして、室内ＡでユーザＵが利用履歴データの取得を所望する家電機器に向けて携帯情報端末５をかざしたり、直接指差ししたりする状態を第一ステレオカメラ７及び第二ステレオカメラ８が撮像する。撮像データは、例えば、ＷＥＢサービスを利用して画像情報取得部１０に入力される。

ジェスチャ認識工程（Ｓ０４）では、画像情報取得部１０に入力された画像信号に基づき、ジェスチャ認識部２１にて、ユーザＵの指差し位置及び指差し方向を算出する。

特定工程（Ｓ０５）では、ジェスチャ認識工程（Ｓ０４）にて算出されたユーザＵの指差し位置及び指差し方向と、位置情報取得工程（Ｓ０１）にて算出されてサーバ側データメモリ部６に格納された家電機器Ｅ１，Ｅ２，Ｅ３の位置情報とから、ユーザＵが情報提示を所望する家電機器（例えば、Ｅ１）を特定する。

画像処理工程（Ｓ０６）では、固有情報取得工程（Ｓ０２）で得られた家電機器Ｅ１の利用履歴データをサーバ側データメモリ部６から取り出し、例えばＷＥＢサービスを通じて携帯情報端末５に送信する。そして、画像処理部１６にて、特定部２２によって特定された家電機器Ｅ１の画像に重畳する。

画像表示工程（Ｓ０７）では、携帯情報端末５の不図示のカメラ部が撮影した家電機器Ｅ１とともに、これに重畳された利用履歴データを携帯情報端末５の表示画面Ｗに表示する。

閲覧情報作成工程（Ｓ０８）では、ユーザＵが携帯情報端末５の表示画面Ｗで家電機器Ｅ１とこれの利用履歴データとを閲覧したという情報を作成するとともに、ユーザＵ又は他者が別途読み取り可能な状態にサーバ側データメモリ部に格納する。

この情報提示システム１及び情報提示方法によれば、ＧＰＳの精度が低い室内Ａであっても、また、テレビのようなマーカを取り付けられない家電機器を対象物とするような場合であっても、ユーザＵの指差し行為に基づいて、ユーザＵが利用履歴データの閲覧を所望する家電機器を特定して識別することができる。そして、識別した家電機器とともにそれの利用履歴データを携帯情報端末５の表示画面Ｗに表示させて、利用履歴データを確認することができる。

なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、情報提示システム１を構成する機器としてルームサーバ２及び携帯情報端末５としているが、これに限らず、携帯情報端末のみの処理によって実現できるものであっても構わない。

また、第一ステレオカメラ７は図１に示すものに限らず、図４に示すように、単眼カメラ７Ａ，７Ｂの２台を第一ステレオカメラの代わりとしてもよい。さらに、第一ステレオカメラ７のみ、第二ステレオカメラ８のみ、又は、単眼カメラ７Ａ，７Ｂの２台のみでも構わない。

また、室内Ａに限らず、１つのショッピングモール内や商店街内といった、ＧＰＳや無線通信の精度が十分に得られない広さの敷地又は領域にて、情報取得対象物を各店の商品とし、固有情報をその商品説明等としても構わない。この場合、ユーザである消費者が、購入を検討している店舗のショーウィンドウや店舗内に陳列されている商品に向けて携帯情報端末をかざし、又は指差すことによって、それの撮像データに基づき、ユーザが所有する携帯情報端末に商品説明を商品とともに表示させることができる。また、この表示履歴データを店主が閲覧することによって、消費者の嗜好を把握でき、マーケティング活動に利用することができる。

近年、高齢者の急増に伴い、一人暮らし世帯や高齢者のみの世帯が急増しており地域（在宅）における介護の必要性が高まっている。そこで、従来から行政機関や民間のボランティアによるヘルパー派遣などが行われているが、全国的な人手不足から十分な労働力を確保することが容易ではない状況にある。そのような状況下、介護を要する状態を引き起こさないために、また、介護を要する状態の進展を防ぎその軽減を図るために自助努力を基軸としつつ、保険・医療・福祉等の視点からなされる多面的なアプローチである介護予防という考え方が広がりつつある。

介護予防のためには、正しい生活リズムの維持、自分自身の健康状態に対する自覚、運動機能を維持するリハビリテーションとその持続が必要になる。そして、転倒などの事故が生じたときに迅速な対応が図られるような見守りが必要になる。こうした介護予防や見守りを行うために、ヘルパー等が見守り対象者の家庭を訪問した際、見守り対象者がその日にどのような生活を行っていたのかを、迅速かつ簡易に確認したい、という要望が高まりつつある。一方、プライバシー保護の観点から、見守り対象者を終日監視するような行為はできない。

そのような中、本発明に係る情報提示システム及び情報提示方法を利用することによって、例えば、ヘルパー等がテレビやポットを指差しして特定することによって、所持する携帯情報端末にその家電機器とともに、テレビの視聴時間やポットの利用回数を表示させることができる。したがって、ヘルパー等が被介護者の日常の行動パターンをもとに、現場で迅速に被介護者の行動履歴を把握できるようになる。

１ 情報提示システム
１０ 画像情報取得部
１１ 固有情報取得部
１２ 位置情報取得部
１３ 取得対象分析部
１５ 閲覧情報作成部
１６ 画像処理部
２１ ジェスチャ認識部
２２ 特定部
Ａ 室内（所定の領域）
Ｅ１，Ｅ２，Ｅ３ 家電機器（情報取得対象物）
Ｕ ユーザ

Claims (4)

1. 情報取得対象物に関する情報をユーザに提示する情報提示システムであって、
   所定の領域内に配された複数の情報取得対象物及びユーザに関する画像情報を獲得する画像情報取得部と、
   前記情報取得対象物の前記画像情報から、前記領域内における前記情報取得対象物の位置情報を算出する位置情報取得部と、
   前記情報取得対象物の画像情報から、当該情報取得対象物を利用しているか否かを判定できる当該情報取得対象物固有の特徴点を抽出して、前記位置情報の変化を含む該特徴点の変化に関する情報から当該情報取得対象物の利用履歴を算出して、該利用履歴を含む前記情報取得対象物に関する固有情報を獲得する固有情報取得部と、
   前記画像情報に基づき、前記ユーザが所望する一又は複数の前記情報取得対象物を特定する取得対象分析部と、
   特定された前記情報取得対象物の画像に該情報取得対象物に係る前記固有情報を付加する画像処理部と、
   を備え、
   前記取得対象分析部が、
   ユーザの前記画像情報から該ユーザの指差し位置及び指差し方向を算出するジェスチャ認識部と、
   算出した指差し位置及び指差し方向、並びに前記情報取得対象物の前記位置情報から、ユーザが所望する前記情報取得対象物を特定する特定部と、
   前記特定部により特定される前記ユーザが所望する一又は複数の前記情報取得対象物に対しての前記固有情報をユーザに表示する表示部と
   を備えていることを特徴とする情報提示システム。
2. コンピュータを請求項１記載の情報提示システムとして機能させることを特徴とする情報提示プログラム。
3. 撮像機器と、表示部を有する情報端末と、両者が接続されたサーバーとを用いて情報取得対象物の情報をユーザに提示する情報提示方法であって、
   前記撮像機器により取得される所定の領域内に配された複数の情報取得対象物の画像情報を獲得して前記領域内における位置情報を前記サーバーにより算出する位置情報取得工程と、
   前記情報取得対象物の画像情報からあらかじめ設定した特徴点を前記サーバーにより抽出して、前記位置情報の変化を含む該特徴点の変化に関する情報を該サーバーにより算出して利用履歴についての情報を含む固有情報を獲得する固有情報取得工程と、
   前記固有情報の入手を所望するユーザの前記領域内における画像情報を前記撮像装置から獲得する画像情報取得工程と、
   該画像情報からユーザの指差し位置及び指差し方向を前記サーバーにより算出するジェスチャ認識工程と、
   算出した指差し位置及び指差し方向、並びに前記情報取得対象物の前記位置情報から、ユーザが所望する一又は複数の情報取得対象物を前記サーバーにより特定する特定工程と、
   特定された前記情報取得対象物の画像に該情報取得対象物に係る前記固有情報を前記サーバーにより付加する画像処理工程と、
   前記特定工程により特定される前記ユーザが所望する一又は複数の前記情報取得対象物に対しての前記固有情報を前記表示部に表示する画像表示工程と
   を備えていることを特徴とする情報提示方法。
4. 特定された前記情報取得対象物とこれに関する前記固有情報とを表示させた履歴情報を前記サーバーにより作成する閲覧情報作成工程を備えていることを特徴とする請求項３に記載の情報提示方法。

Images