JP7157871B2 - 関連情報出力装置 - Google Patents

Description

本開示の一側面は、撮像画像に含まれるオブジェクトに関連する関連情報を出力する関連情報出力装置に関する。

下記特許文献１では、カメラによる撮像画像に写ったオブジェクトを認識する情報処理装置が開示されている。

特開２０１９－０２０８４１号公報

しかしながら、上記情報処理装置では、例えば撮像画像に写ったオブジェクトに関連する関連情報が出力されないため、ユーザにとって利便性が悪いという課題がある。

そこで、本開示の一側面は、かかる課題に鑑みて為されたものであり、撮像画像に含まれるオブジェクトに関連する関連情報を出力することができる関連情報出力装置を提供することを目的とする。

上記課題を解決するため、本開示の一側面に係る関連情報出力装置は、撮像画像を取得する取得部と、取得部によって取得された撮像画像に含まれるオブジェクトを認識する認識部と、認識部によって認識されたオブジェクトに関連する関連情報を出力する出力部と、を備える。

このような関連情報出力装置によれば、撮像画像に含まれるオブジェクトが認識され、認識されたオブジェクトに関連する関連情報が出力される。すなわち、撮像画像に含まれるオブジェクトに関連する関連情報を出力することができる。

本開示の一側面によれば、撮像画像に含まれるオブジェクトに関連する関連情報を出力することができる。

本発明の実施形態に係る関連情報出力装置の構成図である。 本発明の実施形態に係る関連情報出力装置の機能ブロック図である。 対応表のテーブル例を示す図である。 オブジェクトとカテゴリとが対応付けられたテーブル例を示す図である。 対応表の別のテーブル例を示す図である。 本発明の実施形態に係る関連情報出力装置で実行される関連情報出力処理の一例を示すフローチャートである。 本発明の実施形態に係る関連情報出力装置で実行される関連情報出力処理の別の一例を示すフローチャートである。 本発明の実施形態に係る関連情報出力装置のハードウェア構成図である。

以下、図面とともに本発明の実施形態に係る関連情報出力装置１について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、以下の説明における実施形態は、本発明の具体例であり、特に本発明を限定する旨の記載がない限り、これらの実施形態に限定されないものとする。

関連情報出力装置１は、現実世界で人が感知できる情報に、別の情報を加えることで現実を拡張表現する技術である拡張現実（Augmented Reality、ＡＲ）、又は、現実空間と仮想空間を混合し、現実のモノと仮想的なモノとがリアルタイムで影響し合う新たな空間を構築する技術である複合現実（Mixed Reality、ＭＲ）を実装したコンピュータ装置である。本実施形態において関連情報出力装置１は、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）方式のＡＲウェアラブルデバイスであるスマートグラスとして説明するが、これに限るものではない。例えば、関連情報出力装置１は、一般的なスマートフォンにアタッチメントを付けたものであって、アタッチメントによってユーザの顔に固定して利用する形態であってもよい。

図１は、関連情報出力装置１の構成図である。図１に示す通り、関連情報出力装置１は、本体装置１ａ、撮像装置１ｂ及び表示装置１ｃを含んで構成される。上述の通り、関連情報出力装置１はスマートグラスであり、ユーザが一般的なメガネをかけるように装着して利用する。

本体装置１ａは、コンピュータシステム本体であり、撮像装置１ｂ及び表示装置１ｃの入出力制御を行い、撮像装置１ｂからの情報を入力し、入力された情報に基づいて演算を行い、表示装置１ｃへ演算結果や指示等の情報を出力する等、関連情報出力装置１全体の処理制御を行う。

本体装置１ａは、ＧＰＳ（Global Positioning System）などを利用して関連情報出力装置１の位置情報（緯度及び経度など）を取得する位置情報取得装置（不図示）をさらに備えてもよい。位置情報取得装置は、ＧＰＳではなく、移動体通信システムにおける基地局からの基地局情報を利用して位置情報を取得してもよい。また、本体装置１ａは、関連情報出力装置１の加速度に関する加速度情報を取得する加速度センサーなどの加速度取得装置（不図示）をさらに備えてもよい。また、本体装置１ａは、関連情報出力装置１を装着したユーザの視線（の先）に関する視線情報を取得（検知）する視線センサーなどの視線取得装置（不図示）をさらに備えてもよい。また、本体装置１ａは、関連情報出力装置１の周囲の音声及び関連情報出力装置１を装着したユーザの音声に関する音声情報を取得するマイクなどの音声取得装置（不図示）をさらに備えてもよい。本体装置１ａは、上述の撮像装置１ｂ及び表示装置１ｃと同様に、上述の位置情報取得装置、加速度取得装置、視線取得装置及び音声取得装置の処理制御を行う。

撮像装置１ｂは、関連情報出力装置１の周辺、又は関連情報出力装置１を装着しているユーザの周辺を撮像画像（撮像映像を含む）として撮像可能であり、具体的にはカメラである。撮像画像とは、例えばＪＰＥＧ（Joint Photographic Experts Group）画像である。撮像映像とは、例えばＭＰＥＧ（Moving Picture Experts Group）映像である。関連情報出力装置１は、撮像装置１ｂを（ユーザから見て）外側に向けて備え、ユーザの視線又は視界と同じ景色を撮像する。

表示装置１ｃは、ユーザに情報を表示することが可能であり、具体的にはディスプレイである。表示装置１ｃは、メガネのレンズのようにユーザの目の近辺の位置に配置される。表示装置１ｃは、撮像装置１ｂによって撮像された撮像画像をユーザに表示する。

図２は、関連情報出力装置１の機能ブロック図である。図２に示す通り、関連情報出力装置１は、取得部１０、履歴格納部１１、認識部１２、出力部１３、対応表格納部１４及び補助情報格納部１５を含んで構成される。

関連情報出力装置１の各機能ブロックは、本体装置１ａ内にて機能することを想定しているが、これに限るものではない。例えば、関連情報出力装置１の各機能ブロック（又は一部の機能ブロック）は、撮像装置１ｂ及び表示装置１ｃが備えられる装置（例えばメガネ装置と呼ぶ）とは異なるサーバ装置であって、メガネ装置とネットワーク接続されたサーバ装置内において、メガネ装置と情報を適宜送受信しつつ機能してもよい。その場合、サーバ装置は、メガネ装置から当該メガネ装置を識別する識別情報又は当該メガネ装置のユーザを識別する識別情報も合わせて受信することで、どのメガネ装置又はどのユーザに関する処理を行っているかを判別した上で適切に処理を行う。このようにサーバ装置側に一部又は全ての機能ブロックを移行することで、メガネ装置での処理負荷及び記憶容量を軽減したり、サーバ装置でのデータの一元管理を行えたりすることができる。

以下、図２に示す関連情報出力装置１の各機能ブロックについて説明する。

取得部１０は、撮像画像を取得する。具体的には、取得部１０は、撮像装置１ｂによって撮像された撮像画像を取得する。取得部１０は、撮像画像を取得する際に、当該撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した撮像装置１ｂの撮像した際の加速度に関する加速度情報と、当該撮像画像を撮像した撮像装置１ｂの撮像した際のユーザの視線に関する視線情報と、当該撮像画像を撮像した撮像装置１ｂの撮像した際（例えば前後１秒間）の周囲の音声及びユーザの音声に関する音声情報との何れか１つ以上を取得してもよい。タイミング情報とは、例えば、時刻、時間帯、日時、曜日、年月日の何れかなどである。上述の位置情報、タイミング情報、加速度情報、視線情報及び音声情報は、本体装置１ａにより当該本体装置１ａの処理（既存技術）に基づいて提供される。取得部１０によって取得された各種情報は、他の機能ブロックに対して適宜入力される。

履歴格納部１１は、取得部１０によって取得された各種情報を履歴として格納する。例えば、履歴格納部１１は、取得部１０によって（同じタイミングで）取得された撮像画像、位置情報、タイミング情報、加速度情報、視線情報及び音声情報の何れか１つ以上を、取得部１０によって取得された時刻と対応付けて格納する。履歴格納部１１によって格納された履歴は、他の機能ブロックから適宜参照される。

認識部１２は、取得部１０によって取得された撮像画像に含まれる（１つ以上の）オブジェクトを認識する。オブジェクトとは、対象物（人なども含む）であり、例えば、人、木、にんじん、豚肉、胡椒、冷蔵庫、包丁、まな板、箸、ナイフ、ハンドル、（車の）ダッシュボード、対向車、信号機などである。認識部１２によるオブジェクトの認識は、一般的なオブジェクト認識技術を用いる。例えば、オープンソースのライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）に実装されているオブジェクト認識技術を用いてもよい。認識部１２は、認識結果（認識したオブジェクトに関する情報）を出力部１３に出力する。認識結果の一例としては、何のオブジェクトが撮像画像のどの位置に配置されているかを示す情報が挙げられる。

出力部１３は、認識部１２から入力された認識結果に基づき、認識部１２によって認識されたオブジェクトに関連する関連情報を出力する。出力部１３によるオブジェクトに関連する関連情報の処理方法の詳細については後述する。関連情報とは、オブジェクトに関連する情報であればいかなる情報であってもよく、例えば、（オブジェクトの）調理方法を示す情報、（オブジェクトを使った）レシピ、（オブジェクトの）食べ方（マナー）を示す情報、（オブジェクトの）行き先を示す情報、（オブジェクトに基づく関連情報出力装置１のユーザに対する）注意喚起情報である。出力部１３による関連情報の出力は、表示であってもよいし、他の装置などへの出力（送信）であってもよい。例えば、出力部１３は、関連情報を、表示装置１ｃによってユーザに表示された撮像画像に重畳して表示させてもよい。具体的には、出力部１３は、関連情報を撮像画像に重畳して表示させる旨の指示情報を表示装置１ｃに対して送信し、当該送信に基づき、表示装置１ｃは、ユーザに表示する撮像画像に関連情報を重畳して表示する。

以下では、出力部１３によるオブジェクトに関連する関連情報の様々な処理方法の詳細について説明する。なお、以下で説明する各処理方法は、他の一つ以上の処理方法と組み合わせて利用することができる。

［処理方法１］
出力部１３は、認識部１２によって認識された複数のオブジェクトの組み合わせに基づいた関連情報を出力してもよい。具体的には、出力部１３は、対応表格納部１４によって格納された対応表において、認識部１２によって認識された複数のオブジェクトに対応付けられた関連情報を抽出し、抽出した関連情報を出力する。対応表は、１つ以上のオブジェクトと関連情報とが対応付いた表データである。図３は、対応表のテーブル例を示す図である。図３に示すテーブル例では、２つのオブジェクト（それぞれ「オブジェクト１」及び「オブジェクト２」）と関連情報とが対応付いている。各オブジェクトの「カテゴリ名」は、当該オブジェクトのカテゴリ（属性）を示している。なお、カテゴリ名については後述の処理方法にて利用する。各オブジェクトの「オブジェクト名」は、当該オブジェクトの識別名を示している。本実施形態では説明の便宜上、認識部１２による認識結果にてオブジェクトのオブジェクト名が含まれるものとする。「関連情報」は、関連情報を示す。本実施形態では説明の便宜上、「関連情報」は、関連情報の実体を指し示す（説明する）テキストとするが、実際の処理においては関連情報の実体を利用するよう読み替えるものとする。

図３に示すテーブル例において、１レコード目は、オブジェクト名「まな板」のオブジェクトと、オブジェクト名「にんじん」のオブジェクトと、関連情報「にんじんの調理方法と、それに対応したレシピ」とが対応付いていることを示している。例えば、出力部１３は、認識部１２によって認識された２つのオブジェクトのうち、１つ目のオブジェクト名が「まな板」であり、２つ目のオブジェクト名が「にんじん」である場合、図３に示す対応表のテーブル例のうち、オブジェクト名「まな板」及びオブジェクト名「にんじん」が対応付いたレコードとして１レコード目を選択し、当該１レコード目に対応付いた関連情報「にんじんの調理方法と、それに対応したレシピ」を抽出して出力する。これにより、関連情報出力装置１を装着したユーザは、にんじんをまな板にのせた際に、にんじんの調理方法とそれに対応したレシピを表示装置１ｃにて閲覧することができる。図３に示すテーブル例では２つのオブジェクトが対応付けられているが、１つ又は３つ以上のオブジェクトが対応付けられている場合も、出力部１３は同様の抽出処理を行う。

［処理方法２］
出力部１３は、認識部１２によって認識された複数のオブジェクトの中からオブジェクト群を選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。

［処理方法２－１］
出力部１３は、オブジェクトの属性に基づいてオブジェクト群を選択してもよい。以降の説明では、属性として、一例であるカテゴリ（種類、種別、分類）を用いるが、これに限るものではない。カテゴリの具体例を挙げると、図３に示す通り、「まな板」のカテゴリは「調理器具」であり、「豚肉」及び「にんじん」のカテゴリは「食材」であり、「味噌」のカテゴリは「調味料」である。

例えば、出力部１３は、認識部１２によって認識された複数のオブジェクトの中から、各オブジェクトのカテゴリを判定した上で、オブジェクトのカテゴリが同一のカテゴリのオブジェクトをオブジェクト群として選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。これにより出力部１３は、例えば、カテゴリ「食材」のオブジェクト（例えば「肉」及び「にんじん」）を含むオブジェクト群を選択し、関連情報としてレシピを（優先して）出力することができる。

また例えば、出力部１３は、認識部１２によって認識された複数のオブジェクトの中から、各オブジェクトのカテゴリを判定した上で、オブジェクトのカテゴリが異なるオブジェクトをオブジェクト群として選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。これにより出力部１３は、例えば、カテゴリ「食材」のオブジェクト（例えば「にんじん」）とカテゴリ「調理器具」のオブジェクト（例えば「包丁」）とを含むオブジェクト群を選択し、関連情報として調理方法を（優先して）出力することができる。

なお、出力部１３によるオブジェクトのカテゴリの判定は、例えば、図４に示すテーブル例のような、予めオブジェクトとカテゴリとが対応付けられた（対応表格納部１４によって格納された）表データを参照することで判定する。また、出力部１３は、第一の基準（例えば上述の「カテゴリが同一」）で選択したオブジェクト群の要素数が所定の閾値より少ない（当該オブジェクト群での組み合わせが所定の閾値より少ない）場合、第一の基準による選択の優先度を下げ、第一の基準とは異なる第二の基準（例えば上述の「カテゴリが異なる」）で選択したオブジェクト群を採用する（優先する）ように制御してもよい。

［処理方法２－２］
出力部１３は、オブジェクト間の距離に基づいてオブジェクト群を選択してもよい。例えば、出力部１３は、認識部１２によって認識された複数のオブジェクトの中から、所定の距離以内に集まっているオブジェクトをオブジェクト群として選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。例えば、出力部１３は、「まな板」、「包丁」及び「にんじん」が近く（所定の距離以内）に集中しており、「肉」及び「こしょう」が相対的に（所定の距離より）離れた場所にある場合は、集中している前者をオブジェクト群として選択する。なお、集中の度合いは、（認識された）オブジェクトの数で決定してもよい。また、集中の度合いに応じて（関連情報の出力の）優先度を設定してもよい。

［処理方法２－３］
出力部１３は、ユーザとの距離に基づいてオブジェクト群を選択してもよい。例えば、出力部１３は、認識部１２によって認識された複数のオブジェクトの中から、手などユーザの体を認識した上で、認識した体の周辺にあるオブジェクトをオブジェクト群として選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。出力部１３によるユーザの体の認識は、取得部１０によって取得された撮像画像に対する一般的な画像認識技術に基づいて行われる。

［処理方法２－４］
出力部１３は、ユーザの視線（視線の先、視線方向）に基づいてオブジェクト群を選択してもよい。例えば、出力部１３は、認識部１２によって認識された複数のオブジェクトの中から、ユーザの視線を認識した上で、認識した視線の先の近傍（所定の距離以内）にあるオブジェクトをオブジェクト群として選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を（優先して）出力してもよい。出力部１３によるユーザの視線の認識は、取得部１０によって取得された視線情報に基づいて行われる。

［処理方法３］
出力部１３は、オブジェクトの組み合わせにおいて、組み合わせの少なくとも一部の要素として、オブジェクトの代わりに当該オブジェクトの属性を用いてもよい。具体的には、出力部１３は、処理方法１で説明した対応表での対応付けを参照する際に、該当するオブジェクトが対応表にない場合は、当該オブジェクトのカテゴリを特定し、当該オブジェクトについては当該オブジェクトの代わりに、特定したカテゴリの対応付け（組み合わせ）を参照する。例えば、対応表にて、オブジェクト１のオブジェクト名「Ａ」とオブジェクト２のオブジェクト名「Ｂ」との対応付けを参照し、対応するレコードが無ければ、続いて、オブジェクト１のカテゴリ名「Ｃａｔ－Ａ」とオブジェクト２のオブジェクト名「Ｂ」との対応付けを参照する。もし対応するレコードが無ければ、続いて、オブジェクト１のオブジェクト名「Ａ」とオブジェクト２のカテゴリ名「Ｃａｔ－Ｂ」との対応付けを参照し、さらに対応するレコードが無ければ、続いて、オブジェクト１のカテゴリ名「Ｃａｔ－Ａ」とオブジェクト２のカテゴリ名「Ｃａｔ－Ｂ」との対応付けを参照してもよい。また、カテゴリを階層構造にし、対応付けが見つかるまで下位の層から順に走査してもよい。

これにより、例えば出力部１３は、カテゴリである「料理」と、オブジェクトである「箸」又は「ナイフ」との組み合わせに基づいて、食べ方又はマナーに関する関連情報を出力することができる。また例えば出力部１３は、カテゴリである「和食の料理」と、複数の「調味料」オブジェクトとの組み合わせに基づいて、最適な調味料の選択に関する関連情報を出力することができる。

［処理方法４］
出力部１３は、取得部１０によって取得された撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部１３が過去に出力した関連情報との少なくとも１つに基づいて関連情報を出力してもよい。

［処理方法４－１］
出力部１３は、取得部１０によって取得された撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報（取得部１０によって取得された位置情報）に基づいて関連情報を出力してもよい。これにより出力部１３は、例えば、カテゴリ「料理」とオブジェクト「カトラリー」との同じ組み合わせでも、自宅の場合（位置情報が（予め位置情報が登録されている）自宅を示す場合）は関連情報を出力せず、外食の場合（位置情報が自宅以外を示す場合）はマナー情報を出力することができる。

［処理方法４－２］
出力部１３は、取得部１０によって取得された撮像画像を撮像した時刻に関するタイミング情報（取得部１０によって取得されたタイミング情報）に基づいて関連情報を出力してもよい。これにより出力部１３は、例えば、同じ食材の組み合わせでも朝と夜で出力するレシピを異ならせ、最適なレシピを提案することができる。

［処理方法４－３］
出力部１３は、取得部１０によって取得された撮像画像を撮像した際の状況（コンテキスト）に関する状況情報に基づいて関連情報を出力してもよい。状況情報の具体例について、図５を用いて説明する。図５は、図４に示す対応表のテーブル例とは別の対応表のテーブル例を示す図である。図５に示すテーブル例では、図４に示すテーブル例に対してさらに「状況情報」が対応付いている。図５に示す通り、状況情報の具体例として、「朝」、「夜」、「運転中」、「停車中（停車場所含む）」、「運転中（ユーザが座っているのは助手席）」、「自宅」及び「店」などが挙げられる。すなわち、状況情報は、位置情報及びタイミング情報を含んでもよい。例えば、出力部１３は、認識部１２によって認識された２つのオブジェクトのうち、１つ目のオブジェクト名が「ダッシュボード」であり、２つ目のオブジェクト名が「対向車」であり、状況情報が「運転中（助手席）」である場合、図５に示す対応表のテーブル例のうち、オブジェクト名「ダッシュボード」、オブジェクト名「対向車」及び状況情報「運転中（助手席）」が対応付いたレコードとして５レコード目を選択し、当該５レコード目に対応付いた関連情報「観光情報」を抽出して出力する。

出力部１３は、取得部１０によって取得された撮像画像と、当該撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報（取得部１０によって取得された位置情報）と、当該撮像画像を撮像した時刻に関するタイミング情報（取得部１０によって取得されたタイミング情報）と、取得部１０によって取得された加速度情報と、取得部１０によって取得された視線情報と、取得部１０によって取得された音声情報との少なくとも１つに基づいて状況情報を算出してもよい。例えば、出力部１３は、取得部１０によって取得された撮像画像（であって履歴格納部１１によって格納された撮像画像の履歴）の時間変化を特定し、変化の具合に基づいて状況情報を算出してもよい。また例えば、出力部１３は、撮像画像においてハンドル及び対向車を認識すると、ユーザは車内にいる状況であると判定し、さらに対向車の大きさの変化（具合）に基づいて、ユーザは運転中の状況であると判定し、当該状況を示す状況情報を算出してもよい。また例えば、出力部１３は、撮像画像においてダッシュボード及び対向車を認識すると、ユーザは車内かつ助手席にいる状況であると判定し、さらに対向車の大きさの変化（具合）に基づいて、車は走行中の状況であると判定し、当該状況を示す状況情報を算出してもよい。また例えば、出力部１３は、撮像画像において道を認識し、位置情報が歩道を示し、取得部１０によって取得された加速度情報に基づいて速度を検出すると、ユーザは歩行中の状況であると判定し、当該状況を示す状況情報を算出してもよい。その他の情報に基づく状況情報の算出も同様である。

以上によれば、例えば出力部１３は、状況情報に基づき、車を運転中のユーザには関連情報を出力せず、運転中の車の助手席に乗っているユーザには（運転の妨げとなりドライバーには出力できないような）関連情報を出力することができる。

［処理方法４－４］
出力部１３は、当該出力部１３が過去に出力した関連情報に基づいて関連情報を出力してもよい。なお、出力部１３は、当該出力部１３が過去に出力した関連情報を履歴格納部１１に格納させ、格納した過去の関連情報を適宜参照できるものとする。例えば、出力部１３は、同じオブジェクトの組み合わせでも、当該組み合わせに基づいて過去に関連情報を出力したことがあれば同じ関連情報を出力しないように制御してもよい。

［処理方法５］
出力部１３は、取得部１０によって取得された撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報（取得部１０によって取得された位置情報）と、当該撮像画像を撮像した時刻に関するタイミング情報（取得部１０によって取得されたタイミング情報）と、取得部１０によって取得された加速度情報と、取得部１０によって取得された視線情報と、取得部１０によって取得された音声情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部１３が過去に出力した関連情報との少なくとも１つに基づいて、関連情報を出力するタイミング、出力する関連情報、又は関連情報を表示する表示エリアを変えてもよい。例えば、状況情報に基づいて関連情報を出力するタイミングを変える例としては、ユーザが車を運転中の状況の場合は車が停止したタイミングで出力することが挙げられる。また例えば、状況情報に基づいて出力する関連情報を変える例としては、ユーザが運転中の場合は出力する関連情報の内容を簡略化して出力することが挙げられる。また例えば、状況情報に基づいて関連情報を表示する表示エリアを変える例としては、運転中の車の助手席にユーザがいる場合はユーザの視界中央に関連情報を表示すること、及び、ユーザが歩行中の場合は道など歩行の妨げとなるエリア以外に関連情報を表示することが挙げられる。状況情報以外の情報に基づく変更も同様である。

［処理方法６］
出力部１３は、上述の設定した優先度に応じて出力する関連情報の内容を変更してもよい。変更する内容は予め定められていてもよい。例えば、出力部１３は、設定した優先度が高い場合はある程度大きな領域を使って関連情報の詳細表示を行い、設定した優先度が低い場合は小さな領域にて関連情報の概要表示を行う。

［処理方法７］
出力部１３は、関連情報出力装置１によって予め格納されたその他の情報に基づいた関連情報を出力してもよい。例えば、出力部１３は、家の冷蔵庫にある食材に関する情報を関連情報として追加して出力してもよい。

続いて、図６に示すフローチャートを用いて、関連情報出力装置１で実行される関連情報出力処理に一例について説明する。

まず、取得部１０により、撮像画像が取得される（ステップＳ１）。次に、認識部１２により、Ｓ１にて取得された撮像画像からオブジェクトが認識される（ステップＳ２）。次に、出力部１３により、Ｓ２にて認識されたオブジェクトの中からオブジェクト群が選択される（ステップＳ３）。次に、出力部１３により、Ｓ３にて選択されたオブジェクト群に含まれるオブジェクトの組み合わせに応じた関連情報が特定される（ステップＳ４）。次に、出力部１３により、Ｓ４にて特定された関連情報が出力される（ステップＳ５）。なお、Ｓ３は省略可能であり、その場合、Ｓ４では、Ｓ２にて認識されたオブジェクトの組み合わせに応じた関連情報が特定される。

続いて、図７に示すフローチャートを用いて、関連情報出力装置１で実行される関連情報出力処理に別の一例について説明する。なお、図６と同じ処理については同じステップ名をつけており、説明を省略する。

Ｓ２の後、取得部１０により、位置情報、タイミング情報、状況情報及び履歴情報（の何れか１つ以上）が取得される（ステップＳ２ａ）。Ｓ２ａの後、Ｓ３が実行される。Ｓ３の後、出力部１３により、Ｓ３にて選択されたオブジェクト群に含まれるオブジェクトの組み合わせ、並びに、Ｓ２ａにて取得された位置情報、タイミング情報、状況情報及び履歴情報（の何れか１つ以上）に応じた関連情報が特定される（ステップＳ４ａ）。次に、出力部１３により、Ｓ４ａにて特定された関連情報が出力される（ステップＳ５）。なお、Ｓ３は省略可能であり、その場合、Ｓ４ａでは、Ｓ２にて認識されたオブジェクトの組み合わせ、並びに、Ｓ２ａにて取得された位置情報、タイミング情報、状況情報及び履歴情報（の何れか１つ以上）に応じた関連情報が特定される。また、Ｓ２ａの処理のタイミングは、Ｓ１と同時でもよいし、Ｓ４ａの処理の前であればいつでもよい。

次に、本実施形態のように構成された関連情報出力装置１の作用効果について説明する。

本実施形態の関連情報出力装置１によれば、認識部１２により、取得部１０によって取得された撮像画像に含まれるオブジェクトが認識され、出力部１３により、認識されたオブジェクトに関連する関連情報が出力される。すなわち、撮像画像に含まれるオブジェクトに関連する関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、認識部１２によって認識された複数のオブジェクトの組み合わせに基づいた関連情報が出力される。これにより、複数のオブジェクトの組み合わせに基づく状況及び環境により適した関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、認識部１２によって認識された複数のオブジェクトの中からオブジェクト群が選択され、選択されたオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報が出力される。これにより、意図的に選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づく状況及び環境により適した関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、オブジェクトの属性に基づいてオブジェクト群が選択される。これにより、オブジェクトの属性に基づいて選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づく状況及び環境により適した関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、オブジェクト間の距離に基づいてオブジェクト群が選択される。これにより、オブジェクト間の距離に基づいて選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づく状況及び環境により適した関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、オブジェクトの組み合わせにおいて、組み合わせの少なくとも一部の要素として、オブジェクトの代わりに当該オブジェクトの属性が用いられる。これにより、バリエーションに富んだ組み合わせに基づく関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、取得部１０によって取得された撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部１３が過去に出力した関連情報との少なくとも１つに基づいて関連情報が出力される。これにより、状況及び環境により適した関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、取得部１０によって取得された撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部１３が過去に出力した関連情報との少なくとも１つに基づいて、関連情報を出力するタイミング、出力する関連情報、又は関連情報を表示する表示エリアが変えられる。これにより、状況及び環境により適したタイミング、内容、又は表示エリアに関連情報を出力することができる。

また、本実施形態の関連情報出力装置１によれば、出力部１３により、取得部１０によって取得された撮像画像と、当該撮像画像を撮像した撮像装置１ｂの撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報との少なくとも１つに基づいて状況情報が算出される。これにより、より正確な状況を示す状況情報を算出することができる。

また、本実施形態の関連情報出力装置１によれば、取得部１０により、撮像装置１ｂによって撮像された撮像画像が取得され、出力部１３により、関連情報が、表示装置１ｃによってユーザに表示された撮像画像に重畳して表示される。これにより、ユーザはスマートグラスを装着したまま特別な操作を行うこと無く、ユーザに表示された撮像画像に重畳して表示される関連情報を閲覧することができ、ユーザの利便性が向上する。

従来技術に対する課題として、ＡＲデバイスにて同じものを見ても、時と場合により欲しい情報が異なる場合があるという課題がある。本実施形態の関連情報出力装置１では、単一のオブジェクトに対し、単一の情報のみを表示するのではなく、複数のオブジェクトまたは、位置情報との組み合わせによりユーザの状況を把握し、必要な情報を表示する。具体例を挙げると、関連情報出力装置１を装着し、食材を見てそのオブジェクトを認識した場合（例えばにんじん）、家（位置情報）で冷蔵庫（オブジェクト認識）を開けてにんじんを見た場合、にんじんを使ったレシピが表示される。一方、にんじんをまな板（オブジェクト認識）にのせた場合、レシピに従い、にんじんの切り方（何センチの〇〇切りなど）が重畳してガイド表示される。また、お店（位置情報）で、にんじんを手に取った場合、にんじんを使った献立が表示され、家ににんじんの残りがあれば、その情報が表示される。すなわち、本実施形態の関連情報出力装置１によれば、一つのオブジェクトを認識して特定の情報を表示するだけでなく、ユーザの状況を判断し、状況に応じた情報を提供するため、ユーザが真に必要な情報を得ることができる。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

例えば、本開示の一実施の形態における関連情報出力装置１などは、本開示の関連情報出力処理を行うコンピュータとして機能してもよい。図８は、本開示の一実施の形態に係る関連情報出力装置１のハードウェア構成の一例を示す図である。上述の関連情報出力装置１は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。関連情報出力装置１のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

関連情報出力装置１における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の取得部１０、認識部１２及び出力部１３などは、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、取得部１０、認識部１２及び出力部１３は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、上述の取得部１０及び出力部１３などは、通信装置１００４によって実現されてもよい。取得部１０及び出力部１３とで、物理的に、または論理的に分離された実装がなされてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、関連情報出力装置１は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、ＮＲ（new Radio）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。

本開示で使用する「判断（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up、search、inquiry）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa、an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

１…関連情報出力装置、１ａ…本体装置、１ｂ…撮像装置、１ｃ…表示装置、１０…取得部、１１…履歴格納部、１２…認識部、１３…出力部、１４…対応表格納部。

Claims (9)

1. 撮像画像を取得する取得部と、
   前記取得部によって取得された撮像画像に含まれるオブジェクトを認識する認識部と、
   前記認識部によって認識されたオブジェクトに関連する関連情報を出力する出力部と、
   を備え、
   前記出力部は、前記認識部によって認識された複数のオブジェクトの組み合わせに基づいた関連情報を出力する、
   関連情報出力装置。
2. 前記出力部は、前記認識部によって認識された複数のオブジェクトの中からオブジェクト群を選択し、選択したオブジェクト群に含まれるオブジェクトの組み合わせに基づいた関連情報を出力する、
   請求項１に記載の関連情報出力装置。
3. 前記出力部は、オブジェクトの属性に基づいてオブジェクト群を選択する、
   請求項２に記載の関連情報出力装置。
4. 前記出力部は、オブジェクト間の距離に基づいてオブジェクト群を選択する、
   請求項２又は３に記載の関連情報出力装置。
5. 前記出力部は、オブジェクトの組み合わせにおいて、組み合わせの少なくとも一部の要素として、オブジェクトの代わりに当該オブジェクトの属性を用いる、
   請求項１～４の何れか一項に記載の関連情報出力装置。
6. 前記出力部は、前記取得部によって取得された撮像画像を撮像した撮像装置の撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部が過去に出力した関連情報との少なくとも１つに基づいて関連情報を出力する、
   請求項１～５の何れか一項に記載の関連情報出力装置。
7. 前記出力部は、前記取得部によって取得された撮像画像を撮像した撮像装置の撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報と、当該撮像画像を撮像した際の状況に関する状況情報と、当該出力部が過去に出力した関連情報との少なくとも１つに基づいて、関連情報を出力するタイミング、出力する関連情報、又は関連情報を表示する表示エリアを変える、
   請求項１～６の何れか一項に記載の関連情報出力装置。
8. 前記出力部は、前記取得部によって取得された撮像画像と、当該撮像画像を撮像した撮像装置の撮像した際の位置情報と、当該撮像画像を撮像した時刻に関するタイミング情報との少なくとも１つに基づいて状況情報を算出する、
   請求項６又は７に記載の関連情報出力装置。
9. ユーザの周辺を撮像する撮像装置と、
   前記撮像装置によって撮像された撮像画像をユーザに表示する表示装置と、
   をさらに備え、
   前記取得部は、前記撮像装置によって撮像された撮像画像を取得し、
   前記出力部は、関連情報を、前記表示装置によってユーザに表示された撮像画像に重畳して表示させる、
   請求項１～８の何れか一項に記載の関連情報出力装置。

Images