JP6649833B2

JP6649833B2 - 拡張現実ユーザインタフェース適用装置および制御方法

Info

Publication number: JP6649833B2
Application number: JP2016071843A
Authority: JP
Inventors: 智紀盛合; 紘史大塚
Original assignee: NTT Data Corp
Current assignee: NTT Data Corp
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2020-02-19
Anticipated expiration: 2036-03-31
Also published as: JP2017182628A

Description

本発明は、拡張現実ユーザインタフェース適用装置および制御方法に関する。

コンピュータの小型化および高性能化に伴い、拡張現実（ＡＲ：Augmented Reality）ユーザインタフェース適用装置として利用されるスマートフォンやウェアラブルデバイスの性能も飛躍的に向上してきている。ＡＲユーザインタフェースを制御するソフトウェア技術においても、二次元バーコードなどのＡＲマーカーや位置情報からＡＲの表示対象を決定する従来技術のみならず、物体認識技術を利用して、画像情報の中から表示対象を検出し（オブジェクト検出）、ＡＲ表示を行なうマーカーレスＡＲ技術の精度も向上してきている。また、カメラの性能向上により、より遠くの物体を撮影した場合も、当該物体をＡＲの表示対象（オブジェクト）として検出することが可能となってきている。なお、ここでいうオブジェクトとはＡＲ表示を行なう対象となる店舗の看板や広告などであり、物体が有する特定の形から、ＡＲマーカー不要で、それらを認識し検出することができる。ただし、当然ながら、ＡＲマーカーによりオブジェクトを検出することも含む。

しかしながら、高性能カメラで撮影した映像にはＡＲの表示対象となる物体がより多く存在する場合があり、これら全てに対してＡＲ表示を行なうことは、本来知りたい情報の視認性を著しく低下させ、ユーザビリティの低下に繋がる可能性がある。そのため、マーカーレスＡＲ技術において、撮影した映像中に複数の物体が存在する場合であっても、全ての表示対象に対してＡＲ表示を行なうわけではなく、ユーザが興味を持ち、より必要とする情報を選択してＡＲ表示を行なうＡＲユーザインタフェース適用装置および制御方法が求められている。

本発明は、このような目的を達成するために、ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置において、前記オブジェクト固有の情報である静的メタデータを記憶し、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信し、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得し、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得し、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出し、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定し、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成し、
作成した前記表示データを、前記ユーザ端末に送信することを特徴とする。

また、前段落に記載のコンピュータにおいて、前記付加情報は、前記画像または前記映像の撮影に関するデータ、前記ユーザ端末の端末に関するデータ、および前記ユーザの身体的特徴データのうちの少なくとも１つを含み、
前記動的メタデータは、前記オブジェクトの前記画像または前記映像における位置座標、サイズ、および前記オブジェクトの継続表示時間のうちの少なくとも１つを含み、前記動的メタデータは、前記ユーザによって過去に撮影された画像または前記映像に対する過去データを含み、
前記興味値を算出するにあたって、
前記ユーザに係る前記動的メタデータに含まれる前記位置座標が、前記オブジェクトの前記過去データにおける前記位置座標よりも前記画像の中央に寄ったかの判定、
前記ユーザに係る前記動的メタデータに含まれる前記サイズが、前記オブジェクトの前記過去データにおける前記サイズよりも大きくなったかの判定、および
前記ユーザに係る前記動的メタデータに含まれる前記継続表示時間が、予め定められた閾値以上であるかの判定
のうちの少なくとも１つを実行し、
実行された前記位置座標、前記サイズ、および前記継続表示時間のうちの少なくとも１つに関する判定に基づいて、前記興味値を算出することを特徴とする。

さらに、前々段落に記載の発明において、前記興味値を算出するにあたって、前記ユーザの目線および前記目線の履歴データを観測事象とし、前記観測事象を元に、前記オブジェクトに対する前記ユーザの興味段階をノードとする隠れマルコフモデルに基づいて、前記興味値を推定することを特徴とする。

また、前３段落に記載の発明において、前記ユーザ端末での表示対象を決定するにあたって、
算出した前記興味値に基づいて、前記興味値が高い上位所定数の前記オブジェクトを表示対象として決定すること、
算出した前記興味値が予め定められた閾値以上である前記オブジェクトを表示対象として決定すること、
算出した前記興味値、および前記オブジェクトに対するＡＲ表示の表示量に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定すること
のうちの少なくとも１つを実行することを特徴とする。

さらに、前４段落に記載の発明において、前記静的メタデータは、前記オブジェクトの名称、ジャンル、および詳細情報を含み、前記表示データを作成するにあたって、
算出した前記興味値に基づいて、前記表示データの詳細レベルを決定し、
前記詳細レベルに基づいて、前記名称、前記ジャンル、および前記詳細情報のうちの少なくとも１つを表示対象として決定し、
前記名称、前記ジャンル、および前記詳細情報のうち、前記決定した少なくとも１つを含む前記表示データを作成することを含むことを特徴とする。

また、本発明は、ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置によって実行される方法であって、
前記オブジェクト固有の情報である静的メタデータを記憶するステップと、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信するステップと、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得するステップと、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得するステップと、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出するステップと、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定するステップと、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成するステップと、
作成した前記表示データを、前記ユーザ端末に送信するステップと
を備えたことを特徴とする。

さらに、本発明は、ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置に実行させるコンピュータプログラムであって、前記コンピュータ装置によって実行されると、前記コンピュータ装置に、
前記オブジェクト固有の情報である静的メタデータを記憶させ、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信させ、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得させ、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得させ、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出させ、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定させ、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成させ、
作成した前記表示データを、前記ユーザ端末に送信させることを特徴とする。

以上説明したように、本発明により、ＡＲ技術（ＡＲマーカーを利用した技術、およびマーカーレスＡＲによる技術）において、撮影画像から物体および／またはＡＲマーカーを認識し、それにより検出されたオブジェクトの中から、ユーザが興味を持ち、より必要とするオブジェクトを選択してＡＲ表示を行なうＡＲユーザインタフェース適用装置および制御方法を提供することができる。

従来のマーカーレスＡＲ表示イメージを示す図である。本発明を用いた場合のマーカーレスＡＲ表示イメージを示す図である。本発明の一実施形態に係るシステム構成を示す図である。本発明の一実施形態に係るＡＲ表示処理を示すフローチャートである。本発明の一実施形態に係る興味値算出処理を示すフローチャートである。本発明の一実施形態に係る静的メタデータ記憶部に格納されたデータを示す図である。本発明の一実施形態に係る動的メタデータ記憶部に格納されたデータを示す図である。本発明の一実施形態に係る表示データ記憶部に格納されたデータを示す図である。本発明の一実施形態に係る興味推定モデルを示す図である。

まず、従来のＡＲ表示イメージと、本発明を用いた場合のＡＲ表示イメージを対比して説明する。図１は、従来のマーカーレスＡＲ表示イメージを示す図である。このように、検出されたオブジェクトの全てに対して制限なく情報が表示されるため、互いの情報が重なりあったり、ユーザが本来知りたい情報を探すのに非常に時間がかかったりと、ユーザビリティの低下に繋がってしまう。

一方、図２は、本発明を用いた場合のマーカーレスＡＲ表示イメージを示す図である。左上の画像から、時間経過と共に右の画像、左下の画像と遷移し、ユーザが興味を示したものをより詳細に表示し、逆にユーザが興味を示さないものをより簡潔に表示する（または非表示にする）。より具体的には、左上の画像を初期表示とし、ユーザが「飲食」を注視しており、「飲食」に興味を持っていることをシステムが判断する。すると、右の画像に遷移し、「飲食」に関連する詳細情報が表示される。この際、「飲食」に関係のない（すなわち、ユーザが興味を示していない）「銀行」などに関連する情報は非表示にされている。次に、右の画像に対し、ユーザは「中華料理」に非常に興味を示し、そして「和食」に対しても若干興味を示したとシステムが判断する。すると、左下の画像に遷移し、「中華料理」に関連する非常に詳細な情報が表示され、かつ「和食」に関連する情報もより詳細な表示に切り替わる（しかしながら、「中華料理」に関連する情報ほど詳細な表示ではない）。

次に、本発明の実施形態に係るシステムの概要を説明する。図３は、本発明の一実施形態に係るシステム構成を示す図である。図３において、データセンタなどに設置されたＡＲ表示制御サーバ３００は、ネットワーク３０１（例えば、インターネット）を介して、１つまたは複数のスマートフォン３０２ａ〜ｎ（以下、まとめて「スマートフォン３０２」という）、および１つまたは複数のウェアラブルデバイス３０３ａ〜ｎ（以下、まとめて「ウェアラブルデバイス３０３」という）と通信を行なうように構成されている。なお、スマートフォン３０２およびウェアラブルデバイス３０３をさらにまとめて「ユーザ端末」という場合もある。また、図３におけるＡＲ表示制御サーバ３００を便宜上、単一のサーバコンピュータとして記載しているが、複数台のサーバコンピュータによる分散システムとして構成することも可能である。さらに、ＡＲ表示制御サーバ３００の機能をユーザ端末に搭載し、ユーザ端末上で本発明を実施するように構成することも可能である。

ＡＲ表示制御サーバ３００は、ＡＲユーザインタフェースを提供する企業が管理および運営するサーバである。ＡＲ表示制御サーバ３００は、ＡＲの表示対象となるオブジェクトに関する情報を保持し、ユーザ端末からの要求に対して、各オブジェクトに対するユーザの興味値（例えば、０〜１．０の範囲内の０．１刻みの数値。数値が高いほどユーザが興味を示しているオブジェクトであることを示す指標。以下、「興味値」という）を算出する。また、ＡＲ表示制御サーバ３００は、算出した興味値に基づいて、ユーザ端末で表示すべき情報を決定および作成し、ユーザ端末に提供する。

スマートフォン３０２およびウェアラブルデバイス３０３（ユーザ端末）は、いずれも一般消費者であるユーザが利用する端末である。ユーザは、ユーザ端末のカメラ機能を利用して、例えば、詳細情報を得たい（ユーザが興味を持った）オブジェクト（店舗の看板など）を含む街中の風景を撮影する。撮影された画像や映像は、ユーザ端末によってＡＲ表示制御サーバ３００に送信される。また、画像や映像に加えて、付加情報として、ユーザ端末からＡＲ表示制御サーバ３００に、当該画像や映像に関連する撮影位置や撮影時間等の撮影データ、ユーザ端末の端末データ、およびユーザ端末を使用しているユーザの測定した身体的特徴データ等を送信してもよい。これにより、ユーザ端末は、ＡＲ表示制御サーバ３００からＡＲ表示制御サーバ３００で編集された各オブジェクトの詳細情報を受信し、ＡＲ表示する。また、各オブジェクトの詳細情報は、ユーザ興味により動的に変化させる必要があるため、ユーザ端末は定期的に（例えば、１０秒間に１回）、撮影された画像や映像、および付加情報をＡＲ表示制御サーバ３００に送信し、都度、オブジェクトの詳細情報を受信することにより、ＡＲ表示を更新する。

次に、ＡＲ表示制御サーバ３００の構成を詳細に説明する。なお、図３では、単一のコンピュータシステムを想定し、必要な機能構成だけを示している。ＡＲ表示制御サーバ３００は、ＣＰＵ３１０にシステムバス３１５を介して、ＲＡＭ３１１、入力装置３１２、出力装置３１３、通信制御装置３１４、および不揮発性記憶媒体（ＲＯＭやＨＤＤなど）である記憶装置３１６が接続された構成を有する。記憶装置３１６は、本システムの各機能を奏するためのソフトウェアプログラムを格納したプログラム格納領域と、当該ソフトウェアプログラムで取り扱うデータを格納したデータ格納領域とを備えている。以下に説明するプログラム格納領域の各手段は、実際は独立したソフトウェアプログラム、そのルーチンやコンポーネントなどであり、ＣＰＵ３１０によって記憶装置３１６から呼び出されＲＡＭ３１１のワークエリアに展開されて、データベースなどに適宜アクセスしながら順次実行されることで、各機能を奏するものである。

次に、記憶装置３１６におけるプログラム格納領域に格納されているソフトウェアプログラムは、本発明に関連するものだけを列挙すると、データ送受信手段３２０、オブジェクト検出手段３２１、メタデータ管理手段３２２、興味値算出手段３２３、および表示データ管理手段３２４を備えている。これらの手段は、ＣＰＵ３１０によって実行される。

データ送受信手段１２０は、スマートフォン３０２およびウェアラブルデバイス３０３などの他のコンピュータとのデータ送受信を行う。

オブジェクト検出手段３２１は、撮影された映像（画像）情報の中からＡＲの表示対象となるオブジェクトを検出する。

メタデータ管理手段３２２は、検出したオブジェクトに対する静的メタデータを静的メタデータ記憶部３３０から取得する。ここで、静的メタデータとは、ユーザの動作や性質、周囲の環境、撮影のタイミングなどによらず、オブジェクトに対して一意に定まるメタデータをいう（例えば、店舗の名称、店舗に対する説明文）。また、メタデータ管理手段３２２は、動的メタデータを取得および算出し、動的メタデータ記憶部３３１に格納する。ここで、動的メタデータとは、オブジェクトに関連するが、ユーザの目線や心拍数などユーザの身体的特徴を含むユーザの動作や性質、位置情報などを含む周囲の環境、撮影のタイミングなどによって変化するメタデータをいう（例えば、画像内のオブジェクトの位置、オブジェクトが画像内に表示され続けている時間、オブジェクトに対するユーザの興味値）。本発明において、オブジェクトに対するメタデータは、静的メタデータおよび動的メタデータの２種類に分類することができる。

興味値算出手段３２３は、動的メタデータに基づいて、対象オブジェクトの興味値を算出する。また、興味値算出手段３２３は、各オブジェクトの過去データに基づいて、対象オブジェクトに対する興味値を推定する。

表示データ管理手段３２４は、算出した興味値から、ユーザ端末での表示対象となるオブジェクトを決定し、さらに表示対象として決定したオブジェクトごとに表示データを作成し、表示データ記憶部３３２に格納する。

次に、記憶装置３１６におけるデータ格納領域は、本発明に関連するものだけを列挙すると、静的メタデータ記憶部３３０、動的メタデータ記憶部３３１、および表示データ記憶部３３２を備える。いずれも、記憶装置３１６内に確保された一定の記憶領域である。

静的メタデータ記憶部３３０は、ユーザの動作や性質、周囲の環境、撮影のタイミングなどによらず、各オブジェクト固有のデータを格納する。図６は、本発明の一実施形態に係る静的メタデータ記憶部３３０に格納されたデータを示す図である。本データは、オブジェクトごとに、ＡＲ表示制御サーバ３００が予め保持していることを想定している。図６における静的メタデータは、オブジェクトを一意に識別させる「オブジェクトＩＤ」、オブジェクトのジャンルを示す「ジャンル１」および「ジャンル２」、オブジェクトの名称を示す「名称」、ならびにオブジェクトの詳細情報を示す「詳細情報」を格納する。「オブジェクトＩＤ」は、例えば、シーケンシャル番号である。「ジャンル１」および「ジャンル２」は、「ジャンル２」の方が「ジャンル１」よりも詳細なジャンルである。なお、図６では、「ジャンル１」および「ジャンル２」と、２つの詳細レベルが異なるジャンルを示しているが、別の実施形態では、「ジャンル３」、「ジャンル４」・・・などと、より細分化したジャンルを設定することもできる。いずれであっても、ユーザがより興味を示した場合に、「ジャンル１」、「ジャンル２」、「ジャンル３」・・・「詳細情報」と、より詳細な情報を表示することを想定している。

動的メタデータ記憶部３３１は、ユーザの動作や性質、周囲の環境、撮影のタイミングなどによって変化する、各オブジェクトに対する動的なデータを格納する。図７は、本発明の一実施形態に係る動的メタデータ記憶部３３１に格納されたデータを示す図である。本データは、オブジェクトが検出されるたびに、ＡＲ表示制御サーバ３００によって作成されることを想定している。図７における動的メタデータは、ユーザを一意に識別させる「ユーザＩＤ」、オブジェクトを一意に識別させる「オブジェクトＩＤ」、オブジェクトを撮影した日時を示す「撮影日時」、ユーザ端末におけるオブジェクトの表示位置を示す「視界内座標」、ユーザ端末にオブジェクトが表示され続けている経過時間を示す「継続表示時間」、ユーザ端末におけるオブジェクトの大きさを示す「サイズ」、およびオブジェクトに対するユーザ興味の度合いを示す「興味値」を格納する。「ユーザＩＤ」は、ユーザ端末単位の識別子（例えば、ＭＡＣアドレス）であってもよいし、ＡＲサービスを利用するユーザ単位の識別子（ＡＲサービスのログインＩＤ）であってもよい。「オブジェクトＩＤ」は、静的メタデータ（図６）における「オブジェクトＩＤ」と紐付けられるが、本データの場合は動的データであるため、「ユーザＩＤ」、「オブジェクトＩＤ」、および「撮影日時」の３つのデータ項目により一意のデータとなる。そのため、本データは、あるユーザがあるオブジェクトに対し過去に興味を持っていたか、などといった過去データとして利用することもできる。「視界内座標」は、例えば、画像の左上を（０．０）とした場合のオブジェクトの位置を示すｘｙ座標であるが、画像の中心から所定範囲内をユーザの視界内と定義し（以下、「視界内」という）、所定範囲内における位置座標であってもよい（画像の端の方は、写り込んでいる部分ではあるがユーザが見ていないとする考え）。「継続表示時間」は、オブジェクトが画像内または視界内に表示され続けている経過時間である。「サイズ」は、例えば、画像内においてオブジェクトが占める画素数の合計である。「興味値」は、例えば、０〜１．０の範囲内の０．１刻みの数値。数値が高いほど対象オブジェクトに対し、ユーザが興味を示していることを示す。

表示データ記憶部３３２は、ユーザ端末におけるＡＲ表示を制御するためのデータを格納する。図８は、本発明の一実施形態に係る表示データ記憶部３３２に格納されたデータを示す図である。図８における表示データは、オブジェクトを一意に識別させる「オブジェクトＩＤ」、ユーザ端末に表示するオブジェクトの名称を示す「表示名称」、およびユーザ端末に表示するオブジェクトの詳細情報を示す「表示情報」を格納する。図８における表示データは、図２における表示イメージの左下の画像におけるＡＲ表示用のデータを示している。表示データには、上記データ項目の他、表示文字やバルーン表示のスタイルを指定する項目を含めることもできる。

次に、図４のフローチャート、および図６−８のデータを参照して、本発明の一実施形態に係るＡＲ表示処理を流れに沿って説明する。図４は、本発明の一実施形態に係るＡＲ表示処理を示すフローチャートである。本処理は、ユーザがユーザ端末に搭載されたカメラを用いて、例えば、図１および２に示されるような繁華街を撮影し、撮影された映像（画像）がＡＲ表示制御サーバ３００に送信された後を想定している。なお、本発明によるＡＲ表示はリアルタイム処理を想定しているため、ユーザ端末からＡＲ表示制御サーバ３００への撮影映像、付加情報の送信は定期的に（例えば１０秒に１回）行なわれる。

ユーザ端末から撮影された映像が送信されると、データ送受信手段３２０は当該映像を受信する（ステップ４０１）。次に、オブジェクト検出手段３２１は、受信した映像（画像）の中から、オブジェクトを検出する（ステップ４０２）。オブジェクトの検出は、画像内における物体を一般的な手法で認識し、オブジェクトとして検出する。当然ながら、１つの画像から複数のオブジェクトが検出される場合がほとんどであるが、ステップ４０２では、オブジェクトを１つ検出すると次ステップに進むように記載してある。

オブジェクトを検出すると、メタデータ管理手段３２２は、静的メタデータ記憶部３３０を検索し、検出したオブジェクトに対する静的メタデータ（図６）を取得する（ステップ４０３）。静的メタデータが取得できない場合（対象のオブジェクトがＡＲの表示対象でない場合）は、ステップ４０４のＮｏルートに進み、次のオブジェクトに対する処理に遷移する。次のオブジェクトが存在する場合は、ステップ４０５のＹｅｓルートに進み、オブジェクトがなくなるまで静的メタデータおよび動的メタデータの取得が繰り返される（ステップ４０３〜４０８）。なお、検出したオブジェクトに対する静的メタデータが１つも取得できない場合は、ステップ４０４のＮｏルート、ステップ４０５のＮｏルート、ステップ４０６のＮｏルートと進み、本処理は終了する。この場合は、すなわち、ＡＲ表示対象のオブジェクトが１つも存在しなかったことを意味する。

一方、ステップ４０３において対象の静的メタデータが取得できた場合は、ステップ４０４のＹｅｓルートに進み、メタデータ管理手段３２２は、検出したオブジェクトに対する動的メタデータ（図７）を取得し、動的メタデータ記憶部３３１に格納する（ステップ４０７）。

ここで、動的メタデータの取得方法について図７を例として説明する。「ユーザＩＤ」は前述したように、ユーザ端末単位の識別子（例えば、ＭＡＣアドレス）や、ＡＲサービスを利用するユーザ単位の識別子（ＡＲサービスのログインＩＤ）であり、例えば、撮影された映像と共に、ユーザ端末からＡＲ表示制御サーバ３００に送信される。「オブジェクトＩＤ」は、ステップ４０３で取得した静的メタデータの「オブジェクトＩＤ」と同一のものである。「撮影日時」は、例えば、撮影された映像（画像）の作成日時である。すなわち、同一の画像から取得された複数のオブジェクトの撮影日時は同一になる。「視界内座標」は、前述した通り、例えば、撮影画像の左上を（０．０）とした場合のオブジェクトの位置座標であるが、撮影画像の中心座標からの所定範囲内（視界内）における位置座標であってもよい。オブジェクトの位置座標は、オブジェクトの中点であってもよいし、オブジェクト検出の際に検出される特徴点であってもよい。「継続表示時間」は、オブジェクトが画像内または視界内に表示され続けている経過時間であるが、ユーザ端末における撮影周期に依存する。例えば、撮影周期が１０秒間に１回である場合、前回と今回の撮影画像に写り込んでいるオブジェクトの「継続表示時間」は、１０秒となる（さらに前々回以前から写り込んでいる場合は、＋１０秒ずつ加算されていく）。例え、その１０秒間の間に一度、画像内または視界内から外れても「継続表示時間」は１０秒である。そのため、「継続表示時間」は、対象のオブジェクトの「オブジェクトＩＤ」（と「ユーザＩＤ」）を検索キーとして、本データを検索し、前回の「撮影日時」のデータが存在する場合は、その際の「継続表示時間」に撮影周期を加算する（例えば、＋１０秒）ことにより算出することができる。「サイズ」は画像内におけるオブジェクトの画素数により算出することができる。「興味値」の算出については、ステップ４０９および図５の興味値算出処理の中で説明される。さらに、別の実施形態では、ウェアラブルデバイス３０３や、測定用のアプリケーションがインストールされたスマートフォン３０２などを利用して、ユーザの目線や心拍数などユーザの身体的特徴データを動的データとして取得することもできる。

ステップ４０７のおいて動的メタデータを取得した後、次のオブジェクトが存在する場合は、ステップ４０８のＹｅｓルートに進み、オブジェクトがなくなるまで静的メタデータおよび動的メタデータの取得が繰り返される（ステップ４０３〜４０８）。

次のオブジェクトが存在しない場合、興味値算出手段３２３は、各オブジェクトの興味値を算出する（ステップ４０９）。なお、興味値算出の処理対象となるオブジェクトは、静的メタデータが存在するオブジェクト（ＡＲ表示対象のオブジェクト）に限られる。ステップ４０９の興味値算出処理については、図５を用いて後述する。

各オブジェクトの興味値を算出した後、表示データ管理手段３２４は、算出した各興味値に基づいて、ユーザ端末での表示対象となるオブジェクトを決定する（ステップ４１０）。これは、例えば、算出した興味値が高い上位所定数（例えば、４つ）のオブジェクトを表示対象とすることができる。または、興味値が閾値以上（例えば、０．５以上）のオブジェクトを表示対象とすることができる。また、表示対象となるオブジェクトの決定は、次ステップ４１１の表示データの作成と併せて行なうこともできる。例えば、興味値が高いオブジェクトから順番に、ＡＲ表示の表示量（例えば、表示文字数やバルーンの表示面積（画素数））を合計していき、表示量の合計値が所定量内に収まるまでのオブジェクトを表示対象のオブジェクトとして決定することができる。

表示対象のオブジェクトを決定すると、表示データ管理手段３２４は、決定したオブジェクト用の表示データ（図８）を作成し、表示データ記憶部３３２に格納する（ステップ４１１）。表示データは、ステップ４０３で取得した静的メタデータ（図６）、およびステップ４０９で算出した興味値に基づいて作成される。これは、興味値により、表示データの詳細レベルを変更することができる（ユーザがより興味を持ったオブジェクトほど表示データをより詳細に表示する）。例えば、表示データの詳細レベルを幾つかの段階に分け、それぞれに対応した閾値を興味値が超えたかどうかにより、表示データの詳細レベルを決定する。

より具体的には、興味値が０．９以上の場合、詳細レベルを“最高”に決定し、静的メタデータ（図６）における「ジャンル２」、「名称」、「詳細情報」を対象オブジェクトの表示データに決定する（例、四川料理××：中華料理、麻婆豆腐が名物／ランチタイム１１：３０−１３：３０）。

興味値が０．６以上および０．９未満の場合、詳細レベルを“高”に決定し、静的メタデータ（図６）における「ジャンル２」、「名称」を対象オブジェクトの表示データに決定する（例、四川料理××：中華料理）。

興味値が０．３以上および０．６未満の場合、詳細レベルを“中”に決定し、静的メタデータ（図６）における「ジャンル２」を対象オブジェクトの表示データと決定する（例、中華料理）。なお、詳細レベルが“中”以下の場合、他のオブジェクトと表示データが重複する場合があるため、内容が全く同一の表示データは１つだけ表示するように制御することもできる。

興味値が０．３未満の場合、詳細レベルを“低”に決定し、静的メタデータ（図６）における「ジャンル１」を対象オブジェクトの表示データと決定する（例、飲食）。これも、他のオブジェクトと表示データが重複する場合は、１つだけ表示するように制御することもできる。以上より、ユーザが興味を示したものをより詳細に、逆にユーザが興味を示さないものをより簡潔に表示することができる。

表示データを作成すると、データ送受信手段３２０は、作成した表示データをユーザ端末に送信する（ステップ４１２）。その後、ユーザ端末は、当該表示データに基づいてＡＲ表示を行なう。そして、次の撮影周期になると、ユーザ端末は新たに撮影した映像（画像）をＡＲ表示制御サーバ３００に送信し、ステップ４０１から処理が繰り返される。ステップ４１２の後、本処理は終了する。

次に、図４における興味値算出処理（ステップ４０９）を、図５のフローチャートを参照して、流れに沿って説明する。図５は、本発明の一実施形態に係る興味値算出処理を示すフローチャートである。図５の処理では、過去データに基づいて各種判定を行ない、各種判定に該当した場合にユーザが興味を持っているオブジェクトであると判断し、当該オブジェクトの興味値（例えば、初期値を０．１とする）に所定値を加算するように示してある。しかしながら、加算方式ではなく、例えば、各種判定を優先付けして処理していき、いずれかの判定に該当した場合は所定値を興味値として設定する単一設定方式や、判定ごとに所定値に重み付けして興味値を加算または設定する重み付け方式とすることもできる。また、図５の処理は、あくまでも一実施形態であり、各判定の実行順や、実行する判定の種類を変更することもできる。

図５の処理を説明する。まず、興味値算出手段３２３は、検出したオブジェクトは前回も検出されたかどうかを判定する（ステップ５０１）。具体的には、動的メタデータ記憶部３３１に対象のユーザ端末の「ユーザＩＤ」、対象オブジェクトの「オブジェクトＩＤ」、および前回の「撮影日時」を検索キーとして、動的メタデータ（図７）が存在するかどうかを判定する。該当の動的メタデータが存在しない場合は、今回初めてユーザが興味を持ったオブジェクトであり、その他に検出されたオブジェクトよりも特別に興味を持っているわけではないと判断することができる。この場合、ステップ５０１のＮｏルートに進み、本処理は終了する（対象オブジェクトの興味値は初期値０．１のままである）。なお、動的メタデータを検索する際の検索キーを、前回の「撮影日時」のみならず、前々回の「撮影日時」や、その前の「撮影日時」を含めることもできる（複数の「撮影日時」でＯＲ検索する）。前回の撮影では対象オブジェクトは視界内から外れたが、前々回まではずっと表示されていた場合など、対象オブジェクトの興味値を初期値とするのは適切ではない場合があるためである。

一方、該当の動的メタデータが存在した場合、ステップ５０１のＹｅｓルートに進み、メタデータ管理手段３２２は、検出したオブジェクトの動的メタデータ（図７）における「視界内座標」の今回値と前回値を取得する（ステップ５０２）。

次に、興味値算出手段３２３は、取得した「視界内座標」の今回値と前回値とを比較し、検出したオブジェクトが前回よりも中央に寄ったかどうかを判定する（ステップ５０３）。これにより、検出したオブジェクトが前回よりも中央に寄ったと判定された場合、ユーザが対象オブジェクトに対し、より興味を持ったと判断することができる。この場合、ステップ５０３のＹｅｓルートに進み、興味値算出手段３２３は、対象オブジェクトの興味値に対し、所定値（例えば、０．１）を加算する（ステップ５０４）。

一方、検出したオブジェクトが前回よりも中央に寄ったと判定されなかった場合は、ステップ５０３のＮｏルートに進み、興味値を変更することなく、次の処理に遷移する。ただし、別の実施形態では、この際、検出したオブジェクトが前回よりも端に寄ったと判定された場合、興味値から所定値を減算することもできる。

さらに別の実施形態では、検出したオブジェクトの中央または端への寄り方の度合いによって、加算または減算する所定値を変更することもできる。例えば、「視界内座標」の今回値と前回値との差異が同一であっても、端から少し寄った場合と、中央付近から中央に寄った場合とでは、ユーザ興味は異なるものと判断することができるためである（中央付近から中央に寄った場合の方が、端から少し寄った場合よりも、対象オブジェクトに対して、より興味があると判断することができる）。

ステップ５０３またはステップ５０４の後、メタデータ管理手段３２２は、検出したオブジェクトの継続表示時間を取得する（ステップ５０５）。これは、動的メタデータ（図７）における前回の「撮影日時」に、撮影周期（例えば、１０秒間に１回）を加算する（＋１０秒）ことにより取得することができる。

次に、興味値算出手段３２３は、取得した継続表示時間が所定の閾値以上であり、検出したオブジェクトを長時間表示しているかどうかを判定する（ステップ５０６）。これにより、検出したオブジェクトを長時間表示していると判断された場合、ユーザが対象オブジェクトに対し興味を持ち続けていると判断することができる。この場合、ステップ５０６のＹｅｓルートに進み、興味値算出手段３２３は、対象オブジェクトの興味値に対し、所定値を加算する（ステップ５０７）。

一方、検出したオブジェクトを長時間表示していると判断されなかった場合は、ステップ５０６のＮｏルートに進み、興味値を変更することなく、次の処理に遷移する。なお、別の実施形態では、検出したオブジェクトを長時間表示していると判断されなかった場合、興味値から所定値を減算することもできる。さらに別の実施形態では、取得した継続表示時間と比較する所定の閾値をより細分化し（例えば、長時間表示用の閾値、中時間表示用の閾値・・・）、いずれの閾値を超えたかによって、ステップ５０７で興味値に加算または減算する所定値を変更することもできる。

ステップ５０６またはステップ５０７の後、メタデータ管理手段３２２は、動的メタデータ（図７）における「サイズ」の今回値と前回値を取得する（ステップ５０８）。

次に、興味値算出手段３２３は、取得した「サイズ」の今回値と前回値とを比較し、検出したオブジェクトが前回よりも大きくなったかどうかを判定する（ステップ５０９）。これにより、検出したオブジェクトが前回よりも大きくなったと判定された場合、ユーザが対象オブジェクトに対し、より興味を持ったと判断することができる。この場合、ステップ５０９のＹｅｓルートに進み、興味値算出手段３２３は、対象オブジェクトの興味値に対し、所定値を加算する（ステップ５１０）。ステップ５１０の後、本処理は終了する。

一方、検出したオブジェクトが前回よりも大きくなったと判定されなかった場合は、ステップ５０９のＮｏルートに進み、興味値を変更することなく、本処理を終了する。ただし、別の実施形態では、この際、検出したオブジェクトが前回よりも小さくなったと判定された場合、興味値から所定値を減算することもできる。

さらに別の実施形態では、検出したオブジェクトの大きくなった（小さくなった）度合いによって、加算（減算）する所定値を変更することもできる。例えば、一気に大きくなった場合と、少し大きくなった場合とでは、ユーザ興味は異なるものと判断することができるためである（一気に大きくなった場合の方が、少し大きくなった場合よりも、対象オブジェクトに対して、より興味があると判断することができる）。

また、別の実施形態では、図４における興味値算出処理（ステップ４０９）において、推定モデルを用いて、興味値を推定（算出）することもできる。図９は、本発明の一実施形態に係る興味推定モデルを示す図である。当該推定モデルは、ステップ４０２で検出した全てのオブジェクトに対するユーザ興味の心理段階をＡＩＤＡの４段階に分け（最も興味が低い段階から、「Ａｔｔｅｎｔｉｏｎ」（注意段階）、「Ｉｎｔｅｒｅｓｔ」（訴求段階）、「Ｄｅｓｉｒｅ」（欲求段階）、「Ａｃｔｉｏｎ」（行動段階）である）、各段階における各オブジェクトをノードとする隠れマルコフモデルである。各ノード間の遷移は、観測事象を利用する。観測事象とは、例えば、ユーザの目線や心拍数などユーザの身体的特徴である。撮影画像中のどのオブジェクトにユーザ目線が向けられているか、どのオブジェクトに対して心拍数に変化があったか、などにより、ユーザがどのオブジェクトに対して興味を示しているかを判断することができる。図９の推定モデルでは、便宜上、検出したオブジェクトを２つ（“中華料理”に関するオブジェクトおよび“和食”に関するオブジェクト）と仮定して示しているが、実際は、より多くのオブジェクトを含む推定モデルにより、各オブジェクトの興味値を推定することが想定される。図９の推定モデルでは、撮影された画像に写り込んだ（すなわち、ユーザが興味を持っていると考えられる）“中華料理”に関するオブジェクトおよび“和食”に関するオブジェクトに対する興味が、ユーザ目線の履歴データから、どのように遷移する可能性があるかを示した推定モデルである。

図９では、例えば、Ａｔｔｅｎｔｉｏｎ段階（注意段階。例えば、興味値０．１〜０．２の興味段階）の“中華料理”に関するオブジェクトは、ユーザ目線の履歴データから、確率０．４（＝４０％）で、より興味が深まり、Ｉｎｔｅｒｅｓｔ段階（訴求段階。例えば、興味値０．３〜０．５の興味段階）に遷移すると推定されたことを意味している（この場合、例えば、“中華料理”に関するオブジェクトの興味値を０．３と推定する）。また、図９におけるＡｔｔｅｎｔｉｏｎ段階の“中華料理”に関するオブジェクトは、確率０．３で“和食”に関するオブジェクトに興味が移り、確率０．２で興味に変化がなく、確率０．１で“その他”のオブジェクトに興味が移ると推定されたことを意味している。ここで、“その他”のオブジェクトとは、検出した“中華料理”に関するオブジェクトおよび“和食”に関するオブジェクト以外のオブジェクトである（すなわち、画像内または視界内に写り込んでいないオブジェクト）。

図９の推定モデルにおける各遷移確率は、観測事象（ユーザ目線または心拍数などユーザの身体的特徴）の履歴データおよびＢａｕｍ−Ｗｅｌｃｈアルゴリズムなどの一般的な推定アルゴリズムを用いて学習される。この際、学習に用いられるユーザ目線の履歴データに制限を設けることもできる。例えば、検出したオブジェクトと同一のオブジェクトに関する履歴データであっても全く異なる場所で撮影されたデータは学習に用いない、または、所定の期間内の履歴データ（「撮影日時」が所定の期間内の履歴データ。同一ユーザであっても、あまり古いデータは、ユーザ興味に影響しないという考えに基づく）のみを用いることもできる。また、図９の推定モデルでは、興味段階が１段階しか遷移しないように示されているが、２段階以上遷移するように推定することもできる。

そして、学習した遷移確率、現在の観測事象の履歴データ、およびＶｉｔｅｒｂｉアルゴリズムなどの一般的な推定アルゴリズムを用いて、現在のユーザ興味がどこにあるか、最も尤もらしいノードを一意に確定することができる。これにより、当該確定したノード（オブジェクト）の興味値を、例えば、興味段階ごとに定義した興味値（例えば、Ａｔｔｅｎｔｉｏｎ段階は０．１、Ｉｎｔｅｒｅｓｔ段階は０．３、Ｄｅｓｉｒｅ段階は０．６、Ａｃｔｉｏｎ段階は０．９）と決定することができる。

以上より、本発明により、ＡＲ技術（ＡＲマーカーを利用した技術、およびマーカーレスＡＲによる技術）において、撮影画像から物体および／またはＡＲマーカーを認識し、それにより検出されたオブジェクトの中から、ユーザが興味を持ち、より必要とするオブジェクトを選択してＡＲ表示を行なうＡＲユーザインタフェース適用装置および制御方法を提供することができる。

３００ＡＲ表示制御サーバ
３０１ネットワーク
３０２スマートフォン
３０３ウェアラブルデバイス
３１０ＣＰＵ
３１１ＲＡＭ
３１２入力装置
３１３出力装置
３１４通信制御装置
３１５システムバス
３１６記憶装置
３２０データ送受信手段
３２１オブジェクト検出手段
３２２メタデータ管理手段
３２３興味値算出手段
３２４表示データ管理手段
３３０静的メタデータ記憶部
３３１動的メタデータ記憶部
３３２表示データ記憶部３３２

Claims

ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置であって、前記コンピュータ装置は、
前記オブジェクト固有の情報である静的メタデータを記憶する記憶手段と、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信するデータ送受信手段と、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得するメタデータ管理手段と、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得する前記メタデータ管理手段と、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出する興味値算出手段と、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定する表示データ管理手段と、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成する前記表示データ管理手段と、
作成した前記表示データを、前記ユーザ端末に送信する前記データ送受信手段と
を備えたことを特徴とするコンピュータ装置。
前記付加情報は、前記画像または前記映像の撮影に関するデータ、前記ユーザ端末の端末に関するデータ、および前記ユーザの身体的特徴データのうちの少なくとも１つを含み、
前記動的メタデータは、前記オブジェクトの前記画像または前記映像における位置座標、サイズ、および前記オブジェクトの継続表示時間のうちの少なくとも１つを含み、前記動的メタデータは、前記ユーザによって過去に撮影された画像または前記映像に対する過去データを含み、
前記興味値算出手段は、前記興味値を算出するにあたって、
前記ユーザに係る前記動的メタデータに含まれる前記位置座標が、前記オブジェクトの前記過去データにおける前記位置座標よりも前記画像の中央に寄ったかの判定、
前記ユーザに係る前記動的メタデータに含まれる前記サイズが、前記オブジェクトの前記過去データにおける前記サイズよりも大きくなったかの判定、および
前記ユーザに係る前記動的メタデータに含まれる前記継続表示時間が、予め定められた閾値以上であるかの判定
のうちの少なくとも１つを実行し、
実行された前記位置座標、前記サイズ、および前記継続表示時間のうちの少なくとも１つに関する判定に基づいて、前記興味値を算出する
ことを特徴とする請求項１に記載のコンピュータ装置。
前記興味値算出手段は、前記興味値を算出するにあたって、前記ユーザの目線および前記目線の履歴データを観測事象とし、前記観測事象を元に、前記オブジェクトに対する前記ユーザの興味段階をノードとする隠れマルコフモデルに基づいて、前記興味値を推定することを特徴とする請求項１に記載のコンピュータ装置。
前記ユーザ端末での表示対象を決定するにあたって、前記表示データ管理手段は、
算出した前記興味値に基づいて、前記興味値が高い上位所定数の前記オブジェクトを表示対象として決定すること、
算出した前記興味値が予め定められた閾値以上である前記オブジェクトを表示対象として決定すること、
算出した前記興味値、および前記オブジェクトに対するＡＲ表示の表示量に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定すること
のうちの少なくとも１つを実行することを特徴とする請求項１乃至３のうちのいずれか１つに記載のコンピュータ装置。
前記静的メタデータは、前記オブジェクトの名称、ジャンル、および詳細情報を含み、前記表示データを作成するにあたって、前記表示データ管理手段は、
算出した前記興味値に基づいて、前記表示データの詳細レベルを決定し、
前記詳細レベルに基づいて、前記名称、前記ジャンル、および前記詳細情報のうちの少なくとも１つを表示対象として決定し、
前記名称、前記ジャンル、および前記詳細情報のうち、前記決定した少なくとも１つを含む前記表示データを作成する
ことを特徴とする請求項１乃至４のうちのいずれか１つに記載のコンピュータ装置。
ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置によって実行される方法であって、
前記オブジェクト固有の情報である静的メタデータを記憶するステップと、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信するステップと、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得するステップと、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得するステップと、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出するステップと、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定するステップと、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成するステップと、
作成した前記表示データを、前記ユーザ端末に送信するステップと
を備えたことを特徴とする方法。
ユーザの興味に基づいて、拡張現実（ＡＲ）表示の対象であるオブジェクトに対するＡＲ表示をユーザ端末に行なわせるコンピュータ装置に実行させるコンピュータプログラムであって、前記コンピュータ装置によって実行されると、前記コンピュータ装置に、
前記オブジェクト固有の情報である静的メタデータを記憶させ、
前記ユーザ端末から、前記ユーザ端末において撮影された画像または映像、および前記画像または前記映像に関する付加情報を受信させ、
受信した前記画像または前記映像に含まれる前記オブジェクトに対応する前記静的メタデータを取得させ、
前記静的メタデータを取得した場合、前記オブジェクトに対する、前記ユーザの興味に関連する動的な情報である動的メタデータを、受信した前記画像または前記映像、および前記付加情報から取得させ、
前記動的メタデータに基づいて、前記オブジェクトの興味値を算出させ、
算出した前記興味値に基づいて、前記オブジェクトのうちから前記ユーザ端末での表示対象を決定させ、
前記静的メタデータに基づいて、決定した前記表示対象であるオブジェクトごとのＡＲ表示用のデータである表示データを作成させ、
作成した前記表示データを、前記ユーザ端末に送信させる
ことを特徴とするコンピュータプログラム。