JP6395012B1 - コンピュータプログラム - Google Patents

Abstract

【課題】目的は、ユーザに応じた適切な情報を実空間画像に重畳して表示させることができるコンピュータプログラムを提供することにある。【解決手段】本発明の一実施形態は、所定のアプリケーションに適用されるコンピュータプログラムであって、コンピュータを、撮影して画像を生成する撮影手段（Ａ１）と、画像を表示する表示手段と、画像を解析して画像内の対象を特定する手段（Ａ２，Ａ３）と、特定された対象において、対象にはその内容を客観的に視覚化されていない情報であってアプリケーションの利用対象である所定の人物に固有に設定された要件と一致する要件に関する情報がある場合に、該情報を前記対象が含まれた画像に重畳して表示手段にて表示させる手段（Ａ８）として機能させることを特徴とするコンピュータプログラムである。【選択図】図８

Description

本発明は、コンピュータプログラムに関する。

近年では、ＡＲ（Augumented Reality：拡張現実)を利用した技術が注目されている。例えば、ＡＲマーカに関連づけられたＡＲコンテンツを表示するＡＲサービスが知られている（特許文献１参照）。ＡＲサービスは、ＡＲマーカが印刷された媒体の画像を取得し、ＡＲマーカに関連づけられた付加情報（ＡＲコンテンツ）を実空間画像に重畳して表示することができる。

ところで、現在、料理によって引き起こされるアレルギーを持っている人は特に若年層で増大している。そのうち「えび、かに、小麦、そば、卵、乳、落花生」の７品目は特に重篤な反応を引き起こすため、料理の原材料として表示が義務付けされているが、それ以外に推奨されている項目だけでもあと２０品目、マイナーなアレルギーを含めるとその数は何百となる。このため、メニューなどにおいて、それぞれの料理のアレルギーを及ぼす原材料（アレルゲン）について表記することが現実的に困難である。

特開２０１５−２０４０３５号公報

従来のＡＲサービスでは、そのサービスを利用するユーザが誰であっても、常に実空間画像に同じＡＲコンテンツが表示される。このため、例えば前述した料理のアレルギーを及ぼす原材料（アレルゲン）についての情報をＡＲ（拡張現実）による技術を利用して表示しても、ユーザ別の適切な情報を表示させることができない。

本発明の目的は、所定の撮影対象についてユーザに応じた適切な情報を実空間画像に重畳して表示させることができるコンピュータプログラムを提供することにある。

本発明の一実施形態は、ＡＲコンテンツを実空間画像に重畳して表示するアプリケーションに適用されるコンピュータプログラムであって、コンピュータを、前記ＡＲコンテンツを重畳するか否かの判定対象となるオブジェクトを複数含む媒体の画像である媒体画像を生成する撮影手段、前記コンピュータが備える表示装置に前記媒体画像を表示させる表示手段、前記媒体画像を解析し、当該媒体を識別する媒体識別情報を特定する手段、特定された前記媒体識別情報に関連付けられている前記オブジェクトのそれぞれに関する原材料情報、アレルゲン情報、生産地、加工地、流通経路、カロリー情報、価格、経歴、近況、活動内容、仕様、明細、解説又は履歴を含むオブジェクト情報の送信を前記コンピュータとは別の情報処理装置に要求し、要求した当該オブジェクト情報の全てを前記情報処理装置から受信する手段、記憶部に前記アプリケーションの利用者に固有に設定された複数の表示要件を記憶させる手段、前記受信されたオブジェクト情報ごとに、当該オブジェクト情報が、前記記憶部に記憶されている表示要件のうち、前記コンピュータの利用対象者に係る表示要件を満たすか否かの判定をする判定手段、前記媒体画像に含まれているオブジェクトのうち、当該オブジェクトに係るオブジェクト情報が前記利用対象者に係る表示要件を満たすと判定されたオブジェクトに対しては、前記媒体画像が前記表示装置において表示される位置を基準位置とした場合の当該媒体画像における当該オブジェクトの位置を示す位置情報に従って、前記利用対象者が選択したＡＲサービスに基づき、当該オブジェクトが前記表示要件を満たすことを示す情報、または前記オブジェクト情報の一部を表す前記ＡＲコンテンツであって前記ＡＲサービスに合致するＡＲコンテンツ、を前記媒体画像に重畳させて前記表示手段にて前記表示装置に表示させ、当該オブジェクトに係るオブジェクト情報が前記利用対象者に係る表示要件を満たさないと判定されたオブジェクトに対しては前記表示要件を満たすことを示す情報および前記ＡＲコンテンツを重畳させずに当該媒体画像を前記表示手段にて前記表示装置に表示させる手段、として機能させることを特徴とする。

本発明の一実施形態に係る情報提供システムの構成を示す図。 本発明の一実施形態に係る中央サーバの物理構成を示すブロック図。 本発明の一実施形態に係る情報処理端末の物理構成を示すブロック図。 本発明の一実施形態に係る情報処理端末の機能構成を示すブロック図。 図４の表示要件記憶部に記憶される表示要件を示す図。 図１の中央サーバのデータベースに記憶される媒体情報を示す図。 本発明の一実施形態に係る媒体を示す図。 本発明の一実施形態に係る情報処理端末の動作を示すフローチャート。 本発明の一実施形態に係る情報処理端末の表示部に表示される実空間画像とそれに重畳されるＡＲコンテンツを示す図。 本発明の一実施形態に係る情報処理端末の表示部に表示される実空間画像とそれに重畳される他形態のＡＲコンテンツを示す図。 本発明の他の実施形態に係る情報提供システムの構成を示す図。 図１１のリコメンドサーバのデータベースに記憶される関心事項及び関連事項の対応表を示す図。 図１１の中央サーバのデータベースに記憶される媒体情報を示す図。 本発明の他の実施形態に係る情報提供システムの動作を示すフローチャート。 本発明の他の実施形態において、情報処理端末の表示部に表示される実空間画像とそれに重畳されるＡＲコンテンツを示す図。

以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施形態）
ここで、以下用いる用語について次の通り定義する。
利用対象者：本実施形態に係る発明を適用したアプリケーションの利用対象である人物であり、本明細書では、「ユーザ」とも呼ぶ。後述するが、本実施形態では、撮影機能付きの携帯型情報処理端末による撮影が必要となるが、その撮影者とユーザとは同じ人物であっても良いし、違う人物であっても良い。例えば、上記アプリケーションの利用対象が子供であり、その親が上記アプリケーションに係る撮影を行うこともあるであろう。さらに、後述する表示要件の入力についても、ユーザと同一の人物が行っても良いし、違う人物であっても良い。

媒体：メニュー（献立表）、雑誌、新聞、ｗｅｂページ等の各種媒体をいう。
媒体ＩＤ：媒体及びその媒体内の頁を特定する識別子をいう。
ユーザＩＤ：携帯型情報処理端末を介してＡＲサービスの提供を受けるユーザを一意に識別するための識別子をいう。広義には、ユーザＩＤは携帯型情報処理端末を一意に識別するための識別子を含む。
実空間画像：スマートフォン等の携帯型情報処理端末のカメラで撮影された実空間の画像をいい、特に媒体を撮影した実空間画像を媒体画像という。

オブジェクト：ＡＲコンテンツ（付加的情報）を付加するものとして予め設定されている対象をいい、例えばメニューの頁内の料理または該ページ内に一覧される料理群、その他、雑誌の頁内に掲載されるアーティスト、陳列棚に陳列される商品または商品群、博物館やショールームで展示される美術品等の展示対象（実体物）、文化遺産等の建造物（実体物）、自然遺産等の自然区域、人間の顔、動植物等が含まれる。
オブジェクト情報：媒体やオブジェクトなどの実体物には表示されていないが、媒体やオブジェクトに関連付けてデータベース等の記憶装置に保管されているオブジェクトに関する付帯情報又は関連情報（付加的情報）をいい、例えば料理であれば原材料情報、アレルゲン情報、トレーザビリティ情報（生産地、加工地、流通経路等）、カロリー情報、価格等が含まれる。アーティストであればそのアーティストの経歴、近況及び活動内容などがあり、さらに商品や展示対象、建造物、自然遺産又は動植物であればそれらの仕様、明細、解説、履歴等の属性情報などがある。

ＡＲマーカ：実空間画像内のオブジェクトを特定するためのマーカであり、典型的には媒体ＩＤを表現した２次元バーコードであるが、広義にはマーカレスＡＲにおける実空間画像内の画像特徴も含まれる。
ＡＲコンテンツ：実空間画像に映るオブジェクトに記号、テキスト、画像、動画、ハイライト表示等様々な形態で重畳される付加的情報をいい、例えば以下の表示要件や推奨要件を満たすオブジェクトであることを表す記号、表示要件や推奨要件を満たしたオブジェクトのオブジェクト情報から生成されるテキストをいう。

表示要件：本実施形態に係る発明が適用されたアプリケーションのユーザに特有に設定されるものであって、実空間画像中のオブジェクトにＡＲコンテンツを付加する要件であり、オブジェクトに所定のユーザに特有のＡＲコンテンツを付加するための判断基準である。よって、表示要件に合致するオブジェクト情報が関連付けられているオブジェクトに適切なＡＲコンテンツが付加される表示要件はＡＲサービスの提供を受けるユーザが自身で直接的に設定する。表示要件としては、例えばアレルギー起因物質（アレルゲン）、忌避する添加物の種類、タブー食材（ユーザの宗教、文化、心理などに基づく）、カロリー上限値、飲食上限価格、愛好又は支援しているアーティスト、博物館等の展示対象に対する興味の対象（歴史的背景、経済的価値、関連情報、逸話）などがある。
推奨要件：本実施形態に係る発明が適用されたアプリケーションのユーザに特有に設定されるものであって、ユーザが高い関心を示す事項（関心事項）に関連する関連事項をいい、例えば、ユーザが頻繁に訪れるｗｅｂサイト、ユーザがｗｅｂサイトで購買したり検索した商品などから推定される。すなわち、推奨要件は、Ｗｅｂに限らずユーザの過去の行動履歴から抽出されるものである。本実施形態では、関連事項に従ってオブジェクトにＡＲコンテンツを付加するか否かを判定することができる。
リコメンド情報：推奨要件を満たしたオブジェクトに関するオブジェクト情報又はそのオブジェクト情報の特定項目の情報をいう。

ここで、本実施形態の基本的概念は、スマートフォン等の撮影機能を有するモバイル型情報処理装置により、所定のアプリケーションを用いて撮影した実空間画像上に少なくとも１つのオブジェクトが映りこんでおり、該映り込んだオブジェクトに対してはそれに関連付けられているＡＲコンテンツを表示するものであるが、撮影されているオブジェクトにおいて、上記アプリケーションの利用対象者である人物に固有に設定された要件（例えば、後述の、表示要件、推奨要件等）に対応するオブジェクトがある場合は、該要件に関するＡＲコンテンツを撮影されている画像に重畳して表示するものである。ＡＲコンテンツとしては、オブジェクトが表示要件や推奨要件に合致していることを表す既定のマーク（記号）、既定又はオブジェクト情報から生成するテキスト、画像上のオブジェクトをハイライト表示するものであってもよい。

図１は、本発明の一実施形態に係る情報提供システムの構成を示す図である。本実施形態における情報提供システムは、中央サーバ１０と、中央サーバ１０に対してインターネットを含むネットワーク１８を介して相互にデータ等を送受信可能に接続される複数の電子機器として典型的には携帯型情報処理端末１６（１６−１，…，１６−ｎ）とを含む。複数の携帯型情報処理端末１６は、例えば、スマートフォン等の携帯端末、タブレット、グラス型ウェラブルデバイス等の撮影機能を有するモバイル型の情報処理装置であって、典型的にはユーザ所有の電子機器である。

後述するが図２に示す記憶装置２２には、媒体内のオブジェクトに関するオブジェクト情報が媒体ＩＤに関連付けられて媒体情報（例えば、図６）として保管される。媒体ＩＤとともにオブジェクト情報の提供を求めるリクエストが情報処理端末１６から中央サーバ１０に送信される。ＣＰＵ２０はリクエストに呼応して、媒体ＩＤに関連付けられているオブジェクト情報を記憶装置２２から読み出させ、通信装置２３を介してリクエスト元としての情報処理端末１６に送信する。

図３に示すように情報処理端末１６はカメラを装備したスマートフォン、ＰＨＳ、ＰＤＡ、タブレットＰＣなどの基地局を経由してインターネットに接続する機能を備えた電子機器であり、後述するが基本的物理構成としてＣＰＵ３０、メモリ３１、記憶装置３２、通信装置３３、入力装置３４、カメラ３６を備えている。記憶装置３２には、ＡＲサービス用アプリケーションプログラム、カメラ３６で撮影された実空間画像データ、中央サーバ１０から受信したオブジェクト情報、オブジェクトにＡＲコンテンツを付加するか否かを判定するための表示要件等が記憶される。図４には情報処理端末１６の機能構成を示している。画像解析処理部１６３は画像解析処理により撮影部１６２で撮影された実空間画像に映っているＡＲマーカを抽出するとともにその媒体ＩＤ（Identification）を検出する。この媒体ＩＤは、当該媒体内のオブジェクトに関するオブジェクト情報の送信を要求するリクエストに含まれて通信部１６５を介して中央サーバ１０に送信される。当該リクエストに応答して中央サーバ１０から情報処理端末１６に、情報処理端末１６から受信した媒体ＩＤに対応する媒体内のオブジェクトに関する「媒体には表示されていない情報（オブジェクト情報）」が送信される。

オブジェクト情報はオブジェクト情報一時記憶部１６６を介してオブジェクト情報検索処理部１６７に供給される。オブジェクト情報検索処理部１６７には表示要件記憶部１６１から表示要件が読み出される。図５に表示要件を例示している。オブジェクト情報検索処理部１６７では、このオブジェクト情報に基づいてオブジェクトが表示要件を満たすか否か判定する。例えば表示要件に含まれる検索ワードでオブジェクト情報を検索する。例えばアレルゲンの「大豆」が検索ワードであれば、オブジェクト情報の原材料項目に「大豆」が含まれるときは、当該オブジェクト（この場合、料理）が表示要件（特定のアレルゲンを含む）を満たし、オブジェクト情報の原材料項目に「大豆」が含まれないときは、当該オブジェクトは表示要件を満たさないと判定する。ＡＲコンテンツ生成部１６８では、表示要件を満たすと判定されたオブジェクトに対して、ＡＲコンテンツ（例えば拡張画像）を生成する。ＡＲコンテンツとしては、表示要件を満たす場合に予め用意されている記号やテキスト等が読み出され、又はオブジェクト情報から個別に生成される。ＡＲコンテンツは表示制御部１６５の制御のもとで撮影部１６２で撮影された実空間画像上に重畳して表示部１７０に表示される。

なお、オブジェクト情報検索処理（オブジェクト選択処理）及びＡＲコンテンツの生成処理を中央サーバ１０側で実行し、中央サーバ１０から情報処理端末１６にＡＲコンテンツが送信されるものであってもよい。この場合は、中央処理サーバ１０には、各ユーザに関連付けて表示要件が保持されており、情報処理端末１６から中央サーバ１０には、この媒体ＩＤと共にユーザＩＤが送信される。

すなわち、あるユーザに固有の表示要件とオブジェクト情報とが一致するか否かを判断する処理、該一致した情報に関するＡＲコンテンツを生成する処理をどこで実行するかは本発明の本質ではなく、情報処理端末１６、中央サーバ１０のいずれで実行しても良い。本発明で重要なことは、上記処理の場所に関わらず、例えば、予め用意されたオブジェクト情報のうち所定のユーザに応じて設定された表示要件と一致するものがある場合に、情報処理端末１６が該上記一致した情報に関するＡＲコンテンツを実空間画像に重畳表示することである。

本実施形態では、視点を変えて、情報処理端末１６は中央サーバ１０から受信するオブジェクト情報に基づいてユーザ固有の表示要件を満たすオブジェクトを特定しているとも言えるかもしれない。そして、表示要件に合致するオブジェクトについて該オブジェクトの現物にはその内容を客観的に視覚化されていない情報に関するＡＲコンテンツを実空間画像、例えば媒体画像上であって、当該オブジェクトの近傍位置に重畳して表示させる。すなわち、情報処理端末１６は、上記媒体には表示されていない情報であって、上記媒体画像を撮影したユーザが設定した表示要件に一致する情報が予め用意されているオブジェクト情報に存在する場合に、該一致した情報から生成したテキストや所定の記号（マーク）をＡＲコンテンツとして情報処理端末１６の表示部にて媒体画像に重畳して表示するのである。これにより、ユーザは、所定の媒体について用意された該媒体には表示されていない情報の中からユーザに応じて選別されたユーザ固有の情報を、媒体画像とともに確認することができる。

より具体的には、例えば飲食店で用いられるメニュー等の媒体を情報処理端末１６により撮影することにより、メニューに掲載された複数の料理写真のうち、それが情報処理端末１６のユーザに固有のアレルギー起因物質（アレルゲン）を原材料に含む料理であることを指示するＡＲコンテンツとして例えば記号を、メニューを撮影した実空間画像（媒体画像）内における該当料理写真が映っている位置又はその近傍に重畳表示させる。

この場合、飲食店で用いられるメニュー（媒体）の各ページに、メニューとメニューのページを識別することができる固有のＡＲマーカを記録すると共に、メニューに掲載された料理毎のアレルゲンの情報（オブジェクト情報）を中央サーバ１０においてデータベース化しておく。一方、ユーザは、自分に該当するアレルゲン（表示要件）を表示要件として情報処理端末１６に設定しておく。あるいは、メニューの撮影時に自分に対応するアレルゲンを入力するようにしても良い。

ユーザは、例えばメニュー上の多くの料理から、自分がアレルギー反応を起こすアレルゲンを含まない料理を選択するために、情報処理端末１６において当該ＡＲサービス用のアプリケーションプログラムを起動させて、情報処理端末１６に搭載されたカメラ３６によってメニューを撮影する。情報処理端末１６は、メニューを撮影して得られた画像（媒体画像）からＡＲマーカを読み取り、ＡＲマーカ上の媒体を特定する媒体ＩＤを検出する。情報処理端末１６は、媒体ＩＤと、ユーザＩＤ（又は端末ＩＤ）とを中央サーバ１０に送信する。中央サーバ１０は、媒体ＩＤが示すメニュー中の該当ページに掲載された料理（オブジェクト）に関する“メニュー等の媒体（実体物）には明示されていない情報”、つまり媒体ＩＤに関連付けられて保管されているオブジェクト情報（原材料情報等）を読み出し、情報処理端末１６に送信する。情報処理端末１６ではオブジェクト情報の特に原材料やアレルゲンの中に、情報処理端末１６を介してユーザが事前に登録したそのユーザ固有のアレルゲンに合致するものが含まれているか否かを判定する。メニューに掲載された多くの料理（オブジェクト）の中の当該アレルゲンを含む料理（オブジェクト）に対しては例えば「撮影したメニューにおいてどの料理は頼んではいけないかを表す拡張画像」や「対象となるユーザに関するアレルゲン名やそれ表す図形を該当料理から噴き出すようにした拡張画像」などのＡＲコンテンツを生成して実空間画像に重畳して表示する。当該アレルゲンを含まない料理（オブジェクト）に対してはＡＲコンテンツを生成しない、又はＡＲコンテンツを表示しない。

なお、前述した例では、情報の提供対象とする媒体として飲食店のメニューを例にしているが、その他の媒体を対象とすることができる。例えば、通信販売等のカタログ、宅配料理のメニュー、雑誌、チラシなどの紙媒体、絵画あるいはＷｅｂページ、タブレット等の携帯端末の画面、デジタルサイネージ、テレビなどのディスプレイに表示されたデジタルコンテンツなどを対象とすることができる。

また、ユーザに固有の表示要件としては、図５に例示するように、特定のアレルギー起因物質（アレルゲン）に限定されることはなく、トレーサビリティ情報を用いて、特定の生産地で生産された食材、その物の特定の加工地、特定の流通経路を経由した原材料を表示要件としても良いし、特定の添加物、禁忌食材（ユーザの宗教、文化、心理などに基づく）を表示要件としても良い。さらに、オブジェクト情報をカロリーとしても良い。 さらに、料理（原材料）に限らず、各種の商品を対象としても良いし、雑誌、書籍、新聞に掲載された情報（文字情報、写真）や地図情報に含まれる飲食店の情報など、各種情報を対象とすることもできる。例えば、情報の提供対象の関連情報を表示するようにしても良い。例えば、情報の提供対象がアーティスト雑誌であり、あるページに複数のアーティストが掲載されていて、ユーザが登録したアーティストがそのページに存在している場合は、該アーティストの次回ライブ情報といった関連情報を表示するようにしても良い。

このように、本発明で重要なことは、情報処理端末１６により撮影した実空間画像において、そのユーザが事前に登録するなどして設定した要件（アレルギー、嗜好など）に合致するオブジェクト情報が関連づいているオブジェクトが存在する場合に、上記実空間画像内の実体物には表示されていない、その要件に関する情報を実空間画像に重畳して客観的にその内容を視覚化（例えば、テキスト化、図形による表現等）して表示することである。該処理が実行できれば、表示に関する手法は、ＡＲマーカを用いるものに限らない。例えば、マーカレスＡＲの手法を用いても良い。

また、例えば情報の提供対象についても紙媒体やディスプレイなどの表示媒体に限らず、陳列棚、博物館やショールーム等の展示対象、文化遺産等の建造物、自然遺産等の自然区域等であっても良い。このように、表示媒体では無いものを扱う場合は、マーカレスＡＲを用いることが有効であろう。例えば、様々なキャラクタグッズを取り扱う小売店舗の陳列棚に適用すると、ユーザが好きなキャラクタについて、その陳列棚の何処にどんな商品が置いてあるかを、その陳列棚の実際の画像に重畳して表示できるので、自分の嗜好にあったキャラクタの商品のみを漏れなく直感的に把握することができる。また、博物館等であれば、その展示対象について同じものであっても、人によっては興味のポイントが違うであろう。すなわち、ある展示対象について、歴史的背景を知りたい人もいれば、経済的価値を知りたい人、雑学的な関連話を知りたい人、人それぞれに自分の興味のポイントが異なることが多かろう。本発明では、上記展示対象等について、ユーザは予め登録した観点の情報のみを現実の映像を見ながら取得することができる。

いずれにせよ、本発明によれば、上記情報の提供対象（例えば、何かしらの媒体、陳列棚、展示対象、建造物、自然区域等）について、ユーザ毎に設定された表示要件に合致するオブジェクトのみを対象として、その実空間画像上にＡＲコンテンツを重畳して表示するので、ユーザはオブジェクトを撮影するだけで、実際に見ただけでは、そのユーザに独特の、分からない情報、分かりづらい情報、誤解してしまう情報等を実空間画像に付加して表示することができる。逆に言うと、本発明では、上記情報の提供対象についての情報は、様々な条件、観点から多数用意されているが、ユーザにとっては不要と思われる情報（この判断を、ユーザ毎に予め登録した要件とのマッチングにより行っている）は表示しないのである。

さて、本実施形態において、表示要件については、予め情報処理端末１６のユーザが情報処理端末１６の記憶装置３２に登録しておく。勿論、表示要件をユーザＩＤに関連付けて中央サーバ１０に記憶するものであっても良い。これにより、媒体には明示されていないユーザが設定した要件に該当するオブジェクトがフィルタリングされ、選別されたオブジェクトに対してそのオブジェクトの情報をもとに生成したＡＲ拡張画像等の付加情報（ＡＲコンテンツ）を表示させることができる。

本実施形態では、中央サーバ１０は情報処理端末１６と協働してユーザごとに異なる表示要件に応じたオブジェクトに限定して、ＡＲコンテンツを付加して表示するためのサービスを実現する。中央サーバ１０には、例えば情報処理端末１６によりユーザが個別に設定した表示要件が登録される。情報処理端末１６のユーザは、中央サーバ１０が提供するサービスを利用する前に、予めアプリケーションプログラムを通じて表示要件の登録作業をする。例えば情報処理端末１６において実行される、例えばヘルスケアアプリケーションにおいて登録される忌避すべき料理を「タブー食材」とし、推奨される料理を「嗜好対象」として登録することができる。

中央サーバ１０の記憶装置２２にはサービスを利用して情報処理端末１６によりＡＲコンテンツを表示させることができる媒体（メニューなどの紙媒体、ディスプレイに表示されるＷｅｂページなどのデジタルコンテンツなど）の媒体情報が記憶される。例えば、レストランで使用されるメニューに関する各種の情報が媒体情報として、レストランの運営者などによって事前に登録される。

図２は、中央サーバ１０の主要構成を示すブロック図である。中央サーバ１０は、サーバ全体を制御するＣＰＵ２０と、ＣＰＵ２０が実行するプログラムや作業用のデータを記憶するメモリ２１（例えば、ＲＡＭ、ＲＯＭを含む）と、媒体情報を記憶する不揮発性の記憶装置２２と、ＣＰＵ２０からの指示に従ってネットワーク１８を介して情報処理端末１６やリコメンドサーバ１３、さらに外部のｗｅｂサーバ等との通信を行う通信装置２３とを含んでいる。

図３は、情報処理端末１６の主要構成を示すブロック図である。情報処理端末１６は、機器全体を制御するＣＰＵ３０と、ＣＰＵ３０が実行する制御プログラムやアプリケーションプログラムなどのプログラム、作業用のデータを記憶するメモリ３１（例えば、ＲＡＭ、ＲＯＭを含む）、各種情報を記憶する不揮発性の記憶装置３２と、ＣＰＵ３０からの指示に従ってネットワーク１８を介して、外部機器としての中央サーバ１０等との通信を行う通信装置３３と、ユーザによる操作に応じて各種データを入力する入力装置３４（タッチパネル、キーボード、ポインティングデバイスなど）と、各種情報を表示する表示装置３５（例えばＬＣＤ（Liquid Crystal Display）等）と、画像を撮影するカメラ３６と、情報処理端末１６の現在位置を示す位置情報を検出する位置検出モジュール３７を含んでいる。位置検出モジュール３７は、ＧＰＳ（Global Positioning System）を用いた位置検出の他、室内や地下における無線信号の受信強度に基づいた位置検出が可能であるものとする。

ＣＰＵ３０は、当該ＡＲサービスを利用してＡＲコンテンツを実空間画像に付加して表示するためのアプリケーションプログラムを実行することにより後述する処理を実現することができる。メモリ３１あるいは記憶装置３２は、実空間画像から検出されたＡＲマーカから認識した媒体コード（媒体ＩＤ）、ユーザＩＤ、中央サーバ１０ら受信されるオブジェクト情報及びＡＲコンテンツの表示位置を示す対象位置情報などを記憶する。

図５に情報処理端末１６に記憶される表示要件を例示している。表示要件としては、例えば「アレルゲン」、「ダイエット」、「タブー食材」、「好みの食材」に関するものが用意される。「アレルゲン」であれば、ユーザが登録したアレルギーを及ぼす原材料（例えば、大豆、小麦、そば）が登録され、そのアレルゲンを含む料理（オブジェクト）がＡＲコンテンツを付加する対象として選択され、そのアレルゲンを含む料理（オブジェクト）であることを注意喚起する記号や“この料理はあなたのアレルゲン（例えば大豆）を含みます”等のテキスト形態でＡＲコンテンツが生成される。「タブー食材」であれば、ユーザの宗教、文化、心理などに基づいて忌避すべき原材料（例えば、豚肉）が登録され、そのタブー食材を含む料理（オブジェクト）がＡＲコンテンツを付加する対象として選択され、そのタブー食材を含む料理（オブジェクト）であることを注意喚起する記号や“この料理はあなたのタブー食材（例えば豚肉）を含みます”等のテキスト形態でＡＲコンテンツが生成される。「嗜好対象（好みの食材）」であれば、ユーザが好みの食材（例えば、牛肉）が登録され、その好みの食材を含む料理（オブジェクト）がＡＲコンテンツを付加する対象として選択され、その好みの食材を含む料理（オブジェクト）であることを表す記号や“この料理はあなたのお好きな食材（例えば牛肉）を含みます”等のテキスト形態でＡＲコンテンツが生成される。表示要件としてはこれらに限定されることはない。例えば「飲食店情報」は、複数の飲食店から希望する飲食店（オブジェクト）を選択する表示要件として、ユーザ固有の予算が登録され、１人当たりの平均予算がそのユーザの予算以下である飲食店が選択され、平均予算がユーザの予算以下である飲食店を表す記号や“この飲食店の平均予算はあなたの予算以下です”等のテキスト形態でＡＲコンテンツが生成される。飲食店であれば表示要件として予算以外にも例えば住所、広さ、ジャンル（和風、洋風等）などを設定してもよい。

図６は、中央サーバ１０に記憶される媒体情報の一例を示す図である。媒体情報は、典型的にはＡＲサービス管理者により生成され管理される情報で有り、媒体ＩＤに関連付けられ、各媒体内のページ各々に含まれる料理等のオブジェクトに関する当該ページ内での位置情報とオブジェクト情報とを含む。マーカレスＡＲの場合、さらにオブジェクトを特定するための外形状や色、印刷等のパターンなどの形態特徴情報が含まれる。

「オブジェクト」に関する情報（オブジェクト情報）としては、オブジェクトの種類に応じて様々な項目が設定される。例えばオブジェクトが料理である場合、料理に含まれる原材料情報（アレルゲンを含む）、トレーサビリティ情報（生産地、加工地、流通等）、カロリー情報、価格などの項目が含まれる。オブジェクトがアーティストである場合、経歴、活動内容、近況、今後の活動予定などの項目が含まるであろうし、博物館の展示物である場合、その展示物の作者、歴史的背景、製作秘話などの項目が含まるであろう。さらに電化製品である場合、その仕様や価格、解説コメントなどの項目が含まるであろう。

図７に媒体の一例としてのメニュー４０を示している。メニュー４０には、例えば見開きの各ページ４１，５１のそれぞれに複数の料理の情報（画像、文字等）が掲載されている。これら料理はＡＲコンテンツを付加する対象としてのオブジェクト４３，４４，４５，４６，４７，４８である。ページ４１には、ＡＲマーカ４２が掲載されている。ＡＲマーカ４２は典型的にはＱＲコード（登録商標）などの２次元コードが用いられる。ＡＲマーカ４２には、ＡＲマーカ４２が付加された媒体（メニュー４０）とそのページとを特定する固有の媒体ＩＤがコード化されている。媒体ＩＤに関連付けられている媒体情報によりオブジェクト４３，４４，４５，４６，４７，４８が特定され得る。つまり媒体ＩＤはオブジェクトを特定する情報といえる。ＡＲマーカ４２は、情報処理端末１６により撮影されたメニュー４０とそのページを特定する共に、撮影されたページの画像中にＡＲコンテンツを重畳させて表示する際の基準位置として用いられる。同様にして、ページ５１には、複数のオブジェクト５３，５４，５５，５６，５７が掲載され、ＡＲマーカ５２が付加されている。なお、ＡＲマーカは、ページ毎に付加する位置が異なっていても良いし、見開きに１つでも良いし、１ページに複数あっても良い。

次に、本実施形態における情報処理システムの動作について説明する。図８は、情報処理システムの処理の流れを示している。情報処理端末１６のユーザが、図７に示すメニュー４０を閲覧する場合を想定する。この場合、ユーザは、情報処理端末１６において中央サーバ１０が提供するサービスを利用するためのアプリケーションプログラムを起動させる。次いで、ユーザによりカメラ３６が操作されると、撮像部１６２は、実空間画像、ここではメニュー４０の画像の撮影を開始する（ステップＡ１）。表示制御部１６９は撮像部１６２により撮影されたメニュー画像を表示部１７０に表示させる。画像解析処理部１６３は、メニュー画像にＡＲマーカが含まれているか否かを画像認識処理によって継続的に判別する（ステップＡ２）。ここで、撮影された画像から例えばページ４１に付されたＡＲマーカ４２が検出されると（ステップＡ２、Ｙｅｓ）、画像解析処理部１６３は、ＡＲマーカ４２から媒体ＩＤを認識する（ステップＡ３）。通信部１６５は、媒体ＩＤを含むリクエストを中央サーバ１０に送信する（ステップＡ４）。本実施形態では、このリクエストは媒体ＩＤで特定される媒体内の全てのオブジェクトに関するオブジェクト情報の送信を要求する。

中央サーバ１０は、リクエストを受信すると、媒体ＩＤに対応するオブジェクト情報、つまりその媒体の該当ページ内のオブジェクトに関するオブジェクト情報を記憶装置２２から読み出して、リクエスト元の情報処理端末１６に送信する。情報処理端末１６ではオブジェクト情報を通信部１６５を介して受信し、オブジェクト情報一時記憶部１６６に記憶する（ステップＡ５）。オブジェクト情報検索処理部１６７は、ステップＡ５にて記憶されたオブジェクト情報に対して、表示要件記憶部１６１から読み出された表示要件を照合し、例えば表示要件に含まれるキーワードでオブジェクト情報を検索し、対応するオブジェクト情報が表示要件中のキーワードを含むオブジェクトを選択する（ステップＡ６）。例えば、表示要件の「アレルゲン」として「小麦、そば」が登録されている場合に、現在撮影されているメニュー４０の中から、原材料に「小麦」あるいは「そば」が含まれている料理（オブジェクト）を選択する。なお、このオブジェクトの選択処理は中央サーバ１０で実行してもよい。その場合、表示要件については、媒体ＩＤとともに情報処理端末１６から中央サーバ１０に送信するものであっても良いし、中央サーバ１０の記憶装置３２にユーザＩＤに関連付けて記憶するものであっても良い。後者の場合は、ステップＡ４にて媒体ＩＤに加えてユーザＩＤも中央サーバ１０に送信される。

ＡＲコンテンツ生成部１６８は、選択されたオブジェクトに関するオブジェクト情報の当該表示用件に対応する項目の情報から例えばテキスト形態のＡＲコンテンツを生成する（ステップＡ７）。勿論、表示要件を満たすオブジェクトであることを表記する予め生成された記号等のデータを表示要件記憶部１６１に記憶しておき、ＡＲコンテンツ生成部１６８がそのデータを読み出すことでＡＲコンテンツを発生するものであっても良い。表示制御部１６９は、ステップＡ７にて生成されたＡＲコンテンツをオブジェクトの位置情報に従って媒体画像（実空間画像）上の当該オブジェクトに重畳して表示する（ステップＡ８）。例えば、図９において、「マイアレルギー」アイコンＡＲ１をタップしてアレルギーに関するＡＲサービスを適用するとき、タップしたユーザに特有のアレルゲンを含む料理（オブジェクト）であることを注意喚起する記号形態のＡＲコンテンツＴ１が例えばメニューの画像に重畳して表示される。図１０に示すように、選択された料理（オブジェクト）のオブジェクト情報から生成したテキスト“この料理はあなたのアレルゲン（例えば大豆）を含みます”とのＡＲコンテンツＴ１１を表示するようにしてもよい。ＡＲコンテンツの生成処理については、中央サーバ１０で実行され、ＡＲコンテンツのデータをその位置情報とともに情報処理端末１６に送信するものであってもよい。

本実施形態によれば、ユーザは、アレルゲン情報が明示されていないメニューにおいて、本実施形態が適用されたアプリケーションの利用者に特色的なアレルゲンとなる原材料を含む料理が該メニュー４０内にあるか否かをメニュー４０を情報処理端末１６で単に撮影するだけでそのメニューを見ながら確認することができる。すなわち、何かしらの情報を知りたいオブジェクトを撮影するだけで、その撮影対象であるオブジェクト自身を一見しただけでは分からない該オブジェクトに関する情報のうち、所定のユーザ（実質のアプリケーションの利用者）に固有に設定された要件と合致するものがある場合に、その情報を情報処理端末１６の表示部１７０において上記撮影対象が含まれる実空間画像に重畳して表示する。よって、どんな時でも撮影対象のオブジェクト情報が表示されるわけではなく、所定のユーザに必要なもの（設定した表示要件と合致するもの）のみを表示することができる。すなわち、同じ対象物を撮影しても、当該アプリケーションの利用者によってはＡＲコンテンツが表示されなかったり、あるいは表示されるＡＲコンテンツが異なることになり、所定のユーザが自身にカスタマイズされた形で視認することができる。

本実施形態に戻すと、全ての料理（オブジェクト）にＡＲコンテンツが重なる事がなく、表示要件を満たしたオブジェクトに限定してＡＲコンテンツが重畳されるので、表示要件を満たすオブジェクトを見逃すことなく注視することができ、さらに全ての料理（オブジェクト）にＡＲコンテンツを重ねると情報過多となる場合があるが、そのような事態を回避でき、メニュー等の実空間画像の視認性も向上する。同じものを撮影しても、サービスの利用者によっては、ＡＲにより表示される情報はことなることになる。

メニュー４０のページ捲り等により撮像部１６２により撮影されるＡＲマーカが他のＡＲマーカに変更になったとき、画像解析処理部１６３は、撮影ＡＲマーカが変更された判断し（ステップＡ９）、上述したように、新しいＡＲマーカから媒体ＩＤを抽出して、前述した処理を再度実行する（ステップＡ２〜Ａ８）。ユーザの操作によりアプリケーションプログラムの終了が指示されると、情報処理端末１６は、本処理の終了を受け付けて（ステップＡ１０、Ｙｅｓ）、中央サーバ１０に処理終了を通知するとともに処理を終了する。

このようにして、本実施形態に係る情報提供システムでは、表示要件に該当するオブジェクトに対してのみＡＲコンテンツを重畳表示するので、ユーザに有意な情報のみ付加する事ができる。

（第２の実施形態）
なお、上述の説明では、表示要件としてユーザ自身が明示的に登録する直接的な情報だけでなく、例えばユーザが情報処理端末１６を介してＷｅｂサイト上で購買した購買履歴からユーザが強い興味を示す商品やサービス（嗜好事項）を推定し、特定するものとし、この嗜好事項を推奨要件として登録するようにしてもよい。情報処理端末１６でブラウザプログラムを通じて表示されるＷｅｂサイトでの商品（食料品など）の購入等に基づいてユーザの嗜好品を判別し、嗜好情報として特定することができる。情報処理端末１６でブラウザプログラムを通じて閲覧したＷｅｂサイトの履歴からそれらに共通する芸能人やアーティスト等の氏名や商品の普通名称を抽出し、それらを関心の強い事項として特定し、推奨要件としてユーザＩＤに関連付けて登録する。中央サーバ１０はオブジェクト情報に推奨要件に合致した情報（例えば特定の芸能人の氏名）が含まれるときには、その合致したオブジェクト情報から具体的にどのような点がお勧めなのかという解説コメントや最新情報（最新の活動情報など）を記述した該当項目を抽出し、リコメンド情報（推奨情報）として媒体中の該当オブジェクトの位置情報（ページ上の相対表示位置）とともに情報処理端末１６に送信する。情報処理端末１６では中央サーバ１０から受信した解説コメントや最新情報をＡＲコンテンツとして媒体画像上に当該位置に重ねて表示し、または媒体画像上の当該位置に掲載された情報をハイライトやマークアップする。また、リコメンド情報にリンク先ＵＲＬ項目から抽出した例えばチケット予約ページや物品の購入ページのＵＲＬを埋め込むことにより、ユーザは情報処理端末１６の画面上でリコメンド情報が表記されたＡＲコンテンツをタップすることによりチケット予約ページや物品の購入ページに遷移することも可能である。なお、ここでの行動結果、つまりページ遷移情報や購入情報は基礎統計データとして活用することができる。

図１１にはこの情報提供システムの全体構成を示している。当該情報提供システムは、図１の情報提供システムに対してリコメンドサーバ１３が追加されている。リコメンドサーバ１３は、情報処理端末１６からユーザＩＤ、ユーザが情報処理端末１６を介して直接入力したユーザ自身が高い関心を示す事項（関心事項）の他に例えばｗｅｂ経由で商品等を購買した購買履歴、ｗｅｂの閲覧履歴等を受信し、これらに関連する事項（関連事項）を推定する。図１２にリコメンドサーバ１３で管理される、ユーザＩＤに関連付けられる関心事項と関連事項の対応表を示している。例えばユーザの関心事項がアーティスト「ａｋｋｂ６８」であれば、アーティスト「ａｋｋｂ６８」と同じカテゴリの「いろは坂６８」、「ｓｋｋｅ６８」などが関連事項として発生される。関連事項の発生方法は特定の手法に限定されることはなく、例えばポータルサイトの検索エンジンにおけるサジェスト機能で発生する関連キーワードや連続して入力される検索キーワードから発生することも可能である。リコメンドサーバ１３は上述した関心事項を定義した表示要件とともに関連事項を定義した推奨要件を生成し、記憶する。

図１３には中央サーバ１０に記憶されるある雑誌の媒体情報を例示している。オブジェクトとしてはアーティスト、オブジェクト情報としては名称、プロフィール、お勧め情報等を記述したコメント、さらに例えばそのアーティストのコンサートチケットを販売しているチケットストアサイトのＵＲＬが含まれる。

図１４に本実施形態に係る情報提供システムの動作を示している。本実施形態では、情報処理端末１６のユーザが、芸能雑誌を閲覧する場合を想定する。ユーザは、当該ＡＲサービスを利用するためのアプリケーションプログラムを起動させると、撮像部１６２は、実空間画像、ここでは雑誌を撮影する（ステップＢ１）。画像解析処理部１６３は、雑誌画像から当該雑誌に掲載されるＡＲマーカを検出し（ステップＢ２、Ｙｅｓ）、ＡＲマーカから媒体ＩＤを認識する（ステップＢ３）。通信部１６５は、情報処理端末１６から中央サーバ１０に、ユーザＩＤ及び媒体ＩＤを含むリクエストを送信する（ステップＢ４）。このリクエストは当該雑誌に関するリコメンド情報を要求するものである。

中央サーバ１０は、リコメンドサーバ１３にユーザＩＤを含むリクエストを送信する（ステップＢ５）。このリクエストは当該ユーザに関する関心事項及び関連事項を要求するものである。リコメンドサーバ１３は、ユーザＩＤに関連付けられた関心事項及び関連事項を記憶部から読み出して、中央サーバ１０に送信する（ステップＢ６）。中央サーバ１０は、媒体ＩＤに関連付けられているオブジェクト情報を選択的に読み出し、リコメンドサーバ１３から受信した関心事項及び関連事項を含むオブジェクト情報のオブジェクトを選択する（ステップＢ７）。中央サーバ１０は、選択されたオブジェクトのオブジェクト情報から特定項目、例えばコメント情報とリンク先ＵＲＬ情報とを抽出し、リコメント情報としてリクエスト元の情報処理端末１６に送信する（ステップＢ８）。

ＡＲコンテンツ生成部１６８は、受信したリコメント情報のコメントがテキスト形態で表現されたＡＲコンテンツＴ４を生成し、次いで、表示制御部１６９は、図１５に例示するように、オブジェクトの位置情報に従って雑誌の実空間画像上の当該オブジェクトに重畳して表示する（ステップＢ９）。情報処理端末１６は、ＡＲコンテンツＴ４がユーザによりタップされたと判断すると（ステップＢ１０、Ｙｅｓ）、通信部１６５によりＡＲコンテンツに関連付けられているリンク先ＵＲＬにアクセスし、図１５に示すように、表示画面をリンク先のｗｅｂページ、例えばチケットストアに遷移させる（ステップＢ１１）。ステップＢ１２、Ｂ１３については、ステップＡ９、Ａ１０と同様の処理を行う。

以上、具体例に基づき、本発明の一実施形態に係る情報処理端末１６、中央サーバ１０を説明したが、本発明の実施形態としては、上述した動作を実現する方法又はプログラム（例えば、図８に示すプログラム）の他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ハードディスク、メモリカード）等としての実施態様をとることも可能である。情報処理端末１６及び中央サーバ１０に実装されるコンピュータは、記録媒体に記憶されたプログラムをインストールし、このプログラムをＣＰＵにより実行することで、前述した各種処理（機能）を実現することができる。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であっても良い。

さらに、プログラムは、必ずしも制御基板上のＣＰＵにおいてのみ、全ての処理が実施される必要はなく、必要に応じて基板に付加された拡張ボードや拡張ユニットに実装されたＣＰＵやＤＳＰによってその全部または一部が実施される構成とすることもできる。

上述した例示的な実施形態から、開示される方法およびシステムは、ソフトウェアおよび汎用ハードウェアプラットフォームを使用して実現されてもよいことを当業者は明確に理解することができる。この理解に基づいて、本開示の技術スキームまたは既存の技術に寄与する部分は、ＲＯＭ／ＲＡＭ、ディスク、およびドライブなどの記憶媒体に記憶されるソフトウェア製品の形態で実現されてもよい。ソフトウェアは、コンピューティングデバイス（たとえば、パーソナルコンピュータ、サーバ、またはネットワークデバイス）が、種々の例示的な実施形態または本開示の例示的な実施形態の一定の部分に述べる方法を実行するための命令を含む。

また、本明細書（特許請求の範囲、要約、及び図面を含む）に記載された特徴の各々は明示的に否定されない限り、同一の目的、同等の目的、又は類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一又は均等となる特徴の一例にすぎない。
さらに、本発明は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本発明は、本明細書（特許請求の範囲、要約、及び図面を含む）に記載された全ての新規な特徴又はそれらの組合せ、あるいは記載された全ての新規な方法又は処理のステップ、又はそれらの組合せに拡張することができる。

１０…中央サーバ、１６（１６−１，…，１６−ｎ）…携帯型情報処理端末、２０，３０…ＣＰＵ、２１，３１…メモリ、２２，３２…記憶装置、２３，３３…通信装置、３４…入力装置、３５…表示装置、３６…カメラ、３７…位置検出モジュール。

Claims (2)

1. ＡＲコンテンツを実空間画像に重畳して表示するアプリケーションに適用されるコンピュータプログラムであって、
   コンピュータを、
   前記ＡＲコンテンツを重畳するか否かの判定対象となるオブジェクトを複数含む媒体の画像である媒体画像を生成する撮影手段、
   前記コンピュータが備える表示装置に前記媒体画像を表示させる表示手段、
   前記媒体画像を解析し、当該媒体を識別する媒体識別情報を特定する手段、
   特定された前記媒体識別情報に関連付けられている前記オブジェクトのそれぞれに関する原材料情報、アレルゲン情報、生産地、加工地、流通経路、カロリー情報、価格、経歴、近況、活動内容、仕様、明細、解説又は履歴を含むオブジェクト情報の送信を前記コンピュータとは別の情報処理装置に要求し、要求した当該オブジェクト情報の全てを前記情報処理装置から受信する手段、
   記憶部に前記アプリケーションの利用者に固有に設定された複数の表示要件を記憶させる手段、
   前記受信されたオブジェクト情報ごとに、当該オブジェクト情報が、前記記憶部に記憶されている表示要件のうち、前記コンピュータの利用対象者に係る表示要件を満たすか否かの判定をする判定手段、
   前記媒体画像に含まれているオブジェクトのうち、
   当該オブジェクトに係るオブジェクト情報が前記利用対象者に係る表示要件を満たすと判定されたオブジェクトに対しては、前記媒体画像が前記表示装置において表示される位置を基準位置とした場合の当該媒体画像における当該オブジェクトの位置を示す位置情報に従って、前記利用対象者が選択したＡＲサービスに基づき、当該オブジェクトが前記表示要件を満たすことを示す情報、または前記オブジェクト情報の一部を表す前記ＡＲコンテンツであって前記ＡＲサービスに合致するＡＲコンテンツ、を前記媒体画像に重畳させて前記表示手段にて前記表示装置に表示させ、
   当該オブジェクトに係るオブジェクト情報が前記利用対象者に係る表示要件を満たさないと判定されたオブジェクトに対しては前記表示要件を満たすことを示す情報および前記ＡＲコンテンツを重畳させずに当該媒体画像を前記表示手段にて前記表示装置に表示させる手段、
   として機能させることを特徴とするコンピュータプログラム。
2. 前記表示要件には検索ワードが含まれ、
   前記判定手段は、前記オブジェクト情報を前記検索ワードで検索し、前記オブジェクト情報に前記検索ワードが含まれるとき前記オブジェクトが前記表示要件を満たすと判定し、前記オブジェクト情報に前記検索ワードが含まれないとき前記オブジェクトが前記表示要件を満たさないと判定することを特徴とする請求項１記載のコンピュータプログラム。
   

Images