JP7163989B2 - 情報処理システム、情報処理方法、及び、プログラム - Google Patents

Description

本発明は、情報の処理に関し、特に、複数の言語に関する情報を処理する情報処理装置などに関する。

近年、日本を訪れる外国人の観光客の数が増加している。外国人の観光客に対応するために、多言語に対応するシステムが望まれている。そこで、多言語に対応するシステムが、提案されている（例えば、特許文献１及び２を参照）。

特許文献１は、多言語の対応したＰｏｉｎｔ Ｏｆ Ｓｙｓｔｅｍ（ＰＯＳ）を開示している。

特許文献２は、紙を用いた日本語の冊子カタログと、データベースに作成された各国言語の仮想カタログとを用いるシステムを開示している。

また、商品を判別などの操作において、利用者にとって、文字を用いるより、画像を用いた方が、操作などが容易な場合が多い。例えば、商品を撮影する動作は、商品の文字を打ち込む操作に比べ、容易である。そこで、画像を判定する技術が広く用いられている（例えば、特許文献３及び４を参照）。

特許文献３は、画像の輪郭から商品名などの情報を提供するシステムを開示している。

特許文献４は、マーカー画像を基にクエリ画像を認識する技術を開示している。

特開２００２－２７９０４２号公報 特開２００２－３４２２６０号公報 特開２０１４－２２５２７５号公報 特開２０１４－１４２７９７号公報

上記のとおり、特許文献１及び２は、対象物に関する情報を、選択した言語を用いて出力することを開示している。

しかし、特許文献１及び２に記載の技術は、ユーザ端末が常にネットワークに接続されていること、つまりオンラインであることを前提としている。

しかし、携帯端末などの情報処理装置は、一般的にバッテリー駆動のため、電源容量に制限がある。一方、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は携帯電話通信網などを用いた通信は、一般的に、電力の消費が大きい。つまり、通信網などへの常時接続は、携帯端末などの情報処理装置において、通信における消費電力などの負荷が大きくなる。このように、特許文献１及び２の記載の技術は、オンラインを前提としているため、情報処理装置における通信の負荷が大きいという問題点があった。

特許文献３に記載の技術は、画像に含まれる対象物を判定するが、判定において常時接続を前提としている。そのため、特許文献３に記載の技術は、上記問題点を解決できない。

また、特許文献４に記載の技術は、画像の認識の技術のため、上記通信に関連する問題点を解決できない。

本発明の目的は、上記問題点を解決し、撮影した画像に含まれる対象物に関する情報を、選択した言語で出力する動作において、通信の負荷の低減を実現する情報処理装置などを提供することにある。

本発明の一形態における情報処理システムは、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得する属性取得手段と、対象物を含む第１の画像を取得する画像取得手段と、ある言語における、第１の画像に含まれる対象物及び属性を識別する属性識別手段と、属性を表示するための他の言語を受け付ける言語受付手段と、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出する属性抽出手段と、抽出された属性を出力する属性出力手段と含む。

本発明の一形態における情報処理方法は、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得し、対象物を含む第１の画像を取得し、ある言語における、第１の画像に含まれる対象物及び属性を識別し、属性を表示するための他の言語を受け付け、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出し、抽出された属性を出力する。

本発明の一形態におけるプログラムは、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得する処理と、対象物を含む第１の画像を取得する処理と、ある言語における、第１の画像に含まれる対象物及び属性を識別する処理と、属性を表示するための他の言語を受け付ける処理と、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出する処理と、抽出された属性を出力する処理とをコンピュータに実行させる。

本発明に基づけば、撮影した画像に含まれる対象物に関する情報を、選択した言語で出力する動作において、通信の負荷の低減を実現するとの効果を奏することができる。

図１は、本発明における第１の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係る物品データの一例を示す図である。 図３は、第１の実施形態に係る表示の一例を示す図である。 図４は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 図５は、第１の実施形態に係る情報処理装置の概要の一例を示すブロック図である。 図６は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

次に、図面を参照して、本発明における実施形態について説明する。

なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

＜第１の実施形態＞
以下、図面を参照して、本発明における第１の実施形態について説明する。

［構成の説明］
まず、第１の実施形態に係る情報処理装置１００の構成について、図面を参照して説明する。

図１は、第１の実施形態に係る情報処理装置１００を含む情報処理システム１０の構成の一例を示すブロック図である。情報処理システム１０は、情報処理装置１００と、保存装置２００と、通信路３００とを含む。

通信路３００は、情報処理装置１００と保存装置２００との通信を中継する。通信路３００における通信手法は、任意である。例えば、通信路３００は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は携帯電話通信網のようなネットワークでもよい。あるいは、通信路３００は、専用線のような、固定的な通信回線でもよい。そのため、通信路３００の詳細な説明を省略する。なお、通信路３００は、無線に限らず、有線でもよい。

保存装置２００は、後ほど説明する情報処理装置１００が用いるデータ（以下、「物品データ５００」と呼ぶ）を保存する。

保存装置２００は、通信部２１０と、データ保存部２２０とを含む。

データ保存部２２０は、物品データ５００を保存する。物品データ５００については、後ほど詳細に説明する。データ保存部２２０における保存手法は、任意である。例えば、データ保存部２２０は、ハードディスク装置を用いたデータベースである。

通信部２１０は、情報処理装置１００から、物品データ５００の送信の依頼を受信する。そして、通信部２１０は、依頼に対応した物品データ５００を情報処理装置１００に送信する。通信部２１０の通信手法は、通信路３００に合わせて選択される。例えば、通信路３００が無線ＬＡＮの場合、通信部２１０は、無線ＬＡＮに対応した回路又はカードを含む通信装置である。

情報処理装置１００は、以下で説明するように、画像に含まれる対象物に関連する情報として、ある言語（以下、「第１の言語」とも呼ぶ）における情報に対応して、他の言語（以下、「第２の言語」とも呼ぶ）における情報を出力する。例えば、情報処理装置１００は、画像に含まれる対象物に関連する第１の言語における属性（以下、「第１の属性」と呼ぶ）を、選択された第２の言語における属性（以下、「第２の属性」と呼ぶ）を用いて表示する。属性については、後ほど説明する。

情報処理装置１００に構成について、詳細に説明する。

情報処理装置１００は、画像取得部１１０と、属性識別部１２０と、取得指示受付部１３０と、属性取得部１４０と、言語受付部１５０と、属性抽出部１６０と、属性出力部１７０とを含む。

画像取得部１１０は、処理の対象となる対象物及び属性を含む画像（第１の画像）を取得する。画像取得部１１０は、例えば、カメラである。あるいは、画像取得部１１０は、図示しない他の装置（例えば、撮像装置）から画像を取得してもよい。

属性識別部１２０は、画像に含まれる属性を識別する。属性識別部１２０における属性の識別手法は、任意である。例えば、属性識別部１２０は、一般的な画像認識技術を用いてもよく、特許文献３に記載の技術を用いてもよい。また、属性識別部１２０における属性の識別結果の内容は、任意である。例えば、属性識別部１２０は、画像における属性（例えば、文字データ）を含む範囲を識別してもよい。あるいは、属性識別部１２０は、画像から文字データとしての属性を識別してもよい。

さらに、属性識別部１２０は、画像に含まれる対象物を識別してもよい。属性識別部１２０における対象物の識別手法は、任意である。例えば、属性識別部１２０は、一般的な画像認識技術を用いてもよく、特許文献３に記載の技術を用いてもよい。また、属性識別部１２０における対象物の識別結果の内容は、任意である。例えば、属性識別部１２０は、画像における対象物を含む範囲を識別してもよい。あるいは、属性識別部１２０は、画像認識及び所定のデータを基に対象物の名称を識別してもよい。

取得指示受付部１３０は、「物品データ５００を保存装置２００から取得する指示」を受け付ける。以下、「物品データ５００を保存装置２００から取得する指示」を単に「取得指示」と呼ぶ。

例えば、取得指示受付部１３０は、次のように動作する。ここで、取得指示受付部１３０は、表示機能と入力機能とを含むタッチパネルとする。まず、取得指示受付部１３０は、問い合わせ内容（例えば、「通信を利用してデータを取得しますか」）と、要否の入力（例えば、「Ｙｅｓボタン」及び「Ｎｏボタン」）とを表示する。そして、取得指示受付部１３０は、取得の「要」の入力（例えば、「Ｙｅｓボタン」の入力）を検出した場合に、取得指示を受けたと判定する。ただし、取得指示受付部１３０は、タッチパネルに限定されない。また、取得指示受付部１３０の動作は、上記に限定されない。

属性取得部１４０は、上記の取得指示を基に、保存装置２００から物品データ５００を取得する。

属性取得部１４０は、物品データ５００を取得するときに、保存装置２００との通信を確立する。つまり、情報処理装置１００は、取得指示を基に通信を確立し、必要なデータを取得する。

属性取得部１４０は、物品データ５００を取得後、通信を切断する。属性取得部１４０における通信の切断手法は、任意である。例えば、属性取得部１４０は、物品データ５００を取得後、所定の時間を経過した場合に、通信を切断してもよい。あるいは、属性取得部１４０は、物品データ５００を取得後、直ちに通信を切断してもよい。あるいは、属性取得部１４０は、利用者の指示を基に、通信を切断してもよい。

さらに、属性取得部１４０は、取得した物品データ５００を保存してもよい。そのため、属性取得部１４０は、物品データ５００を記憶する属性記憶部１４１を含んでもよい。属性記憶部１４１は、例えば、ハードディスク装置又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。あるいは、属性記憶部１４１は、不揮発性のメモリ（例えば、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））でもよい。

ただし、属性記憶部１４１は、属性取得部１４０に含まれる必要はない。例えば、属性記憶部１４１は、属性取得部１４０の外部の構成でもよい。

図２は、第１の実施形態に係る物品データ５００の一例を示す図である。

図２に示されている物品データ５００は、識別子と、画像と、複数の言語に対応した属性とを含む。

「識別子」とは、物品を一意に区別するための情報である。

「画像」とは、物品の画像（第２の画像）である。属性識別部１２０及び／又は属性抽出部１６０は、必要に応じて、物品の画像を用いて動作する。なお、物品データ５００は、複数の画像を含んでもよい。

「属性」とは、各物品に関連する情報である。より詳細には、属性とは、物品に関連する特徴、性質、状態、量、又は時間に関連する情報である。例えば、属性は、物品の名称、材料、価格、又は日付である。ただし、属性は、上記に限定されない。さらに、属性は、複数の言語それぞれに対応した単語、熟語、節、文、又は、文章である。このように、本実施形態に係る物品データ５００は、複数の言語それぞれに対応した属性を含む。属性は、文字データに限定されない。例えば、属性は、音声データを含んでもよい。

図２に示す物品データ５００は、言語の例として、第１国（日本）の言語（日本語）、第２国（アメリカ）の言語（英語）、及び、第３国（中国）の言語（中国語）などを含む。ただし、情報処理装置１００が用いる物品データ５００は、属性に用いられる言語、言語の数、及び、言語の保存の順番などを制限されない。

なお、情報処理装置１００は、用いられる国及び言語を限定されない。例えば、情報処理装置１００は、図２における第１国（日本）ないし第３国（中国）などのいずれの国で用いられてもよい。

ただし、以下の説明では、説明の便宜のため、図２における第１国が、情報処理装置１００が用いられている国であるとする。つまり、以下の説明では、画像取得部１１０が取得した画像に含まれる対象物の属性は、図２の第１国（日本）の言語（日本語）とする。つまり、以下の説明において、第１の言語（ある言語）は、日本語であるとして説明する。

なお、属性取得部１４０は、全ての物品データ５００ではなく、一部の物品データ５００を取得してもよい。

例えば、属性識別部１２０が対象物を識別している場合、属性取得部１４０は、全ての物品データ５００ではなく、対象物に関連する物品データ５００を取得してもよい。例えば、属性識別部１２０が対象物をサンドイッチと識別している場合、属性取得部１４０は、物品データ５００の中から、サンドイッチのデータを取得してもよい。

ただし、対象物に関連する物品データ５００は、対象物の物品データ５００に限られない。例えば、属性取得部１４０は、対象物を含む種類に対応した物品データ５００を取得して。「種類」とは、対象物を含む物品などの上位概念である。例えば、属性識別部１２０が対象物を「サンドイッチ」を識別し、対象物の種類が「調理パン」の場合、属性取得部１４０は、調理パンに関連する物品データ５００を取得してもよい。

あるいは、情報処理装置１００は、位置情報又は所定の条件を基に、取得する物品データ５００を選択してもよい。例えば、情報処理装置１００は、位置情報を基に、近隣の店舗の商品に関する物品データ５００を取得してもよい。あるいは、情報処理装置１００は、所定の条件として、店舗の関する条件を用いてもよい。例えば、情報処理装置１００は、所定の店舗又は所定の系列の店舗に関連する物品データ５００を取得してもよい。この場合、情報処理装置１００は、所定の条件（例えば、店舗名）に関連する情報（例えば、「ＡＡ店の商品の情報を表示します」）を表示してもよい。このように、情報処理装置１００は、所定の商品又は店舗に対応した物品データ５００を用いてもよい。

なお、位置を検出する場合、情報処理装置１００は、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）のような位置検出部（図示せず）を含めばよい。

このように、属性取得部１４０が物品データ５００の一部を取得する場合、情報処理装置１００は、全ての物品データ５００を取得する場合に比べ、取得するデータ量を削減できる。そのため、情報処理装置１００は、さらに通信の負荷を低減できる。

言語受付部１５０は、属性抽出部１６０が抽出する対象物の属性の言語（第２の言語）を受け付ける。

例えば、言語受付部１５０は、利用者が選択した言語を受け付ける。この場合、言語受付部１５０は、例えば、次のように動作する。ここで、言語受付部１５０は、タッチパネルとする。まず、言語受付部１５０は、属性を表示するための言語として、複数の言語を表示する。そして、言語受付部１５０は、表示している言語において、利用者などの接触を検出した位置に表示している言語を、選択された言語として受け付ける。ただし、言語受付部１５０は、タッチパネルに限定されない。また、言語受付部１５０の動作は、上記に限定されない。

なお、属性取得部１４０が物品データ５００を取得済みの場合、言語受付部１５０は、取得済みの物品データ５００に含まれる属性の言語を用いてもよい。例えば、言語受付部１５０は、取得済み物品データ５００に含まれる属性の言語を抽出する。そして、言語受付部１５０は、抽出した言語の中から言語を選択するように、選択用の言語を表示する。そして、言語受付部１５０は、表示した言語の中から選択された言語を取得する。

属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別したある言語（第１の言語）の属性（第１の属性）を検索する。そして、属性抽出部１６０は、検索した属性（第１の属性）に対応する、言語受付部１５０が受け付けた他の言語（第２の言語）に対応した属性（第２の属性）を抽出する。

ただし、属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別した対象物を検索してもよい。この場合、例えば、属性抽出部１６０は、次のように動作する。属性抽出部１６０は、物品データ５００において対象物に関連する属性を抽出する。そして、属性抽出部１６０は、抽出した属性において、属性識別部１２０が識別した対象物に関連する属性（第１の属性）を検索する。そして、属性抽出部１６０は、検索した属性（第１の属性）に対応する、言語受付部１５０が受け付けた言語に対応した属性（第２の属性）を抽出する。

対象物に対応して各国の属性の用語が異なる場合がある。例えば、日本語の「原材料」に相当する英語は、食品では「ｓｔｕｆｆ」であり、機械では「ｍａｔｅｒｉａｌ」となる場合がある。属性抽出部１６０は、上記のような対象物に関連する動作を含むと、対象物に対応して各国の属性の用語が異なる場合にも適切な動作を実現できる。

ただし、属性の併記を利用するなどして、各言語における全ての属性が一意に決定される場合、属性抽出部１６０は、対象物の検索を省略できる。このように、属性識別部１２０は、対象物を識別しなくてもよい。

図２を参照して、属性抽出部１６０の動作を詳細に説明する。以下の説明は、第１国（日本）での動作とする。さらに、言語受付部１５０は、選択された言語として、第２国（アメリカ）の言語（英語）を受け付けているとする。そして、属性識別部１２０は、対象物の画像の範囲として、図２の識別子００００１の画像（サンドイッチの画像）に対応する画像の範囲を識別したとする。さらに、属性識別部１２０は、その属性として「パン粉（日本語）」と識別したとする。この場合、属性抽出部１６０は、第１の属性として、物品データ５００における識別子００００１の「パン粉（日本語）」を検索する。そして、属性抽出部１６０は、第２の属性として、「パン粉（日本語）」に対応する、「Ｂｒｅａｄ ｃｒｕｍｂ（英語）」を抽出する。

なお、属性抽出部１６０は、属性の抽出の順番を制限されない。属性抽出部１６０は、まず、属性取得部１４０が取得した物品データ５００において、情報処理装置１００が用いられている国の属性と、言語受付部１５０が受け付けた言語の属性とを抽出してもよい。そして、属性抽出部１６０は、抽出した属性の中から、属性識別部１２０が識別した属性（第１の属性）に対応した属性（第２の属性）を抽出してもよい。

なお、取得済みの物品データ５００の中に対象物に関連する属性がない場合、情報処理装置１００は、以下の動作の実行せずに、動作を終了する。

ただし、情報処理装置１００の動作は、上記の動作に限定されない。例えば、情報処理装置１００は、属性がない場合、図示しない表示器に「属性がないこと」及び／又は「画像の再取得」を表示して、利用者などに画像の再取得を依頼してもよい。

属性出力部１７０は、属性抽出部１６０が抽出した属性（第２の属性）を出力する。例えば、属性出力部１７０は、画像取得部１１０が取得した画像における属性（第１の属性）に関連付けて、属性抽出部１６０が抽出した属性（第２の属性）を表示してもよい。

図３は、属性出力部１７０における表示の一例を示す図である。図３は、日本語（第１国の言語）の属性(第１の属性)の表示に重ねて、英語（第２国の言語）の属性（第２の属性）を表示した例である。図３において、英語（第２国の言語）における属性は、破線に囲まれている。例えば、図３の上部右側には、日本語の属性「食パン（日本語）」に対応した英語の属性「Ｂｒｅａｄ（英語）」が表示されている。なお、図３の属性の表示位置などは、一例である。情報処理装置１００において、属性の表示位置及び方法などは、任意である。さらに、情報処理装置１００は、利用者の指示を基に、属性の表示位置を変更してもよい。

あるいは、属性出力部１７０は、図示しない外部の装置に属性を出力してもよい。この場合、属性出力部１７０は、通信路３００を介した通信手段（例えば、ＬＡＮカード）を含んでもよい。

［動作の説明］
次に、図面を参照して、第１の実施形態に係る情報処理装置１００の動作について説明する。

図４は、情報処理装置１００の動作の一例を示すフローチャートである。

取得指示受付部１３０が、利用者などから物品データ５００の取得指示を受け付けると、属性取得部１４０は、その取得指示を基に、保存装置２００との通信の接続を確立する（ステップＳ４０１）。

通信が確立すると、属性取得部１４０は、保存装置２００から物品データ５００を取得する（ステップＳ４０２）。属性取得部１４０は、物品データ５００を取得後、通信を切断する。

属性取得部１４０は、取得した物品データ５００を属性記憶部１４１に保存する（ステップＳ４０３）。

画像取得部１１０は、利用者などを操作に基づいて、対象物を含む画像を取得する（ステップＳ４０４）。なお、画像は、対象物の画像（例えば、全体像、又は、外形など）及び対象物の属性を含む。

属性識別部１２０は、画像に含まれる属性を識別する（ステップＳ４０５）。例えば、属性識別部１２０は、画像において、属性を含む画像領域を識別する。ただし、属性識別部１２０の動作は、上記の動作に限定されない。例えば、属性識別部１２０は、画像に含まれる属性の文字データを識別してもよい。

属性識別部１２０は、画像に含まれる対象物を識別してもよい。

なお、ここまでの説明では、取得指示受付部１３０の動作の後に、画像取得部１１０が動作するとして説明した。しかし、取得指示受付部１３０と画像取得部１１０との動作の順番は、上記に限られない。まず、画像取得部１１０及び属性識別部１２０が動作してもよい。それから、取得指示受付部１３０及び属性取得部１４０が動作してもよい。

例えば、情報処理装置１００は、画像を取得してから、物品データ５００を取得してもよい。この場合、例えば、属性識別部１２０が、属性又は対象物を識別し、識別後に取得指示受付部１３０に、取得指示を送信してもよい。このように、属性取得部１４０は、取得指示受付部１３０における取得指示の受付の代わりとして、属性識別部１２０における識別の完了を用いてもよい。この場合、情報処理装置１００は、取得指示受付部１３０における取得指示の受付を省略してもよい。さらに、この場合、情報処理装置１００は、取得指示受付部１３０を含まなくてもよい。

あるいは、情報処理装置１００は、画像取得部１１０及び属性識別部１２０の動作と、取得指示受付部１３０及び属性取得部１４０の動作とを、一部又は全部において、並列に実行してもよい。

属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別した属性（第１の属性）があるか否かを判定する（ステップＳ４０６）。

ただし、画像取得部１１０が取得する画像において、属性を識別できない場合がある。そこで、属性がない場合（ステップＳ４０６でＮｏ）、情報処理装置１００は、利用者などに画像の再取得を促してもよい。図４は、点線を用いて、この場合の動作を示している。この場合、情報処理装置１００は、図示しない表示器に、画像を再取得するメッセージ（例えば、「再度、画像に撮影してください」）を表示してもよい。

なお、属性識別部１２０が対象物の識別する場合、属性抽出部１６０は、属性の判定の前に、物品データ５００に対象物があるか否かを判定してもよい。

具体的には、属性抽出部１６０は、物品データ５００において、対象物を検索する。

例えば、属性識別部１２０が対象物として画像領域を識別する場合、属性抽出部１６０は、物品データ５００に含まれる画像において、識別された画像領域に含まれる画像と一致する画像を検索する。ただし、画像取得部１１０が取得する画像は、誤差を含む場合がある。あるいは、画像取得部１１０が取得する画像は、物品データ５００に含まれる画像と、対象物に対する撮影角度及び距離が異なる場合がある。そのため、属性抽出部１６０は、一致の判定として、完全な一致ではなく、ある程度の差異を含む場合においても一致と判定することが望ましい。

あるいは、属性識別部１２０が対象物の名称を識別する場合、属性抽出部１６０は、物品データ５００に含まれる名称（例えば、「調理パン」又は「サンドイッチ」）において、対象物の名称と一致する名称を検索する。

対象物がない場合、情報処理装置１００は、処理を終了する。なお、この際、情報処理装置１００は、対象物がないことを表示してもよい。例えば、情報処理装置１００は、図示しない表示器に「画像に関連するデータが見つかりません」と表示する。

ただし、取得した画像と物品データ５００における画像とにおいて撮影角度及び／又は対象物との距離などが異なる場合、取得した画像を用いた一致判定が難しい場合がある。そこで、対象物がない場合、情報処理装置１００は、属性がない場合と同様に、利用者などに画像の再取得を促してもよい。

対象物がある場合、情報処理装置１００は、ステップＳ４０６を実行する。つまり、情報処理装置１００は、属性があるか否かを判定する（ステップＳ４０６）。

属性がある場合（ステップＳ４０６でＹｅｓ）、言語受付部１５０は、属性の表示に用いる言語を取得する（ステップＳ４０７）。例えば、言語受付部１５０は、図示しない表示機器に、利用者が選択できる言語の一覧を表示し、利用者が選択した言語を取得する。この際、言語受付部１５０は、取得した対象物の画像又は名称を表示してもよい。

属性抽出部１６０は、物品データ５００から選択された言語における属性を抽出する（ステップＳ４０８）。

そして、属性出力部１７０は、抽出された属性を出力する（ステップＳ４０９）。例えば、属性出力部１７０は、取得した画像における対象物の画像及び対象物の属性と、抽出した属性とを表示機器（図示せず）に表示する。

なお、ここまでの説明では、言語受付部１５０は、属性識別部１２０などの動作の後に、動作している。しかし、言語受付部１５０の動作は、上記に限定されない。例えば、言語受付部１５０は、予め、言語を受け付けて、保存してもよい。

上記の動作の結果、情報処理装置１００は、取得した画像に含まれる対象物に対応して、利用者などが選択した言語の属性を出力できる。

［効果の説明］
次に、第１の実施形態に係る情報処理装置１００の効果について説明する。

情報処理装置１００は、撮影した画像に含まれる対象物に関する情報（例えば、属性）を、選択した言語を用いて出力する動作において、通信の負荷を低減するとの効果を奏することができる。

その理由は、次のとおりである。

属性取得部１４０が、複数の言語における物品の属性を含む物品データ５００を取得する。画像取得部１１０が、対象物に関連する属性を含む第１の画像を取得する。属性識別部１２０が、ある言語における、第１の画像に含まれる属性を識別する。言語受付部１５０が、属性を表示するための他の言語を受け付ける。属性抽出部１６０が、物品データ５００において、識別されたある言語における属性に関連する、他の言語における属性を抽出する。属性出力部１７０が、抽出された属性を出力する。

このように、属性抽出部１６０は、画像取得部１１０が取得した画像において、属性識別部１２０が識別した画像に含まれる対象物に関する属性を、言語受付部１５０が受け付けた選択された言語を用いて、物品データ５００から抽出する。そして、属性出力部１７０が、抽出した属性を出力する。

ただし、属性取得部１４０は、上記動作に用いる物品データ５００を、所定の指示、又は処理に対応して通信を確立して取得する。そのため、情報処理装置１００は、常時の接続を必要としない。そのため、情報処理装置１００は、通信の負荷を低減するとの効果を奏することができる。

属性取得部１４０が物品データ５００を取得するタイミングは、任意である。例えば、属性取得部１４０は、取得指示受付部１３０が受け付けた取得指示を基に、物品データ５００を取得してもよい。このように、属性取得部１４０は、属性の識別とは非同期に、物品データ５００を取得してもよい。

あるいは、属性取得部１４０は、属性識別部１２０における属性又は対象物の識別に対応した取得指示を基に、物品データ５００を取得してもよい。このように、属性取得部１４０は、属性の識別と同期して、物品データ５００を取得してもよい。

さらに、属性取得部１４０は、取得した物品データ５００を、属性記憶部１４１に保存してもよい。

情報処理装置１００は、予め、物品データ５００を取得して保存しておくと、属性の表示をオフラインで動作できるとの効果を奏することができる。

さらに、情報処理装置１００は、画像を用いて属性（及び対象物）を識別する。

そのため、例えば、情報処理装置１００は、外国人などのように対象物の名称を読むことができない利用者に対しても、対象物に関する属性を出力することができる。

なお、属性は、対象物の名称を含んでもよい。そこで、情報処理装置１００は、対象物の名称を表示してもよい。この場合、情報処理装置１００は、画像から対象物の名称を出力できるため、外国人などのように対象物の名称を読むことができない利用者に対して、対象物の名称を出力できる。

また、情報処理装置１００の属性取得部１４０は、対象物又は対象物の種類に関連する物品データ５００を取得することができる。この場合、情報処理装置１００は、全ての物品データ５００を取得する場合に比べ、取得するデータ量を削減できる。そのため、情報処理装置１００は、さらに通信の負荷を低減できるとの効果を奏する。

［実施形態の概要］
図面を参照して、第１の実施形態の概要について説明する。

図５は、第１の実施形態の概要である情報処理装置１０１の構成の一例を示すブロック図である。

情報処理装置１０１は、画像取得部１１０と、属性識別部１２０と、属性取得部１４０と、言語受付部１５０と、属性抽出部１６０と、属性出力部１７０とを含む。

情報処理装置１０１は、図示しない通信路３００に相当する構成を介して、図示しない保存装置２００に相当する装置と接続され、図１に示されている情報処理装置１００と同様に動作する。

情報処理装置１０１の各構成は、次のように動作する。

属性取得部１４０が、複数の言語における物品の属性を含む物品データ５００を取得する。画像取得部１１０が、対象物に関連する属性を含む第１の画像を取得する。属性識別部１２０が、ある言語における、第１の画像に含まれる属性を識別する。言語受付部１５０が、属性を表示するための他の言語を受け付ける。属性抽出部１６０が、物品データ５００において、識別されたある言語における属性に関連する、他の言語における属性を抽出する。属性出力部１７０が、抽出された属性を出力する。

上記構成を基に、情報処理装置１０１は、図１に示されている情報処理装置１００と同様の効果を得ることができる。

その理由は、上記のとおり、情報処理装置１０１の各構成が、情報処理装置１００の各構成と同様に動作するためである。

なお、図４の情報処理装置１０１は、本発明の実施形態における最小構成である。

［ハードウェア構成］
次に、図面を参照して、情報処理装置１００及び情報処理装置１０１のハードウェア構成について、情報処理装置１００を用いて説明する。

例えば、情報処理装置１００の各構成部は、ハードウェア回路で構成されてもよい。

また、情報処理装置１００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。

また、情報処理装置１００において、複数の構成部は、１つのハードウェアで構成されてもよい。

また、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置１００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。

図６は、情報処理装置１００のハードウェア構成の一例である情報処理装置６００の構成を示すブロック図である。

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、入力機器６６０と、表示機器６７０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。各構成は、バス６５０を介して接続されている。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、入力機器６６０と、表示機器６７０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている情報処理装置１００としての各機能を実現する。各機能とは、画像取得部１１０と、属性識別部１２０と、言語受付部１５０と、取得指示受付部１３０と、属性取得部１４０と、属性抽出部１６０と、属性出力部１７０としての機能である。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ－ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ－ＲＯＭ）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ－ＲＡＭ（Ｄｙｎａｍｉｃ－ＲＡＭ）である。

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。内部記憶装置６４０は、属性記憶部１４１として動作してもよい。内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）の記憶媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、取得指示受付部１３０、画像取得部１１０、及び／又は、言語受付部１５０として動作してもよい。入力機器６６０は、例えば、キーボード、マウス、又は、カメラである。

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、属性出力部１７０として動作してもよい。表示機器６７０は、例えば、液晶ディスプレイである。

なお、入力機器６６０及び表示機器６７０は、一つの装置で構成されてもよい。例えば、入力機器６６０と表示機器６７０は、入力機能と表示機能とを含むタッチパネルでもよい。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、属性取得部１４０として動作してもよい。ＮＩＣ６８０は、例えば、無線ＬＡＮカード又は携帯電話網への無線通信アダプタである。さらに、ＮＩＣ６８０は、無線に限らず、有線を用いてもよい。

このように構成された情報処理装置６００は、情報処理装置１００と同様の効果を得ることができる。

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置１００と同様の機能を実現できるためである。

なお、保存装置２００が、図６に示されているコンピュータを用いて構成されてもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、外国人の観光客が多い施設、例えば、ホテル又はレストランなどの宿泊施設において利用可能である。あるいは、本発明は、飲食店、サービス業、コンビニ、スーパー、又は、デパートなどの販売店において利用可能である。

１０ 情報処理システム
１００ 情報処理装置
１０１ 情報処理装置
１１０ 画像取得部
１２０ 属性識別部
１３０ 取得指示受付部
１４０ 属性取得部
１４１ 属性記憶部
１５０ 言語受付部
１６０ 属性抽出部
１７０ 属性出力部
２００ 保存装置
２１０ 通信部
２２０ データ保存部
３００ 通信路
５００ 物品データ
６００ 情報処理装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ バス
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記憶媒体

Claims (9)

1. 対象物を含む第１の画像を取得する画像取得手段と、
   ある言語における、前記第１の画像に含まれる前記対象物及び属性を識別する属性識別手段と、
   位置情報および識別された前記属性に基づき、特定店舗および前記対象物を含む種類に対応した物品データを取得する属性取得手段と、
   前記属性を表示するための他の言語を受け付ける言語受付手段と、
   前記物品データに基づき、識別された前記ある言語の前記属性に対応する、前記他の言語の前記属性を抽出する属性抽出手段と、
   抽出された前記属性を出力する属性出力手段と
   を含み、
   前記物品データは、複数の言語における物品の前記属性を含むデータである
   情報処理システム。
2. 前記属性取得手段が、
   取得した前記物品データを保存する
   請求項１に記載の情報処理システム。
3. 前記属性識別手段が、
   前記対象物を識別し、
   前記属性抽出手段が、
   識別された前記対象物に関連する前記属性を抽出する
   請求項１又は２に記載の情報処理システム。
4. 前記物品データが、前記物品に関する第２の画像を含み、
   前記属性識別手段が、
   前記第２の画像を用いて前記対象物を識別する
   請求項３に記載の情報処理システム。
5. 前記物品データを取得する取得指示を受け付ける取得指示受付手段をさらに含み、
   前記属性取得手段が前記取得指示を基に前記物品データの取得する
   請求項１ないし４のいずれか１項に記載の情報処理システム。
6. 前記属性識別手段が、
   前記属性の識別後、前記属性取得手段に前記物品データの取得を指示する
   請求項１ないし４のいずれか１項に記載の情報処理システム。
7. 前記属性出力手段が、
   前記第１の画像に含まれる前記属性と抽出された前記属性とを関連付けて出力する
   請求項１ないし６のいずれか１項に記載の情報処理システム。
8. 情報処理装置が、
   対象物を含む第１の画像を取得し、
   ある言語における、前記第１の画像に含まれる前記対象物及び属性を識別し、
   位置情報および識別された前記属性に基づき、特定店舗および前記対象物を含む種類に対応した物品データを取得し、
   前記属性を表示するための他の言語を受け付け、
   前記物品データに基づき、識別された前記ある言語の前記属性に対応する、前記他の言語の前記属性を抽出し、
   抽出された前記属性を出力し、
   前記物品データは、複数の言語における物品の前記属性を含むデータである
   情報処理方法。
9. 対象物を含む第１の画像を取得する処理と、
   ある言語における、前記第１の画像に含まれる前記対象物及び属性を識別する処理と、
   位置情報および識別された前記属性に基づき、特定店舗および前記対象物を含む種類に対応した物品データを取得する処理と、
   前記属性を表示するための他の言語を受け付ける処理と、
   前記物品データに基づき、識別された前記ある言語の前記属性に対応する、前記他の言語の前記属性を抽出する処理と、
   抽出された前記属性を出力する処理と
   をコンピュータに実行させ、
   前記物品データは、複数の言語における物品の前記属性を含むデータである
   プログラム。

Images