JP6793515B2 - コンテンツ提供システム、コンテンツサーバ、携帯端末装置、コンテンツ提供方法、及びプログラム - Google Patents

Description

本発明は、コンテンツサーバから指定した言語に対応したコンテンツを取得して携帯端末装置で再生するコンテンツ提供システム、コンテンツサーバ、携帯端末装置、コンテンツ提供方法、及びプログラムに関する。

近年、観光地等においてランドマークや名勝等の対象物の解説等を携帯端末装置で再生表示するサービスが要望される。このようなサービスにおいて対象物を携帯端末装置のカメラで撮影するだけで対象物の解説が携帯端末装置で再生できれば、使用者にとって使いやすい。

従来、携帯端末装置のカメラで対象を撮影してその画像データをサーバに送り、サーバで受領した画像データに基づいて対象に関する情報を携帯端末装置に送信して、携帯端末装置でその情報を取得するシステムがある。

特許文献１には、携帯端末装置のユーザが、付属のデジタルカメラを用いて外出先等で任意の広告を撮影し、その画像をサービスサイトのサーバへ送信し、サーバは、この入力画像情報に基づいてデータベース内の検索用画像情報を検索し、入力画像情報に一致する検索用画像情報を判別し、サーバは検索により特定された検索用画像を携帯端末装置に送信して、その検索用画像がユーザの撮影した画像であるか否かを確認し、サーバはこの確認を受けた検索用画像情報に関連付けられた付随情報（詳細情報）を携帯端末装置へ送信するものが記載されている。

また、特許文献２には、スマートフォンや携帯電話等からなる携帯端末と、携帯端末との間で無線通信を行うサーバと、サーバに接続される商品特徴量と、同じくサーバに接続される商品情報と、自動フィルタリングと、を備え、携帯端末で撮影した商品画像又はその特徴量をサーバに送信して、サーバ側で商品を特定して、その商品情報を携帯端末に送り返す備えるものが記載されている。

特開２００３−０１６０８６号公報 特開２００７−０３５０３３号公報

しかし、上述したコンテンツ配信システムに従来の技術をそのままに適用することができない。即ち、上述した従来の技術は、対象物の種類が限られている上、撮影される画像のバリエーションが少ない。これに対して求められるコンテンツ配信システムでは、対象物が極めて多岐にわたる上、端末の使用者は対象物をどの位置でどの角度から撮影するかは一定ではなく、撮影された画像から対象物を特定することが難しいからである。

また、このようなコンテンツ提供システムにおいては携帯端末装置の使用者が求める言語ごとにコンテンツを指定すると使用者の手間がかかる。即ち、コンテンツを取得して再生するに際して、取得するコンテンツの言語を携帯端末装置から指定する必要がある。このため、コンテンツ取得の際に携帯端末装置から手動で言語を指定する手順を省きたいという要望がある。

本発明は上述した課題に鑑みてなされたものであり、携帯端末装置で対象物を撮影するだけで、所望の言語に対応する対象物に対応するコンテンツを取得して再生することができるコンテンツ提供システム、携帯端末装置、コンテンツ提供方法、及びプログラムを提供することを目的とする。

前記課題を解決する請求項１に記載の発明は、複数の案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと、前記コンテンツサーバにモバイル通信又は無線通信を使用したネットワークを介して接続され、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、を備えるコンテンツ提供システムであって、前記携帯端末装置は、携帯可能で且つ所望の案内対象を撮影可能な箇所に配置でき、前記案内対象を撮影する撮影手段と、前記携帯端末装置において、表示、入力のために使用される言語が設定された言語設定部と、前記言語設定部に予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得する言語特定データ取得手段と、撮影した前記案内対象の画像データ及び前記言語特定データを送出するデータ送出手段と、前記コンテンツを再生するコンテンツ再生手段と、を備え、前記コンテンツサーバは、１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するコンテンツ格納手段と、前記携帯端末装置から送出された前記案内対象についての画像データを解析して画像の回転不変特徴ベクトルを取得する回転不変特徴ベクトル取得手段と、多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースと、前記画像の特徴点により前記案内対象特徴ベクトルデータベースを参照して前記案内対象を特定する案内対象決定手段と、前記コンテンツ格納手段から決定された前記案内対象についてのコンテンツを選択するコンテンツ選択手段と、前記コンテンツ選択手段で決定されたコンテンツと前記携帯端末装置から指定された言語に基づいて指定された言語に対応する言語別コンテンツを選択する言語別コンテンツ指定手段と、を備える、ことを特徴とする。
本発明によれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データから取得した回転不変特徴ベクトルから案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出される。
このため、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができる。
よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

同じく請求項２に記載の発明は、モバイル通信又は無線通信を介したネットワークによって携帯端末装置に接続され、格納した複数のコンテンツから前記携帯端末装置から指定されたコンテンツを前記携帯端末装置に配信するコンテンツサーバにおいて、１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するコンテンツ格納手段と、前記携帯端末装置から送出された案内対象についての画像データを解析して画像の回転不変特徴ベクトルを取得する回転不変特徴ベクトル取得手段と、多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースと、前記画像の特徴点により前記案内対象特徴ベクトルデータベースを参照して前記案内対象を特定する案内対象決定手段と、前記コンテンツ格納手段から決定された前記案内対象についてのコンテンツを選択するコンテンツ選択手段と、前記コンテンツ選択手段で決定されたコンテンツと前記携帯端末装置から指定された言語に基づいて指定された言語に対応する言語別コンテンツを選択する言語別コンテンツ指定手段と、を備える、ことを特徴とする。
本発明によれば、コンテンツサーバにおいてコンテンツ格納手段に複数のコンテンツについて複数言語に対応された言語別コンテンツを格納し、携帯端末装置にから取得された案内対象の画像データの回転不変特徴ベクトルが取得され、この特徴点に基づいて特徴点データベースから案内対象が特定され、この特定された案内対象についてコンテンツ格納手段から携帯端末装置が使用する言語で特定される言語別コンテンツが選択され、携帯端末装置に送出される。
このため、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができる。
よって、コンテンツサーバは、携帯端末装置で撮影した案内対象に基づいて携帯端末装置の使用する言語に対応した言語別コンテンツを携帯端末装置に送出できる。

同じく請求項３に記載の発明は、案内対象についての案内情報を格納した複数種のコンテンツを配信するコンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバに配信を求めるコンテンツを指定し、指定に応じて前記コンテンツサーバから配信されたコンテンツデータを取得して再生する携帯端末装置において、前記携帯端末装置において、表示、入力に使用するための言語が設定された言語設定部と、前記案内対象を撮影して画像データを出力する撮影手段と、前記携帯端末装置において前記言語設定部に予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得する言語特定データ取得手段と、前記画像データ及び前記言語特定データを、前記ネットワークを介して前記コンテンツサーバに送出する通信制御部と、を備える、ことを特徴とする。
本発明によれば、携帯端末装置では案内対象を撮影し、コンテンツサーバに画像データと携帯端末装置が使用する言語の言語特定データを送出し、コンテンツサーバから案内対象について案内を含む使用言語による言語別コンテンツを取得して再生する。
よって、携帯端末装置は、言語別の特別の設定をすることなく、案内対象を撮影するだけで携帯端末装置において使用する言語に対応した言語別コンテンツを取得して再生できる。

同じく請求項４に記載の発明は、案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと、前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記コンテンツサーバに撮影した画像データを送信し、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、を備え、前記コンテンツサーバから前記携帯端末装置にコンテンツを提供するコンテンツ提供方法において、前記コンテンツサーバが、コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、前記携帯端末装置が、前記案内対象を撮影して当該案内対象の画像データを取得するステップと、前記携帯端末装置が、前記携帯端末装置で表示、入力のために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、前記携帯端末装置が、前記コンテンツサーバに前記画像データと言語特定データとを送出するステップと、前記コンテンツサーバが、前記携帯端末装置からの画像データを解析して回転不変特徴ベクトルを取得するステップと、前記コンテンツサーバが、取得した特徴点に基づいて多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースを参照して前記案内対象を特定するステップと、前記コンテンツサーバが、特定した前記案内対象についてのコンテンツを選択するステップと、前記コンテンツサーバが、特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、前記コンテンツサーバが、前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、前記携帯端末装置が、前記コンテンツサーバから配信された前記言語別コンテンツを再生するステップと、を備えることを特徴とする。
本発明によれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データの回転不変特徴ベクトルから案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出される。
このため、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができる。
よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

同じく請求項５に記載の発明は、案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記コンテンツサーバに撮影した画像データを送信し、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、を備えるコンテンツ提供システムが実行するプログラムにおいて、前記コンテンツサーバが、コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、前記携帯端末装置が、前記案内対象を撮影して当該案内対象の画像データを取得するステップと、前記携帯端末装置が、前記携帯端末装置で表示、入力のために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、前記携帯端末装置が、前記コンテンツサーバに前記画像データと言語特定データとを送出するステップと、前記コンテンツサーバが、前記携帯端末装置からの画像データを解析して回転不変特徴ベクトルを取得するステップと、前記コンテンツサーバが、取得した回転不変特徴ベクトルに基づいて多数の対象物についての回転不変特徴ベクトルを格納した特徴点データベースを参照して前記案内対象を特定するステップと、前記コンテンツサーバが、特定した前記案内対象についてのコンテンツを選択するステップと、前記コンテンツサーバが、特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、前記コンテンツサーバが、前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、前記携帯端末装置が、前記コンテンツサーバから配信された前記言語別コンテンツを再生するステップと、を前記コンテンツサーバ及び前記携帯端末装置に実行させることを特徴とする。
本発明によれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データの回転不変特徴ベクトルから案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出される。このため、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができる。
よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

同じく請求項６に記載の発明は、案内対象についての案内情報を収納した複数種のコンテンツを格納しており、モバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象の近傍に配置された携帯端末装置から指定されたコンテンツを前記携帯端末装置に配信するコンテンツサーバが実行するプログラムにおいて、コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、前記携帯端末装置から画像データと言語特定データとを取得するステップと、画像データを解析して回転不変特徴ベクトルを取得するステップと、取得した特徴点に基づいて多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースを参照して前記案内対象を特定するステップと、特定した案内対象についてのコンテンツを選択するステップと、特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、をコンテンツサーバに実行させることを特徴とする。
本発明によれば、コンテンツサーバにおいてコンテンツ格納手段に複数のコンテンツについて複数言語に対応された言語別コンテンツを格納し、携帯端末装置にから取得された案内対象の画像データの回転不変特徴ベクトルが取得され、この特徴点に基づいて特徴点データベースから案内対象が特定され、この特定された案内対象についてコンテンツ格納手段から携帯端末装置が使用する言語で特定される言語別コンテンツが選択され、携帯端末装置に送出される。
このため、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができる。
よって、コンテンツサーバは、携帯端末装置で撮影した案内対象に基づいて携帯端末装置の使用する言語に対応した言語別コンテンツを携帯端末装置に送出できる。

同じく請求項７に記載の発明は、案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象の近傍において前記コンテンツサーバに配信を求めるコンテンツを指定し、指定に応じて前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置が実行するプログラムにおいて、前記案内対象を撮影して画像データを出力するステップと、前記携帯端末装置において、表示、入力に使用するために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、前記コンテンツサーバに前記画像データと前記言語特定データとを送出するステップと、前記携帯端末装置が、前記コンテンツサーバから配信された言語別コンテンツを再生するステップと、を前記携帯端末装置に実行させることを特徴とする。
本発明によれば、携帯端末装置では案内対象を撮影して出力し、表示、入力に使用するために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得して、画像データと言語特定データとを送出し、コンテンツサーバから案内対象について案内を含む使用言語による言語別コンテンツを取得して再生する。
よって、携帯端末装置は、言語別の特別の設定をすることなく、案内対象を撮影するだけで携帯端末装置において使用する言語に対応した言語別コンテンツを取得して再生できる。

本発明によれば、携帯端末装置で対象物を撮影するだけで、所望の言語に対応する対象物に対応するコンテンツを取得して再生することができる。

即ち、請求項１に記載のコンテンツ提供システムによれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データの回転不変特徴ベクトルから案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出されるので、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができ、よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

また、請求項２に記載のコンテンツサーバによれば、コンテンツサーバにおいてコンテンツ格納手段に複数のコンテンツについて複数言語に対応された言語別コンテンツを格納し、携帯端末装置にから取得された案内対象の画像データの回転不変特徴ベクトルが取得され、この回転不変特徴ベクトルに基づいて特徴点データベースから案内対象が特定され、この特定された案内対象についてコンテンツ格納手段から携帯端末装置が使用する言語で特定される言語別コンテンツが選択され、携帯端末装置に送出されるので、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができ、よって、コンテンツサーバは、携帯端末装置で撮影した案内対象に基づいて携帯端末装置の使用する言語に対応した言語別コンテンツを携帯端末装置に送出できる。

また、請求項３に記載の携帯端末装置によれば、携帯端末装置では案内対象を撮影し、コンテンツサーバに画像データと携帯端末装置が使用する言語の言語特定データを送出し、コンテンツサーバから案内対象について案内を含む使用言語による言語別コンテンツを取得して再生するので、携帯端末装置は、言語別の特別の設定をすることなく、案内対象を撮影するだけで携帯端末装置において使用する言語に対応した言語別コンテンツを取得して再生できる。

また、請求項４に記載のコンテンツ提供方法によれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データの回転不変特徴ベクトルから案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出されるので、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができ、よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

また、請求項５に記載のプログラムによれば、携帯端末装置の撮影手段で案内対象を撮影するだけで、携帯端末装置からコンテンツサーバに案内対象の画像データと携帯端末装置が使用する言語特定データとが送信され、コンテンツサーバでは当該画像データの特徴点から案内対象が特定され、指定された言語別コンテンツが携帯端末装置に送出されるので、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができ、よって、携帯端末装置で言語を指定するための特別の設定をすることなく、案内対象を撮影するだけで、コンテンツサーバから案内対象についての携帯端末装置が使用する言語に対応した言語別コンテンツを取得して再生できる。

また、請求項６に記載のプログラムによれば、コンテンツサーバにおいてコンテンツ格納手段に複数のコンテンツについて複数言語に対応された言語別コンテンツを格納し、携帯端末装置にから取得された案内対象の画像データの回転不変特徴ベクトルが取得され、この特徴点に基づいて特徴点データベースから案内対象が特定され、この特定された案内対象についてコンテンツ格納手段から携帯端末装置が使用する言語で特定される言語別コンテンツが選択され、携帯端末装置に送出されるので、携帯端末装置では案内対象についての所望の言語に対応する言語別コンテンツを再生することができ、よって、コンテンツサーバは、携帯端末装置で撮影した案内対象に基づいて携帯端末装置の使用する言語に対応した言語別コンテンツを携帯端末装置に送出できる。

そして、請求項７に記載のプログラムによれば、携帯端末装置では案内対象を撮影して出力し、表示、入力に使用するために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得して、画像データと言語特定データとを送出し、コンテンツサーバから案内対象について案内を含む使用言語による言語別コンテンツを取得して再生するので、携帯端末装置は、言語別の特別の設定をすることなく、案内対象を撮影するだけで携帯端末装置において使用する言語に対応した言語別コンテンツを取得して再生できる。

本発明の実施形態に係るコンテンツ提供システムの全体構成を示すブロック図である。 同コンテンツ配信システムにおける携帯端末装置の構成を示すブロック図である。 同コンテンツ提供システムにおけるコンテンツサーバの構成を示すブロック図である。 同コンテンツ提供システムにおけるコンテンツサーバのコンテンツの格納状態を示す表である。 同コンテンツ提供システムの動作を示すフローチャートである。 同コンテンツ提供システムにおける携帯端末装置での案内対象の撮影状態を示す模式図である。 同コンテンツ提供システムにおいて携帯端末装置におけるコンテンツの表示状態を示す模式図である。

本発明を実施するための形態に係るコンテンツ提供システム、コンテンツサーバ、携帯端末装置、コンテンツ提供方法、及びプログラムについて説明する。

以下本発明の実施形態に係るコンテンツ提供システムについて説明する。図１は本発明の実施形態に係るコンテンツ提供システムの全体構成を示すブロック図である。本発明の実施形態に係るコンテンツ提供システム１０は、複数台の携帯端末装置１００−１、１００−２、１００−３、…、１００−ｎをコンテンツサーバ２００にインターネット等のネットワーク２０で接続して構成されている。複数台の携帯端末装置１００−１、１００−２、１００−３、…、１００−ｎは基本的な構成を同一であるので、以下各携帯端末装置を区別せず説明するとき、単に携帯端末装置１００として説明する。

携帯端末装置１００は、例えばスマートフォン、タブレットＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）等の携帯可能且つモバイル通信又は無線通信可能な携帯端末装置である。携帯端末装置１００は、案内対象の近傍、即ち案内対象を撮影可能な箇所に配置可能である。携帯端末装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等からなる公知の構成を備え、インストールされたコンテンツ受信プログラムを処理することにより実施形態に係るコンテンツ提供方法を実行し携帯端末装置１００の機能を実現する。携帯端末装置１００は、例えばスマートフォン、タブレットＰＣ等であり、ｉＯＳ（登録商標）、ＡＮＤＲＯＩＤ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）等をＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として動作する。

図２は同コンテンツ配信システムにおける携帯端末装置の構成を示すブロック図である。携帯端末装置１００は、制御部１１０、記憶部１２０、入出力部１４０、現在位置取得手段である現在位置取得部１５０、通信制御部である送受信部１６０等を備える。

制御部１１０はＣＰＵを備えて構成され、記憶部１２０に格納された各種プログラムを実行して携帯端末装置１００全体を制御して、後述する各種機能を実現する。

記憶部１２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えて構成され、ＯＳ１２１、コンテンツ受信プログラム１３０、携帯端末装置１００をスマートフォン等として機能させる他のアプリケーション１２３を格納している。ＯＳ１２１には、携帯端末装置１００の表示、入力のために使用される言語が設定された言語設定部１２２を備えている。言語設定部１２２には、日本語、英語、中国語等、携帯端末装置１００で使用する言語が設定される。

入出力部１４０は、表示パネル１４１、タッチパネル１４２、スイッチ１４３、スピーカ１４４、マイク１４５、撮影手段であるデジタルカメラ１４６等を備える。表示パネル１４１は、液晶表示パネルや有機ＥＬパネルで構成され、画像データや映像データに基づいて画像や映像を表示する。タッチパネル１４２は表示パネル１４１に配置され、使用者の指やスタイラスペンの接触を検知する。スイッチ１４３は電源スイッチ等の機械的なスイッチや表示パネル１４１、タッチパネル１４２を用いたソフトスイッチで実現される。スピーカ１４４は、音声データに基づいて音声を出力する。マイク１４５は、音声を収集して音声データを出力する。デジタルカメラ１４６は、ＣＣＤ撮影素子やＣＭＯＳ撮影素子等を備え、画像データを出力する。

位置取得部１５０は、ＧＰＳ信号受信装置を備え、取得したＧＰＳ衛星の信号に基づいて携帯端末装置１００の緯度経度硬度等、位置情報を取得する。なお、ＧＰＳ信号によらず、無線ＬＡＮ、電話基地局の情報から携帯端末装置１００の位置を取得することができる。

送受信部１６０は、携帯端末装置１００をネットワーク２０に接続する。即ち、位置取得部１５０は、モバイル通信ネットワーク、無線通信ネットワークを介して携帯端末装置１００をネットワーク２０に接続して、コンテンツサーバ２００に接続する他、通常の電話回線への接続等を行う。

次にコンテンツ受信プログラム１３０について説明する。コンテンツ受信プログラム１３０は、制御部１１０で実行されることにより、言語特定データ取得手段を実現する言語特定データ取得部１３１、データ送出手段を実現するデータ送出部１３２、コンテンツデータ取得手段を実現するコンテンツデータ取得部１３３、コンテンツ再生手段を実現するコンテンツ再生部１３４を備える。

言語特定データ取得部１３１は制御部１１０により実行され、言語設定部１２２から携帯端末装置１００で使用する言語を特定する言語特定データを取得する。また、データ送出部１３２は、制御部１１０により実行され、言語特定データ取得部１３１で取得した言語特定データ、デジタルカメラ１４６からの画像データ、位置取得部１５０からの位置情報を送受信部１６０からネットワーク２０を介してコンテンツサーバ２００に送出する。

コンテンツデータ取得部１３３は、制御部１１０により実行されコンテンツサーバ２００から送出されたコンテンツデータを取得する。コンテンツ再生部１３４は、制御部１１０により実行され、取得したコンテンツデータのうち画像データ、映像データに基づいて画像や映像を表示パネル１４１に表示し、音声データに基づいてスピーカ１４４から音声を出力する。

次にコンテンツサーバ２００について説明する。図３は同コンテンツ提供システムにおけるコンテンツサーバの構成を示すブロック図である。コンテンツサーバ２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等からなる公知の構成を備え、アプリケーションソフトとしてインストールされたコンテンツ送出プログラムを実行することにより、以下の機能を実現する。

コンテンツサーバ２００は、制御部２１０と、記憶部２２０と、案内対象特徴ベクトルデータベース２４０と、コンテンツ格納手段であるコンテンツ格納部２５０と、通信制御部である送受信部２６０とを備える。制御部２１０は、ＣＰＵを備えるコンピューターとして公知の構成を備え、記憶部２２０に格納された各種プログラムを実行してコンテンツサーバ２００全体を制御する。

記憶部２２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備えて構成され、ＯＳ２２１、コンテンツ送出プログラム２３０、携帯端末装置１００をスマートフォン等として機能させる他のアプリケーション１２３を格納している。ＯＳ２２１として、ＬＩＮＵＸ（登録商標）、Ｗｉｎｄｏｗ（登録商標）等を使用できる。

コンテンツ送出プログラム２３０は、制御部２１０で実行されることにより実現する、回転不変特徴ベクトル取得部２３１、案内対象決定手段を実現する案内対象決定部２３２、コンテンツ選択手段を実現するコンテンツ選択部２３３、言語別コンテンツ指定手段を実現する言語別コンテンツ指定部２３４、コンテンツデータ送出手段を実現するコンテンツデータ送出部２３５を備える。

１つの案内対象についてみたとき、取得した画像は同一の対象に多様な条件、位置、角度から取得された可能性がある。このため、本実施形態に係るコンテンツ提供システムでは、取得した画像の特徴点について、回転不変性特徴ベクトルを求める。この回転不変性特徴ベクトルは、回転不変性を有する特徴量である。また、この回転不変特徴ベクトルは、例えば画像の特徴点から以下の手順で取得される。この技術は公知であり、本件特許出願人は、特許第5500400号、及び特許第5500404号において提案している。

即ち、回転不変特徴ベクトル取得部２３１は、以下の処理を行う。
（ａ）グレースケール化した画像である輝度画像に対しＦＡＳＴコーナー検出法により特徴点の輝度画像上第２座標系内座標を検出する。
（ｂ）検出された各特徴点を中心とする局所領域の輝度配向を求める。
（ｃ）輝度配向を基準として局所領域の回転不変性特徴ベクトルを求める。このとき、特徴点を中心とする第１の半径の円周上の画素のうち等画素間隔のｎ個の画素Ｐｉ、ｉ＝０〜ｎ−１の輝度Ｉ（Ｐｉ）及び特徴点を中心とする、第１の半径より大きい第２の半径の円周上の画素のうち等画素間隔のｍ≧ｎなるｍ個の画素Ｑｊ、ｊ＝０〜２ｍ−１の輝度Ｉ（Ｑｊ）を、輝度配向を基準として所定順にサンプリングさせるとともに、この順に対応した全サンプル画素の組み合わせ（Ｐｉ，Ｑｊ）のそれぞれの両画素の輝度値の差を成分とするｎｘｍ次元のベクトルを求め、ベクトルのノルムを所定値に正規化したものを、回転不変性特徴ベクトルとして求める。

即ち、制御部２１０がコンテンツ送出プログラム２３０の回転不変特徴ベクトル取得部２３１により、画像データを解析して画像中の変化点から回転不変特徴ベクトルを取得する。

案内対象決定部２３２は制御部２１０によって実行され、回転不変特徴ベクトル取得部２３１で特定した特徴点に基づいて案内対象特徴ベクトルデータベース２４０を参照して案内対象物を特定する。案内対象特徴ベクトルデータベース２４０には、案内対象となる多数の対象物についてのそれぞれの回転不変特徴ベクトルが格納されている。

案内対象決定部２３２は、回転不変特徴ベクトル取得部２３１回転不変性特徴ベクトルと案内対象特徴ベクトルデータベース２４０に格納された回転不変性特徴ベクトルとを比較して該当する案内対象を特定する。

コンテンツ選択部２３３は制御部２１０により処理されて、案内対象決定部２３２で特定された案内対象についてのコンテンツをコンテンツ格納部２５０から選択する。

コンテンツ格納部２５０は、案内情報として複数種のコンテンツ、即ちコンテンツ１〜コンテンツＮについて、日本語、英語、中国語等の予め設定された言語に対応する言語別コンテンツを収納している。図４は同コンテンツ提供システムにおけるコンテンツサーバのコンテンツの格納状態を示す表である。図４に示すように、例えばコンテンツ格納部２５０は、１種のコンテンツ１に対して日本語コンテンツ１ｊ、英語コンテンツ１ｅ、中国語コンテンツ１ｃ、…、を格納する。なお、ここでは、コンテンツは例えば施設の案内看板についてのものであり、コンテンツ１は動画である挨拶及び案内動画、コンテンツ２、３、Ｎは動画である案内動画、コンテンツ４は、静止画である案内地図、コンテンツ５は音声である案内音声としている。

そして、コンテンツデータ送出部２３５は、制御部２１０により実行されて、送受信部２６０から携帯端末装置１００に特定したコンテンツを送出する。

携帯端末装置１００で撮影した案内対象の画像データの送出から携帯端末装置１００にコンテンツを表示する処理について説明する。図５は同コンテンツ提供システムの動作を示すフローチャート、図６は同コンテンツ提供システムにおける携帯端末装置での案内対象の撮影状態を示す模式図、図７は同コンテンツ提供システムにおいて携帯端末装置におけるコンテンツの表示状態を示す模式図である。

この例では、図６に示すように携帯端末装置１００を案内対象７０として山と湖を撮影し、案内対象の説明についてのコンテンツを取得するものとして説明する。

携帯端末装置１００の使用者は、図６に示すように携帯端末装置１００のデジタルカメラ１４６で山と湖（案内対象７０）を撮影する（ステップＳＡ１）。また、携帯端末装置１００の言語特定データ取得部１３１は、言語設定部１２２から携帯端末装置１００が使用している、例えば表示や入力に使用している言語特定データを取得する（ステップＳＡ２）。この例では、携帯端末装置１００では日本語が使用されているとする。

ついで、携帯端末装置１００のデータ送出部１３２は、取得した画像データと特定された使用言語である日本語の言語特定データとを送受信部１６０からネットワーク２０経由でコンテンツサーバ２００に送信する（ステップＳＡ３）。

送出された画像データと言語特定データとは、コンテンツサーバ２００の送受信部２６０で受信され（ステップＳＢ２）、回転不変特徴ベクトル取得部２３１で回転不変特徴ベクトルが取得される（ＳＢ３）。ついで案内対象決定部２３２は、案内対象特徴ベクトルデータベース２４０を参照し（ＳＢ４）、案内対象を特定する（ステップＳＢ５）。そして、コンテンツ選択部２３３はこの案内対象に関するコンテンツをコンテンツ格納部２５０から取得する（ＳＢ５）。なお、コンテンツ格納部２５０には、複数の言語に対応するコンテンツを格納されている（ＳＢ１）。そして、言語別コンテンツ指定部２３４は、言語特定データに基づいて日本語コンテンツ１ｊを選択して取得する（ステップＳＢ６）。そして、コンテンツデータ送出部２３５は、日本語コンテンツ１ｊのデータを送受信部２６０からネットワーク２０を介して携帯端末装置１００に送出する（ステップＳＢ７）。

携帯端末装置１００では、送受信部１６０経由でコンテンツデータ取得部１３３がコンテンツデータを取得し、コンテンツ再生部１３４で再生する。この場合、携帯端末装置１００には、図６（ａ）に示すように、日本語での挨拶及び案内が動画及び音声により再生される。

ここで、携帯端末装置１００の使用言語が他の言語、例えば英語である場合には、携帯端末装置１００の言語特定データ取得部１３１で英語を特定する言語特定データが取得され、携帯端末装置１００からコンテンツサーバ２００にコンテンツ１、英語が指定され、コンテンツサーバ２００からはコンテンツ格納部２５０に格納された英語コンテンツ１ｅが選択され携帯端末装置１００に送出され（ステップＳＢ６）、携帯端末装置１００で受信される（ステップＳＡ４）。

これにより、携帯端末装置１００には、図６（ｂ）に示すように、英語コンテンツが再生される（ステップＳＡ５）。同様に、携帯端末装置１００の使用言語が中国語である場合には、携帯端末装置１００には図６（ｃ）に示すように中国語コンテンツ１ｃが再生される。

また、他の案内対象についてコンテンツを取得する場合であっても、携帯端末装置１００で案内対象を撮影するだけで、他のコンテンツ、例えば案内動画、案内音声、案内図が携帯端末装置１００の使用言語に対応した言語別コンテンツとして携帯端末装置１００で再生される。

上記例では、コンテンツは動画として説明したが、静止画、音声等、携帯端末装置１００で再生できるコンテンツであればどのようなものであってもよい。

本発明に係るコンテンツ提供システム、コンテンツサーバ、携帯端末装置、コンテンツ提供方法、及びプログラムは、携帯端末装置で対象物を撮影するだけで、所望の言語に対応する対象物に対応するコンテンツを取得して再生することができ、産業上の利用可能性がある。

１０：コンテンツ提供システム
２０：ネットワーク
１００：携帯端末装置
１１０：制御部
１２０：記憶部
１２２：言語設定部
１２３：他のアプリケーション
１３０：コンテンツ受信プログラム
１３１：言語特定データ取得部（言語特定データ取得手段）
１３２：データ送出部（データ送出手段）
１３３：コンテンツデータ取得部（コンテンツデータ取得手段）
１３４：コンテンツ再生部（コンテンツ再生手段）
１４０：入出力部
１４１：表示パネル
１４２：タッチパネル
１４３：スイッチ
１４４：スピーカ
１４５：マイク
１４６：デジタルカメラ
１５０：位置取得部
１６０：送受信部
２００：コンテンツサーバ
２１０：制御部
２２０：記憶部
２３０：コンテンツ送出プログラム
２３１：回転不変特徴ベクトル取得部

２３２：案内対象決定部（案内対象決定手段）
２３３：コンテンツ選択部（コンテンツ選択手段）
２３４：言語別コンテンツ指定部（言語別コンテンツ指定手段）
２３５：コンテンツデータ送出部（コンテンツデータ送出手段）
２４０：案内対象特徴ベクトルデータベース
２５０：コンテンツ格納部
２６０：送受信部

Claims (7)

1. 複数の案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと、
   前記コンテンツサーバにモバイル通信又は無線通信を使用したネットワークを介して接続され、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、を備えるコンテンツ提供システムであって、
   前記携帯端末装置は、携帯可能で且つ所望の案内対象を撮影可能な箇所に配置でき、
   前記案内対象を撮影する撮影手段と、
   前記携帯端末装置において、表示、入力のために使用される言語が設定された言語設定部と、
   前記言語設定部に予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得する言語特定データ取得手段と、
   撮影した前記案内対象の画像データ及び前記言語特定データを送出するデータ送出手段と、
   前記コンテンツを再生するコンテンツ再生手段と、
   を備え、
   前記コンテンツサーバは、
   １種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するコンテンツ格納手段と、
   前記携帯端末装置から送出された前記案内対象についての画像データを解析して画像の回転不変特徴ベクトルを取得する回転不変特徴ベクトル取得手段と、
   多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースと、
   前記画像の特徴点により前記案内対象特徴ベクトルデータベースを参照して前記案内対象を特定する案内対象決定手段と、
   前記コンテンツ格納手段から決定された前記案内対象についてのコンテンツを選択するコンテンツ選択手段と、
   前記コンテンツ選択手段で決定されたコンテンツと前記携帯端末装置から指定された言語に基づいて指定された言語に対応する言語別コンテンツを選択する言語別コンテンツ指定手段と、
   を備える、
   ことを特徴とするコンテンツ提供システム。
2. モバイル通信又は無線通信を介したネットワークによって携帯端末装置に接続され、格納した複数のコンテンツから前記携帯端末装置から指定されたコンテンツを前記携帯端末装置に配信するコンテンツサーバにおいて、
   １種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するコンテンツ格納手段と、
   前記携帯端末装置から送出された案内対象についての画像データを解析して画像の回転不変特徴ベクトルを取得する回転不変特徴ベクトル取得手段と、
   多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースと、
   前記画像の特徴点により前記案内対象特徴ベクトルデータベースを参照して前記案内対象を特定する案内対象決定手段と、
   前記コンテンツ格納手段から決定された前記案内対象についてのコンテンツを選択するコンテンツ選択手段と、
   前記コンテンツ選択手段で決定されたコンテンツと前記携帯端末装置から指定された言語に基づいて指定された言語に対応する言語別コンテンツを選択する言語別コンテンツ指定手段と、
   を備える、
   ことを特徴とするコンテンツサーバ。
3. 案内対象についての案内情報を格納した複数種のコンテンツを配信するコンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバに配信を求めるコンテンツを指定し、指定に応じて前記コンテンツサーバから配信されたコンテンツデータを取得して再生する携帯端末装置において、
   前記携帯端末装置において、表示、入力に使用するための言語が設定された言語設定部と、
   前記案内対象を撮影して画像データを出力する撮影手段と、
   前記携帯端末装置において前記言語設定部に予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得する言語特定データ取得手段と、
   前記画像データ及び前記言語特定データを、前記ネットワークを介して前記コンテンツサーバに送出する通信制御部と、
   を備える、
   ことを特徴とする携帯端末装置。
4. 案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと、
   前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記コンテンツサーバに撮影した画像データを送信し、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、
   を備え、前記コンテンツサーバから前記携帯端末装置にコンテンツを提供するコンテンツ提供方法において、
   前記コンテンツサーバが、コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、
   前記携帯端末装置が、前記案内対象を撮影して当該案内対象の画像データを取得するステップと、
   前記携帯端末装置が、前記携帯端末装置で表示、入力のために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、
   前記携帯端末装置が、前記コンテンツサーバに前記画像データと言語特定データとを送出するステップと、
   前記コンテンツサーバが、前記携帯端末装置からの画像データを解析して回転不変特徴ベクトルを取得するステップと、
   前記コンテンツサーバが、取得した特徴点に基づいて多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースを参照して前記案内対象を特定するステップと、
   前記コンテンツサーバが、特定した前記案内対象についてのコンテンツを選択するステップと、
   前記コンテンツサーバが、特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、
   前記コンテンツサーバが、前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、
   前記携帯端末装置が、前記コンテンツサーバから配信された前記言語別コンテンツを再生するステップと、
   を備えることを特徴とするコンテンツ提供方法。
5. 案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバと、
   前記案内対象を撮影できる箇所に配置可能であり、前記コンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記コンテンツサーバに撮影した画像データを送信し、前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置と、
   を備えるコンテンツ提供システムが実行するプログラムにおいて、
   前記コンテンツサーバが、コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、
   前記携帯端末装置が、前記案内対象を撮影して当該案内対象の画像データを取得するステップと、
   前記携帯端末装置が、前記携帯端末装置で表示、入力のために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、
   前記携帯端末装置が、前記コンテンツサーバに前記画像データと言語特定データとを送出するステップと、
   前記コンテンツサーバが、前記携帯端末装置からの画像データを解析して回転不変特徴ベクトルを取得するステップと、
   前記コンテンツサーバが、取得した回転不変特徴ベクトルに基づいて多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴点データベースを参照して前記案内対象を特定するステップと、
   前記コンテンツサーバが、特定した前記案内対象についてのコンテンツを選択するステップと、
   前記コンテンツサーバが、特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、
   前記コンテンツサーバが、前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、
   前記携帯端末装置が、前記コンテンツサーバから配信された前記言語別コンテンツを再生するステップと、
   を前記コンテンツサーバ及び前記携帯端末装置に実行させることを特徴とするプログラム。
6. 案内対象についての案内情報を収納した複数種のコンテンツを格納しており、モバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象の近傍に配置された携帯端末装置から指定されたコンテンツを前記携帯端末装置に配信するコンテンツサーバが実行するプログラムにおいて、
   コンテンツ格納手段に１種のコンテンツに対して複数の言語に対応した複数の言語別コンテンツを格納するステップと、
   前記携帯端末装置から画像データと言語特定データとを取得するステップと、
   画像データを解析して回転不変特徴ベクトルを取得するステップと、
   取得した特徴点に基づいて多数の対象物についての回転不変特徴ベクトルを格納した案内対象特徴ベクトルデータベースを参照して前記案内対象を特定するステップと、
   特定した案内対象についてのコンテンツを選択するステップと、
   特定した案内対象と前記言語特定データとに基づいて指定された言語に対応した前記言語別コンテンツを特定して取得するステップと、
   前記携帯端末装置に指定された言語に基づく前記言語別コンテンツを配信するステップと、
   をコンテンツサーバに実行させることを特徴とするプログラム。
7. 案内対象についての案内情報を収納した複数種のコンテンツを格納しており、前記複数種のコンテンツから指定されたコンテンツを配信するコンテンツサーバにモバイル通信又は無線通信によるネットワークを介して接続され、前記案内対象の近傍において前記コンテンツサーバに配信を求めるコンテンツを指定し、指定に応じて前記コンテンツサーバから配信されたコンテンツを取得して再生する携帯端末装置が実行するプログラムにおいて、
   前記案内対象を撮影して画像データを出力するステップと、
   前記携帯端末装置において、表示、入力に使用するために使用するものとして予め設定された前記携帯端末装置の使用言語を特定する言語特定データを取得するステップと、
   前記コンテンツサーバに前記画像データと前記言語特定データとを送出するステップと、
   前記携帯端末装置が、前記コンテンツサーバから配信された言語別コンテンツを再生するステップと、
   を前記携帯端末装置に実行させることを特徴とするプログラム。