JP3898440B2 - 情報提供システム - Google Patents
情報提供システム Download PDFInfo
- Publication number
- JP3898440B2 JP3898440B2 JP2000391333A JP2000391333A JP3898440B2 JP 3898440 B2 JP3898440 B2 JP 3898440B2 JP 2000391333 A JP2000391333 A JP 2000391333A JP 2000391333 A JP2000391333 A JP 2000391333A JP 3898440 B2 JP3898440 B2 JP 3898440B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- mobile terminal
- data
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、情報提供システムに関し、より詳細には、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供システムに関する。
【０００２】
【従来の技術】
近年、移動端末を使用してインターネットに接続し、外出先で様々な情報を、ＷＷＷ（World Wide Web）などの情報提供システムから入手することができる。一方、ＧＰＳ（Global Positioning System）を利用して、位置情報を取得することのできる機器が普及している。そこで、移動端末から情報提供システムに対して、移動端末の位置情報を通知することにより、位置情報に関連付けられた情報を迅速に入手することができる。
【０００３】
また、ＣＣＤ（Charge Coupled Device）カメラの普及により、移動端末のような小型の機器にも、画像情報を取りこみ、記憶することが可能となった。さらに、デジタル画像処理によって、取りこんだ画像を画像データとして、通信ネットワークを介して送ることが容易に行える。
【０００４】
【発明が解決しようとする課題】
しかしながら、移動端末の位置情報に関連付けられた情報を入手することができても、ユーザが必要とする目標の情報、例えば、移動端末の位置から見える店舗の情報などの限定された情報を入手するには、さらに、情報の選定または目標の設定といった操作が必要であるという問題があった。
【０００５】
特に、目標の設定においては、具体的な店舗の名称が不明で、抽象的な施設名称などによって特定する場合には、情報の関連付けが難しいという問題もあった。
【０００６】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供システムを提供することにある。
【００１４】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項１に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、文字情報を入力する文字入力手段と、前記位置情報と前記画像情報と前記文字情報とを前記情報提供サーバに送信する送信手段とを備え、前記情報提供サーバは、前記位置情報と前記画像情報と前記文字情報とを前記移動端末から受信する受信手段と、該受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記受信手段で受信した前記文字情報の意味内容の解釈を行う解釈手段と、前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする。
この構成によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの目標を文字で入力し、これに基づいてデータベースを検索するので、ユーザの要求に合った提供情報を送信することができる。
【００１５】
請求項２に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、音声を入力する音声入力手段と、前記位置情報と前記画像情報と前記音声とを前記情報提供サーバに送信する送信手段とを備え、前記情報提供サーバは、前記位置情報と前記画像情報と前記音声とを前記移動端末から受信する受信手段と、音声認識辞書を使用して、前記受信手段で受信した前記音声の意味内容を認識する音声認識手段と、前記受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記音声認識手段で認識された前記意味内容の解釈を行う解釈手段と、前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする。
この構成によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの要求に合った提供情報を送信することができる。また、ユーザの目標を音声で入力することができるので、文字入力の手間を省くことができる。
【００１６】
請求項３に記載の発明は、請求項１または２において、前記照合データは、特定の文字列であり、前記照合手段は、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする。
【００１７】
この構成によれば、既知の文字列に基づいて、画像情報から文字認識を行うので、迅速で精度の高い文字認識を行うことができる。
【００１８】
請求項４に記載の発明は、請求項１または２において、前記照合データは、特定の画像であり、前記照合手段は、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする。
【００１９】
この構成によれば、画像情報のパターン・マッチングを行うので、照合データは、文字に限らず、ロゴや絵柄などを用いることができる。
【００２４】
請求項５に記載の発明は、請求項２に記載の前記音声認識手段は、前記受信手段で受信した前記位置情報に基づいて、前記音声認識辞書の検索範囲を限定し、前記検索手段で検索された１または複数の提供情報に基づいて、前記音声の意味内容を認識する評価の重み係数を変更することを特徴とする。
【００２７】
請求項６に記載の発明は、請求項１ないし５のいずれか１項に記載の前記情報送信手段は、前記受信手段で受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする。
【００２９】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００３０】
図１は、本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。情報処理システムは、移動機２０と処理センタ３０とを接続する無線通信網１０と、処理センタ３０と無線通信網１０とを接続するデータ中継装置１１とから構成されている。無線通信網１０は、例えば、ＰＤＣ（Personal Digital Cellular）網、無線パケット交換網またはIMT-2000（International Mobile Telecommunication - 2000）などの呼称で知られる通信網である。
【００３１】
移動機２０は、無線通信網１０と接続され、無線リンクの確立を行う無線通信部２９と、無線通信部２９を介して音声を送信するための音声入力部２７および音声送信部２２とを有している。また、画像などのデータの送受信を行うためのデータ送受信部２１が、無線通信部２９に接続されている。データ送受信部２１には、文字を送信するための文字入力部２６と、画像を送信するための撮像部２４および画像変換部２３と、受信した画像を表示する表示部２８とが接続されている。さらに、位置情報を取得する測位部２５が、データ送受信部２１と無線通信部２９とに接続されている。
【００３２】
本実施形態では、移動機２０の内部に撮像部２４を有するが、移動機２０と撮像部２４とを別の筐体とし、撮像部２４として移動機２０の画像変換部２３と通信可能なカメラを用いた構成としてもよい。
【００３３】
このような構成により、撮像部２４で撮影された画像は、画像変換部２３で伝送に適したフォーマットに変換される。変換された画像データは、データ送受信部２１と、無線通信部２９と、データ中継装置１１とを介して処理センタ３０に送られる。
【００３４】
また、ユーザは、ユーザが求める情報や目標に関連するデータ（以下、目標データという。）を、文字入力部２６から入力する。入力された目標データは、データ送受信部２１と、無線通信部２９と、データ中継装置１１とを介して処理センタ３０に送られる。
【００３５】
さらに、ユーザは、音声によっても目標データを設定することができ、音声入力部２７で入力された音声は、音声送信部２２と、無線通信部２９と、無線通信網１０とを介して処理センタ３０に送られる。
【００３６】
一方、処理センタ３０は、無線通信網１０と接続され、移動機２０からの音声を受信する音声受信部３２と、データ中継装置１１と接続され、画像などのデータの送受信を行うためのデータ送受信部３１とを有している。また、受信した画像データの変換を行う画像変換部３３と、変換された画像から広告物データの照合を行う広告物データ照合部３５と、受信したデータから、広告物データの検索を行う広告物データ検索部３４とを有している。さらに、受信した音声の音声認識を行う音声認識部３７と、データ送受信部３１からのデータおよび音声認識部３７からのデータの意味を解析する意味解析部３８とを有している。
【００３７】
また、処理センタ３０は、音声認識を行うための音声認識辞書３９と、意味解析を行うための意味解析辞書４０と、地図が格納された地図データベース４１と、広告物データが格納された広告物データベース３６とを備えている。
【００３８】
このような構成により、移動機２０で取得された画像データは、無線通信網１０とデータ中継装置１１とを介して、データ送受信部３１により受信し、画像変換部３３で元のフォーマットに変換される。変換された画像データは、広告物データ照合部３５において、広告物データ検索部３４で検索された広告物データと照合される。
【００３９】
また、移動機２０において、ユーザが、目標データを文字により入力した場合には、文字データをデータ送受信部３１により受信する。ユーザが、目標データを音声により入力した場合には、音声を音声受信部３２により受信する。受信した音声は、音声認識部３７により音声認識辞書３９を用いて音声認識処理がなされる。音声認識部３７により認識処理されたデータおよび入力した文字データは、意味解析部３８により意味解析辞書４０を用いてデータの意味が解析される。
【００４０】
意味解釈の結果は、データ送受信部３１に送信され、データ中継装置１１と無線通信網１０とを介して移動機２０に送られる。意味解釈の結果は、移動機２０の表示部２８に表示され、ユーザが目標データとして使用する。
【００４１】
さらに、移動機２０によって取得された測位データを、データ送受信部３１により受信する。広告物データ検索部３４は、測位データに基づいて、広告物データベース３６から移動機２０の位置に近辺の広告物データを検索する。移動機２０より、目標データが入力されている場合には、目標データに基づいて、広告物データベース３６を検索する。
【００４２】
ここで、広告物とは、常時または一定の期間継続し、かつ、公衆に表示されるものである。本発明における広告は、宣伝以外の目的で掲示されている標識や名称表示も含めて考えることができる。
【００４３】
図２は、本発明の一実施形態にかかる情報処理方法を示したフローチャートである。ユーザが移動機の位置と撮影した広告物から情報を得る場合について説明する。最初に、移動機２０は、測位部２５で測位処理を行って位置情報を得て（Ｓ２１）、処理センタ３０へ送信する（Ｓ２６）。測位処理は、例えば、ＧＰＳを利用する方法、IMT-2000において基地局から送信される時刻コードを利用する方法、または、ＰＨＳ（Personal Handy-phone System）における位置情報サービスを利用する方法などを利用することができる。
【００４４】
また、移動機２０は、撮像部２４で撮影された（Ｓ２２）画像を、画像変換部２３で伝送に適したフォーマットに変換し（Ｓ２３）、処理センタ３０へ送信する（Ｓ２６）。画像は、動画であっても静止画であってもよく、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などのデジタル画像圧縮技術を利用して変換される。
【００４５】
さらに、ユーザは、目標データを、文字入力部２６から入力し（Ｓ２４）、または、目標データを音声によって音声入力部２７から入力し（Ｓ２５）、処理センタ３０へ送信する（Ｓ２６）。なお、Ｓ２１からＳ２６までの順序は問わず、移動機２０により実行される。
【００４６】
処理センタ３０は、移動機２０から画像データを受信すると（Ｓ２７）、画像変換部３３で元のフォーマットに変換する（Ｓ２８）。移動機２０から測位データを受信すると（Ｓ２７）、広告物データ検索部３４における広告物の検索に用いられる。また、必要に応じて、音声認識部３７における音声認識処理や意味解析部３８における意味解析に用いられる。
【００４７】
処理センタ３０は、移動機２０から音声を受信すると（Ｓ２７）、音声認識部３７において音声認識処理を行う（Ｓ３０）。音声認識処理は、必要に応じて、移動機２０の測位データを利用して、音声認識辞書３９の範囲を限定して実行する。従って、音声認識辞書３９に格納された情報は、緯度・経度、エリアまたは地物の名称が併せて記述されたジオコーディングデータと対応付けを行っておく。音声認識辞書３９に格納された情報の距離範囲は、移動機２０から予め設定しておく。また、後述する意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。音声認識処理は、例えば、ＨＭＭ（Hidden Markov Models）やＤＰ（Dynamic Programming）などの音声認識アルゴリズムを用いることができる。
【００４８】
さらに、広告物データベース３６を併せて参照することにより、音声認識処理における評価の重み係数を変更する。例えば、一般的な地図データに記載されている地物の名称とは異なる情報として、時節を表わす情報を付加して、音声認識処理における評価に重み係数を加えることができる。また、広告物データベース３６に格納された広告物データに含まれる単語を付加して、重み係数を加えることもできる。
【００４９】
音声認識部３７で認識された音声、および移動機２０から受信した（Ｓ２７）文字データは、意味解析辞書４０を使用して、意味解析部３８によりデータの意味が解析される（Ｓ３１）。意味解析の結果、複数の候補があれば、処理センタ３０は、移動機２０の表示部２８に選択画面を表示して、ユーザの目標データにより近い意味解析結果の選択を促す（Ｓ３２）。選択画面を表示する際には、移動機２０の測位データを用いて、距離の近い順番に意味解析結果を並び替えて表示してもよい。
【００５０】
また、意味解析の結果、候補が１つであれば、選択表示画面は、ユーザの承認を促し、承認がえられれば、広告物データベースの検索を行う。意味解析処理は、必要に応じて、移動機２０の測位データを利用して、意味解析辞書４０の範囲を限定して実行する。さらに、意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。
【００５１】
処理センタ３０は、測位データと、ユーザからの文字または音声により入力された目標データとを用いることにより、広告物データベース３６から、移動機２０付近の、ユーザが求める情報や目標に沿う広告物を検索する（Ｓ２９）。処理センタ３０は、検索された広告物と、ユーザが撮影した画像データとを照合する（Ｓ３３）。
【００５２】
図３は、検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。広告物データベース３６から検索された広告物に含まれる文字列を抽出する。ここでは、「市場」という文字列を抽出している。この文字列を、ユーザの撮影した画像データから検出を試みる。画像データから文字を検出するアルゴリズムは、画像データの中から文字領域を検出する段階と、検出された文字領域から文字認識を行う段階とに分けて行われる。探す文字列が既知であることから、文字認識の段階でも辞書を限定することができる。また、文字領域を検出する段階においても、既知の文字列から特徴を抽出することにより、検出範囲を限定することができる。
【００５３】
また、広告物データベース３６から検索された広告物に含まれる特徴的部分を利用して照合する方法について説明する。広告物データベース３６に登録されている特徴部分のデータ毎のヒストグラムと、画像データ全体のヒストグラムとを、画像データを任意に分割して切り出した領域ごとに算出したヒストグラムを用いて比較する。
【００５４】
なお、撮影画像の場合には、カメラのズーム比率や対象までの距離などのスケールが未知であるため、撮影した画像データを単独で用いるのではなく、何段階かの縮尺によって、拡大・縮小しながら多重解像度画像を生成して比較する。
【００５５】
図４は、広告物データベースの作成手順を説明するための図である。汎用コンピュータなどを入力端末４２として、広告物データベース３６に情報を格納する。広告物データベース３６の管理者によって撮影された画像、またはインターネットを経由して入手した広告主の画像データなど任意の画像から、広告として認められる領域を切り出して格納する。図４は、「市場」という文字列を含む看板部分を切り出して指定したものである。切り出した画像データは、特徴的部分ごとに分解されて、それぞれヒストグラムを作成する。画像データ全体と、特徴的部分とのヒストグラムを計算して格納する。
【００５６】
また、データ送受信部３１と広告物データベース３６とに接続された広告物データ登録部（図示しない）を備え、移動機２０によって撮影された画像を、無線通信網１０を介して、広告物データベース３６に格納することもできる。このようにして、ユーザから提供される画像データを登録し、さらにユーザから入力される文字や音声の情報を付加情報として活用することもできる。
【００５７】
広告物データベース３６には、画像データのほか位置情報と付加情報とを格納する。位置情報は、画像データを取得した位置を、ＧＰＳなどで測位したデータや住所として、広告物データベース３６に入力される。付加情報は、広告主などが提供する情報であり、予め意味解析を行い、広告物データベース３６の検索段階における計算コストを下げることができる。
【００５８】
図５は、本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。ユーザが街角の情景を撮影することによって得られる画像データと、広告物データベース３６に格納された情報とを照合して、その情景に含まれる広告物を検出し、検出した広告に関する情報を広告物データベース３６から移動機２０に送信する。移動機２０の表示部２８に表示されている画像データには、検出した広告に関する情報が重畳して表示され、ユーザは、容易に店舗や場所の情報を確認することができる。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、移動機から送られた位置情報および画像情報に関連する情報を選択して提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。
【図２】本発明の一実施形態にかかる情報処理方法を示したフローチャートである。
【図３】検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。
【図４】広告物データベースの作成手順を説明するための図である。
【図５】本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。
【符号の説明】
１０ 無線通信網
１１ データ中継装置
２０ 移動機
２１，３１ データ送受信部
２２ 音声送信部
２３，３３ 画像変換部
２４ 撮像部
２５ 測位部
２６ 文字入力部
２７ 音声入力部
２８ 表示部
２９ 無線通信部
３０ 処理センタ
３２ 音声受信部
３４ 広告物データ検索部
３５ 広告物データ照合部
３６ 広告物データベース
３７ 音声認識部
３８ 意味解析部
３９ 音声認識辞書
４０ 意味解析辞書
４１ 地図データベース
４２ 入力端末
【発明の属する技術分野】
本発明は、情報提供システムに関し、より詳細には、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供システムに関する。
【０００２】
【従来の技術】
近年、移動端末を使用してインターネットに接続し、外出先で様々な情報を、ＷＷＷ（World Wide Web）などの情報提供システムから入手することができる。一方、ＧＰＳ（Global Positioning System）を利用して、位置情報を取得することのできる機器が普及している。そこで、移動端末から情報提供システムに対して、移動端末の位置情報を通知することにより、位置情報に関連付けられた情報を迅速に入手することができる。
【０００３】
また、ＣＣＤ（Charge Coupled Device）カメラの普及により、移動端末のような小型の機器にも、画像情報を取りこみ、記憶することが可能となった。さらに、デジタル画像処理によって、取りこんだ画像を画像データとして、通信ネットワークを介して送ることが容易に行える。
【０００４】
【発明が解決しようとする課題】
しかしながら、移動端末の位置情報に関連付けられた情報を入手することができても、ユーザが必要とする目標の情報、例えば、移動端末の位置から見える店舗の情報などの限定された情報を入手するには、さらに、情報の選定または目標の設定といった操作が必要であるという問題があった。
【０００５】
特に、目標の設定においては、具体的な店舗の名称が不明で、抽象的な施設名称などによって特定する場合には、情報の関連付けが難しいという問題もあった。
【０００６】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、移動機から送られた位置情報および画像情報に関連する情報を選択して提供する情報提供システムを提供することにある。
【００１４】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項１に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、文字情報を入力する文字入力手段と、前記位置情報と前記画像情報と前記文字情報とを前記情報提供サーバに送信する送信手段とを備え、前記情報提供サーバは、前記位置情報と前記画像情報と前記文字情報とを前記移動端末から受信する受信手段と、該受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記受信手段で受信した前記文字情報の意味内容の解釈を行う解釈手段と、前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする。
この構成によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの目標を文字で入力し、これに基づいてデータベースを検索するので、ユーザの要求に合った提供情報を送信することができる。
【００１５】
請求項２に記載の発明は、移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、前記移動端末は、該移動端末の位置情報を取得する測位手段と、外界の情景を撮像して画像情報を取得する撮像手段と、音声を入力する音声入力手段と、前記位置情報と前記画像情報と前記音声とを前記情報提供サーバに送信する送信手段とを備え、前記情報提供サーバは、前記位置情報と前記画像情報と前記音声とを前記移動端末から受信する受信手段と、音声認識辞書を使用して、前記受信手段で受信した前記音声の意味内容を認識する音声認識手段と、前記受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記音声認識手段で認識された前記意味内容の解釈を行う解釈手段と、前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段とを備えたことを特徴とする。
この構成によれば、位置情報によってデータベースを限定して検索できるので、画像情報の照合を迅速に行うことができ、かつ、ユーザの要求に合った提供情報を送信することができる。また、ユーザの目標を音声で入力することができるので、文字入力の手間を省くことができる。
【００１６】
請求項３に記載の発明は、請求項１または２において、前記照合データは、特定の文字列であり、前記照合手段は、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする。
【００１７】
この構成によれば、既知の文字列に基づいて、画像情報から文字認識を行うので、迅速で精度の高い文字認識を行うことができる。
【００１８】
請求項４に記載の発明は、請求項１または２において、前記照合データは、特定の画像であり、前記照合手段は、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする。
【００１９】
この構成によれば、画像情報のパターン・マッチングを行うので、照合データは、文字に限らず、ロゴや絵柄などを用いることができる。
【００２４】
請求項５に記載の発明は、請求項２に記載の前記音声認識手段は、前記受信手段で受信した前記位置情報に基づいて、前記音声認識辞書の検索範囲を限定し、前記検索手段で検索された１または複数の提供情報に基づいて、前記音声の意味内容を認識する評価の重み係数を変更することを特徴とする。
【００２７】
請求項６に記載の発明は、請求項１ないし５のいずれか１項に記載の前記情報送信手段は、前記受信手段で受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする。
【００２９】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００３０】
図１は、本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。情報処理システムは、移動機２０と処理センタ３０とを接続する無線通信網１０と、処理センタ３０と無線通信網１０とを接続するデータ中継装置１１とから構成されている。無線通信網１０は、例えば、ＰＤＣ（Personal Digital Cellular）網、無線パケット交換網またはIMT-2000（International Mobile Telecommunication - 2000）などの呼称で知られる通信網である。
【００３１】
移動機２０は、無線通信網１０と接続され、無線リンクの確立を行う無線通信部２９と、無線通信部２９を介して音声を送信するための音声入力部２７および音声送信部２２とを有している。また、画像などのデータの送受信を行うためのデータ送受信部２１が、無線通信部２９に接続されている。データ送受信部２１には、文字を送信するための文字入力部２６と、画像を送信するための撮像部２４および画像変換部２３と、受信した画像を表示する表示部２８とが接続されている。さらに、位置情報を取得する測位部２５が、データ送受信部２１と無線通信部２９とに接続されている。
【００３２】
本実施形態では、移動機２０の内部に撮像部２４を有するが、移動機２０と撮像部２４とを別の筐体とし、撮像部２４として移動機２０の画像変換部２３と通信可能なカメラを用いた構成としてもよい。
【００３３】
このような構成により、撮像部２４で撮影された画像は、画像変換部２３で伝送に適したフォーマットに変換される。変換された画像データは、データ送受信部２１と、無線通信部２９と、データ中継装置１１とを介して処理センタ３０に送られる。
【００３４】
また、ユーザは、ユーザが求める情報や目標に関連するデータ（以下、目標データという。）を、文字入力部２６から入力する。入力された目標データは、データ送受信部２１と、無線通信部２９と、データ中継装置１１とを介して処理センタ３０に送られる。
【００３５】
さらに、ユーザは、音声によっても目標データを設定することができ、音声入力部２７で入力された音声は、音声送信部２２と、無線通信部２９と、無線通信網１０とを介して処理センタ３０に送られる。
【００３６】
一方、処理センタ３０は、無線通信網１０と接続され、移動機２０からの音声を受信する音声受信部３２と、データ中継装置１１と接続され、画像などのデータの送受信を行うためのデータ送受信部３１とを有している。また、受信した画像データの変換を行う画像変換部３３と、変換された画像から広告物データの照合を行う広告物データ照合部３５と、受信したデータから、広告物データの検索を行う広告物データ検索部３４とを有している。さらに、受信した音声の音声認識を行う音声認識部３７と、データ送受信部３１からのデータおよび音声認識部３７からのデータの意味を解析する意味解析部３８とを有している。
【００３７】
また、処理センタ３０は、音声認識を行うための音声認識辞書３９と、意味解析を行うための意味解析辞書４０と、地図が格納された地図データベース４１と、広告物データが格納された広告物データベース３６とを備えている。
【００３８】
このような構成により、移動機２０で取得された画像データは、無線通信網１０とデータ中継装置１１とを介して、データ送受信部３１により受信し、画像変換部３３で元のフォーマットに変換される。変換された画像データは、広告物データ照合部３５において、広告物データ検索部３４で検索された広告物データと照合される。
【００３９】
また、移動機２０において、ユーザが、目標データを文字により入力した場合には、文字データをデータ送受信部３１により受信する。ユーザが、目標データを音声により入力した場合には、音声を音声受信部３２により受信する。受信した音声は、音声認識部３７により音声認識辞書３９を用いて音声認識処理がなされる。音声認識部３７により認識処理されたデータおよび入力した文字データは、意味解析部３８により意味解析辞書４０を用いてデータの意味が解析される。
【００４０】
意味解釈の結果は、データ送受信部３１に送信され、データ中継装置１１と無線通信網１０とを介して移動機２０に送られる。意味解釈の結果は、移動機２０の表示部２８に表示され、ユーザが目標データとして使用する。
【００４１】
さらに、移動機２０によって取得された測位データを、データ送受信部３１により受信する。広告物データ検索部３４は、測位データに基づいて、広告物データベース３６から移動機２０の位置に近辺の広告物データを検索する。移動機２０より、目標データが入力されている場合には、目標データに基づいて、広告物データベース３６を検索する。
【００４２】
ここで、広告物とは、常時または一定の期間継続し、かつ、公衆に表示されるものである。本発明における広告は、宣伝以外の目的で掲示されている標識や名称表示も含めて考えることができる。
【００４３】
図２は、本発明の一実施形態にかかる情報処理方法を示したフローチャートである。ユーザが移動機の位置と撮影した広告物から情報を得る場合について説明する。最初に、移動機２０は、測位部２５で測位処理を行って位置情報を得て（Ｓ２１）、処理センタ３０へ送信する（Ｓ２６）。測位処理は、例えば、ＧＰＳを利用する方法、IMT-2000において基地局から送信される時刻コードを利用する方法、または、ＰＨＳ（Personal Handy-phone System）における位置情報サービスを利用する方法などを利用することができる。
【００４４】
また、移動機２０は、撮像部２４で撮影された（Ｓ２２）画像を、画像変換部２３で伝送に適したフォーマットに変換し（Ｓ２３）、処理センタ３０へ送信する（Ｓ２６）。画像は、動画であっても静止画であってもよく、例えば、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などのデジタル画像圧縮技術を利用して変換される。
【００４５】
さらに、ユーザは、目標データを、文字入力部２６から入力し（Ｓ２４）、または、目標データを音声によって音声入力部２７から入力し（Ｓ２５）、処理センタ３０へ送信する（Ｓ２６）。なお、Ｓ２１からＳ２６までの順序は問わず、移動機２０により実行される。
【００４６】
処理センタ３０は、移動機２０から画像データを受信すると（Ｓ２７）、画像変換部３３で元のフォーマットに変換する（Ｓ２８）。移動機２０から測位データを受信すると（Ｓ２７）、広告物データ検索部３４における広告物の検索に用いられる。また、必要に応じて、音声認識部３７における音声認識処理や意味解析部３８における意味解析に用いられる。
【００４７】
処理センタ３０は、移動機２０から音声を受信すると（Ｓ２７）、音声認識部３７において音声認識処理を行う（Ｓ３０）。音声認識処理は、必要に応じて、移動機２０の測位データを利用して、音声認識辞書３９の範囲を限定して実行する。従って、音声認識辞書３９に格納された情報は、緯度・経度、エリアまたは地物の名称が併せて記述されたジオコーディングデータと対応付けを行っておく。音声認識辞書３９に格納された情報の距離範囲は、移動機２０から予め設定しておく。また、後述する意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。音声認識処理は、例えば、ＨＭＭ（Hidden Markov Models）やＤＰ（Dynamic Programming）などの音声認識アルゴリズムを用いることができる。
【００４８】
さらに、広告物データベース３６を併せて参照することにより、音声認識処理における評価の重み係数を変更する。例えば、一般的な地図データに記載されている地物の名称とは異なる情報として、時節を表わす情報を付加して、音声認識処理における評価に重み係数を加えることができる。また、広告物データベース３６に格納された広告物データに含まれる単語を付加して、重み係数を加えることもできる。
【００４９】
音声認識部３７で認識された音声、および移動機２０から受信した（Ｓ２７）文字データは、意味解析辞書４０を使用して、意味解析部３８によりデータの意味が解析される（Ｓ３１）。意味解析の結果、複数の候補があれば、処理センタ３０は、移動機２０の表示部２８に選択画面を表示して、ユーザの目標データにより近い意味解析結果の選択を促す（Ｓ３２）。選択画面を表示する際には、移動機２０の測位データを用いて、距離の近い順番に意味解析結果を並び替えて表示してもよい。
【００５０】
また、意味解析の結果、候補が１つであれば、選択表示画面は、ユーザの承認を促し、承認がえられれば、広告物データベースの検索を行う。意味解析処理は、必要に応じて、移動機２０の測位データを利用して、意味解析辞書４０の範囲を限定して実行する。さらに、意味解析処理によって、目標の範囲が判明する場合には、判明した範囲に限定することもできる。
【００５１】
処理センタ３０は、測位データと、ユーザからの文字または音声により入力された目標データとを用いることにより、広告物データベース３６から、移動機２０付近の、ユーザが求める情報や目標に沿う広告物を検索する（Ｓ２９）。処理センタ３０は、検索された広告物と、ユーザが撮影した画像データとを照合する（Ｓ３３）。
【００５２】
図３は、検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。広告物データベース３６から検索された広告物に含まれる文字列を抽出する。ここでは、「市場」という文字列を抽出している。この文字列を、ユーザの撮影した画像データから検出を試みる。画像データから文字を検出するアルゴリズムは、画像データの中から文字領域を検出する段階と、検出された文字領域から文字認識を行う段階とに分けて行われる。探す文字列が既知であることから、文字認識の段階でも辞書を限定することができる。また、文字領域を検出する段階においても、既知の文字列から特徴を抽出することにより、検出範囲を限定することができる。
【００５３】
また、広告物データベース３６から検索された広告物に含まれる特徴的部分を利用して照合する方法について説明する。広告物データベース３６に登録されている特徴部分のデータ毎のヒストグラムと、画像データ全体のヒストグラムとを、画像データを任意に分割して切り出した領域ごとに算出したヒストグラムを用いて比較する。
【００５４】
なお、撮影画像の場合には、カメラのズーム比率や対象までの距離などのスケールが未知であるため、撮影した画像データを単独で用いるのではなく、何段階かの縮尺によって、拡大・縮小しながら多重解像度画像を生成して比較する。
【００５５】
図４は、広告物データベースの作成手順を説明するための図である。汎用コンピュータなどを入力端末４２として、広告物データベース３６に情報を格納する。広告物データベース３６の管理者によって撮影された画像、またはインターネットを経由して入手した広告主の画像データなど任意の画像から、広告として認められる領域を切り出して格納する。図４は、「市場」という文字列を含む看板部分を切り出して指定したものである。切り出した画像データは、特徴的部分ごとに分解されて、それぞれヒストグラムを作成する。画像データ全体と、特徴的部分とのヒストグラムを計算して格納する。
【００５６】
また、データ送受信部３１と広告物データベース３６とに接続された広告物データ登録部（図示しない）を備え、移動機２０によって撮影された画像を、無線通信網１０を介して、広告物データベース３６に格納することもできる。このようにして、ユーザから提供される画像データを登録し、さらにユーザから入力される文字や音声の情報を付加情報として活用することもできる。
【００５７】
広告物データベース３６には、画像データのほか位置情報と付加情報とを格納する。位置情報は、画像データを取得した位置を、ＧＰＳなどで測位したデータや住所として、広告物データベース３６に入力される。付加情報は、広告主などが提供する情報であり、予め意味解析を行い、広告物データベース３６の検索段階における計算コストを下げることができる。
【００５８】
図５は、本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。ユーザが街角の情景を撮影することによって得られる画像データと、広告物データベース３６に格納された情報とを照合して、その情景に含まれる広告物を検出し、検出した広告に関する情報を広告物データベース３６から移動機２０に送信する。移動機２０の表示部２８に表示されている画像データには、検出した広告に関する情報が重畳して表示され、ユーザは、容易に店舗や場所の情報を確認することができる。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、移動機から送られた位置情報および画像情報に関連する情報を選択して提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる情報処理システムの構成を示したブロック図である。
【図２】本発明の一実施形態にかかる情報処理方法を示したフローチャートである。
【図３】検索された広告物とユーザが撮影した画像データとを照合する方法を説明するための図である。
【図４】広告物データベースの作成手順を説明するための図である。
【図５】本発明の一実施形態にかかる情報処理システムの利用方法を説明するための図である。
【符号の説明】
１０ 無線通信網
１１ データ中継装置
２０ 移動機
２１，３１ データ送受信部
２２ 音声送信部
２３，３３ 画像変換部
２４ 撮像部
２５ 測位部
２６ 文字入力部
２７ 音声入力部
２８ 表示部
２９ 無線通信部
３０ 処理センタ
３２ 音声受信部
３４ 広告物データ検索部
３５ 広告物データ照合部
３６ 広告物データベース
３７ 音声認識部
３８ 意味解析部
３９ 音声認識辞書
４０ 意味解析辞書
４１ 地図データベース
４２ 入力端末
Claims (6)
- 移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、
前記移動端末は、
該移動端末の位置情報を取得する測位手段と、
外界の情景を撮像して画像情報を取得する撮像手段と、
文字情報を入力する文字入力手段と、
前記位置情報と前記画像情報と前記文字情報とを前記情報提供サーバに送信する送信手段とを備え、
前記情報提供サーバは、
前記位置情報と前記画像情報と前記文字情報とを前記移動端末から受信する受信手段と、
該受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記受信手段で受信した前記文字情報の意味内容の解釈を行う解釈手段と、
前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、
該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、
該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段と
を備えたことを特徴とする情報提供システム。 - 移動端末と情報提供サーバとを接続する通信ネットワークを介して、データベースに格納された提供情報を、前記情報提供サーバから前記移動端末に提供する情報提供システムにおいて、
前記移動端末は、
該移動端末の位置情報を取得する測位手段と、
外界の情景を撮像して画像情報を取得する撮像手段と、
音声を入力する音声入力手段と、
前記位置情報と前記画像情報と前記音声とを前記情報提供サーバに送信する送信手段とを備え、
前記情報提供サーバは、
前記位置情報と前記画像情報と前記音声とを前記移動端末から受信する受信手段と、
音声認識辞書を使用して、前記受信手段で受信した前記音声の意味内容を認識する音声認識手段と、
前記受信手段で受信した前記位置情報に基づいて、意味解析辞書の検索範囲を限定して使用し、前記音声認識手段で認識された前記意味内容の解釈を行う解釈手段と、
前記受信手段で受信した前記位置情報と、前記解釈手段で解釈された前記意味内容とに基づいて、前記データベースに格納された前記位置情報と前記意味内容とを含む前記提供情報を検索する検索手段と、
該検索手段で検索された１または複数の提供情報に含まれる照合データと、前記受信手段で受信した前記画像情報に含まれる照合データとを照合する照合手段と、
該照合手段で照合データが一致する前記提供情報を、前記移動端末に送信する情報送信手段と
を備えたことを特徴とする情報提供システム。 - 前記照合データは、特定の文字列であり、
前記照合手段は、前記画像情報から文字列領域を検出し、該文字列領域に前記特定の文字列が含まれるか否かの文字認識を行って照合することを特徴とする請求項１または２に記載の情報提供システム。 - 前記照合データは、特定の画像であり、
前記照合手段は、前記特定の画像のヒストグラムと、前記画像情報全体のヒストグラムとを、前記画像情報を任意に分割して切り出した領域ごとに算出したヒストグラムを用いて照合することを特徴とする請求項１または２に記載の情報提供システム。 - 前記音声認識手段は、前記受信手段で受信した前記位置情報に基づいて、前記音声認識辞書の検索範囲を限定し、前記検索手段で検索された１または複数の提供情報に基づいて、前記音声の意味内容を認識する評価の重み係数を変更することを特徴とする請求項２に記載の情報提供システム。
- 前記情報送信手段は、前記受信手段で受信した前記位置情報に基づいて、前記移動端末に近い位置情報を有する前記提供情報から順番に並び替えて送信することを特徴とする請求項１ないし５のいずれか１項に記載の情報提供システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000391333A JP3898440B2 (ja) | 2000-12-22 | 2000-12-22 | 情報提供システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000391333A JP3898440B2 (ja) | 2000-12-22 | 2000-12-22 | 情報提供システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197103A JP2002197103A (ja) | 2002-07-12 |
| JP3898440B2 true JP3898440B2 (ja) | 2007-03-28 |
Family
ID=18857495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000391333A Expired - Fee Related JP3898440B2 (ja) | 2000-12-22 | 2000-12-22 | 情報提供システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3898440B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
| US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
| US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
| JP2004213238A (ja) * | 2002-12-27 | 2004-07-29 | Japan Tobacco Inc | 広告調査システム |
| JP5576589B2 (ja) * | 2007-11-29 | 2014-08-20 | オリンパス株式会社 | 画像判定システム |
| JP5140027B2 (ja) * | 2009-03-26 | 2013-02-06 | 株式会社デンソーアイティーラボラトリ | 情報提供装置、情報提供方法およびプログラム |
| TW201322034A (zh) * | 2011-11-23 | 2013-06-01 | Inst Information Industry | 結合搜尋引擎服務的廣告播放系統及方法 |
| JP6776284B2 (ja) * | 2018-01-22 | 2020-10-28 | ヤフー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
| US10853844B2 (en) * | 2018-11-27 | 2020-12-01 | Toyota Motor North America, Inc. | Combining image recognition with data analytics to generate shopping suggestions for a driver |
-
2000
- 2000-12-22 JP JP2000391333A patent/JP3898440B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002197103A (ja) | 2002-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4591353B2 (ja) | 文字認識装置、移動通信システム、移動端末装置、固定局装置、文字認識方法および文字認識プログラム | |
| CN105318881B (zh) | 地图导航方法、装置及系统 | |
| CN105517679B (zh) | 用户地理位置的确定 | |
| US6055536A (en) | Information processing apparatus and information processing method | |
| US20120027301A1 (en) | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search | |
| KR100533033B1 (ko) | 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법 | |
| US20110096992A1 (en) | Method, apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects | |
| US20100077003A1 (en) | Image recognition device and image recognition method | |
| US20080039120A1 (en) | Visual inputs for navigation | |
| JP3898440B2 (ja) | 情報提供システム | |
| KR20080033538A (ko) | 인터넷 및 다른 검색 엔진들을 위한 검색 기준으로서이미지-유도된 정보의 사용 | |
| CN101802824A (zh) | 用于提供视觉搜索接口的方法、装置和计算机程序产品 | |
| US20100130236A1 (en) | Location assisted word completion | |
| CN101287214A (zh) | 通过移动终端获取信息并应用的方法和系统 | |
| JP2002132610A (ja) | 位置情報履歴蓄積方法 | |
| CN111339976B (zh) | 室内定位方法、装置、终端及存储介质 | |
| KR102149914B1 (ko) | 클라우드 소싱 기반 관심 지점 정보 업데이트 방법, 및 이를 위한 장치 | |
| JP2000331006A (ja) | 情報検索装置 | |
| KR20060134337A (ko) | 위치기반 이미지패턴 검색 서비스 방법 | |
| JP2001134595A (ja) | 地理情報システム | |
| WO2003102816A1 (fr) | Systeme fournisseur de donnees | |
| JP2005004782A (ja) | 情報処理システム、情報処理装置および情報処理方法、並びに携帯型情報端末装置 | |
| JP2002169823A (ja) | データベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体、データベース検索方法およびデータベース検索装置 | |
| EP4131057A1 (en) | Information processing device and information processing method | |
| JP4978810B2 (ja) | 端末装置、情報配信装置、情報配信システムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061204 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3898440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |