JP5067216B2 - Information providing system, inquiry server device, information providing method, computer program - Google Patents
Information providing system, inquiry server device, information providing method, computer program Download PDFInfo
- Publication number
- JP5067216B2 JP5067216B2 JP2008067864A JP2008067864A JP5067216B2 JP 5067216 B2 JP5067216 B2 JP 5067216B2 JP 2008067864 A JP2008067864 A JP 2008067864A JP 2008067864 A JP2008067864 A JP 2008067864A JP 5067216 B2 JP5067216 B2 JP 5067216B2
- Authority
- JP
- Japan
- Prior art keywords
- server device
- image
- information providing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000012795 verification Methods 0.000 claims description 40
- 230000005540 biological transmission Effects 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Facsimiles In General (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、画像を用いて検索した情報(たとえば、キャンペーン情報)を、携帯端末装置(たとえば、携帯電話)に提供する情報提供システム、問合せサーバ装置、情報提供方法、コンピュータプログラム、に関するものである。 The present invention, information retrieved using an image (e.g., campaign information), the mobile terminal device (e.g., mobile phone) information providing system for providing the, querying the server device, an information providing method, in which a computer program, about the is there.
従来から、携帯電話用WEBサイトへ手軽にアクセスさせる方法として、画像認識技術を利用した誘導サービスがある。この誘導サービスでは、携帯電話で撮影した画像に応じて、WEBサイトで提供するサービスの内容を変えることができる。
本発明は特に、キャンペーン対象物の撮影画像を用いてキャンペーンへの参加を募るときに有用である。
Conventionally, there is a guidance service using image recognition technology as a method for easily accessing a mobile phone WEB site. In this guidance service, the content of the service provided on the WEB site can be changed according to the image taken by the mobile phone.
The present invention is particularly useful when recruiting for a campaign using a photographed image of a campaign object.
携帯電話を用いる画像認識技術には、たとえば次のようなものがある。
《1.二次元コード》
二次元コードを携帯電話で撮影して、埋め込まれた情報を取り出してその情報を利用する技術がある。
たとえば、特許文献1では、求人情報誌の二次元コードを、携帯電話で撮影して、URLを復号して、インターネットの該当サイトに接続して、求人情報や求職情報を取得させる技術が開示されている。
《2.対象物》
主催者が用意した対象物を撮影した画像を携帯電話で撮影して、その画像を画像認識して認識結果を利用する技術がある。
たとえば、非特許文献1では、携帯電話の利用者が、携帯電話に設定された専用アプリケーションプログラムを使って画像をカメラ撮影すると、専用アプリケーションプログラムによって接続された画像マッチングサーバから撮影画像にマッチングした結果を受け取り、これを、携帯電話に表示させる技術が開示されている。
<< 1. Two-dimensional code
There is a technique in which a two-dimensional code is photographed with a mobile phone, embedded information is taken out, and the information is used.
For example,
<< 2. Object"
There is a technique in which an image obtained by photographing an object prepared by an organizer is photographed with a mobile phone, the image is recognized, and a recognition result is used.
For example, in Non-Patent
ところで、特許文献1の技術では、対象物に二次元コードを印刷するために、美観が損なわれるという不具合があった。
また、非特許文献1の技術では、撮影画像から特徴データを求めて画像認識WEBサイトに送信するための専用アプリケーションプログラムを、事前に、携帯電話に登録させていた。そのために、プログラムのダウンロードやインストール作業の手間を要するという欠点があった。
また、非特許文献1の技術では、複数の異なる画像認識サービスが画像認識WEBサイトを共有しているので、撮影画像が異なる画像認識サービスの画像と誤認識されると、全く関係の無いサービスの情報を携帯電話に提供してしまうという問題点があった。
By the way, in the technique of
In the technique of Non-Patent
In the technique of Non-Patent
本発明はこのような従来技術を考慮してなされたものであって、本発明の課題は、携帯端末装置をそのまま使用して、撮影した対象物の画像が誤認識されても誤った情報を提供することを防止して情報提供する情報提供システム、問合せサーバ装置、情報提供方法、コンピュータプログラムを提供することである。 The present invention has been made in consideration of such a conventional technique, and an object of the present invention is to use a mobile terminal device as it is and to display erroneous information even if an image of a photographed object is erroneously recognized. information providing system for providing information to prevent to provide the query server apparatus, information providing method, is to provide a computer program.
本発明は、以下のような解決手段により、前記課題を解決する。すなわち、請求項1の発明は、携帯端末装置と、問合せサーバ装置と、画像認識サーバ装置と、から構成される情報提供システムにおいて、
前記携帯端末装置は、
対象物を撮影するカメラと、
送信先アドレスと送信元アドレスを有する電子メールにカメラが撮影した対象物の撮影画像を添付させて、この電子メールを問合せサーバ装置に送信する電子メール送信手段と、
問合せサーバ装置により返信された電子メールを受信する電子メール受信手段と、
を備える端末装置であって、
前記問合せサーバ装置は、
複数の情報提供メールアドレスのうちのいずれか一つと、画像識別情報とを対応付けたチェックデータを記憶する記憶部と、
携帯端末装置が送信した前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求手段と、
画像認識サーバ装置が返信した照合結果を受信する照合結果受信手段と、
照合結果受信手段が受信した照合結果に含まれる画像識別情報を用いて記憶部が記憶するチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求手段が保持した送信先アドレスとを比較して、両者が一致するか否かを判定する判定手段と、
判定手段の比較結果が一致すれば、照合結果受信手段が受信した照合結果からURL(Uniform Resource Locatorの略)を取り出して、これを含む情報提供メールを作成して、あるいは、判定手段の比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求手段が保持した送信元アドレスに返信する電子メール返信手段と、
を備えるサーバ装置であって、
前記画像認識サーバ装置は、
画像特徴量情報と画像識別情報とURLを関連付けた特徴量データベースを記憶する記憶部と、
問合せサーバ装置が発行したデータベース検索クエリを受け付けて、これを用いて、記憶部が記憶する特徴量データベースを検索して、画像識別情報とURLを抽出するURL取得手段と、
URL取得手段が抽出した画像識別情報とURLとを含む照合結果を作成してこれを問合せサーバ装置に返信する照合結果返信手段と、
を備えるサーバ装置である、
ことを特徴とする情報提供システムである。
The present invention solves the above problems by the following means. That is, the invention of
The portable terminal device
A camera for shooting the object;
An e-mail transmission means for attaching a captured image of an object photographed by the camera to an e-mail having a transmission destination address and a transmission source address, and transmitting the e-mail to an inquiry server device;
E-mail receiving means for receiving an e-mail returned by the inquiry server device;
A terminal device comprising:
The inquiry server device
A storage unit that stores check data in which any one of a plurality of information providing email addresses is associated with image identification information;
Receiving an email specifying one of the information providing email addresses sent by the mobile terminal device as a destination email address, and constructing a database search query including a photographed image attached to the email , Issuing this to the image recognition server device, and collation request means for holding the destination address and source address of the e-mail;
Collation result receiving means for receiving the collation result returned by the image recognition server device;
Using the image identification information included in the verification result received by the verification result receiving means, refer to the check data stored in the storage unit to obtain the associated information provision email address, A determination unit that compares the destination address held by the request unit and determines whether or not both match,
If the comparison result of the determination unit matches, the URL (abbreviation of Uniform Resource Locator) is extracted from the verification result received by the verification result reception unit, and an information providing mail including the URL is created, or the comparison result of the determination unit If there is a mismatch, an e-mail including the verification failure information is created, and an e-mail reply means for returning the created e-mail to the source address held by the verification request means;
A server device comprising:
The image recognition server device
A storage unit for storing a feature database in which image feature information, image identification information, and URL are associated;
URL acquisition means for receiving a database search query issued by the inquiry server device and using this to search a feature amount database stored in the storage unit and extracting image identification information and a URL;
Collation result reply means for creating a collation result including the image identification information extracted by the URL acquisition means and the URL and returning the collation result to the inquiry server device;
A server device comprising:
This is an information providing system characterized by this.
ここで、特別なプログラムのダウンロードやインストール作業をすることなく、既存のカメラ付携帯電話を用いて、対象物を撮影してメール送信することで、所望の正しい情報を入手することができる。 Here, it is possible to obtain desired correct information by photographing an object and sending it by e-mail using an existing camera-equipped mobile phone without downloading or installing a special program.
請求項2の発明は、複数の情報提供メールアドレスのうちのいずれか一つと、画像識別情報とを対応付けたチェックデータを記憶する記憶部と、前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求手段と、画像認識サーバ装置が返信した照合結果を受信する照合結果受信手段と、照合結果受信手段が受信した照合結果に含まれる画像識別情報を用いて記憶部が記憶するチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求手段が保持した送信先アドレスとを比較して、両者が一致するか否かを判定する判定手段と、判定手段の比較結果が一致すれば、照合結果受信手段が受信した照合結果からURL(Uniform Resource Locatorの略)を取り出して、これを含む情報提供メールを作成して、あるいは、判定手段の比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求手段が保持した送信元アドレスに返信する電子メール返信手段と、を備えることを特徴とする問合せサーバ装置である。 According to a second aspect of the invention, and any one of a plurality of information providing-mail address, and a storage unit for storing check data associating the image identification information, any one of the information providing email address An e-mail designated as a destination e-mail address is received, a database search query including a photographed image attached to the e-mail is formed, and this is issued to the image recognition server device. A collation requesting unit that holds an address and a source address, a collation result receiving unit that receives a collation result returned from the image recognition server device, and a memory using image identification information included in the collation result received by the collation result receiving unit Obtains the information providing mail address associated with reference to the check data stored by the department, and this information providing mail address and the verification request When the comparison result of the determination means and the determination means for comparing whether the two match the destination address held by the stage and the comparison result of the determination means match, the URL (Uniform) is obtained from the verification result received by the verification result receiving means. (Abbreviation of Resource Locator) and create an information providing email containing this, or if the comparison result of the judging means does not match, create an email containing the verification failure information and create the email And an e-mail reply unit that replies to the transmission source address held by the collation request unit.
請求項3の発明は、画像特徴情報と情報提供メールアドレスと画像識別情報とを対応付けた特徴量データベース、および、複数の情報提供メールアドレスのうちのいずれか一つと、画像識別情報とを対応付けたチェックデータ、を用いる情報提供方法であって、(1)問合せサーバ装置は、前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求ステップと、(2)画像認識サーバ装置は、問合せサーバ装置が発行したデータベース検索クエリを受け付けて、これを用いて、記憶部が記憶する特徴量データベースを検索して、画像識別情報とURLを抽出するURL抽出ステップと、(3)画像認識サーバ装置は、抽出した画像識別情報とURLとを含む照合結果を作成してこれを問合せサーバ装置に返信する比較結果返信ステップと、(4)問合せサーバ装置は、画像認識サーバ装置が返信した照合結果を受信して、これに含まれる画像識別情報を用いてチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求ステップにて保持した送信先アドレスとを比較して、両者が一致するか否かを判定する比較判定ステップと、(5)問合せサーバ装置は、比較結果が一致すれば、比較判定ステップにて受信した照合結果に含まれるURLを含んだ電子メールを作成して、比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求ステップにて保持した送信元アドレスに返信する情報提供メール返信ステップと、を含んだ手順でなされることを特徴とする情報提供方法である。
The invention according to
請求項4の発明は、コンピュータに組込むことによって、コンピュータを請求項2に記載の発明に係る問合せサーバ装置として動作させるコンピュータプログラムである。
According to a fourth aspect of the present invention, there is provided a computer program that causes a computer to operate as an inquiry server device according to the second aspect of the present invention by being incorporated in the computer.
本願発明によれば、
(1)携帯電話が撮影する対象物は、携帯電話が撮影できるものであれば、制限はない。
(2)携帯電話で撮影した撮影画像を誤って画像認識しても、誤った情報を提供することを防止することができる。
従って、画像認識を誤っても、携帯電話を異なる画像認識サービスで提供されるWEBサイトに誘導する恐れは無く、安心して誘導サービスを提供することができる。
According to the present invention,
(1) The object to be photographed by the mobile phone is not limited as long as it can be photographed by the mobile phone.
(2) Even if a photographed image photographed with a mobile phone is mistakenly recognized, it is possible to prevent providing wrong information.
Therefore, even if the image recognition is wrong, there is no fear of guiding the mobile phone to a WEB site provided by a different image recognition service, and the guidance service can be provided with peace of mind.
(実施例)
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
(Example)
Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings.
図1は、本発明による情報提供システム1の概要を説明する図である。
情報提供システム1は、携帯端末装置100と、メール・サーバ装置200と、問合サーバ装置300と、画像認識サーバ装置400と、携帯WEBサーバ装置500(=WEBサイト)と、がネットワーク接続されて、構成される。
FIG. 1 is a diagram for explaining an outline of an
In the
携帯端末装置100は、たとえば、カメラ付き携帯電話である。携帯端末装置100は、携帯WEBブラウザを備える。
The
メール・サーバ装置200は、既存のメール・サーバプログラムを備えたサーバコンピュータである。 The mail server device 200 is a server computer equipped with an existing mail server program.
問合サーバ装置300は、サーバコンピュータに、後述する専用プログラムを備えたコンピュータである。
The
画像認識サーバ装置400は、既存の画像認識プログラムと既存のデータベース管理プログラムを備えたサーバコンピュータである。
画像認識サーバ装置400は、たとえば、非特許文献1に記載のサーバ装置でよい。
The image
The image
携帯WEBサーバ装置500は、既存のWEBサーバプログラムを備えたサーバコンピュータである。
The portable
次に、キャンペーン情報を提供する場合を例にして処理の流れを説明する。
《1.撮影画像の送信》
携帯電話所有者は、携帯電話のカメラ機能を用いて対象物をカメラ撮影する(図1(1))。
携帯電話所有者は、撮影画像を添付した電子メールをキャンペーン事務局に送信すると、これをキャンペーン事務局用のメール・サーバ装置200aが保持する(同(2))。
《2.電子メールの受付》
問合サーバ装置300は、メール・サーバ装置200aに、キャンペーン事務局宛の電子メールがあるか問合せて、存在すれば、これを取得する(同(3))。
問合サーバ装置300は、電子メールに添付された画像を用いて照合リクエストを作成して、画像認識サーバ装置400に送信する(同(4))。
Next, the flow of processing will be described using an example in which campaign information is provided.
<< 1. Sending shot images >>
The mobile phone owner takes a picture of an object using the camera function of the mobile phone (FIG. 1 (1)).
When the mobile phone owner sends an e-mail attached with a photographed image to the campaign secretariat, the
<< 2. E-mail reception >>
The
The
《3.画像認識》
画像認識サーバ装置400は、照合リクエストを受け付けて、添付された画像を画像認識して、認識された画像に対応付けられたキャンペーン情報(=キャンペーン用WEBサイトのURL)を返信する(同(5))。
なお、URLとは、Uniform Resource Locatorの略である。
《4.認識結果の確認》
問合サーバ装置300は、画像認識サーバ装置400が返信したURLが該当するキャンペーンのWEBサイトのURLであることを確認して、確認したURLを携帯電話に電子メールで返信する(同(6))。
《5.情報の提供》
問合サーバ装置300は、確認したURLを携帯電話に電子メールで返信すると、これを携帯電話用のメール・サーバ装置200bが保持する(同(7))。
<< 3. Image recognition
The image
The URL is an abbreviation for Uniform Resource Locator.
<< 4. Confirmation of recognition result >>
The
<< 5. Provision of information >>
When the
《6.WEBサイトへのアクセス》
携帯電話100は、携帯電話のメール・サーバ装置200bに自分宛の電子メールがあるか問合せて、存在すれば、これを取得する(同(8))。
携帯電話は、メール・サーバ装置200bから取得した返信メールのURLを用いてWEBサイト500へアクセスする(同(9))。
WEBサイト500は、携帯電話100からのURLのアクセスに応じて、携帯電話の携帯WEBブラウザで閲覧可能なWEBページデータを提供する(同(10))。
「WEBページ表示」携帯電話は、WEBサイト500からのWEBページデータを受信して、携帯WEBブラウザで表示する(同(11))。
<< 6. Access to WEB site >>
The
The mobile phone accesses the
The
The “WEB page display” mobile phone receives the WEB page data from the
図2は、携帯端末装置100の詳細な構成図である。
携帯端末装置100は、CPU101と、入力部102と、表示部103と、カメラ104と、無線通信部105と、電源部108と、記憶部109とアプリケーションプログラムとを備える。
FIG. 2 is a detailed configuration diagram of the mobile
The mobile
CPU101は、中央演算処理装置である。
表示部103は、LCD(液晶表示デバイス)やEL(有機エレクトロルミネッセンス)ディスプレーである。
入力部102は、ボタンキーやタッチペンやタッチパッドや表示部103を用いたソフトキーボードなどである。
カメラ104は、デジタルカメラである。
無線通信部105は、アンテナを有する。無線通信部105は、アンテナを介して、電話用無線電波を送受信する。無線通信部105は、基地局(図示せず)と無線通信する。基地局は、ゲートウエー(図示せず)を介してインターネットと接続する。
記憶部109は、半導体メモリや磁気メモリである。
記憶部109は、アプリケーションプログラムを記憶する。
The CPU 101 is a central processing unit.
The display unit 103 is an LCD (liquid crystal display device) or an EL (organic electroluminescence) display.
The input unit 102 is a button keyboard, a touch pen, a touch pad, a soft keyboard using the display unit 103, or the like.
The camera 104 is a digital camera.
The wireless communication unit 105 has an antenna. The wireless communication unit 105 transmits and receives telephone radio waves via an antenna. The wireless communication unit 105 performs wireless communication with a base station (not shown). The base station connects to the Internet via a gateway (not shown).
The
The
このほかに、電子メール送信手段110と、電子メール受信手段120と、メール表示手段130と、携帯WEBブラウザ140と、を備える。これらの各手段は、それぞれのアプリケーションプログラムによって実現され、アプリケーションプログラムがCPU101に解釈・実行されることによって機能する。
In addition, an
電子メール送信手段110は、送信先アドレスと送信元アドレスが設定された電子メール(以下、携帯端末装置100が作成して送信する電子メールを請求メールという)に、カメラが撮影した対象物の撮影画像を添付させて問合せサーバ装置に送信する。電子メール受信手段120は、問合せサーバ装置300が返信した電子メールを受信する。
メール表示手段130は、受信した電子メールを表示部103に表示する。
The
The mail display unit 130 displays the received electronic mail on the display unit 103.
携帯WEBブラウザ140は、入力部102から入力された指定情報により指定されたURLを用いて、WEBサイト500へアクセスして、WEBページデータを取得して、これを表示部103に表示する。
The
図3は、請求メールに含まれるデータの説明図である。
図3の(a)は、請求メールに含まれるデータの属性を説明する図である。
請求メール191には、送信先アドレス191aと送信元アドレス191bと添付画像データ191cとが含まれる。
送信先アドレス191aは、請求メールの送付先の電子メールアドレスである。
送信元アドレス191bは、請求メールの発信者の電子メールアドレスである。
添付画像データ191cは、カメラで撮影した画像である。
FIG. 3 is an explanatory diagram of data included in the billing mail.
FIG. 3A is a view for explaining attributes of data included in the billing mail.
The
The
The
The attached
図3の(b)は、請求メールに含まれるデータの例である。
例示された請求メールに含まれるデータは、送信先アドレス191aが、「aaa@dnp.jp」であって、送信元アドレス191bが、「zzz@*wxy.jp」であって、添付画像データ191cが、デジタル写真データである。
この例の意味は、デジタル写真データが添付された請求メールは、電子メールアドレス191aが「zzz@*wxy.jp」の発信者から、電子メールアドレスが「aaa@dnp.jp」の宛先に送信された電子メールである、という意味である。
FIG. 3B is an example of data included in the billing mail.
The data included in the exemplified billing mail is that the
The meaning of this example is that a billing email with digital photo data attached is sent from the sender whose
図4は、問合サーバ装置300の詳細な構成図である。
問合サーバ装置300は、CPU301と、ネットワーク通信部305と、記憶部309と専用プログラムとを備える。
FIG. 4 is a detailed configuration diagram of the
The
CPU301は、中央演算処理装置である。
ネットワーク通信部305は、LANアダプタである。記憶部309は、半導体メモリや磁気メモリである。
記憶部309は、チェックデータ391を記憶する。
チェックデータ391は、情報提供メールアドレスと画像識別情報とを対応付けたデータである。
記憶部309の不揮発領域は、専用プログラムを記憶する。
The CPU 301 is a central processing unit.
The network communication unit 305 is a LAN adapter. The storage unit 309 is a semiconductor memory or a magnetic memory.
The storage unit 309 stores check
The
The non-volatile area of the storage unit 309 stores a dedicated program.
このほかに、照合要求手段310と、照合結果受信手段320と、判定手段330と、電子メール返信手段340と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがCPU301に解釈・実行されることによって機能する。
In addition, a
照合要求手段310は、携帯端末装置100が送信した請求メールを受信して、この請求メールに添付された撮影画像を含むデータベース検索クエリを構成して、これと問合せ番号を組み合わせて、画像認識サーバ装置400に発行する。それと同時に、照合要求手段310は、電子メールの送信先アドレスと送信元アドレスをこの問合せ番号と関連付けて、記憶部309の所定の領域に記録する。
照合結果受信手段320は、画像認識サーバ装置400が返信した問合せ番号を含む照合結果を受信する。
The
The verification
判定手段330は、照合結果受信手段320が受信した照合結果に含まれる画像識別情報を用いて記憶部309が記憶するチェックデータ391を参照して、対応付けられた情報提供メールアドレスを取得する。次に、判定手段330は、照合結果受信手段320が受信した照合結果に含まれる問合せ番号を用いて照合要求手段310により記憶部309の所定の領域に記録された送信先アドレスを参照して、関連付けられた送信先アドレスと送信元アドレスとを取得する。最後に、判定手段330は、取得した情報提供メールアドレスと送信先アドレスとを比較して、両者が一致するか否かを判定する。
The judging unit 330 refers to the
電子メール返信手段340は、判定手段330の比較結果が一致すれば、照合結果受信手段が受信した照合結果からURL(Uniform Resource Locatorの略)を取り出して、これを含む情報提供メールを作成して、判定手段330が取得した送信元アドレスに返信する。あるいは、電子メール返信手段340は、判定手段330の比較結果が不一致であれば、照合失敗情報を含んだ情報提供メールを作成して、作成した情報提供メールを判定手段330が取得した送信元アドレスに返信する。
If the comparison result of the determination unit 330 matches, the
図5は、チェックデータ391を説明する図である。
図5の(a)は、チェックデータ391の形式を説明する図である。
チェックデータ391は、情報提供メールアドレス391aと画像識別情報391bとを対応付けたデータである。
情報提供メールアドレス391aは、請求メール宛先の電子メールアドレスである。
画像識別情報391bは、画像IDである。
FIG. 5 is a diagram for explaining the
FIG. 5A illustrates the format of the
The
The information providing mail address 391a is an electronic mail address of a billing mail destination.
The image identification information 391b is an image ID.
図5の(b)は、チェックデータ391の例である。
たとえば、例示されたチェックデータ391は、情報提供メールアドレス391aが、「aaa@dnp.jp」であって、画像識別情報391bが、「00000001」である。
この例の意味は、画像IDが「00000001」のときには、請求メール宛先の電子メールアドレスは、「aaa@dnp.jp」でなければならない、という意味である。
FIG. 5B is an example of the
For example, in the illustrated
The meaning of this example is that when the image ID is “00000001”, the electronic mail address of the billing mail destination must be “aaa@dnp.jp”.
あるいは、例示されたチェックデータ391は、情報提供メールアドレス391aが、「aaa@dnp.jp」であって、画像識別情報391bが、「00000002」である。
この例の意味は、画像IDが「00000002」のときには、請求メール宛先の電子メールアドレスは、「aaa@dnp.jp」でなければならない、という意味である。
Alternatively, in the illustrated
The meaning of this example is that when the image ID is “00000002”, the electronic mail address of the billing mail destination must be “aaa@dnp.jp”.
あるいは、例示されたチェックデータ391は、情報提供メールアドレス391aが、「bbb@dnp.jp」であって、画像識別情報391bが、「00000010」である。
この例の意味は、画像IDが「00000010」のときには、請求メール宛先の電子メールアドレスは、「bbb@dnp.jp」でなければならない、という意味である。
Alternatively, in the illustrated
The meaning of this example is that when the image ID is “00000010”, the electronic mail address of the billing mail destination must be “bbb@dnp.jp”.
図6は、画像認識サーバ装置400の詳細な構成図である。
画像認識サーバ装置400は、CPU401と、ネットワーク通信部405と、記憶部409と専用プログラムとを備える。
FIG. 6 is a detailed configuration diagram of the image
The image
CPU401は、中央演算処理装置である。
ネットワーク通信部405は、LAN接続端子である。
記憶部409は、半導体メモリや磁気メモリである。
記憶部409は、画像特徴量データベース493を記憶する。
画像特徴量データベース493は、画像特徴量情報とURLと画像識別情報とを対応付けたデータを含むデータベースである。
The CPU 401 is a central processing unit.
The
The
The
The image feature amount database 493 is a database including data in which image feature amount information, a URL, and image identification information are associated with each other.
このほかに、URL取得手段410と、照合結果返信手段420と、を備える。これらの各手段は、それぞれのアプリケーションプログラムによって実現され、アプリケーションプログラムがCPU401に解釈・実行されることによって機能する。 In addition, a URL acquisition unit 410 and a verification result reply unit 420 are provided. Each of these means is realized by each application program, and functions when the application program is interpreted and executed by the CPU 401.
URL取得手段410は、問合せサーバ装置300が発行したデータベース検索クエリと問合せ番号の組み合わせを受け付けて、これを用いて、記憶部409が記憶する特徴量データベース493を検索して、画像識別情報とURLを抽出する。
なお、抽出された画像識別情報とURLとは、データベース検索クエリに含まれる撮影画像の特徴量情報ともっとも類似度の高い画像特徴情報に対応づけられた画像識別情報とURLとである。
照合結果返信手段420は、URL取得手段410が受け付けた問合せ番号とURL取得手段410が抽出した画像識別情報とURLとを含む照合結果を作成してこれを問合せサーバ装置300に返信する。
The URL acquisition unit 410 receives a combination of the database search query and the query number issued by the
Note that the extracted image identification information and URL are image identification information and URL associated with image feature information having the highest degree of similarity with the feature amount information of the captured image included in the database search query.
The collation result reply unit 420 creates a collation result including the inquiry number received by the URL acquisition unit 410, the image identification information extracted by the URL acquisition unit 410, and the URL, and returns the collation result to the
なお、問合せサーバ装置300にウェブサーバプログラム(たとえば、Apacheなど)を用い、ウェブサーバプログラムから呼び出されるプログラムが画像検索サーバ装置300に対して、リクエスト(=データベース検索クエリなど)を発行し、そのプログラムがリクエストの回答を受け取るまで待つような形で、照合要求手段310、照合結果受信手段320をひとつにまとめた形のプログラムモジュールとして実装するときには、かならずしも問合せ番号を用いる必要はない。
なぜならば、この場合には、複数の利用者から同時に複数の請求メールを受けた場合、各請求メールごとにデータベース検索クエリを発行するプロセスが発生し、問い合わせサーバ装置300上での実行環境により、画像検索サーバ装置300からのリクエストの回答がリクエストを発行したプロセスに届けられるからである。
Note that a web server program (for example, Apache) is used for the
Because, in this case, when a plurality of billing emails are received simultaneously from a plurality of users, a process for issuing a database search query occurs for each billing email, and depending on the execution environment on the
図7は、照合結果491を説明する図である。
図7の(a)は、照合結果491の形式を説明する図である。
照合結果491は、画像識別情報491aとURL491bと電子メール文491cを含んで構成される。
画像識別情報491aは、画像IDである。
URL491bは、携帯用WEBサイト上の情報資源の所在を示す記述である。
電子メール文491cは、情報提供メールに記載する文字列である。
FIG. 7 is a diagram for explaining the
(A) of FIG. 7 is a figure explaining the format of the
The
The
The
The
図7の(b)は、照合結果491の例である。
例示された照合結果491は、画像識別情報491aが、「00000001」であって、URL491bが、「http://abc.jp/index.html」であって、電子メール文491cが、「キャンペーンに参加される方は、携帯サイトにアクセスください。」である。
この例の意味は、撮影画像を検索キーにて検索した照合結果491は、画像IDが「00000001」で、URLが「http://abc.jp/index.html」で、電子メール文491cが、「キャンペーンに参加される方は、携帯サイトにアクセスください。」である、という意味である。
FIG. 7B is an example of the
In the illustrated
The meaning of this example is that the
図8は、比較結果が一致する場合の判定処理の手順を図解したものである。
判定手段330は、照合結果に含まれる画像ID491a「00000003」を用いて、チェックデータの画像ID391bを参照して、両者が位置するときの情報提供メールアドレス391a「aaa@dnp.jp」を取得する(図8(1))。
判定手段330は、取得した情報提供メールアドレス391a「aaa@dnp.jp」と、請求メールの送信先アドレス191a「aaa@dnp.jp」とを比較して、両者が一致すること判定する(同(2))。
なお、判定手段330の比較結果が一致しているので、電子メール返信手段340は、電子メール文491c「キャンペーンに参加される方は、携帯サイトにアクセスください。」とURL「http://abc.jp/index.html」を有する情報提供メールを請求メールの送信元アドレス191b「zzz@*wxy.jp」に返信する。
FIG. 8 illustrates the procedure of the determination process when the comparison results match.
Using the
The determination unit 330 compares the acquired information providing mail address 391a “aaa@dnp.jp” with the billing
Since the comparison result of the judging means 330 is the same, the e-mail reply means 340 sends the
図9は、比較結果が不一致な場合の判定処理の手順を図解したものである。
判定手段330は、照合結果に含まれる画像ID491a「00000011」を用いて、チェックデータの画像ID391bを参照して、両者が位置するときの情報提供メールアドレス391a「bbb@dnp.jp」を取得する(図9(1))。
判定手段330は、取得した情報提供メールアドレス391a「bbb@dnp.jp」と、請求メールの送信先アドレス191a「aaa@dnp.jp」とを比較して、両者が一致しないこと判定する(同(2))。
なお、判定手段330の比較結果が不一致であるので、電子メール返信手段340は、たとえば、電子メール文491c「撮影画像の照合に失敗しました。」を有する情報提供メールを請求メールの送信元アドレス191b「zzz@*wxy.jp」に返信する。
FIG. 9 illustrates the procedure of the determination process when the comparison results do not match.
Using the
The determination unit 330 compares the acquired information providing mail address 391a “bbb@dnp.jp” with the billing
Since the comparison result of the determination unit 330 is inconsistent, the
このように、照合結果がキャンペーンと無関係なURLに誤っていた場合には、誤った情報を携帯電話に知らせることを未然意防ぐことができる。
In this way, when the collation result is wrong in the URL unrelated to the campaign, it is possible to prevent the wrong information from being notified to the mobile phone.
1 情報提供システム
100 携帯端末装置
110 電子メール送信手段
120 電子メール受信手段
130 メール表示手段
140 携帯WEBブラウザ
191 請求メール
191a 送信先アドレス
191b 送信元アドレス
191c 添付画像データ
200 メール・サーバ装置
200a/200b メール・サーバ装置
300 問合サーバ装置
310 照合要求手段
320 照合結果受信手段
330 判定手段
340 電子メール返信手段
391 チェックデータ
391a 情報提供メールアドレス
391b 画像識別情報、画像ID
400 画像認識サーバ装置
410 URL取得手段
420 照合結果返信手段
491 照合結果
491a 画像識別情報、画像ID
491b URL
491c 電子メール文
500 携帯WEBサーバ装置
DESCRIPTION OF
400 Image recognition server apparatus 410 URL acquisition means 420 collation result return means 491
491b URL
Claims (4)
前記携帯端末装置は、
対象物を撮影するカメラと、
送信先アドレスと送信元アドレスを有する電子メールにカメラが撮影した対象物の撮影画像を添付させて、この電子メールを問合せサーバ装置に送信する電子メール送信手段と、
問合せサーバ装置により返信された電子メールを受信する電子メール受信手段と、
を備える端末装置であって、
前記問合せサーバ装置は、
複数の情報提供メールアドレスのうちのいずれか一つと、画像識別情報とを対応付けたチェックデータを記憶する記憶部と、
携帯端末装置が送信した前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求手段と、
画像認識サーバ装置が返信した照合結果を受信する照合結果受信手段と、
照合結果受信手段が受信した照合結果に含まれる画像識別情報を用いて記憶部が記憶するチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求手段が保持した送信先アドレスとを比較して、両者が一致するか否かを判定する判定手段と、
判定手段の比較結果が一致すれば、照合結果受信手段が受信した照合結果からURL(Uniform Resource Locatorの略)を取り出して、これを含む情報提供メールを作成して、あるいは、判定手段の比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求手段が保持した送信元アドレスに返信する電子メール返信手段と、
を備えるサーバ装置であって、
前記画像認識サーバ装置は、
画像特徴量情報と画像識別情報とURLを関連付けた特徴量データベースを記憶する記憶部と、
問合せサーバ装置が発行したデータベース検索クエリを受け付けて、これを用いて、記憶部が記憶する特徴量データベースを検索して、画像識別情報とURLを抽出するURL取得手段と、
URL取得手段が抽出した画像識別情報とURLとを含む照合結果を作成してこれを問合せサーバ装置に返信する照合結果返信手段と、
を備えるサーバ装置である、
ことを特徴とする情報提供システム。 In an information providing system including a mobile terminal device, an inquiry server device, and an image recognition server device,
The portable terminal device
A camera for shooting the object;
An e-mail transmission means for attaching a captured image of an object photographed by the camera to an e-mail having a transmission destination address and a transmission source address, and transmitting the e-mail to an inquiry server device;
E-mail receiving means for receiving an e-mail returned by the inquiry server device;
A terminal device comprising:
The inquiry server device
A storage unit that stores check data in which any one of a plurality of information providing email addresses is associated with image identification information;
Receiving an email specifying one of the information providing email addresses sent by the mobile terminal device as a destination email address, and constructing a database search query including a photographed image attached to the email , Issuing this to the image recognition server device, and collation request means for holding the destination address and source address of the e-mail;
Collation result receiving means for receiving the collation result returned by the image recognition server device;
Using the image identification information included in the verification result received by the verification result receiving means, refer to the check data stored in the storage unit to obtain the associated information provision email address, A determination unit that compares the destination address held by the request unit and determines whether or not both match,
If the comparison result of the determination unit matches, the URL (abbreviation of Uniform Resource Locator) is extracted from the verification result received by the verification result reception unit, and an information providing mail including the URL is created, or the comparison result of the determination unit If there is a mismatch, an e-mail including the verification failure information is created, and an e-mail reply means for returning the created e-mail to the source address held by the verification request means;
A server device comprising:
The image recognition server device
A storage unit for storing a feature database in which image feature information, image identification information, and URL are associated;
URL acquisition means for receiving a database search query issued by the inquiry server device and using this to search a feature amount database stored in the storage unit and extracting image identification information and a URL;
Collation result reply means for creating a collation result including the image identification information extracted by the URL acquisition means and the URL and returning the collation result to the inquiry server device;
A server device comprising:
An information providing system characterized by that.
前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求手段と、
画像認識サーバ装置が返信した照合結果を受信する照合結果受信手段と、
照合結果受信手段が受信した照合結果に含まれる画像識別情報を用いて記憶部が記憶するチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求手段が保持した送信先アドレスとを比較して、両者が一致するか否かを判定する判定手段と、
判定手段の比較結果が一致すれば、照合結果受信手段が受信した照合結果からURL(Uniform Resource Locatorの略)を取り出して、これを含む情報提供メールを作成して、あるいは、判定手段の比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求手段が保持した送信元アドレスに返信する電子メール返信手段と、
を備えることを特徴とする問合せサーバ装置。 A storage unit that stores check data in which any one of a plurality of information providing email addresses is associated with image identification information;
An e-mail specifying any one of the information providing e-mail addresses as a destination e-mail address is received, a database search query including a photographed image attached to the e-mail is formed, and this is used as an image recognition server A verification request means which is issued to the device and holds the destination address and the source address of the e-mail;
Collation result receiving means for receiving the collation result returned by the image recognition server device;
Using the image identification information included in the verification result received by the verification result receiving means, refer to the check data stored in the storage unit to obtain the associated information provision email address, A determination unit that compares the destination address held by the request unit and determines whether or not both match,
If the comparison result of the determination unit matches, the URL (abbreviation of Uniform Resource Locator) is extracted from the verification result received by the verification result reception unit, and an information providing mail including the URL is created, or the comparison result of the determination unit If there is a mismatch, an e-mail including the verification failure information is created, and an e-mail reply means for returning the created e-mail to the source address held by the verification request means;
An inquiry server device comprising:
(1)問合せサーバ装置は、前記情報提供メールアドレスのいずれか一つを送信先電子メールアドレスとして指定した電子メールを受信して、この電子メールに添付された撮影画像を含むデータベース検索クエリを構成して、これを画像認識サーバ装置に発行して、電子メールの送信先アドレスと送信元アドレスを保持する照合要求ステップと、
(2)画像認識サーバ装置は、問合せサーバ装置が発行したデータベース検索クエリを受け付けて、これを用いて、記憶部が記憶する特徴量データベースを検索して、画像識別情報とURLを抽出するURL抽出ステップと、
(3)画像認識サーバ装置は、抽出した画像識別情報とURLとを含む照合結果を作成してこれを問合せサーバ装置に返信する比較結果返信ステップと、
(4)問合せサーバ装置は、画像認識サーバ装置が返信した照合結果を受信して、これに含まれる画像識別情報を用いてチェックデータを参照して対応付けられた情報提供メールアドレスを取得して、この情報提供メールアドレスと、照合要求ステップにて保持した送信先アドレスとを比較して、両者が一致するか否かを判定する比較判定ステップと、
(5)問合せサーバ装置は、比較結果が一致すれば、比較判定ステップにて受信した照合結果に含まれるURLを含んだ電子メールを作成して、比較結果が不一致であれば、照合失敗情報を含んだ電子メールを作成して、作成した電子メールを照合要求ステップにて保持した送信元アドレスに返信する情報提供メール返信ステップと、
を含んだ手順でなされることを特徴とする情報提供方法。 Image characteristic information and the information providing email address and image identification information and the associated feature value database, and the one of the plurality of information providing-mail address, check data associating the image identification information, the An information providing method to be used,
(1) The inquiry server device receives an email specifying any one of the information providing email addresses as a destination email address, and constructs a database search query including a photographed image attached to the email Then, issuing this to the image recognition server device, a collation request step for holding the transmission destination address and the transmission source address of the email,
(2) The image recognition server device accepts a database search query issued by the inquiry server device, and uses this to search a feature database stored in the storage unit and extract image identification information and a URL. Steps,
(3) The image recognition server device generates a collation result including the extracted image identification information and URL, and returns a comparison result to the inquiry server device;
(4) The inquiry server device receives the collation result returned from the image recognition server device, obtains an associated information providing mail address by referring to the check data using the image identification information included therein. The comparison determination step of comparing the information providing email address with the transmission destination address held in the verification request step to determine whether or not both match,
(5) If the comparison result matches, the inquiry server device creates an email including the URL included in the comparison result received in the comparison determination step. If the comparison result does not match, the inquiry server device displays the verification failure information. An information providing email reply step of creating an included email and returning the created email to the source address held in the verification request step;
An information providing method characterized in that it is performed by a procedure including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067864A JP5067216B2 (en) | 2008-03-17 | 2008-03-17 | Information providing system, inquiry server device, information providing method, computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067864A JP5067216B2 (en) | 2008-03-17 | 2008-03-17 | Information providing system, inquiry server device, information providing method, computer program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009225148A JP2009225148A (en) | 2009-10-01 |
JP2009225148A5 JP2009225148A5 (en) | 2011-02-10 |
JP5067216B2 true JP5067216B2 (en) | 2012-11-07 |
Family
ID=41241468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008067864A Expired - Fee Related JP5067216B2 (en) | 2008-03-17 | 2008-03-17 | Information providing system, inquiry server device, information providing method, computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5067216B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5977277B2 (en) * | 2013-02-25 | 2016-08-24 | 株式会社ブランカ | Campaign application system |
JP6387704B2 (en) * | 2014-06-27 | 2018-09-12 | 株式会社リコー | Information processing system, information processing method, terminal device, and program |
JP7259312B2 (en) * | 2018-12-17 | 2023-04-18 | 凸版印刷株式会社 | Point giving system, point giving method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001282825A (en) * | 2000-03-29 | 2001-10-12 | Eighting:Kk | Method and server for information retrieval and portable remote terminal |
JP2003271650A (en) * | 2002-03-12 | 2003-09-26 | Nec Corp | Web site image retrieval system and method for cellular phone, server and program |
JP2003345815A (en) * | 2002-05-28 | 2003-12-05 | Jiishisu:Kk | Server and system for url search, and server and system for image processing |
JP4413633B2 (en) * | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | Information search system, information search method, information search device, information search program, image recognition device, image recognition method and image recognition program, and sales system |
-
2008
- 2008-03-17 JP JP2008067864A patent/JP5067216B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009225148A (en) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210149976A1 (en) | Method, system, and device for obtaining contact information | |
USRE45369E1 (en) | Mobile device with integrated photograph management system | |
US8463878B2 (en) | Network server for providing scanning functionality to a computer | |
US8122513B2 (en) | Data storage device, data storage method, and program thereof | |
US20120086792A1 (en) | Image identification and sharing on mobile devices | |
US20110064281A1 (en) | Picture sharing methods for a portable device | |
US20080116278A1 (en) | System and Method for Providing Data to a Wireless Device | |
TW201018298A (en) | Data access based on content of image recorded by a mobile device | |
CN108364171B (en) | Graphic code generation method, resource sending and receiving method, device and electronic equipment | |
WO2018223998A1 (en) | Start method and device for service process | |
JP6142687B2 (en) | Document disclosure system and program | |
JP5067216B2 (en) | Information providing system, inquiry server device, information providing method, computer program | |
US9300630B2 (en) | Relay apparatus, information processing system and method | |
US20150149928A1 (en) | Method, system and device for implementing an instant messaging application | |
KR101637016B1 (en) | Method for providing user reaction web page | |
JP4271722B1 (en) | Image recognition information system, information server, information providing method, and information providing program | |
US9189560B2 (en) | Discovery of asset information through scanning of communication tags associated with assets | |
JP6600477B2 (en) | Management system, management apparatus and management method | |
JP2009064371A (en) | Business card information providing system | |
JP4767095B2 (en) | URL information provision system | |
KR101789803B1 (en) | Method and apparatus for providing business card exchange service | |
JP5565063B2 (en) | Information acquisition system, information acquisition method, and information acquisition program | |
JP2005092785A (en) | Offering service determination system, method, its program, and offering service determination system | |
KR101662715B1 (en) | Information exchanging method between mobile terminals using bluetooth | |
CN103916562A (en) | Image data acquisition device and control device and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120717 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120730 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |