JPWO2006008992A1 - Web site connection method using portable information communication terminal with camera - Google Patents

Web site connection method using portable information communication terminal with camera Download PDF

Info

Publication number
JPWO2006008992A1
JPWO2006008992A1 JP2006529022A JP2006529022A JPWO2006008992A1 JP WO2006008992 A1 JPWO2006008992 A1 JP WO2006008992A1 JP 2006529022 A JP2006529022 A JP 2006529022A JP 2006529022 A JP2006529022 A JP 2006529022A JP WO2006008992 A1 JPWO2006008992 A1 JP WO2006008992A1
Authority
JP
Japan
Prior art keywords
camera
image
communication terminal
information communication
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006529022A
Other languages
Japanese (ja)
Inventor
整 劉
整 劉
Original Assignee
株式会社シーフォーテクノロジー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シーフォーテクノロジー filed Critical 株式会社シーフォーテクノロジー
Publication of JPWO2006008992A1 publication Critical patent/JPWO2006008992A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Studio Devices (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

カメラ付き携帯情報通信端末による撮影の対象となる画像の画質を劣化させたり画像の見映えを悪化させたりすることなく、カメラ付き携帯情報通信端末を用いてＷｅｂサイトへ接続するために、Ｗｅｂサイトと関連付けられた所定の画像の特徴量を予め記憶しておき、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像から抽出された特徴量と上記予め記憶した特徴量とを比較し、上記比較した結果に基づいて、上記予め記憶した特徴量に対応する画像と関連付けられたＷｅｂサイトへ接続するようにした。In order to connect to a website using a camera-equipped mobile information communication terminal without degrading the image quality of an image to be captured by the camera-equipped mobile information communication terminal or deteriorating the appearance of the image, the website Is stored in advance, and the feature amount extracted from the image captured by the camera built in the camera-equipped mobile information communication terminal is compared with the feature amount stored in advance. Based on the comparison result, a connection is made to a Web site associated with an image corresponding to the previously stored feature amount.

Description

本発明は、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体に関し、さらに詳細には、カメラを内蔵したカメラ付き携帯情報通信端末の当該内蔵したカメラにより撮影された画像に基づいてＷｅｂサイトへの接続を行うカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体に関する。  The present invention relates to a website connection method using a portable information communication terminal with a camera, a website connection system using a portable information communication terminal with a camera, a program, and a computer-readable recording medium. A website connection method using a camera-equipped mobile information communication terminal for connecting to a website based on an image taken by the built-in camera of the camera-equipped portable information communication terminal, and a camera-equipped portable information communication terminal The present invention relates to a website connection system, a program, and a computer-readable recording medium.

なお、本明細書においてカメラ付き携帯情報通信端末とは、カメラを内蔵したカメラ付き携帯電話（以下、単に「カメラ付き携帯電話」と称する。）、カメラを内蔵したカメラ付きパーソナル・ハンディフォーン・システム（以下、単に「カメラ付きＰＨＳ」と称する。）、カメラを内蔵したカメラ付きパーソナル・コンピュータ（以下、単に「カメラ付きＰＣ」と称する。）などの、各種のカメラを内蔵した携帯用の情報通信機器を意味するものとする。  In this specification, the camera-equipped mobile information communication terminal refers to a camera-equipped mobile phone (hereinafter simply referred to as “camera-equipped mobile phone”) and a camera-equipped personal handyphone system with a built-in camera. (Hereinafter, simply referred to as “PHS with camera”), a personal computer with a camera incorporating a camera (hereinafter, simply referred to as “PC with camera”), and other portable information communications incorporating various cameras. It shall mean equipment.

近年、カメラ付き携帯電話の普及とその性能の向上とが相俟って、カメラ付き携帯電話を用いてＷｅｂサイトへ接続し、カメラ付き携帯電話の表示画面上でＷｅｂページを閲覧することを可能にしたサービスが種々提供されている。
ところで、こうしたサービスにおいて、カメラ付き携帯電話によりＷｅｂサイトへ接続するための手法としては、例えば、カメラ付き携帯電話に内蔵されたカメラにより画像を撮影し、当該撮影した画像からＵＲＬ情報やＩＤ情報などのＷｅｂサイトへ接続するための情報（本明細書においては、ＵＲＬ情報やＩＤ情報などのＷｅｂサイトへ接続するための情報を総称して、「Ｗｅｂサイト接続情報」と適宜に称する。）を抽出し、当該抽出したＵＲＬ情報やＩＤ情報などに基づいてＷｅｂサイトへ接続を行うという手法がとられていた。
具体的には、ＱＲコードやバーコードあるいは電子透かし技術情報を用いて、ＵＲＬ情報やＩＤ情報などのＷｅｂサイト接続情報を、画像に記載したり埋め込んだりしておく。そして、カメラ付き携帯電話に内蔵されたカメラにより当該画像を撮影し、当該撮影した画像から当該画像に埋め込まれているＵＲＬ情報やＩＤ情報などを抽出し、当該抽出したＵＲＬ情報やＩＤ情報などが示すＷｅｂサイトへの接続を行うというものである。In recent years, with the spread of camera-equipped mobile phones and the improvement in performance, it is possible to connect to websites using camera-equipped mobile phones and browse web pages on the display screen of camera-equipped cellular phones. Various services are provided.
By the way, in such a service, as a method for connecting to a website by a camera-equipped mobile phone, for example, an image is taken by a camera built in the camera-equipped mobile phone, and URL information, ID information, etc. are taken from the taken image. Information for connecting to the Web site (in this specification, information for connecting to the Web site such as URL information and ID information is collectively referred to as “Web site connection information” as appropriate). A method of connecting to a Web site based on the extracted URL information, ID information, and the like has been taken.
Specifically, Web site connection information such as URL information and ID information is described or embedded in an image using a QR code, a barcode, or digital watermark technology information. And the said image is image | photographed with the camera incorporated in the mobile phone with a camera, URL information, ID information, etc. which are embedded in the said image are extracted from the image | photographed image, The extracted URL information, ID information, etc. are contained. It connects to the website shown.

ここで、Ｗｅｂサイト接続情報を電子透かし情報として画像に埋め込んだ場合において、カメラ付き携帯電話で撮影した画像から当該画像に埋め込まれている電子透かし情報を抽出し、それに基づいてＷｅｂサイトへ接続する手法としては、従来より以下に示す２通りの手法が知られている。
まず、第１の手法は、サーバ側において照合する方式である。即ち、カメラ付き携帯電話で撮影した画像をサーバに転送し、サーバ側において受信した画像に埋め込まれている電子透かし情報を抽出して、抽出した電子透かし情報をＷｅｂサイト接続情報（例えば、ＷｅｂサイトのＵＲＬ情報である。）に変換した後にカメラ付き携帯電話に返信する。カメラ付き携帯電話においては、受信したＷｅｂサイト接続情報から当該Ｗｅｂサイト接続情報の示すＷｅｂサイトへの接続を行い、カメラ付き携帯電話の表示画面上に接続したＷｅｂサイトのＷｅｂページを表示するというものである。
また、第２の手法は、カメラ付き携帯電話側において照合する方式である。即ち、カメラ付き携帯電話で撮影した画像を当該カメラ付き携帯電話のメモリ内に保存し、当該カメラ付き携帯電話側においてメモリ内に保存された画像に埋め込まれている電子透かし情報を抽出して、抽出した電子透かし情報をＷｅｂサイト接続情報（例えば、ＷｅｂサイトのＵＲＬ情報である。）に変換する。それから、カメラ付き携帯電話においては、変換したＷｅｂサイト接続情報から当該Ｗｅｂサイト接続情報の示すＷｅｂサイトへの接続を行い、カメラ付き携帯電話の表示画面上に接続したＷｅｂサイトのＷｅｂページを表示するというものである。Here, when the website connection information is embedded in the image as digital watermark information, the digital watermark information embedded in the image is extracted from the image taken by the camera-equipped mobile phone, and the website is connected based on the extracted information. Conventionally, the following two methods are known as methods.
First, the first method is a method of matching on the server side. That is, an image captured by a camera-equipped mobile phone is transferred to a server, digital watermark information embedded in an image received on the server side is extracted, and the extracted digital watermark information is used as Web site connection information (for example, a Web site). The URL information is returned to the camera-equipped mobile phone. In a camera-equipped mobile phone, a connection is made from the received website connection information to the website indicated by the website connection information, and the web page of the connected website is displayed on the display screen of the camera-equipped mobile phone. It is.
The second method is a method of collation on the camera-equipped mobile phone side. That is, the image taken by the camera-equipped mobile phone is stored in the memory of the camera-equipped mobile phone, and the digital watermark information embedded in the image stored in the memory is extracted on the camera-equipped mobile phone side, The extracted digital watermark information is converted into website connection information (for example, URL information of the website). Then, in the camera-equipped mobile phone, the converted website connection information is connected to the website indicated by the website connection information, and the web page of the connected website is displayed on the display screen of the camera-equipped mobile phone. That's it.

しかしながら、上記した第１の手法ならびに第２の手法には、以下に説明する第１〜５の５つの問題点があり、カメラ付き携帯電話などのカメラ付き携帯情報通信端末を用いてＷｅｂサイトへ接続する手法としては、十分な実用レベルにまで達しているとは言えないということが指摘されていた。
（１）第１の問題点
カメラ付き携帯情報通信端末の内蔵カメラでの撮影時における照明環境の影響によって、撮影した画像の解像度が不足する場合が生じ、この場合には画像に埋め込まれた電子透かし情報の検出が困難になる。
（２）第２の問題点
カメラ付き携帯情報通信端末の内蔵カメラでの撮影時におけるカメラアングルなどの影響によって、撮影した画像が変改されたり、あるいは画像の解像度が不足する場合が生じ、この場合には画像に埋め込まれた電子透かし情報の検出が困難になる。
（３）第３の問題点
カメラ付き携帯情報通信端末の内蔵カメラの使用方法や処理速度の影響によって、画像の撮影自体が困難になったり、撮影した画像からのデコードが遅くなったりする場合が生じ、この場合には画像に埋め込まれた電子透かし情報の検出が困難になる。
（４）第４の問題点
カメラ付き携帯情報通信端末の内蔵カメラが撮影できる画像のサイズには限界があるため、画像に埋め込むことのできる電子透かし情報の情報量が少ない。
（５）第５の問題点
上記した第１〜３の問題点を解消して電子透かし情報を容易に検出可能とするためには、画像に電子透かし情報を強く埋め込まなければならないので、電子透かし情報を埋め込まれた画像の画質が著しく劣化する。However, the first method and the second method described above have the following first to fifth problems described below, and use a camera-equipped mobile information communication terminal such as a camera-equipped mobile phone to go to the website. It was pointed out that the method of connection cannot be said to have reached a sufficiently practical level.
(1) First problem Due to the influence of the lighting environment at the time of shooting with the built-in camera of the portable information communication terminal with camera, the resolution of the shot image may be insufficient, and in this case, the electronic embedded in the image It becomes difficult to detect watermark information.
(2) Second problem Due to the influence of the camera angle or the like when shooting with the built-in camera of the portable information communication terminal with camera, the shot image may be altered or the resolution of the image may be insufficient. In this case, it is difficult to detect digital watermark information embedded in the image.
(3) Third problem Due to the use method and processing speed of the built-in camera of the portable information communication terminal with a camera, it may be difficult to capture the image itself, or the decoding from the captured image may be delayed. In this case, it becomes difficult to detect digital watermark information embedded in the image.
(4) Fourth Problem Since there is a limit to the size of an image that can be taken by the built-in camera of the portable information communication terminal with camera, the amount of information of digital watermark information that can be embedded in the image is small.
(5) Fifth Problem In order to solve the above first to third problems and make it easy to detect digital watermark information, it is necessary to strongly embed digital watermark information in an image. The quality of the image with the embedded information is significantly deteriorated.

一方、上記したような電子透かし情報技術に関する問題点を解消するために、Ｗｅｂサイト接続情報をＱＲコードやバーコードとして当該画像に記載した場合には、当該画像の見映えが悪化するという新たな問題点を招来するものであった。
また、カメラ付き携帯情報通信端末の内蔵カメラでの撮影対象の画像（本明細書においては、「カメラ付き携帯情報通信端末の内蔵カメラでの撮影対象の画像」を適宜に「基画像」と称する。）をカメラ付き携帯情報通信端末の内蔵カメラで撮影すると、撮影した画像が大変ぼけたり、傾いたりあるいは変形したりして、基画像と比較すると画質が相当に劣化する場合がある。例えば、図１に示すように、図１（ａ）に示す基画像をカメラ付き携帯通信端末で撮影すると、図１（ｂ）に示すように画像が大変ぼけたり、傾いたりあるいは変形したりして、図１（ａ）に示す基画像と比較すると画質が相当に劣化する場合がある。
こうした画像の画質の劣化が激しい場合には、画像にＱＲコードやバーコードを記載してあっても、従来のカメラ付き携帯情報通信端末の内蔵カメラで撮影した画像からＱＲコードやバーコードを抽出する技術においては、画像に記載されたＱＲコードやバーコードの正確な照合を行うことは困難であった。On the other hand, in order to solve the problems related to the digital watermark information technology as described above, when the website connection information is described in the image as a QR code or a barcode, a new appearance that the appearance of the image deteriorates. It was a problem.
In addition, an image to be imaged by the built-in camera of the camera-equipped portable information communication terminal (in this specification, “an image to be imaged by the built-in camera of the camera-equipped portable information communication terminal” is appropriately referred to as a “base image”. )) With a built-in camera of a portable information communication terminal with a camera, the captured image may be very blurred, tilted, or deformed, and the image quality may be considerably deteriorated compared to the base image. For example, as shown in FIG. 1, when the base image shown in FIG. 1 (a) is taken with a camera-equipped mobile communication terminal, the image is very blurred, tilted, or deformed as shown in FIG. 1 (b). Thus, the image quality may be considerably degraded as compared with the base image shown in FIG.
If the image quality is severely degraded, the QR code or barcode is extracted from the image taken with the built-in camera of the conventional camera-equipped mobile information communication terminal even if the QR code or barcode is included in the image. In the technique, it is difficult to accurately collate the QR code or bar code described in the image.

なお、本願出願人が特許出願のときに知っている先行技術は、文献公知発明に係る発明ではないため、記載すべき先行技術文献情報はない。  Note that the prior art that the applicant of the present application knows at the time of filing a patent application is not an invention related to a known literature invention, so there is no prior art document information to be described.

本発明は、上記したような従来の技術の有する種々の問題点や要望に鑑みてなされたものであり、その目的とするところは、カメラ付き携帯情報通信端末による撮影の対象となる画像の画質を劣化させたり画像の見映えを悪化させたりすることなく、カメラ付き携帯電話などのカメラ付き携帯情報通信端末を用いてＷｅｂサイトへ接続する手法として十分な実用性を備えたカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体を提供しようとするものである。  The present invention has been made in view of the various problems and demands of the conventional technology as described above, and an object of the present invention is to provide an image quality of an image to be imaged by a portable information communication terminal with a camera. Mobile information communication with a camera that has sufficient practicality as a method for connecting to a website using a mobile information communication terminal with a camera such as a mobile phone with a camera without degrading the appearance or the appearance of an image A website connection method using a terminal, a website connection system using a portable information communication terminal with a camera, a program, and a computer-readable recording medium are provided.

また、本発明の目的とするところは、カメラ付き携帯情報通信端末による撮影の対象の画像を撮影した場合に、当該画像と比較すると撮影された画像の画質が相当に劣化していても、撮影された画像に基づいてＷｅｂサイトへ接続することを可能にしたカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体を提供しようとするものである。  In addition, an object of the present invention is to capture an image of a subject to be photographed by a portable information communication terminal with a camera even if the image quality of the photographed image is considerably deteriorated compared to the image. Web site connection method using camera-equipped mobile information communication terminal capable of connecting to website based on recorded image, Web site connection system using camera-equipped mobile information communication terminal, program, and computer-readable A recording medium is to be provided.

上記目的を達成するために、本発明は、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像から特徴量を抽出し、当該抽出した特徴量と所定のＷｅｂサイト接続情報と対にされた特徴量とを比較し、その比較結果に基づいて特徴量と対にされたＷｅｂサイト接続情報を検出し、検出したＷｅｂサイト接続情報に基づいてＷｅｂサイトへの接続を行うものである。
従って、本発明によれば、カメラ付き携帯情報通信端末の撮影の対象となる画像に対してＱＲコードやバーコードの付記やあるいは電子透かし情報の埋め込みなどのような何らの加工処理も行うことなく、そうした加工処理を全く行われていない画像をカメラ付き携帯情報通信端末に内蔵されたカメラで撮影することにより、実用上十分な正確性をもって当該画像に対応して設定されたＷｅｂサイトへ接続することが可能になる。
このため、本発明によれば、Ｗｅｂサイトに接続する際にカメラ付き携帯情報通信端末により撮影する対象の画像に対し、ＱＲコードやバーコードの付記やあるいは電子透かし情報の埋め込みなどのような、画像の画質を劣化させたり画像の見映えを悪化させたりする加工処理を行う必要がない。
また、本発明によれば、Ｗｅｂサイトに接続する際にカメラ付き携帯情報通信端末により撮影する対象の画像に対して一切の加工処理を行うことなく、当該画像から特徴量を抽出して、予めＷｅｂサイト接続情報と対にされた特徴量と当該抽出した特徴量とを照合するようにしたものであるので、例えば、図１（ａ）（ｂ）に示す程度の視覚および脳を用いた人間の判断によれば同一と判断できる程度の画像劣化であるならば、図１（ａ）に示す基画像と図１（ｂ）に示すカメラ付き携帯情報通信端末で撮影した画像とを同一と判断するのに十分な特徴量を抽出でき、抽出した特徴量から図１（ａ）に示す基画像と図１（ｂ）に示すカメラ付き携帯情報通信端末で撮影した画像とを照合して同一と判断することが十分可能であって、実用レベルとして問題ないものである。In order to achieve the above object, the present invention extracts a feature amount from an image photographed by a camera built in a portable information communication terminal with a camera, and pairs the extracted feature amount with predetermined Web site connection information. The detected feature value is compared, the website connection information paired with the feature value is detected based on the comparison result, and the connection to the website is performed based on the detected website connection information.
Therefore, according to the present invention, the image to be captured by the portable information communication terminal with a camera is not subjected to any processing such as appending a QR code or barcode or embedding digital watermark information. By capturing an image that has not been subjected to such processing at all with a camera built in the portable information communication terminal with camera, it is possible to connect to a website set in correspondence with the image with sufficient practical accuracy. It becomes possible.
For this reason, according to the present invention, such as QR code or barcode addition or embedding of digital watermark information, etc. on the image to be photographed by the portable information communication terminal with camera when connecting to the website, There is no need to perform processing that degrades the image quality or the appearance of the image.
In addition, according to the present invention, the feature amount is extracted from the image without performing any processing on the image to be captured by the camera-equipped mobile information communication terminal when connecting to the website, Since the feature quantity paired with the Web site connection information and the extracted feature quantity are collated, for example, a person using the vision and the brain shown in FIGS. 1 (a) and 1 (b). If the image deterioration is such that the images can be determined to be the same, the base image shown in FIG. 1 (a) and the image taken with the camera-equipped mobile information communication terminal shown in FIG. 1 (b) are determined to be the same. A sufficient feature quantity can be extracted, and the base image shown in FIG. 1A and the image taken by the camera-equipped mobile information communication terminal shown in FIG. Judgment is possible enough and Those no problem with the.

そして、本発明は、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像に基づいて、カメラ付き携帯情報通信端末を上記画像に関連付けられたＷｅｂサイトへ接続するカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法において、Ｗｅｂサイトと関連付けられた所定の画像の特徴量を予め記憶しておき、カメラ付き携帯通信端末に内蔵されたカメラにより撮影された画像から抽出された特徴量と上記予め記憶した特徴量とを比較し、上記比較した結果に基づいて、上記予め記憶した特徴量に対応する画像と関連付けられたＷｅｂサイトへ接続するようにしたものである。
また、本発明は、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像に基づいて、カメラ付き携帯情報通信端末を上記画像に関連付けられたＷｅｂサイトへ接続するカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムにおいて、Ｗｅｂサイトと関連付けられた所定の画像の特徴量を、上記Ｗｅｂサイトへの接続情報と関連付けて記憶した記憶手段と、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像から特徴量を抽出する抽出手段と、上記記憶手段に記憶された特徴量と上記抽出手段により抽出された特徴量とを比較する比較手段と、上記比較手段の比較結果に基づいて、上記記憶手段に記憶された特徴量に関連付けられた接続情報に基づいてＷｅｂサイトへ接続する接続手段とを有するようにしたものである。
ここで、上記特徴量は、画像の所定の領域のグレースケール値を示す曲線の傾きおよび規格化した曲線データとしてもよい。
また、上記画像のサイズは、縦１２８ピクセル×横１２８ピクセルのピクセルサイズとしてもよい。And this invention is based on the image image | photographed with the camera incorporated in the portable information communication terminal with a camera, The portable information communication terminal with a camera which connects the portable information communication terminal with a camera to the website linked | related with the said image In the Web site connection method using, a feature amount of a predetermined image associated with the Web site is stored in advance, and a feature amount extracted from an image photographed by a camera built in a camera-equipped mobile communication terminal; The feature quantity stored in advance is compared, and based on the comparison result, a connection is made to a website associated with an image corresponding to the feature quantity stored in advance.
The present invention also provides a camera-equipped portable information communication terminal that connects a camera-equipped portable information communication terminal to a website associated with the image based on an image taken by a camera built in the camera-equipped portable information communication terminal. In a website connection system using the above, a storage means for storing a feature amount of a predetermined image associated with the website in association with the connection information to the website, and a camera built in the portable information communication terminal with camera Based on the comparison result of the extraction means for extracting the feature amount from the image photographed by the above, the comparison means for comparing the feature amount stored in the storage means with the feature amount extracted by the extraction means, and the comparison means And connecting means for connecting to the website based on the connection information associated with the feature value stored in the storage means. It is obtained by way.
Here, the feature amount may be a slope of a curve indicating a gray scale value of a predetermined area of the image and normalized curve data.
The size of the image may be a pixel size of vertical 128 pixels × horizontal 128 pixels.

本発明は、カメラ付き携帯情報通信端末による撮影の対象となる画像の画質を劣化させたり画像の見映えを悪化させたりすることなく、カメラ付き携帯電話などのカメラ付き携帯情報通信端末を用いてＷｅｂサイトへ接続する手法として十分な実用性を備えたカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体を提供することができるという優れた効果を奏する。
また、本発明は、カメラ付き携帯情報通信端末による撮影の対象の画像を撮影した場合に、当該画像と比較すると撮影された画像の画質が相当に劣化していても、撮影された画像に基づいてＷｅｂサイトへ接続することを可能にしたカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体を提供することができるという優れた効果を奏する。The present invention uses a mobile information communication terminal with a camera, such as a mobile phone with a camera, without degrading the image quality of an image to be photographed by the mobile information communication terminal with a camera or deteriorating the appearance of the image. WEB SITE CONNECTION METHOD USING CAMERA PORTABLE INFORMATION COMMUNICATION TERMINAL HAVING FULL PRACTIVITY AS METHOD FOR CONNECTING TO WEB SITE, WEB SITE CONNECTION SYSTEM USING CAMERA PORTABLE INFORMATION COMMUNICATION DEVICE It is possible to provide an excellent effect.
In addition, the present invention is based on a photographed image even if the image of the photographed image is considerably deteriorated compared to the image when the photographed object is photographed by the portable information communication terminal with a camera. The present invention provides a website connection method using a camera-equipped portable information communication terminal that enables connection to a website, a website connection system using a camera-equipped portable information communication terminal, a program, and a computer-readable recording medium. There is an excellent effect of being able to.

図１は、基画像とカメラ付き携帯情報通信端末で撮影した画像との比較例を示し、（ａ）は基画像を示し、（ｂ）はカメラ付き携帯情報通信端末で撮影した画像を示す。FIG. 1 shows a comparative example of a base image and an image taken with a camera-equipped mobile information communication terminal, where (a) shows a base image and (b) shows an image taken with a camera-equipped mobile information communication terminal. 図２は、本発明によるカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムの実施の形態の一例の全体構成説明図である。FIG. 2 is a diagram illustrating the overall configuration of an example of an embodiment of a website connection system using a portable information communication terminal with a camera according to the present invention. 図３は、画像のサイズの変換処理を示す説明図であり、（ａ）に示す撮影サイズから、（ｂ）に示す縦１２８ピクセル×横１２８ピクセルのピクセルサイズに変換する。FIG. 3 is an explanatory diagram showing image size conversion processing, in which the image size shown in FIG. 3A is converted into a pixel size of 128 pixels vertically × 128 pixels horizontally shown in FIG. 図４は、グレースケール化処理を示す説明図であり、（ａ）に示すフルカラーデータを、（ｂ）に示すグレースケールデータに変換する。FIG. 4 is an explanatory diagram showing the gray scale processing, in which the full color data shown in (a) is converted into gray scale data shown in (b). 図５は、ローパスフィルタリング処理を示す説明図であり、（ａ）に示すグレースケールデータに対してローパスフィルタリング処理を施すことにより、（ｂ）に示す基準化画像データを生成する。FIG. 5 is an explanatory diagram showing the low-pass filtering process. By performing the low-pass filtering process on the grayscale data shown in (a), the standardized image data shown in (b) is generated. 図６（ａ）は基画像から切り出した断面データの一例を示し、図６（ｂ）は図６（ａ）に示す断面データを０〜２５５の範囲で規格化したデータ、即ち、規格化された断面データを示す。6A shows an example of cross-sectional data cut out from the base image, and FIG. 6B shows data obtained by normalizing the cross-sectional data shown in FIG. 6A in the range of 0 to 255, that is, normalized. Cross section data is shown. 図７は、カメラ付き携帯情報通信端末で撮影した画像の画像データから断面線を設定する手法を示す説明図であり、図７中において、符号Ａは撮影画像を示し、符号Ｂは携帯画面を示し、符号Ｃは断面線を示し、符号Ｈは画面縦サイズを示し、符号Ｗは画面横サイズを示し、符号ＹＤは縦断面線間距離を示し、符号ＸＤは横断面線間距離を示す。FIG. 7 is an explanatory diagram showing a method for setting a cross-sectional line from image data of an image taken by a portable information communication terminal with a camera. In FIG. 7, reference A indicates a captured image, and reference B indicates a mobile screen. Reference numeral C indicates a cross-sectional line, reference numeral H indicates a vertical screen size, reference sign W indicates a horizontal screen size, reference sign YD indicates a distance between vertical cross-section lines, and reference sign XD indicates a distance between cross-sectional lines. 図８（ａ）は基画像から切り出した断面データを規格化した後の断面データ（規格化された断面データ）を示し、図８（ｂ）はカメラ付き携帯電話で撮影した画像データから切り出した断面データを規格化した後の断面データ（撮影の際に光の影響で変形された断面データ）を示す。FIG. 8A shows cross-sectional data (standardized cross-sectional data) after standardizing the cross-sectional data cut out from the base image, and FIG. 8B is cut out from the image data taken with the camera-equipped mobile phone. The cross-sectional data after normalizing the cross-sectional data (the cross-sectional data deformed by the influence of light during photographing) is shown.

符号の説明Explanation of symbols

１０ カメラ付き携帯電話
１０ａ 表示画面
１２ データベース
１４ 関連Ｗｅｂサイト
１６ サーバ10 Mobile phone with camera 10a Display screen 12 Database 14 Related website 16 Server

以下、添付の図面に基づいて、本発明によるカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法、カメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体の実施の形態の一例を詳細に説明するものとする。  Hereinafter, based on the attached drawings, implementation of a website connection method using a camera-equipped portable information communication terminal, a website connection system using a camera-equipped portable information communication terminal, a program, and a computer-readable recording medium according to the present invention An example of this form will be described in detail.

図２には、本発明によるカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムの実施の形態の一例の全体構成説明図である。なお、図２においては、理解を容易にするために、カメラ付き携帯情報通信端末の一例としてカメラ付き携帯電話を示しており、以下においては、カメラ付き携帯電話を例にして説明する。
この図２に示すカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム（以下、「発明を実施するための最良の形態」の項においては、単に「Ｗｅｂサイト接続システム」と称する。）は、カメラ付き携帯電話１０の表示画面１０ａ上に基画像に基づいて接続されたＷｅｂサイトのＷｅｂページを表示するサービスを実施するに際し、予めデータベース１２に登録された基画像の所定の特徴量とカメラ付き携帯電話１０の内蔵カメラで撮影した画像から抽出された所定の特徴量とを照合し、その照合結果に基づいて、カメラ付き携帯電話１０を基画像の所定の特徴量と対にして設定されたＷｅｂサイト（以下、「基画像の所定の特徴量と対にして設定されたＷｅｂサイト」を、単に「関連Ｗｅｂサイト」と称する。）１４に接続し、カメラ付き携帯電話１０の表示画面１０ａ上に関連Ｗｅｂサイト１４のＷｅｂページを表示するものである。
即ち、予め、カメラ付き携帯電話１０あるいは他の任意のカメラにより基画像を撮影し、撮影した画像から切り出した断面データをサーバ１６に送信して、サーバ１６内において基画像から所定の特徴量を抽出する処理を行い（基画像やカメラ付き携帯電話１０の内蔵カメラで撮影した画像から所定の特徴量を抽出する処理の詳細については、後ほど図面を参照しながら詳述する。）、抽出した所定の特徴量を基画像のＷｅｂサイト接続情報（この実施の形態においては、理解を容易にするために、Ｗｅｂサイト接続情報の一例としてＵＲＬ情報を示しており、以下においては、ＵＲＬ情報を例にして説明する。）と対にしてデータベース１２に登録しておく（図２−（１）基画像の特徴量・ＵＲＬ情報の登録）。
そして、カメラ付き携帯電話１０の内蔵カメラで撮影した画像を撮影すると（図２−（２）撮影）、撮影した画像から切り出した断面データをサーバ１６に送信して（図２−（３）送信）、サーバ１６内において撮影した画像から所定の特徴量を抽出する処理を行う。
それから、サーバ１６は、カメラ付き携帯電話１０の内蔵カメラで撮影した画像から抽出した所定の特徴量と基画像から抽出した所定の特徴量とを照合し（図２−（４）照合）、その照合結果に基づいて基画像から抽出した所定の特徴量と対のＵＲＬ情報を検出し、検出したＵＲＬ情報をカメラ付き携帯電話へ返信する。
カメラ付き携帯電話１０は、サーバ１６から送信されたＵＲＬ情報を受信すると（図２−（５）受信）、受信したＵＲＬ情報により当該ＵＲＬ情報が示す関連Ｗｅｂサイト１４にアクセスして接続し（図２−（６）関連サイトへアクセス）、カメラ付き携帯電話１０の表示画面１０ａ上に関連Ｗｅｂサイト１４のＷｅｂページを表示する。FIG. 2 is a diagram illustrating the overall configuration of an example of an embodiment of a website connection system using a portable information communication terminal with a camera according to the present invention. In FIG. 2, for easy understanding, a camera-equipped mobile phone is shown as an example of a camera-equipped mobile information communication terminal. Hereinafter, a camera-equipped mobile phone will be described as an example.
The website connection system using the camera-equipped mobile information communication terminal shown in FIG. 2 (hereinafter simply referred to as “website connection system” in the section “Best Mode for Carrying Out the Invention”). When performing a service for displaying a web page of a website connected based on the base image on the display screen 10a of the camera-equipped mobile phone 10, a predetermined feature amount of the base image previously registered in the database 12 and the camera attached A predetermined feature amount extracted from an image captured by the built-in camera of the mobile phone 10 is collated, and the camera-equipped mobile phone 10 is set to be paired with a predetermined feature amount of the base image based on the collation result. A web site (hereinafter, “a web site set in a pair with a predetermined feature amount of the base image” is simply referred to as “related web site”) 14, and On the display screen 10a of the camera-equipped mobile phone 10 is intended to display the Web page of the associated Web site 14.
That is, a base image is captured in advance using the camera-equipped mobile phone 10 or any other camera, cross-sectional data cut out from the captured image is transmitted to the server 16, and a predetermined feature amount is obtained from the base image in the server 16. A process of extracting is performed (details of a process of extracting a predetermined feature amount from a base image or an image photographed by a built-in camera of the camera-equipped mobile phone 10 will be described in detail later with reference to the drawings). In this embodiment, for ease of understanding, URL information is shown as an example of website connection information. In the following, URL information is used as an example. And registered in the database 12 as a pair (FIG. 2- (1) registration of feature quantity / URL information of base image).
Then, when an image captured by the built-in camera of the camera-equipped mobile phone 10 is captured (FIG. 2- (2)), the cross-sectional data cut out from the captured image is transmitted to the server 16 (FIG. 2- (3) transmission). ), A process of extracting a predetermined feature amount from an image taken in the server 16 is performed.
Then, the server 16 collates the predetermined feature amount extracted from the image taken by the built-in camera of the camera-equipped mobile phone 10 with the predetermined feature amount extracted from the base image (FIG. 2- (4) collation). Based on the collation result, URL information paired with a predetermined feature amount extracted from the base image is detected, and the detected URL information is returned to the camera-equipped mobile phone.
When the camera-equipped mobile phone 10 receives the URL information transmitted from the server 16 (received in FIG. 2 (5)), the camera-equipped mobile phone 10 accesses and connects to the related website 14 indicated by the URL information by the received URL information (see FIG. 2). 2- (6) Access to related sites), and display the Web page of the related Web site 14 on the display screen 10a of the camera-equipped mobile phone 10.

より詳細には、「図２−（１）基画像の特徴量・ＵＲＬ情報の登録」の処理は、関連Ｗｅｂサイトを提供してカメラ付き携帯電話１０の表示画面１０ａ上でＷｅｂページを閲覧することを可能にしたサービスを行うサービス事業者側で実行される処理の手順を示している。
即ち、サービス事業者側においては、後にカメラ付き携帯電話１０から送られてきた当該カメラ付き携帯電話１０で撮影された画像の特徴量との照合を行うために、基画像の所定の特徴量を関連Ｗｅｂサイト１４のＵＲＬ情報と対にしてデータベース１２に予め登録しておくことになる。
この処理の詳細については後述するが、その概要を説明すると、まず、関連サイトによる情報を提供するサービスの対象とする基画像をデジタルカメラなどで撮影して電子データとした基画像データを、縦方向と横方向とがそれぞれ１２８ピクセルのピクセルサイズ（縦１２８ピクセル×横１２８ピクセルのピクセルサイズ）の大きさにサイズ変換処理し、次にグレースケール化処理を行い、さらにローパスフィルタリング処理を行うことで、基画像における基準化画像データへと変換し、変換した基準化画像データから縦方向と横方向とからそれぞれとれる断面線（断面線の詳細については、後述する。）を設定し、設定した断面線における断面データを切り出し、切り出した断面データを０〜２５５の範囲で規格化させ、規格化させた断面データから後述する手法により抽出した特徴量を所定の特徴量として、基画像に対応する関連Ｗｅｂサイト１４のＵＲＬ情報と関連付けてデータベースに登録する。
なお、「断面データを０〜２５５の範囲で規格化」するとは、上記したサイズ変換処理、グレースケール化処理およびローパスフィルタリング処理を施された基準化画像の断面データで０〜２５５の範囲で表示された数値（上記したローパスフィルタリング処理までの処理で、０〜２５５の範囲のうち限られた範囲しか使用していない。）を、画像サイズである０〜２５５の範囲内で全ての範囲を使用して数値を表示するように規格化することを意味する。これによって、のちに照合の対象となる撮影の環境などによって変わるカメラ付き携帯電話１０で撮影した画像の断面データの幅を考慮して、カメラ付き携帯電話１０で撮影して切り出した画像データを０〜２５５に規格化したデータと比較することができるようになる。More specifically, in the process of “FIG. 2-(1) Registration of Feature Value / URL Information of Base Image”, a related Web site is provided to browse a Web page on the display screen 10 a of the camera-equipped mobile phone 10. It shows the procedure of processing executed on the service provider side that performs the service that makes it possible.
That is, on the service provider side, a predetermined feature amount of the base image is set in order to collate with a feature amount of an image photographed by the camera-equipped mobile phone 10 that is sent later from the camera-equipped mobile phone 10. The URL information of the related website 14 is registered in advance in the database 12 as a pair.
The details of this process will be described later, but the outline will be explained. First, the basic image data obtained by photographing the basic image targeted for the service providing information from the related site with a digital camera or the like as electronic data is The size and the horizontal direction are each converted to a size of 128 pixels (vertical 128 pixels × horizontal 128 pixels), then grayscaled, and then low-pass filtered. , By converting into standardized image data in the base image, setting cross-sectional lines (details of cross-sectional lines will be described later) taken from the converted standardized image data in the vertical direction and the horizontal direction, respectively, and setting the cross-section Cut out the cross-section data in the line, normalized the cut-out cross-section data in the range of 0-255, and normalized The features extracted by the method described below from the data as a predetermined feature amount is registered in the database in association with the URL information of the Web sites 14 corresponding to the original image.
Note that “normalize the cross-sectional data in the range of 0 to 255” means that the cross-sectional data of the standardized image that has been subjected to the above-described size conversion processing, gray scale processing, and low-pass filtering processing is displayed in the range of 0 to 255. All the ranges are used within the range of 0 to 255, which is the image size, using the numerical values (only the limited range among the range of 0 to 255 is used in the processing up to the low-pass filtering process described above). This means normalization to display numerical values. As a result, in consideration of the width of the cross-sectional data of the image captured by the camera-equipped mobile phone 10 that changes depending on the shooting environment to be collated later, the image data captured by the camera-equipped cellular phone 10 is extracted as 0. It becomes possible to compare with data normalized to ˜255.

次に、「図２−（２）撮影」〜「図２−（６）関連Ｗｅｂサイトへアクセス」の処理は、ユーザーがカメラ付き携帯電話１０における画像の撮影から関連Ｗｅｂサイト１４へ接続して、カメラ付き携帯電話１０の表示画面１０ａ上に関連Ｗｅｂサイト１４のＷｅｂページを表示するまでの手順を示している。
即ち、「図２−（２）撮影」の処理においては、ユーザーがカメラ付き携帯電話１０の内蔵カメラにより、サービス事業者が関連Ｗｅｂサイト１４を提供するサービスの対象としている画像を撮影すると、当該撮影した画像の画像データが生成される。
次に、こうして生成された画像データを、後述するように、変換した基準化画像データから縦方向と横方向にそれぞれ３セットの断面データ、即ち、合計で６セットの断面データを切り出す。ここで、切り出した断面データはグレースケール処理を施されてもよい。Next, in the processes of “FIG. 2-(2) shooting” to “FIG. 2-(6) access to related website”, the user connects to the related website 14 from shooting an image on the camera-equipped mobile phone 10. The procedure until the Web page of the related Web site 14 is displayed on the display screen 10a of the camera-equipped mobile phone 10 is shown.
That is, in the process of “FIG. 2-(2)”, when the user captures an image that is a target of a service provided by the service provider with the built-in camera of the camera-equipped mobile phone 10, Image data of the captured image is generated.
Next, as will be described later, three sets of cross-sectional data in the vertical and horizontal directions, that is, a total of six sets of cross-sectional data, are cut out from the image data thus generated. Here, the cut-out cross-sectional data may be subjected to gray scale processing.

次に、「図２−（３）送信」の処理においては、「図２−（２）撮影」の処理において切り出して断面データのみを、カメラ付き携帯電話１０からサーバ１６へ送信する。
そして、サーバ１６においては、断面データを、照合の対象となる画像以外の余白を取り除き、１２８ピクセルサイズに変換処理を行い、次にローパスフィルタリング処理を行い、上記した「図２−（１）基画像の特徴量・ＵＲＬ情報の登録」の処理におけると同様に、処理後の断面データを０〜２５５の範囲で規格化させ、規格化させた断面データから後述する手法により所定の特徴量を抽出する。
さらに、抽出した所定の特徴量と予め関連ＷｅｂサイトのＵＲＬ情報と関連付けてデータベース１２に登録されている所定の特徴量とを照合し、照合結果が一致した場合にのみ、互い一致した予め登録してある所定の特徴量と関連付けて登録されているＵＲＬ情報をデータベース１２から取得する。なお、この処理の詳細については後述する。Next, in the process of “FIG. 2- (3) transmission”, only the cross-sectional data cut out in the process of “FIG. 2- (2) imaging” is transmitted from the camera-equipped mobile phone 10 to the server 16.
Then, the server 16 removes margins other than the image to be collated, converts the cross-sectional data into a 128-pixel size, performs a low-pass filtering process, and performs the above-described “FIG. 2- (1) basis”. As in the processing of “Registering image feature amount / URL information”, the processed cross-sectional data is normalized in the range of 0 to 255, and a predetermined feature amount is extracted from the standardized cross-sectional data by a method described later. To do.
Further, the extracted predetermined feature quantity is collated with the predetermined feature quantity registered in the database 12 in advance in association with the URL information of the related website, and only when the collation result is matched, the matching is registered in advance. URL information registered in association with a predetermined feature amount is acquired from the database 12. Details of this process will be described later.

次に、「図２−（５）受信」の処理においては、「図２−（４）照合」の処理において取得したＵＲＬ情報を、カメラ付き携帯電話１０へ送信する。  Next, in the process of “FIG. 2- (5) reception”, the URL information acquired in the process of “FIG. 2- (4) collation” is transmitted to the camera-equipped mobile phone 10.

次に、「図２−（６）関連Ｗｅｂサイトへのアクセス」の処理においては、カメラ付き携帯電話１０がサーバ１６から送信されたＵＲＬ情報を受信すると、カメラ付き携帯電話１０は受信したＵＲＬ情報により当該ＵＲＬ情報が示す関連Ｗｅｂサイト１４にアクセスして接続し、カメラ付き携帯電話１０の表示画面１０ａ上に関連Ｗｅｂサイト１４のＷｅｂページを表示する。  Next, in the process of “FIG. 2- (6) Access to Related Web Site”, when the camera-equipped mobile phone 10 receives the URL information transmitted from the server 16, the camera-equipped mobile phone 10 receives the received URL information. To access and connect to the related website 14 indicated by the URL information, and display the web page of the related website 14 on the display screen 10a of the camera-equipped mobile phone 10.

以下に、上記した「図２−（１）基画像の特徴量・ＵＲＬ情報の登録」の処理において実行される変換処理たる、基画像データを基準化画像データに変換する処理について詳細に説明する。
即ち、基画像データを基準化画像データに変換する処理においては、まず、図３に示すように、デジタルカメラなどで撮影した基画像の画像データたる基画像データの画像のサイズを、撮影サイズから縦１２８ピクセル×横１２８ピクセルのピクセルサイズに変換する。
こうした画像のサイズの変換処理を行うことにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像のサイズなどが、カメラ付き携帯電話１０の性能や撮影サイズあるいは撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、上記したカメラ付き携帯電話１０の性能や撮影サイズあるいは撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、サイズの規格化により比較されるそれぞれのインデックス値ｉ（後述する。）が同一の位置を指すために、それぞれのインデックス値ｉにおけるｆ（ｉ）（後述する。）の大きさに大小の差があっても式１（後述する。）により−１、０もしくは１として表示される特徴量Ｓ（ｉ）（後述する。）を求めて比較した結果はほぼ同一で、後述する式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。The process for converting the base image data into the standardized image data, which is the conversion process executed in the process of “FIG. 2- (1) Registration of Feature Quantity / URL Information of Base Image” described above, will be described in detail below. .
That is, in the process of converting the base image data into the standardized image data, first, as shown in FIG. 3, the size of the base image data, which is the base image image data captured by a digital camera or the like, is determined from the captured size. The pixel size is converted into a pixel size of 128 vertical pixels × 128 horizontal pixels.
By performing such an image size conversion process, the size of an image taken by the camera-equipped mobile phone 10 to be verified later can be changed depending on the performance of the camera-equipped mobile phone 10, the photographing size, or various conditions ( Even if it deteriorates depending on the shooting angle, shooting distance, brightness at the time of shooting, etc.), it is possible to perform sufficient verification at a practical level.
In this way, sufficient verification can be performed at a practical level because the cross-sectional data cut out from the base image and the cross-sectional data after normalization and the image data taken with the camera-equipped mobile phone 10 are cut out. When comparing the cross-sectional data after standardizing the cross-sectional data, the image data taken by the mobile phone 10 with the camera due to the above-mentioned performance of the mobile phone 10 with the camera, the shooting size, or various conditions at the time of shooting. Even when the cross-sectional data after normalizing the cross-sectional data cut out from the image is deformed as compared with the base image data, the respective index values i (to be described later) compared by the size normalization are the same position. Therefore, even if there is a large or small difference in the size of f (i) (described later) in each index value i, Equation 1 (described later). The results obtained by comparing and calculating the characteristic amount S (i) (described later) displayed as −1, 0, or 1 are almost the same, and are expressed by Equation 2, Equation 3, Equation 4, Equation 5, and Equation 6 described later. This is because it is possible to confirm the identity between the base image to be verified and the image taken by the camera-equipped mobile phone 10.

それから、図４に示すように、縦１２８ピクセル×横１２８ピクセルのピクセルサイズに変換した基画像データに対してグレースケール化処理を行う。即ち、一般に、基画像データは、デジタルカメラなどで画像を撮影することにより生成される撮影色を示すＲＧＢのフルカラーデータであるが、これに対して輝度値を示すグレースケール化処理を行ってグレースケールデータに変換する。
こうしたグレースケール化処理を行うことにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像の色などが、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、上記したカメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、比較されるそれぞれのインデックス値ｉにおけるｆ（ｉ）（後述する。）の大きさに大小の差があっても式１により−１、０もしくは１として表示される特徴量Ｓ（ｉ）（後述する。）を求めて比較した結果はほぼ同一で、後述する式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。
なお、基画像データが最初からグレースケールデータである場合には、このグレースケール化処理を行う必要はない。Then, as shown in FIG. 4, gray scale processing is performed on the base image data converted to a pixel size of 128 vertical pixels × 128 horizontal pixels. That is, in general, the base image data is RGB full-color data indicating a shooting color generated by shooting an image with a digital camera or the like. Convert to scale data.
By performing such grayscale processing, the color of an image captured by the camera-equipped mobile phone 10 to be verified later can be changed depending on the performance of the camera-equipped mobile phone 10 and various conditions (shooting angle, shooting distance). Even when the image quality deteriorates depending on the brightness at the time of shooting, etc.), it is possible to perform sufficient verification at a practical level.
In this way, sufficient verification can be performed at a practical level because the cross-sectional data cut out from the base image and the cross-sectional data after normalization and the image data taken with the camera-equipped mobile phone 10 are cut out. When the cross-sectional data is compared with the cross-sectional data after normalization, it is cut out from the image data captured by the camera-equipped mobile phone 10 due to the above-described performance of the camera-equipped mobile phone 10 and various conditions during photographing. Even when the cross-sectional data after normalizing the cross-sectional data is deformed as compared with the base image data, the difference in magnitude of f (i) (described later) at each index value i to be compared is large. Even if there is, the result of comparison of the feature amount S (i) (described later) displayed as −1, 0, or 1 by Equation 1 is almost the same, and Equation 2 and Equation 2 described later are the same. Formula 4, is because it is possible formulas by 5 and Equation 6, to confirm the identity of the images captured by original image and a camera-equipped cellular phone 10 to be collated.
When the base image data is grayscale data from the beginning, it is not necessary to perform this grayscale processing.

次に、図５に示すように、グレースケール化した基画像データに対してローパスフィルタリング処理を施すことにより、基準化画像データを生成する。
こうしたローパスフィルタリング処理を施すことにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像の解像度などが、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、上記したカメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、比較されるそれぞれのインデックス値ｉ（後述する。）におけるｆ（ｉ）（後述する。）の大きさに大小の差があっても式１により−１、０もしくは１として表示される特徴量Ｓ（ｉ）（後述する。）を求めて比較した結果はほぼ同一で、式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。Next, as shown in FIG. 5, the low-pass filtering process is performed on the grayscale base image data to generate the standardized image data.
By performing such a low-pass filtering process, the resolution of an image photographed by the camera-equipped mobile phone 10 to be collated later, the performance of the camera-equipped cellular phone 10 and various conditions at the time of photographing (shooting angle, photographing distance or Even when the image quality deteriorates depending on the brightness at the time of shooting, etc.), it is possible to perform sufficient verification at a practical level.
In this way, it is possible to perform sufficient verification at a practical level because the cross-section data after normalization of the cross-section data cut out from the base image and the cross-section cut out from the image data taken with the camera-equipped mobile phone When comparing the cross-sectional data after normalizing the data, the cross-section cut out from the image data taken with the camera-equipped mobile phone 10 due to the above-described performance of the camera-equipped mobile phone 10 and various conditions during photographing. Even when the cross-sectional data after standardizing the data is deformed compared to the base image data, the magnitude of f (i) (described later) in each index value i (described later) to be compared. Even if there is a difference in size, the result of comparing and calculating the characteristic amount S (i) (described later) displayed as -1, 0, or 1 according to Equation 1 is almost the same. 3, Formula 4, it is because it can Formula by 5 and Equation 6, to confirm the identity of the images captured by original image and a camera-equipped cellular phone 10 to be collated.

上記のようにして、縦１２８ピクセル×横１２８ピクセルのピクセルサイズに変換した基画像データを生成すると、この生成した基画像データに対して、当該基画像データにより示される画像の縦方向ピクセルに沿ってそれぞれ１２８列（横方向には１２８ピクセル並んでいる。）整列している各列が１２８ピクセルを有する１２８本の列方向線と、当該基画像データにより示される画像の横方向に沿ってそれぞれ１２８行（縦方向には１２８ピクセル並んでいる。）整列している各行が１２８ピクセルを有する１２８本の行方向線とを設定する。
なお、本明細書においては、画像データにより示される画像の縦方向ピクセルに沿ってそれぞれ整列している列方向線と当該画像の横方向に沿ってそれぞれ整列している行方向線とを総称して「断面線」と称する。
従って、縦１２８ピクセル×横１２８ピクセルのピクセルサイズに変換した基画像データにおいては、１２８本の列方向線と１２８本の行方向線とを合わせた２５６本の断面線が設定されることになる。
このように１２８本の列方向線と１２８本の行方向線とを合わせた２５６本の断面線が設定することにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像が、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、上記したカメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、比較されるそれぞれのインデックス値ｉ（後述する。）におけるｆ（ｉ）（後述する。）の大きさに大小の差があっても式１により−１、０もしくは１として表示される特徴量Ｓ（ｉ）（後述する。）を求めて比較した結果はほぼ同一で、式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。As described above, when the base image data converted into the pixel size of vertical 128 pixels × horizontal 128 pixels is generated, the generated base image data is along the vertical pixels of the image indicated by the base image data. 128 columns (128 pixels are arranged in the horizontal direction), and 128 column direction lines in which each aligned column has 128 pixels, respectively, along the horizontal direction of the image indicated by the base image data. 128 rows (128 pixels are arranged in the vertical direction) Each row being arranged sets 128 row direction lines having 128 pixels.
In this specification, the column direction lines aligned along the vertical pixels of the image indicated by the image data and the row direction lines aligned along the horizontal direction of the image are collectively referred to. This is referred to as “cross-sectional line”.
Therefore, in the base image data converted to a pixel size of 128 vertical pixels × 128 horizontal pixels, 256 cross-sectional lines including 128 column direction lines and 128 row direction lines are set. .
In this way, by setting 256 cross-sectional lines, which are a combination of 128 column direction lines and 128 row direction lines, an image captured by the camera-equipped mobile phone 10 to be verified later is attached to the camera. Even in the case of deterioration depending on the performance of the mobile phone 10 and various conditions at the time of shooting (shooting angle, shooting distance, brightness at the time of shooting, etc.), sufficient verification can be performed at a practical level. It becomes possible.
In this way, sufficient verification can be performed at a practical level because the cross-sectional data cut out from the base image and the cross-sectional data after normalization and the image data taken with the camera-equipped mobile phone 10 are cut out. When the cross-sectional data is compared with the cross-sectional data after normalization, it is cut out from the image data captured by the camera-equipped mobile phone 10 due to the above-described performance of the camera-equipped mobile phone 10 and various conditions during photographing. Even when the cross-sectional data after normalizing the cross-sectional data is deformed as compared with the base image data, the magnitude of f (i) (described later) in each index value i (described later) to be compared. Even if there is a large or small difference, the result of comparison of the feature amount S (i) (described later) displayed as −1, 0, or 1 according to Equation 1 is almost the same. Formula 3, Formula 4, it is because it can Formula by 5 and Equation 6, to confirm the identity of the images captured by original image and a camera-equipped cellular phone 10 to be collated.

上記のようにして２５６本の断面線を設定すると、この２５６本の断面線のそれぞれについて、断面線に沿って断面データを取得する。具体的には、断面線に沿う各ピクセルのグレースケール値を取得して、この断面線に沿う各ピクセルのグレースケール値を断面データとする。即ち、本明細書においては、断面線に沿う各ピクセルのグレースケール値を示すデータを「断面データ」と称している。
図６（ａ）には断面データの一例が示されているが、次に、この断面データを０〜２５５の範囲で規格化する。図６（ｂ）には、図６（ａ）に示す断面データを規格化したデータが示されている。
このように断面データを規格化することにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像が、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、いずれも断面データを０〜２５５の範囲で規格化されているため、カメラ付き携帯電話１０で撮影した画像データに設定した断面線は、基画像データに設定した２５６本の断面線のうちのいずれか、例えば、４本の断面線と同一となり、上記したカメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯情報端末で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、比較されるそれぞれのインデックス値ｉ（後述する。）におけるｆ（ｉ）（後述する。）の大きさに大小の差があっても式１により−１、０もしくは１として表示される特徴量Ｓ（ｉ）（後述する。）を求めて比較した結果はほぼ同一で、式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。When 256 cross-sectional lines are set as described above, cross-sectional data is acquired along the cross-sectional line for each of the 256 cross-sectional lines. Specifically, the gray scale value of each pixel along the cross-sectional line is acquired, and the gray scale value of each pixel along the cross-sectional line is used as cross-sectional data. That is, in this specification, data indicating the gray scale value of each pixel along the cross-sectional line is referred to as “cross-sectional data”.
FIG. 6A shows an example of the cross-sectional data. Next, the cross-sectional data is normalized in the range of 0 to 255. FIG. 6B shows data obtained by normalizing the cross-sectional data shown in FIG.
By normalizing the cross-sectional data in this way, an image captured by the camera-equipped mobile phone 10 to be verified later can be obtained from the performance of the camera-equipped cellular phone 10 and various conditions (shooting angle, shooting distance or Even when the image quality deteriorates depending on the brightness at the time of shooting, etc.), it is possible to perform sufficient verification at a practical level.
In this way, sufficient verification can be performed at a practical level because the cross-sectional data cut out from the base image and the cross-sectional data after normalization and the image data taken with the camera-equipped mobile phone 10 are cut out. When the cross-sectional data is compared with the cross-sectional data after normalizing the cross-sectional data, since the cross-sectional data is standardized in the range of 0 to 255, the cross-sectional line set in the image data photographed by the camera-equipped mobile phone 10 Is the same as any of the 256 cross-section lines set in the base image data, for example, 4 cross-section lines, and is affected by the performance of the camera-equipped mobile phone 10 and various conditions during shooting. Even when the cross-sectional data after standardizing the cross-sectional data cut out from the image data taken with the camera-equipped personal digital assistant is deformed compared to the base image data, it is compared. Even if there is a large or small difference in the magnitude of f (i) (described later) in each index value i (described later), the feature amount S (i displayed as −1, 0, or 1 according to Expression 1 ) (To be described later), the comparison results are almost the same, and the base image to be collated and the image taken by the camera-equipped mobile phone 10 according to Formula 2, Formula 3, Formula 4, Formula 5 and Formula 6 This is because the identity can be confirmed.

次に、上記のようにして規格化された断面データにおいて、断面データの範囲内の全てのピクセル、即ち、断面線に沿う各ピクセルそれぞれのインデックス値ｉ（インデックス値ｉは、断面線に沿う各ピクセル、即ち、断面データを構成する元になった各ピクセルを指す値である。図６に示す断面データを表すグラフの横軸に付された数値が、インデックス値ｉである。）と、断面データの範囲内の全てのそれぞれのインデックス値ｉにおける振幅の大きさ、即ち、グレースケール値の大きさを表す数値ｆ（ｉ）を対象に、下記の式１を当てはめることによって規格化し、断面データの範囲内の全てのそれぞれのインデックス値ｉにおける断面データの振幅の大きさを表す数値ｆ（ｉ）を規格化して１もしくは０あるいは−１のいずれか１つで表示したＳ（ｉ）を取得する。
このＳ（ｉ）は、振幅の大きさ、即ち、グレースケール値を示す曲線の傾きを表すことになるものであり、本発明においては、このＳ（ｉ）を所定の特徴量として用いることとする。

Figure 2006008992
上記のようにして取得した数値Ｓ（ｉ）を所定の特徴量として用いることにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像が、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、特徴量Ｓ（ｉ）は、比較されるそれぞれのインデックス値ｉにおけるｆ（ｉ）の大きさに大小の差があっても式１により−１、０もしくは１として表示される数値であるため、カメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、特徴量Ｓ（ｉ）を求めて比較した結果はほぼ同一で、式２、式３、式４、式５および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像との同一性を確認することができるためである。Next, in the cross-sectional data normalized as described above, all the pixels within the range of the cross-sectional data, that is, the index value i of each pixel along the cross-sectional line (the index value i is the value along each cross-sectional line) 6 is a value indicating the pixel, that is, each pixel from which the cross-sectional data is formed.The numerical value attached to the horizontal axis of the graph representing the cross-sectional data shown in FIG. Normalization is performed by applying the following Equation 1 to the numerical value f (i) representing the magnitude of the amplitude at each index value i within the range of the data, that is, the magnitude of the gray scale value. The numerical value f (i) representing the magnitude of the amplitude of the cross-sectional data at all the respective index values i within the range of is normalized, and is either 1 or 0 or −1 To get the S (i) that was displayed.
This S (i) represents the magnitude of the amplitude, that is, the slope of the curve indicating the gray scale value. In the present invention, this S (i) is used as a predetermined feature amount. To do.
Figure 2006008992
 By using the numerical value S (i) acquired as described above as a predetermined feature amount, an image captured by the camera-equipped mobile phone 10 to be verified later can be obtained from the performance of the camera-equipped mobile phone 10 and at the time of photographing. Even when it deteriorates depending on various conditions (such as shooting angle, shooting distance, or brightness at the time of shooting), it is possible to perform sufficient verification at a practical level.
As described above, sufficient matching can be performed at a practical level because the feature quantity S (i) has a large or small difference in the magnitude of f (i) in each index value i to be compared. Since it is a numerical value displayed as -1, 0 or 1 according to Equation 1, it is cut out from the image data photographed with the camera-equipped mobile phone 10 due to the performance of the camera-equipped cellular phone 10 and various conditions during photographing. Even when the cross-sectional data after normalization of the cross-sectional data is deformed as compared with the base image data, the results obtained by comparing the feature amount S (i) are almost the same, and the expressions 2, 3, and This is because the identity between the base image to be verified and the image photographed by the camera-equipped mobile phone 10 can be confirmed by the expressions 4, 5, and 6.

次に、上記のようにして基画像から抽出した特徴量Ｓ（ｉ）と振幅の大きさを表す数値ｆ（ｉ）とにおいては、特徴量Ｓ（ｉ）と振幅の大きさを表す数値ｆ（ｉ）とを基画像に基づいて接続すべき関連Ｗｅｂサイト１４のＵＲＬ情報と関連付けてデータベースに登録しておく。データベースに登録されることとなった特徴量Ｓ（ｉ）と振幅の大きさを表す数値ｆ（ｉ）とを、データベースに登録されている他のＳ（ｉ）、ｆ（ｉ）と区別して検索できるように、それぞれＳｍ（ｉ）、ｆｍ（ｉ）として登録する。ここで、「ｍ」は、データベース１２における基画像データの登録場所を示すインデックス値である。Next, in the feature quantity S (i) extracted from the base image as described above and the numerical value f (i) representing the magnitude of the amplitude, the numerical value f representing the feature quantity S (i) and the magnitude of the amplitude. (I) is registered in the database in association with the URL information of the related Web site 14 to be connected based on the base image. The feature quantity S (i) registered in the database and the numerical value f (i) representing the magnitude of the amplitude are distinguished from other S (i) and f (i) registered in the database. They are registered as S m (i) and f m (i) so that they can be searched. Here, “m” is an index value indicating the registration location of the base image data in the database 12.

上記のようにｍを用いて特徴量Ｓｍ（ｉ）とｆｍ（ｉ）とＵＲＬ情報とを関連付けてデータベース１２に登録することにより、後に照合の対象となるカメラ付き携帯電話１０で撮影した画像から抽出した所定の特徴量とＳｍ（ｉ）とを照合し、両者が一致した場合に、カメラ付き携帯電話１０に基画像の関連Ｗｅｂサイト１４のＵＲＬ情報を送信することができるようになる。As described above, the feature quantities S m (i), f m (i) and URL information are associated with each other using the m and registered in the database 12, and then photographed with the camera-equipped mobile phone 10 to be verified later. A predetermined feature amount extracted from the image is collated with S m (i), and when the two match, the URL information of the related website 14 of the base image can be transmitted to the camera-equipped mobile phone 10. Become.

次に、カメラ付き携帯電話１０で撮影した画像の画像データから切り出して加工したデータをサーバ１６へ送信する過程において、カメラ付き携帯電話１０で撮影した画像の画像データから断面線を設定する手法について、図７を参照しながら説明する。
即ち、カメラ付き携帯電話１０で撮影した画像たる撮影対象物と背景などとを含めた撮影画像全体に対して、撮影画像の縦方向ピクセルに沿って各列が１２８ピクセルを有する３本の列方向線と、撮影画像の横方向ピクセルに沿って各行が１２８ピクセルを有する３本の行方向線との、合計６本の断面線を設定する。
ここで、上記した３本の列方向線と３本の行方向線との合計６本の断面線の位置や間隔は、開発者が予めカメラ付き携帯電話１０で撮影される画像のうち画像にしめる照合の対象となる画像の範囲を想定して予め設定するようになされている。
なお、カメラ付き携帯電話１０で撮影する際、距離が離れているなど被写体が小さい場合をある程度考慮に入れて、つまりは、余白部分のみに断面線が設定されることがないように、断面線位置や間隔を予め考慮して設定する。
これにより、予め登録されている基画像に関する特徴量とＳｍ（ｉ）との照合をより確実にすることで、カメラ付き携帯電話１０の性能および撮影時の種々の条件（撮影アングル、撮影距離あるいは撮影時の明るさなどである。）などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り出した断面データを規格化した後の断面データと、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データとを比較した場合において、カメラ付き携帯電話１０の性能や撮影時の種々の条件による影響で、カメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データが基画像データに比べて変形している際においても、比較されるそれぞれのインデックス値ｉにおけるｆ（ｉ）の大きさに大小の差があっても式１により−１、０もしくは１として表示される特徴量Ｓ（ｉ）を求めて比較した結果はほぼ同一となるが、照合に用いる断面データが、例えば、縦方向と横方向とのそれぞれ３本ずつの計６本あれば、１本で照合した場合に比べて照合の精度が向上する。さらに照合の精度を向上させるためには、カメラ付き携帯電話１０で撮影した画像データに設定する断面線の数を増やせばよい。Next, a method of setting a cross-sectional line from image data of an image photographed with the camera-equipped mobile phone 10 in the process of transmitting data cut out and processed from the image data of the image photographed with the camera-equipped cellular phone 10 to the server 16. This will be described with reference to FIG.
That is, with respect to the entire photographed image including the subject to be photographed as the image photographed by the camera-equipped mobile phone 10 and the background, three column directions each having 128 pixels along the longitudinal pixels of the photographed image. A total of six cross-sectional lines are set, including a line and three row direction lines each having 128 pixels along the horizontal pixel of the captured image.
Here, the positions and intervals of a total of six cross-sectional lines including the three column direction lines and the three row direction lines described above are images that the developer has previously taken with the camera-equipped mobile phone 10. It is set in advance assuming an image range to be verified.
It should be noted that when taking a picture with the camera-equipped mobile phone 10, a case where the subject is small, such as a long distance, is taken into consideration to some extent, that is, the cross-section line is set so that the cross-section line is not set only in the margin part. The position and interval are set in advance.
Thereby, the characteristics of the base image registered in advance and S m (i) are more reliably checked, so that the performance of the camera-equipped mobile phone 10 and various conditions (shooting angle, shooting distance) Even when the image quality deteriorates depending on the brightness at the time of shooting, etc.), it is possible to perform sufficient verification at a practical level.
In this way, sufficient verification can be performed at a practical level because the cross-sectional data cut out from the base image and the cross-sectional data after normalization and the image data taken with the camera-equipped mobile phone 10 are cut out. Cross-sectional data cut out from image data taken with the camera-equipped mobile phone 10 due to the performance of the camera-equipped mobile phone 10 and various conditions at the time of photographing when the cross-sectional data is compared with the normalized cross-sectional data. Even when the cross-sectional data after normalization is deformed compared to the base image data, even if there is a large or small difference in the magnitude of f (i) in each of the index values i to be compared, The result of comparing and calculating the feature quantity S (i) displayed as -1, 0, or 1 is almost the same, but the cross-sectional data used for collation is, for example, vertical and horizontal If each total of six each present 3 with, collation accuracy can be improved as compared with the case of checking a single. In order to further improve the accuracy of verification, the number of cross-sectional lines set in the image data photographed by the camera-equipped mobile phone 10 may be increased.

上記のようして設定した断面線に関して断面データを取得して、取得した断面データを、照合の対象となる画像以外の余白を取り除き、１２８ピクセルサイズに変換処理を行い、次にローパスフィルタリング処理を行い、処理後の断面データを０〜２５５の範囲で規格化し、規格化した断面データから特徴量Ｓ（ｉ）を取得する。  Cross-section data is acquired for the cross-section line set as described above, and the acquired cross-section data is subjected to conversion processing to 128 pixel size by removing margins other than the image to be collated, and then low-pass filtering processing is performed. The processed cross-sectional data is normalized in the range of 0 to 255, and the feature amount S (i) is acquired from the standardized cross-sectional data.

次に、カメラ付き携帯電話１０で撮影した画像から抽出した特徴量Ｓ（ｉ）に一致するデータベース１２に登録された特徴量Ｓｍ（ｉ）を検索するために、下記の式２および式３の演算を行い、特徴量Ｓ（ｉ）と特徴量Ｓｍ（ｉ）とが一致するか否かを判断するために閾値Ｔｖと比較する最小二乗誤差値Ｖｍを算出する。
なお、式２および式３において、Ｎおよびｎは、カメラ付き携帯電話１０で撮影した画像から取得した断面データの数を示す。
従って、特徴量Ｓｎ（ｉ）はｎ（０〜Ｎ−１「Ｎ＝６」）番目の断面線の特徴量Ｓ（ｉ）を意味し、特徴量Ｓｎ ｍはデータベース１２に登録されているインデックス値ｍ（０〜Ｍ−１「Ｍ＝登録画像数」）番目の基画像データの断面線のうちｎ番目の断面線の特徴量Ｓ（ｉ）を意味する。

Figure 2006008992
Figure 2006008992
 次に、式した最小二乗誤差値Ｖｍを算出する処理と並行して、カメラ付き携帯電話１０で撮影した画像から抽出した数値ｆ（ｉ）に一致するデータベース１２に登録された数値ｆｍ（ｉ）を検索するために、下記の式４および式５の演算を行い、数値ｆ（ｉ）と数値ｆｍ（ｉ）とが一致するか否かを判断するために閾値Ｔｄと比較する最小二乗誤差値Ｄｍを算出する。
なお、式４および式５において、Ｎおよびｎは、カメラ付き携帯電話１０で撮影した画像から取得した断面データの数を示す。
Figure 2006008992
Figure 2006008992
 次に、上記においてそれぞれ算出した最小二乗誤差値Ｖｍと最小二乗誤差値Ｄｍとの双方が、ともにそれぞれの基準となる閾値Ｔｖと閾値Ｔｄとをそれぞれ下回った場合、即ち、下記の式６および式７が成立する場合に、その下回った閾値の対象となった特徴量Ｓｍ（ｉ）と振幅の大きさを表す数値ｆｍ（ｉ）とが抽出された基画像と、同じくその下回った閾値の対象となった特徴量Ｓ（ｉ）と振幅の大きさを表す数値ｆ（ｉ）とを抽出したカメラ付き携帯電話１０で撮影した画像とが一致したとみなし、特徴量Ｓｍ（ｉ）と関連付けてデータベース１２に登録されている基画像に対応する関連Ｗｅｂサイト１４のＵＲＬ情報を、カメラ付き携帯１０に送信する。
そして、基画像に対応する関連Ｗｅｂサイト１４のＵＲＬ情報を受信したカメラ付き携帯電話１０は、受信したＵＲＬ情報を用いて関連Ｗｅｂサイト１４に接続し、関連Ｗｅｂサイト１４のＷｅｂページをカメラ付き携帯電話１０の表示画面１０ａに表示する。
Figure 2006008992
Figure 2006008992
 従って、上記したカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムによれば、予めパンフレット、雑誌、入場券、商品券あるいは看板などの各種の媒体および媒体の周辺になんらかの加工を施すことなしに、単に媒体をカメラ付き携帯情報端末の内蔵カメラで撮影することにより、当該媒体に関連付けられた関連Ｗｅｂサイトへ接続することができるようになる。
また、上記したカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムによれば、テレビコマーシャルやＷｅｂサイトなどの液晶などの画面に表示される画像をカメラ付き携帯情報端末の内蔵カメラで撮影することにより、画像に関連付けられた関連Ｗｅｂサイトへ接続することができるようになる。Next, in order to search for the feature quantity S m (i) registered in the database 12 that matches the feature quantity S (i) extracted from the image taken by the camera-equipped mobile phone 10, the following formulas 2 and 3 are used. The least square error value V m to be compared with the threshold value T v is calculated in order to determine whether or not the feature quantity S (i) and the feature quantity S m (i) match.
In Expressions 2 and 3, N and n indicate the number of cross-sectional data acquired from an image captured by the camera-equipped mobile phone 10.
Therefore, the feature amount S n (i) denotes the n (0 to N-1 "N = 6") characteristic of th section line S (i), the feature amount S n m are registered in the database 12 The feature value S (i) of the nth cross-sectional line among the cross-sectional lines of the index value m (0 to M−1 “M = number of registered images”)-th base image data.
Figure 2006008992
Figure 2006008992
 Next, in parallel with the process of calculating the expressed least square error value V m , the numerical value f m (registered in the database 12 that matches the numerical value f (i) extracted from the image photographed by the camera-equipped mobile phone 10 is displayed. In order to search i), the following expressions 4 and 5 are performed, and compared with the threshold value T d to determine whether or not the numerical value f (i) and the numerical value f m (i) match. The least square error value Dm is calculated.
In Expressions 4 and 5, N and n indicate the number of cross-sectional data acquired from images captured by the camera-equipped mobile phone 10.
Figure 2006008992
Figure 2006008992
 Next, when both the least square error value V m and the least square error value D m calculated in the above are respectively lower than the threshold value T v and the threshold value T d , respectively, that is, When Expression 6 and Expression 7 are satisfied, the base image from which the characteristic quantity S m (i) and the numerical value f m (i) representing the magnitude of the amplitude, which are targets of the threshold value below, are extracted, The feature amount S (i) that is the target of the threshold value below the value and the image captured by the camera-equipped mobile phone 10 that has extracted the numerical value f (i) representing the magnitude of the amplitude are considered to match, and the feature amount S The URL information of the related Web site 14 corresponding to the base image registered in the database 12 in association with m (i) is transmitted to the camera-equipped mobile phone 10.
Then, the camera-equipped mobile phone 10 that has received the URL information of the related website 14 corresponding to the base image connects to the related website 14 using the received URL information, and the web page of the related website 14 is carried with the camera. Displayed on the display screen 10 a of the telephone 10.
Figure 2006008992
Figure 2006008992
 Therefore, according to the Web site connection system using the above-described camera-equipped mobile information communication terminal, various media such as pamphlets, magazines, admission tickets, gift certificates, signboards, and the like are not subjected to any processing in advance. By simply photographing the medium with the built-in camera of the camera-equipped portable information terminal, it becomes possible to connect to a related website associated with the medium.
In addition, according to the website connection system using the above-described camera-equipped mobile information communication terminal, an image displayed on a screen of a liquid crystal display or the like of a TV commercial or a website can be taken with the built-in camera of the camera-equipped portable information terminal. By this, it becomes possible to connect to a related website associated with the image.

なお、図８（ａ）は基画像から切り出した断面データを規格化した後の断面データであり、図８（ｂ）はカメラ付き携帯電話１０で撮影した画像データから切り出した断面データを規格化した後の断面データである。図８（ｂ）は、撮影の際の環境（周囲の光）の影響で、基画像データに比べて変形している。しかしながら、それぞれを式１に当てはめて特徴量Ｓ（ｉ）を求めて比較した結果はほぼ同一で、式２、式３および式６により、照合の対象となる基画像とカメラ付き携帯電話１０で撮影した画像とが同一であることを確認できる。  8A shows cross-sectional data after normalizing the cross-sectional data cut out from the base image, and FIG. 8B normalizes the cross-sectional data cut out from the image data taken by the camera-equipped mobile phone 10. It is cross-sectional data after having performed. FIG. 8B is deformed compared to the base image data due to the influence of the environment (ambient light) at the time of shooting. However, the results obtained by comparing each of them with Equation 1 to obtain the characteristic amount S (i) are almost the same. According to Equation 2, Equation 3, and Equation 6, the basic image to be collated and the mobile phone 10 with camera are compared. It can be confirmed that the taken image is the same.

なお、上記した実施の形態は、以下の（１）乃至（７）に示すように変形することができるものである。
（１）上記した実施の形態においては、基画像データやカメラ付き携帯電話１０で撮影された画像の画像データに対してグレースケール化処理を行うようにしたが、基画像データやカメラ付き携帯電話１０で撮影された画像の画像データがグレースケールデータである場合には、グレースケール化処理を行う必要がないことは勿論である。
（２）上記した実施の形態においては、カメラ付き携帯電話１０で撮影された画像の画像データから抽出された特徴量Ｓ（ｉ）と数値ｆ（ｉ）との両者を照合に用いるようにしたが、これに限られるものではないことは勿論である。即ち、特徴量Ｓ（ｉ）と数値ｆ（ｉ）とのいずれか一方のみを抽出して照合に用いるようにして、処理速度の向上を図るようにしてもよい。その場合には、基画像データから抽出する特徴量Ｓｍ（ｉ）と数値ｆｍ（ｉ）とについても、照合に用いる何れか一方のみを抽出してデータベース１２に登録しておけばよい。
（３）上記した実施の形態においては、カメラ付き携帯電話１０においてカメラ付き携帯電話１０で撮影された画像の画像データに対する処理を行うようにして、カメラ付き携帯電話１０から断面データのみをサーバ１６に送信し、以降の処理のみをサーバ１６側に委ねるようにした。このため、カメラ付き携帯電話１０で撮影してから関連Ｗｅｂサイト１４に接続するまでの時間を短縮化することが可能になるが、これに限られるものではないことは勿論である。即ち、カメラ付き携帯電話１０で撮影された画像の画像データを、カメラ付き携帯電話１０で処理することなくサーバ１６へ送信し、サーバ１６において、上記で説明したカメラ付き携帯電話１０で行われる処理を行うようにしてもよい。このようにサーバ１６側に処理を委ねることにより、照合の精度をより向上することが可能になる。
（４）上記した実施の形態においては、カメラ付き携帯電話１０で撮影された画像に基づいて、６本の断面線を設定するようにしたが、これに限られるものではないことは勿論である。即ち、断面線は１本でもよいし、２本以上の偶数本でもよいし、また、奇数本でもよい。さらに、断面線は、列方向線のみでもよいし、行方向線のみでもよい。
（５）上記した実施の形態においては、カメラ付き携帯電話１０で撮影された画像に基づいて、６本の断面線を設定する際に、３本の列方向線と３本の行方向線との合計６本の断面線の位置や間隔は予め設定されているものとしたが、これに限られるものではないことは勿論であり、ユーザがカメラ付き携帯電話１０で撮影した画像に応じて任意に設定するようにしてもよい。
（６）上記した実施の形態においては、グレースケール化処理後に断面データを生成するようにしたが、これに限られるものではないことは勿論であり、処理の順番を変えて、断面データを生成した後にグレースケール化処理を行うようにしてもよい。
（７）上記した実施の形態ならびに上記した（１）乃至（６）に示す変形例は、適宜に組み合わせるようにしてもよい。The embodiment described above can be modified as shown in the following (1) to (7).
(1) In the above-described embodiment, the gray scale processing is performed on the base image data and the image data of the image photographed by the camera-equipped mobile phone 10. Of course, when the image data of the image photographed at 10 is grayscale data, it is not necessary to perform grayscale processing.
(2) In the above-described embodiment, both the feature value S (i) extracted from the image data of the image photographed by the camera-equipped mobile phone 10 and the numerical value f (i) are used for collation. However, it is needless to say that the present invention is not limited to this. That is, only one of the feature quantity S (i) and the numerical value f (i) may be extracted and used for collation to improve the processing speed. In that case, only one of the feature amount S m (i) and the numerical value f m (i) extracted from the base image data may be extracted and registered in the database 12.
(3) In the above-described embodiment, only the cross-sectional data from the camera-equipped mobile phone 10 is processed in the server 16 by processing the image data of the image taken by the camera-equipped mobile phone 10 in the camera-equipped mobile phone 10. And only the subsequent processing is left to the server 16 side. For this reason, it is possible to shorten the time from the shooting with the camera-equipped mobile phone 10 until the connection to the related website 14, but it is of course not limited thereto. In other words, the image data of the image taken by the camera-equipped mobile phone 10 is transmitted to the server 16 without being processed by the camera-equipped mobile phone 10, and the server 16 performs the processing performed by the camera-equipped mobile phone 10 described above. May be performed. Thus, by entrusting the processing to the server 16 side, it is possible to further improve the accuracy of collation.
(4) In the above-described embodiment, six cross-sectional lines are set based on an image photographed by the camera-equipped mobile phone 10, but it is needless to say that the present invention is not limited to this. . That is, the number of cross-sectional lines may be one, even two or more even numbers, or odd numbers. Furthermore, the cross-sectional line may be only the column direction line or only the row direction line.
(5) In the above-described embodiment, when six cross-sectional lines are set based on the image taken by the camera-equipped mobile phone 10, three column direction lines and three row direction lines The positions and intervals of the total of six cross-sectional lines are set in advance. However, the present invention is not limited to this, and it is arbitrary according to the image taken by the user with the camera-equipped mobile phone 10. You may make it set to.
(6) In the above embodiment, the cross-sectional data is generated after the gray scale processing, but it is not limited to this, and the cross-sectional data is generated by changing the processing order. After that, gray scale processing may be performed.
(7) You may make it combine suitably the embodiment shown above and the modification shown in said (1) thru | or (6).

本発明は、カメラ付き携帯電話、カメラ付きＰＨＳあるいはカメラ付きＰＣなどの各種のカメラ付き携帯情報通信端末を用いてＷｅｂサイトへ接続し、カメラ付き携帯情報通信端末の表示画面上でＷｅｂページを閲覧することを可能にしたサービスに利用することができる。  The present invention uses various camera-equipped mobile information communication terminals such as a camera-equipped mobile phone, camera-equipped PHS, or camera-equipped PC to connect to a web site and browse web pages on the display screen of the camera-equipped mobile information communication terminal. It can be used for services that make it possible.

Claims (9)

カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像に基づいて、カメラ付き携帯情報通信端末を前記画像に関連付けられたＷｅｂサイトへ接続するカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法において、
Ｗｅｂサイトと関連付けられた所定の画像の特徴量を予め記憶しておき、
カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像から抽出された特徴量と前記予め記憶した特徴量とを比較し、
前記比較した結果に基づいて、前記予め記憶した特徴量に対応する画像と関連付けられたＷｅｂサイトへ接続する
ことを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法。Website connection using a camera-equipped portable information communication terminal that connects the camera-equipped portable information communication terminal to a website associated with the image based on an image taken by a camera built in the camera-equipped portable information communication terminal In the method
The feature amount of a predetermined image associated with the website is stored in advance,
Compare the feature amount extracted from the image taken by the camera built in the camera-equipped mobile information communication terminal with the feature amount stored in advance,
A website connection method using a camera-equipped mobile information communication terminal, wherein the website is associated with an image corresponding to the previously stored feature amount based on the comparison result. 請求項１に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法において、
前記特徴量は、画像の所定の領域のグレースケール値を示す曲線の傾きおよび規格化した曲線データである
ことを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法。A website connection method using the camera-equipped mobile information communication terminal according to claim 1,
The feature amount is a slope of a curve indicating a gray scale value of a predetermined area of an image and standardized curve data. A method for connecting to a website using a portable information communication terminal with a camera. 請求項２に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法において、
前記画像のサイズは、縦１２８ピクセル×横１２８ピクセルのピクセルサイズである
ことを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法。A website connection method using the mobile information communication terminal with a camera according to claim 2,
The size of the image is a pixel size of vertical 128 pixels × horizontal 128 pixels. A website connection method using a camera-equipped mobile information communication terminal. カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像に基づいて、カメラ付き携帯通信端末を前記画像に関連付けられたＷｅｂサイトへ接続するカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムにおいて、
Ｗｅｂサイトと関連付けられた所定の画像の特徴量を、前記Ｗｅｂサイトへの接続情報と関連付けて記憶した記憶手段と、
カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された画像から特徴量を抽出する抽出手段と、
前記記憶手段に記憶された特徴量と前記抽出手段により抽出された特徴量とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記記憶手段に記憶された特徴量に関連付けられた接続情報に基づいてＷｅｂサイトへ接続する接続手段と
を有することを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム。A website connection system using a camera-equipped mobile information communication terminal that connects the camera-equipped mobile communication terminal to a website associated with the image based on an image taken by a camera built in the camera-equipped mobile information communication terminal In
Storage means for storing a feature amount of a predetermined image associated with a website in association with connection information to the website;
An extraction means for extracting a feature amount from an image taken by a camera built in a portable information communication terminal with a camera;
Comparison means for comparing the feature quantity stored in the storage means with the feature quantity extracted by the extraction means;
A portable information communication terminal with a camera, comprising: a connection unit configured to connect to a website based on connection information associated with a feature amount stored in the storage unit based on a comparison result of the comparison unit; Web site connection system used. 請求項４に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムにおいて、
前記特徴量は、画像の所定の領域のグレースケール値を示す曲線の傾きおよび規格化した曲線データである
ことを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム。In the website connection system using the portable information communication terminal with a camera according to claim 4,
The feature amount is a slope of a curve indicating a gray scale value of a predetermined region of an image and a standardized curve data. A website connection system using a camera-equipped mobile information communication terminal. 請求項５に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムにおいて、
前記画像のサイズは、縦１２８ピクセル×横１２８ピクセルのピクセルサイズである
ことを特徴とするカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システム。In the website connection system using the portable information communication terminal with a camera according to claim 5,
The size of the image is a pixel size of vertical 128 pixels × horizontal 128 pixels. A website connection system using a camera-equipped mobile information communication terminal. 請求項１、２または３のいずれか１項に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続方法をコンピュータに実行させるためのプログラム。A program for causing a computer to execute the website connection method using the camera-equipped mobile information communication terminal according to any one of claims 1, 2, and 3. 請求項４、５または６のいずれか１項に記載のカメラ付き携帯情報通信端末を用いたＷｅｂサイト接続システムとしてコンピュータを機能させるためのプログラム。The program for functioning a computer as a website connection system using the portable information communication terminal with a camera of any one of Claim 4, 5 or 6. 請求項７または８のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。The computer-readable recording medium which recorded the program of any one of Claim 7 or 8.
JP2006529022A 2004-07-22 2005-07-11 Web site connection method using portable information communication terminal with camera Pending JPWO2006008992A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004214608 2004-07-22
JP2004214608 2004-07-22
PCT/JP2005/012739 WO2006008992A1 (en) 2004-07-22 2005-07-11 Web site connecting method using portable information communication terminal with camera

Publications (1)

Publication Number Publication Date
JPWO2006008992A1 true JPWO2006008992A1 (en) 2008-05-01

Family

ID=35785108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006529022A Pending JPWO2006008992A1 (en) 2004-07-22 2005-07-11 Web site connection method using portable information communication terminal with camera

Country Status (3)

Country Link
JP (1) JPWO2006008992A1 (en)
TW (1) TW200620000A (en)
WO (1) WO2006008992A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20060028L (en) * 2006-01-13 2007-07-14 Teknillinen Korkeakoulu Metadata related to the printed image
JP5096841B2 (en) * 2007-08-29 2012-12-12 日本写真印刷株式会社 Content distribution system using printed images
KR20130086380A (en) * 2010-12-22 2013-08-01 인텔 코포레이션 A system and method to protect user privacy in multimedia uploaded to internet sites

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003015980A (en) * 2001-07-04 2003-01-17 Kyodo Printing Co Ltd System and method for retrieval of logo mark
JP2003036212A (en) * 2001-07-23 2003-02-07 Funai Electric Co Ltd Personal digital assistant with camera function
JP4140221B2 (en) * 2001-09-18 2008-08-27 富士ゼロックス株式会社 Image collation device and image collation program

Also Published As

Publication number Publication date
WO2006008992A1 (en) 2006-01-26
TW200620000A (en) 2006-06-16

Similar Documents

Publication Publication Date Title
CN109685100B (en) Character recognition method, server and computer readable storage medium
US9805296B2 (en) Method and apparatus for decoding or generating multi-layer color QR code, method for recommending setting parameters in generation of multi-layer QR code, and product comprising multi-layer color QR code
US7447362B2 (en) System and method of enabling a cellular/wireless device with imaging capabilities to decode printed alphanumeric characters
US9754183B2 (en) System and method for providing additional information using image matching
JP5783885B2 (en) Information presentation apparatus, method and program thereof
EP2767928B1 (en) Device and method for automatically identifying a qr code
KR101710050B1 (en) Image identification systems and method
CN107169458B (en) Data processing method, device and storage medium
WO2006136958A2 (en) System and method of improving the legibility and applicability of document pictures using form based image enhancement
KR101907414B1 (en) Apparus and method for character recognition based on photograph image
KR101645517B1 (en) Apparatus and method for extracting keypoint and image matching system for analyzing distribution state of contents using the same
CN109815970B (en) Method and device for identifying copied image, computer equipment and storage medium
US10303969B2 (en) Pose detection using depth camera
KR20110128574A (en) Method for recognizing human face and recognizing apparatus
US20060045389A1 (en) Automatic meter reading
CN113642639B (en) Living body detection method, living body detection device, living body detection equipment and storage medium
US8996577B2 (en) Object information provision device, object information provision system, terminal, and object information provision method
JP2013210974A (en) Retrieval image registration device, retrieval image display system, retrieval image registration method and program
US20050193018A1 (en) Utilizing a scannable URL (Universal Resource Locator)
US20100208999A1 (en) Method of compensating for distortion in text recognition
KR101713197B1 (en) Server computing device and system for searching image based contents cognition using the same
JP2017138674A (en) License number plate recognition device, and license number plate recognition system as well as license number plate recognition method
CN114387548A (en) Video and liveness detection method, system, device, storage medium and program product
JPWO2006008992A1 (en) Web site connection method using portable information communication terminal with camera
JP6217225B2 (en) Image collation device, image collation method and program