明 細 書
カメラ付き携帯情報通信端末を用いた Webサイト接続方法
技術分野
[0001] 本発明は、カメラ付き携帯情報通信端末を用いた Webサイト接続方法、カメラ付き 携帯情報通信端末を用いた Webサイト接続システム、プログラムおよびコンピュータ 一読み取り可能な記録媒体に関し、さらに詳細には、カメラを内蔵したカメラ付き携帯 情報通信端末の当該内蔵したカメラにより撮影された画像に基づいて Webサイトへ の接続を行うカメラ付き携帯情報通信端末を用いた Webサイト接続方法、カメラ付き 携帯情報通信端末を用いた Webサイト接続システム、プログラムおよびコンピュータ 一読み取り可能な記録媒体に関する。
[0002] なお、本明細書にぉ 、てカメラ付き携帯情報通信端末とは、カメラを内蔵したカメラ 付き携帯電話 (以下、単に「カメラ付き携帯電話」と称する。)、カメラを内蔵したカメラ 付きパーソナル'ノヽンディフォーン 'システム(以下、単に「カメラ付き PHS」と称する。 )、カメラを内蔵したカメラ付きパーソナル 'コンピュータ(以下、単に「カメラ付き PC」と 称する。)などの、各種のカメラを内蔵した携帯用の情報通信機器を意味するものと する。
背景技術
[0003] 近年、カメラ付き携帯電話の普及とその性能の向上とが相俟って、カメラ付き携帯 電話を用いて Webサイトへ接続し、カメラ付き携帯電話の表示画面上で Webページ を閲覧することを可能にしたサービスが種々提供されて ヽる。
ところで、こうしたサービスにおいて、カメラ付き携帯電話により Webサイトへ接続す るための手法としては、例えば、カメラ付き携帯電話に内蔵されたカメラにより画像を 撮影し、当該撮影した画像カゝら URL情報や 情報などの Webサイトへ接続するた めの情報 (本明細書にぉ ヽては、 URL情報や 情報などの Webサイトへ接続する ための情報を総称して、「Webサイト接続情報」と適宜に称する。)を抽出し、当該抽 出した URL情報や HD情報などに基づ 、て Webサイトへ接続を行うと ヽぅ手法がとら れていた。
具体的には、 QRコードやバーコードあるいは電子透力し技術情報を用いて、 URL 情報や 情報などの Webサイト接続情報を、画像に記載したり埋め込んだりしておく 。そして、カメラ付き携帯電話に内蔵されたカメラにより当該画像を撮影し、当該撮影 した画像力 当該画像に埋め込まれている URL情報や 情報などを抽出し、当該 抽出した URL情報や HD情報などが示す Webサイトへの接続を行うというものである。
[0004] ここで、 Webサイト接続情報を電子透力し情報として画像に埋め込んだ場合におい て、カメラ付き携帯電話で撮影した画像から当該画像に埋め込まれて!/ヽる電子透か し情報を抽出し、それに基づいて Webサイトへ接続する手法としては、従来より以下 に示す 2通りの手法が知られて!/、る。
まず、第 1の手法は、サーバ側において照合する方式である。即ち、カメラ付き携帯 電話で撮影した画像をサーバに転送し、サーバ側にぉ ヽて受信した画像に埋め込ま れて 、る電子透力し情報を抽出して、抽出した電子透かレ f青報を Webサイト接続情 報 (例えば、 Webサイトの URL情報である。 )に変換した後にカメラ付き携帯電話に 返信する。カメラ付き携帯電話においては、受信した Webサイト接続情報カゝら当該 W ebサイト接続情報の示す Webサイトへの接続を行 ヽ、カメラ付き携帯電話の表示画 面上に接続した Webサイトの Webページを表示するというものである。
また、第 2の手法は、カメラ付き携帯電話側において照合する方式である。即ち、力 メラ付き携帯電話で撮影した画像を当該カメラ付き携帯電話のメモリ内に保存し、当 該カメラ付き携帯電話側にお!ヽてメモリ内に保存された画像に埋め込まれて!/ヽる電 子透力し情報を抽出して、抽出した電子透力し情報を Webサイト接続情報 (例えば、 Webサイトの URL情報である。 )に変換する。それから、カメラ付き携帯電話におい ては、変換した Webサイト接続情報から当該 Webサイト接続情報の示す Webサイト への接続を行 ヽ、カメラ付き携帯電話の表示画面上に接続した Webサイトの Webぺ ージを表示するというものである。
[0005] し力しながら、上記した第 1の手法ならびに第 2の手法には、以下に説明する第 1〜 5の 5つの問題点があり、カメラ付き携帯電話などのカメラ付き携帯情報通信端末を 用いて Webサイトへ接続する手法としては、十分な実用レベルにまで達しているとは 言えな 、と 、うことが指摘されて 、た。
(1)第 1の問題点
カメラ付き携帯情報通信端末の内蔵カメラでの撮影時における照明環境の影響に よって、撮影した画像の解像度が不足する場合が生じ、この場合には画像に埋め込 まれた電子透力し情報の検出が困難になる。
(2)第 2の問題点
カメラ付き携帯情報通信端末の内蔵カメラでの撮影時におけるカメラアングルなど の影響によって、撮影した画像が変改されたり、あるいは画像の解像度が不足する 場合が生じ、この場合には画像に埋め込まれた電子透力し情報の検出が困難になる
(3)第 3の問題点
カメラ付き携帯情報通信端末の内蔵カメラの使用方法や処理速度の影響によって 、画像の撮影自体が困難になったり、撮影した画像力ものデコードが遅くなつたりす る場合が生じ、この場合には画像に埋め込まれた電子透力し情報の検出が困難にな る。
(4)第 4の問題点
カメラ付き携帯情報通信端末の内蔵カメラが撮影できる画像のサイズには限界があ るため、画像に埋め込むことのできる電子透力し情報の情報量が少ない。
(5)第 5の問題点
上記した第 1〜3の問題点を解消して電子透力し情報を容易に検出可能とするため には、画像に電子透力し情報を強く埋め込まなければならないので、電子透かし情 報を埋め込まれた画像の画質が著しく劣化する。
一方、上記したような電子透かレ隋報技術に関する問題点を解消するために、 We bサイト接続情報を QRコードやバーコードとして当該画像に記載した場合には、当該 画像の見映えが悪ィ匕するという新たな問題点を招来するものであった。
また、カメラ付き携帯情報通信端末の内蔵カメラでの撮影対象の画像 (本明細書に おいては、「カメラ付き携帯情報通信端末の内蔵カメラでの撮影対象の画像」を適宜 に「基画像」と称する。)をカメラ付き携帯情報通信端末の内蔵カメラで撮影すると、撮 影した画像が大変ぼけたり、傾いたりあるいは変形したりして、基画像と比較すると画
質が相当に劣化する場合がある。例えば、図 1に示すように、図 1 (a)に示す基画像 をカメラ付き携帯通信端末で撮影すると、図 1 (b)に示すように画像が大変ぼけたり、 傾いたりあるいは変形したりして、図 1 (a)に示す基画像と比較すると画質が相当に劣 化する場合がある。
こうした画像の画質の劣化が激しい場合には、画像に QRコードやバーコードを記 載してあっても、従来のカメラ付き携帯情報通信端末の内蔵カメラで撮影した画像か ら QRコードやバーコードを抽出する技術においては、画像に記載された QRコード やバーコードの正確な照合を行うことは困難であった。
[0007] なお、本願出願人が特許出願のときに知っている先行技術は、文献公知発明に係 る発明ではな!/、ため、記載すべき先行技術文献情報はな 、。
発明の開示
発明が解決しょうとする課題
[0008] 本発明は、上記したような従来の技術の有する種々の問題点や要望に鑑みてなさ れたものであり、その目的とするところは、カメラ付き携帯情報通信端末による撮影の 対象となる画像の画質を劣化させたり画像の見映えを悪化させたりすることなぐカメ ラ付き携帯電話などのカメラ付き携帯情報通信端末を用いて Webサイトへ接続する 手法として十分な実用性を備えたカメラ付き携帯情報通信端末を用いた Webサイト 接続方法、カメラ付き携帯情報通信端末を用いた Webサイト接続システム、プロダラ ムおよびコンピューター読み取り可能な記録媒体を提供しょうとするものである。
[0009] また、本発明の目的とするところは、カメラ付き携帯情報通信端末による撮影の対 象の画像を撮影した場合に、当該画像と比較すると撮影された画像の画質が相当に 劣化して!/、ても、撮影された画像に基づ 、て Webサイトへ接続することを可能にした カメラ付き携帯情報通信端末を用いた Webサイト接続方法、カメラ付き携帯情報通 信端末を用いた Webサイト接続システム、プログラムおよびコンピューター読み取り 可能な記録媒体を提供しょうとするものである。
課題を解決するための手段
[0010] 上記目的を達成するために、本発明は、カメラ付き携帯情報通信端末に内蔵され たカメラにより撮影された画像カゝら特徴量を抽出し、当該抽出した特徴量と所定の W
ebサイト接続情報と対にされた特徴量とを比較し、その比較結果に基づ 、て特徴量 と対にされた Webサイト接続情報を検出し、検出した Webサイト接続情報に基づいて Webサイトへの接続を行うものである。
従って、本発明によれば、カメラ付き携帯情報通信端末の撮影の対象となる画像に 対して QRコードやバーコードの付記やあるいは電子透力し情報の埋め込みなどのよ うな何らの加工処理も行うことなぐそうしたカ卩ェ処理を全く行われて 、な 、画像を力 メラ付き携帯情報通信端末に内蔵されたカメラで撮影することにより、実用上十分な 正確性をもって当該画像に対応して設定された Webサイトへ接続することが可能に なる。
このため、本発明によれば、 Webサイトに接続する際にカメラ付き携帯情報通信端 末により撮影する対象の画像に対し、 QRコードやバーコードの付記やある!/、は電子 透かし情報の埋め込みなどのような、画像の画質を劣化させたり画像の見映えを悪 化させたりする加工処理を行う必要がな 、。
また、本発明によれば、 Webサイトに接続する際にカメラ付き携帯情報通信端末に より撮影する対象の画像に対して一切の加工処理を行うことなぐ当該画像から特徴 量を抽出して、予め Webサイト接続情報と対にされた特徴量と当該抽出した特徴量と を照合するようにしたものであるので、例えば、図 1 (a) (b)に示す程度の視覚および 脳を用いた人間の判断によれば同一と判断できる程度の画像劣化であるならば、図 1 (a)に示す基画像と図 1 (b)に示すカメラ付き携帯情報通信端末で撮影した画像と を同一と判断するのに十分な特徴量を抽出でき、抽出した特徴量力も図 1 (a)に示す 基画像と図 1 (b)に示すカメラ付き携帯情報通信端末で撮影した画像とを照合して同 一と判断することが十分可能であって、実用レベルとして問題ないものである。
そして、本発明は、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影され た画像に基づ 、て、カメラ付き携帯情報通信端末を上記画像に関連付けられた Web サイトへ接続するカメラ付き携帯情報通信端末を用いた Webサイト接続方法にぉ ヽ て、 Webサイトと関連付けられた所定の画像の特徴量を予め記憶しておき、カメラ付 き携帯通信端末に内蔵されたカメラにより撮影された画像から抽出された特徴量と上 記予め記憶した特徴量とを比較し、上記比較した結果に基づいて、上記予め記憶し
た特徴量に対応する画像と関連付けられた Webサイトへ接続するようにしたものであ る。
また、本発明は、カメラ付き携帯情報通信端末に内蔵されたカメラにより撮影された 画像に基づ!、て、カメラ付き携帯情報通信端末を上記画像に関連付けられた Web サイトへ接続するカメラ付き携帯情報通信端末を用いた Webサイト接続システムにお いて、 Webサイトと関連付けられた所定の画像の特徴量を、上記 Webサイトへの接 続情報と関連付けて記憶した記憶手段と、カメラ付き携帯情報通信端末に内蔵され たカメラにより撮影された画像力 特徴量を抽出する抽出手段と、上記記憶手段に記 憶された特徴量と上記抽出手段により抽出された特徴量とを比較する比較手段と、 上記比較手段の比較結果に基づ!/、て、上記記憶手段に記憶された特徴量に関連付 けられた接続情報に基づ 、て Webサイトへ接続する接続手段とを有するようにしたも のである。
ここで、上記特徴量は、画像の所定の領域のグレースケール値を示す曲線の傾き および規格ィ匕した曲線データとしてもよい。
また、上記画像のサイズは、縦 128ピクセル X横 128ピクセルのピクセルサイズとし てもよい。
発明の効果
本発明は、カメラ付き携帯情報通信端末による撮影の対象となる画像の画質を劣 ィ匕させたり画像の見映えを悪化させたりすることなぐカメラ付き携帯電話などのカメラ 付き携帯情報通信端末を用いて Webサイトへ接続する手法として十分な実用性を備 えたカメラ付き携帯情報通信端末を用いた Webサイト接続方法、カメラ付き携帯情報 通信端末を用いた Webサイト接続システム、プログラムおよびコンピューター読み取 り可能な記録媒体を提供することができるという優れた効果を奏する。
また、本発明は、カメラ付き携帯情報通信端末による撮影の対象の画像を撮影した 場合に、当該画像と比較すると撮影された画像の画質が相当に劣化していても、撮 影された画像に基づいて Webサイトへ接続することを可能にしたカメラ付き携帯情報 通信端末を用いた Webサイト接続方法、カメラ付き携帯情報通信端末を用いた Web サイト接続システム、プログラムおよびコンピューター読み取り可能な記録媒体を提
供することができるという優れた効果を奏する。
図面の簡単な説明
[0013] [図 1]図 1は、基画像とカメラ付き携帯情報通信端末で撮影した画像との比較例を示 し、(a)は基画像を示し、(b)はカメラ付き携帯情報通信端末で撮影した画像を示す
[図 2]図 2は、本発明によるカメラ付き携帯情報通信端末を用いた Webサイト接続シス テムの実施の形態の一例の全体構成説明図である。
[図 3]図 3は、画像のサイズの変換処理を示す説明図であり、(a)に示す撮影サイズ 力 、 (b)に示す縦 128ピクセル X横 128ピクセルのピクセルサイズに変換する。
[図 4]図 4は、グレースケール化処理を示す説明図であり、(a)に示すフルカラーデー タを、 (b)に示すグレースケールデータに変換する。
[図 5]図 5は、ローノ スフィルタリング処理を示す説明図であり、(a)に示すグレースケ ールデータに対してローパスフィルタリング処理を施すことにより、 (b)に示す基準化 画像データを生成する。
[図 6]図 6 (a)は基画像力も切り出した断面データの一例を示し、図 6 (b)は図 6 (a)に 示す断面データを 0〜255の範囲で規格ィ匕したデータ、即ち、規格化された断面デ ータを示す。
[図 7]図 7は、カメラ付き携帯情報通信端末で撮影した画像の画像データから断面線 を設定する手法を示す説明図であり、図 7中において、符号 Aは撮影画像を示し、符 号 Bは携帯画面を示し、符号 Cは断面線を示し、符号 Hは画面縦サイズを示し、符号 Wは画面横サイズを示し、符号 YDは縦断面線間距離を示し、符号 XDは横断面線 間距離を示す。
[図 8]図 8 (a)は基画像力 切り出した断面データを規格ィ匕した後の断面データ (規格 化された断面データ)を示し、図 8 (b)はカメラ付き携帯電話で撮影した画像データか ら切り出した断面データを規格化した後の断面データ (撮影の際に光の影響で変形 された断面データ)を示す。
符号の説明
[0014] 10 カメラ付き携帯電話
10a 表示画面
12 データベース
14 関連 Webサイト
16 サーバ
発明を実施するための最良の形態
[0015] 以下、添付の図面に基づいて、本発明によるカメラ付き携帯情報通信端末を用い た Webサイト接続方法、カメラ付き携帯情報通信端末を用いた Webサイト接続システ ム、プログラムおよびコンピューター読み取り可能な記録媒体の実施の形態の一例を 詳細に説明するものとする。
[0016] 図 2には、本発明によるカメラ付き携帯情報通信端末を用いた Webサイト接続シス テムの実施の形態の一例の全体構成説明図である。なお、図 2においては、理解を 容易にするために、カメラ付き携帯情報通信端末の一例としてカメラ付き携帯電話を 示しており、以下においては、カメラ付き携帯電話を例にして説明する。
この図 2に示すカメラ付き携帯情報通信端末を用いた Webサイト接続システム (以 下、「発明を実施するための最良の形態」の項においては、単に「Webサイト接続シ ステム」と称する。)は、カメラ付き携帯電話 10の表示画面 10a上に基画像に基づい て接続された Webサイトの Webページを表示するサービスを実施するに際し、予め データベース 12に登録された基画像の所定の特徴量とカメラ付き携帯電話 10の内 蔵カメラで撮影した画像力 抽出された所定の特徴量とを照合し、その照合結果に 基づ!/ヽて、カメラ付き携帯電話 10を基画像の所定の特徴量と対にして設定された W ebサイト (以下、「基画像の所定の特徴量と対にして設定された Webサイト」を、単に「 関連 Webサイト」と称する。 ) 14に接続し、カメラ付き携帯電話 10の表示画面 10a上 に関連 Webサイト 14の Webページを表示するものである。
即ち、予め、カメラ付き携帯電話 10あるいは他の任意のカメラにより基画像を撮影 し、撮影した画像カゝら切り出した断面データをサーバ 16に送信して、サーバ 16内に ぉ ヽて基画像から所定の特徴量を抽出する処理を行!ヽ (基画像やカメラ付き携帯電 話 10の内蔵カメラで撮影した画像から所定の特徴量を抽出する処理の詳細につい ては、後ほど図面を参照しながら詳述する。)、抽出した所定の特徴量を基画像の W
ebサイト接続情報 (この実施の形態においては、理解を容易にするために、 Webサイ ト接続情報の一例として URL情報を示しており、以下においては、 URL情報を例に して説明する。)と対にしてデータベース 12に登録しておく(図 2— (1)基画像の特徴 量 'URL情報の登録)。
そして、カメラ付き携帯電話 10の内蔵カメラで撮影した画像を撮影すると(図 2— (2 )撮影)、撮影した画像力も切り出した断面データをサーバ 16に送信して(図 2— (3) 送信)、サーバ 16内において撮影した画像カゝら所定の特徴量を抽出する処理を行う それから、サーバ 16は、カメラ付き携帯電話 10の内蔵カメラで撮影した画像カも抽 出した所定の特徴量と基画像力も抽出した所定の特徴量とを照合し (図 2— (4)照合 )、その照合結果に基づいて基画像力 抽出した所定の特徴量と対の URL情報を検 出し、検出した URL情報をカメラ付き携帯電話へ返信する。
カメラ付き携帯電話 10は、サーバ 16から送信された URL情報を受信すると(図 2— (5)受信)、受信した URL情報により当該 URL情報が示す関連 Webサイト 14にァク セスして接続し(図 2— (6)関連サイトへアクセス)、カメラ付き携帯電話 10の表示画 面 1 Oa上に関連 Webサイト 14の Webページを表示する。
より詳細には、「図 2—(1)基画像の特徴量 *URL情報の登録」の処理は、関連 We bサイトを提供してカメラ付き携帯電話 10の表示画面 10a上で Webページを閲覧す ることを可能にしたサービスを行うサービス事業者側で実行される処理の手順を示し ている。
即ち、サービス事業者側においては、後にカメラ付き携帯電話 10から送られてきた 当該カメラ付き携帯電話 10で撮影された画像の特徴量との照合を行うために、基画 像の所定の特徴量を関連 Webサイト 14の URL情報と対にしてデータベース 12に予 め登録しておくことになる。
この処理の詳細については後述するが、その概要を説明すると、まず、関連サイト による情報を提供するサービスの対象とする基画像をデジタルカメラなどで撮影して 電子データとした基画像データを、縦方向と横方向とがそれぞれ 128ピクセルのピク セルサイズ(縦 128ピクセル X横 128ピクセルのピクセルサイズ)の大きさにサイズ変
換処理し、次にグレースケール化処理を行い、さらにローパスフィルタリング処理を行 うことで、基画像における基準化画像データへと変換し、変換した基準化画像データ 力も縦方向と横方向とからそれぞれとれる断面線(断面線の詳細については、後述 する。)を設定し、設定した断面線における断面データを切り出し、切り出した断面デ ータを 0〜255の範囲で規格化させ、規格化させた断面データから後述する手法に より抽出した特徴量を所定の特徴量として、基画像に対応する関連 Webサイト 14の URL情報と関連付けてデータベースに登録する。
なお、「断面データを 0〜255の範囲で規格化」するとは、上記したサイズ変換処理 、グレースケール化処理およびローパスフィルタリング処理を施された基準化画像の 断面データで 0〜255の範囲で表示された数値(上記したローパスフィルタリング処 理までの処理で、 0〜255の範囲のうち限られた範囲しか使用していない。)を、画像 サイズである 0〜255の範囲内で全ての範囲を使用して数値を表示するように規格 化することを意味する。これによつて、のちに照合の対象となる撮影の環境などによつ て変わるカメラ付き携帯電話 10で撮影した画像の断面データの幅を考慮して、カメラ 付き携帯電話 10で撮影して切り出した画像データを 0〜255に規格ィ匕したデータと 比較することができるようになる。
[0018] 次に、「図 2—(2)撮影」〜「図 2—(6)関連 Webサイトへアクセス」の処理は、ユー ザ一がカメラ付き携帯電話 10における画像の撮影から関連 Webサイト 14へ接続して 、カメラ付き携帯電話 10の表示画面 10a上に関連 Webサイト 14の Webページを表 示するまでの手順を示して!/ヽる。
即ち、「図 2— (2)撮影」の処理においては、ユーザーがカメラ付き携帯電話 10の 内蔵カメラにより、サービス事業者が関連 Webサイト 14を提供するサービスの対象と して 、る画像を撮影すると、当該撮影した画像の画像データが生成される。
次に、こうして生成された画像データを、後述するように、変換した基準化画像デー タカも縦方向と横方向にそれぞれ 3セットの断面データ、即ち、合計で 6セットの断面 データを切り出す。ここで、切り出した断面データはグレースケール処理を施されても よい。
[0019] 次に、「図 2—(3)送信」の処理においては、「図 2—(2)撮影」の処理において切り
出して断面データのみを、カメラ付き携帯電話 10からサーバ 16へ送信する。
そして、サーバ 16においては、断面データを、照合の対象となる画像以外の余白 を取り除き、 128ピクセルサイズに変換処理を行い、次にローパスフィルタリング処理 を行い、上記した「図 2—(1)基画像の特徴量 'URL情報の登録」の処理におけると 同様に、処理後の断面データを 0〜255の範囲で規格化させ、規格化させた断面デ 一タカ 後述する手法により所定の特徴量を抽出する。
さらに、抽出した所定の特徴量と予め関連 Webサイトの URL情報と関連付けてデ ータベース 12に登録されている所定の特徴量とを照合し、照合結果が一致した場合 にのみ、互 、一致した予め登録してある所定の特徴量と関連付けて登録されて 、る URL情報をデータベース 12から取得する。なお、この処理の詳細については後述 する。
[0020] 次に、「図 2—(5)受信」の処理においては、「図 2—(4)照合」の処理において取得 した URL情報を、カメラ付き携帯電話 10へ送信する。
[0021] 次に、「図 2— (6)関連 Webサイトへのアクセス」の処理においては、カメラ付き携帯 電話 10がサーバ 16から送信された URL情報を受信すると、カメラ付き携帯電話 10 は受信した URL情報により当該 URL情報が示す関連 Webサイト 14にアクセスして 接続し、カメラ付き携帯電話 10の表示画面 10a上に関連 Webサイト 14の Webぺー ジを表示する。
[0022] 以下に、上記した「図 2—(1)基画像の特徴量 .URL情報の登録」の処理において 実行される変換処理たる、基画像データを基準化画像データに変換する処理にっ ヽ て詳細に説明する。
即ち、基画像データを基準化画像データに変換する処理においては、まず、図 3に 示すように、デジタルカメラなどで撮影した基画像の画像データたる基画像データの 画像のサイズを、撮影サイズから縦 128ピクセル X横 128ピクセルのピクセルサイズ に変換する。
こうした画像のサイズの変換処理を行うことにより、後に照合の対象となるカメラ付き 携帯電話 10で撮影した画像のサイズなどが、カメラ付き携帯電話 10の性能や撮影 サイズあるいは撮影時の種々の条件 (撮影アングル、撮影距離ある ヽは撮影時の明
るさなどである。)などに依存して劣化した場合においても、実用レベルで十分な照 合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格ィ匕した後の断面データと、カメラ付き携帯電話 10で撮影し た画像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した 場合にお ヽて、上記したカメラ付き携帯電話 10の性能や撮影サイズある ヽは撮影時 の種々の条件による影響で、カメラ付き携帯電話 10で撮影した画像データから切り 出した断面データを規格ィヒした後の断面データが基画像データに比べて変形してい る際においても、サイズの規格ィ匕により比較されるそれぞれのインデックス値 i (後述 する。)が同一の位置を指すために、それぞれのインデックス値 iにおける f (i) (後述 する。)の大きさに大小の差があっても式 1 (後述する。)により— 1、 0もしくは 1として 表示される特徴量 S (i) (後述する。)を求めて比較した結果はほぼ同一で、後述する 式 2、式 3、式 4、式 5および式 6により、照合の対象となる基画像とカメラ付き携帯電 話 10で撮影した画像との同一性を確認することができるためである。
それから、図 4に示すように、縦 128ピクセル X横 128ピクセルのピクセルサイズに 変換した基画像データに対してグレースケールィ匕処理を行う。即ち、一般に、基画像 データは、デジタルカメラなどで画像を撮影することにより生成される撮影色を示す R GBのフルカラーデータである力 これに対して輝度値を示すグレースケール化処理 を行ってグレースケールデータに変換する。
こうしたグレースケールィ匕処理を行うことにより、後に照合の対象となるカメラ付き携 帯電話 10で撮影した画像の色などが、カメラ付き携帯電話 10の性能および撮影時 の種々の条件 (撮影アングル、撮影距離あるいは撮影時の明るさなどである。)など に依存して劣化した場合にぉ 、ても、実用レベルで十分な照合を行うことが可能とな る。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格ィ匕した後の断面データと、カメラ付き携帯電話 10で撮影し た画像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した 場合において、上記したカメラ付き携帯電話 10の性能や撮影時の種々の条件による
影響で、カメラ付き携帯電話 10で撮影した画像データ力も切り出した断面データを 規格ィ匕した後の断面データが基画像データに比べて変形している際においても、比 較されるそれぞれのインデックス値 iにおける f (i) (後述する。)の大きさに大小の差が あっても式 1により— 1、 0もしくは 1として表示される特徴量 S (i) (後述する。)を求め て比較した結果はほぼ同一で、後述する式 2、式 3、式 4、式 5および式 6により、照合 の対象となる基画像とカメラ付き携帯電話 10で撮影した画像との同一性を確認する ことができるためである。
なお、基画像データが最初力 グレースケールデータである場合には、このグレー スケール化処理を行う必要はな!/、。
[0024] 次に、図 5に示すように、グレースケール化した基画像データに対してローパスフィ ルタリング処理を施すことにより、基準化画像データを生成する。
こうしたローノ スフィルタリング処理を施すことにより、後に照合の対象となるカメラ付 き携帯電話 10で撮影した画像の解像度などが、カメラ付き携帯電話 10の性能およ び撮影時の種々の条件 (撮影アングル、撮影距離あるいは撮影時の明るさなどであ る。)などに依存して劣化した場合においても、実用レベルで十分な照合を行うことが 可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格化した後の断面データと、カメラ付き携帯電話で撮影した画 像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した場合 において、上記したカメラ付き携帯電話 10の性能や撮影時の種々の条件による影響 で、カメラ付き携帯電話 10で撮影した画像データカゝら切り出した断面データを規格 化した後の断面データが基画像データに比べて変形している際においても、比較さ れるそれぞれのインデックス値 i (後述する。)における f (i) (後述する。)の大きさに大 小の差があっても式 1により— 1、 0もしくは 1として表示される特徴量 S (i) (後述する。 )を求めて比較した結果はほぼ同一で、式 2、式 3、式 4、式 5および式 6により、照合 の対象となる基画像とカメラ付き携帯電話 10で撮影した画像との同一性を確認する ことができるためである。
[0025] 上記のようにして、縦 128ピクセル X横 128ピクセルのピクセルサイズに変換した基
画像データを生成すると、この生成した基画像データに対して、当該基画像データ により示される画像の縦方向ピクセルに沿ってそれぞれ 128列 (横方向には 128ピク セル並んで 、る。)整列して 、る各列が 128ピクセルを有する 128本の列方向線と、 当該基画像データにより示される画像の横方向に沿ってそれぞれ 128行 (縦方向に は 128ピクセル並んで!/、る。)整列して!/、る各行が 128ピクセルを有する 128本の行 方向線とを設定する。
なお、本明細書においては、画像データにより示される画像の縦方向ピクセルに沿 つてそれぞれ整列して 、る列方向線と当該画像の横方向に沿ってそれぞれ整列して V、る行方向線とを総称して「断面線」と称する。
従って、縦 128ピクセル X横 128ピクセルのピクセルサイズに変換した基画像デー タにおいては、 128本の列方向線と 128本の行方向線とを合わせた 256本の断面線 力 S設定されること〖こなる。
このように 128本の列方向線と 128本の行方向線とを合わせた 256本の断面線が 設定することにより、後に照合の対象となるカメラ付き携帯電話 10で撮影した画像が 、カメラ付き携帯電話 10の性能および撮影時の種々の条件 (撮影アングル、撮影距 離あるいは撮影時の明るさなどである。)などに依存して劣化した場合においても、実 用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格ィ匕した後の断面データと、カメラ付き携帯電話 10で撮影し た画像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した 場合において、上記したカメラ付き携帯電話 10の性能や撮影時の種々の条件による 影響で、カメラ付き携帯電話 10で撮影した画像データ力も切り出した断面データを 規格ィ匕した後の断面データが基画像データに比べて変形している際においても、比 較されるそれぞれのインデックス値 i (後述する。)における f (i) (後述する。)の大きさ に大小の差があっても式 1により— 1、 0もしくは 1として表示される特徴量 S (i) (後述 する。)を求めて比較した結果はほぼ同一で、式 2、式 3、式 4、式 5および式 6により、 照合の対象となる基画像とカメラ付き携帯電話 10で撮影した画像との同一性を確認 することができるためである。
[0026] 上記のようにして 256本の断面線を設定すると、この 256本の断面線のそれぞれに ついて、断面線に沿って断面データを取得する。具体的には、断面線に沿う各ピク セルのグレースケール値を取得して、この断面線に沿う各ピクセルのグレースケール 値を断面データとする。即ち、本明細書においては、断面線に沿う各ピクセルのダレ 一スケール値を示すデータを「断面データ」と称している。
図 6 (a)には断面データの一例が示されている力 次に、この断面データを 0〜255 の範囲で規格ィ匕する。図 6 (b)には、図 6 (a)に示す断面データを規格化したデータ が示されている。
このように断面データを規格ィ匕することにより、後に照合の対象となるカメラ付き携 帯電話 10で撮影した画像が、カメラ付き携帯電話 10の性能および撮影時の種々の 条件 (撮影アングル、撮影距離あるいは撮影時の明るさなどである。)などに依存して 劣化した場合においても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格ィ匕した後の断面データと、カメラ付き携帯電話 10で撮影し た画像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した 場合において、いずれも断面データを 0〜255の範囲で規格ィ匕されているため、カメ ラ付き携帯電話 10で撮影した画像データに設定した断面線は、基画像データに設 定した 256本の断面線のうちのいずれ力、例えば、 4本の断面線と同一となり、上記 したカメラ付き携帯電話 10の性能や撮影時の種々の条件による影響で、カメラ付き 携帯情報端末で撮影した画像データ力 切り出した断面データを規格ィ匕した後の断 面データが基画像データに比べて変形している際においても、比較されるそれぞれ のインデックス値 i (後述する。 )における f (i) (後述する。)の大きさに大小の差があつ ても式 1により— 1、 0もしくは 1として表示される特徴量 S (i) (後述する。)を求めて比 較した結果はほぼ同一で、式 2、式 3、式 4、式 5および式 6により、照合の対象となる 基画像とカメラ付き携帯電話 10で撮影した画像との同一性を確認することができるた めである。
[0027] 次に、上記のようにして規格ィ匕された断面データにおいて、断面データの範囲内の 全てのピクセル、即ち、断面線に沿う各ピクセルそれぞれのインデックス値 i (インデッ
タス値 iは、断面線に沿う各ピクセル、即ち、断面データを構成する元になつた各ピク セルを指す値である。図 6に示す断面データを表すグラフの横軸に付された数値が、 インデックス値 iである。)と、断面データの範囲内の全てのそれぞれのインデックス値 i における振幅の大きさ、即ち、グレースケール値の大きさを表す数値 f (i)を対象に、 下記の式 1を当てはめることによって規格ィ匕し、断面データの範囲内の全てのそれぞ れのインデックス値 iにおける断面データの振幅の大きさを表す数値 f (i)を規格化し て 1もしくは 0あるいは 1の!、ずれか 1つで表示した S (i)を取得する。
この S (i)は、振幅の大きさ、即ち、グレースケール値を示す曲線の傾きを表すことに なるものであり、本発明においては、この S (i)を所定の特徴量として用いることとする
[数 1]
1 /( ) - /( - ι)〉ο
0
( = 1〜: 127) -1 /( -/ -1) < 0
…式 1
上記のようにして取得した数値 S (i)を所定の特徴量として用いることにより、後に照 合の対象となるカメラ付き携帯電話 10で撮影した画像が、カメラ付き携帯電話 10の 性能および撮影時の種々の条件 (撮影アングル、撮影距離あるいは撮影時の明るさ などである。)などに依存して劣化した場合においても、実用レベルで十分な照合を 行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、特徴量 S (i)は、 比較されるそれぞれのインデックス値 iにおける f (i)の大きさに大小の差があっても式 1によりー1、 0もしくは 1として表示される数値であるため、カメラ付き携帯電話 10の 性能や撮影時の種々の条件による影響で、カメラ付き携帯電話 10で撮影した画像
データ力 切り出した断面データを規格ィ匕した後の断面データが基画像データに比 ベて変形している際においても、特徴量 S (i)を求めて比較した結果はほぼ同一で、 式 2、式 3、式 4、式 5および式 6により、照合の対象となる基画像とカメラ付き携帯電 話 10で撮影した画像との同一性を確認することができるためである。
[0028] 次に、上記のようにして基画像力も抽出した特徴量 S (i)と振幅の大きさを表す数値 f (i)とにおいては、特徴量 S (i)と振幅の大きさを表す数値 f (i)とを基画像に基づいて 接続すべき関連 Webサイト 14の URL情報と関連付けてデータベースに登録してお く。データベースに登録されることとなった特徴量 S (i)と振幅の大きさを表す数値 f (i) とを、データベースに登録されている他の S (i)、 f (i)と区別して検索できるように、そ れぞれ Sm (i)、; T(i)として登録する。ここで、 「m」は、データベース 12における基画 像データの登録場所を示すインデックス値である。
[0029] 上記のように mを用いて特徴量 Sm (i)と fm(i)と URL情報とを関連付けてデータべ ース 12に登録することにより、後に照合の対象となるカメラ付き携帯電話 10で撮影し た画像力も抽出した所定の特徴量と Sm (i)とを照合し、両者が一致した場合に、カメ ラ付き携帯電話 10に基画像の関連 Webサイト 14の URL情報を送信することができ るよつになる。
[0030] 次に、カメラ付き携帯電話 10で撮影した画像の画像データ力も切り出して加工した データをサーバ 16へ送信する過程において、カメラ付き携帯電話 10で撮影した画 像の画像データ力も断面線を設定する手法について、図 7を参照しながら説明する。 即ち、カメラ付き携帯電話 10で撮影した画像たる撮影対象物と背景などとを含めた 撮影画像全体に対して、撮影画像の縦方向ピクセルに沿って各列が 128ピクセルを 有する 3本の列方向線と、撮影画像の横方向ピクセルに沿って各行が 128ピクセル を有する 3本の行方向線との、合計 6本の断面線を設定する。
ここで、上記した 3本の列方向線と 3本の行方向線との合計 6本の断面線の位置や 間隔は、開発者が予めカメラ付き携帯電話 10で撮影される画像のうち画像にしめる 照合の対象となる画像の範囲を想定して予め設定するようになされている。
なお、カメラ付き携帯電話 10で撮影する際、距離が離れているなど被写体が小さい 場合をある程度考慮に入れて、つまりは、余白部分のみに断面線が設定されることが
な 、ように、断面線位置や間隔を予め考慮して設定する。
これにより、予め登録されている基画像に関する特徴量と Sm(i)との照合をより確実 にすることで、カメラ付き携帯電話 10の性能および撮影時の種々の条件 (撮影アング ル、撮影距離あるいは撮影時の明るさなどである。)などに依存して劣化した場合に ぉ 、ても、実用レベルで十分な照合を行うことが可能となる。
このように、実用レベルで十分な照合を行うことが可能となるのは、基画像から切り 出した断面データを規格ィ匕した後の断面データと、カメラ付き携帯電話 10で撮影し た画像データ力 切り出した断面データを規格ィ匕した後の断面データとを比較した 場合において、カメラ付き携帯電話 10の性能や撮影時の種々の条件による影響で、 カメラ付き携帯電話 10で撮影した画像データから切り出した断面データを規格化し た後の断面データが基画像データに比べて変形している際においても、比較される それぞれのインデックス値 iにおける f (i)の大きさに大小の差があっても式 1により 1 、 0もしくは 1として表示される特徴量 S (i)を求めて比較した結果はほぼ同一となるが 、照合に用いる断面データが、例えば、縦方向と横方向とのそれぞれ 3本ずつの計 6 本あれば、 1本で照合した場合に比べて照合の精度が向上する。さらに照合の精度 を向上させるためには、カメラ付き携帯電話 10で撮影した画像データに設定する断 面線の数を増やせばよい。
[0031] 上記のようして設定した断面線に関して断面データを取得して、取得した断面デー タを、照合の対象となる画像以外の余白を取り除き、 128ピクセルサイズに変換処理 を行い、次にローパスフィルタリング処理を行い、処理後の断面データを 0〜255の 範囲で規格ィ匕し、規格ィ匕した断面データから特徴量 S (i)を取得する。
[0032] 次に、カメラ付き携帯電話 10で撮影した画像力も抽出した特徴量 S (i)に一致する データベース 12に登録された特徴量 Sm(i)を検索するために、下記の式 2および式 3の演算を行い、特徴量 S (i)と特徴量 Sm (i)とが一致するか否かを判断するために 閾値 Tと比較する最小二乗誤差値 Vmを算出する。
なお、式 2および式 3において、 Nおよび nは、カメラ付き携帯電話 10で撮影した画 像から取得した断面データの数を示す。
従って、特徴量 S (i)は n (0〜N— 1「N= 6」)番目の断面線の特徴量 S (i)を意味
し、特徴量 S mはデータベース 12に登録されているインデックス値 m (0〜M— 1「M =登録画像数」)番目の基画像データの断面線のうち n番目の断面線の特徴量 S (i) を意味する。
[数 2]
…式 2
[数 3]
…式 3
次に、式した最小二乗誤差値 vmを算出する処理と並行して、カメラ付き携帯電話 1 0で撮影した画像から抽出した数値 f (i)に一致するデータベース 12に登録された数 値 fm(i)を検索するために、下記の式 4および式 5の演算を行い、数値 f (i)と数値 fm (i )とが一致するカゝ否かを判断するために閾値 Tと比較する最小二乗誤差値 Dmを算
d
出する。
なお、式 4および式 5において、 Nおよび nは、カメラ付き携帯電話 10で撮影した画 像から取得した断面データの数を示す。
[数 4]
…式 4
[数 5]
…式 5
次に、上記においてそれぞれ算出した最小二乗誤差値 Vmと最小二乗誤差値 Dmと の双方が、ともにそれぞれの基準となる閾値 Tと閾値 Tとをそれぞれ下回った場合、 即ち、下記の式 6および式 7が成立する場合に、その下回った閾値の対象となった特 徴量 Sm(i)と振幅の大きさを表す数値 fm(i)とが抽出された基画像と、同じくその下回 つた閾値の対象となった特徴量 S (i)と振幅の大きさを表す数値 f (i)とを抽出したカメ ラ付き携帯電話 10で撮影した画像とがー致したとみなし、特徴量 Sm (i)と関連付けて データベース 12に登録されている基画像に対応する関連 Webサイト 14の URL情報 を、カメラ付き携帯 10に送信する。
そして、基画像に対応する関連 Webサイト 14の URL情報を受信したカメラ付き携 帯電話 10は、受信した URL情報を用いて関連 Webサイト 14に接続し、関連 Webサ イト 14の Webページをカメラ付き携帯電話 10の表示画面 10aに表示する。
[数 6]
Vm < Tv
…式 6
[数 7]
Dm < Td
…式 7
従って、上記したカメラ付き携帯情報通信端末を用いた Webサイト接続システムに よれば、予めパンフレット、雑誌、入場券、商品券あるいは看板などの各種の媒体お よび媒体の周辺になんらかの加工を施すことなしに、単に媒体をカメラ付き携帯情報 端末の内蔵カメラで撮影することにより、当該媒体に関連付けられた関連 Webサイト へ接続することができるようになる。
また、上記したカメラ付き携帯情報通信端末を用いた Webサイト接続システムによ れば、テレビコマーシャルや Webサイトなどの液晶などの画面に表示される画像を力 メラ付き携帯情報端末の内蔵カメラで撮影することにより、画像に関連付けられた関 連 Webサイトへ接続することができるようになる。
[0033] なお、図 8 (a)は基画像から切り出した断面データを規格ィ匕した後の断面データで あり、図 8 (b)はカメラ付き携帯電話 10で撮影した画像データ力も切り出した断面デ ータを規格ィ匕した後の断面データである。図 8 (b)は、撮影の際の環境 (周囲の光)の 影響で、基画像データに比べて変形している。し力しながら、それぞれを式 1に当て はめて特徴量 S (i)を求めて比較した結果はほぼ同一で、式 2、式 3および式 6により 、照合の対象となる基画像とカメラ付き携帯電話 10で撮影した画像とが同一であるこ とを確認できる。
[0034] なお、上記した実施の形態は、以下の(1)乃至(7)に示すように変形することができ
るものである。
(1)上記した実施の形態においては、基画像データやカメラ付き携帯電話 10で撮 影された画像の画像データに対してグレースケールィ匕処理を行うようにしたが、基画 像データやカメラ付き携帯電話 10で撮影された画像の画像データがグレースケール データである場合には、グレースケールィ匕処理を行う必要がな 、ことは勿論である。
(2)上記した実施の形態にぉ 、ては、カメラ付き携帯電話 10で撮影された画像の 画像データから抽出された特徴量 S (i)と数値 f (i)との両者を照合に用いるようにした が、これに限られるものではないことは勿論である。即ち、特徴量 S (i)と数値 f (i)との Vヽずれか一方のみを抽出して照合に用いるようにして、処理速度の向上を図るように してもよい。その場合には、基画像データから抽出する特徴量 Sm(i)と数値 fm (i)とに ついても、照合に用いる何れか一方のみを抽出してデータベース 12に登録しておけ ばよい。
(3)上記した実施の形態においては、カメラ付き携帯電話 10においてカメラ付き携 帯電話 10で撮影された画像の画像データに対する処理を行うようにして、カメラ付き 携帯電話 10から断面データのみをサーバ 16に送信し、以降の処理のみをサーバ 1 6側に委ねるようにした。このため、カメラ付き携帯電話 10で撮影してから関連 Web サイト 14に接続するまでの時間を短縮ィ匕することが可能になる力 これに限られるも のではないことは勿論である。即ち、カメラ付き携帯電話 10で撮影された画像の画像 データを、カメラ付き携帯電話 10で処理することなくサーバ 16へ送信し、サーバ 16 にお 、て、上記で説明したカメラ付き携帯電話 10で行われる処理を行うようにしても よい。このようにサーバ 16側に処理を委ねることにより、照合の精度をより向上するこ とが可能になる。
(4)上記した実施の形態にぉ ヽては、カメラ付き携帯電話 10で撮影された画像に 基づいて、 6本の断面線を設定するようにした力 これに限られるものではないことは 勿論である。即ち、断面線は 1本でもよいし、 2本以上の偶数本でもよいし、また、奇 数本でもよい。さらに、断面線は、列方向線のみでもよいし、行方向線のみでもよい。
(5)上記した実施の形態においては、カメラ付き携帯電話 10で撮影された画像に 基づいて、 6本の断面線を設定する際に、 3本の列方向線と 3本の行方向線との合計
6本の断面線の位置や間隔は予め設定されているものとした力 これに限られるもの ではな!/、ことは勿論であり、ユーザがカメラ付き携帯電話 10で撮影した画像に応じて 任意に設定するようにしてもょ 、。
(6)上記した実施の形態においては、グレースケールィ匕処理後に断面データを生 成するようにした力 これに限られるものではないことは勿論であり、処理の順番を変 えて、断面データを生成した後にグレースケールィ匕処理を行うようにしてもょ 、。
(7)上記した実施の形態ならびに上記した(1)乃至(6)に示す変形例は、適宜に 組み合わせるようにしてもよ!、。
産業上の利用可能性
本発明は、カメラ付き携帯電話、カメラ付き PHSあるいはカメラ付き PCなどの各種 のカメラ付き携帯情報通信端末を用いて Webサイトへ接続し、カメラ付き携帯情報通 信端末の表示画面上で Webページを閲覧することを可能にしたサービスに利用する ことができる。