JP4368906B2 - 情報検出方法および装置並びにプログラム - Google Patents

Description

本発明は、画像に埋め込まれた情報を検出する情報検出方法および装置並びに情報検出方法をコンピュータに実行させるためのプログラムに関するものである。

例えばＵＲＬのように、電子情報が存在する場所を表す情報をバーコードとして、あるいは電子透かしとして画像データに付与し、これをプリントアウトすることにより画像が記録されたプリント等の印刷物を得、この印刷物をスキャナ等の読取装置により読み取り、さらに読み取って得られた画像データを解析することにより、画像に付与された情報を検出し、電子情報が存在する場所にアクセスして電子情報を取得するようにしたシステムが広く用いられている（特許文献１、特許文献２、非特許文献１等）。

一方、携帯電話の普及には目覚ましいものがあるが、近年、撮影により画像データを取得するデジタルカメラを有するカメラ付き携帯電話等のカメラ付き携帯端末装置が普及しつつある（例えば特許文献３，４等）。また、ＰＤＡ等の携帯端末装置においてカメラを内蔵させたカメラ付き携帯端末装置も提案されている（特許文献５，６等）。

このようなカメラ付きの携帯端末装置を用いることにより、撮影により取得した自分の好みの画像データを携帯端末装置の液晶モニタにおいて待ち受け画面に設定できる。また、撮影により取得した画像データを電子メールに添付して友人に送信することができるため、約束をキャンセルせざるを得ないような状況になったとき、あるいは待ち合わせ時刻に遅刻しそうなときに、申し訳なさそうな自分の表情を撮影して友人に送信する等、現在の自分の状況を友人に知らせることができることから、友人とのコミュニケーションをはかるのに便利である。

また、カメラ付き携帯端末装置を用いて上述したように情報が埋め込まれた印刷物を撮影し、上記と同様に電子情報が存在する場所の情報を検出することにより、カメラ付き携帯端末装置からその場所にアクセスして電子情報を取得することができる。
米国特許第５，８４１，９７８号 特開２０００−２３２５７３号公報 特開平６−２３３０２０号公報 特開２０００−２５３２９０号公報 特開平８−１４００７２号公報 特開平９−６５２６８号公報 Digimarc MediaBiridge Home Page, Connect to what you want from the web（２００２年３月５日検索）, インターネット<URL:http://www.digimarc.com/mediabridge/>

しかしながら、カメラ付き携帯端末装置に設けられているカメラの撮影レンズはそれほど高性能のものではなく、得られる画像の歪みが非常に大きい。このため、バーコードや電子透かし等の情報が画像に付与された印刷物を読み取った場合、画像データにより表される画像においては埋め込まれている情報も歪んでいるため、情報を正常に検出することができないという問題がある。本出願人はこの問題を解決すべく、カメラに設けられた撮像デバイスの画素数を６００万画素以上にし、読み取った画像を高画質のものとして情報の読み取りを試みたが、読み取り不良のエラーが多発し、やはり画像に付与された情報を検出することができなかった。

本発明は上記事情に鑑みなされたものであり、とくにカメラ付き携帯端末装置に設けられたカメラのように、それほど高性能の撮像手段を用いなくても画像に埋め込まれた情報を精度よく検出することを目的とする。

本発明による情報検出システムは、画像が記録されてなる印刷物であって、該画像を表す画像データの送信先を表す第１の情報が第１のアルゴリズムにより付与され、前記画像に対応づけられた音声データの格納場所を表す第２の情報が第２のアルゴリズムにより付与された画像が記録されてなる印刷物を撮像して該画像を表す画像データを取得する撮像手段と、該画像データから前記第１の情報を検出する第１の情報検出手段と、前記第１の情報により表される前記送信先に前記画像データを送信する第１の通信手段とを備えた端末装置、および
前記画像データから前記第２の情報を検出する第２の情報検出手段と、前記画像データを受信し、前記第２の情報により表される前記格納場所にアクセスして前記音声データを取得し、該音声データを前記端末装置に送信する第２の通信手段とを備えた情報検出装置を有することを特徴とするものである。

なお、本発明による情報検出システムにおいては、前記端末装置を、前記画像データの幾何学的歪みを補正して補正画像データを取得する補正手段をさらに備えるものとし、
前記第１の情報検出手段を、前記補正画像データから前記第１の情報を検出する手段としてもよい。

また、本発明による情報検出システムにおいては、前記情報検出装置を、前記画像データの幾何学的歪みを補正して補正画像データを取得する補正手段をさらに備えるものとし、
前記第２の情報検出手段を、前記補正画像データから前記第２の情報を検出する手段としてもよい。

本発明による情報検出方法は、情報が付与された画像が記録されてなる印刷物を撮像手段によって撮像することにより得られた、前記画像を表す画像データの入力を受け付け、
前記画像データの幾何学的歪みを補正して補正画像データを取得し、
該補正画像データから前記情報を検出することを特徴とするものである。

「情報」は、バーコードとして画像に付与されていてもよいが、電子透かしとして画像に秘匿的に埋め込むことにより画像に付与することが好ましい。

「情報を付与する」とは、画像自体に情報を含ませることのみならず、画像に近接させて印刷物に記録することをも含む。

画像データの幾何学的歪みは、主に撮像手段に設けられた撮影レンズに起因するものであるが、これに限定されるものではない。

画像データの幾何学的歪みの補正は、撮像手段に設けられた撮影レンズの歪み特性を表す歪み特性情報を記憶しておき、これに基づいて画像データを補正することにより行うことができる。また、カメラにおいて取得された画像データのみからカメラのレンズの歪み特性を算出する方法が提案されている（Blind removal of lens distortion, Hany Farid and Alin C.Popescu, Optical Society of America, A/Vol.18, No.9/September 2001, pp2072-2077）。したがって、この方法を用いることによっても画像データの幾何学的ひずみを補正することができる。

なお、本発明による情報検出方法においては、前記撮像手段は携帯端末装置に設けられたカメラであってもよい。

さらに、本発明による情報検出方法においては、前記情報を前記画像に対応付けられた音声データの格納場所を表す格納場所情報とし、
該格納場所情報に基づいて前記音声データを取得するようにしてもよい。

本発明による情報検出装置は、情報が付与された画像が記録されてなる印刷物を撮像手段によって撮像することにより得られた、前記画像を表す画像データの入力を受け付ける画像データ入力手段と、
前記画像データの幾何学的歪みを補正して補正画像データを取得する補正手段と、
該補正画像データから前記情報を検出する情報検出手段とを備えたことを特徴とするものである。

なお、本発明による情報検出装置においては、前記情報を、前記画像に秘匿的に埋め込まれて該画像に付与されてなるものとしてもよい。

また、本発明による情報検出装置においては、前記撮像手段は携帯端末装置に設けられたカメラであってもよい。

さらに、本発明による情報検出装置においては、前記情報を前記画像に対応付けられた音声データの格納場所を表す格納場所情報とし、
該格納場所情報に基づいて前記音声データを取得する音声データ取得手段をさらに備えるものとしてもよい。

なお、本発明による情報検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、情報が付与された画像が記録されてなる印刷物が撮像手段によって撮像され、印刷物に記録された画像を表す画像データが取得される。そして、画像データの幾何学的歪みが補正されて補正画像データが取得され、補正画像データから情報が検出される。このため、撮像手段がそれほど高性能ではなく、得られた画像データが幾何学的歪みを含むものであっても、補正画像データにより表される補正画像おいては、印刷物に記録された画像に埋め込まれた情報が歪みのない状態で埋め込まれていることとなる。したがって、補正画像データに基づくことにより、埋め込まれた情報を精度よく検出することができる。

とくに、電子透かしのように情報が画像に秘匿的に埋め込まれて画像に付与されている場合には、その情報は非常に壊れやすいものとなっている。本発明によれば、補正画像においては埋め込まれた情報が歪みのない状態となっているため、とくに秘匿的に埋め込まれた情報を壊すことなく検出することができる。

また、撮像手段が携帯端末装置に設けられたカメラのように、得られる画像の幾何学歪みが大きい場合には、本発明による補正の効果は非常に大きい。

また、情報が画像に対応付けられた音声データのＵＲＬ等の格納場所を表す格納場所情報である場合、この格納場所情報に基づいて音声データの格納場所にアクセスして音声データを取得することにより、音声データを取得したユーザは画像に対応付けられた音声を再生して楽しむことができる。

以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図である。図１に示すように、第１の実施形態による情報送信システムは、カメラ付き携帯電話１と種々の情報を保管した画像サーバ２との間で公衆回線３を介してデータのやり取りを行うものである。

カメラ付き携帯電話１は、情報が埋め込まれた画像が記録された印刷物Ｐを撮像して印刷物Ｐに記録された画像を表す画像データＳ０を取得する撮像部１１と、画像や種々の情報を表示する表示部１２と、十字キー等の複数の入力キーからなるキー入力部１３と、公衆回線３を介して通話、メールの送受信およびデータの送受信を行う通信部１４と、撮像部１１において取得された画像データＳ０をメモリカード等に記憶する記憶部１５と、画像データＳ０の歪みを補正して補正画像データＳ１を得る歪み補正部１６と、補正画像データＳ１から印刷物Ｐに埋め込まれた情報を取得する情報検出部１７と、音声を出力するスピーカ等の音声出力部１８とを備える。

撮像部１１は、撮影レンズ、シャッタ、撮像デバイス等からなる。なお、撮影レンズは３５ｍｍカメラ換算でｆ≦２８ｍｍの広角レンズが使用される。また、撮像デバイスとしては、例えばカラーＣＭＯＳセンサやカラーＣＣＤセンサを用いることができる。

表示部１２は液晶モニタ等からなる。なお、本実施形態においては、画像データＳ０を縮小して、得られた画像の全体が表示部１２に表示されるようにしてもよいが、画像データＳ０を縮小することなくそのまま表示部１２に表示してもよい。この場合は、キー入力部１３の十字キーを用いて表示された画像をスクロールすることにより、画像上の全領域を把握することができる。

ここで、撮像部１１において撮像される印刷物Ｐには、印刷物Ｐに印刷された画像に対応する音声データＯ１を保管する画像サーバ２のＵＲＬが電子透かしとして埋め込まれている。この電子透かしは、印刷物Ｐに記録される画像を表す画像データＳ１０に対して、例えば下記のアルゴリズムにより埋め込まれる。

図２は、電子透かしの埋め込みアルゴリズムを説明するための図である。まず、ｍ種類（例えば埋め込む情報が１２８ビットである場合には１２８種類）の疑似ランダムパターンＲｉ（ｉ＝１〜ｍ）を生成する。なお、ランダムパターンＲｉは実際には２次元のパターンＲｉ（ｘ，ｙ）であるが、ここでは説明のために１次元のパターンＲｉ（ｘ）として表すものとする。そして、音声データＯ１を保管する画像サーバ２のＵＲＬを１２８ビットの情報で表した場合におけるｉ番目ビットの値を、対応するｉ番目のランダムパターンＲｉ（ｘ）に乗算する。すなわち、画像サーバ２のＵＲＬが例えば、１ビット目から順に１，１，０，０，…１と表すことができた場合、Ｒ１（ｘ）×１，Ｒ２（ｘ）×１，Ｒ３（ｘ）×０，Ｒ４（ｘ）×０，…，Ｒｉ（ｘ）×（ｉ番目ビット値），…Ｒｍ（ｘ）×１を算出する。さらに、Ｒ１（ｘ）×１，Ｒ２（ｘ）×１，Ｒ３（ｘ）×０，Ｒ４（ｘ）×０，…Ｒｍ（ｘ）×１の総和Ｓｕｍ（＝ΣＲｉ（ｘ）×（ｉ番目ビット値））を算出する。そして算出されたＳｕｍを画像データＳ１０に加算することにより、情報が埋め込まれた画像データＳ１１を得、これをプリントアウトすることにより情報が埋め込まれた画像が記録された印刷物Ｐを得ることができる。

そして、印刷物Ｐを撮像して印刷物Ｐに記録された画像を表す画像データＳ０を取得し、この画像データＳ０と全ての疑似ランダムパターンＲｉ（ｘ）との相関値を算出し、相関値が比較的大きい疑似ランダムパターンＲｉ（ｘ）については１を、それ以外の疑似ランダムパターンＲｉ（ｘ）については０を割り当て、割り当てられた値１，０を１番目の疑似ランダムパターンＲｉ（ｘ）から順に並べることにより、１２８ビットの情報、すなわち音声データＯ１を保管した画像サーバ２のＵＲＬを検出することができる。

ここで、撮像部１１において印刷物Ｐを撮像することにより取得される画像データＳ０は、画像データＳ１１に対応したものとなっているはずである。しかしながら、撮像部１１においては撮影レンズとして広角レンズを使用しているため、画像データＳ０により表される画像は撮像部１１における撮像レンズの幾何学的歪みを含んだものとなっている。したがって、画像データＳ０と疑似ランダムパターンＲｉ（ｘ，ｙ）との相関値を算出しても、埋め込まれた疑似ランダムパターンＲｉ（ｘ，ｙ）が歪んでいるため、相関値が大きくならず、印刷物Ｐに記録された画像に埋め込まれた情報を検出することができない。

このため、本実施形態においては、歪み補正部１６において、画像データＳ０により表される画像に含まれる幾何学的歪みを補正して補正画像データＳ１を取得するようにしたものである。

情報検出部１７は、上述したように補正画像データＳ１と疑似ランダムパターンＲｉ（ｘ，ｙ）との相関値を求め、印刷物Ｐに埋め込まれた音声データを保管する画像サーバ２のＵＲＬを表す情報Ｊ０を取得する。

画像サーバ２は、公衆回線３を介してのデータの送受信を行う通信部２１と、音声データ等種々の情報を記憶した情報記憶部２２と、カメラ付き携帯電話１から送信された情報Ｊ０に基づいて、情報記憶部２２を検索して情報Ｊ０により表されるＵＲＬが指定する音声データＯ１を取得する情報検索部２３とを備える。

なお、音声データＯ１は、印刷物Ｐに印刷する画像を表す画像データＳ１０を取得したユーザ（以下取得ユーザとする）が録音したものである。音声データＯ１は、デジタルカメラにおいて画像データＳ０の撮像時に録音されて画像データＳ１０とともにメモリカードに記録される。そして、取得ユーザがメモリカードを写真店に持参することにより、音声データＯ１は写真店から画像サーバ２にアップロードされる。なお、取得ユーザは、自分が所有するパソコンを用いてインターネット経由で音声データＯ１を画像サーバ２にアップロードしてもよい。一方、写真店においては、取得ユーザから受け取った画像データＳ１０をプリントアウトする際に、音声データＯ１の保管場所を表すＵＲＬが電子透かしとして画像データＳ１０に埋め込まれて画像データＳ１１が生成され、この画像データＳ１１がプリントアウトされて印刷物Ｐが生成される。

なお、デジタルビデオカメラにより撮像された動画の１フレームをプリントアウトする場合がある。この場合、音声データＯ１としては、動画とともに録音されている音声を表すものを用いることができる。

次いで、第１の実施形態の動作について説明する。図３は第１の実施形態の動作を示すフローチャートである。なお、カメラ付き携帯電話１のユーザ（以下受信ユーザとする）には、印刷物Ｐが渡されているものとする。まず、受信ユーザの指示により撮像部１１が印刷物Ｐを撮像し、印刷物Ｐの画像を表す画像データＳ０を取得する（ステップＳ１）。記憶部１５は画像データＳ０を一旦記憶する（ステップＳ２）。そして、歪み補正部１６が記憶部１５から画像データＳ０を読み出し、画像データＳ０に含まれる幾何学的ひずみを補正して補正画像データＳ１を取得する（ステップＳ３）。そして、情報検出部１７が、補正画像データＳ１に埋め込まれている音声データＯ１の保管場所のＵＲＬを表す情報Ｊ０を検出する（ステップＳ４）。情報Ｊ０を検出すると、通信部１４が公衆回線３を介して情報Ｊ０を画像サーバ２に送信する（ステップＳ５）。

画像サーバ２の通信部２１は情報Ｊ０を受信し（ステップＳ６）、情報検索部２３が情報Ｊ０により表されるＵＲＬに基づいて情報記憶部２２から音声データＯ１を検索し（ステップＳ７）、通信部２１が検索した音声データＯ１を公衆回線３を介してカメラ付き携帯電話１に送信する（ステップＳ８）。

カメラ付き携帯電話１の通信部１４は音声データＯ１を受信し（ステップＳ９）、音声出力部１８が音声データＯ１を再生し（ステップＳ１０）、処理を終了する。

受信ユーザは、カメラ付き携帯電話１の表示部１２に表示された画像とともに、表示された画像に対応する音声をも聞くことができる。

このように、第１の実施形態によれば、撮像部１１が取得した画像データＳ０の幾何学的歪みを補正して補正画像データＳ１を取得し、補正画像データＳ１から音声データＯ１の保管場所のＵＲＬを表す情報Ｊ０を取得するようにしたものである。このため、撮像部１１がそれほど高性能のものではなく、得られた画像データＳ０が撮像部１１の撮影レンズに起因する幾何学的歪みを含むものであっても、補正画像データＳ１により表される補正画像においては、印刷物Ｐに記録された画像に埋め込まれた情報Ｊ０が歪みのない状態で埋め込まれていることとなる。したがって、埋め込まれた情報Ｊ０を精度よく検出することができる。

なお、上記第１の実施形態において、電子透かしに代えて、音声データＯ１の保管場所のＵＲＬをバーコードとして画像データＳ１０に付与してもよい。また、バーコードを画像データＳ１０により表される画像に近接させて印刷物Ｐに記録してもよい。この場合、画像サーバ２にバーコードと音声データＯ１の保管場所のＵＲＬとを対応付けた情報が保管され、カメラ付き携帯電話１からはバーコードを表すバーコード情報が画像サーバ２に送信される。画像サーバ２においては、バーコード情報に基づいて音声データＯ１の保管場所のＵＲＬが取得され、これに基づいて音声データＯ１が取得される。

次いで、本発明の第２の実施形態について説明する。図４は本発明の第２の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図である。なお、第２の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態においては、カメラ付き携帯電話１において取得された画像データＳ０を画像サーバ２に送信し、画像サーバ２において情報Ｊ０を検出するようにした点が第１の実施形態と異なる。このため、第２の実施形態においては、画像サーバ２に歪み補正部２４および情報検出部２５を備える。

なお、第２の実施形態においては、歪み補正部２４は、カメラ付き携帯電話１の機種に応じた歪み特性情報を記憶したメモリ２４Ａを備える。このメモリ２４Ａには、カメラ付き携帯電話１の機種情報と歪み特性情報とが対応付けられて記憶されている。そして、カメラ付き携帯電話１から送信された機種情報に基づいて、対応する機種の歪み特性情報を読み出して画像データＳ０の補正を行うものである。なお、カメラ付き携帯電話１においては、機種に応じて特有の電話番号が割り当てられている。このため、電話番号と機種情報とを対応付けた情報をもメモリ２４Ａに記憶しておき、カメラ付き携帯電話１から電話番号を送信することにより、歪み特性情報を読み出すようにしてもよい。

次いで、第２の実施形態の動作について説明する。図５は第２の実施形態の動作を示すフローチャートである。なお、受信ユーザには、印刷物Ｐが渡されているものとする。まず、受信ユーザの指示により撮像部１１が印刷物Ｐを撮像し、印刷物Ｐの画像を表す画像データＳ０を取得する（ステップＳ２１）。記憶部１５は画像データＳ０を一旦記憶する（ステップＳ２２）。そして、通信部１４が記憶部１５から画像データＳ０を読み出し、公衆回線３を介して画像データＳ０を画像サーバ２に送信する（ステップＳ２３）。

画像サーバ２の通信部２１は画像データＳ０を受信し（ステップＳ２４）、歪み補正部２４が画像データＳ０に含まれる幾何学的ひずみを補正して補正画像データＳ１を取得する（ステップＳ２５）。そして、情報検出部２５が、補正画像データＳ１に埋め込まれている音声データＯ１の保管場所のＵＲＬを表す情報Ｊ０を検出する（ステップＳ２６）。情報Ｊ０を検出すると、情報検索部２３が情報Ｊ０により表されるＵＲＬに基づいて情報記憶部２２から音声データＯ１を検索し（ステップＳ２７）、通信部２１が検索した音声データＯ１を公衆回線３を介してカメラ付き携帯電話１に送信する（ステップＳ２８）。

カメラ付き携帯電話１の通信部１４は音声データＯ１を受信し（ステップＳ２９）、音声出力部１８が音声データＯ１を再生し（ステップＳ３０）、処理を終了する。

受信ユーザは、カメラ付き携帯電話１の表示部１２に表示された画像とともに、表示された画像に対応する音声をも聞くことができることとなる。

このように、第２の実施形態においては、撮像部１１がそれほど高性能のものではなく、得られた画像データＳ０が撮像部１１の撮影レンズに起因する幾何学的歪みを含むものであっても、補正画像データＳ１により表される補正画像おいては、印刷物Ｐに記録された画像に埋め込まれた情報Ｊ０が歪みのない状態で埋め込まれていることとなる。したがって、埋め込まれた情報Ｊ０を精度よく検出することができ、これに基づいて音声データＯ１を検索してカメラ付き携帯電話１に送信することができる。

また、第２の実施形態においては、画像サーバ２において情報Ｊ０を検出しているため、カメラ付き携帯電話１は情報Ｊ０を検出するための処理を行う必要がなく、その結果、第１の実施形態と比較してカメラ付き携帯電話１の処理の負担を軽減することができる。また、カメラ付き携帯電話１に歪み補正部および情報検出部を設ける必要がなくなるため、第１の実施形態と比較して、カメラ付き携帯電話１のコストを低減することができるとともに、カメラ付き携帯電話１の消費電力を低減することができる。

さらに、情報を埋め込むアルゴリズムは日々更新されるが、画像サーバ２に情報検出部２５を設けることにより、アルゴリズムの頻繁な更新にも対応することができる。

なお、上記第２の実施形態において、電子透かしに代えて音声データＯ１の保管場所のＵＲＬをバーコードとして画像データＳ１０に付与してもよい。また、バーコードを画像データＳ１０により表される画像に近接させて印刷物Ｐに記録してもよい。この場合、画像サーバ２にバーコードと音声データＯ１の保管場所のＵＲＬとを対応付けた情報が保管され、画像サーバ２においては、バーコードを表すバーコード情報がカメラ付き携帯電話１から送信された画像データＳ０から検出される。そして検出されたバーコード情報に基づいて音声データＯ１の保管場所のＵＲＬが取得され、これに基づいて音声データＯ１が取得され、カメラ付き携帯電話１に送信される。

次いで、本発明の第３の実施形態について説明する。図６は本発明の第３の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図である。なお、第３の実施形態において、第１および第２の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第３実施形態においては、カメラ付き携帯電話１および画像サーバ２の双方において、情報Ｊ０を検出可能にした点が第１および第２の実施形態と異なる。

このように、カメラ付き携帯電話１および画像サーバ２の双方において情報Ｊ０を検出可能とすることにより、カメラ付き携帯電話１において情報Ｊ０を検出することができる場合には、情報Ｊ０のみを画像サーバ２に送信し、カメラ付き携帯電話１において情報Ｊ０を検出できない場合にのみ画像データＳ０を画像サーバ２に送信すればよいこととなる。このため、カメラ付き携帯電話１においては、必要な場合にのみ画像データＳ０を画像サーバ２に送信すればよいため、通信費用を節約することができる。

また、検出が簡単であるが少ない情報量しか埋め込むことができない比較的簡易なアルゴリズム（第１のアルゴリズムとする）により第１の情報（Ｊ１とする）を画像データＳ１０に埋め込むとともに、検出は難しいが比較的多い情報量を埋め込むことができるアルゴリズム（第２のアルゴリズムとする）により第２の情報を画像データＳ１０に埋め込んだ場合には、音声データＯ１の保管場所の秘匿性を向上させるという点において第３の実施形態は非常に有効である。

すなわち、カメラ付き携帯電話１の情報検出部１７においては、比較的簡易な第１のアルゴリズムにより情報Ｊ１のみを検出可能とし、画像サーバ２の情報検出部２５において、第２のアルゴリズムにより情報Ｊ２を検出可能としておき、第１のアルゴリズムにより画像サーバ２のＵＲＬを、第２のアルゴリズムにより実際に音声データＯ１が保管されているサーバ（画像サーバ２以外のもの）のＵＲＬを埋め込んでおく。

そして、カメラ付き携帯電話１の情報検出部１７において検出されたＵＲＬの画像サーバ２に画像データＳ０を送信し、画像サーバ２の情報検出部２５において音声データＯ１が保管されているサーバのＵＲＬを検出する。そして、画像サーバ２において他のサーバから音声データＯ１を取得し、これをカメラ付き携帯電話１に送信することにより、カメラ付き携帯電話１において音声データＯ１を再生することができる。

ところで、携帯電話を用いてインターネットにアクセスしたり、電子メールの送受信を行うために、携帯電話会社はウェブサーバやメールサーバにアクセスするための中継サーバを提供しており、携帯電話からは中継サーバを介してウェブサイトにアクセスしたり、電子メールの送受信を行っている。このため、ウェブサーバに音声データＯ１を保管しておき、中継サーバに本発明による情報検出装置を設けるようにしてもよい。以下、これを第４の実施形態として説明する。

図７は、本発明の第４の実施形態による情報検出装置を適用した携帯電話中継システムの構成を示す概略ブロック図である。なお、第４の実施形態において、第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。

図７に示すように、携帯電話中継システムは、カメラ付き携帯電話１と、中継サーバ６と、ウェブサーバやメールサーバ等からなるサーバ群７との間で公衆回線３およびネットワーク８を介してデータのやり取りを行うものである。

なお、第４の実施形態においては、カメラ付き携帯電話１は第２の実施形態による情報送信システムに用いられているカメラ付き携帯電話１と同様に、撮像部１１、表示部１２、キー入力部１３、通信部１４、記憶部１５および音声出力部１８を有する。

中継サーバ６は、カメラ付き携帯電話１およびサーバ群７を中継する中継システム６１と、第１および第２の実施形態の歪み補正部１６，２４および情報検出部１７，２５にそれぞれ対応する歪み補正部６２および情報検出部６３と、カメラ付き携帯電話１の通信料金を管理する課金システム６４とを備える。なお、歪み補正部６２は、第２の実施形態のメモリ２４Ａに対応する、カメラ付き携帯電話１の機種に応じた歪み特性情報を記憶したメモリ６２Ａを備えている。

なお、第４の実施形態においては、情報検出部６３は補正画像データＳ１から音声データＯ１の保管場所を表すＵＲＬを検出するとともに、検出したＵＲＬを中継システム６１に入力する機能を有する。

中継システム６１は、情報検出部６３からＵＲＬが入力されるとそのＵＲＬに対応するウェブサーバ（７Ａとする）にアクセスして、そこに保管されている音声データＯ１を読み出し、カメラ付き携帯電話１に送信する。なお、カメラ付き携帯電話１が撮影したプリントＰに音声データＯ１の保管場所のＵＲＬが埋め込まれていない場合には、情報検出部６３からその旨が中継システム６１に入力される。中継システム６１はその旨を記述した電子メールをカメラ付き携帯電話１に送信して、カメラ付き携帯電話１から送信された画像データＳ０には音声データＯ１にリンクする情報は付与されていなかったことをカメラ付き携帯電話１のユーザに通知する。

課金システム６４は、カメラ付き携帯電話１の通信料金の管理を行う。本実施形態においては、プリントＰにＵＲＬが埋め込まれており、中継システム６１が音声データＯ１を取得するためにウェブサーバ７Ａにアクセスした段階において課金システム６４が課金を開始し、プリントＰにＵＲＬが埋め込まれていない場合には、中継システム６１はサーバ群７のいずれにもアクセスしないため、課金はされないこととなる。

次いで、第４の実施形態において行われる処理について説明する。図８は４の実施形態において行われる処理を示すフローチャートである。なお、受信ユーザには、プリントＰが渡されているものとする。まず、受信ユーザの指示により、撮像部１１がプリントＰを撮像し、プリントＰの画像を表す画像データＳ０を取得する（ステップＳ５１）。記憶部１５は画像データＳ０を一旦記憶する（ステップＳ５２）。そして、通信部１４が記憶部１５から画像データＳ０を読み出し、公衆回線３を介して画像データＳ０を中継サーバ６に送信する（ステップＳ５３）。

中継サーバ６の中継システム６１は画像データＳ０を受信し（ステップＳ５４）、歪み補正部６２が画像データＳ０に含まれる幾何学的歪みを補正して補正画像データＳ１を取得する（ステップＳ５５）。そして、情報検出部６３が、補正画像データＳ１から音声データＯ１の保管場所のＵＲＬが検出可能か否かを判定する（ステップＳ５６）。

ステップＳ５６が肯定されると、情報検出部６３が、補正画像データＳ１からＵＲＬを検出して、さらにＵＲＬを中継システム６１に入力する（ステップＳ５７）。中継システム６１はＵＲＬに基づいてウェブサーバ７Ａにネットワーク８を介してアクセスする（ステップＳ５８）。

ウェブサーバ７Ａは音声データＯ１を検索し（ステップＳ５９）、検索した音声データＯ１をネットワーク８を介して中継システム６１に送信する（ステップＳ６０）。中継システム６１は音声データＯ１を中継してカメラ付き携帯電話１に送信する（ステップＳ６１）。

カメラ付き携帯電話１の通信部１４は音声データＯ１を受信し（ステップＳ６２）、音声出力部１８が音声データＯ１を再生し（ステップＳ６３）、処理を終了する。

一方、ステップＳ５６が否定されると、中継システム６１がプリントＰにＵＲＬが埋め込まれていない旨を記述した電子メールをカメラ付き携帯電話１に送信し（ステップＳ６４）、処理を終了する。

なお、上記第１から第４の実施形態においては、音声データＯ１の保管場所のＵＲＬを電子透かしとして埋め込んでいるが、印刷物Ｐに記録された画像を表す画像データＳ１０の撮影者の電話番号を埋め込んでもよい。この場合、撮影者は自分の電話番号を他人に知られることなく密かにカメラ付き携帯電話１のユーザに伝えることができる。一方、カメラ付き携帯電話１のユーザは、カメラ付き携帯電話１において印刷物Ｐを撮影することにより得られた画像データＳ０から撮影者の電話番号を得ることができ、これによりカメラ付き携帯電話１のユーザは印刷物Ｐに記録された画像の撮影者に電話をかけることができる。

また、上記第１から第４の実施形態においては、画像サーバ２に保管された音声データＯ１をカメラ付き携帯電話１に送信しているが、情報Ｊ０が画像サーバ２以外の他のサーバのＵＲＬである場合には、画像サーバ２がそのサーバにアクセスして音声データＯ１を取得し、取得した音声データＯ１をカメラ付き携帯電話１に送信すればよい。

本発明の第１の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図 電子透かしの埋め込みアルゴリズムを説明するための図 第１の実施形態の動作を示すフローチャート 本発明の第２の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図 第２の実施形態の動作を示すフローチャート 本発明の第３の実施形態による情報検出装置を適用した情報送信システムの構成を示す概略ブロック図 本発明の第４の実施形態による情報検出装置を適用した携帯電話中継システムの構成を示す概略ブロック図 第４の実施形態の動作を示すフローチャート

符号の説明

１ カメラ付き携帯電話
２ 画像サーバ
３ 公衆回線
６ 中継サーバ
７ サーバ群
８ ネットワーク
１１ 撮像部
１２ 表示部
１３ キー入力部
１４，２１ 通信部
１５ 記憶部
１６，２４，６２ 歪み補正部
１７，２５，６３ 情報検出部
１８ 音声出力部
２２ 情報記憶部
２３ 情報検索部
６１ 中継システム
６４ 課金システム

Claims (3)

1. 画像が記録されてなる印刷物であって、該画像を表す画像データの送信先を表す第１の情報が、検出が簡単であるが少ない情報量しか埋め込むことができない比較的簡易な第１のアルゴリズムにより付与され、前記画像に対応づけられた音声データの格納場所を表す第２の情報が、検出は難しいが比較的多い情報量を埋め込むことができる第２のアルゴリズムにより付与された画像が記録されてなる印刷物を撮像して該画像を表す画像データを取得する撮像手段と、該画像データから前記第１の情報を検出する第１の情報検出手段と、前記第１の情報により表される前記送信先に前記画像データを送信する第１の通信手段とを備えた端末装置、および
   前記画像データから前記第２の情報を検出する第２の情報検出手段と、前記画像データを受信し、前記第２の情報により表される前記格納場所にアクセスして前記音声データを取得し、該音声データを前記端末装置に送信する第２の通信手段とを備えた情報検出装置を有することを特徴とする情報検出システム。
2. 前記端末装置が、前記画像データの幾何学的歪みを補正して補正画像データを取得する補正手段をさらに備え、
   前記第１の情報検出手段は、前記補正画像データから前記第１の情報を検出する手段であることを特徴とする請求項１記載の情報検出システム。
3. 前記情報検出装置が、前記画像データの幾何学的歪みを補正して補正画像データを取得する補正手段をさらに備え、
   前記第２の情報検出手段は、前記補正画像データから前記第２の情報を検出する手段であることを特徴とする請求項１または２記載の情報検出システム。

Images