JP7463087B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

特許文献１には、携帯端末の撮像センサで対象の印刷物の撮像を行い、取得された撮像画像情報から付加情報を抽出する技術が記載されている。

特開２００５－１５０８４９号公報

しかし、特許文献１に記載の技術では、携帯端末側の機能の低下などに起因する付加情報の抽出不良が生じた場合の対策について考慮されていない。このため、特許文献１に開示の技術を用いた従来の携帯端末では、ユーザが、携帯端末側の抽出性能に原因があることに気付かないまま、撮像を継続してしまう可能性があり、労力と時間の無駄が生じる。

そこで本発明は、撮像画像情報から付加情報を抽出する処理におけるユーザの利便性を向上させることを目的とする。

本発明は、情報処理装置のコンピュータに、付加情報が電子透かしにより埋め込まれた特定の印刷物を撮像手段によって撮像させ、撮像画像を取得する撮像ステップと、前記撮像画像から付加情報を抽出する抽出処理を行う抽出ステップと、前記抽出処理におけるエラーの発生回数が所定回数に達する前に、前記抽出処理によって付加情報が抽出できたことを含む第１の条件を満たす場合に、付加情報の抽出性能が十分良好であることを通知する第１通知ステップと、前記第１の条件を満たさず、前記抽出処理に関する第２の条件を満たす場合に、付加情報の抽出性能が十分である可能性があることを通知する第３通知ステップと、前記第１の条件を満たさず、前記第２の条件も満たさない場合に、付加情報の抽出性能が不十分である可能性があることを通知する第２通知ステップと、を実行させるためのプログラムである。

本発明によれば、付加情報を抽出する処理におけるユーザの利便性を向上させることが可能になる。

画像処理システムの構成を示すブロック図である。 画像形成装置及び携帯端末における制御系の概略構成を示すブロック図である。 電子透かし部に含まれる電子透かし埋め込み処理を行う構成を示すブロック図である。 量子化条件制御部の処理を示すフローチャートである。 電子透かし領域を説明するための図である。 量子化条件Ａ、Ｂを説明するための図である。 付加情報分離部の構成を示すブロック図である。 空問フィルタを示す図である。 ２次元の周波数領域を示す図である。 間引き部から判定部までの処理を示すフローチャートである。 量子化条件Ａ、Ｂを用いたパターンを示す図である。 付加情報の単位ブロックを示す図である。 印刷用紙上の付加情報が埋め込まれた状態を示す図である。 印刷用紙とレンズと撮像センサの位置関係を説明するための図である。 動画撮像の開始から診断モードまでの処理を示すフローチャートである。 撮像姿勢の影響の低減を説明するための図である。 第１実施形態の診断モードで実行される処理を示すフローチャートである。 第２実施形態の診断モードで実行される処理を示すフローチャートである。 第３実施形態の診断モードで実行される処理を示すフローチャートである。

（第１実施形態）
以下、添付図面を参照して本発明の実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る本発明を限定するものではなく、また本実施形態で説明されている特徴及びその組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、各図において同一の構成要素には同一の参照符号を付す。

図１は、本実施形態における画像形成システムの構成を示すブロック図である。画像形成システムは、図１（ａ）に示す画像形成装置１００と、図１（ｂ）に示す撮像機能付携帯端末（以下、単に携帯端末という）１０１とを含む。画像形成装置１００は、印刷機能を有する装置であり、例えば、ＭＦＰ（多機能型周辺装置）である。携帯端末１０１は、例えば、カメラ付携帯電話、カメラ付スマートフォン、及びカメラ付タブレットＰＣであり、これらに本発明に係る情報処理装置が内蔵されている。

画像形成装置１００は、付加情報が電子透かし（ウォーターマーク）により埋め込まれた印刷物１０４を印刷することが可能である。電子透かしとは、付加情報を、人間の目には不可視である状態で、印刷物１０４に印刷する技術である。また、携帯端末１０１は、撮像センサ１０７（カメラ）によって印刷物１０４を撮像し、撮像した画像から付加情報を抽出することが可能である。画像形成装置１００と携帯端末１０１との間は、有線ネットワークや無線ネットワークで相互に通信可能であっても良いし、相互に通信可能に接続されていなくても良い。

画像形成装置１００は、付加情報を印刷物１０４に埋め込む電子透かし部１０５を含み、携帯端末１０１は、電子透かしにより埋め込まれた付加情報を印刷物から抽出する付加情報分離部１０８を含む。電子透かし部１０５は、例えば、プリント部１０６（プリンタエンジン）へ出力すべき画像情報を作成するプリンタドライバソフトウエア、もしくは、アプリケーションソフトウエアとして実現される。また、電子透かし部１０５は、複写機、ファクシミリ、及びプリンタ本体等にハードウエアやソフトウエアとして内蔵される形態で実現されても良い。

また、付加情報分離部１０８は、例えば、デジタルスチールカメラで撮像した画像から付加情報を分離する内部のアプリケーションソフトウエアやハードウエアで実現されても良い。なお、本実施形態では、電子透かし部１０５とプリント部１０６が画像形成装置１００に含まれるものとして説明するが、電子透かし部１０５とプリント部１０６とが、別個の装置に分けられていても良い。例えば、ＰＣや携帯端末（スマートフォン）等の情報処理装置が電子透かし部１０５を含み、画像形成装置１００がプリント部１０６を含む形態でも良い。

また、入力端子１０２には、例えば、ネットワークＩ／Ｆ２０４から画像情報などが入力され、入力端子１０３には、例えば、ネットワークＩ／Ｆ２０４や操作部２０６から画像情報に電子透かしにより埋め込まれる付加情報が入力される構成を有している。

＜付加情報を埋込むための構成＞
前述のように、入力端子１０２から多階調の画像情報が入力され、入力端子１０３から画像情報の中に電子透かしにより埋め込むべき付加情報が入力される。この付加情報は、画像情報とは別の情報、例えば音声情報や動画情報、文字情報、画像に関する著作権、撮像日時、撮像場所、撮像者の諸情報、もしくは、入力された画像とは別の画像情報等、である。さらに、付加情報は、画像ファイルとして構成された画像情報の一部として内包されていても良い。

電子透かし部１０５は、視覚的に判別されにくいように、画像情報中に電子透かしにより付加情報を埋め込む。プリント部１０６は、電子透かし部１０５で作成された情報に基づいて印刷処理を実行する。

プリント部１０６は、例えば、インクジェットプリンタ、レーザプリンタ等、疑似階調処理を用いることにより階調表現を印刷物１０４上に実現するプリンタである。

図２は、画像形成装置１００及び携帯端末１０１における制御系の概略構成を示すブロック図であり、（ａ）は画像形成装置の制御系を、（ｂ）は携帯端末１０１の制御系をそれぞれ示している。ＣＰＵ２００は、画像形成装置１００の内部を統括的に制御するプロセッサである。図１の電子透かし部１０５は、例えば、ＣＰＵ２００により実現される。ＲＯＭ２０１やＨＤＤ２０３は、画像形成装置１００の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。例えば、ＣＰＵ２００は、ＲＯＭ２０１に記憶されたプログラムをＲＡＭ２０２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２０２は、ＣＰＵ２００のワーキングメモリとしても用いられる。

ネットワークインタフェース（ＮＷ Ｉ／Ｆ）２０４は、例えば、有線や無線等、ネットワークの形態に応じた構成を有する。また、ネットワークインタフェース（ＮＷ Ｉ／Ｆ）２０４は、通信範囲が異なる複数種類の無線ネットワークにも対応可能である。例えば、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、携帯端末１０１と通信することも可能である。

ディスプレイ２０５は、ユーザに各設定画面やプレビュー画面等をＣＰＵ２００の表示制御によって表示する。操作部２０６は、例えば、キーボードやタッチパネル等を有し、ユーザからの操作指示を受付可能である。

デバイスＩ／Ｆ２０７は、プリント部１０６（プリントエンジン）と、システムバス２０９とを接続する。図１では、プリント部１０６が示されているが、画像形成装置１００の実行可能な機能に応じて、スキャナ、ＦＡＸ等、他のブロックがデバイスＩ／Ｆ２０７に接続されても良い。

画像処理部２０８は、外部から取得した画像データに対して、用途に応じた画像処理を実行する。例えば、画像処理部２０８は、プリント部１０６の記録方式に応じた色空問変換や２値化処理、画像の拡大／縮小／回転、といった処理を実行する。

図２に示す各ブロックは、システムバス２０９を介して相互に通信可能に接続されている。但し、図２に示す構成以外の構成であっても良く、例えば、システムバス２０９とイメージデータバスとがバスブリッジを介して接続される構成であっても良い。その場合、例えば、デバイスＩ／Ｆ２０７がイメージデータバスに接続される。

＜付加情報を抽出するための構成＞
図１の携帯端末１０１上で実行される読取アプリケーションは、撮像センサ１０７を用いて印刷物１０４の撮像を行う。次に、付加情報分離部１０８によって、撮像画像から埋め込まれた付加情報を分離し、付加情報チェック部１０９によって誤り検出を行って、出力端子１１２に出力する。この出力端子１１２は、取得した付加情報を出力するインタフェースである。例えば、画像情報や文字情報であればディスプレイ１１０へ出力し、ＵＲＬなどのリンク情報であれば、ディスプレイ１１０上でブラウザを起動してリンク先を表示する。また、出力端子１１２から、外部デバイスヘデータを出力するインタフェースに、付加情報を出力しても良い。また、スピーカ１１１は、操作に関する情報や、判定の結果等を音声情報として出力する。

図２（ｂ）は、携帯端末１０１のブロック構成を示す図である。携帯端末１０１は、ＣＰＵ２１０、ＲＯＭ２１１及びＲＡＭ２１２等の、汎用的な情報処理装置の構成を含む。ＣＰＵ２１０は、携帯端末１０１の内部を統括的に制御するプロセッサである。

前述の付加情報分離部１０８は、例えば、ＣＰＵ２１０により実現される。ＲＯＭ２１１は、携帯端末１０１の基本プログラムや制御プログラム、各種アプリケーションやデータ等を記憶する。例えば、ＣＰＵ２１０は、ＲＯＭ２１１に記憶されたプログラムをＲＡＭ２１２に読み出して実行することにより、各実施形態の動作を実現する。ＲＡＭ２１２は、ＣＰＵ２１０のワーキングメモリとしても用いられる。なお、本実施形態では、ＣＰＵ２１０やＲＯＭ２１１、ＲＡＭ２１２により、情報処理装置のコンピュータが形成される。このコンピュータは、本発明の通知制御手段、取得手段、及び診断手段としての機能を実現する。

ネットワークＩ／Ｆ２１３は、例えば、有線や無線等、ネットワークの形態に応じた構成を有し、通信範囲が異なる複数種類の無線ネットワークにも対応可能である。例えば、ネットワークＩ／Ｆ２１３は、通信距離が数ｃｍといった近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、画像形成装置１００と通信することも可能である。

ディスプレイ１１０は、ユーザに各設定画面やプレビュー画面等を表示する。操作部２１４は、例えば、ハードキー等を有し、ユーザからの操作指示を受付可能である。図２（ｂ）に示す各ブロックは、システムバス２１５を介して相互に通信可能に接続されている。スピーカ１１１は、ユーザに操作に関する情報や、後述の診断結果や判定の結果等を音声情報として出力する。

＜付加情報の埋込み処理＞
図３は、図１に示す電子透かし部１０５に含まれる電子透かし埋め込み処理を行う構成を示すブロック図である。誤差拡散処理部３００は、入力端子１０２に入力された画像情報に、一般的な誤差拡散法を用いた疑似階調処理を行うことによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値により、面積的に階調性を表現する。

ブロック化部３０１は、入力端子１０２に入力された画像情報を所定領域（ブロック）単位に区分する。ブロック化部３０１により行われるブロック化は、矩形の領域に区分されても良いし、矩形以外の領域に区分されても良い。

量子化条件制御部３０２は、入力端子１０３で入力された付加情報に基づいて、ブロック化部３０１にてブロック化された領域単位で、量子化条件を変更するように制御する。また、量子化条件制御部３０２は、入力端子１０３に入力された付加情報に基づき、ブロック単位で量子化条件を変更する。

次に、量子化条件制御部３０２を含む全体の処理について、図４のフローチャートを参照しつつ説明する。量子化値は２値である例について説明する。図４の処理は、例えば、画像形成装置１００のＣＰＵ２００がＲＯＭ２０１に記憶されているプログラムをＲＡＭ２０２に読み出して実行することにより実現される。

Ｓ４１では、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｉを初期化する。ここで、変数量は、垂直方向のアドレスをカウントする変数である。Ｓ４２では、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｊを初期化する。ここで、変数ｊは、水平方向のアドレスをカウントする変数である。続いて、Ｓ４３では、ＣＰＵ２００は、現在の処理アドレスである座標（ｉ，ｊ）が電子透かし埋め込み処理を実行すべき領域に属しているか否かを判定する。

ここで、図５を参照しつつ、電子透かし領域について説明する。図５に示す電子透かし領域Ｒ１は、水平画素数がＷＩＤＴＨ、垂直画素数がＨＥＩＧＨＴからなる一つの画像を示している。本実施形態では、この画像中に付加情報が電子透かしにより埋め込まれる例を想定する。画像の左上を原点Ｒ０として、横Ｎ画素、縦Ｍ画素でブロック化が行われる。本実施形態では、原点Ｒ０を基準点としてブロック化が行われるが、原点Ｒ０から離れた点を基準点として設定するようにしても良い。この画像中に最大限の情報を電子透かしにより埋め込むために、Ｎ×Ｍのブロックを基準点Ｒ０から配置していく。すなわち、水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、ＷとＨは、（式１）及び（式２）から算出される。
Ｗ＝ＩＮＴ（ＷＩＤＴＨ／Ｎ）・・・・・・（式１）
Ｈ＝ＩＮＴ（ＨＥＩＧＨＴ／Ｍ）・・・・・（式２）
但し、ＩＮＴ（）は（）内の整数部分を示す。

（式１）、（式２）において割り切れない剰余画素数が、Ｎ×Ｍのブロックを複数配置した時の端部に相当し、本実施形態では、その部分を符号電子透かし領域外Ｒ２とする。

再び図４に戻り、Ｓ４３では、現在処理している注目画素が電子透かし領域Ｒ１内でない、すなわち、電子透かし領域外Ｒ２であると判定された場合には、Ｓ４４において、ＣＰＵ２００は、量子化条件Ｃを設定する。一方、電子透かし領域Ｒ１内であると判定された場合には、Ｓ５において、ＣＰＵ２００は、電子透かしにより埋め込むべき付加情報を読み込む。ここで、説明を容易にするために、付加情報は、ｃｏｄｅ［］という配列を用いて、各１ビットずつ表現されるものとする。例えば、付加情報を４８ビット分の情報と仮定すると、配列ｃｏｄｅ［］には、ｃｏｄｅ［０］からｃｏｄｅ［４７］まで、各１ビットずつが格納されている。

Ｓ４５において、ＣＰＵ２００は、ＲＡＭ２０２に確保された変数ｂｉｔに、以下の（式３）のように、配列ｃｏｄｅ［］内の情報を代入する。

ｂｉｔ＝ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］・・・（式３）
Ｓ４６では、ＣＰＵ２００は、代入された変数ｂｉｔが“１”であるか否かを判定する。前述したように、配列ｃｏｄｅ［］内の情報は各１ビットずつ格納されているため、変数ｂｉｔの値も“０”か“１”かの何れかを示すことになる。

ここで、“０”であると判定された場合には、Ｓ４７において、ＣＰＵ２００は、量子化条件Ａを設定する。また、“１”であると判定された場合には、Ｓ４８において、ＣＰＵ２００は、量子化条件Ｂを設定する。次に、Ｓ４９では、ＣＰＵ２００は、Ｓ４４、Ｓ４７、Ｓ４８で設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、誤差拡散法によって行われる。Ｓ５０では、ＣＰＵ２００は、水平方向変数ｊをカウントアップし、Ｓ５１では、カウントアップされた変数ｊが画像の水平画素数であるＷＩＤＴＨ未満か否かを判定する。ここで、変数ｊがＷＩＤＴＨ未満であると判定された場合、Ｓ４３からの処理を繰り返す。

一方、変数ｊがＷＩＤＴＨ未満でないと判定された場合、すなわち、水平方向の処理がＷＩＤＴＨ画素数分終了した場合、Ｓ５２において、ＣＰＵ２００は、垂直方向変数ｉをカウントアップする。そして、Ｓ５３において、ＣＰＵ２００は、カウントアップされた変数ｉが画像の垂直画素数であるＨＥＩＧＨＴ未満か否かを判定する。ここで、変数ｉがＨＥＩＧＨＴ未満であると判定された場合、Ｓ２からの処理を繰り返す。一方、変数ｉがＨＥＩＧＨＴ未満でないと判定された場合、すなわち、垂直方向の処理がＨＥＩＧＨＴ画素数分終了した場合、図４の処理を終了する。以上の処理により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更する。

次に、量子化条件Ａ、Ｂ、Ｃを用いる例について説明する。誤差拡散法における量子化条件には様々な因子があるが、本実施形態において量子化条件の因子は、量子化閾値である。Ｓ４０４で設定される量子化条件Ｃは、電子透かし領域外で用いられるために、量子化閾値はどのような条件でも良い。前述したように、１画素が８ビットによる階調表現で、量子化レベルが２値の場合には、最大値である“２５５”、及び、最小値である“０”が量子化代表値となるが、その中間値となる“１２８”が量子化閾値として設定されることが多い。よって、本実施形態では、量子化条件Ｃは、量子化閾値を“１２８”固定値とする条件とする。

Ｓ４７で設定される量子化条件Ａと、Ｓ４８で設定される量子化条件Ｂは、電子透かし領域内のブロックで用いられるため、量子化条件の違いによる画質の違いを生じさせる必要がある。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、印刷用紙上からは容易に識別可能である必要がある。

図６（ａ）及び（ｂ）は、量子化条件Ａ、Ｂを説明するための図である。図６（ａ）は、量子化条件Ａにおける量子化閾値の変化の周期を示す図である。図中、１つのマスを１画素分と想定し、白いマスは固定閾値、灰色のマスを変動閾値とする。すなわち、図６（ａ）の例では、横８画素、縦４画素のマトリクスを組み、灰色のマスについてのみ突出した値を閾値として設定する。

図６（ｂ）は、同様に、量子化条件Ｂにおける量子化閾値の変化の周期を示した図である。図６（ｂ）の例では、図６（ａ）とは異なり、横４画素、縦８画素のマトリクスを組み、灰色のマスについてのみ突出した値を閾値として設定する。

前述したように１画素が８ビットの階調値の場合に、例えば、固定閾値として“１２８”、突出した閾値を“１０”と設定する。量子化閾値が低くなると、注目画素の量子化値が“１”（量子化代表値“２５５”）になりやすくなる。すなわち、図６（ａ）、（ｂ）ともに、図中の灰色のマスの並びで量子化値“１”が並びやすくなる。言い換えると、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の灰色のマスの並びでドットが発生するブロックと、図６（ｂ）の灰色のマスの並びでドットが発生するブロックとが混在することになる。

誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右される。しかしながら、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるので、ドットの並びが多少変化したり、テクスチャの発生が変化したりは、階調表現の画質には殆ど影響を与えない。量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散されるので、入力された信号値は、マクロ的に保存される。すなわち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては、冗長性が極めて大きいといえる。

上記のように、本実施形態では、誤差拡散法の量子化閾値に、符号を表す所定の周期性を重畳することにより、電子透かしによる埋め込みを実現している。しかしながら、他の重畳方式により電子透かしによる埋め込みを実現しても良い。例えば、直接ＲＧＢの値（輝度情報）に、周期性を重畳する方式により電子透かしによる埋め込みを実現しても良い。または、ＲＧＢの値を、輝度－色差情報など、他の色空間情報（例えばＣＩＥＬ＊ａ＊ｂ＊、ＹＣｒＣｂ信号）に分離して周期性を重畳する方式により電子透かしによる埋め込みを実現しても良い。または、ＲＧＢの値をインク色（例えばＣＭＹＫ信号）に分離して周期性を重畳する方式により電子透かしによる埋め込みを実現しても良い。上記の処理が実行されることで生成されたデータに基づいて印刷を行うことで、記録媒体に打たれたインクのドットの並びによって付加情報を表現することができる。

＜付加情報の分離処理＞
次に、図１（ｂ）に示す携帯端末１０１における付加情報分離部１０８の処理について説明する。この処理は、本発明の特徴であり、携帯端末１０１で撮像して得られた複数の画像から付加情報を分離（抽出）する処理である。

図７（ａ）は、付加情報分離部１０８の構成の一例を示すブロック図である。説明を容易にするために、前述の電子透かし部１０５の場合と同様、分割したブロック内に各１ビットずつの付加情報が電子透かしによる埋め込まれている印刷物１０４から、付加情報を分離する例について説明する。当然のことながら、電子透かし部１０５における１ブロックあたりの付加情報量と、付加情報分離部１０８における１ブロックあたりの分離情報量とは等しくなる。

入力端子７００には、携帯端末１０１で読み込まれた複数の画像情報が入力される。ここで、携帯端末１０１の撮像センサ１０７による撮像画像の解像度（撮像解像度）は、印刷物１０４を作成する際の印刷解像度以上が好ましい。勿論、正確に印刷物１０４のドットの点在情報を読み込むためには、サンプリング定理により、撮像解像度は、プリンタ側よりも２倍以上の解像度が必要になる。しかしながら、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することが可能である。ここでは、説明を容易にするために印刷解像度と撮像解像度とは同一解像度である例で説明する。

ブロック化部７０１は、横Ｐ画素、縦Ｑ画素単位にブロック化を行う。ここで、各ブロックは、電子透かしの重畳時にブロック化したＮ×Ｍ画素よりも小さい。すなわち、（式４）の関係が成り立つ。
Ｐ≦Ｎ、かつＱ≦Ｍ・・・・（式４）

また、Ｐ×Ｑ画素単位のブロック化は、ある一定間隔毎にスキップして行われる。すなわち、電子透かし埋め込み処理時のＮ×Ｍ画素より成るブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックが１つ内包されるようにブロック化が行われる。

空間フィルタ７０２、７０３は、それぞれ特性の異なる空間フィルタＡ、Ｂを示し、フィルタリング部７０４は、周辺画素との積和を演算するディジタルフィルタリング部を示す。この空間フィルタの各係数は、電子透かし埋め込み処理時の量子化条件の変動閾値の周期に対応して設定される。ここで、電子透かし部１０５における量子化条件の変更が図６（ａ）及び（ｂ）の２種類の周期性を用いて行われることにより、付加情報が電子透かしにより埋め込まれたとする。その場合の付加情報分離部１０８に用いる空間フィルタＡ７０２、空間フィルタＢ７０３の例を図８（ａ）、（ｂ）に示す。図８（ａ）、（ｂ）に示す５×５画素の中央部が注目画素になり、それ以外の２４画素分が周辺画素になる。また、図８（ａ）、（ｂ）において、空白部の画素は、フィルタ係数が“０”であることを表す。図１１から明らかなように、図８（ａ）、（ｂ）は、エッジ強調フィルタになっている。しかも、その強調するエッジの方向性と電子透かし埋め込み処理を実行した時の変動閾値の方向性とが図８（ａ）、（ｂ）と図６（ａ）、（ｂ）とで一致している。つまり、図８（ａ）は図６（ａ）に一致し、図８（ｂ）は図６（ｂ）に一致するように、空間フィルタが作成される。

間引き部７０５、７０６は、それぞれ、Ｐ×Ｑ画素により成るブロック内のフィルタリング後の信号（以下、変換値という）を、ある規則性に基づいて間引き処理する。本実施形態では、周期性と位相のそれぞれの規則性に分離して間引き処理を行う。すなわち、間引き部７０５及び７０６では間引きの周期性が互いに異なっており、それぞれにおいて、位相を変化させた複数の間引き処理を実行する。間引き方法については後述する。

変換値加算部７０７は、間引き部７０５及び７０６により間引きされた変換値を、位相毎にそれぞれ加算する。この間引き処理及び間引き画素の変換値の加算処理は、空間フィルタで強調した所定周波数のベクトルの電力（パワー）を抽出することに相当する。

分散値算出部７０８は、それぞれの周期性において、位相毎に加算した複数の加算値の分散値を算出する。判定部７０９は、それぞれの周期性における分散値に基づいて、電子透かしにより埋め込まれた符号を判定する。

図９は、２次元の周波数領域を示す図である。横軸は水平方向の周波数、縦軸は垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるに従って、高周波域となる。図９中の円は、誤差拡散によるカットオフ周波数を示している。誤差拡散法のフィルタ特性は、低周波域がカットオフされたハイパスフィルタの特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。

本実施形態では、量子化閾値の変更により量子化後に発生する周波数特性が変化するが、図６（ａ）による量子化閾値の変更では、図９の周波数ベクトルＡ上に大きなパワースペクトルが生じる。また、図６（ｂ）による量子化閾値の変更では、図９の周波数ベクトルＢ上に大きなパワースペクトルが生じる。付加情報分離時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することによって、電子透かし信号の判定が行われる。本実施形態では、各々の周波数ベクトルを個別に強調、抽出することが行われる。

図８（ａ）及び（ｂ）は、特定の周波数ベクトルの方向性を有するハイパスフィルタに相当する。すなわち、図８（ａ）の空間フィルタでは、図９の直線Ａ上の周波数ベクトルを強調することが可能になり、また、図８（ｂ）の空間フィルタでは、図９の直線Ｂ上の周波数ベクトルを強調することが可能になる。例えば、図６（ａ）に示すような量子化条件の変更により、図９の直線Ａの周波数ベクトル上に大きなパワースペクトルが発生したとする。その時に、図８（ａ）の空間フィルタではパワースペクトルの変化量が増幅するが、図８（ｂ）の空間フィルタでは、ほとんど増幅されない。つまり、複数の空間フィルタで並列にフィルタリングした場合に、周波数ベクトルが一致した空間フィルタ時のみ増幅し、それ以外のフィルタによるフィルタリングの場合には増幅がほとんどない。従って、いかなる周波数ベクトル上に大きなパワースペクトルが発生しているかを容易に判定することができる。

図１０は、図７（ａ）の間引き部７０５及び７０６、変換値加算部７０７、分散値算出部７０８、判定部７０９の処理を示すフローチャートである。図１０の処理は、例えば、カメラ付携端末１０１のＣＰＵ２１０がＲＯＭ２１１に記憶されているプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

図１０中、Ｓ１０１及びＳ１０２は、変数の初期化を示し、ＣＰＵ２１０は、ＲＡＭ２１２内に確保された変数ｉ，ｊの値を０に初期化する。Ｓ１０３では、ＣＰＵ２１０は、間引き部７０５及び７０６による間引きの規則性の因子、すなわち、“周期性”及び“位相”の２因子を決定する。本フローチャートでは、周期性に関する変数をｉ、位相に関する変数をｊとする。この周期性及び位相の条件は、番号（ナンバー）により管理される。ここでは、周期性ナンバー（以下Ｎｏ．と略す）がｉ、位相Ｎｏ．がｊである間引き方法の各因子を設定する。

Ｓ１０４では、ＣＰＵ２１０は、ブロック内で間引きをした変換値を加算し、その加算値を変数の配列ＴＯＴＡＬ［ｉ］［ｊ］として記憶する。Ｓ１０５では、ＣＰＵ２１０は、変数ｊをカウントアップし、Ｓ１０６において、固定値Ｊと比較する。Ｊには、位相を変化させて間引き処理をする回数が格納されている。ここで、変数ｊがＪ未満であれば、Ｓ１０３に戻り、カウントアップ後のｊによる新たな位相Ｎｏ．により、間引き処理及び間引き画素の変換値の加算処理が繰り返される。

位相をずらした間引き処理及び間引き画素の変換値の加算処理が設定回数終了した場合、Ｓ１０７において、ＣＰＵ２１０は、加算結果ＴＯＴＡＬ［ｉ］［ｊ］の分散値を算出する。すなわち、各加算結果が位相の差によりどの程度ばらついているかが評価される。ここでは、ｉを固定して、Ｊ個のＴＯＴＡＬ［ｉ］［ｊ］の分散値を求める。ここで、分散値をＢ［ｉ］とする。

Ｓ１０８において、ＣＰＵ２１０は、変数ｉをカウントアップし、Ｓ１０９において、固定値Ｉと比較する。Ｉには、周期性を変化させて間引き処理をする回数が格納されている。ここで、変数ｉがＩ未満であれば、Ｓ１０２に戻り、カウントアップ後のｉによる新たな周期性Ｎｏ．の条件を用いて、再び、間引き処理及び間引き画素の変換値の加算処理が繰り返される。

Ｓ１０９において、ＣＰＵ２１０は、ｉが設定回数終了したと判定されると、分散値Ｂ［ｉ］は、Ｉ個算出できたことになる。Ｓ１０１０にて、Ｉ個の分散値の集合から、分散値の最大値を検出し、その時のｉの値を変数ｉｍａｘに代入する。Ｓ１１１において、ＣＰＵ２１０は、周期性Ｎｏ．がｉｍａｘである符号を、電子透かしにより埋め込まれた符号であると判定する。その後、図１０の処理を終了する。

このように、量子化条件と、空間フィルタ特性と、間引き条件の周期性とを関連付けることで、電子透かしによる埋め込み及び分離が容易に実現できる。本実施形態では、ブロック内の電子透かしにより埋め込まれた符号は１ビットであった。しかしながら、電子透かしにより埋め込まれた符号は、１ビットより多くても良い。

付加情報分離部１０８で読み出された情報は、付加情報チェック部１０９でその正確性がチェックされ、誤りがある場合はエラーとなり、読み出された情報は出力端子１１２には出力されない。チェック方法は、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）のような公知の技術を用いれば良い。なお、ＣＲＣは、本発明の特徴とするところではないため、ここではその詳細な説明を省略する。

また、付加情報分離部１０８としては、前述の図７（ａ）に示す構成以外の構成を採ることも可能である。図７（ｂ）は、付加情報分離部１０８の他の構成例を示す図である。

図７（ｂ）において、入力端子７１０には、携帯端末１０１で読み込まれた複数の画像情報が入力される。この入力端子７１０は、図７（ａ）の入力端子７００と同等のものである。ブロック化部７１１は、横Ｐ画素、縦Ｑ画素単位に画像情報のブロック化を行う。このブロック化部７１１は、図７（ａ）のブロック化部７０１と同等のものである。

直交変換部７１２は、ブロック化したＰ×Ｑ画素を直交変換する手段である。２次元の直交変換を行う場合、Ｐ＝Ｑとする。直交変換の方法としては、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）、ウェーブレット変換等がある。また、ＤＦＴには、ＦＦＴ（高速フーリエ変換）と呼ばれる手法があり、この手法によれば高速にＤＦＴを実施することができる。ただし、ＦＦＴ実施の場合は、ＰとＱは２のべき乗とする。

ベクトル分類部７１３は、直交変換した結果をベクトルに分類する。直交変換部７１２において、例えばＤＦＴを実施すると、図９において説明した２次元の周波数特性を得ることができる。図６（ａ）の量子化条件Ａによる量子化閾値の変更では、図９の周波数ベクトルＡ上に大きなパワースペクトルが生じる。また、図６（ｂ）の量子化条件Ｂによる量子化閾値の変更では、図９の周波数ベクトルＢ上に大きなパワースペクトルが生じる。この２次元の周波数特性から大きなパワースペクトルが発生する周波数ベクトルを検出する。

変換値加算部７１４は、分類したベクトル毎に電力の総和を算出する。また、判定部７１５は、ベクトル毎の電力総和を比較して、最大値となるベクトルに相当する電子透かし信号を電子透かしにより埋め込まれた符号と判定する。

＜複数画像の取得＞
本実施形態の撮像センサ１０７では、ＡＦ（Ａｕｔｏ Ｆｏｒｃｕｓ）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）等の機能を用いて撮像を行い、得られた画像情報を付加情報分離部１０８に入力している。その結果、撮像した画像に問題があり、付加情報チェック部１０９でエラーが発生した場合は、別の撮像画像を取得して付加情報分離部１０８に入力するという処理を繰り返している。これは、撮像時の姿勢が不安定となる可能性を考慮した処理である。また、本実施形態では、継続的に動画撮像を行い、その動画から静止画を切り出して、繰り返し静止画を取得している。但し、ＡＦ、ＡＥ、ＡＷＢではなく、フォーカス位置、露出、シャッタースピード、ホワイトバランスおよび、その他の撮像条件を任意の設定に変更しながら撮像しても同様の効果が得られる。

＜印刷画像に対する付加情報の電子透かしによる埋め込み＞
ここで、印刷画像に対して付加情報を電子透かしにより埋め込んだ状態を説明する。図１１（ａ）、（ｂ）は、図６（ａ）、（ｂ）に示した量子化条件Ａ、Ｂを、それぞれ８×８ｐｉｘｅ１のパターンに適用した状態を示している。本実施形態では、図１１（ａ）、（ｂ）に示す領域を最小単位として付加情報の電子透かし埋め込み処理を行う。図１１（ａ）、（ｂ）に示すそれぞれのパターンを抽出した際に得られる電子透かしにより埋め込まれた符号は、１ビットである。また、ここでは図１１（ａ）のパターン１２０３ａが１ビットの「０」を表し、図１１（ｂ）のパターン１２０３ｂが１ビットの「１」を表すものと定めている。従って、図１１（ａ）と図１１（ｂ）とに示すパターン１２０３ａと１２０３ｂとを用いることにより、「０」と「１」のビット情報を、印刷画像に埋め込むことができる。

図１２は、本実施形態で用いる付加情報の単位ブロックを示す図である。図中の符号１２００で示すブロックが、１つの単位ブロックである。この単位ブロック内の全情報を読み取ることで電子透かしにより埋め込まれた付加情報を取り出すことができる。単位ブロック１２００は、アンカー部１２０１とデータ部１２０２とで構成されている。アンカー部１２０１は、付加情報の抽出の際に単位ブロック１２００の原点を特定するために利用される３２×３２ｐｉｘｅｌのブロックである。アンカー部１２０１は、情報が付加されない空白である場合、あるいはアンカー部１２０１に関連する情報が埋め込まれている場合がある。

データ部１２０２には、図１１（ａ）に示すパターン１２０３ａまたは図１１（ｂ）に示すパターン１２０３ｂが敷き詰められている。本実施形態の単位ブロック１２００は５１２×５１２ｐｉｘｅｌとなっており、データ部１２０２にはパターン１２０３ａ，１２０３ｂが４０８０個入っている。パターン１２０３ａ，１２０３ｂがそれぞれ１ビットの情報を表すことができるため、単位ブロック１２００全体では４０８０ビット（５１０バイト）の情報量を有していることとなる。

また、図１３は、Ｌ判（（１２７ｍｍ×８９ｍｍ）約５ｉｎｃｈ×約３．５ｉｎｃｈ）の印刷用紙上に印刷解像度３００ｄｐｉで付加情報が埋め込まれた状態を示している。Ｌ判における３００ｄｐｉの画素数は約１５００×１０５０ｐｉｘｅｌとなる。前述のように、付加情報の単位ブロック１２００は５１２×５１２ｐｉｘｅｌであるため、Ｌ判の中に単位ブロックは４個（２×２個）埋め込むことができる。２×２個の単位ブロックの１つから、埋め込まれた４０８０ビットを読み出せれば、付加情報の抽出が可能である。

＜付加情報の注出が不可となる原因＞
以上、印刷解像度と撮像解像度とが同一である場合を例に採り、付加情報を抽出する処理について説明した。次に、付加情報の抽出が不可となる原因について説明する。

上記のようにＬ判の印刷用紙では、３００ｄｐｉの画素数は約１５００×１０５０ｐｉｘｅ１となる。よって、Ｌ判を撮像した撮像画像にも同様の画質を求める場合には、３００ｄｐｉの画素数が１５００×１０５０ｐｉｘｅｌであることが望まれる。但し、本実施形態では、動画から繰り返し静止画を取得する。この場合、静止画の画素数は２Ｋ（１９２０×１０８０ｐｉｘｅｌ）であることが望ましい。

図１４（ａ）は、印刷物１４０１から約７７ｍｍの距離にあるレンズ１４０２で、印刷物の短辺と撮像範囲とを一致させた状態で撮像できる２Ｋ動画の撮像センサ１４０３を示す模式図である。この状態から、印刷物１４０１とレンズ１４０２との距離を約９９．３ｍｍにすると、撮像画像の短辺は約８３８画素となり、望ましい画素数である１０８０画素から約７７．６％減少する。

また、図１１（ｂ）のように印刷物１４０１と撮像センサ１４０３と間に３０°の傾きが生じた場合には、レンズ１４０２の中心線付近における印刷物１４０１とレンズ１４０２との距離は約９９．３ｍｍとなる。結果、撮像画像の中心付近は解像度が約７７．６％になる。このように、印刷物１４０１と撮像センサ１４０３との相対位置のずれ（撮像姿勢のずれ）が、付加情報の抽出を不可にする原因の１つとなる。

また、付加情報の抽出が不可となる別の原因としては、撮像センサ１４０３の性能がある。ここで、付加情報の抽出に影響する性能（付加情報を抽出するための性能）を、撮像性能や、抽出性能という。撮像性能とは具体的には例えば、撮像解像度や、携帯端末１０１側で施す画像処理の性能等である。２Ｋ（１９２０×１０８０画素）の動画撮像ができない撮像センサの場合、撮像解像度が足りずに付加情報の抽出が不可になる。さらに、撮像センサ１４０３のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）が低い場合や、携帯端末で実施される画像処理によって平滑化処理が行われる場合にも付加情報の抽出は不可になる。この場合、例えば３００ｄｐｉピッチの白と黒のコントラスト比がなくなり、実質の解像度が低くなる。結果、付加情報の抽出が不可となる。

従って、撮像センサや携帯端末による撮像性能が低い場合には、ユーザがいかに撮像姿勢を工夫したとしても、付加情報の抽出は困難になる。しかし、付加情報の抽出が不可となっている原因が撮像センサの性能にあることに気が付かない場合、ユーザは動画の撮像を継続する可能性があり、労力と時間の無駄が生じることとなる。そこで、本実施形態では、以下のようにして、撮像センサの撮像性能の診断を行う。

＜撮像センサの撮像性能の診断＞
本実施形態では、撮像センサを有する携帯端末１０１によって、印刷画像から付加情報を抽出するための動画撮像を開始させた後、付加情報が取り出されずに一定時間が経過すると、撮像センサの撮像性能を診断する診断モードへ移行する。

以下、動画撮像の開始から診断モードまでの処理を、図１５のフローチャートに従って説明する。なお、以下の説明において参照する図１５及び図１７～図１９のフローチャートにおいて、各工程番号の前に付されているＳは、ステップを意味する。

ユーザが携帯端末１０１の操作部２１４によって、印刷画像から付加情報を抽出するための動画撮像を指示すると、ＣＰＵ２１０は、後述のカメラ１０７による動画撮像を開始させると共に、撮像開始からの経過時間の計測を開始する（Ｓ１，Ｓ２）。この後、ＣＰＵ２１０は、撮像画像データから付加情報が取り出されたか（抽出されたか）を判定する。判定結果がＹＥＳの場合（付加情報が取り出された場合）には、経過時間の計測処理を終了する。また、Ｓ３の判定結果がＮＯの場合（付加情報が取り出されていない場合）には、Ｓ４へと移行し、撮像開始からの経過時間が所定時間経過したかを判定する。判定結果がＮＯの場合（所定時間が経過していない）と判定された場合にはＳ２へ戻り、経過時間の計測を継続する。その後、ＣＰＵ２１０は、所定時間が経過するとＳ５に移行し、携帯端末１０１による付加情報の読み取り性能の診断処理を実施し、一連の処理を終了する。

以上のように、本実施形態では、付加情報の抽出処理に関する値を取得し、その値に基づいて、診断処理を実行するか否かを判定している。上述では、付加情報の抽出に関する値が撮像開始から付加情報が抽出されるまでの経過時間である例を説明したが、この形態に限定されない。上記値は例えば、付加情報の抽出処理のエラー回数や、付加情報の抽出処理においてカメラ１０７と印刷画像との間の距離やカメラ１０７に対する印刷画像の角度の変化回数であっても良い。

図１６は、図１５のＳ３の診断処理に用いる診断用の印刷画像が印刷された印刷チャート１２００ａと撮像ガイド１５０２とを模式的に示す図である。以下、この図１６を参照しつつ、診断処理を実施する方法を説明する。

本実施形態では、図１６に示す印刷チャート１２００ａを携帯端末１０１によって撮像し、その撮像結果に基づいて携帯端末１０１の付加情報の抽出性能を判定する。本例に用いる印刷チャート１２００ａは、図１２で説明した単位ブロック１２００に外形線を描画した正方形形状をなすチャートである。印刷チャート１２００ａの解像度は３００ｄｐｉであり、印刷チャート１２００ａ内の画素数は５１２×５１２ｐｉｘｅｌである。

また、診察処理の開始時において、携帯端末１０１のディスプレイ１１０には、正方形形状をなす枠状の撮像ガイド１５０２が表示される。この撮像ガイド１５０２の表示は、ＣＰＵ２１０が、ＲＡＭ２１２に格納されている読取アプリケーションに従ってディスプレイ１１０の表示駆動部を制御することによって行う。撮像ガイド１５０２のサイズは、当該撮像ガイド１５０２の枠内の画素数が、印刷チャート１２００ａの印刷解像度における画素数と同じ画素数になるようにＣＰＵ２１０によって設定される。この撮像ガイド１５０２のサイズの設定のため、ＣＰＵ２１０は読み取りアプリケーションに従い、印刷チャート１２００ａの解像度及びサイズと、撮像センサ１０７の画素数とを予め取得する処理を行う。

携帯端末１０１の付加情報の抽出性能を診断する場合、ユーザは、携帯端末１０１のディスプレイ１１０に表示される指示１５０３に従い、印刷物である印刷チャート１２００ａの外形に撮像ガイド１５０２を合わせて撮像を行う。これにより、印刷チャート１２００ａと撮像ガイド１５０２との距離、及び印刷チャート１２００ａに対する撮像ガイド１５０２の角度は常に一定に保たれることとなる。つまり、予め想定している一定の適正な撮像姿勢で撮像されることとなる。また、撮像して得られる画像には、印刷チャート１２００ａに印刷されている画像と同一の良好な解像度を得ることができる。

このように、撮像ガイド１５０２を用いることで、一定の撮像姿勢及び解像度で撮像した撮像画像データに基づいて診断処理を行うことにより、撮像時の姿勢、解像度の影響を低減した診断結果が得られる。すなわち撮像ガイド１５０２の表示は、診断処理に対する、印刷チャート１２００ａと撮像ガイド１５０２との距離や印刷チャート１２００ａに対する撮像ガイド１５０２の角度の影響を抑制するための処理である。

図１７は、上述の診断モードにおいてＣＰＵ２１０により実行される診断処理を示すフローチャートである。本処理は、ＣＰＵ２１０が、ＲＯＭ２１１に格納されている読取りアプリケーションのプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

Ｓ１１において、ＣＰＵ２１０は、携帯端末１０１のディスプレイ１１０に撮像ガイド１５０２を表示させる。このとき、図１６に示すように、ディスプレイ１１０に、撮像ガイド１５０２を印刷チャート１２００ａの外形に合わせることをユーザに促す指示１５０３を表示させるようにしても良い。

Ｓ１２において、ＣＰＵ２１０は、携帯端末１０１の撮像センサ（カメラ）１０７を用いて印刷チャート１２００ａの撮像を行う。この際、ユーザは、撮像ガイド１５０２と印刷チャート１２００ａの外形との位置合わせを行う。

Ｓ１３において、ＣＰＵ２１０は、印刷チャート１２００ａに重畳された付加情報を抽出する抽出処理（付加情報分離処理）を行う。抽出処理は、前述の付加情報分離部１０８によって行う。この後ＣＰＵ２１０は、Ｓ１４において、印刷チャート１２００ａに埋め込まれた付加情報とＲＡＭ２０２に予め格納された基準付加情報とが一致したかを判定する。

本実施形態では、印刷チャート１２００ａに印刷されている付加情報を、基準付加情報と同一に定めている。従って、付加情報分離部１０８で抽出された付加情報と基準付加情報とが一致すれば、ＣＰＵ２１０は、付加情報の抽出が成功したとみなす。これに対し、付加情報分離部１０８で抽出された付加情報と基準付加情報とが一致しない場合、ＣＰＵ２１０は、付加情報の抽出が失敗したとみなす。なおＣＰＵ２１０は、付加情報分離部１０８で付加情報がそもそも抽出されなかった場合も、付加情報の抽出が失敗したとみなす。

なお、診断処理で使用する印刷チャート１２００ａは、ユーザが必要とする情報を埋め込んだ画像情報をユーザ自身が印刷して用意しても良い。また、読取アプリケーションに、診断処理用の印刷チャートを印刷するメニューを用意しておき、所定の付加情報を埋め込んだ印刷チャートを、携帯端末１０１に接続した印刷装置によって印刷できるようにしても良い。

Ｓ１４では、Ｓ１３における抽出処理により、付加情報の抽出が成功したか否かを判定する。ＣＰＵ２１０は、付加情報の抽出が成功したと判定された場合、Ｓ１５に移行し、携帯端末１０１の付加情報の抽出性能が十分良好である（適正である）ことをユーザに通知するＯＫ通知（第１通知処理）を行い、一連の処理を終了する。また、ＣＰＵ２１０は、付加情報の抽出が失敗したと判定された場合、Ｓ１６に移行し、携帯端末１０１の付加情報の抽出性能が不十分である（適正でない）ことをユーザに通知するＮＧ通知（第２通知処理）を行い、一連の処理を終了する。なおＳ１３における抽出処理により付加情報の抽出が失敗した場合、付加情報が正確に抽出できないエラーである抽出エラーが発生する。本実施形態では例えば、抽出エラーが一度でも発生していたら、Ｓ１４においてＮＯと判定しても良い。すなわち、Ｓ１４の判定が、抽出エラーが発生したか否かに基づいて実行されても良い。また例えば、抽出エラーが発生した回数が所定の回数を超えていたら、Ｓ１４においてＮＯと判定しても良い。すなわち、Ｓ１４の判定が、抽出エラーが発生した回数に基づいて実行されても良い。

なお、Ｓ１５とＳ１６において行う診断結果の通知方法としては、例えば、次のような方法がある。携帯端末１０１のディスプレイ１１０にアイコン等の絵柄や文字を表示する方法がある。また、携帯端末１０１のスピーカ１１１から音声を出力する方法がある。さらに、携帯端末１０１の振動部（不図示）を使用し、振動のリズムの違いでＯＫ通知とＮＧ通知のそれぞれをユーザに認識させるようにすることも可能である。

以上によって、付加情報の抽出ができない原因が、撮像センサ１０７や携帯端末１０１のデータ処理部（例えば、付加情報分離部１０８）にあるのか、あるいはユーザによる撮像姿勢にあるのかを、ユーザに早期に気付かせることが可能になる。このため、付加情報を抽出できない携帯端末を用いて付加情報抽出のための撮像を停止させるこことなり、ユーザは労力と時間の無駄を排除することが可能になり、ユーザの利便性を向上させることができる。

また、図１５に示す例では、診断モードへ移行するタイミングを経過時間に基づいて決定するようにしたが、経過時間以外の情報に基づいて診断モードへの移行タイミングを決定するようにしても良い。前述のように本実施形態では、動画から静止画を切り出して付加情報分離処理を実行し、エラーが発生した場合には別の静止画を切り出すようになっている。このエラーの回数をカウントして、所定の回数に達した場合に診断モードに移行するようにしても良い。

また、携帯端末によっては加速度センサやジャイロセンサを搭載した機種がある。この種の携帯端末では、付加情報抽出中の自身の姿勢変化を捉えることができる。そこで、所定以上の移動量を伴う姿勢変化の回数をカウントして、所定の回数に到達したら、診断モードに移行するようにしても良い。なお付加情報抽出中の姿勢変化の回数とは具体的には、付加情報抽出中における印刷チャート１２００ａと撮像ガイド１５０２との間の距離の変化回数や、付加情報抽出中における撮像ガイド１５０２に対する印刷チャート１２００ａの角度の変化回数である。

また、図１７のＳ１３において、ＣＲＣによってエラー回数をカウントし、所定のエラー回数に達した場合に、Ｓ１６においてＮＧ通知を表示するようにしても良い。

（第２実施形態）
次に、本発明の第２実施形態を説明する。第１実施形態では、予め定められた付加情報が印刷されている印刷チャート１２００ａを用いて、携帯端末１０１の診断を行う例を示した。これに対し、本実施形態では、予め定められていない任意の付加情報が印刷されている印刷チャート１２００ｂ（図１６参照）を用いて、携帯端末１０１の付加情報の抽出性能を診断する診断モードについて説明する。

図１８は、本実施形態における診断モードにおいてＣＰＵ２１０によって実行される処理を示すフローチャートである。本処理は、ＣＰＵ２１０が、ＲＯＭ２１１に格納されている読取りアプリケーションのプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

Ｓ２１において、ＣＰＵ２１０は、携帯端末１０１のディスプレイ１１０に図１６に示す撮像ガイド１５０２を表示させると共に、印刷チャート１２００ｂの外形を、枠状をなす撮像ガイド１５０２に合わせることを促す指示１５０３（図１６参照）を表示させる。Ｓ２２において、ＣＰＵ２１０は、撮像センサ１０７を動作させ、付加情報が予め定められていない印刷チャートの撮像を実行させる（Ｓ２２）。

Ｓ２３では、ＣＰＵ２１０は、付加情報分離処理を実行する。付加情報分離処理は、図７に示す構成を有する付加情報分離部１０８を動作させることにより行う。この付加情報分離処理（抽出処理）において、エラーが生じていない場合には「エラーなし」という結果が付加情報チェック部１０９から出され、Ｓ２４に移行する。なお、ここで言う「エラーなし」の状態とは、抽出された付加情報にエラーが生じたとしても、エラーの発生回数が所定回数に達する前に解消された場合も含む。また、付加情報チェック部１０９でチェックされたエラー回数が所定回数に達したという結果が出された場合にもＳ２４に移行する。なお、Ｓ２３やＳ２４の処理内容は、Ｓ１３やＳ１４の処理内容と同様である。

本実施形態における診断処理では、通知内容を決定するための２回の判定が行われる。Ｓ２４では、ＣＰＵ２１０は、Ｓ２３における抽出処理により、付加情報の抽出が成功したか否かを判定する（第１判定処理）。ここで、付加情報の抽出が成功したと判定された場合、Ｓ２５に移行する。Ｓ２５では、ＣＰＵ２１０は、携帯端末１０１の付加情報の抽出性能が十分良好である（適正である）という診断結果をユーザに通知するＯＫ通知（第１通知処理）を行い、一連の処理を終了する。本判定は、携帯端末１０１の付加情報の抽出性能が十分であるか否かを判定する処理に相当する。

また、ＣＰＵ２１０は、付加情報の抽出が失敗したと判定された場合、Ｓ２６に移行する。Ｓ２６では、ＣＰＵ２１０は、第１エラー通知処理（第３通知処理）と第２エラー通知処理（第２通知処理）のうち、いずれのエラー通知処理を行うかの判定（第２判定処理）を行う。本実施形態では第１エラー通知は、付加情報の抽出は失敗したが携帯端末１０１と印刷チャート１２００ｂが適切な位置関係になっている状態で抽出処理を再度実行すれば抽出が成功する可能性があることを通知するエラー通知（注意通知）である。すなわち第１エラー通知は、付加情報の抽出は失敗したが携帯端末１０１の付加情報の抽出性能が十分である可能性がある（可能性が高い）ことを通知するエラー通知である。また第２エラー通知（第２通知処理）は、携帯端末１０１と印刷チャート１２００ｂが適切な位置関係になっている状態で再度抽出処理が行われたとしても失敗する可能性が高いことを通知するエラー通知（ＮＧ通知）である。すなわち第２エラー通知は、携帯端末１０１の付加情報の抽出性能が不十分である可能性が高いことを通知するエラー通知である。本実施形態では、例えば、図７（ｂ）を参照して説明したように、電力が最大となる周波数ベクトル（以下、最大周波数ベクトルという）に基づいて、電子透かしにより埋め込まれた符号の信頼性を判定している。そのためここでは、最大周波数ベクトルの電力と、最大周波数ベクトル以外の周波数ベクトルの電力とを比較する。例えば、最大ベクトルの電力と、これとは異なる周波数ベクトルから得られる第２位置の電力との差を求める。

携帯端末１０１が有している撮像性能が低い場合には、電力が突出したベクトルが発生しない可能性がある。例えば、携帯端末１０１が有している解像度、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、平滑化処理によって、撮像画像の中で、電力が突出したベクトルが発生しない可能性がある。この場合、最大電力と第２位の電力との電力差が小さくなる。そのためベクトル間の電力差を参照することで、抽出処理の失敗の原因が携帯端末１０１と印刷チャート１２００ｂとの間の位置関係であることの可能性が高いのか、携帯端末１０１の付加情報の抽出性能が不十分であることの可能性が高いのかを判定できる。

具体的には例えば、Ｓ２６においてＣＰＵ２１０は、撮像画像中に取得された前記電力差のうち、前記電力差が所定の閾値以上となるパターン１２０３ａとパターン１２０３ｂの個数と全てのパターン１２０３ａとパターン１２０３ｂの個数との割合を特定する。そして、特定された割合が所定値以上であれば、抽出処理の失敗の原因が携帯端末１０１と印刷チャート１２００ｂの位置関係であることの可能性が高いと判定（ＹＥＳ判定）し、Ｓ２７に移行する。これに対し、特定された割合が所定値未満であれば、抽出処理の失敗の原因が携帯端末１０１の付加情報の抽出性能が不十分であることの可能性が高いと判定（ＮＯ判定）し、Ｓ２８に移行する。なお、本判定は、前記電力差の最小値や最大値、平均値が所定値以上であるか否かによって行われても良い。この場合もＹＥＳ判定であれば、Ｓ２７に移行し、ＮＯ判定であれば、Ｓ２８に移行する。また本判定は、前記電力差ではなく、抽出エラーが発生した回数に基づいて行われても良い。抽出エラーが発生した回数が所定の閾値未満であれば、Ｓ２７に移行し、抽出エラーが発生した回数が所定の閾値以上であれば、Ｓ２８に移行する。本判定は、携帯端末１０１の付加情報の抽出性能が十分である可能性があるか（可能性が高いか）否かを判定する処理に相当する。

Ｓ２７では、ＣＰＵ２１０は、第１エラー通知を実行する。第１エラー通知では、携帯端末１０１と印刷チャート１２００ｂを適切な位置関係にして再度抽出処理を実行するようユーザを促すための通知が行われても良い。また例えば、抽出処理のための印刷チャート１２００ｂの撮影時に、印刷チャート１２００ｂが撮像ガイドに収まるようにするようにユーザを促すための通知が行われても良い。その後、一連の処理を終了する。

また、Ｓ２８では、ＣＰＵ２１０は、第２エラー通知を実行する。その後、処理を終了する。この診断結果により、ユーザは、携帯端末１０１による付加情報抽出のための撮像を停止する。

なお、診断結果をユーザに通知する方法として、携帯端末１０１のディスプレイ１１０に絵柄や文字などを表示して通知する方法、スピーカ１１１からの音声出力で通知する方法、不図示の振動部の振動リズムによって通知をする方法等がある。

また、携帯端末１０１の付加情報の抽出性能が十分である可能性があるかの判定は、動画から切り出した静止画毎に実施しても良く、何れかの静止画で信頼性の高い付加情報が得られれば、診断結果としてＯＫ通知を行うようにしても良い。また、適正な付加情報が得られた静止画の枚数が、所定の閾値枚数以上であれば、ＯＫ通知を行い、閾値枚数未満であれば、ＮＧ通知を行うようにしても良い。

本実施形態では、予め定められていない任意の付加情報が印刷されている印刷チャート１２００ｂ（図１６参照）が用いられる形態を説明したが、この形態に限らない。例えば、図１３に示すＬ判に予め定められていない任意の付加情報が印刷されている印刷物を印刷チャートとして使ってもよい。この場合、携帯端末１０１は、付加情報の単位ブロックサイズを予め認識していない。付加情報の単位ブロックサイズを認識するためには、アンカー部を正確に抽出する必要がある。そこで、携帯端末１０１は、印刷チャートの撮影時には、撮影中の印刷チャートの外形線に合わせるための撮像ガイドを携帯端末１０１のディスプレイ１１０に表示する。このとき例えば、撮像ガイドの表示サイズがディスプレイ１１０上で最大になるようにする。

以上のように、本実施形態によれば、付加情報の抽出ができない原因が、撮像センサ１０７やデータ処理部などの携帯端末側の性能にあることを、ユーザに早期に気付かせることができる。このため、ユーザは、付加情報の抽出ができない携帯端末により、付加情報抽出のための撮像を継続する無駄を低減することができ、ユーザの利便性を向上させることができる。

（第３実施形態）
次に、本発明の第３実施形態を説明する。第１実施形態と第２実施形態では、撮像ガイドを用いた撮像により取得した撮像データに基づいて付加情報の抽出性能の診断を行う例を示した。これに対し、本実施形態では、診断モードにおいて、撮像ガイドを用いずに撮像して取得した撮像データに基づき、携帯端末の付加情報の抽出性能の診断を可能にする例を示す。

図１９は、本実施形態の診断モードにおいてＣＰＵ２１０により実行される処理を示すフローチャートである。本処理は、ＣＰＵ２１０が、ＲＯＭ２１１に格納されている読取りアプリケーションのプログラムをＲＡＭ２１２に読み出して実行することにより実現される。

ＳＳ３１において、ＣＰＵ２１０は、撮像センサ１０７を動作させ、任意の付加情報が電子透かしにより埋め込まれている印刷チャートの撮像を実行させる。ここで使用する印刷チャートは、図１６で撮像対象としている印刷チャート１２００ｂであっても良い。

Ｓ３２では、ＣＰＵ２１０は、付加情報分離処理を実行する。付加情報分離処理は、図７に示す構成を有する付加情報分離部１０８を動作させることにより行う。この付加情報分離処理（抽出処理）において、エラーが生じていない場合には「エラーなし」という結果が付加情報チェック部１０９から出され、Ｓ３３に移行する。なお、ここで言う「エラーなし」の状態とは、抽出された付加情報にエラーが生じたとしても、エラーの発生回数が所定回数に達する前に解消された場合も含む。また、付加情報チェック部１０９でチェックされたエラー回数が所定回数に達したという結果が出された場合にもＳ３４に移行する。

Ｓ３３においてＣＰＵ２１０は、付加情報チェック部１０９のチェック結果が、「エラーなし」であるか否かの判定（第１判定処理）を行う。ここで、付加情報チェック部１０９のチェック結果が「エラーなし」であった場合（ＹＥＳの場合）には、Ｓ３４に移行し、ユーザの携帯端末１０１が付加情報を適正に抽出できる性能を有する端末である旨の診断結果をユーザに通知するＯＫ通知（第１通知処理）を行い、一連の処理を終了する。

また、ＣＰＵ２１０は、付加情報チェック部１０９によってチェックしたエラー回数が所定回数に達していた場合（ＮＯの場合）、Ｓ３５に移行する。Ｓ３５では、ＣＰＵ２１０は、判定領域を選択する。この判定領域は、例えば、電子透かしにより埋め込まれた符号に対応するベクトルの最大電力と他のベクトルの電力との差が大きい小領域とする。小領域は図１２に示すパターン１２０３のように８×８ｐｉｘｅｌの領域でも良く、８×８ｐｉｘｅｌの領域を複数集めた、例えば、６４×６４ｐｉｘｅｌの領域でも良い。

前述のように、図１４（ｂ）は、印刷画像に対して撮像センサ１４０３が傾いた状態を示しているが、このような状態であっても、印刷物１４０１と撮像センサ１４０３との間の位置関係が適正な位置関係となる領域が存在する場合がある。例えば、図１４（ｂ）に示す状態であれば、印刷物１４０１の上方領域は、印刷物１４０１の上方領域と撮像センサ１４０３との距離に近い状態である。図１４（ｂ）における、印刷物１４０１と撮像センサ１４０３との間の位置関係も、前述の適正な位置関係に相当する。この位置関係であれば撮像した画像の解像度が適正な解像度に近くなり、電子透かしにより埋め込まれた符号に対応する周波数ベクトルの最大電力と他の周波数ベクトルの電力との差が大きい可能性が高い。このため、正確に付加情報を読み出せる（抽出可能となる）可能性が高い。

Ｓ３６では、ＣＰＵ２１０は、撮像センサ１４０３の撮像性能が十分である可能性が高いか否かの判定処理（第２判定処理）を実行する。この判定は、最大周波数ベクトルによって得られる最大電力と、最大周波数ベクトル以外の周波数ベクトルによって得られる電力と、を比較することにより行う。例えば、最大電力と第２位の電力との電力差を求める。両ベクトルの電力差が小さい場合、読み出された付加情報は、携帯端末１０１の付加情報の抽出性能が十分でないと考えられる。ここで、ＣＰＵ２１０は、撮像した小領域の中で、所定の閾値以上となる電力差の個数と全ての電力差の個数との割合が所定値以上であれば、付加情報の抽出は失敗したが携帯端末１０１の付加情報の抽出性能が十分である可能性があると判定（ＹＥＳ判定）し、Ｓ３７に移行する。また、前記割合が所定の閾値未満であれば、携帯端末１０１の付加情報の抽出性能が十分でないと判定（ＮＯ判定）し、Ｓ３８に移行する。本判定は、前記電力差の最小値や最大値、平均値が所定値以上であるか否かによって行われても良い。

Ｓ３７においてＣＰＵ２１０は、撮像姿勢などの撮像条件によっては、ユーザの携帯端末１０１は付加情報を抽出することが可能な端末である、旨の診断結果をユーザに通知する注意通知（第３通知処理）を行い、一連の処理を終了する。この場合、小領域から抽出された付加情報が適正な情報である可能性は高い。従って、撮像姿勢を正しくすれば、図１２に示す単位ブロック１２００の撮像画像においても適正な解像度が得られ、付加情報を読み出せる可能性がある。

また、Ｓ３８では、ＣＰＵ２１０は、ユーザの携帯端末１０１が、付加情報を抽出不可な端末である旨の診断結果をユーザに通知するＮＧ通知（第２通知処理）を行い、一連の処理を終了する。この場合、仮に付加情報が抽出されたとしても、その付加情報が適正な情報である可能性は低い。

なお、本実施形態においても、第２実施形態と同様に、診断結果をユーザに通知する方法として、携帯端末１０１のディスプレイ１１０への絵柄や文字の表示、スピーカ１１１からの音声出力、不図示の振動部の振動リズムなどを用いることができる。また、付加情報の判定を、動画から切り出した静止画毎に実施しても良い。

以上のように、本実施形態によれば、付加情報の抽出ができない原因が、携帯端末側の性能にある場合には、その原因をユーザに早期に知らせることができ、ユーザの利便性を向上させることができる。また、本実施形態では、上記第１、第２実施形態のような撮像ガイドを用いることなく、撮像姿勢の影響を低減した状態で付加情報の抽出性能を診断することができるため、診断モードにおけるユーザの撮像操作をより簡略化することができる。

（その他の実施形態）
第１～第３の実施形態では、経過時間やエラー回数、撮像姿勢の変化回数を参照して所定タイミングで診断モードに移行する例を示した。しかし、本発明はこれに限定されるものではない。診断モードへの移行は、所定のタイミングで自動的に行っても良く、診断モードに移行するかの確認を携帯端末１０１のディスプレイ１１０にＵＩ表示しても良い。後者の場合は、ユーザが移行を許可したら診断モードに移行するようにする。

また、診断モードを実施することを推奨するＵＩ表示のみを行い、診断モードへの移行は、読取アプリケーションのメニューから選択して実行する方式を採るようにしても良い。また、ＵＩ表示の他に、スピーカ１１１から音声を出力して、診断モードの実施や、実行方式の選択を促すようにしても良い。

また、診断モードに移行する前に正しい撮像姿勢で撮像することを促すＵＩを携帯端末１０１のディスプレイ１１０に表示しても良い。また、スピーカ１１１から音声によって撮像姿勢を指示しても良い。撮像姿勢とは、例えば、印刷画像と携帯端末との距離、印刷画像に対する携帯端末の向きや傾き等である。

また、付加情報の埋め込みに用いるパターンは、図１１に示した周波数ベクトルＡ，Ｂとは異なる周期特性及び位相特性を有するものであっても良い。但し、図１１とは異なる特性を有する別のパターンを用いる場合には、該パターンの特性を取得できる、図８のフィルタとは異なるフィルタを用いる。また、パターンの種類を増やすことで電子透かしにより埋め込まれた符号のビットを増やすことが可能になる。また、パターン１２０３のサイズを変更しても良い。さらに、単位ブロック１２００のサイズを変更して付加する情報量を調整しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 形態端末
１０４ 印刷物
１０７ 撮像センサ
１１０ ディスプレイ
２１０ 携帯端末のＣＰＵ
２１１ 携帯端末のＲＯＭ
２１２ 携帯端末のＲＡＭ

Claims (9)

1. 情報処理装置のコンピュータに、
   付加情報が電子透かしにより埋め込まれた特定の印刷物を撮像手段によって撮像させ、撮像画像を取得する撮像ステップと、
   前記撮像画像から付加情報を抽出する抽出処理を行う抽出ステップと、
   前記抽出処理におけるエラーの発生回数が所定回数に達する前に、前記抽出処理によって付加情報が抽出できたことを含む第１の条件を満たす場合に、付加情報の抽出性能が十分良好であることを通知する第１通知ステップと、
   前記第１の条件を満たさず、前記抽出処理に関する第２の条件を満たす場合に、付加情報の抽出性能が十分である可能性があることを通知する第３通知ステップと、
   前記第１の条件を満たさず、前記第２の条件も満たさない場合に、付加情報の抽出性能が不十分である可能性があることを通知する第２通知ステップと、
   を実行させるためのプログラム。
2. 前記第２の条件は、前記撮像画像をブロック毎に直交変換した結果を分類したベクトルのうち、電力が最大となる最大周波数ベクトルと、前記最大周波数ベクトル以外の周波数ベクトルとの電力差が閾値以上となるブロックの割合が所定値以上であるという条件であることを特徴とする請求項１に記載のプログラム。
3. 前記第２の条件は、前記抽出処理における抽出エラーが発生した回数が所定の閾値未満であるという条件であることを特徴とする請求項１に記載のプログラム。
4. 前記コンピュータに、
   印刷画像から付加情報を抽出する抽出処理に関する値として、前記撮像手段での撮像開始から付加情報が抽出されるまでの経過時間、前記撮像手段と前記印刷画像との間の距離の変化回数、前記撮像手段に対する前記印刷画像の角度の変化回数の少なくとも１つを取得する取得ステップを、さらに実行させ、
   前記取得ステップにおいて取得された値が、所定の値より高い場合に、前記第１乃至第３通知ステップのいずれかを実行するための前記撮像ステップを実行させることを特徴とする請求項１乃至３のいずれか１項に記載のプログラム。
5. 前記コンピュータに、
   前記第１乃至第３通知ステップのいずれかを実行するための前記撮像ステップを実行する際に、撮像をガイドするための枠状の撮像ガイドを表示手段に表示するように制御する表示制御ステップをさらに実行させることを特徴とする請求項１乃至４のいずれか１項に記載のプログラム。
6. 前記第３通知ステップではさらに、前記情報処理装置と前記特定の印刷物とを適切な位置関係にすることをユーザーに促す通知と、前記第１乃至第３通知ステップのいずれかを実行するための前記撮像ステップを実行する際に表示手段に表示される枠状の撮像ガイドに前記特定の印刷物が収まるようにすることをユーザーに促す通知との少なくとも一方の通知が行われることを特徴とする請求項１乃至５のいずれか１項に記載のプログラム。
7. 前記第１乃至第３通知ステップは、表示、音声出力、振動のうち少なくとも１つによって、通知を行うことを特徴とする請求項１乃至６のいずれか１項に記載のプログラム。
8. 付加情報が電子透かしにより埋め込まれた特定の印刷物を撮像手段によって撮像させ、撮像画像を取得する撮像手段と、
   前記撮像画像から付加情報を抽出する抽出処理を行う処理手段と、
   前記抽出処理におけるエラーの発生回数が所定回数に達する前に、前記抽出処理によって付加情報が抽出できたことを含む第１の条件を満たす場合に、付加情報の抽出性能が十分良好であることを通知する第１通知処理を行い、
   前記第１の条件を満たさず、前記抽出処理に関する第２の条件を満たす場合に、付加情報の抽出性能が十分である可能性があることを通知する第３通知処理を行い、
   前記第１の条件を満たさず、前記第２の条件も満たさない場合に、付加情報の抽出性能が不十分である可能性があることを通知する第２通知を行う
   ように制御する通知制御手段と、
   を備えることを特徴とする情報処理装置。
9. 付加情報が電子透かしにより埋め込まれた特定の印刷物を撮像手段によって撮像させ、撮像画像を取得する撮像ステップと、
   前記撮像画像から付加情報を抽出する抽出処理を行う抽出ステップと、
   前記抽出処理におけるエラーの発生回数が所定回数に達する前に、前記抽出処理によって付加情報が抽出できたことを含む第１の条件を満たす場合に、付加情報の抽出性能が十分良好であることを通知する第１通知ステップと、
   前記第１の条件を満たさず、前記抽出処理に関する第２の条件を満たす場合に、付加情報の抽出性能が十分である可能性があることを通知する第３通知ステップと、
   前記第１の条件を満たさず、前記第２の条件も満たさない場合に、付加情報の抽出性能が不十分である可能性があることを通知する第２通知ステップと、
   を有することを特徴とする情報処理装置の制御方法。

Images