JP7433912B2 - 情報処理装置、情報処理装置の制御方法、プログラム、および記憶媒体 - Google Patents

Description

本発明は、印刷画像の撮像画像データを処理する技術に関する。

現在、電子透かし技術によって付加情報が埋め込まれた印刷画像を撮像手段によって撮像し、印刷画像データから付加情報を読み取る技術が知られている。

特許文献１には、スマートフォン等の携帯端末に内蔵の撮像デバイスを用いて画像を読み取り、読み取った画像から付加情報を抽出する技術が開示されている。この文献には、ロバスト性の高い付加情報の読み取りを可能にするため、撮像する印刷画像の拡大縮小の検出と回転の検出を行うことが開示されている。

特開２００４－１５３９６号公報

しかしながら、スマートフォンなどの携帯端末の撮像手段を用いて印刷画像を撮像する場合、印刷物とカメラとの間で３次元の傾き（あおり）が発生することがある。特許文献１の方法では、端末と印刷画像との間にあおりが発生した場合、適正な撮像データを取得することが困難になる。

本発明は、上記課題に鑑み、付加情報を埋め込んだ印刷画像と撮像手段との間に生じたあおりの状態を取得する技術の提供を目的とする。

本発明は、所定の周波数特性を有するパターンを複数埋め込むことによって付加情報が埋め込まれた画像を撮像手段で撮像した撮像画像を取得する第１の取得手段と、前記撮像画像のうち互いに異なる位置の複数の部分画像のそれぞれを空間周波数領域の画像に変換する変換手段と、前記複数の部分画像のそれぞれに対応する複数の前記空間周波数領域の画像を利用して、前記複数の部分画像のそれぞれに対応する前記画像の位置と前記撮像手段との距離を示す相対距離情報を取得する第２の取得手段と、前記第２の取得手段で取得された、前記複数の部分画像のそれぞれに対応する複数の相対距離情報を用いて前記撮像画像のあおり補正を行う補正手段と、前記撮像画像を前記補正手段で補正した補正画像から、前記付加情報を抽出する抽出手段と、を有することを特徴とする情報処理装置である。

本発明によれば、付加情報を埋め込んだ印刷画像と撮像手段との間に生じたあおりの状態を取得することが可能になる。

画像処理システムのハードウェアの構成例を示す図である。 プリンタのハードウェアの一部を示す模式図である。 プリンタの制御回路部の構成例を示す図である。 画像処理システムの構成例を示すブロック図である。 アプリケーションの画面の一例を示す図である。 アプリケーションの埋め込み情報設定のダイアログの一例を示す図である。 アプリケーションの印刷設定ダイアログの一例を示す図である。 ＳＶＧの記述例を示す図である。 印刷データ生成処理の一例を示すフローチャートである。 プリントコマンドの例を示す図である。 付加情報の埋め込み処理のフローチャートである。 付加情報を埋め込むパターンを示す図である。 単位ブロックの構成例を示す図である。 印刷媒体への単位ブロック埋め込み例を示す図である。 付加情報読み取り部の構成を示すブロック図である。 撮像画像と距離検出のためのトリミングエリアの例を示す図である。 距離情報の算出処理を示すフローチャートである。 ＦＦＴ画像と同画像に基づく距離情報の取得例を示す図である。 あおりの状態を示す図である。 仮想台形の形状を算出する様子を示す図である。 あおり発生時に行われる通知例を示す図である。 回転情報の算出例を示す図である。

以下に、添付図面を参照して、本発明の実施の形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

（第１実施形態）
＜画像処理システムの概要＞
本実施形態においては、画像処理装置（情報処理装置）が、付加情報の埋め込みと読み取りとを実行可能なアプリケーションを備えている。このアプリケーションが、付加情報が埋め込まれたコンテンツ（画像データ）を作成する。画像処理装置は、作成したコンテンツから印刷データを生成し、プリンタに送信する。プリンタは、印刷データを用いて印刷を行い、付加情報が埋め込まれた印刷画像が出力される。

本実施形態において「付加情報」とは、印刷物に埋め込まれる情報のことである。付加情報は、視覚的に目立たないように印刷画像に埋め込まれる（付加される、あるいは多重化される、という場合もある）。付加情報のことを多重化情報、透かし情報、または埋め込み情報と呼ぶこともある。

＜画像処理装置のハードウェア構成＞
図１は、本実施形態に係る画像処理システムのハードウェアの構成例を示す図である。本実施形態に係る画像処理システムにおいては、ネットワークを介して、画像処理装置１００（情報処理装置）とプリンタ１１４とが接続される。図１では、さらにサーバ１１６がネットワークを介して接続されているが、サーバ１１６は必ずしも接続されていなくてもよい。

画像処理装置１００は、例えば、スマートフォン、タブレットＰＣ、およびノート型ＰＣ等の携帯型の情報端末や、非携帯型のデスクトップＰＣ等が該当する。以下、本実施形態では、画像処理装置１００として、タッチディスプレイを備えたスマートフォンを使用するものとする。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４を備えている。さらに、２次記憶装置１０５、ディスプレイ１０６、マウス１０７、キーボード１０８、ＩＦ（InterFace）１０９、ＩＦ１１０、ＩＦ１１１、および内部撮像デバイス（撮像手段）１１２を備えている。

ＣＰＵ（プロセッサー）１０２は、以下で説明する各種処理をプログラムに従って実行する。図１において１つのＣＰＵ１０２が示されているが、複数のＣＰＵあるいはＣＰＵコアによって構成されていてもよい。ＲＯＭ１０３は、ＣＰＵ１０２により実行されるプログラムを記憶している。ＲＡＭ１０４は、ＣＰＵ１０２によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。

２次記憶装置１０５は、ハードディスクまたはフラッシュメモリ等の記憶媒体である。２次記憶装置１０５は、ファイルおよび画像解析等の処理結果を保持するデータベース等のデータならびに各種プログラムを記憶する。ディスプレイ１０６は、各種処理を実現するための操作を受け付けるためのＵＩ（ユーザーインターフェース）を表示したり、実行された処理の結果等の各種情報を表示したりする。ディスプレイ１０６は、不図示のタッチセンサを備えてもよい。ユーザはタッチ、スワイプ、ピンチ等のタッチ動作により、操作を入力するものとする。なお、ＵＩとして、マウスや文字等を入力するキーボードを備えてもよい。

内部撮像デバイス１１２は、撮像を行う。撮像によって得られた画像データは、所定の画像処理を経た後、２次記憶装置１０５に保存される。また、画像データは、ＩＦ１１０を介して接続された外部撮像デバイス１１３から取得され、２次記憶装置１０５に保存されてもよい。

ＩＦ１１１は、インターネット１１５等のネットワークを介して外部装置（例えばプリンタ１１４やサーバ１１６）と通信を行うことができる。

ＩＦ１０９～１１１は、有線通信または無線通信の少なくともいずれかの通信形態を有するインタフェースであり、利用する通信形態に応じて外部装置との通信を行う。画像処理装置１００は、ＩＦ１０９～１１１を介して、インターネット１１５に接続されたサーバ１１６または外部撮像デバイス１１３から画像データを取得したり、プリンタ１１４に対して画像データ（印刷データ）等を出力したりすることができる。有線通信には、例えば、ＵＳＢ、イーサネット（登録商標）等がある。無線通信には、無線ＬＡＮ、ＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等がある。

画像処理装置１００が備える各種構成要素は、内部バス１０１を介して相互に接続され、ＣＰＵ１０２は、内部バス１０１を介して、各種構成要素を制御する。なお、本実施形態では、画像処理装置１００が、ＣＰＵ１０２（制御部）によって実行されるプログラム等のソフトウェアの実行場所（ソフトウェア実行環境）となる。

なお、図１の形態では、外部装置の一例としてプリンタ１１４を例に挙げて説明するが、これに限定するものでは無く、複合機（ＭＦＰ）など他の画像形成装置やＦＡＸ等の通信装置であってもよい。

＜プリンタのハードウェア構成＞
図２は、プリンタ１１４のハードウェアの一部を示す模式図である。本実施形態では、インクジェット方式のプリンタ１１４を例に挙げて説明するが、これに限られるものではなく、電子写真方式のプリンタであってもよい。

図２に、本実施形態に係るプリンタ１１４の記録ヘッドの模式図を示す。記録ヘッド２０１は、インクを充填したインク部２０２を搭載する。図２においてインク部２０２は、４色である形態を示しているが、何色でも良い。制御回路部２０３は、記録ヘッド２０１を駆動するために必要な記憶部、演算部及び通信部を含む。記録ヘッド２０１は、制御回路部２０３から記録信号と制御信号とを受信し、制御信号に従って記録信号に基づいたインクの吐出を行う。記録媒体である印刷媒体２０４は、不図示の搬送ローラによって搬送され、印刷媒体２０４上に画像が形成される。

図３は、制御回路部２０３の構成例を示すブロック図である。制御回路部２０３は、入力インタフェース３０１、ＣＰＵ３０２、出力インタフェース３０３、ＲＯＭ３０４、ＲＡＭ３０５を含む。入力インタフェース（ＩＦ）３０１は、プリンタ１１４の外部の画像処理装置等から、画像データと記録ヘッド２０１を駆動するための制御信号との入力を受け付ける。入力インタフェース３０１は、入力を受け付けた画像データと制御信号とをＲＡＭ３０５およびＣＰＵ３０２に送る。ＣＰＵ３０２は、不揮発性メモリであるＲＯＭ３０４に記憶されている制御プログラムを実行して、画像データに信号処理を行う。信号処理された画像データは記録データとして制御信号とともに、出力インタフェース３０３から出力される。出力された記録データと制御信号とにより記録ヘッド２０１が駆動され、印刷媒体２０４に画像が印刷される。

＜システム構成＞
図４は、画像処理装置１００で動作するアプリケーション４００と、プリンタ１１４とを含む画像処理システムの構成例を示すブロック図である。アプリケーション４００は、表示処理部４０１、画像取得部４０２、付加情報取得部４０３、印刷設定部４０４、印刷データ生成部４０５、データ送受信部４０６、および付加情報読み取り部４０７としての機能を実現するためのソフトウェアである。アプリケーション４００は、上記部分以外の機能を実現するものであってもよい。アプリケーション４００は、図１におけるＲＯＭ１０３または２次記憶装置１０５にプログラムとして格納されており、ＣＰＵ１０２により実行されることにより実現される。すなわち、ＣＰＵ１０２がＲＯＭ１０３または２次記憶装置１０５に格納されているプログラムを実行することにより、ＣＰＵ１０２がアプリケーション４００の各部として機能する。アプリケーション４００は、印刷対象の画像データと、入力された付加情報とに基づいて付加情報が埋め込まれた画像データを生成する機能を備えている。そして、アプリケーション４００は、生成した画像データを印刷するための印刷データをプリンタ１１４に送信する機能を備えている。

プリンタ１１４は、印刷処理部４０８、データ送受信部４０９を備えている。印刷処理部４０８およびデータ送受信部４０９は、ＣＰＵ３０２がＲＯＭ３０４に格納されたプログラムを実行することによって実現される。

図５は、画像処理装置１００上で動作するアプリケーション４００の画面の一例を示す図である。以下、図４の各ブロックで行われる処理を、図５に示す画面例を参照しながら説明する。

表示処理部４０１は、付加情報として埋め込む文字情報および印刷処理に利用する画像などを画像処理装置１００のディスプレイ１０６に表示させる処理を行う。表示処理部４０１は、画像および文字等を選択するボタン並びに印刷設定のリスト等、ユーザーインターフェイス（ＵＩ）に関わる情報を表示させる機能も有している。

図５では、画像処理装置１００のディスプレイ１０６に、画像選択ボタン５０１、埋め込み情報設定ボタン５０２、印刷設定ボタン５０３が表示されている。コンテンツ編集エリア５００には、編集中のコンテンツ（画像）が表示されている。

画像取得部４０２は、付加情報が埋め込まれる対象となる画像を取得する。例えば図５の画像選択ボタン５０１が選択されると、画像選択ダイアログが立ち上がり、画像処理装置１００において利用可能な画像をユーザが選択することができる。なお、本実施形態では、画像選択ダイアログからの画像選択を行うが、別途、内部撮像デバイス１１２を起動して、撮像した画像を利用する形態でも良い。画像取得部４０２が取得した画像は、コンテンツ編集エリア５００に表示され、タッチ、スワイプ、ピンチ操作により、拡大・縮小・回転や移動をすることができる。その他、任意の編集が行われてよい。

図６は、埋め込み情報設定のダイアログ６００の一例を示す図である。図５の埋め込み情報設定ボタン５０２が選択されると、ディスプレイ１０６には、図６に示す埋め込み情報設定のダイアログ６００が表示される。付加情報取得部４０３は、例えば図６に示すような埋め込み情報設定のダイアログ６００を通じて編集された情報を、付加情報として取得する。図６のエリア６０１をユーザがタップすると、埋め込みたい情報（付加情報）の編集をユーザが行うことができる。例として「ｈｅｌｌｏ」という文字列を付加情報として埋め込むこととする。なお、本実施形態では、テキスト入力を例にしているが、画像に関する著作権、撮像日時、撮像場所、撮像者等の諸情報を付加情報として埋め込んでもよい。ＵＲＬ（Uniform Resource Locator）などのように、リンク先の情報を付加情報として埋め込んでもよい。音声や動画等のように、テキスト以外の情報を付加情報として埋め込んでもよい。共通のデータテーブルがある場合、そのデータテーブルのデータを識別する識別情報を付加情報として埋め込んでもよい。ユーザは、入力を完了した場合は、決定ボタン６０２を押下し、キャンセルする場合はキャンセルボタン６０３を押下する。なお、図６で説明したようにユーザが埋め込みたい付加情報を意識的に入力する形態でもよいし、ユーザが意識しない形で付加情報をアプリケーション４００が入力する形態でもよい。

図７は、印刷設定ダイアログ７００の一例を示す図である。図５の印刷設定ボタン５０３が選択されると、ディスプレイ１０６には、図７に示す印刷設定ダイアログ７００が表示される。ユーザは、印刷設定ダイアログ７００を通じて、プリンタの選択、用紙種別の選択、用紙サイズの選択、フチあり／なし印刷の設定を行う。プリンタ選択リスト７０１をタップすると、使用可能なプリンタのリストが表示され、ユーザは任意のプリンタを選択することができる。同様に、用紙種別リスト７０２をタップすると、使用可能な用紙種別のリストが表示され、ユーザは任意の用紙種別を選択することができる。用紙種別としては、例えば、光沢紙、マット紙、普通紙等が挙げられる。用紙サイズ選択リスト７０３をタップすると、用紙種別リスト７０２で選択されている用紙種別で使用可能な用紙サイズのリストが表示され、ユーザは任意の用紙サイズを選択することができる。印刷フチ設定７０４では、印刷時のフチ設定（フチあり／フチなし）を行う。フチあり印刷とは、印刷画像の四辺に余白ができる印刷方法であり、フチなし印刷とは、用紙に余白が生じないように印刷する印刷方法のことである。

印刷ボタン７０５が押下されると、印刷設定部４０４は、印刷設定を印刷データ生成部４０５に送信し、印刷工程に移行する。キャンセルボタン７０６が押下されると、印刷を実行せずに前画面に戻る。

なお、図７の印刷設定ダイアログ７００に表示されるプリンタの印刷設定に関する情報は、予め画像処理装置１００に保持しておいてもよいし、ネットワークを通じてサーバ１１６やプリンタ１１４から適宜ダウンロードしてもよい。

印刷データ生成部４０５は、コンテンツのレンダリング、付加情報の埋め込み処理、およびプリンタ１１４で印刷するために必要なデータの生成処理を行う。レンダリング処理では、画像取得部４０２で取得され、図５のコンテンツ編集エリア５００に表示されているコンテンツから印刷に用いる画像データを生成する。付加情報の埋め込み処理では、レンダリングで生成された画像データに、付加情報取得部４０３で取得した付加情報を埋め込む処理が行われる。

本実施形態では、印刷データの生成に使用するコンテンツは、ウェブ標準言語（ＨＴＭＬ（Hyper Text Markup Language）、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）等）を用いて記述される。本実施形態ではＨＴＭＬにおけるグラフィック表記手法の一つであるＳＶＧ（Scalable Vector Graphics）を用いて、印刷に使用するコンテンツを記述した例を用いて説明を行う。しかしこれに限定するものではなく、例えば、ＨＴＭＬでグラフィックを記述するのに使用されるＣａｎｖａｓを用いてもよい。

図８は、本実施形態において印刷に使用するコンテンツを記述した例を示す図である。本実施形態では、画像を１枚のみ配置したコンテンツを例に説明する。この場合のＳＶＧの記述例を図８（ａ）に示す。図８（ａ）のＳＶＧの記述例は、概略を説明するためのものであり、細かい設定の記述は省略している。図８の左端の数字は、行数を示している。

図８（ａ）における１行目は、コンテンツがＳＶＧによって記述されていること、および、ＳＶＧのサイズを記述している。２行目はコンテンツに追加された画像に関する記述である。本実施形態では、アプリケーション４００は、１枚の画像のみのコンテンツを作成する形態であるものとして説明するが、これにテキストやスタンプを追加する形態でもよい。その場合は、追加したテキストやスタンプの情報がＳＶＧによって記述される。

次に、印刷データ生成部４０５が、ＳＶＧコンテンツのレンダリングを実行し、付加情報の埋め込み処理（多重化処理ともいう）を施して印刷データの生成を行うまでの処理を、図９を用いて詳細に説明する。

図９は、印刷データ生成部４０５で行われる印刷データ生成処理の一例を示すフローチャートである。なお、本明細書の説明において参照するフローチャートに記載のＳは、ステップを意味する。

まず、Ｓ９０１において印刷データ生成部４０５は、まず、印刷可能領域情報の取得を行う。印刷可能領域情報とは、印刷に使用される印刷メディア(用紙やディスクメディア等)において印刷可能な領域を規定する情報である。

次に、Ｓ９０２において印刷データ生成部４０５は、用紙設定に応じたレンダリングサイズを決定する。用紙設定がＬ版、フチありで印刷解像度が３００ｄｐｉであった場合、レンダリングサイズは９５０ｐｘ（ピクセル）×１４００ｐｘとなる。なお、印刷設定として３００ｄｐｉ以外の印刷解像度が設定可能である場合、他の印刷解像度に対応するレンダリングサイズを決定する。例えば、上述のように用紙設定がＬ版、フチありで、印刷解像度が６００ｄｐｉの場合、レンダリングサイズとして１９００ｐｘ×２８００ｐｘが算出される。

Ｓ９０３において印刷データ生成部４０５は、コンテンツであるＳＶＧの一部を、印刷のために書き換える。ここでは、Ｓ９０２で決定されたレンダリングサイズに合わせて、ＳＶＧの横幅および縦幅を、プリンタへ送信する画像サイズに合わせて変更する。具体的には、図８（ａ）のＳＶＧの２行目と３行目のｗｉｄｔｈが「９５０」に、ｈｅｉｇｈｔが「１４００」に、２行目のｖｉｅｗＢｏｘが「０ ０ ９５０ １４００」に変更される。書き換えられたＳＶＧの例を図８（ｂ）に示す。

次に、Ｓ９０４において印刷データ生成部４０５は、画像処理装置１００の不図示のＯＳ（Operating System）に対して画面生成を要求する。ここでは、Ｓ９０３において書き換えられたＳＶＧを参照して、９５０ｐｘ×１４００ｐｘの領域の情報が取得される。そして、ＯＳによって、ＳＶＧ用の画面生成（９５０ｐｘ×１４００ｐｘ）が実行される。ＳＶＧのサイズに関する情報は、ＳＶＧ自体ではなく、アプリケーションが保持してもよい。また、ＯＳが生成する画面は、オフスクリーン画面として生成される。オフスクリーン画面とは、ＵＩには表示されない画面のことである。

Ｓ９０５において印刷データ生成部４０５は、Ｓ９０４で生成された画面にＳＶＧを描画するようにＯＳに対して要求する。ＯＳは、ＳＶＧの情報をロードする。ＳＶＧの情報がロードできたタイミングで、アプリケーション４００はＯＳからロード完了の通知を受け取る。この通知はＯＳに標準的に備わっている機能を利用すればよい。例えばｉＯＳアプリケーションの作成で利用するＯｂｊｅｃｔｉｖｅ－Ｃ言語であればｗｅｂＶｉｅｗＤｉｄＦｉｎｉｓｈＬｏａｄ関数などがロード完了通知に該当する。また、Ａｎｄｒｏｉｄアプリケーションの作成で利用するＪａｖａ（登録商標）言語であればｏｎＰａｇｅＦＩｎｉｓｈｅｄ関数などがロード完了通知に該当する。アプリケーション４００は、ロード完了通知を受け取ると、ＳＶＧの描画が完了したと判定し、次のステップに進む。

Ｓ９０６において印刷データ生成部４０５は、ＯＳに対しコンテンツの画像データを要求する。ここでの画像データとは、オフスクリーン画面に表示されているコンテンツのＲＧＢＡデータのことである。端的にいえば、画面キャプチャを実行するということである。ＯＳは、アプリケーション４００からの要求に応じて、コンテンツが描画されたオフスクリーン画面の画面キャプチャを実行し、取得したＲＧＢＡデータをアプリケーション４００へ送信する。

Ｓ９０７において印刷データ生成部４０５は、取得したＲＧＢＡデータに対して付加情報を埋め込む処理を行う。付加情報は、視覚的に判別しにくいように画像中に埋め込まれる。付加情報の埋め込み処理では、付加情報取得部４０３で取得した付加情報を使用する。埋め込み処理の詳細については後述する。Ｓ９０６にてＯＳから取得したＲＧＢＡデータにはＡ（透過度）の情報が含まれている。本実施形態では、この透過度の情報は印刷には用いないので、削除してＲＧＢデータとして付加情報の埋め込み処理が行われる。

Ｓ９０８において印刷データ生成部４０５は、付加情報の埋め込み処理後のＲＧＢデータをＪＰＥＧ画像データへ変換する。なお、本実施形態では、画像データをＪＰＥＧに変換する例を説明するが、公知であるＰＤＦ（Portable Document Format）の技術を用いて、ＰＤＦのフォーマットに変換したデータを画像データとしてもよい。

Ｓ９０９において印刷データ生成部４０５は、プリンタ１１４に送信するためのプリントコマンドを、Ｓ９０８で生成したＪＰＥＧ画像データに付加する。ここで、ＪＰＥＧ画像データに付加するデータは、印刷設定の情報を基に生成される。また、必要であれば、プリンタ１１４を制御するためのコマンドを付加してもよい。

図１０は、印刷データのプリントコマンドの例を示す図である。ここでは、プリントコマンドとして、ＸＭＬ形式で記述されたコマンドを使用する。図１０の例えば３から５行目では、「Ｌ版サイズの光沢紙に対して標準モードで印刷する」というプリンタ用の設定が記述されている。また、７から９行目で、印刷データは「横幅９５０ｐｘ、縦幅１４００ｐｘのＪＰＥＧデータ」ということが記述され、１０行目に、Ｓ９０９で変換されたＪＰＥＧデータが挿入される。

プリンタ１１４は、画像データ（ＪＰＥＧデータ）と共に上述のようなプリントコマンドを受け取ることで印刷を実行する。以上のステップにより、印刷データ生成部４０５で行われるレンダリング処理、付加情報の埋め込み処理、および印刷データの生成処理が終了する。

図４の説明に戻る。画像処理装置１００側のデータ送受信部４０６は、印刷データをプリンタ１１４に送信する。アプリケーション４００は、ＯＳに対して印刷データの送信を要求し、ＯＳはアプリケーションから受け取ったデータをプリンタ１１４へ送信する。データの送信は、例えば画像処理装置１００とプリンタ１１４とを無線の電波で接続する公知の無線ＷｉＦｉ技術を用いて行われる。データの送信方法に関しては、その他公知の方法を用いても構わない。例えば、画像処理装置１００とプリンタとをＵＳＢポートで接続する。画像処理装置１００側では、プリンタドライバにより、プリンタで印刷可能なラスターデータに変換する。この印刷可能なラスターデータをＵＳＢポートでプリンタに送信してもよい。プリンタ側は、受け取ったラスターデータを、印刷可能なデータに変換し、印刷を行う形態でもよい。

次に、プリンタ１１４側の処理について説明をする。プリンタ１１４側のデータ送受信部４０９は、画像処理装置１００から送信される印刷データを受信する。データ送受信部４０９は、受信した印刷データに含まれるプリントコマンドを解析し、解析した用紙サイズおよび用紙の種類などの印刷設定情報を印刷処理部４０８に送る。また、データ送受信部４０９は、印刷データに含まれるＪＰＥＧファイルを復号化処理して画像データに変換し、変換後の画像データを印刷処理部４０８に送る。ここで、通常の印刷時には、印刷設定情報に補正処理情報が含まれている場合は、画像データに対して画像補正処理を実行することがある。画像補正処理としては、明度調整や、コントラスト調整、カラーバランスの調整のほか、写真印刷を想定した逆光補正や赤目補正など、様々なものが挙げられる。しかし、付加情報が埋め込まれた画像を印刷する場合においては、画像処理によって、埋め込まれた情報が消失あるいは信号が弱くなる恐れがあるため、画像補正処理は実行しないものとする。上述した画像補正処理を実行したい場合は、アプリケーション４００で印刷データを生成する前に（つまり、付加情報を埋め込む前に）実行することが望ましい。

印刷処理部４０８は、データ送受信部４０９から受け取った画像データを、プリンタで出力させる際に好適な色となるように色分解し、インク色データに変換する。インク色データに変換する方法は、画面表示に利用する画像フォーマット（ＲＧＢ）から、印刷用のインク色（ＣＭＹＫ）に変換する公知の色変換処理であれば、いずれの方法であってもよい。

例えば、プリンタ１１４のインク色として、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色を想定する。印刷処理部４０８は、入力されたレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の３色から成るデータを、Ｃ，Ｍ，Ｙ，Ｋの４色のインク色データに変換する。変換を行う場合は、色分解テーブルを用いる。色分解テーブルは、Ｒ，Ｇ，Ｂの３つの値を入力すると、Ｃ，Ｍ，Ｙ，Ｋのインク色の値に変換できる３次元のルックアップテーブルである。印刷処理部４０８は、入力された画像データの画素毎に、色分解テーブルを利用して、Ｒ，Ｇ，Ｂの値をＣ，Ｍ，Ｙ，Ｋのインク色の値に変換する。

印刷処理部４０８ではさらに、出力階調補正やハーフトーニングといった画像処理をルックアップテーブルなどの画像処理パラメータを用いて行い、インク色データを印刷出力用データに変換する。

変換された印刷出力用データは、図２の制御回路部２０３に送られる。制御回路部２０３は、印刷出力用データに従って印刷媒体２０４にインクを吐出し、画像を形成する。このように形成された印刷画像には、付加情報が埋め込まれている。以上のステップにより、印刷データの印刷処理が終了する。

アプリケーション４００の付加情報読み取り部４０７は、付加情報が埋め込まれた印刷画像から、付加情報を読み出して抽出する処理を行う機能を持つ。付加情報の抽出処理の詳細については後述する。なお、図４の例では、アプリケーション４００が付加情報の埋め込みと読み出しとの両方を行う形態を示したが、付加情報の埋め込みと読み出しとが別々のアプリケーションで行なわれてもよい。

＜付加情報の埋め込み処理＞
以下では、アプリケーション４００で行われる、レンダリング後の画像データに対して付加情報を埋め込む処理を説明する。図１１は、付加情報の埋め込み処理を説明するフローチャートであり、図９のＳ９０７の詳細を説明する図である。図１１に示す処理は、アプリケーションの印刷データ生成部４０５で行われる。

Ｓ１１０１において印刷データ生成部４０５は、付加情報をバイナリデータに変換する。ここでは、付加情報として、「ｈｅｌｌｏ」という文字列が入力された場合を例に挙げて説明する。バイナリデータとは、「０」または「１」の情報であり、これらが連続でつながることにより、特定の意味を持つようになる。バイナリデータと文字との対応は、「文字コード」と呼ばれるもので定義されている。例えば、文字コードの一つである「シフトＪＩＳ」を例にとると、「ｈ」はバイナリデータの「０１１０１０００」に対応している。同様に「ｅ」は「０１１００１０１」、「ｌ」は「０１１０１１００」、「ｏ」は「０１１０１１１１」というバイナリデータに対応している。

つまり「ｈｅｌｌｏ」という文字はバイナリデータで「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」と表現できる。逆に「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」というバイナリデータを取得できれば「ｈｅｌｌｏ」という文字を取得することができる。つまり、「０」または「１」を判定できるようにデータを埋め込むことで付加情報の埋め込みが実現可能である。

図１２は、画像に対して「０」または「１」の情報を埋め込む方法を説明する図である。ここでは、「０」、「１」を生成するために図１２（ａ）および（ｂ）の二つのパターンを考える。例えば図１２（ａ）のパターンが「０」を表し、図１２（ｂ）のパターンが「１」を表すものとする。図１２（ａ）および（ｂ）のパターンは、８ｐｘ×８ｐｘで構成されている。各パターン内の一つの矩形が１ｐｘを表している。印刷データ生成部４０５は、これらのパターンに従って「０」および「１」のバイナリデータで構成されている付加情報を画像に埋め込む。これにより、画像内の８ｐｘ×８ｐｘの領域に対して周期性を持ったパターンを与えることができる。

画像へのパターンの埋め込み方法としては、例えば、直接ＲＧＢの値（輝度情報）に、周期性を重畳する方式が考えられる。他の方法としては、ＲＧＢの値を、輝度－色差情報など、他の色空間情報（例えばＣＩＥ Ｌ＊ａ＊ｂ＊、ＹＣｒＣｂ信号）に分離して周期性を重畳する方式により埋め込みを実現してもよい。または、ＲＧＢの値をインク色（例えばＣＭＹＫ信号）に分離して周期性を重畳する方式により埋め込みを実現しても良い。本実施形態では、簡単のため、ＲＧＢ成分のＢ成分に周期性を重畳する方法を例に挙げる。図１２（ａ）および（ｂ）のハッチングされたピクセル（ｐｘ）部分に対して、Ｂ成分を３０減算するものとする。より好ましくは、減算だけでなく、加算する部分もあったほうがよい。減算と加算が等量あるパターンにすることで、画像への付加情報を埋め込んだ後の違和感が軽減される。図１２（ｃ）および（ｄ）に、減算と加算を含むパターンを示す。薄いハッチング部分が、加算部分である。このように、付加情報が埋め込まれる対象の画像のＲＧＢデータのうち、所定のパターンに沿って所定の成分の値を加工することで付加情報の埋め込みが行われる。なお、本実施形態では、元画像に対して周期的なパターンを直接埋め込む方法をとったが、それ以外の方法をとっても良い。例えば、周波数空間においてパターンの周波数に相当する箇所に信号を埋め込んだ後、フーリエ逆変換で得た画像を元画像に対して加減算する形態を取っても良い。あるいは、一旦、画像全体あるいは一部をフーリエ変換で周波数空間に変換し、パターンの周波数に相当する箇所に信号を埋め込んだ後、フーリエ逆変換で得た画像を埋め込み画像とする形態をとっても良い。

図１３は、本実施形態で使用する付加情報の単位ブロック（多重化ブロック）を表す図である。ブロック１３００が１つの単位ブロックを表しており、この単位ブロック内の全情報を読み取ることで埋め込まれた付加情報を取り出すことができる。単位ブロック１３００はマーカ部１３０１とデータ部１３０２とで構成されている。マーカ部１３０１は付加情報の読み取りの際に単位ブロック１３００の位置を特定するために利用される８０×８０ｐｉｘｅｌのブロックで、マーカ部を表す情報が埋め込まれている。マーカ部１３０１を表す情報として、例えば図１２（ａ）および（ｂ）の両方の組み合わせから成る特定のパターンを付加し、このパターンを読み取りの際に検出することでマーカ部１３０１の検出を行うことができる。他の方法としては、図１２（ａ）および（ｂ）とは異なる周期性や周期の方向を持つパターンでマーカ部１３０１を構成することも考えられる。

データ部１３０２は、図１２（ａ）または図１２（ｂ）であるパターン１３０３（すなわち、「０」か「１」を表すパターン）が敷き詰められている。本実施形態の単位ブロック１３００は２４０×２４０ｐｉｘｅｌで構成されており、データ部１３０２にはパターン１３０３が８００個入っている。パターン１３０３が１つで１ビットの情報を表すことができるため、ブロック１３００全体では８００ビットの情報量があることになる。

なお、本実施形態では、単位ブロック内のマーカ部１３０１は、単位ブロック１３００の左上に配置しているが、右上や中央等、それ以外の位置に配置してもよい。また、マーカ部１３０１は、矩形以外の形状でもよいし、単位ブロック内に分散して配置されていてもよい。

図１４は、印刷媒体（印刷物）２０４に単位ブロック１３００が繰り返し埋め込まれている様子を示す図である。つまり、同じ付加情報を表す単位ブロック１３００が、印刷媒体２０４の全面に繰り返し埋め込まれている様子を示している。図１４の印刷設定は、Ｌ版、３００ｄｐｉ印刷、フチあり印刷とする。Ｓ９０２における処理により、この場合の印刷画像サイズは、横幅９５０ｐｘ、縦幅１４００ｐｘとなる。印刷画像サイズが９５０×１４００なので、２４０×２４０の単位ブロック１３００を、３×５＝１５ブロック敷き詰めることが可能である。印刷媒体２０４に埋め込まれた付加情報を読み出すには、この繰り返し埋め込まれた複数の単位ブロック１３００のうち、１つ分のデータ部の読み出しができればよい。なお、同じ情報（単位ブロック１３００）を印刷媒体２０４の全面に多く埋め込むことで、読み取り時のロバスト性を高めることができる。ある単位ブロック１３００では、付加情報を読み出すことができないものの、他の単位ブロック１３００を参照することで、付加情報を読み出すことが可能になる場合があるからである。なお、ここでは同じ情報（単位ブロック１３００）を繰り返し埋め込む場合を例に挙げているが、これに限定されない。異なる情報（異なる内容のブロック）を、画像の全面に埋め込む場合でもよい。図１４では、印刷媒体の右部分と下部分にはブロックサイズが足りないエリアが存在するが、このエリアにもブロックの一部が埋め込まれている。

図１１の付加情報の埋め込み処理のフローチャートの説明に戻る。付加情報（文字列）のバイナリ化が終了するとＳ１１０２に進む。

Ｓ１１０２において印刷データ生成部４０５は、単位ブロックの配置を決定する。印刷データ生成部４０５は、印刷画像の左上を起点に、単位ブロックを敷き詰める。図１４は、印刷画像の左上を起点として単位ブロックを配置した例を示している。

Ｓ１１０３において印刷データ生成部４０５は、決定したブロック配置で画像に付加情報の埋め込みを行う。付加情報の埋め込みは、対象の画像と図１４のブロック配置とを対応付けながら、各画素に対して図１２のパターンを重畳することにより行う。具体的には、図１４の各ブロック内のデータ部は、図１２（ａ）のパターンまたは図１２（ｂ）のパターンから構成されているため、各パターンのハッチング部に対応する画素のＲＧＢのＢ値を３０減算する。Ｂ値が０を下回る場合は、０とする。これを画像全体に適用することにより、画像への付加情報の埋め込みが完了する。

以上、画像に付加情報を埋め込んでプリンタで印刷するまでの処理を説明した。次に、付加情報が埋め込まれた印刷画像を読み取る処理について説明する。

＜付加情報の読み取り処理＞
付加情報の読み取り処理は、図４におけるアプリケーション４００の付加情報読み取り部４０７によって実施されるが、埋め込みを行ったデバイスとは別のデバイスのアプリケーションで読み取りを実施してもよい。

図１５は、付加情報読み取り部４０７の構成を示すブロック図である。画像処理装置１００のアプリケーション４００に含まれる付加情報読み取り部４０７は、画像取得部（第１取得手段）１５０１、距離情報算出部（第２取得手段）１５０２、あおり補正部１５０３、および付加情報取得部（抽出手段）１５０４を備えている。

まず、画像取得部１５０１は、内部撮像デバイス１１２を制御して、付加情報が埋め込まれた印刷画像の撮像を行い、画像データを取得する。撮像によって得られた画像データ（以下、撮像画像データと称す）は、静止画のデータでもよいし、動画から各フレームを抜き出した静止画像のデータを使用してもよい。撮像画像データは、距離情報算出部（距離情報の取得手段）１５０２に送られる。本実施形態では、撮像画像データは、ＲＧＢ形式の８ビットデータとして取得されるものとする。また、撮像画像データのサイズは、１０８０×１９２０（２Ｋサイズ）が得られるものとする。図１６に、撮像画像の例を示す。

距離情報算出部１５０２では、図１６の撮像画像データ１６０１内に設定した複数のエリアを周波数解析し、エリア毎に距離情報を算出する。距離情報とは、スマートフォン１００の内部撮像デバイス（撮像手段）１１２と印刷画像との相対的な距離を示す情報である。

本実施形態では、図１６の撮像画像データ１６０１に含まれる４つのエリア１６０２～１６０５をトリミングエリアとし、各トリミングエリアに対応する撮像画像データの切り取りを行う。すなわち、撮像画像データからトリミングエリアに対応する画像データ（以下、部分画像データという）を取得する。各トリミングエリアは、２５６ｐｘ×２５６ｐｘのサイズの正方形のエリアとなっている。なお、以下の説明において、４つのトリミングエリア１６０２～１６０５のそれぞれを、Ａエリア、Ｂエリア、Ｃエリア、Ｄエリアともいう。

４つのトリミングエリア１６０２～１６０５は、撮像画像データ１６０１の中で、次のような位置に設定する。すなわち、矩形（長方形）の撮像画像データ１６０１の中心１６０１ａと頂点１６０１ｂとを結ぶ直線上に、各トリミングエリア１６０２、１６０３、１６０４、１６０５の中心Ａ１、Ｂ１、Ｃ１、Ｄ１が一致するように、各トリミングエリアの位置を設定する。さらに、本実施形態では、各トリミングエリアの中心Ａ１、Ｂ１、Ｃ１、Ｄ１を、撮像画像データ１６０１の中心１６０１ａと頂点１６０１ｂとの中央付近に位置するように設定している。これにより、有効な距離情報を取得することが可能になる。

トリミングエリアで距離情報の算出を行うためには、トリミングエリア内に印刷画像の画像データ（印刷画像データ）が含まれることが必要となる。トリミングエリアに対応する部分画像データから距離情報を取得する処理が行われるからである。これに対し、トリミングエリアの位置を頂点１６０１ｂに近い位置に設定した場合、印刷画像からスマートフォン１００を離して（引きで）撮像したときに、トリミングエリア内に印刷画像データが含まれず、距離情報を取得できないことがある。また、トリミングの位置が撮像画像データの中央に近い位置にあると、４つのトリミングエリアの距離情報に差が生じにくくなり、有効な情報とはならない。すなわち、後述の撮像手段と印刷画像との相対的な傾きを求める処理は、各トリミングエリアの距離情報の差を用いて行うため、各エリアの距離情報に差が生じない場合にはそれらが有効な情報にはならない。このような理由から、本実施形態では、撮像画像データの中心と頂点の中央付近にトリミングエリアの中心を設定している。

ここで、距離情報を算出する処理を図１７のフローチャートに沿って説明する。図１７において、距離情報算出部１５０２は、まず、撮像画像データの中の複数のエリアから画像データを切り取るトリミング処理を行う（Ｓ１７０１）。本実施形態では、図１６の撮像画像データ１６０１に含まれる４つのエリア（Ａエリア～Ｄエリア）１６０２～１６０５をトリミングエリアとし、１番目（ｉ＝０）のトリミングエリア（例えばＡエリア）に対応する部分画像データの切り取りを行う。なお、ｉはトリミングを行う回数のカウント値を示し、Ｓ１７００では初期値として、ｉ＝０を設定している。

次に、Ｓ１７０２では、距離情報算出部１５０２は、Ｓ１７０１のトリミング処理によって取得した空間領域の部分画像データを、空間周波数領域の画像データに変換する。本実施形態では、この画像データの変換に、２次元の高速フーリエ変換（ＦＦＴ（fast Fourier transform））を使用する。ＦＦＴのアルゴリズムについては公知の技術を使用する。図１８（ａ）に、内部撮像デバイス１１２によって得られた撮像画像データの部分画像データを、空間周波数領域に変換して得られる空間周波数画像データ（ＦＦＴ画像データ）の例を示す。図１８（ａ）では、画像の中心を原点とし、横軸が水平方向（横方向）の空間周波数、縦軸が垂直方向（縦方向）の空間周波数をそれぞれ表しており、原点から遠ざかるにつれて高周波域となる。

次に、Ｓ１７０３では、距離情報取得部１５０２は、Ｓ１７０２で得られたＦＦＴ画像データを使用して、距離情報の算出を行う。図１６に示した、印刷画像を撮像することによって取得される撮像画像データには、印刷画像に埋め込んだ図１２の２種類のパターン（例えば、図１２（ａ）に示すパターンと図１２（ｂ）に示すパターン）が無数に含まれている。そのため、撮像画像データの一部をトリミングしたトリミング画像を空間周波数領域に変換すると、２つのパターンの波の方向と周波数に対応した部分にパワースペクトルのピークが発生する。ＦＦＴ画像では、１８０°回転対称の部分にも同様にパワースペクトルのピークが生じるため、空間周波数領域では４つの点でパワースペクトルのピークが発生する。図１８（ａ）では、４つの点でピークが生じていることがわかる。

図１８（ｂ）は、ＦＦＴ画像から距離を検出する例を示している。内部撮像デバイス１１２と印刷画像との間に、印刷平面に沿った２次元の傾き（回転）が生じていない場合、図１２のパターンに対応したピークは、図１８（ｂ）のライン１８０１と１８０２の上に発生する。ただし、ピークが発生する周波数は、撮像デバイスと印刷画像との間の距離によって変動する。例えば、距離が近い場合は低周波側にピークが発生し、距離が遠い場合は高周波側にピークが発生する。本実施形態において想定されている印刷解像度、撮像解像度、印刷物と撮像デバイスの距離によれば、図１２に示すパターンに相当する８ｐｘ×８ｐｘの画素群に相当する領域が撮像画像内で連続的に配列されることにより、周期性を有する。そのため、この領域の大きさが小さく、数が多いほど、高周波成分の強度が大きくなる。距離が遠い場合、上述の領域が小さく、また数が多くなるため、高周波側でピークが発生しやすくなる。従って、低周波側でピークが発生している場合には距離が近く、高周波側でピークが発生している場合には距離が遠いと判定することが可能である。

図１８（ｂ）では、中心付近の低周波領域を除き、低周波側からａ～ｆの６つのリング状の周波数エリアを設定している。ピークがこれらの周波数エリアの何れに含まれるかを判定することにより、撮像デバイスと印刷画像との距離Ｄを算出する。ピークが発生する周波数エリアの判定方法としては、例えば、次のような方法がある。まず、各周波数エリアに含まれる画素値の最大値を求める。次に、求めた最大の画素値の中で最も大きい値を示す画素値を含む周波数エリアをピークが存在する周波数エリアと判定する。このような判定方法以外に、各周波数エリアに含まれる画素の平均値を求め、最も平均値が大きい周波数エリアにピークが存在すると判定する方法をとることも可能である。

撮像デバイスと印刷画像との距離Ｄを算出する式としては、例えば以下の式１が挙げられる。

ここで、ｒはリング状の周波数エリアの半径である。半径としては、リング状の周波数エリアの外径と内径の中央の径を用いる。図１８（ｃ）のＲａｄｉｕｓは、各周波数エリアの半径ｒの値を示している。式１では、図１２の８ｐｘ×８ｐｘのパターンが、等倍の撮像によって２５６ｐｘ×２５６ｐｘの領域に含まれていた場合の距離を１として換算した相対的な距離が求められる。すなわち、図１２のパターンは、２５６ｐｘ×２５６ｐｘの領域の中に６４×√５／２cycleが含まれるため、半径ｒ（周波数に相当）をこの周波数で除算することにより、相対的な距離を求めることができる。図１８（ｃ）のＤｉｓｔａｎｃｅに、式１によって求めた各エリアの距離の値を示す。なお、図１８（ｃ）では、等倍撮像時の周波数エリアｃの距離（Ｄｉｓｔａｎｃｅ）を１として相対的な距離を算出した。しかし、周波数領域における半径ｒが、撮像デバイスと印刷物との距離に相当することがわかっているため、半径ｒをそのまま距離に相当する値として使用してもよい。また、リング状の周波数エリアの数を６としたが、周波数エリアの数は増減してもよい。

ここで、再び図１７のフローチャートに戻る。Ｓ１７０４において、距離情報算出部１５０２は、ＡエリアからＤエリアまでの全てのトリミングエリアの距離情報の算出が完了したか否かを判定する。ここで、算出が完了していないトリミングエリアが存在する場合には、Ｓ１７０５においてカウント値をインクリメントした後、別エリアの距離情報を算出するため、Ｓ１７０１から処理を実行する。Ｓ１７０４において全てのトリミングエリアに対する距離情報の算出が完了した（ｉ＝３）と判定すると、距離情報の算出処理を終了し、算出した距離情報をあおり補正部１５０３に送信する。

あおり補正部１５０３では、距離情報算出部１５０２で算出された距離情報に基づき、内部撮像デバイス１１２で取得された撮像画像データのあおりの状態を取得し、そのあおりの状態に応じて撮像画像データの補正を行う。すなわち、あおり補正部１５０３は、あおり状態を取得する第３取得手段としての機能及びあおり状態を補正する補正手段としての機能を果す。

ここで、あおりの状態について図１９を参照して説明する。図１９（ａ）は、あおりが発生していない状態で印刷画像を撮像したときの撮像画像を示している。実際には、印刷画像の全体が撮像されているとは限らず、一部のみが撮像されている場合もあるが、ここでは説明を簡略化するため、印刷画像の全体が撮像されているものとする。

撮像画像にあおりが発生すると、図１９の（ｂ）～（ｉ）のいずれかの状態に印刷画像の形状が変化する。しかし実際には、スマートフォン１００のディスプレイ１０６に表示される撮像画像から、あおりがどのような状態になっているかを判別することは困難な場合が多い。そこで、距離情報算出部１５０２で得られたＡエリア～Ｄエリアの距離情報に基づき、あおり補正部１５０３があおりの状態を推定する。本実施形態では、あおりの状態を仮想的な台形により表現する。

図２０は、仮想台形の形状を算出する様子を示す図である。図２０（ａ）の太線の矩形２００３は、内部撮像デバイス１１２で得られる１９２０×１０８０の画像サイズを表現している。これに対して、２００１，２００２，２００４～２００６に示す矩形は、矩形２００３を拡大・縮小させた画像サイズを表現している。矩形２００１～２００６は、図１８（ｂ）に示すリング状の周波数エリアａ～ｆにそれぞれ対応しており、図２０に示す中心Ｐ０から各矩形の頂点までの相対的な距離がそれぞれ図１８（ｃ）の距離（Ｄｉｓｔａｎｃｅ）に対応する。リング状の周波数エリアｃは、距離（Ｄｉｓｔａｎｃｅ）が１であるため、太線の矩形２００３と一致している。

ここで、トリミングエリア（Ａエリア、Ｂエリア、Ｃエリア、Ｄエリア）の距離情報の算出結果がそれぞれ０．８１８、０．８１８、１．２８６、１．２８６であった場合に行う補正処理を一例として説明する。この場合、図２０（ｂ）の網掛け部に示す形状の仮想台形２００７を推定する。そして、この仮想台形２００７の形状が太線の矩形２０００の形状になるように、印刷画像データの補正を行う。補正には、矩形画像の歪みを補正するために一般的に用いられる、台形補正（射影変換またはホモグラフィとも呼ぶ）を使用する。台形補正には、補正前の４つの点の座標値と、それらに対応する補正後の４つの点の座標値が必要である。そこで、この台形補正に必要な８点の座標値の導出方法について以下に説明する。

補正後の４つの点を、太線の矩形２００３の頂点とし、各頂点ＰＡ（Ｘ_A，Ｙ_A）、ＰＢ（Ｘ_B，Ｙ_B）、ＰＣ（Ｘ_C，Ｙ_C）、ＰＤ（Ｘ_D，Ｙ_D）の座標値を、ＰＡ（０，０）、ＰＢ（１０８０，０）、ＰＣ（０，１９２０）、ＰＤ（１０８０，１９２０）とする。なお、ここで用いる座標値は、矩形２００３で表される画像の頂点ＰＡを基準座標（原点）として説明する。

また、補正前の座標値の算出方法については、Ａエリアを例に説明する。補正前の座標値は、補正後の矩形２００３の中央座標（５４０，９６０）と頂点の座標値（Ｘ_A，Ｙ_A）をもとに補正前の頂点ＰＡ’のＸＹ座標値（Ｘ’_A，Ｙ’_A）を算出する。

補正後の頂点座標値（Ｘ_A，Ｙ_A）からの補正前の頂点Ａ’（Ｘ_A’，Ｙ_A’）のオフセット量（Ｏ_X，Ｏ_Y）は、中央座標と頂点座標値および距離Ｄを用いて、以下の式で表すことができる。
Ｏ_X＝（１－Ｄ）×（５４０－Ｘ_A）
Ｏ_Y＝（１－Ｄ）×（９６０－Ｙ_A）・・・（式２）

また、補正前の頂点Ａ’の座標値は、以下の式で表すことができる。
Ｘ_A’＝Ｘ_A＋Ｏ_X
＝０＋（１－０．８１８）×（５４０－０）＝９８．２８
Ｙ_A’＝Ｙ_A＋Ｏ_Y
＝０＋（１－０．８１８）×（９６０－０）＝１７４．７２・・・（式３）

上記計算式により算出された、エリアＡの補正前座標値は小数点以下を四捨五入し、（９８，１７５）となる。また、Ｂ、Ｃ、Ｄエリアの補正前座標についても、同様の計算式によって算出することができる。

そして、補正前の４点の座標値と補正後の４点の座標値とを使って、画像データの台形補正を行う。なお、図２０（ｂ）では、Ｃエリア、Ｄエリアの補正前の座標は矩形２００３で表される画像データの外側にある。そのため、台形補正時は矩形２００３よりも大きいサイズの画像を用意し、変換を行う必要がある。その場合の画像サイズは、図２０（ａ）の２００２のサイズとなる。矩形２００３の画像データの外側には、もともと画像がないため、例えばＲＧＢ＝（０，０，０）の黒画素で埋めておく必要がある。

台形補正によるあおり補正処理を施した画像データが得られると、補正後の画像データを付加情報取得部１５０４（図１５参照）に送る。

付加情報取得部１５０４では、あおり補正を行った後の画像データ（補正画像データ）から付加情報の取得を行う。付加情報の取得にはいくつかの段階がある。まず、付加情報が埋め込まれている位置の検出を行う。具体的には、画像データの空間周波数特性を解析することにより埋め込み位置の検出を行う。

本実施形態では、図１２（ａ）と（ｂ）または図１２（ｃ）と（ｄ）のような２種類のパターンを印刷画像に埋め込んでいる。埋め込み方法としては、例えば図１２（ａ）、（ｂ）に示すようにＲＧＢのＢ成分に３０の減算を行っている。これにより、図１２（ａ）のパターンおよび図１２（ｂ）のパターンは特定の２つの方向に大きなパワースペクトルを発生させる。これは、図１８（ａ）、（ｂ）を見ても明らかである。付加情報取得部１５０４は、図１２に示す８ｐｘ×８ｐｘの領域に発生するパワースペクトルを検出することにより、「０」と「１」のデータ抽出を行う。なお、検出の前処理として、エッジ検出やシャープネスをかけることにより、パワースペクトルの強調を行うことも可能である。

周波数解析によるデータの抽出では、撮像画像データからの解析エリアの正確な切り出しが必要となる。特に、スマートフォンによる撮像の場合、撮像距離が一定でないことから、距離を補正して、図１２の８ｘ８のパターンを正確に切り出す処理を行うことが必要となる。本実施形態では、距離情報算出部１５０２の結果を使用して、あおり補正部１５０３であおりの補正を行うと同時に、距離の補正を行っている。そのため、付加情報取得部１５０４における距離の補正は不要である。

次に、座標位置のずれを補正する処理が行われる。例えば、印刷画像内からの８ｐｘ×８ｐｘの領域の切り出しと、周波数解析と、を１ｐｘずつずらしながら縦横に繰り返し、横８ｐｘ×縦８ｐｘの計６４回の処理を繰り返して、最もスペクトルが強くなる箇所を切り出しの基準位置とする方法がある。

位置検出が完了すると、付加情報の抽出（分離）を行う。図１３の例で説明すると、付加情報の抽出は、まず特定のバイナリパターンから成る単位ブロック１３００のマーカ部１３０１を検出した後、マーカ部１３０１の位置を基準としてデータ部１３０２からのデータ読み出しを行う。読み出し時には、１つの単位ブロックでは一部分しか読み取りができない場合があるが、その場合は読み取りができなかった部分のデータを、他の単位ブロックのデータで補ってデータを完成させてもよい。すなわち、付加情報の抽出は、第１の単位ブロックで第１の部分のデータを抽出し、第１の単位ブロックとは別の第２の単位ブロックで、第１の部分以外の第２の部分のデータを抽出することによって行ってもよい。図１３の例では、データが完成すると、８００ビット分の「０」、「１」の数列が得られる。

付加情報の分離が完了した後は、付加情報として抽出した数値列に対して、データを解析し、埋め込んだ付加情報の形式に変換する処理を行う。例えば、予め埋め込む対象の付加情報を、テキスト文書データとして、文字コードを「シフトＪＩＳ」で数値化した値としておく。シフトＪＩＳの１バイトコード（半角文字）では、上位４ビットと下位４ビットの組み合わせで、数値及び文字に対応した変換を行うことができる。例えば、上位４ビットが「０１００」で、下位４ビットが「０００１」の場合、文字列として、「Ａ」と判定される。このように、変換マップを予め保持しておき、数値列を対応させることで、文字へと変換することができる。

付加情報として抽出した数値列は、図１のＲＡＭ１０４に一時的に保持しておき、２次記憶装置１０５に予め保持しておいた「シフトＪＩＳ」変換マップを参照できるようにしておく。

仮に、付加情報抽出部１７０２で抽出した付加情報の数値列が、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」とする。この場合、変換マップに対応させると以下のようになる。
・上位４ビット「０１１０」、下位４ビット「１０００」で、文字「ｈ」
・上位４ビット「０１１０」、下位４ビット「０１０１」で、文字「ｅ」
・上位４ビット「０１１０」、下位４ビット「１１００」で、文字「ｌ」
・上位４ビット「０１１０」、下位４ビット「１１００」で、文字「ｌ」
・上位４ビット「０１１０」、下位４ビット「１１１１」で、文字「ｏ」

従って、文字列の「ｈｅｌｌｏ」となる。抽出された文字列は、例えば図４の表示処理部４０１でディスプレイ１０６に表示される。また、抽出された文字列が、ＵＲＬである場合にはネットワークに接続し、ブラウザを利用してディスプレイ１０６に、ＵＲＬ先の画面を表示する。また、そのＵＲＬが動画サイトであった場合、ディスプレイ１０６で動画を表示して、不図示のスピーカで、音声を流すこともできる。以上により、付加情報の読み取り処理を終了する。

本実施形態では、撮像画像の複数エリアを周波数解析し、距離情報を取得した後、該距離情報を使用して撮像画像に生じているあおりの補正を実施し、補正した画像から付加情報の読み取りを行う。このため、印刷画像と撮像デバイスとの間で相対的なあおりが発生していても、正確に付加情報を読み取ることが可能になる。また、本実施形態によれば、視覚的に判別されにくい付加情報を用いてあおりの状態の取得や補正を行うことが可能であり、印刷画像の中にマーカなどの可視画像を印刷する必要がない。このため、印刷画像の品質や意匠性が損なわれることもなく、良好な画像情報を取得することが可能になる。

（第２実施形態）
次に、本発明の第２実施形態を説明する。なお、本実施形態においても図１ないし図８に示す構成を備えるものとする。上記の第１実施形態では、撮像画像データに発生している２次元の傾き（あおり）状態を取得し、そのあおり状態に基づいて、スマートフォン１００のあおり補正部１５０３が撮像画像データのあおり補正を行う例を示した。これに対し、第２実施形態では、情報処理装置であるスマートフォン１００では、あおりが発生した状態にある画像の補正を行わず、スマートフォン１００を操作しているユーザに対してディスプレイ１０６によってあおりの発生状態を通知させる通知制御を行う。すなわち、本実施形態においても、第１実施形態と同様に、撮像画像の複数エリアを周波数解析して距離情報を取得し、その距離情報を使用してあおり状態を取得するが、あおり状態に基づく撮像画像データの補正は行わない。本実施形態では、あおりの発生状態をディスプレイ１０６に表示することで、ユーザに対し、スマートフォンの撮像時の姿勢の変更及び調整を促す。

図２１に、印刷画像の読み取りにおいてあおり発生時に行われる通知例を示す。図２１（ａ）は、読み取りを開始する際にスマートフォン１００のディスプレイ１０６に表示される表示画面の例を示している。この場合、スマートフォン１００のディスプレイ１０６には、読み取りガイド２１０１と、ユーザ向けメッセージ２１０２が表示されている。

図２１（ｂ）は、印刷画像の読み取り動作中に表示される表示画面の例を示している。図示の例では、撮像画像の読み取り動作が進行されている状況を、文字によるメッセージ２１０４とインジケータ２１０５とによりユーザへの通知を行っている。

図２１（ｃ）は、撮像画像にあおりが発生したときに行われるユーザへの通知例である。ここでは、「あおりが発生しています。正しい姿勢で読み取ってください。」というメッセージ２１０７とともに、あおり状態を表す説明図２１０８が表示されている。このディスプレイ１０６によって、あおりの発生の通知を受けたユーザは、スマートフォン１００の姿勢を変え、印刷画像と正対した状態で読み取ることで、正しくデータを読み取ることが可能となる。なお、ユーザの端末が現在どのような状態になっているのか、イメージを掴んでもらうためにも、あおり状態に応じて、ユーザに通知する図を変化させるようにすることが望ましい。

また、あおりの発生状態を示す表示方法として、図２１（ｄ）、（ｅ）に示すような、あおり通知用の指標２１１０を表示画面に配置し、指標２１１０の表示状態によってユーザにあおりの状態を通知する形態をとってもよい。図２１（ｄ），（ｅ）の例では、スマートフォン１００のディスプレイ１０６の角部近傍の４箇所にスマートフォン１００の姿勢の状態を示す指標２１１０が設けられている。そして、この４箇所に設けられた指標２１１０の表示を、それぞれの箇所と撮像画像との距離に応じて変化させる。これによりスマートフォン１００の姿勢を正すために、スマートフォン１００の各箇所をどのような位置に移動させればよいかをユーザに示すことができる。図２１（ｄ）に示す例では、スマートフォン１００の上側を印刷画像に近づけ、下側を印刷画像から遠ざける方向に動かすことでスマートフォン１００の姿勢を正しい姿勢に近づけることができる。同様に、図２１（ｅ）の例では、スマートフォンの右上を近づけ、左下を遠ざけることにより、スマートフォンの姿勢を正しい姿勢に近づけることが可能になる。

なお、図２１では、あおりの発生状態をディスプレイに表示させる例を示したが、あおりの発生状態を音声メッセージによって通知するようにすることも可能である。

以上のように、本実施形態では、撮像画像の複数エリアを周波数解析し、撮像画像と内部撮像デバイス１１２との距離を示す距離情報を算出した後、その距離情報を使用してあおり状態を取得し、取得したあおりの状態をユーザに通知することができる。このため、印刷画像と撮像デバイスとの間で相対的なあおりが発生した場合にも、ユーザは通知内容に基づいてスマートフォン１００を正しい姿勢に変更することが可能となり、付加情報を適正に読み取ることが可能になる。また、本実施形態では、あおりの状態を補正する補正処理が不要となり、第１実施形態に比し、処理を簡略化することが可能になる。

（第３実施形態）
次に、本発明の第３実施形態を説明する。上記第１実施形態では、スマートフォン１００と印刷画像との間で発生する３次元の傾き（あおり）を補正する例を説明した。しかし、スマートフォン１００と印刷画像との間には、画像が形成されている印刷平面に沿った２次元の傾き（回転）が発生する場合もある。スマートフォン１００と印刷画像との間で２次元の傾き（回転）が生じていた場合、図１８（ａ），（ｂ）に示すパワースペクトルのピークの位置に回転が生じる。すなわち、図１８（ｂ）に示すライン１８０１と１８０２に回転が生じる。この場合、第１実施形態と同様に、リング状の周波数エリアを使用して距離の検出を行い、あおり補正を実施することは可能である。しかし、付加情報取得部１５０４での付加情報の取得に失敗する可能性がある。

付加情報の取得を正しく行うためには、上記回転の角度を算出し、ピーク位置が図１８のライン上に乗るように撮像画像を回転補正する必要がある。以下、撮像画像の回転補正の方法について、具体的に説明する。

図２２は、回転情報の算出例を示す図である。ここでは、図１８（ｂ）の空間周波数領域において、リング状の周波数エリアｃでパワースペクトルのピークが検出された場合を考える。この場合、リング状の周波数エリア２２０３を所定の角度毎に分割した角度領域を設定する。図２２に示す例では、１０°毎に９つの角度領域φａ～φｉに分解し、それぞれの角度領域でラベル付けを行う。すなわち、２次元の傾き（回転）が生じていない場合、周波数エリア２２０３におけるパワースペクトルの４つのピークは、角度領域φａに現れる。ここで、角度領域φａの方向にあるライン２２０１、２２０２は、それぞれ、図１８のライン１８０１と１８０２とに対応する。

これに対し、撮像された画像データ内の印刷画像が左（反時計回り）に１０°傾いていた場合、パワースペクトルのピークは角度領域φｂに現れる。同様に、印刷画像が右（時計回り）に３０°傾いていた場合、パワースペクトルのピークは角度領域φｇに現れる。このようなパワースペクトルのピークの位置を検出することにより、二次元の傾き（回転）を検出する。そして、検出した傾きを補正するように、撮像画像の回転を行う。例えば、角度領域φｂにピークが現れていた場合、左に１０°傾いているため、画像を右に１０°回転させることになる。

なお、本実施形態では、図１６に示す４つのトリミングエリアで周波数解析を行っている。このため、回転の検出を全てのエリアで行う場合、読み取り時にあおりや読み取り精度によって、エリア毎に異なる回転情報が検出結果として得られる可能性がある。その場合は、トリミングエリア毎に得られる回転情報の平均値を使用してもよい。また、回転の検出に限っては１つのトリミングエリアから取得された回転角度のみを用いて補正を行うようにしてもよい。

また、本実施形態では、距離情報の算出後に、その距離に相当するリング状の周波数エリアに対象を絞って回転情報の算出を行っている。このため、リング状の周波数エリア外に強いパワースペクトルが生じていた場合にも、その周波数エリア外の情報に影響されて回転情報が誤検出されることを軽減することができる。

以上の方法によれば、０°～９０°までの傾き（回転）を補正することが可能になる。しかし、この方法では、３６０°のうち、全ての方向の回転を補正することはできない。これは、図１２に示すパターンが、９０°周期で空間周波数領域にピークを生じさせるためである。３６０°の全ての回転に対応するためには、付加情報取得部１５０４において付加情報を取得する際に、撮像画像の回転をさらに補正することが必要になる。すなわち、上記のような傾き補正を行った後の画像データが正しい向きに補正されていない場合、付加情報取得時に行う付加情報の抽出処理（分離処理）において、図１３のマーカ部１３０１の検出に失敗することとなる。これは、マーカ部１３０１検出時に特定のバイナリパターンを検出できないことにより生じる。そのため、例えば、付加情報取得時に上記のような傾き補正を行った後の画像データを、さらに０°、９０°、１８０°、２７０°の４つの回転角で回転させ、特定のバイナリパターンの検出ができた場合の回転角を採用する。これによれば、以降の付加情報読み取りを正しく行うことができる。

なお、撮像画像に対して０°～９０°までの傾き（回転）の補正を行った後、その撮像画像を、９０°毎に前述の４つの回転角でさらに回転させる理由は、図１２のパターンが９０°周期で空間周波数領域にピークを生じさせるからである。従って、例えば、図１２（ｂ）に示すパターンが、周波数は変わらずパターンの波の方向が、図１８のＦＦＴ変換された撮像画像データにおいて４５°となるようなパターンであったとする。この場合、そのパターンのピーク位置１８０２は、４５°の位置に変化する。そして、空間周波数領域における４点のピークの位置は、９０°周期ではなく、１８０°周期で一致することになる。従って、回転情報の算出時には０～１８０°の傾き（回転）を補正し、付加情報取得時には上記傾き補正後の画像データを０°、１８０°の２つの回転角で回転させるようにする。

以上のように本実施形態では、撮像画像の複数エリアを周波数解析し、距離の情報および傾き（回転）の情報を取得し、該距離情報および回転情報を使用してあおり補正を実施し、付加情報の読み取り時にさらに回転処理を行う。このため、印刷画像と撮像デバイスとの間で相対的なあおり及び回転（傾き）が発生していても、付加情報を適正に読み取ることができる。

（その他の実施形態）
以上の実施形態では、印刷画像の全面の各単位ブロックに、同じ付加情報が繰り返し埋め込まれる例を示した。しかし、本発明はこれに限定されるものではない。各単位ブロックには、それぞれ別個の情報が埋め込まれてもよい。あるいは、単位ブロックを複数のグループに分類してもよい。この場合、第１のグループの単位ブロックには、第１の付加情報が埋め込まれており、第２のグループの単位ブロックには、第１の付加情報とは異なる第２の付加情報が埋め込まれても良い。また、第１のグループおよび第２のグループは、印刷画像の中において所定の領域に偏って配置されてもよい。あるいは、第１のグループと第２のグループは、分散して配置されてもよい。さらに、このようなグループは、３つ以上あってもよい。

また、前述した実施形態では、付加情報を埋め込む単位ブロックを矩形のブロックとしたが、ブロックの形状は矩形に限定されるものではない。矩形以外の任意の形状の単位ブロックを用いて付加情報を埋め込んでもよい。

また、付加情報が可変長の情報であり、付加情報が埋め込まれている領域の情報が、単位ブロックのデータ部の所定の場所（例えば、最初の部分）に埋め込まれていてもよい。例えば、８００ビットの場合、冒頭の一部のビット（例えば８０ビット）が、その単位ブロック内に付加情報が埋め込まれている範囲を示すものでもよい。

また、付加情報の埋め込み方のルールをアプリケーション４００が予め複数規定しておき、付加情報の例えば冒頭のヘッダ部分にルールを識別する情報を埋め込んでおき、識別されたルールに従って、付加情報の抽出が行われるようにしてもよい。

前述した実施形態では、画像処理装置１００とプリンタ１１４とがネットワークで接続されており、画像処理装置１００が生成した印刷データがプリンタ１１４で印刷される例を示したが、これに限定されない。プリンタ１１４がアプリケーション４００を備えてもよく、プリンタ１１４が、自身が生成した印刷データに基づいて付加情報が埋め込まれた印刷物を出力する形態でもよい。つまり、プリンタ１１４がアプリケーション４００の機能の一部を兼ね備えてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
１１２ 内部撮像デバイス（撮像手段）
１５０１ 画像取得部（第１取得手段）
１５０２ 距離情報算出部（第２取得手段）
１５０３ あおり補正部（第３取得手段、補正手段）
１５０４ 付加情報取得部（抽出手段）

Claims (15)

1. 所定の周波数特性を有するパターンを複数埋め込むことによって付加情報が埋め込まれた画像を撮像手段で撮像した撮像画像を取得する第１の取得手段と、
   前記撮像画像のうち互いに異なる位置の複数の部分画像のそれぞれを空間周波数領域の画像に変換する変換手段と、
   前記複数の部分画像のそれぞれに対応する複数の前記空間周波数領域の画像を利用して、前記複数の部分画像のそれぞれに対応する前記画像の位置と前記撮像手段との距離を示す相対距離情報を取得する第２の取得手段と、
   前記第２の取得手段で取得された、前記複数の部分画像のそれぞれに対応する複数の相対距離情報を用いて前記撮像画像のあおり補正を行う補正手段と、
   前記撮像画像を前記補正手段で補正した補正画像から、前記付加情報を抽出する抽出手段と
   を有することを特徴とする情報処理装置。
2. 前記複数の部分画像の中心はそれぞれ、前記撮像画像のうち中心からの距離が等しいことを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の部分画像の中心はそれぞれ、前記撮像画像の中心と頂点との中央に位置することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記複数の部分画像の中心はそれぞれ、前記撮像画像の中心と頂点を結ぶ直線上に位置することを特徴とする請求項１乃至３のいずれか1項に記載の情報処理装置。
5. 前記複数の部分画像は、４つの部分画像であることを特徴とする請求項１乃至４のいずれか1項に記載の情報処理装置。
6. 前記第２の取得手段は、前記空間周波数領域の画像に生じるパワースペクトルのピークの位置に対応する値を当該空間周波数領域の画像に対応する部分画像についての前記相対距離情報として取得することを特徴とする請求項１乃至５のいずれか1項に記載の情報処理装置。
7. 前記第２の取得手段は、前記空間周波数領域の画像に生じるパワースペクトルのピークの位置の、当該空間周波数領域の画像の中心からの距離に対応する値を当該空間周波数領域の画像に対応する部分画像についての前記相対距離情報として取得することを特徴とする請求項１乃至６のいずれか1項に記載の情報処理装置。
8. 前記第２の取得手段は、前記空間周波数領域の画像の中心からの距離が異なるリング状の複数のエリアのうち、当該空間周波数領域の画像に生じるパワースペクトルのピークの位置がどのエリアに存在するかを特定し、特定されたエリアに対応する値を当該空間周波数領域の画像に対応する部分画像についての前記相対距離情報として取得することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記複数の空間周波数領域の画像はそれぞれ、当該空間周波数領域の画像の中心から遠ざかるにつれて高周波域となる画像であることを特徴とする請求項１乃至８のいずれか1項に記載の情報処理装置。
10. 前記複数の空間周波数領域の画像のそれぞれにおいて、当該空間周波数領域の画像の中心を原点として、第１の軸が水平方向の空間周波数を、前記第１の軸と垂直な第２の軸が垂直方向の空間周波数を表していることを特徴とする請求項１乃至９のいずれか1項に記載の情報処理装置。
11. 前記変換は２次元の高速フーリエ変換であることを特徴とする請求項１乃至１０のいずれか1項に記載の情報処理装置。
12. 前記補正手段は、前記複数の相対距離情報のそれぞれを用いて補正前の頂点座標値を補正後の頂点座標値に補正するためのオフセット値を求め、当該オフセット値を用いて台形補正することにより前記あおり補正を行うことを特徴とする請求項１乃至１１のいずれか1項に記載の情報処理装置。
13. 所定の周波数特性を有するパターンを複数埋め込むことによって付加情報が埋め込まれた画像を撮像手段で撮像した撮像画像を取得する第１の取得工程と、
    前記撮像画像のうち互いに異なる位置の複数の部分画像のそれぞれを空間周波数領域の画像に変換する変換工程と、
    前記複数の部分画像のそれぞれに対応する複数の前記空間周波数領域の画像を利用して、前記複数の部分画像のそれぞれに対応する前記画像の位置と前記撮像手段との距離を示す相対距離情報を取得する第２の取得工程と、
    前記第２の取得工程で取得された、前記複数の部分画像のそれぞれに対応する複数の相対距離情報を用いて前記撮像画像のあおり補正を行う補正工程と、
    前記撮像画像を前記補正工程で補正した補正画像から、前記付加情報を抽出する抽出工程と、
    を備えることを特徴とする情報処理装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images