JP6397284B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像を合成する技術に関するものである。

従来より、印刷物に、音声情報等の大容量の付加情報を視覚的に判別しづらいように多重化する技術が開示されている（特許文献１）。近年では、携帯端末を移動しながら近距離で、印刷物を複数回撮影し、それによって得られる複数枚の撮影画像を合成した後、その合成画像を解析することにより、印刷物に多重化されている大容量の付加情報を取得することが可能になりつつある。

このように複数の画像を合成する画像合成技術としては、例えば、パノラマ撮影時に複数枚の撮影画像を合成する技術が提案されている（特許文献２）。

特開２００３−１７４５５６号公報 特開平９−３２２０５９号公報

しかしながら、従来の画像合成技術では、印刷物をカメラで撮影する場合、印刷物に光源等の他の物体が写り込むことによる撮影画像の劣化現象をまったく考慮していない。

カメラ等の非接触デバイスの撮影の場合、撮影対象は主に景色や人物等であり、印刷物を対象とすることは少ない。もし印刷物を対象としたとしても、印刷物の写り込みを考慮した連続性評価は行っていない。また、スキャナ等の接触デバイスで複数の印刷物を撮像し、それらの複数の撮像画像の連続性評価を行う場合がある。しかし、接触デバイスでの撮像では、写り込み現象が発生しないため、写り込みを考慮した連続性評価は行っていない。即ち、画像の連続性評価技術にとって、印刷物の写り込みという現象はまったく新しい課題である。

即ち、印刷物を複数枚撮影し、それによって得られる複数枚の画像を合成する場合、写り込みの影響により画像合成の精度の低下または画像合成ができなくなる場合がある。

つまり、印刷物をカメラで撮影する場合、光源等の写り込みにより印刷物の内容そのものを識別できなくなり、撮影画像は大きく劣化する。特に、写真やアルバム等の高画質プリントは光沢度の高い用紙が多く利用されているため、光沢度が高く見栄えが良い半面、写り込みによる撮影画像の劣化も大きい。

画像合成技術において、重要なことは、複数の画像間で同一／類似の被写体が重複して存在する重複領域を検出する処理である。これは言い換えると、２つの画像の中から類似の特徴量を探索する処理である。ここで、画像の特徴量は、例えば、画像のエッジ情報を利用することで検出する方法がある。

図２３（ａ）は重複領域が存在する２枚の画像である。２枚の画像には同一の「人物Ａ」が存在するので、その「人物Ａ」により類似の特徴量を抽出することができる。

図２３（ｂ）は重複領域が存在する２枚の画像の内、１枚の重複領域の「人物Ａ」の部分に他の物体の写り込みが発生している状況を示している。本来、「人物Ａ」の部分はエッジが存在する領域であり、特徴量が抽出されるが、写り込みにより「人物Ａ」を認識しにくくなり、特徴量を正しく抽出することができない。つまり、従来の手法を用いると、合成対象の画像群の少なくとも１つに含まれる写り込みが原因で、各画像の重複領域から類似の特徴量を抽出できず、画像合成の精度を下げる原因となる。更に、図２３（ｂ）では、共通の写り込みが発生しているため、もし写り込み部分を重複領域として捉えて合成が実行された場合、ユーザの意図しない合成処理が行われることになる。

従って、印刷物への他の物体の写り込みは撮影画像の劣化の原因であり、写り込みを考慮しない従来の画像合成技術では、画像合成の精度の低下または画像合成ができなくなる場合がある。また、画像を合成できないことにより、印刷物から大容量の付加情報を取得することができないことにもつながる。

本発明は上記の課題を解決するためになされたものであり、複数の画像を精度良く合成することができる技術を提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、印刷物に埋め込まれた付加情報を抽出する画像処理装置であって、
付加情報が埋め込まれた印刷物を複数回に分けて撮影することによって得られる複数の画像を入力する入力手段と、
前記入力手段で入力した複数の画像それぞれに関する特徴情報を抽出する手段と、
前記画像における不良領域を評価する評価手段と、
前記特徴情報に基づいて前記複数の画像の重複領域を特定する特定手段と、
前記評価手段による評価結果と前記特定手段による特定結果に基づいて、前記印刷物に埋め込まれた付加情報を抽出する抽出手段と
を備え、
前記評価手段は、評価対象の領域の輝度と前記画像における前記評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する。

本発明によれば、複数の画像を精度良く合成することができる技術を提供することができる。

画像処理システムの構成を示すブロック図である。 多重化装置のハードウェア構成を示すブロック図である。 誤差拡散処理部の詳細構成を示すブロック図である。 多重化装置が実行する処理を示すフローチャートである。 多重化領域の一例を示す図である。 量子化条件の閾値の一例を示す図である。 分離装置のハードウェア構成をブロック図である。 撮影画像の一例を示す図である。 分離装置の空間フィルタを示す図である。 多重化領域の周波数変換を説明するための図である。 分離装置が実行する処理を示すフローチャートである。 画素の間引き方法を説明するための図である。 連続撮影による印刷物の付加情報の取得を説明するための図である。 カメラ付携帯端末が実行する処理を示すフローチャートである。 画像合成の詳細を示すフローチャートである。 画像合成の具体例を説明するための図である。 ２つのカメラを有する携帯端末の一例を示す図である。 画像合成の失敗例を説明するための図である。 画像合成の詳細を示すフローチャートである。 画像合成の具体例を説明するための図である。 画像合成の詳細を示すフローチャートである。 画像合成の具体例を説明するための図である。 画像の重複領域の算出を説明するための図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

尚、以下の実施形態における画像処理装置は、付加情報を印刷物に埋め込む多重化装置、その付加情報を印刷物から読み取る分離装置がある。多重化装置は、コンピュータ内のプリンタドライバやアプリケーションソフトウエアとして実現することができるが、複写機、ファクシミリ、プリンタ本体等の画像形成装置に、ハードウェア及びソフトウエアとして実現することもできる。分離装置として、カメラ付携帯端末、カメラ付スマートフォンやタブレットＰＣ等の撮影装置を備える機器が挙げられる。もしくは、分離装置は、デジタルスチルカメラで撮影した画像をコンピュータ内のアプリケーションソフトウエアで付加情報を分離する一連の装置でもよい。コンピュータは、デスクトップ型のデバイスに留まらず、ノートＰＣ、スマートフォン、タブレットＰＣ等のソフトウエアが動作可能なデバイスであれば、どのようなものでも良い。

＜＜実施形態１＞＞
図１は画像処理システムの構成を示すブロック図である。

１００及び１０１はともに入力端子であり、入力端子１００からは多階調の画像情報が、入力端子１０１からは画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報は、入力端子１００にて入力される画像情報とは別の情報である。この付加情報には、例えば、音声情報や動画情報、テキスト文書情報、入力端子１００にて入力される画像に関する著作権、撮影日時、撮影場所、撮影者等の諸情報、また、全く別の画像情報等、様々な応用が考えられる。

１０２は多重化装置であり、視覚的に判別しづらいように、画像情報中に付加情報を埋め込む（多重化する）装置である。この多重化装置１０２は、付加情報の多重化（重畳）とともに、入力した多階調の画像情報の量子化も行う。

１０３はプリンタであり、多重化装置１０２で作成した情報をプリンタエンジンにて出力する。プリンタ１０３は、インクジェットプリンタ、レーザープリンタ等、疑似階調処理を用いることにより階調表現を実現するプリンタを想定する。

プリンタ１０３によって生成された印刷物上の情報は、カメラ付携帯端末１０４の撮像センサ１０５を用いて読み取られる。そして、カメラ付携帯端末１０４の分離装置１０６が、印刷物中に埋め込まれた付加情報を分離し、出力端子１０７に出力する。この出力端子１０７は、取得した付加情報を出力するインタフェースであり、例えば、音声情報であればカメラ付携帯端末１０４のスピーカ１０８への出力、画像情報であればディスプレイ１０９への出力となる。また、出力端子１０７は、外部デバイスへデータを出力するインタフェースでも構わない。

尚、カメラ付携帯端末１０４に、第２撮像センサ１１１を含む複数の撮像センサが搭載されている場合、印刷物の撮影は、この第２撮像センサ１１１を用いても良い。また、図１では、分離装置１０６が、カメラ付携帯端末１０４に内蔵される構成としているが、カメラ付携帯端末１０４とは別装置として実現されていても良い。

図２は図１の多重化装置１０２のハードウェア構成を示すブロック図である。

２００は誤差拡散処理部であり、入力端子１００より入力された画像情報を誤差拡散法による疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。

２０１はブロック化部であり、入力された画像情報を所定領域単位（例えば、ブロック単位）に区分するブロック化を行う。このブロック化部２０１により行われるブロック化は矩形でも良いし、矩形以外の領域に区分しても良い。また、矩形の大きさが画像内で変更しても構わない。

２０２は量子化条件制御部であり、ブロック化部２０１にてブロック化した所定領域単位で量子化条件を変更、制御する。量子化条件制御部２０２は、入力端子１０１より入力された付加情報に基づき、ブロック単位で量子化条件を制御する。

２１０は、ＣＰＵ２１１、ＲＯＭ２１２、及びＲＡＭ２１３を有する制御部である。ＣＰＵ２１１は、ＲＯＭ２１２に保持された制御プログラムに従って、多重化装置１０２の各種構成要素の動作及び処理を制御する。ＲＡＭ２１３は、ＣＰＵ２１１の作業領域として使用される。

図３は誤差拡散処理部２００の詳細構成を示すブロック図である。尚、一般的な誤差拡散処理は、例えば、文献R.Floyd＆L.Steinberg: "An Adaptive Algorithm for SpatialGrayscale", SID Symposium Digest of Paper pp.36〜37 (1975)に、その詳細が記載されている。ここでは、量子化値が２値である誤差拡散処理を例に挙げて説明する。

３００は加算器であり、入力された画像情報の注目画素値と既に２値化された周辺画素の分配された量子化誤差を加算する。量子化条件制御部２０２からの量子化閾値と誤差の加算された加算結果とを比較部３０１にて比較し、加算結果が所定閾値よりも大きい場合には「１」を、それ以外では「０」を出力する。例えば、８ビットの精度で画素の階調を表現する場合には、最大値である「２５５」と最小値である「０」で表現するのが一般的である。ここでは、量子化値が「１」の時に、記録媒体上にドット（インク、トナー等）が印刷されるとする。３０２は減算器であり、量子化結果と加算器３００による加算結果との誤差を算出し、誤差配分演算部３０３に基づいて、今後の量子化処理が施される周辺画素に誤差を配分する。

誤差の配分割合は、注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル３０４を予め保持しておき、配分テーブル３０４に設定されている配分割合に基づいて誤差を分配する。図３の配分テーブル３０４は、周囲４画素分の配分テーブルを示しているが、これに限定されるものではない。

次に、量子化条件制御部２０２を含む全体の基本動作手順について、図４のフローチャートを用いて説明する。ここでは、量子化値は、２値である例について説明する。尚、図４に示す処理は、多重化装置１０２のＣＰＵ２１１が、ＲＯＭ２１２に記憶されている制御プログラムを実行することにより実現される。

Ｓ４０１で、多重化装置１０２は、変数ｉを初期化する（ｉ＝０）。変数ｉは、処理対象の画像の垂直（縦）方向のアドレスをカウントする変数である。Ｓ４０２で、多重化装置１０２は、変数ｊを初期化する（ｊ＝０）。変数ｊは、処理対象の画像の水平（横）方向のアドレスをカウントする変数である。Ｓ４０３で、多重化装置１０２は、（ｉ、ｊ）のアドレス値による判定を実行する。具体的には、現在の処理アドレスである（ｉ、ｊ）の座標（処理対象となる注目画素）が多重化処理を実行すべき領域（多重化領域）内であるか否かを判定する。

多重化領域について図５を用いて説明する。図５は、水平画素数がＷＩＤＴＨ、垂直画素数がＨＥＩＧＨＴからなる、ひとつの画像を示している。いま、この画像中に付加情報を多重化すると仮定する。画像の左上を原点とし、横Ｎ画素、縦Ｍ画素のＮ×Ｍ画素単位でブロック化する。ここでは、原点（画像の左上角）を基準点としてブロック化を行うが、原点から離れた点を基準点として設定しても良い。この画像中に最大限の情報を多重化する場合に、Ｎ×Ｍのブロックを基準点から配置していく。即ち、水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、以下の関係になる。

Ｗ ＝ ＩＮＴ（ＷＩＤＴＨ／Ｎ） （１）
Ｈ ＝ ＩＮＴ（ＨＥＩＧＨＴ／Ｍ） （２）
但し、ＩＮＴ（ ）は（ ）内の整数部分を示す。

（１）式、（２）式において割り切れない剰余画素数が、Ｎ×Ｍのブロックを複数配置した時の端部に相当し、その端部は多重化領域外となる。

Ｓ４０３で、注目画素が多重化領域内でない場合（Ｓ４０３でＮＯ）、Ｓ４０４で、多重化装置１０２は、量子化条件Ｃを設定する。一方、注目画素が多重化領域内である場合（Ｓ４０４でＹＥＳ）、Ｓ４０５で、多重化装置１０２は、多重化すべき付加情報を読み込む。ここでは、説明を容易にするために、付加情報をｃｏｄｅ［ ］という配列を用いて、各１ビットずつ表現するものとする。例えば、付加情報を４８ビット分の情報と仮定すると、配列ｃｏｄｅ［ ］はｃｏｄｅ［０］からｃｏｄｅ［４７］まで、各１ビットずつが格納されていることになる。

尚、Ｓ４０５において、変数ｂｉｔは、以下のように、配列ｃｏｄｅ［ ］内の情報を代入することで、付加情報を読み込む。

ｂｉｔ＝ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］ （３）
Ｓ４０６で、多重化装置１０２は、代入した変数ｂｉｔが「１」（ｂｉｔ＝１）であるか否かを判定する。配列ｃｏｄｅ［ ］内の情報は各１ビットずつ格納されているため、変数ｂｉｔの値も「０」あるいは「１」の何れかを示すことになる。変数ビットｂｉｔが「０」である場合（Ｓ４０６でＮＯ）、Ｓ４０７で、多重化装置１０２は、量子化条件Ａを設定する。一方、変数ビットｂｉｔが「１」である場合（Ｓ４０６でＹＥＳ）、Ｓ４０８で、多重化装置１０２は、量子化条件Ｂを設定する。

Ｓ４０９で、多重化装置１０２は、設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、図３で説明した誤差拡散法に相当する。Ｓ４１０で、多重化装置１０２は、水平方向変数ｊをカウントアップする（１インクリメントする）。Ｓ４１１で、多重化装置１０２は、処理画素数である水平方向変数ｊが画像の水平画素数であるＷＩＤＴＨ未満（ｊ＜ＷＩＤＴＨ）であるか否かを判定する。処理画素数がＷＩＤＴＨ未満である場合（Ｓ４１１でＹＥＳ）、Ｓ４０３に戻り、以降、処理画素数がＷＩＤＴＨ以上になるまで、Ｓ４０３〜Ｓ４１０の処理を繰り返す。

一方、処理画素数がＷＩＤＴＨ以上である場合（Ｓ４１１でＮＯ）、Ｓ４１２で、多重化装置１０２は、垂直方向変数ｉをカウントアップする（１インクリメントする）。Ｓ４１３で、多重化装置１０２は、処理画素数である垂直方向変数ｉが画像の垂直画素数であるＨＥＩＧＨＴ未満であるか否かを判定する。処理画素数がＨＥＩＧＨＴ未満である場合（Ｓ４１３でＹＥＳ）、Ｓ４０２に戻り、以降、処理画素数がＨＥＩＧＨＴ以上になるまで、Ｓ４０２〜Ｓ４１２の処理を繰り返す。そして、処理画素数がＨＥＩＧＨＴ以上である場合（Ｓ４１３でＮＯ）、処理を終了する。

以上の動作手順により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更することが可能になる。

量子化条件Ａ、Ｂ、及びＣの例について説明する。誤差拡散法における量子化条件は様々な因子があるが、ここででは、量子化条件は量子化閾値であるとする。量子化条件Ｃの使用は、多重化領域外であるために、量子化閾値は何でも良い。上述のように、１画素が８ビットによる階調表現で、量子化レベルが２値の場合には、最大値である「２５５」、及び、最小値である「０」が量子化代表値となるが、その中間値となる「１２８」を量子化閾値として設定することが多い。即ち、量子化条件Ｃでは、量子化閾値を「１２８」に固定とする条件にする。

量子化条件Ａ及び量子化条件Ｂの使用は、多重化領域内のブロック（多重化ブロック）であるため、量子化条件の違いによる画質の違いを生じさせなければならない。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、印刷物上から容易に識別できなくてはならない。

図６（ａ）及び図６（ｂ）は、量子化条件Ａ及び量子化条件Ｂの一例である。図６（ａ）は、量子化条件Ａにおける量子化閾値の変化の周期を示している。図中、ひとつのマスを１画素分と想定し、白マスは固定閾値を設定し、網掛けマスは変動閾値を設定する。即ち、図６（ａ）の例では、横８画素、縦４画素のマトリクスを組み、網掛けマスの閾値のみ突出した値を閾値として設定する。

図６（ｂ）は、量子化条件Ｂにおける量子化閾値の変化の周期を示している。図６（ｂ）の例では、図６（ａ）とは異なり、横４画素、縦８画素のマトリクスを組み、網掛けマスの閾値のみ突出した値を閾値として設定する。

ここで、１画素が８ビットの階調値の場合に、一例として、固定閾値として「１２８」、突出した閾値として「１０」を設定する。量子化閾値が低くなると、注目画素の量子化値が「１」（量子化代表値「２５５」）になりやすくなる。即ち、図６（ａ）及び図６（ｂ）ともに、図中の網掛けマスの並びで量子化値「１」が並びやすくなる。換言すれば、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の網掛けマスの並びでドットが発生するブロックと、図６（ｂ）の網掛けマスの並びでドットが発生するブロックとが混在することになる。

誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右する。しかし、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるため、ドットの並びが多少変化したり、テクスチャの発生が変化したり等、階調表現の画質にはほとんど影響を与えないことになる。それは、量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散されるため、入力された信号値はマクロ的に保存される。即ち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては冗長性が非常に大きいことになる。

ところで、上記の説明では、誤差拡散法の量子化閾値に符号を表す所定の周期性を重畳することにより多重化を実現しているが、以下の方式も考えられる。

・直接ＲＧＢの輝度情報に周期性を重畳する方式
・ＲＧＢの輝度情報を輝度‐色差情報（例えば、Ｙ，Ｃｒ，Ｃｂ信号）に分離して周期性を多重化する方式
・ＲＧＢの輝度情報をインク色（例えば、ＣＭＹＫ信号）に分離して周期性を多重化する方式
＜分離装置＞
次に、図１の画像処理システムにおける分離装置１０６について説明する。

図７は図１の分離装置１０６のハードウェア構成を示すブロック図である。説明を容易にするために、多重化装置１０２の例と同様、分割したブロック内に各１ビットずつの付加情報が多重化されている印刷物から、付加情報を分離する例について説明する。この場合、多重化装置１０２における１ブロックあたりの付加情報量と、分離装置１０６における１ブロックあたりの分離情報量は等しくなる。

７００は入力端子であり、カメラ付携帯端末１０４の撮像センサ１０５で読み込まれた画像情報を入力する。使用する撮像センサ１０５の解像度は、印刷物を作成するプリンタ１０３の解像度と同等以上とすることができる。尚、正確に印刷物のドットの点在情報を読み込むためには、サンプリング定理により、撮像センサ１０５はプリンタ１０３よりも２倍以上の解像度が必要になる。しかし、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能である。ここでは、説明を容易にするために、プリンタ１０３の解像度と撮像センサ１０５の解像度が同一解像度であると想定する。

７０１は、ずれ検出部であり、カメラ付携帯端末１０４の撮像センサ１０５で撮影した画像の幾何学的ずれを検出する。入力端子７００から入力される画像情報は、プリンタ１０３での出力、カメラ付携帯端末１０４の撮影を経ているために、プリンタ１０３の出力以前の画像情報とは幾何学的に大きくずれている場合がある。そこで、ずれ検出部７０１では、画像情報から印刷物と印刷物以外の境界線をエッジ検出にて検出する。

図８は撮影画像の一例を示す図である。ここで、プリンタ１０３と撮像センサ１０５それぞれの解像度が同一である場合、プリンタ１０３による印刷時の記録媒体の斜行や撮像センサ１０５で印刷物に撮影する時のずれ等により、撮影画像の回転方向（傾き）が補正すべき大きな要因となる。そのため、この撮影画像から印刷物の境界線を検出することにより、どの程度回転方向でずれが生じているかが判定できる。

７０２はブロック化部であり、横Ｐ画素、縦Ｑ画素のＰＸＱ画素単位でブロック化する。このブロックは、付加情報の重畳時でのブロック化におけるＮ×Ｍのブロックよりも小さくなければならない。即ち、
Ｐ≦Ｎ、かつ Ｑ≦Ｍ （４）
の関係が成立する。

また、Ｐ×Ｑ画素単位のブロック化は、ある一定間隔（一定画素数）毎スキップしてブロック化を行う。即ち、多重化時のＮ×Ｍ画素単位のブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックがひとつ内包するようにブロック化する。スキップ画素数は、水平Ｎ画素分、垂直Ｍ画素分が基本となるが、ずれ検出部７０１より検出したずれ量をブロック数で割り出し、１ブロックあたりのずれ量を演算して、スキップ画素数に加算して補正する必要がある。

７０３及び７０４はそれぞれ特性の異なる空間フィルタＡ及びＢである。７０５ａ及び７０５ｂはフィルタリング部であり、それぞれ空間フィルタＡ７０３及び空間フィルタＢ７０４を用いて周辺画素との積和を演算するディジタルフィルタリングを行う。この空間フィルタＡ７０３及び空間フィルタＢ７０４の各フィルタ係数は、多重化時の量子化条件の変動閾値の周期に適応して作成する。

ここでは、多重化装置１０２における量子化条件の変更を図６（ａ）及び図６（ｂ）の２種類の周期性を用いることにより、付加情報を多重化していると仮定する。その時の分離装置１０６に使用する空間フィルタＡ７０３及び空間フィルタＢ７０４の例をそれぞれ図９（ａ）及び図９（ｂ）に示す。図中、５×５画素の中央部が注目画素になり、それ以外の２４画素分が周辺画素になる。図中、空白部の画素は、フィルタ係数が「０」であることを表している。図から明らかなように、図９（ａ）及び図９（ｂ）はエッジ強調のフィルタになっている。しかも、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図９（ａ）は図６（ａ）の周期性に、また、図９（ｂ）は図６（ｂ）の周期性に一致するように作成している。

７０６及び７０７はそれぞれ間引き部Ａ及び間引き部Ｂであり、Ｐ×Ｑ画素のブロック内のフィルタリング後の信号（以下、変換値と称す）を、ある規則性に基づいて画素を間引く間引き処理を実行する。ここでは、この間引きの規則性を周期性と位相とに分離して処理する。即ち、間引き部Ａ７０６及び間引き部Ｂ７０７では間引きの周期性が異なっていて、各々、位相を変化させた複数の間引き処理を実行する。間引き方法については後述する。

７０８ａ及び７０８ｂは変換値加算部であり、間引き部Ａ７０６及び間引き部Ｂ７０７それぞれにて間引きした変換値を位相毎にそれぞれ加算する加算処理を実行する。この間引き処理、及び、変換値の加算処理は、空間フィルタＡ７０３及び空間フィルタＢ７０４それぞれで強調した所定周波数ベクトルの電力を抽出することに相当する。

７０９ａ及び７０９ｂは分散値算出部であり、位相毎に加算した複数の加算値の分散をそれぞれの周期性において算出する。７１０は判定部であり、分散値算出部７０９ａ及び７０９ｂそれぞれで算出した周期性における分散値に基づいて、多重化された符号を判定する。

７２０は、ＣＰＵ７２１、ＲＯＭ７２２、及びＲＡＭ７２３を有する制御部である。ＣＰＵ７２１は、ＲＯＭ７２２に保持された制御プログラムに従って、分離装置１０６の各種構成要素の動作及び処理を制御する。ＲＡＭ７２３は、ＣＰＵ７２１の作業領域として使用される。

図１０は付加情報の多重化領域（２次元の周波数領域）の周波数変換を説明するための図である。横軸は水平方向の周波数ｆｘ、縦軸は垂直方向の周波数ｆｙを示している。中心となる原点は、直流成分を示し、原点から遠ざかるにつれて、高周波域となる。図中の円は、誤差拡散によるカットオフ周波数を示している。誤差拡散法のフィルタ特性は、低周波域がカットオフされたＨＰＦ（ハイパスフィルタ）の特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。

今回、量子化閾値の変更により、量子化後に発生する周波数特性が変化する。図６（ａ）による量子化閾値の変更では、図１０の周波数ベクトルＡ上に大きなパワースペクトルが発生する。また、図６（ｂ）による量子化閾値の変更では、図１０の周波数ベクトルＢ上に大きなパワースペクトルが発生する。分離時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することで、多重化信号を判定することが可能となる。そこで、各々の周波数ベクトルを個別に強調、抽出することが必要になる。

図９（ａ）及び図９（ｂ）は、特定の周波数ベクトルの方向性を有するＨＰＦに相当する。即ち、図９（ａ）の空間フィルタＡでは、直線Ａ上の周波数ベクトルを強調することが可能になる。また、図９（ｂ）の空間フィルタＢでは、直線Ｂ上の周波数ベクトルを強調することが可能になる。例えば、図６（ａ）による量子化条件の変更により、図１０の周波数ベクトルＡ上に大きなパワースペクトルが発生したと仮定する。その時に、図９（ａ）の空間フィルタＡではパワースペクトルの変化量が増幅するが、図９（ｂ）の空間フィルタＢでは、ほとんど増幅されない。即ち、複数の空間フィルタを並列にフィルタリングした場合には、周波数ベクトルが一致した空間フィルタ時のみ増幅し、それ以外のフィルタでは増幅がほとんど無いため、いかなる周波数ベクトル上に大きなパワースペクトルが発生しているかが容易にわかる。

図１１は図７の分離装置１０６が実行する処理を示すフローチャートである。この処理では、分離装置１０６における、間引き部Ａ７０６及び間引き部Ｂ７０７、変換値加算部７０８ａ及び７０８ｂ、分散値算出部７０９ａ及び７０９ｂ、判定部７１０の動作が含まれる。尚、図１１に示す処理は、分離装置１０６のＣＰＵ７２１が、ＲＯＭ７２２に記憶されている制御プログラムを実行することにより実現される。

Ｓ１１０１で、分離装置１０６は、変数ｉを初期化する（ｉ＝０）。変数ｉは、周期性に関する変数である。Ｓ１１０２で、分離装置１０６は、変数ｊを初期化する（ｊ＝０）。変数ｊは、位相に関する変数である。Ｓ１１０３で、分離装置１０６は、間引き部Ａ７０６及び間引き部Ｂ７０７による間引きの規則性の因子、即ち、「周期性」及び「位相」の２因子を決定する。この周期性及び位相の条件は、番号（Ｎ０．）により管理されていて、いま、周期性Ｎｏ．が「ｉ」、位相Ｎｏ．が「ｊ」である間引き方法の因子を設定する。

Ｓ１１０４で、分離装置１０６は、変換値加算部７０８ａ及び７０８ｂにより、ブロック内で変換値（間引き画素の画素値）を加算し、その加算した加算値を変数の配列ＴＯＴＡＬ［ｉ］［ｊ］として記憶する。Ｓ１１０５で、分離装置１０６は、変数ｊをカウントアップする（１インクリメントする）。Ｓ１１０６で、分離装置１０６は、変数ｊと固定値Ｊと比較し、変数ｊが固定値Ｊ未満であるか否かを判定する。ここで、固定値Ｊは、位相を変化させて間引き処理を実行する回数を示している。判定の結果、変数ｊが固定値Ｊ未満である場合（Ｓ１１０６でＹＥＳ）、Ｓ１１０３に戻り、カウントアップ後の変数ｊによる新たな位相Ｎｏ．の条件を用いて、間引き処理及び変換値（間引き画素の画素値）の加算処理を実行する。

一方、変数ｊが固定値ｊ以上である場合（Ｓ１１０６でＮＯ）、つまり、位相をずらした間引き処理及び加算処理が設定回数（固定値Ｊが示す回数）終了した場合、Ｓ１１０７で、分離装置１０６は、分散値算出部７０９ａ及び７０９ｂにより、加算結果であるＴＯＴＡＬ［ｉ］［ｊ］の分散値Ｂ［ｉ］を算出する。即ち、各加算結果が、位相の差により、どの程度ばらついているかを評価する。ここでは、ｉの値を固定して、Ｊ個のＴＯＴＡＬ［ｉ］［ｊ］の分散値Ｂ［ｉ］を算出する。

Ｓ１１０８で、分離装置１０６は、変数ｉをカウントアップする（１インクリメントする）。Ｓ１１０９で、分離装置１０６は、変数ｉと固定値Ｉと比較し、変数ｉが固定値Ｉ未満であるか否かを判定する。ここで、固定値Ｉは、周期性を変化させて間引き処理を実行する回数を示している。判定の結果、変数ｉが固定値Ｉ未満である場合（Ｓ１１０９でＹＥＳ）、Ｓ１１０２に戻り、カウントアップ後の変数ｉによる新たな周期性Ｎｏ．の条件を用いて、間引き処理及び変換値（間引き画素の画素値）の加算処理を実行する。

Ｓ１１０９で、変数ｉが固定値Ｉである場合（Ｓ１１０９でＮＯ）、つまり、周期性をずらした間引き処理及び加算処理が設定回数（固定値Ｉが示す回数）終了した場合、分散値Ｂ［ｉ］は、Ｉ個算出されることになる。Ｓ１１１０で、分離装置１０６は、Ｉ個の分散値Ｂ［ｉ］の集合から、分散値の最大値を検出し、その時のｉの値を変数ｉｍａｘに代入する。Ｓ１１１１では、分離装置１０６は、判定部７１０により、符号の判定として、周期性Ｎｏ．が変数ｉｍａｘである符号を多重化された符号（付加情報）であると判定して終了する。

ここで、Ｉ＝２、Ｊ＝４である場合の分離装置１０６の処理例について説明する。図１２（ａ）及び図１２（ｂ）は、ブロックサイズをＰ＝Ｑ＝１６とした時の間引き方法を、テーブル形式にて示している。図中、ブロック内のひとマスが１画素分を表している。図では、ブロック形状をＰ＝Ｑの正方としているが、ブロック形状は正方には限定されるものではなく、矩形以外でも良い。

図１２（ａ）は、周期性Ｎｏ．＝０の時の間引き方法（図１１の間引き部Ａ７０６に相当）、図１２（ｂ）は、周期性Ｎｏ．＝１の時の間引き方法（図１１の間引き部Ｂ７０７に相当）を示している。図中、ブロック内の各画素に示している値は、位相Ｎｏ．であるｊの間引き画素を示している。例えば、「０」と表示している画素は、ｊ＝０の時の間引き画素に対応する。即ち、図１２（ａ）及び図１２（ｂ）ともに、位相は４種類であり、位相Ｎｏ．ｊが０〜３の時の間引き方法に相当する。

図１２（ａ）及び図１２（ｂ）に示す周期性は、それぞれ図６（ａ）及び図６（ｂ）の周期性に一致している。図６（ａ）及び図６（ｂ）ともに、網掛けマスの並びで量子化値「１」（但し、「０」、「１」の２値の場合）が並びやすくなる。そのため、例えば、多重化時に量子化条件Ａを使用するブロックの場合には、図１２（ａ）の周期性で量子化値「１」が並びやすくなる。そして、適合した空間フィルタ時には更にその周波数成分が増幅され、図１２（ａ）の周期性で、変換値（フィルタリング後の画素値）を加算すると、その加算結果の分散は大きくなる。

それに比べて、量子化条件Ａを使用したブロックを、適合しない空間フィルタを用いてフィルタリングし、かつ、図１２（ｂ）の周期性により間引きをした場合には、変換値の加算結果の分散値は小さくなる。これは、量子化値の周期性と間引きの周期性が異なるため、間引きの位相の違いによる変換値の加算値は平均的になり、ばらつきは小さくなるからである。逆に、多重化時に量子化条件Ｂを使用するブロックでは、図１２（ａ）の間引きでは、分散値は小さくなり、図１２（ｂ）の間引きでは分散値は大きくなる。

図４のフローチャートの例では、ｂｉｔ＝０を量子化条件Ａに設定し、ｂｉｔ＝１を量子化条件Ｂに設定しているため、周期性Ｎｏ．＝０の分散値が大きい場合にはｂｉｔ＝０、逆に周期性Ｎｏ．＝１の分散値が大きい場合にはｂｉｔ＝１と判定できる。

即ち、量子化条件、空間フィルタ特性、及び、間引き条件の周期性を関連付けることで、容易に多重化、及び、分離を実現できる。ここでは、周期性Ｎｏ．は「０」と「１」の２種類であり、ブロック内の多重化符号は１ビットであるが、多重化符号はこれ以上にすることもできる。ここで、量子化条件の種類と、空間フィルタの種類、間引き条件の周期性Ｎｏ．の種類（Ｉの値）とは一致する。

このように、直交変換による量子化条件の規則性に対応する周波数の電力値の比較をしなくても、容易に符号を分離できる。しかも、実空間領域（空間位置）の処理のため、非常に高速に分離処理が実現できる。

尚、量子化条件Ａ及びＢ、空間フィルタＡ及びＢ、間引き部Ａ及びＢは一例であり、これに限定されるものではない。他の周期性を持たせても良いし、空間フィルタのタップ数、間引きのブロックサイズ等の値は、用途や目的に応じて、増減することができる。

また、図１１の処理では、説明を容易に説明するために、周期性Ｎｏ．である変数ｉ、及び、位相Ｎｏ．である変数ｊを用いる繰り返し（ループ）処理にて説明している。しかしながら、実際には、Ｐ×Ｑ画素よりなるブロック内の画素アドレスによる繰り返し処理を実行するほうが容易である。即ち、図１２（ａ）及び図１２（ｂ）に示すような、ブロック内の各画素アドレスに対して周期性Ｎｏ．及び位相Ｎｏ．の２種類の情報をテーブルとして予め格納しておき、対応した周期性Ｎｏ．及び位相Ｎｏ．の各々の変数に対して変換値を加算する方法である。この方法では、Ｐ×Ｑ画素分を処理するだけで、並列に、周期性Ｎｏ．及び位相Ｎｏ．の各集合の加算値を算出することができる。

また、図１１の処理では、空間フィルタによるフィルタリング後の画素値（変換値）の加算結果の分散を算出して、分散値の大小比較により、符号を判定しているが、これに限定されるものではない。分散値ではなく、評価関数の比較による方法を使用することもできる。変換値の加算結果の偏りは、位相をずらした際に、ひとつの位相の時だけ値が突出しやすいため、「ばらつき度合い」が評価できれば良い。

例えば、ばらつき度合いを評価するために、分散値以外に、以下に示すような評価関数を使用することができる。

１．変換値を加算した加算値の最大値と最小値の差分を算出する評価関数
２．変換値を加算した加算値の最大値と２番目に大きな値との差分、もしくは、最小値と２番目に小さな値との差分のどちらかを算出する評価関数
３．変換値を加算した加算値によるヒストグラムを作成した時の、前後の順番の差分の最大値を算出する評価関数
また、１〜３の評価関数は絶対的な差分値であるが、これらの差分値と変換値、もしくは画素値や変換値の総和等との相対的な比率も評価関数として使用することができる。また、量子化値は２値化を例にして説明しているが、これに限定されるものではない。

このように、実施形態１では、画像をＭ×Ｎ画素よりなるブロック単位で量子化条件を変更し、その量子化条件に従って画像を量子化することにより画像に対して所定の情報を埋め込むことができる。従って、従来における情報埋込方法、例えば、直交変換を利用する情報埋込方法に比べて、画質劣化を抑制し、かつ高速に、かつ埋込情報を精度よく抽出できるように画像に対して情報を埋め込むことができる。

次に、カメラ付携帯端末１０４による多重化印刷物の連続撮影について説明する。本実施形態では、音声データや動画データ等の大容量のデータからなる付加情報を印刷物に埋め込むものとする。そのため、印刷物全体に付加情報を埋め込むことを想定して以下に説明する。

カメラ付携帯端末１０４で、印刷物の多重化情報（付加情報）を読み取る際、その付加情報を解析できる距離までカメラ付携帯端末１０４を印刷物に近づけなければならない。ところが、例えば、印刷物全体に付加情報が埋め込まれていて、また、その印刷物の大きさがカメラ付携帯端末１０４で付加情報を解析できる撮影範囲より大きいと、一度の撮影で印刷物全範囲の付加情報を撮影することはできない。その場合、カメラ付携帯端末１０４を印刷物上で移動させながら、全範囲を複数回に分けて撮影する必要がある。本実施形態では、このような撮影を連続撮影という。

以下、連続撮影の詳細について、図１３及び図１４を用いて説明する。

ユーザは、まず、カメラ付携帯端末１０４の付加情報分離用アプリケーションを起動することで、図１４に示す処理を実行する。尚、図１４に示す処理は、カメラ付携帯端末１０４の分離装置１０６のＣＰＵ７２１が、ＲＯＭ７２２に記憶されている付加情報分離用アプリケーションに対する制御プログラムを実行することにより実現される。

Ｓ１５０１で、カメラ付携帯端末１０４は、ユーザ操作に基づいて、付加情報が埋め込まれた印刷物（多重化印刷物）を撮影する。この撮影は、例えば、まず、ユーザがカメラ付携帯端末１０４を、印刷物の左上部に位置して、印刷物に埋め込まれている多重化パターンを読み取れる高さに調整する。そして、図１３に示すように、カメラ付携帯端末１０４を右方向へ移動させながら連続撮影を行う。撮影は、例えば、カメラ付携帯端末１０４に物理的に搭載されているシャッターボタンの押下を検知することで実行する。連続撮影の各撮影が完了する毎に得られる画像は、ＲＡＭ７２３に順次記憶される。その際、各画像には固有の識別番号、撮影日時情報等の属性情報が付与される。

尚、この連続撮影では、連続撮影によって得られる複数の画像を一つに合成する（Ｓ１５０２）ために、直前の撮影における撮影範囲を重複させながら次の撮影が実行される。つまり、図１３に示すように、各撮影での撮影範囲に重複領域が生じるように連続撮影を実行する。

ここで、この連続撮影において、カメラ付携帯端末１０４の移動速度が速すぎると、連続撮影開始時に設定されたシャッター速度では追い付かず、印刷物の撮影領域に抜けが生じることがある。その場合は、例えば、カメラ付携帯端末１０４の画面上で移動速度を落とすようユーザに指示するメッセージをディスプレイ１０９に表示して、カメラ付携帯端末１０４の移動速度を落とすことを案内することができる。あるいは、カメラ付携帯端末１０４の加速度センサ１１０から移動速度を算出し、それに応じてカメラ付携帯端末１０４のシャッター速度を自動で設定することもできる。また、撮影された画像を合成しながら、印刷物の中で未撮影の撮影領域を算出して、ユーザに撮影領域の案内をディスプレイ１０９に表示するようにしてもよい。

そして、図１３のように、印刷物の１ライン分の撮影が終了すると、ユーザはカメラ付携帯端末１０４を１ライン分下へ移動して、次に左方向へカメラ付携帯端末１０４を移動させながら、同様に連続撮影を行う。こうして、印刷物の全範囲を走査しながら、印刷物の撮影箇所の抜けが発生しないように最後まで連続撮影する。ここで、このカメラ付携帯端末１０４の連続撮影における移動方向は図１３に示す方向に限定されるものではない。印刷物に埋め込まれている付加情報（多重化情報）のすべてを撮影できる方法であれば、カメラ付携帯端末１０４の移動方向や重複領域の大きさは限定されるものではない。

Ｓ１５０２で、カメラ付携帯端末１０４は、連続撮影によって得られる複数の画像を合成し、合成画像を生成する。具体的には、画像に付与されている属性情報に基づいて、画像が撮影された順番と、連続する画像内での重複領域を検知することで、複数の画像を一つの画像に合成する。ここでの画像合成は、例えば、一般的なパノラマ合成処理等の画像処理を用いることができる。あるいは、カメラ付携帯端末１０４の加速度センサ１１０により、移動方向と移動距離を算出し、その算出結果から連続撮影で得られる複数の画像を合成するようにしても良い。

尚、実施形態１の特徴的な処理である、Ｓ１５０２の画像合成の詳細ついては、図１５を用いて後述する。

Ｓ１５０３で、カメラ付携帯端末１０４は、合成画像に埋め込まれている付加情報を合成画像から分離（抽出）する（多重化情報の多重化デコード）。この分離処理の詳細は、図１１で説明したとおりである。尚、合成画像から付加情報を正常に読み取れない（分離できない）場合は、カメラ付携帯端末１０４のディスプレイ１０９に、再度、連続撮影を行うことを促すエラーメッセージを表示することができる。

Ｓ１５０４で、カメラ付携帯端末１０４は、分離された付加情報を再生する。ここで再生される付加情報には、音声データ、動画データ、画像データ、インターネットのリンク先、テキストデータ等、カメラ付携帯端末１０４で処理できるファイルが挙げられるが、そのファイルの種類は問わない。例えば、印刷物に埋め込まれている付加情報が動画データであれば、カメラ付携帯端末１０４は、自身の動画再生機能によって動画データを再生する。もしくは、カメラ付携帯端末１０４に格納されている他の動画再生アプリケーションにリンクして、その動画データを再生させてもよい。

尚、連続撮影は、カメラ付携帯端末１０４に備わる静止画の連写モードで撮影してもよいし、動画モードで撮影した後、１コマずつ切り出して、画像データとして分割してもよい。また、カメラ付携帯端末１０４のカメラ機能（撮像センサ１０５／第２撮像センサ１１１）ではなく、デジタルスチルカメラで連続撮影を実行することもできる。この場合は、連続撮影によって得られる複数の画像をＰＣ（パーソナルコンピュータ）等の情報処理装置に取り込む。そして、ＰＣのＯＳ上で付加情報分離用アプリケーションを起動して、取りこんだ複数の画像を合成して、その合成画像から付加情報を分離するようにしても良い。

カメラ付携帯端末１０４で印刷物を撮影する場合、部屋の照明等の光源の写り込みにより印刷物の被写体が識別できなくなり、撮影画像が大きな劣化する場合がある。特に、写真やアルバム等の高画質プリントは光沢度の高い用紙が多く利用されているので、光沢度が高く見栄えが良い半面、写り込みによる撮影画像の劣化も大きい。写り込みが存在する画像をそのまま画像合成に利用すると、画像合成精度の低下の原因となる。従って、実施形態１では、この写り込みを考慮した画像合成（Ｓ１５０２）を実行する。この画像合成は、印刷物の撮影画像の写り込みの評価を行い、その評価結果に基づいて、画像の重複領域の評価を行うことにより、写り込みの存在する画像をより高い精度で画像合成できるようにすることを特徴としている。

この画像合成の詳細について、図１５のフローチャートを用いて説明する。

Ｓ１６０１で、カメラ付携帯端末１０４は、処理対象の画像を入力する。ここでの画像とは、図１４のＳ１５０１の処理によって得られる印刷物の撮影画像である。

Ｓ１６０２で、カメラ付携帯端末１０４は、入力した画像の特徴量を抽出する。特徴量の抽出の例として、画像のエッジ量が所定値以上の画素を探索し、その各画素の位置を中心に縦横±ｎ画素ずつの矩形を切り出した画像を特徴量とする。また、図６で説明したような視覚的に判別しづらい多重化パターンの集合を特徴量としてもよい。更に、この特徴量の以外にも、被写体の面積、撮影時間等から得られる画像の特徴を表すものであれば何でもよい。

Ｓ１６０３で、カメラ付携帯端末１０４は、入力した画像の不良領域を評価する。不良領域の例として、写り込み、収差ボケやレンズの傷による画像劣化等があげられるが、ここでは、写り込み領域の検出を説明する。

印刷物を撮影する場合、写り込み領域の主な特徴として、以下の２点がある。

１．光源が写り込む場合、写り込み領域が存在する場所は高輝度となり、印刷物の内容が失われる。図１６（ａ）に示す画像の場合、写り込み領域が高輝度値となり、「人物Ａ」の画像の大部分が取得不可能である。

２．写り込み領域の位置は撮影画像内でほぼ変わらない。図１６（ａ）及び図１６（ｂ）は印刷物の異なる場所を撮影した画像である。図１６（ａ）及び図１６（ｂ）に示すように、カメラ付携帯端末１０４を移動しながら印刷物を撮影する場合、印刷物の被写体と写り込み領域の位置の相対位置は変わるが、写り込み領域の位置はカメラ付携帯端末１０４の画角の範囲ではほぼ変わらない。従って、複数枚撮影した画像のほぼ同じ位置付近に高輝度領域が存在する場合、その高輝度領域を光源の写り込み領域とみなすことができる。ここでの高輝度領域は、所定の高輝度閾値と比較して、所定の高輝度閾値より高い輝度値を有する領域を検出することで決定することができる。

また、高輝度閾値は所定値ではなく、動的に決定することも可能である。図１７に示すように、カメラ付携帯端末１０４によっては、カメラを２つ以上搭載している機種が存在する。このようにカメラを２つ以上備えるカメラ付携帯端末１０４の場合、印刷物を撮影するメインカメラ以外のサブカメラの撮影画像を解析することで高輝度閾値を決定してもよい。一例として、図１７に示すカメラ付携帯端末１０４の場合、撮影装置として、バックカメラで印刷物を撮影すると同時に、フロントカメラで印刷物とは反対側の光源（印刷物の撮影環境下の環境光）の撮影を行う。そして、フロントカメラの撮影画像を解析することにより、光源とその輝度値を推定し、最終的に高輝度閾値を決定することができる。

光源の写り込みだけでなく、他の物体の影が写りこんだ場合、複数枚の撮影画像の同一位置付近に所定輝度より低い低輝度領域が存在するので、影の写り込み領域とみなすことができる。その他にも、光源が赤ライト、黄色ライト等の場合、輝度値ではなく、彩度値で写り込み領域を検知してもよい。つまり、カメラ付携帯端末１０４は、評価対象の領域の輝度と評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する。

また、図６で説明した視覚的に判別しづらい多重化パターン（付加情報）の検出可否により、写り込み領域を評価することが可能である。

更に、光源と影以外に、印刷物に他の物体が写り込む場合がある。物体が写り込む場合、光源程ではないが、やはり撮影画像の劣化原因となる。物体の写り込みを判定する場合、写り込む物体が事前にわかる場合とわからない場合に分かれる。

写り込む物体が事前にわかる場合は、写り込む物体の情報をカメラ付携帯端末１０４の分離装置１０６のＲＡＭ７２３に事前に保存する。そして、連続撮影による印刷物の複数枚の撮影画像と事前に保存した写り込み物体の情報との比較を行い、写り込み領域を評価することができる。

写り込む物体が事前にわからない場合は、印刷物を撮影するメインカメラ以外のサブカメラの撮影画像を使用することができる。サブカメラの撮影画像と印刷物の撮影画像のエッジや色等の情報の比較により、写り込み領域を評価することができる。つまり、カメラ付携帯端末１０４は、評価対象の領域のエッジと評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する。

尚、図１５のＳ１６０２とＳ１６０３はどちらが先に行われてもよい。

Ｓ１６０４で、カメラ付携帯端末１０４は、Ｓ１６０２で抽出した特徴量とＳ１６０３での不良領域の評価結果に基づいて、重複領域を評価する。実施形態１では、処理対象の画像から不良領域を除外し、残りの画像より重複領域を算出する。つまり、不良領域を除外することにより、不良領域による画像合成への影響をなくす。

Ｓ１６０４で、カメラ付携帯端末１０４は、Ｓ１６０２で抽出した特徴量とＳ１６０３での不良領域の評価結果に基づいて、重複領域を評価する。実施形態１では、処理対象の画像から不良領域を除外し、残りの画像より重複領域を算出する。つまり、不良領域を除外することにより、不良領域による画像合成への影響をなくす。具体的には、図１６（ａ）と図１６（ｂ）の両者に写り込み領域が存在するが、この写り込み領域が重複領域として評価されなくなるため、不良領域による画像合成への影響をなくすことが可能となる。

図１６（ｅ）及び図１６（ｆ）は、図１６（ｃ）及び図１６（ｄ）の画像より重複領域を算出した結果である。重複領域の算出方法の一例として、２枚の画像の重複領域の算出方法について説明する。尚、２枚以上の画像合成の場合も、画像合成する数に応じて、２枚の画像合成を繰り返し行うことで実現する。

最初に、Ｓ１６０２で抽出される特徴量である、図１６（ｃ）及び図１６（ｄ）の画像に含まれる被写体のエッジ量より、複数の矩形画像（特徴量）を算出する。

次に、１枚目の画像より得られる矩形画像（特徴量）と２枚目の画像とを重ね合わせ、画素単位で画素値の差の絶対値を算出し、その合計値を算出する。この処理を、２枚目の画像全体または２枚目の画像の所定範囲内を移動しながら、複数回行う。そして、算出される複数の合計値の最小値が十分小さな値であるか否か（確かな対応特徴量であるか否か）を、所定閾値と比較して判定する。所定閾値より小さい場合、対応特徴量のリストに１枚目の画像の矩形画像の座標（ｘ，ｙ）と、最小値が算出された２枚目画像の座標（ｘ’，ｙ’）と、その最小値の値とをＲＡＭ７２３に登録する。以上の処理を、１枚目の画像より抽出されるすべての特徴量に対して行い、対応特徴量とその最小値を算出することができる。そして、対応特徴量のリスト中の全ての最小値からその平均値を算出し、その平均値を画像の一致度としてＲＡＭ７２３に保持する。

最後に、対応特徴量のリストより、２枚目の画像の重複領域を算出することができる。尚、この方法以外にも、画像の特徴量より画像の重複領域を算出することができる方法であれば、これに限定されない。

また、不良領域の完全な除外ではなく、不良領域の重み（不良領域の重要度）を変化させて、重複領域を算出する方法でもよい。例えば、不良領域と評価された領域の特徴量については、上記対応特徴量の最小値を変化させることにより、不良領域の重みを変化させることができる。また、Ｓ１６０２の画像の特徴量を抽出するステップで、不良領域と評価された領域の特徴量抽出のためのエッジ量の閾値を変化させることにより、不良領域の重みを変化させてもよい。この方法以外にも、不良領域の重みを変化させる方法であれば、これに限定されない。

Ｓ１６０５で、カメラ付携帯端末１０４は、Ｓ１６０３での評価結果とＳ１６０４での評価結果に基づいて、画像を合成して、合成画像を生成する。

図１６（ｇ）は、図１６（ｅ）及び図１６（ｆ）それぞれの画像を合成した画像である。図１６（ｅ）の重複領域には写り込み領域が存在しているのに対して、図１６（ｆ）の重複領域には写り込み領域が存在しない。従って、図１６（ｆ）の重複領域を画像合成に採用する。つまり、２枚の画像の内、１枚の画像の重複領域に不良領域が存在する場合、残りの１枚の画像の不良領域を含まない重複領域を採用する。

また、不良領域を含まない重複領域中で、不良領域に対応する領域を含む一部分だけを採用してもよい。

以上説明したように、実施形態１によれば、カメラ付携帯端末は、複数の画像から不良領域を評価し、複数の画像から特徴量に基づいて重複領域を特定する。そして、カメラ付携帯端末は、不良領域の評価結果と重複領域の特定結果に基づいて画像合成を行い、合成された画像から付加情報を抽出する。そして、実施形態１によれば、印刷物の画像を複数回に分けて撮影し、得られる複数の画像を合成する場合、その印刷物の写り込みを考慮することにより、より高い精度の画像合成を行うことができる。これにより、印刷物に含まれる大容量の付加情報を取得することが可能になる。

尚、Ｓ１６０５の画像合成を実行しないで、Ｓ１６０３、Ｓ１６０４で算出された不良領域、重複領域とその位置情報により、必要な画像領域の付加情報を抽出した後、それらの付加情報を結合してもよい。

＜＜実施形態２＞＞
実施形態１では、図１５のＳ１６０４で、重複領域を評価する構成としているが、この評価が低い場合は、重複領域を算出できない可能性がある。そこで、実施形態２では、このような場合でも、画像合成を実現する構成について説明する。

図１８（ａ）及び図１８（ｂ）は、図１５のＳ１６０３で評価した不良領域を含む画像である。図１８（ｃ）及び図１８（ｄ）はそれぞれ、図１８（ａ）及び図１８（ｂ）の画像から不良領域を除外した画像である。図１８（ｃ）及び図１８（ｄ）に示すように、それぞれの画像には、類似の特徴量を抽出することができる、重複領域となりえる被写体が存在しない。従って、このような場合、図１５のＳ１６０４では、重複領域を算出することができない。

そこで、実施形態２では、Ｓ１６０４で重複領域を算出することができない場合には、合成対象の複数の画像それぞれから分離することができる付加情報を利用して、画像合成を行う。この画像合成の詳細について、図１９のフローチャートを用いて説明する。尚、図１９のフローチャートは、実施形態１の図１５のフローチャートに対し、Ｓ１９０１、Ｓ１９０２及びＳ１９０３を追加した構成となっている。そのため、ここでは、図１５のフローチャートと同一のステップについては、同一のステップ番号を付加して、その説明を省略し、新たに追加したＳ１９０１、Ｓ１９０２及びＳ１９０３の詳細について説明する。

Ｓ１９０１で、カメラ付携帯端末１０４は、重複領域が存在するか否かを判定する。この判定は、例えば、Ｓ１６０４での評価結果を利用することで実現することができる。以下、その一例について説明する。

Ｓ１６０４での評価結果によってＲＡＭ７２３に保持される対応特徴量のリストには、合成対象の画像中の所定範囲の内、確かな対応特徴量であると判定される、所定範囲の画像領域の特徴量が登録される。従って、対応特徴量のリストに特徴量が存在しない場合、または所定数より少ない場合は、重複領域が存在しないと判定することができる。

また、対応特徴量のリストに所定数以上の特徴量が存在する場合であっても、画像の一致度に基づいて、重複領域を判定することもできる。例えば、画像の一致度が所定閾値以下の場合、重複領域が存在しないと判定することができる。

また、Ｓ１６０２で処理対象の画像の特徴量（所定閾値以上のエッジ）を抽出できない場合に、重複領域が存在しないと判定することができる。

尚、これらの方法以外にも、画像の特徴量の抽出結果に基づいて、重複領域の存在を判定することができる方法であれば、これに限定されない。

Ｓ１９０１の判定の結果、重複領域が存在する場合（Ｓ１９０１でＹＥＳ）、Ｓ１６０５に進む。一方、重複領域が存在しない場合（Ｓ１９０１でＮＯ）、Ｓ１９０２で、カメラ付携帯端末１０４は、重複領域を算出できない、合成対象の画像から付加情報を分離する。この処理は、図１５のＳ１５０３に相当する。以下、その具体例について、図２０を用いて説明する。

図２０（ａ）及び図２０（ｂ）は、ブロック（所定領域単位）毎に２ｂｉｔのデータ（０〜３）を付加情報として埋め込んだ印刷物の撮影画像である。図２０（ｃ）及び図２０（ｄ）はそれぞれ、図２０（ａ）及び図２０（ｂ）の画像から付加情報を分離し、抽出した結果を含む画像である。図２０（ｃ）及び図２０（ｄ）が示すように、付加情報（０〜３）は、画像内の各ブロックと対応づけられている。

Ｓ１９０３で、カメラ付携帯端末１０４は、付加情報の分離結果に基づいて、重複領域を評価する。重複領域の評価方法の例として、図２０（ｃ）の画像から分離される付加情報と図２０（ｄ）の画像から分離される付加情報との一致率が最大となる画像領域を重複領域とすることができる。また、付加情報の一致率と付加情報が一致する領域の面積より重複領域の信頼度を算出し、その信頼度が最大となる領域を重複領域とすることができる。例えば、図２０（ｃ）及び図２０（ｄ）の画像の場合、図２０（ｅ）及び図２０（ｆ）のように重複領域を算出することができる。

尚、この方法以外にも、付加情報に基づいて、重複領域を評価できる方法であれば、これに限定されない。

Ｓ１６０５で、カメラ付携帯端末１０４は、Ｓ１６０３での評価結果あるいはＳ１９０３での評価結果に基づいて、画像を合成して、合成画像を生成する。

ここで、図２０（ｇ）は、図２０（ｅ）及び図２０（ｆ）それぞれの画像を合成した画像である。図２０（ｅ）の重複領域には写り込み領域が存在しているのに対して、図２０（ｆ）の重複領域には写り込み領域が存在しない。従って、図２０（ｆ）の重複領域を画像合成に採用する。つまり、２枚の画像の内、１枚の画像の重複領域に不良領域が存在する場合、残りの１枚の画像の不良領域を含まない重複領域を採用する。

以上説明したように、実施形態２によれば、撮影画像の重複領域の評価に必要である特徴量（エッジ情報）が写り込みにより失われた場合でも、画像の付加情報を利用することにより精度よく画像を合成することができる。

＜＜実施形態３＞＞
実施形態３では、画像の不良領域の範囲が充分小さいまたは不良領域が画像の特徴量の抽出にあまり影響を与えない場合、不良領域は考慮せずに、先に画像の重複領域の評価を行い、画像合成を行う構成について説明する。

実施形態３の画像合成の詳細について、図２１のフローチャートを用いて説明する。尚、図２１のフローチャートは、実施形態１の図１５のフローチャートに対し、Ｓ２２００１をＳ１６０３の前に追加した構成となっている。つまり、Ｓ１６０３（画像の不良領域の評価）の前に、Ｓ２２０１（画像の重複領域の評価）を行う構成となっている。そのため、ここでは、以下、図１５のフローチャートと同一のステップについては、同一のステップ番号を付加して、その説明を省略し、新たに追加したＳ２２０１の詳細について説明する。

Ｓ２２０１で、カメラ付携帯端末１０４は、不良領域は考慮せず、画像の重複領域を評価する。図２２（ａ）及び図２２（ｂ）は不良領域の範囲が所定範囲より小さい撮影画像である。図２２（ｃ）及び図２２（ｄ）はそれぞれ、図２２（ａ）及び図２２（ｂ）の画像から重複領域を評価した画像である。ここでは、不良領域の範囲が充分小さいため、正しく重複領域を評価できる。また、図２２（ｅ）及び図２２（ｆ）は、Ｓ１６０３で評価した不良領域（写り込み領域）を含む画像である。実施形態３の場合、Ｓ２２０１の時点で、重複領域を算出することができるので、これらの重複領域（図２２（ｃ）及び図２２（ｄ））とＳ１６０３で評価した不良領域（図２２（ｅ）及び図２２（ｆ））との関係から、図２２（ｇ）の合成画像を得ることになる。

尚、図２１のＳ２２０１とＳ１６０３はどちらが先に行われてもよい。また、必要に応じて、Ｓ１６０３の処理を省略するようにしても良い。

以上説明したように、実施形態３によれば、不良領域を評価しなくても、重複領域を評価できる場合には、その評価した重複領域を利用して、画像を合成することができる。これにより、不良領域の評価を必要に応じて省略することができ、処理負荷を軽減することが可能となる。

尚、Ｓ１６０５の画像合成を実行しないで、Ｓ２２０１、Ｓ１６０３で算出された重複領域、不良領域とその位置情報により、必要な画像領域の付加情報を抽出した後、それらの付加情報を結合してもよい。

＜＜実施形態４＞＞
用途や目的に応じて、上記実施形態１〜３を任意に組み合わせた実施形態も可能である。例えば、実施形態３において重複領域を評価した上で、実施形態２においてその評価した重複領域の存在判定を行うようにしても良い。

上記実施形態１〜３の構成は、複数の画像間で所定領域を評価し、その評価結果に基づいて、その複数の画像を合成する。ここで、所定領域は、実施形態１及び３では、重複領域及び不良領域の少なくとも一方に相当し、実施形態２では、付加情報が埋め込まれたブロック（領域）に相当する。このように、複数の画像間で所定領域の類似性を評価して、その類似性が高い場合は、同一の領域と見なして、その領域が重複するように複数の画像を合成することで、複数回に分けて撮影された印刷物の全体画像を生成することができる。

また、複数の画像間で所定領域の類似性の評価は、画像に関する特徴情報に基づいて行う。ここで、特徴情報とは、実施形態１及び３では、画像を構成する画素に基づく特徴量（例えば、輝度値や濃度値）であり、実施形態２では、画像の画素の輝度値に基づく特徴量に加えて、画像に埋め込まれている付加情報を含む概念となっている。

尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

１０２：多重化装置、１０３：プリンタ、１０４：カメラ付携帯端末、１０５：撮像センサ、１０６：分離装置、２００：誤差拡散処理部、２０１：ブロック化部、２０２：量子化条件制御部、２１０：制御部、２１１：ＣＰＵ、２１２：ＲＯＭ、２１３：ＲＯＭ

Claims (10)

1. 印刷物に埋め込まれた付加情報を抽出する画像処理装置であって、
   付加情報が埋め込まれた印刷物を複数回に分けて撮影することによって得られる複数の画像を入力する入力手段と、
   前記入力手段で入力した複数の画像それぞれに関する特徴情報を抽出する手段と、
   前記画像における不良領域を評価する評価手段と、
   前記特徴情報に基づいて前記複数の画像の重複領域を特定する特定手段と、
   前記評価手段による評価結果と前記特定手段による特定結果に基づいて、前記印刷物に埋め込まれた付加情報を抽出する抽出手段と
   を備え、
   前記評価手段は、評価対象の領域の輝度と前記画像における前記評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する
   ことを特徴とする画像処理装置。
2. 印刷物に埋め込まれた付加情報を抽出する画像処理装置であって、
   付加情報が埋め込まれた印刷物を複数回に分けて撮影することによって得られる複数の画像を入力する入力手段と、
   前記入力手段で入力した複数の画像それぞれに関する特徴情報を抽出する手段と、
   前記画像における不良領域を評価する評価手段と、
   前記特徴情報に基づいて前記複数の画像の重複領域を特定する特定手段と、
   前記評価手段による評価結果と前記特定手段による特定結果に基づいて、前記印刷物に埋め込まれた付加情報を抽出する抽出手段と
   を備え、
   前記評価手段は、評価対象の領域のエッジと前記画像における前記評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する
   ことを特徴とする画像処理装置。
3. 前記特定手段は、前記複数の画像の間での前記特徴情報の一致度に基づいて、前記複数の画像の間で重複する重複領域を特定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理装置は、
   印刷物を撮像するための第１撮像手段と、
   前記第１撮像手段とは異なる第２撮像手段とを有し、
   前記評価手段は、前記第２撮像手段により撮像された画像に基づいて前記画像における不良領域を評価する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、前記評価手段により前記不良領域と評価された領域が除外された画像を用いて前記重複領域を特定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記特定手段は、前記評価手段により前記不良領域と評価された領域の重みづけを変更することで、前記重複領域を特定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記特定手段が前記特徴情報に基づいて前記複数の画像の重複領域を特定できない場合、前記複数の画像に含まれる付加情報に基づいて重複領域を特定する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 印刷物に埋め込まれた付加情報を抽出する画像処理方法であって、
   付加情報が埋め込まれた印刷物を複数回に分けて撮影することによって得られる複数の画像を入力する入力工程と、
   前記入力工程で入力した複数の画像それぞれに関する特徴情報を抽出する工程と、
   前記画像における不良領域を評価する評価工程と、
   前記特徴情報に基づいて前記複数の画像の重複領域を特定する特定工程と、
   前記評価工程による評価結果と前記特定工程による特定結果に基づいて、前記印刷物に埋め込まれた付加情報を抽出する抽出工程と
   を備え、
   前記評価工程では、評価対象の領域の輝度と前記画像における前記評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する
   ことを特徴とする画像処理方法。
9. 印刷物に埋め込まれた付加情報を抽出する画像処理方法であって、
   付加情報が埋め込まれた印刷物を複数回に分けて撮影することによって得られる複数の画像を入力する入力工程と、
   前記入力工程で入力した複数の画像それぞれに関する特徴情報を抽出する工程と、
   前記画像における不良領域を評価する評価工程と、
   前記特徴情報に基づいて前記複数の画像の重複領域を特定する特定工程と、
   前記評価工程による評価結果と前記特定工程による特定結果に基づいて、前記印刷物に埋め込まれた付加情報を抽出する抽出工程と
   を備え、
   前記評価工程では、評価対象の領域のエッジと前記画像における前記評価対象の領域の位置に基づいて、評価対象の領域が不良領域であるか否かを評価する
   ことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるための、または請求項８または９に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images