JP3647405B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、画像情報中に、該画像情報とは別の情報、例えば音声情報や、テキスト文書情報、画像に関する諸情報、全く別の画像情報等を付加情報として、視覚的に目立たぬように埋め込む画像処理に関する。
【０００２】
【従来の技術】
従来より、画像情報中に、画像に関連のある他の情報を多重化する研究が盛んに行われている。
【０００３】
近年では、電子透かし技術と称し、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報を視覚的に判別しづらい様に多重化して、インターネット等のネットワークを通じて流通する技術が標準化されつつある。
【０００４】
また、他の応用分野としては、複写機、プリンタ等の画像出力装置の高画質化に伴い、紙幣、印紙、有価証券等の不正な偽造を防止する目的で、紙上に出力された画像から出力機器、及び、その機体番号を特定する為に、画像中に付加情報を埋め込む技術がある。
【０００５】
例えば、特開平７−１２３２４４では、視覚的に感度の低い色差成分、及び彩度成分の高周波域に付加情報を埋め込むことにより情報の多重化を行う技術を提案している。
【０００６】
【発明が解決しようとする課題】
しかし、前述した技術は以下の問題点がある。
【０００７】
図１３は、電子透かし技術の一般的な付加情報の埋め込みを示した図である。画像情報Ａと付加情報Ｂが加算器１３０１を介して多重化され、Ｃという多重化情報に変化する。図１３は画像情報の実空間領域で付加情報を多重化する例である。この多重化情報Ｃを各種フィルタリング等の画像処理や、非可逆圧縮等の符号化をせずに流通することが可能であれば、多重化情報Ｃから付加情報Ｂを復号することは従来技術でも容易である。インターネット上で流通する画像情報では、多少のノイズ耐性があれば、エッジ強調、平滑化等の画質向上のデジタルフィルタを通しても復号が可能になる。
【０００８】
しかし、今、多重化した画像をプリンタ等の出力装置により印字し、その印字物から付加情報を取り出す場合を想定する。しかも、使用するプリンタが単色あたり２階調から数階調程度の表現能力しか有していないプリンタ出力を想定する。近年、インクジェットプリンタは、染料濃度を薄くしたインクを有したり、出力するドット径を可変に制御したりして、単色あたり数階調表現できる装置が上市されているが、それでも疑似階調処理を用いない限り、写真調の画像の階調性は表現できない。
【０００９】
すなわち、図１３の電子透かし技術を用いた多重化方法をプリンタに出力するという前述の想定では、図１４に示すように、疑似階調処理１４０１により多重化情報ＣはＤという量子化情報に変化し、その後、プリンタ出力１４０２にて紙上に印字されることにより、非常に劣化したＥという紙上情報（印字物）に変化する。
【００１０】
従って、前述した偽造防止の目的の為に紙上の情報から付加情報を復号するということは、図１４の一連の処理後の紙上情報Ｅから付加情報Ｂを復号することになるわけである。この１４０１、１４０２の両処理による情報の変化量は非常に大きく、視覚的に判別できないように付加情報を多重化し、かつ、多重化した付加情報を紙上から正しく復号することは非常に困難なことになる。
【００１１】
また、図１５は、実空間領域ではなく、画像情報をフーリエ変換等を用い、周波数領域に変換してから高周波域等に合成する従来の電子透かし技術の例を示している。
【００１２】
図１５において、画像情報を直交変換処理１５０１により周波数領域に変換し、加算器１５０２により、視覚的に判別しづらい特定の周波数に付加情報が加算される。１５０３逆直交変換処理により再び実空間領域に戻された後に、図１４の例と同様に、疑似階調処理、プリンタ出力という大きな変化を伴うフィルタを通ることに相当する。
【００１３】
図１６では、紙上からの付加情報の分離工程を示している。すなわち、スキャナ入力処理１６０１により、印字物の情報を入力する。入力された情報は、疑似階調処理により階調表現されている画像である為に、逆疑似階調処理である復元処理１６０２を施す。復元処理は、ＬＰＦ（ローパスフィルタ）を用いるのが一般的である。復元後の情報を直交変換処理１６０３により直交変換させた後に、分離処理１６０４において、特定の周波数の電力から埋め込んだ付加情報の分離を行う。
【００１４】
以上の図１５、図１６から明らかなように、付加情報を多重化してから分離するまでに、複雑な多数の処理工程を通過することがわかる。カラー画像の場合には、この一連の処理工程の中にプリンタ特有の色に変換する色変換処理も含まれることになる。このような複雑な処理工程でも良好な分離を実現するためには、非常に耐性の強い信号を入れなくてはならない。良好な画質を維持しつつ、耐性の強い信号を入れるのは困難である。また、処理工程が多数、複雑ということは、多重化、及び分離に要する処理時間が非常に長くなってしまう。
【００１５】
また、前述した特開平７−１２３２４４では、高周波域に情報を付加させているが、後段の疑似階調処理で、誤差拡散法を実施した場合には、誤差拡散法特有のハイパスフィルタの特性により、付加情報の帯域が誤差拡散で発生するテクスチャの帯域に埋没してしまい、復号に失敗する恐れが多分にある。また、復号には非常に精度の高いスキャナ装置が必要になる。
【００１６】
すなわち、疑似階調処理が前提である場合には、図１４、図１５の方式は適さないことがわかる。言い換えると、疑似階調処理の特性を大きく活かした付加情報の多重化方式が必要になる。
【００１７】
付加情報の多重化と疑似階調処理の冗長性とを結び付けた例として、特登録２６４０９３９、特登録２７７７８００がある。
【００１８】
前者は、組織的ディザ法にて２値化する際に、同一階調を表すディザマトリクスの中からいづれか一つを選定することによって、画像信号中にデータを混入するものである。
【００１９】
しかし、組織的ディザ法では、高解像の、しかも機械的精度の非常に優れたプリンタで無い限り、写真調の高画質の出力は困難である。多少の機械的精度のずれが、横筋等の低周波のノイズとして発生し、紙上では容易に視覚されてくるからである。
【００２０】
また、ディザマトリクスを周期的に変化させると、規則的に配列されていたディザにより発生する特定周波数の帯域が乱され、画質的に悪影響を及ぼす。
【００２１】
また、ディザマトリクスの種類により階調表現能力が大きく異なる。特に紙上においては、ドットの重なり等における面積率の変化がディザマトリクスによって異なる為、たとえ信号上では均一濃度である領域でもディザマトリクスの切り替えで濃度の変化を引き起こすことも考えられる。
【００２２】
また、復号（分離）側にとって、原信号である画像情報の画素値が不明な状態で、いかなるディザマトリクスで２値化されたかを推測する復号方法では、誤った復号をしてしまう可能性が非常に大きい。
【００２３】
また、後者は、カラーのディザパターン法を用いて、その配列により付加情報を多重化する方法である。この方法でも前者と同様、切り替えにより画質劣化は避けられない。また、前者と比べて、より多くの付加情報を多重化できる代わりに、色成分の配列を変化させることによる色みの変化をもたらし、特に平坦部において画質劣化が大きくなる。また、紙上での復号も更に困難になることが予想される。
【００２４】
いずれにしても、ディザマトリクスを変化させる両者の方法では、画質劣化が大きい割に、復号が困難という問題点を有している。
【００２５】
そこで、本発明の出願人は、特開２０００−２８７０６２において、誤差拡散法によって生じるテクスチャを利用し、通常の疑似階調処理では発生し得ない量子化値の組み合わせを人工的に作成することにより符号の埋め込みにする方法を提案した。
【００２６】
この方法は、テクスチャの形状が微視的に多少変化するだけなので、視覚的には画質が劣化するものではない。また、誤差拡散法の量子化閾値を変更する方法を用いれば、視覚的に面積階調の濃度値も保たれる為、極めて容易に異種信号の多重化が実現できる。
【００２７】
しかし、前述の提案によると、復号側では、テクスチャが人工的であるか否かを判別しなくてはならない。紙上に出力した印字物では、ドットのよれ等の所望の着弾点位置からのずれにより、テクスチャが良好に再現できない場合がある。
【００２８】
また、カラー画像においては、最も視覚的に感度の低い色成分に多重化する方法が主流であるが、実空間領域でのテクスチャの判別は、他の色成分の影響を受けやすく、多重化情報の分離が困難なものになってしまう。
【００２９】
また、本出願人は、前述した問題点を解決する為に、特開２００１−１４８７７８等において、誤差拡散法の量子化閾値自身を所定の周期性で振幅変調し、この閾値変調の周期性を領域単位に複数種類制御することによって、擬似階調処理の量子化値の発生確率を制御し、この周期性に基づき符号を埋め込む方法を提案した。
【００３０】
この方法は、前述したテクスチャの位置や形状を判別する方法に比べ、符号を形成している位相情報よりも、複数の所定周波数帯域での相対的な電力情報が重要な復号因子になる為、紙上においても良好な復号が実現できる。
【００３１】
しかし、前述した提案では、擬似階調処理を行う各色成分の処理条件について、具体的な各色毎の相互関係が開示されてなく、紙上での付加情報埋め込み処理によるノイズ感を視覚的に軽減する方法、及び、付加情報を抽出する際の抽出エラー率を減少する方法について、更なる改善の余地があった。
【００３２】
本発明は、上記課題を解決するためになされたものであり、画質劣化を軽減し、かつ情報の抽出精度を上げて情報を埋め込むことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【００３３】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、カラー画像に対して所定の情報を埋め込む画像処理装置であって、カラー画像を入力する入力手段と、前記入力されたカラー画像を所定の色成分単位に誤差拡散法により量子化する量子化手段と、前記所定の情報に応じて、前記量子化手段による量子化閾値を振幅変調させる周期性を制御する量子化条件制御手段とを有し、前記量子化条件制御手段は、前記色成分のうち少なくともひとつの色成分において、量子化閾値を振幅変調させる位相を他の色成分とは異ならせるように制御することを特徴とする。
【００３４】
また、本発明の画像処理方法は、カラー画像に対して所定の情報を埋め込む画像処理方法であって、カラー画像を入力する入力工程と、前記入力されたカラー画像を所定の色成分単位に誤差拡散法により量子化する量子化工程と、前記所定の情報に応じて、前記量子化工程による量子化閾値を振幅変調させる周期性を制御する量子化条件制御工程とを有し、前記量子化条件制御工程は、前記色成分のうち少なくともひとつの色成分において、量子化閾値を振幅変調させる位相を他の色成分とは異ならせるように制御することを特徴とする。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明に係る好適な実施形態を詳細に説明する。尚、実施形態における画像処理装置は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、アプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウエア、及びソフトウエアとして内蔵することも効果がある。
【００３６】
（第１の実施形態）
図１は、第１の実施形態の画像処理システムの構成を示すブロック図である。
【００３７】
１００、及び１０１はともに入力端子を示し、１００からは多階調の画像情報を、１０１からは、画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報は、入力端子１００にて入力される画像情報とは別の情報、例えば音声情報や、テキスト文書情報、入力端子１００にて入力される画像に関する著作権、撮影日時、撮影場所、撮影者等の諸情報、また、全く別の画像情報等、様々な応用が考えられる。
【００３８】
１０２は、付加情報多重化装置を示し、視覚的に判別しづらいように、画像情報中に付加情報を埋め込ませる装置である。この付加情報多重化装置１０２は、付加情報の多重化とともに、入力した多階調の画像情報の量子化をも司る。
【００３９】
１０３はプリンタを示し、付加情報多重化装置１０２で作成された情報をプリンタエンジンにて出力する。プリンタは、インクジェットプリンタ、レーザープリンタ等、疑似階調処理を用いることにより階調表現を実現するプリンタを想定する。
【００４０】
出力された印字物は、スキャナ１０４を用いて印字物上の情報を読み取り、付加情報分離装置１０５によって、印字物中に埋め込まれた付加情報を分離（抽出）し、出力端子１０６に出力する。
【００４１】
図２は、図１の付加情報多重化装置１０２の構成を示すブロック図である。
【００４２】
２００は色変換部を示し、入力した画像情報の色空間を変換する。いま、入力した画像情報はＲＧＢの輝度成分から構成されている情報と想定し、色変換部２００では、プリンタに記録すべき各インク色の濃度信号に変換するものとする。輝度信号から各インク色の濃度信号に変換する方法については、ルックアップテーブルを用いる方式、近似式を用いる方式等、ここでは限定しない。
【００４３】
２０１は誤差拡散処理部を示し、変換された濃度信号を誤差拡散法を用いた疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。
【００４４】
２０２はブロック化部を示し、入力された画像情報を所定領域単位に区分する。このブロック化は矩形でも良いし、矩形以外の領域に区分しても良い。
【００４５】
２０３は量子化条件制御部を示し、ブロック化部２０２にてブロック化した領域単位で量子化条件を変更、制御する。
【００４６】
量子化条件制御部２０３は、入力端子１０１で入力された付加情報に基づき、ブロック単位で量子化条件が制御される。
【００４７】
２１０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３などからなる制御部である。ＣＰＵ２１１は、ＲＯＭ２１２に保持された制御プログラムに従って、上述した各構成の動作、及び処理を制御する。ＲＡＭ２１３は、ＣＰＵ２１１の作業領域として使用される。
【００４８】
図３は、誤差拡散処理部２０１の詳細を表すブロック図である。一般的な誤差拡散処理は、文献Ｒ．Ｆｌｏｙｄ＆Ｌ．Ｓｔｅｉｎｂｅｒｇ：“Ａｎ Ａｄａｐｔｉｖｅ Ａｌｏｇｏｒｉｔｈｍ ｆｏｒ Ｓｐａｔｉａｌ Ｇｒａｙｓｃａｌｅ”，ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｐａｐｅｒ ｐｐ．３６〜３７（１９７５）に詳細が記載されている。
【００４９】
いま、量子化値が２値である誤差拡散処理を例にして説明する。尚、量子化は２値に限らず、多値、３値、４値でもよい。
【００５０】
３００は加算器を示し、各色毎に画像情報の濃度信号の注目画素値と既に２値化された周辺画素の分配された量子化誤差が加算される。量子化条件制御部３００からの量子化閾値と誤差の加算された加算結果とを比較部３０１にて比較し、所定の閾値よりも大きい場合には“１”を、それ以外では“０”を出力する。例えば、８ビットの精度で画素の階調を表現する場合には、最大値である“２５５”と最小値である“０”で表現するのが一般的である。いま、量子化値が“１”の時に、紙上にドット（インク、トナー等）が印字されると仮定する。
【００５１】
３０２は減算器を示し、量子化結果と前述した加算結果との誤差を算出し、誤差配分演算部３０３に基づいて、今後の量子化処理が施される周辺画素に誤差を配分する。誤差の配分割合は注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル３０４を予め所有しておき、配分テーブルに記された配分割合に基づいて誤差を分配する。
【００５２】
図３の配分テーブル３０４は、周囲４画素分の配分テーブルを示しているが、これに限るものではない。
【００５３】
次に量子化条件制御部２０３を含む全体の動作工程について、図４のフローチャートを基に説明する。いま、量子化値は２値である例について述べる。尚、量子化は２値に限らず、多値、３値、４値でもよい。
【００５４】
Ｓ４０１は、変数ｉの初期化を示す。変数ｉは垂直方向のアドレスをカウントする変数である。
【００５５】
Ｓ４０２は、変数ｃｏｌの初期化を示す。変数ｃｏｌは色成分を構成している色数を示す変数である。本動作工程は主走査１ライン毎に各色成分を処理していく線順次を例に説明するが、当然、他の順次方式、例えば、点順次、面順次の構成でも構わない。
【００５６】
Ｓ４０３は変数ｊの初期化を示す。変数ｊは水平方向のアドレスをカウントする変数である。続いてＳ４０４は、ｉ、ｊのアドレス値による判定工程であり、現在の処理アドレスであるｉ、ｊの座標が多重化処理を実行すべき領域に属しているか否かを判定している。
【００５７】
図５を基に多重化領域について説明する。図５は、水平画素数がＷＩＤＴＨ、垂直画素数がＨＥＩＧＨＴから成る、ひとつの画像イメージを示している。いま、この画像イメージ中に付加情報を多重化すると仮定する。画像イメージの左上を原点とし、横Ｎ画素、縦Ｍ画素でブロック化をする。本実施形態では、原点を基準点としてブロック化を行なうが、原点から離れた点を基準点として設定しても良い。この画像イメージ中に最大限の情報を多重化する場合に、Ｎ×Ｍのブロックを基準点から配置していく。すなわち、水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、以下の関係になる。
【００５８】
Ｗ＝ＩＮＴ（ＷＩＤＴＨ／Ｎ） ・・・式１
Ｈ＝ＩＮＴ（ＨＥＩＧＨＴ／Ｍ） ・・・式２
但し、ＩＮＴ（ ）は（ ）内の整数部分を示す。
【００５９】
式１、式２において割り切れない剰余画素数が、Ｎ×Ｍのブロックを複数配置した時の端部に相当し、符号多重化領域外となる。
【００６０】
図４中、Ｓ４０４にて、現在処理している注目画素が多重化領域外と判定された場合には、Ｓ４０５にて量子化条件Ｃが設定される。一方、多重化領域内と判定された場合には、多重化すべき付加情報を読み込む。いま、説明を容易にする為に、付加情報をｃｏｄｅ［ ］という配列を用いて、各１ビットづつ表現するものとする。例えば付加情報を４８ビット分の情報と仮定すると、配列ｃｏｄｅ［ ］はｃｏｄｅ［０］からｃｏｄｅ［４７］まで、各１ビットづつが格納されていることになる。
【００６１】
Ｓ４０６において、変数ｂｉｔは、以下のように配列ｃｏｄｅ［ ］内の情報を代入する。
【００６２】
ｂｉｔ＝ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］ ・・・式３
続いて、Ｓ４０７にて代入した変数ｂｉｔが“１”か否かを判定する。前述したように、配列ｃｏｄｅ［ ］内の情報は各１ビットづつ格納されている為、変数ｂｉｔの値も“０”か“１”かの何れかを示すことになる。
【００６３】
Ｓ４０７にて、“０”と判定された場合には、Ｓ４０８にて量子化条件Ａ［ｃｏｌ］を、“１”と判定された場合には、Ｓ４０９にて量子化条件Ｂ［ｃｏｌ］を設定する。量子化条件Ａ［ ］、及び、量子化条件Ｂ［ ］は、色数の変数ｃｏｌの配列にて表現されていて、変数ｃｏｌにより、量子化条件の一部の要素が異なる構成になる。量子化条件を設定する詳細説明は後述する。
【００６４】
続いてＳ４１０では、設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、図３にて説明している誤差拡散法に相当する。
【００６５】
続いて、Ｓ４１１では水平方向変数ｊをカウントアップし、Ｓ４１２にて画像の水平画素数であるＷＩＤＴＨ未満か否かを判定し、処理画素数がＷＩＤＴＨになるまで前述の処理を繰り返す。また、水平方向の処理がＷＩＤＴＨ画素数分終了すると、Ｓ４１３にて色数の変数ｃｏｌをカウントアップし、Ｓ４１４にて処理すべきトータルの色数であるＴＯＴＡＬ＿ＩＮＫ未満か否かを判定し、処理画素数がＴＯＴＡＬ＿ＩＮＫになるまで前述の処理を繰り返す。
【００６６】
また、水平方向の処理が全色において、ＷＩＤＴＨ画素数分終了すると、Ｓ４１５にて垂直方向変数ｉをカウントアップし、Ｓ４１６にて画像の垂直画素数であるＨＥＩＧＨＴ未満か否かを判定し、処理画素数がＨＥＩＧＨＴになるまで前述の処理を繰り返す。
【００６７】
以上の動作手順により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更することが可能になる。
【００６８】
続いて、量子化条件Ａ、Ｂ、Ｃの例について説明する。誤差拡散法における量子化条件は様々な要素があるが、本実施形態では量子化条件は、量子化閾値とする。量子化条件Ｃの使用は、多重化領域外である為に、量子化閾値は何でも良い。前述したように、１画素が８ビットによる階調表現で、量子化レベルが２値の場合には、最大値である“２５５”、及び、最小値である“０”が量子化代表値となるが、その中間値となる“１２８”を量子化閾値として設定することが多い。すなわち、量子化条件Ｃでは、量子化閾値を“１２８”固定とする条件にする。
【００６９】
量子化条件Ａ、量子化条件Ｂの使用は多重化領域内のブロックである為、量子化条件の違いによる画質の違いを生じさせなければならない。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、紙上から容易に識別できなくてはならない。
【００７０】
図６は、量子化条件Ａ、Ｂを表した例である。図６（ａ）は、量子化条件Ａにおける量子化閾値の変化の周期を示した図である。図中、ひとつのマスを１画素分と想定し、白いマスは固定閾値、灰色のマスを変動閾値とする。
【００７１】
すなわち、図６（ａ）の例では、横８画素、縦８画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【００７２】
図６（ｂ）は、同様に、量子化条件Ｂにおける量子化閾値の変化の周期を示した図である。図６（ｂ）の例においても、横８画素、縦８画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【００７３】
いま、前述したように１画素が８ビットの階調値の場合に、一例として、固定閾値として“１２８”、突出した閾値を“１０”と設定する。量子化閾値が低くなると、注目画素の量子化値が“１”（量子化代表値“２５５”）になりやすくなる。すなわち、図６（ａ）、（ｂ）ともに、図中の灰色のマスの並びで量子化値“１”が並びやすくなる。言い換えると、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の灰色のマスの並びでドットが発生する確率が高いブロックと、図６（ｂ）の灰色のマスの並びでドットが発生する確率が高いブロックとが混在することになる。
【００７４】
誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右する。しかし、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるため、ドットの並びが多少変化したり、テクスチャの発生が変化したり等、階調表現の画質にはほとんど影響を与えないことになる。それは、量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散される為、入力された信号値はマクロ的に保存される。すなわち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては冗長性が非常に大きいことになる。
【００７５】
さて、本実施形態では、量子化条件Ａ、Ｂ各々において、処理する色成分毎に、量子化条件を一部の要素を変更することが特徴である。図４のＳ４０６において、付加情報ｂｉｔを決定する配列ｃｏｄｅ［ ］の演算式は、色成分の変数ｃｏｌのパラメータを含んでいない。すなわち、付加情報ｂｉｔを決定する要因は、画像のアドレス座標のみに起因し、色成分には依存しない。言い換えると、同一の座標領域では全色で同一付加情報ｂｉｔを表現することになる。特開平４−２９４６８２には視覚的に目立たない黄インクを用いて付加情報を表現する提案がなされているが、単色による表現方法では、高濃度部領域等、あらゆる濃度の画像情報に対応するのは困難である。その為、本実施形態では、冗長性は増加してしまうが、単色のみで付加情報を表現するのではなく、全ての色成分を用いて付加情報を表現する。
【００７６】
図７、図８を基に色成分毎の量子化条件の違いを説明する。
【００７７】
本実施形態では、インク色が６色（シアン、淡シアン、マゼンタ、淡マゼンタ、イエロー、ブラック）有するインクジェットプリンタを想定する。淡シアン、淡マゼンタは、それぞれシアン、マゼンタと同一色材を用いたインクで、色材である染料の水分全体に対する希釈濃度のみが異なっている。
【００７８】
図７は、図４のＳ４０８、及びＳ４０９において、量子化条件Ａ、もしくは量子化条件Ｂの色成分毎に異なる要素の設定工程について説明している。
【００７９】
図７において、Ｓ７０１は、処理している色成分ｃｏｌはシアンか否かを判定している。もし、シアンであればＳ７０２において、量子化閾値を振幅変調する位相に関する変数Ｋを０にセットする。同様に、Ｓ７０３では淡シアンか否かを、Ｓ７０５ではマゼンタか否かを、Ｓ７０７では淡マゼンタか否かを、Ｓ７０９ではイエローか否かを判定している。
【００８０】
また、判定結果においても同様に、淡シアンであれば、Ｓ７０４にて変数Ｋを０にセットし、マゼンタであれば、Ｓ７０６にて変数Ｋを２にセットし、淡マゼンタであれば、Ｓ７０８にて変数Ｋを２にセットし、イエローであれば、Ｓ７１０にて変数Ｋを２にセットし、上記以外の色成分、すなわちブラックであれば、Ｓ７１１にて変数Ｋを０にセットしている。
【００８１】
変数Ｋの値が代入されると、Ｓ７１２において、予め設定してある所定の位相テーブルにおいて、変数Ｋがセットされた画素位置で量子化閾値の振幅を変調する。今、変調させる振幅をＣとし、変調前の量子化閾値をＴＨ、変調後の量子化閾値をＴＨ’とすると、
ＴＨ’＝ＴＨ−Ｃ ・・・式４
となる。すなわち、位相テーブル中、変数Ｋの画素位置においては、量子化閾値としてＴＨ’を用い、それ以外の画素位置においては、ＴＨを用いて量子化処理を行う。
【００８２】
図８において、量子化閾値を振幅変調する位相テーブルを示す。図６と同様、ひとつのマスが１画素分である。位相テーブル中の数値は、変数Ｋの値に対応する。図８（ａ）は、量子化条件Ａの位相テーブル、図８（ｂ）は量子化条件Ｂの位相テーブルを示す。図８（ａ）、（ｂ）は、それぞれ図６（ａ）、（ｂ）と発生させるべき周期性は変わらない。
【００８３】
ここで、量子化条件とは、量子化閾値を変調させる周期（周波数）、位相、振幅の各要素により構成されている。前述したように、量子化条件Ａと量子化条件Ｂとでは、この要素の内、周期の要素が異なっている。本実施形態では、この周期の違いにより印字された紙上での付加情報を表現するのであるが、これとは別に、各色成分で、位相の要素を異ならせる。つまり、シアン、淡シアン、ブラックの各色成分の量子化時は、図８（ａ）（量子化条件Ａが選択された場合）、もしくは、図８（ｂ）（量子化条件Ｂが選択された場合）の位相テーブル中の“０”の画素位置で変調をかける。
【００８４】
また、マゼンタ、淡マゼンタ、イエローの各色成分においては、同様に図８（ａ）（量子化条件Ａが選択された場合）、もしくは、図８（ｂ）（量子化条件Ｂが選択された場合）の位相テーブル中の“２”の画素位置で変調をかける。
【００８５】
このように、色毎に量子化閾値変調の位相を数画素分ずらすことによって、紙上でのドットが重なりづらくする。
【００８６】
この位相テーブルは８×８画素のものについて示したが、このテーブルを８×８画素周期で繰り返し用いることによって、容易に位相を制御することができる。
【００８７】
また、このテーブルのブロックサイズと、付加情報１ビット分を表現するブロックサイズであるＮ画素×Ｍ画素とは一致しなくても構わない。
【００８８】
また、前述した式４では、閾値を減ずる変調を示したが、例えば以下のような設定も可能である。
【００８９】
シアン、淡シアン、ブラックの量子化時において、
Ｋ＝０の時：
ＴＨ’＝ＴＨ−Ｃ
Ｋ＝２の時：
ＴＨ’＝ＴＨ＋Ｃ
マゼンタ、淡マゼンタ、イエローの量子化時において、
Ｋ＝０の時：
ＴＨ’＝ＴＨ＋Ｃ
Ｋ＝２の時：
ＴＨ’＝ＴＨ−Ｃ ・・・式５
式５により、より好ましい制御が可能になり、効果的である。
【００９０】
次に、付加情報分離装置１０５について説明する。
【００９１】
図９は、付加情報分離装置１０５の構成を示すブロック図である。
【００９２】
９００は、入力端子を示し、スキャナで読み込まれた画像情報が入力される。使用するスキャナの解像度は、印字物を作成するプリンタ解像度と同等以上が好ましい。当然、正確に印字物のドットの点在情報を読み込む為には、サンプリング定理により、スキャナ側はプリンタ側よりも２倍以上の解像度が必要になる。しかし、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能だ。本実施形態では、説明を容易にするためにプリンタ解像度とスキャナ解像度が同一解像度と想定する。
【００９３】
９０１は、幾何学的ずれ検出部を示し、スキャナで入力した画像の幾何学的ずれを検出する。当然、プリンタ出力、スキャナ入力を経ている為に、スキャナからの入力端子９００から送信される画像情報は、プリンタ出力以前の画像情報とは幾何学的に大きくずれている場合がある。
【００９４】
そこで、９０１では、印字物中の画像情報が印字されていると想定されている端部４点を検出する。いま、プリンタ解像度とスキャナ解像度が同一解像度であれば、プリンタの紙上記録時の斜行、及び、スキャナに印字物をセットする時のずれ等により、画像の回転方向（傾き）が補正すべき大きな要因となる。そのため、この端部４点を検出することにより、どの程度回転方向でずれが生じているかが判断できる。
【００９５】
９０２は、ブロック化部を示し、Ｐ×Ｑ画素単位にブロック化をする。このブロックは、多重化時にブロック化したＮ×Ｍ画素よりも小さくなければならない。すなわち、
Ｐ≦Ｎ、かつ Ｑ≦Ｍ ・・・式６
の関係が成り立つ。
【００９６】
また、Ｐ×Ｑ画素単位のブロック化は、ある一定間隔毎スキップしてブロック化を行う。すなわち、多重化時のＮ×Ｍ画素よりなるブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックがひとつ内包するようにブロック化する。スキップ画素数は、水平Ｎ画素分、垂直Ｍ画素分が基本となる。
【００９７】
９０３、９０４は、それぞれ特性の異なる空間フィルタＡ、Ｂを示し、９０５は、周辺画素との積和を演算するディジタルフィルタリング部を示している。この空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に適応して作成する。いま、多重化装置における量子化条件の変更を図６（ａ）、図６（ｂ）の２種の周期性を用いることにより付加情報を多重化したと仮定する。その時の分離装置に使用する空間フィルタＡ９０３、空間フィルタＢ９０４の例を、図１０（ａ）、図１０（ｂ）に示す。
【００９８】
図中、５×５画素の中央部が注目画素になり、それ以外の２４画素分が周辺画素になる。図中、空白部の画素は、フィルタ係数が“０”であることを表している。図から明らかな様に、図１０（ａ）、（ｂ）はエッジ強調のフィルタになっている。しかも、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図１０（ａ）は図６（ａ）に、また、図１０（ｂ）は図６（ｂ）に一致するように作成する。つまり、発生させた周期性の帯域を強調させるＢＰＦ（バンドパスフィルタ）の構成になる。
【００９９】
９０６は、特徴量検出部を示し、空間フィルタＡ９０３、及び、空間フィルタＢ９０４によるフィルタリング部９０５からのフィルタ後の変換値を基に、なんらかの特徴量を検出する手段である。検出する特徴量の例として、以下のものが考えられる。
【０１００】
１． デジタルフィルタ後のブロック内の変換値の最大値
２． デジタルフィルタ後のブロック内の変換値の最大値と最小値の差分
３． デジタルフィルタ後のブロック内の変換値の分散値
本実施形態では、上記３に示した分散値を特徴量とする。
【０１０１】
９０７は、判定部を示し、それぞれの分散値の大小比較をして、分散値が大きい方を符号と判断する。すなわち、空間フィルタＡによるフィルタリングの分散値が大きければ、印字時に量子化条件Ａで量子化されたものと推測し、反対に空間フィルタＢによるフィルタリングの分散値が大きければ、印字時に量子化条件Ｂで量子化されたものと推測する。
【０１０２】
量子化条件は、付加情報の符号（式３のｂｉｔ）に連動している為、量子化条件が識別できるということは、多重化された符号が特定できることに相当する。すなわち、量子化条件Ａと推測された場合には、ｂｉｔ＝０、量子化条件Ｂと推測された場合には、ｂｉｔ ＝１と判断できる。
【０１０３】
以上、本実施形態を説明してきたが、本実施形態の特徴は、多重化時の誤差拡散法の量子化条件を変更させて、付加情報を表現する所定の周期性を発生させる際に、色単位に量子化閾値変調の位相をずらすことである。つまり、紙上に記録するインク色が６色と仮定した場合、完全に６色とも同一位相の変調になると、以下のような欠点が生じる。
・ 各色のドットが重なる確率が増加する為、変調をかけた周期性がより強調されて視認されやすくなり、紙上でのノイズ感が増加する。
・ 各色のドットが重なる確率が増加する為、発色性が良くない。
・ 各色のドットが重なる確率が増加する為、インクの場合には、紙上で滲みやすく、紙種によっては復号が困難になる。
・ 同一位相では、単色ごとの規則的な低周波成分のノイズを視覚的に隠すことができない。つまり、複数のインクが隙間を埋めることによる重畳作用により視覚的に高周波成分に見せかけることができない。
【０１０４】
上記欠点に対して、量子化閾値変調を施す位相を各色ごとに変化させることで解決することができる。
【０１０５】
すなわち、紙上での画質、及び復号性能の両面で有効になる。
【０１０６】
しかし、この位相の変化は実験的に最適なものを設定する必要がある。
【０１０７】
例えば、同一色材による濃インクと淡インクでは、同一位相が好ましい。これは、異なる位相にした場合には、付加情報表現の為に発生させた偏りが位相のずれの為に減少し、復号が困難になる場合があるからである。また、異なる色材においても、各インク色が、スキャナで使用するＲＧＢフィルタの完全な補色になっていれば問題ないが、そのような理想的なフィルタ、及び理想的なインクともになく、当然のごとく、各色相互で分光分布のクロストーク成分が多い。その為、実験的にクロストークが多い色成分同士は同一位相にする方が好ましい。
【０１０８】
また、本実施形態では６色インクを例にして説明してきたが、当然、これ以上、もしくは、これ以下のインク色の構成でも良い。
【０１０９】
また、他の色空間による色成分でも適応できるのは勿論である。
【０１１０】
以上のように上記第１の実施形態によれば、カラー画像を入力し、入力されたカラー画像を所定の色成分（シアン、淡シアン、マゼンタ、淡マゼンタ、イエロー、ブラック）毎に誤差拡散法により量子化し、画像に埋め込む所定の情報に応じて、量子化閾値を振幅変調させる周期性を制御し、前記色成分のうち少なくともひとつの色成分において、量子化閾値を振幅変調させる位相を他の色成分とは異ならせるようにする制御することにより、ノイズ感、画質劣化を軽減し、また、紙上からの抽出性能を向上させることができる。
【０１１１】
（第２の実施形態）
図１１は、第２の実施形態における付加情報多重化装置の構成を示す図である。図１１は図２に示した付加情報多重化装置と一部異なっているので、同一部には同一符号を付して異なる点のみ説明する。
【０１１２】
図１１において、１１００は、ブロック内平均濃度算出部であり、付加情報１ビット分を表現するＮ×Ｍ画素のブロック内の特定の色の平均濃度を算出する。算出した平均濃度の情報は量子化条件制御部１１０１へ送信され、前述した第１の実施形態と同様に量子化閾値を制御する。
【０１１３】
量子化条件制御部に１１０１おいて、量子化条件Ａ、もしくは量子化条件Ｂへの決定は、図４に示した動作手順と同様である為に省略する。本実施形態では、算出したブロック内の平均濃度は、色成分毎の量子化閾値を振幅変調する位相決定に用いる。
【０１１４】
図１２は、図４のＳ４０８、及びＳ４０９において、量子化条件Ａ、もしくは量子化条件Ｂの色成分毎に異なる位相の設定工程について説明している。
【０１１５】
図１２において、Ｓ１２０１では、ブロック内平均濃度算出部１１００で算出した平均濃度を参照する。シアン、淡シアン、マゼンタ、淡マゼンタの各平均濃度を、それぞれ、Ｄ＿Ｃｙａｎ、Ｄ＿ＬＣｙａｎ、Ｄ＿Ｍａｇｅｎｔａ、Ｄ＿ＬＭａｇｅｎｔａとおく。
【０１１６】
続いて、Ｓ１２０２において、以下の判定を行う。
【０１１７】
（Ｄ＿Ｃｙａｎ＞Ｄ＿ＴＨ ｏｒ Ｄ＿ＬＣｙａｎ＞Ｄ＿ＴＨ）
かつ、
（Ｄ＿Ｍａｇｅｎｔａ＞Ｄ＿ＴＨ ｏｒ Ｄ＿ＬＭａｇｅｎｔａ＞Ｄ＿ＴＨ）・・・式７
ここで、Ｄ＿ＴＨは予め設定している閾値である。
【０１１８】
式７は、シアン、もしくは淡シアンの平均濃度、及び、マゼンタ、もしくは淡マゼンタの平均濃度が共に高いか否かを判定している。すなわち、ブロック内に印字されるインク量が多いか否かを判定している。
【０１１９】
もし、シアン系、マゼンタ系共に印字されるインク量が多い場合には、Ｓ１２０３において、量子化閾値を変調させる位相の組み合わせＱ１を選択し、もし否であれば、Ｓ１２０４において、量子化閾値を変調させる位相の組み合わせＱ２を選択する。組み合わせＱ１，Ｑ２は前述した各色のＫの値が格納されていて、以下のような組み合わせになっている。
【０１２０】

位相の組み合わせが決定すると、Ｓ１２０５では、位相テーブルのＫの画素位置で量子化閾値の振幅を変調する。振幅変調については前述した実施例と同様の為、説明は省略する。
【０１２１】
本実施形態では、他の色成分の濃度を参照して、位相を決定する方法が特徴である。すなわち、インクが多く印字されるブロックには、前述したようにドットが重なり紙上での滲みが発生しないように分散して印字するように位相をずらす。また、インクが少ない領域では、シアン系インク、マゼンタ系インクの分光分布のクロストーク成分により復号性能が悪影響を受けないように同一位相に制御する。
【０１２２】
このように、他の色成分の濃度を参照することにより、より細かい制御が可能になる。
【０１２３】
また、Ｑ１，Ｑ２の組み合わせは一例であり、これに限るものではない。組み合わせの数も３種以上でも良い。
【０１２４】
また、ブロック内の平均濃度をシアン系、マゼンタ系の４色のみを算出したが、これに限るものではない。当然、これ以上でもこれ以下でも良い。
【０１２５】
以上、付加情報多重化装置、及び、付加情報分離装置の各々について説明してきたが、この組み合わせに限定するものではない。
【０１２６】
以上のように上記実施形態によれば、カラー画像の各色成分毎の濃度を判定し、その結果により、量子化閾値を振幅変調させる位相の設定を行うので、ノイズ感、画質劣化を軽減し、また、紙上からの抽出性能を向上させることができる。
【０１２７】
（その他の実施形態）
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【０１２８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
【発明の効果】
以上説明したように、本発明によれば、誤差拡散法の量子化条件変更に伴うテクスチャ発生の変化を付加情報の埋め込みに利用することにより、画像情報に付加情報を埋め込む際に、付加情報埋の埋め込みによる画質劣化等が視認されず、かつ、容易に抽出可能な埋め込み方法、及び抽出方法が実現できる。また、カラープリンタを使用時に、各色毎に量子化閾値変調の位相をずらすことにより、ノイズ感、画質劣化を軽減し、また、紙上からの抽出性能が向上する。
【０１３１】
また、本発明により、容易に画像情報への付加情報の多重化が実現できる為、画像情報中に音声情報や秘匿情報を埋め込むサービス、アプリケーションが提供できる。また、紙幣、印紙、有価証券等の不正な偽造行為を抑制したり、画像情報の著作権侵害を防止したりすることができる。
【図面の簡単な説明】
【図１】第１の実施形態の画像処理システムを示すブロック図
【図２】図１の付加情報多重化装置を示すブロック図
【図３】図２の誤差拡散処理部を示す要部ブロック図
【図４】量子化制御部を含む多重化処理の動作工程を示すフローチャート
【図５】ブロック化の一例
【図６】量子化条件における量子化閾値変化の一例
【図７】図２の量子化制御手段において色毎に位相を設定する動作工程を示すフローチャート
【図８】位相テーブルの一例
【図９】図１の付加情報分離装置を示す要部ブロック図
【図１０】図９の空間フィルタの一例
【図１１】第２の実施形態を示す付加情報多重化装置を示す要部ブロック図
【図１２】図１０の量子化制御部において色毎に位相の組み合わせを設定する動作工程を示すフローチャート
【図１３】従来法の多重化の一例を示すブロック図
【図１４】従来法の多重化の一例を示すブロック図
【図１５】従来法の多重化の一例を示すブロック図
【図１６】従来法の分離の一例を示すブロック図

Claims (7)

1. カラー画像に対して所定の情報を埋め込む画像処理装置であって、
   カラー画像を入力する入力手段と、
   前記入力されたカラー画像を所定の色成分単位に誤差拡散法により量子化する量子化手段と、
   前記所定の情報に応じて、前記量子化手段による量子化閾値を振幅変調させる周期性を制御する量子化条件制御手段とを有し、
   前記量子化条件制御手段は、前記色成分のうち少なくともひとつの色成分において、量子化閾値を振幅変調させる位相を他の色成分とは異ならせるように制御することを特徴とする画像処理装置。
2. 前記色成分とは、前記カラー画像を像形成するべく色材に対応する色成分であることを特徴とする請求項１記載の画像処理装置。
3. 前記色材において、同一の染料、もしくは同一の顔料から構成され、染料濃度、もしくは顔料濃度を変化させた色材同士においては、前記位相を異ならせないことを特徴とする請求項２記載の画像処理装置。
4. 前記量子化条件制御手段は、前記入力されたカラー画像の各色成分毎の濃度を判定した結果に基づいて、前記位相の設定を制御することを特徴とする請求項１記載の画像処理装置。
5. カラー画像に対して所定の情報を埋め込む画像処理方法であって、
   カラー画像を入力する入力工程と、
   前記入力されたカラー画像を所定の色成分単位に誤差拡散法により量子化する量子化工程と、
   前記所定の情報に応じて、前記量子化工程による量子化閾値を振幅変調させる周期性を制御する量子化条件制御工程とを有し、
   前記量子化条件制御工程は、前記色成分のうち少なくともひとつの色成分において、量子化閾値を振幅変調させる位相を他の色成分とは異ならせるように制御することを特徴とする画像処理方法。
6. コンピュータ上で実行されることによって、請求項５の画像処理方法を実現するプログラム。
7. 請求項６記載のプログラムを記録した記録媒体。

Images