JP3787511B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP3787511B2
JP3787511B2 JP2001293851A JP2001293851A JP3787511B2 JP 3787511 B2 JP3787511 B2 JP 3787511B2 JP 2001293851 A JP2001293851 A JP 2001293851A JP 2001293851 A JP2001293851 A JP 2001293851A JP 3787511 B2 JP3787511 B2 JP 3787511B2
Authority
JP
Japan
Prior art keywords
image
recording medium
area
embedding
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001293851A
Other languages
Japanese (ja)
Other versions
JP2003101760A (en
Inventor
信孝 三宅
稔 日下部
清 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001293851A priority Critical patent/JP3787511B2/en
Priority to US10/247,519 priority patent/US7408680B2/en
Publication of JP2003101760A publication Critical patent/JP2003101760A/en
Application granted granted Critical
Publication of JP3787511B2 publication Critical patent/JP3787511B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Record Information Processing For Printing (AREA)
  • Cleaning In Electrography (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、画像情報中に、該画像情報とは別の情報、例えば音声情報や、テキスト文書情報、画像に関する諸情報、全く別の画像情報等を付加情報として、視覚的に目立たぬように埋め込む画像処理に関する。
【0002】
【従来の技術】
従来より、画像情報中に、画像に関連のある他の情報を多重化する研究が盛んに行われている。近年では、電子透かし技術と称し、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報を視覚的に判別しづらい様に多重化して、インターネット等のネットワークを通じて流通する技術が標準化されつつある。
【0003】
また、他の応用分野としては、複写機、プリンタ等の画像出力装置の高画質化に伴い、紙幣、印紙、有価証券等の不正な偽造を防止する目的で、紙上に出力された画像から出力機器、及び、その機体番号を特定する為に、画像中に付加情報を埋め込む技術がある。
【0004】
例えば、特開平7−123244では、視覚的に感度の低い色差成分、及び彩度成分の高周波域に付加情報を埋め込むことにより情報の多重化を行う技術を提案している。
【0005】
しかし、前述した技術は以下の問題点がある。図16は、電子透かし技術の一般的な付加情報の埋め込みを示した図である。画像情報Aと付加情報Bが加算器1601を介して多重化され、Cという多重化情報に変化する。図16は画像情報の実空間領域で付加情報を多重化する例である。この多重化情報Cを各種フィルタリング等の画像処理や、非可逆圧縮等の符号化をせずに流通することが可能であれば、多重化情報Cから付加情報Bを復号することは従来技術でも容易である。インターネット上で流通する画像情報では、多少のノイズ耐性があれば、エッジ強調、平滑化等の画質向上のデジタルフィルタを通しても復号が可能になる。
【0006】
しかし、今、多重化した画像をプリンタ等の出力装置により印字し、その印字物から付加情報を取り出す場合を想定する。しかも、使用するプリンタが単色あたり2階調から数階調程度の表現能力しか有していないプリンタ出力を想定する。近年、インクジェットプリンタは、染料濃度を薄くしたインクを有したり、出力するドット径を可変に制御したりして、単色あたり数階調表現できる装置が上市されているが、それでも疑似階調処理を用いない限り、写真調の画像の階調性は表現できない。
【0007】
すなわち、図16の電子透かし技術を用いた多重化方法をプリンタに出力するという前述の想定では、図17に示すように、疑似階調処理部1701により多重化情報CはDという量子化情報に変化し、その後、プリンタ出力部1702にて紙上に印字されることにより、非常に劣化したEという紙上情報(印字物)に変化する。従って、前述した偽造防止の目的の為に紙上の情報から付加情報を復号するということは、図17の一連の処理後の紙上情報Eから付加情報Bを復号することになるわけである。この1701、1702の両処理による情報の変化量は非常に大きく、視覚的に判別できないように付加情報を多重化し、かつ、多重化した付加情報を紙上から正しく復号することは非常に困難なことになる。
【0008】
また、図18は、実空間領域ではなく、画像情報をフーリエ変換等を用い、周波数領域に変換してから高周波域等に合成する従来の電子透かし技術の例を示している。図18において、画像情報を直交変換処理1801により周波数領域に変換し、加算器1802により、視覚的に判別しづらい特定の周波数に付加情報が加算される。逆直交変換処理1803により再び実空間領域に戻された後に、図17の例と同様に、疑似階調処理部、プリンタ出力部という大きな変化を伴うフィルタを通ることに相当する。
【0009】
図19では、紙上からの付加情報の分離の処理を示している。すなわち、印字物をスキャナ等の画像読取部を介して、印字物の情報をスキャナ入力1901する。入力された情報は、疑似階調処理部により階調表現されている画像である為に、逆疑似階調処理部である復元処理1902を施す。復元処理は、LPF(ローパスフィルタ)を用いるのが一般的である。復元後の情報を1903により直交変換処理させた後に、分離処理1904において、特定の周波数の電力から埋め込んだ付加情報の分離を行う。
【0010】
以上の図18、図19から明らかなように、付加情報を多重化してから分離するまでに、複雑な多数の処理工程を通過することがわかる。カラー画像の場合には、この一連の処理工程の中にプリンタ特有の色に変換する色変換処理も含まれることになる。このような複雑な処理工程でも良好な分離を実現するためには、非常に耐性の強い信号を入れなくてはならない。良好な画質を維持しつつ、耐性の強い信号を入れるのは困難である。また、処理工程が多数、複雑ということは、多重化、及び分離に要する処理時間が非常に長くなってしまう。
【0011】
また、前述した特開平7−123244では、高周波域に情報を付加させているが、後段の疑似階調処理で、誤差拡散法を実施した場合には、誤差拡散法特有のハイパスフィルタの特性により、付加情報の帯域が誤差拡散で発生するテクスチャの帯域に埋没してしまい、復号に失敗する恐れが多分にある。また、復号には非常に精度の高いスキャナ装置が必要になる。すなわち、疑似階調処理が前提である場合には、図17、図18の方式は適さないことがわかる。言い換えると、疑似階調処理の特性を大きく活かした付加情報の多重化方式が必要になる。
【0012】
付加情報の多重化と疑似階調処理の冗長性とを結び付けた例として、特登録2640939、特登録2777800がある。
【0013】
前者は、組織的ディザ法にて2値化する際に、同一階調を表すディザマトリクスの中からいづれか一つを選定することによって、画像信号中にデータを混入するものである。しかし、組織的ディザ法では、高解像の、しかも機械的精度の非常に優れたプリンタで無い限り、写真調の高画質の出力は困難である。多少の機械的精度のずれが、横筋等の低周波のノイズとして発生し、紙上では容易に視覚されてくるからである。また、ディザマトリクスを周期的に変化させると、規則的に配列されていたディザにより発生する特定周波数の帯域が乱され、画質的に悪影響を及ぼす。
【0014】
また、ディザマトリクスの種類により階調表現能力が大きく異なる。特に紙上においては、ドットの重なり等における面積率の変化がディザマトリクスによって異なる為、たとえ信号上では均一濃度である領域でもディザマトリクスの切り替えで濃度の変化を引き起こすことも考えられる。また、復号(分離)側にとって、原信号である画像情報の画素値が不明な状態で、いかなるディザマトリクスで2値化されたかを推測する復号方法では、誤った復号をしてしまう可能性が非常に大きい。
【0015】
また、後者は、カラーのディザパターン法を用いて、その配列により付加情報を多重化する方法である。この方法でも前者と同様、切り換えにより画質劣化は避けられない。また、前者と比べて、より多くの付加情報を多重化できる代わりに、色成分の配列を変化させることによる色見の変化をもたらし、特に平坦部において画質劣化が大きくなる。また、紙上での復号も更に困難になることが予想される。
【0016】
いずれにしても、ディザマトリクスを変化させる両者の方法では、画質劣化が大きい割に、復号が困難という問題点を有している。
【0017】
そこで、本発明の出願人は、先に、誤差拡散法によって生じるテクスチャを利用し、通常の疑似階調処理では発生し得ない量子化値の組み合わせを人工的に作成することにより符号の埋め込みを行う方法を提案した。
【0018】
この方法は、テクスチャの形状が微視的に多少変化するだけなので、視覚的には画質が劣化するものではない。また、誤差拡散法の量子化閾値を変更する方法を用いれば、視覚的に面積階調の濃度値も保たれる為、極めて容易に異種信号の多重化が実現できる。
【0019】
しかし、前述の提案によると、復号側では、テクスチャが人工的であるか否かを判別しなくてはならない。紙上に出力した印字物では、ドットのよれ等の所望の着弾点位置からのずれにより、テクスチャが良好に再現できない場合がある。
【0020】
また、カラー画像においては、最も視覚的に感度の低い色成分に多重化する方法が主流であるが、実空間領域でのテクスチャの判別は、他の色成分の影響を受けやすく、多重化情報の分離が困難なものになってしまう。
【0021】
また、本出願人は、前述した問題点を解決する為に、誤差拡散法の量子化閾値自身を所定の周期性で振幅変調し、この閾値変調の周期性を領域単位に複数種類制御することによって、擬似階調処理の量子化値の発生確率を制御し、この周期性に基づき符号を埋め込む方法を提案した。
【0022】
この方法は、前述したテクスチャの位置や形状を判別する方法に比べ、符号を形成している位相情報よりも、複数の所定周波数帯域での相対的な電力情報が重要な復号因子になる為、紙上においても良好な復号が実現できる。
【0023】
【発明が解決しようとする課題】
しかし、前述した提案には以下のような問題点がある。すなわち、印字物を作成するプリンタによっては、機械的精度が優れていない場合がある。
【0024】
インクジェットプリンタを想定した場合には、インクを飛翔させて記録媒体に付着させているが、当然、飛翔したインク滴が、想定される着弾点位置とずれることが多々発生する。記録紙を搬送する1ライン上でドットのヨレが発生した場合には、視覚的には目立ちやすくなる為、同一ライン上の記録を間引いて構成し、複数のノズルによる複数回の走査で印字する方法が一般的になっている。
【0025】
一方、プリンタの機械的構成より、記録紙が搬送する工程において、搬送に使用する各種ローラに記録紙が突入する場合や、記録紙がローラから外れる場合には、印字最中の記録紙の衝撃振動により画質が乱れる場合がある。前述したように、同一ライン上を複数走査に分けて印字することが多い為、印字の乱れは複数ラインにも影響し、紙上で所定の幅を持って画質の劣化をきたす。
【0026】
また、記録紙左右の端部においても、印字精度が記録紙中心部よりも劣る可能性がある。
【0027】
つまり、画質は紙上で均一ではなく、プリンタ固有の機械的構成により、相対的に良好な部分と劣悪な部分とが存在する。画質の劣悪な部分は、画像情報に機械的なノイズ成分が重畳されていると見なすことが出来る。
【0028】
前述した本出願人の提案による印字物からの付加情報の分離を考えた場合に、紙上で画質が均一ではない状態では復号(抽出)が困難になる場合がある。つまり、画質が相対的に良好な部分では、簡単に付加情報が分離できる場合でも、画質の劣悪な部分では、重畳されたノイズの為に分離に失敗する可能性があるという問題点があった。
【0029】
しかし、分離の失敗を回避する為に、全体的に強固に多重化を施すと、多重化による画質劣化が目立ってしまう。また、復号側においても、分離の失敗を回避する為に、紙上全面に渡って精度の高い復号方式を用いると、処理時間が増大してしまう。
【0030】
本発明は、上記課題を解決するためになされたものであり、情報付加部、情報抽出部における画質の制御、及び、抽出精度の最適設計が実現できる画像処理装置及び画像処理方法を提供することを目的とする。
【0031】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、画像を入力する入力手段と、前記入力された画像に対して所定の情報を所定の埋め込み方法に従って埋め込む埋め込み手段と、前記所定の情報が埋め込まれた画像を記録媒体に印字する印字手段と、装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記埋め込み手段による埋め込みの強度を、前記端部領域以外の領域に対応する画像に対する前記埋め込み手段による埋め込みの強度よりも強く設定する設定手段とを有する。
【0032】
また、上記目的を達成するために、本発明の画像処理方法は、画像を入力する入力工程と、前記入力された画像に対して所定の情報を所定の埋め込み方法に従って埋め込む埋め込み工程と、前記所定の情報が埋め込まれた画像を記録媒体に印字する印字工程と、装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記埋め込み工程による埋め込みの強度を、前記端部領域以外の領域に対応する画像に対する前記埋め込み工程による埋め込みの強度よりも強く設定する設定工程とを有することを特徴とする。
【0033】
また、上記目的を達成するために、本発明の画像処理装置は、記録媒体を読み取って所定の情報が埋め込まれた画像を入力する入力手段と、前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出手段と、装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記抽出手段による抽出の強度を、前記端部領域以外の領域に対応する画像に対する前記抽出手段による抽出の強度よりも強く設定する設定手段とを有することを特徴とする。
【0034】
また、上記目的を達成するために、本発明の画像処理方法は、画像処理方法所定の情報が埋め込まれた画像を入力する入力工程と、前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出工程と、装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記抽出工程による抽出の強度を、前記端部領域以外の領域に対応する画像に対する前記抽出工程による抽出の強度よりも強く設定する設定工程とを有することを特徴とする。
【0035】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。尚、本実施形態における画像処理装置は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、アプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウエア、及びソフトウエアとして内蔵することも効果がある。
【0036】
(第1の実施形態)
図1は、第1の実施形態の画像処理システムの構成を表すブロック図である。
【0037】
100、101、102はともに入力端子を示し、100からは多階調の画像情報を、101からは、画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報は、入力端子100にて入力される画像情報とは別の情報、例えば音声情報や、テキスト文書情報、入力端子100にて入力される画像に関する著作権、撮影日時、撮影場所、撮影者等の諸情報、また、全く別の画像情報等、様々な応用が考えられる。
【0038】
102からは、画像情報が出力する1ページ内に、画像イメージや文書がどのようにレイアウトされたかを表すページ内座標情報が入力される。ページ内のレイアウトは、自由に画像イメージや文書を配置させるアプリケーションソフトにより、容易に作成することができる。当然、ページ内に文字等の文書情報を含めず、画像イメージのみを紙上全面に配置することも可能である。
【0039】
103は、付加情報多重化装置を示し、視覚的に判別しづらいように、画像情報中に付加情報を埋め込ませる装置である。この付加情報多重化装置103は、付加情報の多重化とともに、入力した多階調の画像情報の量子化をも司る。
【0040】
104はプリンタを示し、付加情報多重化装置103で作成された情報をプリンタエンジンにて出力する。プリンタ104は、インクジェットプリンタ、レーザープリンタ等、疑似階調処理を用いることにより階調表現を実現するプリンタを想定する。
【0041】
出力された印字物は、スキャナ105を用いて印字物上の情報を読み取り、付加情報分離装置106によって、印字物中に埋め込まれた付加情報を分離し、出力端子107に出力する。
【0042】
図2は、図1の付加情報多重化装置103の構成を示すブロック図である。
【0043】
200は誤差拡散処理部を示し、入力された画像情報を誤差拡散法を用いた疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。
【0044】
201はブロック化部を示し、入力された画像情報を所定領域単位に区分する。このブロック化は矩形でも良いし、矩形以外の領域に区分しても良い。
【0045】
202は量子化条件制御部を示し、201にてブロック化した領域単位で量子化条件を変更、制御する。量子化条件制御部202は、入力端子101で入力された付加情報、及び102で入力された画像情報のページ内座標情報に基づき、ブロック単位で量子化条件が制御される。
【0046】
210は、CPU211、ROM212、RAM213などからなる制御部である。CPU211は、ROM212に保持された制御プログラムに従って、上述した各構成の動作、及び処理を制御する。RAM213は、CPU211の作業領域として使用される。
【0047】
図3は、誤差拡散処理部200の詳細を表すブロック図である。一般的な誤差拡散処理は、文献R.Floyd&L.Steinberg:“An Adaptive Alogorithm for Spatial Grayscale”,SID Symposium Digest of Paper pp.36〜37(1975)に詳細が記載されている。
【0048】
いま、量子化値が2値である誤差拡散処理を例にして説明する。尚、量子化値は2値に限らず、多値、例えば3値、4値でもよい。
【0049】
300は加算器を示し、入力された画像情報の注目画素値と既に2値化された周辺画素の分配された量子化誤差が加算される。量子化条件制御部202からの量子化閾値と誤差の加算された加算結果とを比較部301にて比較し、所定の閾値よりも大きい場合には“1”を、それ以外では“0”を出力する。例えば、8ビットの精度で画素の階調を表現する場合には、最大値である“255”と最小値である“0”で表現するのが一般的である。いま、量子化値が“1”の時に、紙上にドット(インク、トナー等)が印字されると仮定する。
【0050】
302は減算器を示し、量子化結果と前述した加算結果との誤差を算出し、誤差配分演算部303に基づいて、今後の量子化処理が施される周辺画素に誤差を配分する。誤差の配分割合は注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル304を予め所有しておき、配分テーブルに記された配分割合に基づいて誤差を分配する。
【0051】
図3の配分テーブル304は、周囲4画素分の配分テーブルを示しているが、これに限るものではない。
【0052】
次に量子化条件制御部202を含む全体の動作手順について、図4のフローチャートを基に説明する。いま、量子化値は2値である例について述べる。尚、量子化値は2値に限らず、多値、例えば3値、4値でもよい。
【0053】
S401は、変数iの初期化を示す。変数iは垂直方向のアドレスをカウントする変数である。
【0054】
S402は、変数jの初期化を示す。変数jは水平方向のアドレスをカウントする変数である。変数i、jともに画像情報の開始点(画像イメージの左上とする)からの相対座標とする。
【0055】
続いてS403は、i、jのアドレス値による判定工程であり、現在の処理アドレスであるi、jの座標が多重化処理を実行すべき領域に属しているか否かを判定している。
【0056】
図5を基に多重化領域について説明する。
【0057】
図5は、水平画素数がWIDTH、垂直画素数がHEIGHTから成る、ひとつの画像イメージを示している。いま、この画像イメージ中に付加情報を多重化すると仮定する。画像イメージの左上を原点とし、横N画素、縦M画素でブロック化をする。本実施形態では、原点を基準点としてブロック化を行なうが、原点から離れた点を基準点として設定しても良い。この画像イメージ中に最大限の情報を多重化する場合に、N×Mのブロックを基準点から配置していく。すなわち、水平方向に配置可能なブロック数をW、垂直方向に配置可能なブロック数をHとすると、以下の関係になる。
【0058】
W=INT(WIDTH/N) ・・・式1
H=INT(HEIGHT/M) ・・・式2
但し、INT( )は( )内の整数部分を示す。
【0059】
式1、式2において割り切れない剰余画素数が、N×Mのブロックを複数配置した時の端部に相当し、符号多重化領域外となる。
【0060】
図4中、S403にて、現在処理している注目画素が多重化領域外と判定された場合には、S404にて量子化条件Cが設定される。一方、多重化領域内と判定された場合には、多重化すべき付加情報を読み込む。いま、説明を容易にする為に、付加情報をcode[ ]という配列を用いて、各1ビットづつ表現するものとする。
【0061】
S405において、変数bitは、以下のように配列code[ ]内の情報を代入する。
【0062】
bit=code[INT(i/M)×W+INT(j/N)] ・・・式3
続いて、S406にて代入した変数bitが“1”か否かを判定する。前述したように、配列code[ ]内の情報は各1ビットずつ格納されている為、変数bitの値も“0”か“1”かの何れかを示すことになる。
【0063】
S406にて、“0”と判定された場合には、S407にて量子化条件Aを、“1”と判定された場合には、S408にて量子化条件Bを設定する。
【0064】
続いてS409、S410において、処理している注目画素位置の評価を行うが、画像イメージ原点からの相対座標ではなく、ページ内での絶対座標で評価する。
【0065】
図6を基にページ内レイアウトについて説明する。
【0066】
図6において、ページ原点からの絶対距離が水平方向に(image_j)画素、垂直方向に(image_i)画素の位置に、多重化に使用する画像イメージが配置されているレイアウトの例を示している。図中ハッチング部分が画像イメージを示している。
【0067】
図7は、プリンタで出力する1ページ分の紙を想定し、印字が良好になる部分と、劣悪になる部分との2種に分類している例について示す。前述したように、印字中に各種ローラから記録紙が外れる瞬間、或いは印字中に各種ローラに記録紙が突入する瞬間に、その衝撃振動により、印字が劣悪になる場合が生じることが多い。これは、プリンタ固有の機械的構成に依存して異なる。
【0068】
図7では、ローラから記録紙がはずれた時の印字領域(斜線部)をinferior area、その他の領域をgood areaとしている。当然、使用する紙サイズ毎に分類わけしておく方が好ましい。また、inferior area 、good areaの2種ではなく、画質のレベルに応じて、より多数の分類分けをしても良い。これらの分類分けはプリンタ固有のものである為、実験的に求めていくのが好ましい。
【0069】
さて、図6、図7の例では、多重化に使用する画像イメージ中にinferior areaが存在することになるが、この判定をS409、S410にて行う。
【0070】
S409、S410ではともに、現在の注目画素のページ内の絶対座標となる(image_i+i、image_j+j)がgood area内であるか否かを判定する。
【0071】
S409にて、否と判定された場合には、S411にて量子化条件を量子化条件Aから量子化条件A’に変更し、S410にて、否と判定された場合には、S412にて量子化条件を量子化条件Bから量子化条件B’に変更する。
【0072】
続いてS413では、設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、図3にて説明している誤差拡散法に相当する。
【0073】
続いて、S414では水平方向変数jをカウントアップし、S415にて画像の水平画素数であるWIDTH未満か否かを判定し、処理画素数がWIDTHになるまで前述の処理を繰り返す。また、水平方向の処理がWIDTH画素数分終了すると、S416にて垂直方向変数iをカウントアップし、S417にて画像の垂直画素数であるHEIGHT未満か否かを判定し、処理画素数がHEIGHTになるまで前述の処理を繰り返す。
【0074】
以上の動作手順により、N×M画素よりなるブロック単位で、量子化条件を変更することが可能になる。
【0075】
続いて、量子化条件A、B、C、及びA’、B’の例について説明する。誤差拡散法における量子化条件は様々な因子があるが、本実施形態では量子化条件は、量子化閾値とする。量子化条件Cの使用は、多重化領域外である為に、量子化閾値は何でも良い。前述したように、1画素が8ビットによる階調表現で、量子化レベルが2値の場合には、最大値である“255”、及び、最小値である“0”が量子化代表値となるが、その中間値となる“128”を量子化閾値として設定することが多い。すなわち、量子化条件Cでは、量子化閾値を“128”固定とする条件にする。
【0076】
量子化条件A、量子化条件Bの使用は多重化領域内のブロックである為、量子化条件の違いによる画質の違いを生じさせなければならない。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、紙上から容易に識別できなくてはならない。
【0077】
図8は、量子化条件A、Bを表した例である。図8(a)は、量子化条件Aにおける量子化閾値の変化の周期を示した図である。図中、ひとつのマスを1画素分と想定し、白いマスは固定閾値、灰色のマスを変動閾値とする。すなわち、図8(a)の例では、横8画素、縦4画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【0078】
図8(b)は、同様に、量子化条件Bにおける量子化閾値の変化の周期を示した図である。図8(b)の例では、図8(a)とは異なり、横4画素、縦8画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【0079】
いま、前述したように1画素が8ビットの階調値の場合に、一例として、固定閾値として“128”、突出した閾値を“48”と設定する。量子化閾値が低くなると、注目画素の量子化値が“1”(量子化代表値“255”)になりやすくなる。すなわち、図8(a)、(b)ともに、図中の灰色のマスの並びで量子化値“1”が発生しやすくなる。言い換えると、N×M画素のブロック毎に、図8(a)の灰色のマスの並びでドットが発生するブロックと、図8(b)の灰色のマスの並びでドットが発生するブロックとが混在することになる。当然、N×M画素の同一ブロック内では、図8(a)、もしくは図8(b)のマトリクスを繰り返すことになる。
【0080】
誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右する。しかし、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるため、ドットの並びが多少変化したり、テクスチャの発生が変化したり等、階調表現の画質にはほとんど影響を与えないことになる。それは、量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散される為、入力された信号値はマクロ的に保存される。すなわち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては冗長性が非常に大きいことになる。
【0081】
また、前述した例は、単純に変数bitの値が“0”の時には量子化条件A、“1”の時には量子化条件Bとして切り替えていたが、これに限るものではない。量子化条件の組み合わせによって変数bitを表現することも可能である。例えば、図9に示した様に、N×M画素のブロックを更に4つの小ブロックに分割し、変数bitの値が“0”の時には図9(a)の配置を、“1”の時には、図9(a)の配置を使用して量子化することで違いを出すことも可能である。
【0082】
さて、量子化条件A’、B’も量子化条件の変更周期は、量子化条件A、Bと同じである。ただ、量子化条件A’、B’を使用する場所は、プリンタの機械的ノイズにより画質が劣化する領域である。その為、多重化を強固にかける必要がある。そこで、多重化を強固にかける為に、本実施形態では、閾値を変調する振幅を大きく設定する。例えば、量子化条件A,Bでの量子化閾値の変調では、通常の閾値“128”を“48”に変更設定していたが、量子化条件A’、B’では、通常の閾値“128”を“16”に変更設定する。当然、所望のドットが発生する確率が増加する為、分離処理は容易になるが、多重化処理による画質が劣化する。但し、もともと、inferior areaでは、機械的ノイズが発生することにより画質が乱れている為、強固な多重化を実行しても、視覚的にはほとんど影響はない。
【0083】
次に、付加情報分離装置106について説明する。
【0084】
図10は、付加情報分離装置106の構成を示すブロック図である。
【0085】
1000は、入力端子を示し、スキャナで読み込まれた画像情報が入力される。使用するスキャナの解像度は、印字物を作成するプリンタ解像度と同等以上が好ましい。当然、正確に印字物のドットの点在情報を読み込む為には、サンプリング定理により、スキャナ側はプリンタ側よりも2倍以上の解像度が必要になる。しかし、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能である。本実施形態では、説明を容易にするためにプリンタ解像度とスキャナ解像度が同一解像度と想定する。
【0086】
1001は、幾何学的補正部を示し、スキャナで読み込まれた印字物の回転、及び、伸縮の補正をする。この幾何学的補正部1001については公知の様々な方法が考えられる。
【0087】
1002は、ブロック化部を示し、P×Q画素単位にブロック化をする。このブロックは、多重化時にブロック化したN×M画素よりも小さくなければならない。すなわち、
P≦N、かつ Q≦M ・・・式4
の関係が成り立つ。
【0088】
また、P×Q画素単位のブロック化は、ある一定間隔毎スキップしてブロック化を行う。すなわち、多重化時のN×M画素よりなるブロックと想定される領域内に、P×Q画素単位のブロックがひとつ内包するようにブロック化する。スキップ画素数は、水平N画素分、垂直M画素分が基本となる。
【0089】
1003、1004は、それぞれ特性の異なる空間フィルタA、Bを示し、1005は、周辺画素との積和を演算するディジタルフィルタリング部を示している。この空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に適応して作成する。
【0090】
いま、付加情報多重化装置103における量子化条件の変更を図8(a)、図8(b)の2種の周期性を用いることにより付加情報を多重化したと仮定する。その時の分離装置に使用する空間フィルタA1003、空間フィルタB1004の例を、図11(a)、図11(b)に示す。図中、5×5画素の中央部が注目画素になり、それ以外の24画素分が周辺画素になる。図中、空白部の画素は、フィルタ係数が“0”であることを表している。図から明らかな様に、図11(a)、(b)はエッジ強調のフィルタになっている。しかも、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図11(a)は図8(a)に、また、図11(b)は図8(b)に一致するように作成する。
【0091】
1106は、特徴量検出部を示し、空間フィルタA1003、及び、空間フィルタB1004によるフィルタリング部1005からのフィルタ後の変換値を基に、なんらかの特徴量を検出する。検出する特徴量の例として、以下のものが考えられる。
【0092】
1. デジタルフィルタ後のブロック内の変換値の最大値
2. デジタルフィルタ後のブロック内の変換値の最大値と最小値の差分
3. デジタルフィルタ後のブロック内の変換値の分散値
本実施形態では、上記3に示した分散値を特徴量とする。
【0093】
1007は、判定部を示し、それぞれの分散値の大小比較をして、分散値が大きい方を符号と判断する。すなわち、空間フィルタAによるフィルタリングの分散値が大きければ、印字時に量子化条件Aで量子化されたものと推測し、反対に空間フィルタBによるフィルタリングの分散値が大きければ、印字時に量子化条件Bで量子化されたものと推測する。
【0094】
量子化条件は、付加情報の符号(式3のbit)に連動している為、量子化条件が識別できるということは、多重化された符号が特定できることに相当する。すなわち、量子化条件Aと推測された場合には、bit=0、量子化条件Bと推測された場合には、bit=1と判断できる。
【0095】
以上、プリンタの局所的画質劣化の特性を考慮した多重化方法を、多重化に強弱をつけることによって実現する例について説明したが、強弱の度合いは、量子化閾値の変調する振幅以外にも考えられる。例えば、カラー画像であれば、多重化に用いるインク色を変更する方式がある。すなわち、ノイズに強いインク色を用いて、“inferior area”を多重化する方法も考えられる。
【0096】
以上説明したように上記第1の実施形態によれば、画像イメージ原点からの相対座標ではなく、ページ内での絶対座標に基づいて、各種ローラから記録媒体が外れる瞬間、或いは記録媒体が各種ローラに突入する瞬間等の印字領域である印字が劣悪になる領域と、その他の印字領域である印字が良好になる領域を判定し、印字が劣悪になる領域には、画質よりも抽出のし易さを重視した情報の埋め込み方法を用い、印字が良好になる領域には、抽出のし易さよりも画質を重視した情報の埋め込み方法を用いることにより情報の抽出時の抽出精度、抽出時間の最適化、画質の最適設計が実現することができる。
【0097】
(第2の実施形態)
図12は、第2の実施形態の画像処理システムの構成を表す。本実施形態では、図1に示した構成において、ページ内の絶対座標に応じて復号(抽出)方法を切り替えるものである。
【0098】
本実施形態では、付加情報多重化装置は、図4のフローチャートによるものと仮定する為、復号方法の切り替える最小単位はブロック単位となる。
【0099】
図12中、端子1200は、入力端子を示し、スキャナで読み込まれた1ページ分の画像情報が入力される。1001は、幾何学的補正部を示し、スキャナで読み込まれた印字物の回転、及び、伸縮の補正をする。1002は、ブロック化部を示し、P×Q画素単位にブロック化をする。
【0100】
1201は、ページ内座標検知部を示し、復号処理の進行と共に1ページ分の座標をカウントすることにより、現在処理中のページ内座標情報を取得する。
【0101】
1202、1203はそれぞれ、付加情報復号部A、付加情報復号部Bを示し、2種の復号部を有している。
【0102】
1204は、選択部を示し、ページ内座標に応じて、スイッチ1205を介して、以下の選択がなされる。
【0103】
1)処理ブロックがgood areaである場合 ・・・ 付加情報復号部Aを選択
2)処理ブロックがinferior areaである場合 ・・・ 付加情報復号部Bを選択
付加情報復号部Aを図13に示す。鎖線で囲んだブロックが付加情報復号部Aを示している。この付加情報復号部Aは、図10に示した方法のブロック内処理と同一である為、説明は省略する。
【0104】
図14は、付加情報復号部Bを示すブロック図である。同様に、鎖線で囲んだブロックが付加情報復号部Bを示している。
【0105】
図中、1401は、直交変換部を示し、ブロック化したP×Q画素を直交変換する。ただ、2次元の直交変換を行う時には、Q=Pの正方ブロックでブロック化する必要がある。
【0106】
本実施形態では、DCT(離散コサイン変換)を例にする。
【0107】
P×P画素よりなるブロックの二次元DCTの変換係数は、
【外1】

Figure 0003787511
【0108】
Figure 0003787511
で与えられる。
【0109】
1402は、クラス分類部を示し、直交変換係数の帯域毎にクラス分類する。
【0110】
図15は、P=Q=16の時のクラス分類の一例を示している。図15は、1ブロック内の直交変換係数F(u,v)を表していて、左上がDC成分、残りの255成分がAC成分となる。いま、F(4,8)を中心とするクラスAと、F(8,4)を中心とするクラスBの2クラスを作成する。2クラスを図中、太線で示す。このクラス分類手段は、全256成分をクラス分類する必要はなく、所望の成分を中心とした複数のクラスに分類するだけで良い。この必要なクラス数は、多重化時に量子化制御した条件数に対応する。すなわち、量子化制御した条件数よりもクラス数は多くなることはない。
【0111】
1403は、電力比較部を示し、各クラスの電力の総和を比較する。演算を高速にする為に、発生した変換係数の絶対値を電力の代用としても良い。各クラスの電力の総和を比較することで、付加情報の信号を判断する。
【0112】
いま、多重化時に図8(a)、(b)の量子化条件A、Bを施した例について説明する。前述したように、量子化条件A、Bを用いた量子化では、各々角度の異なる斜め方向にドットが並ぶテクスチャが発生しやすい。すなわち、量子化条件Aにおいて量子化したブロックでは、直交変換処理を行うと、図15のクラスAに大きな電力が発生する。
【0113】
一方、量子化条件Bにおいて量子化したブロックでは、直交変換処理を行うと、図15のクラスBに大きな電力が発生する。すなわち、クラスAとクラスBの電力の大小関係を相対的に比較することにより、該当するブロックの多重化時の量子化条件が、量子化条件A、量子化条件Bの何れであるかが判断できる。
【0114】
量子化条件は、付加情報の符号(式3のbit)に連動している為、量子化条件が識別できるということは、多重化された符号が特定できることに相当する。図4に示したフローチャートの例では、bit=0を量子化条件A、bit=1を量子化条件Bに設定している為、クラスAの電力の方が大きい場合には、bit=0、クラスBの電力の方が大きい場合には、bit=1と判断できる。
【0115】
以上、2種の復号部を説明したが、本実施形態の復号部の切り替えは、復号検出率と復号時間との最適設計に必要である。すなわち、良好な印字領域に関しては、復号は容易であると判断し、復号(抽出)時間の速い復号部Aにて復号する。一方、ノイズ成分が重畳された印字領域に関しては、復号(抽出)時間よりも復号検出率を優先にして、より精度の高い復号方法を用いる。
【0116】
このように、記録した印字物の絶対座標を評価因子にすることにより、印字品位が予測することができ、より最適な復号部を選択することができる。
【0117】
本実施形態では、復号部をA、Bの2種にて説明したが、当然これ以上でも構わない。また、復号部もこれに限定するものではない。
【0118】
また、復号部を同一にして、その検出精度だけを変化させる方法も考えられる。すなわち、より精度が求められる復号部においては、冗長性の高い、繰り返しによる復号が有効だ。例えば、前述のP×Q画素による直交変換を用いる方法(復号手段B)では、P×Q画素のブロックを空間的に数画素ずらして複数回の直交変換を行い、複数回のクラス比較を通して判断の精度を高める方法が考えられる。その際に、経験的に記録媒体の物理特性をランク付けして評価因子として設定し、繰り返しの回数をランクに応じて徐々に増やす様に制御することも有効な方法である。
【0119】
当然、複数回の直交変換を用いて判断した方が、復号精度は向上するが、処理時間は余計にかかってしまう。その最適化は経験的に設計するのが好ましい。
【0120】
また、本実施形態では、図4のフローチャートによる多重化を前提にしている為、多重化時、復号時ともに、画質の悪くなる印字領域に対して、強固の多重化、精度の高い復号を施しているが、当然、多重化時には区別なくして、均一の多重化を行い、復号時のみ精度を変化させる方法も有効である。
【0121】
また、多重化、復号ともに紙上での絶対座標を基にして方式を変化させる場合には、量子化閾値の変調の周期性を持たせたブロックサイズを、good area では小さく、inferior areaでは大きく設定する等の変更も考えられる。
【0122】
また、inferior area はローラに突入する時、或いはローラから外れる時の衝撃振動以外にも考えられる。例えば、紙の余白を無くした全面印字を実現した機械構成の場合には、紙端部は精度が劣化し、inferior area になる可能性が高い。
【0123】
以上、復号方法、多重化方法の切り替えについて説明してきたが、多重化方法、付加情報の分離方法は前述した方法に限定しない。いかなる、多重化方法、分離方法においても、紙上の絶対座標に基づいて分離方法、及び多重化方法を制御する構成は有効である。
【0124】
以上説明したように上記第2の実施形態によれば、画像イメージ原点からの相対座標ではなく、ページ内での絶対座標に基づいて、各種ローラから記録媒体が外れる瞬間、或いは記録媒体が各種ローラに突入する瞬間等の印字領域である印字が劣悪になる領域と、その他の印字領域である印字が良好になる領域を判定し、印字が劣悪になる領域には、抽出時間よりも抽出精度を重視した情報の抽出方法を用い、印字が良好になる領域には、抽出精度よりも抽出時間を重視した情報の抽出方法を用いることにより情報の抽出時の抽出精度、抽出時間の最適化、画質の最適設計が実現することができる。
【0125】
また、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用しても良い。
【0126】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0127】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0128】
【発明の効果】
以上説明したように、本発明によれば、印字する記録紙の絶対位置に基づいて分離方法、多重化方法を制御する為、復号時の検出精度、復号時間の最適化、画質の最適設計が実現することができる。
【0129】
また、本発明により、容易に画像情報への付加情報の多重化が実現できる為、画像情報中に音声情報や秘匿情報を埋め込むサービス、アプリケーションが提供できる。また、紙幣、印紙、有価証券等の不正な偽造行為を抑制したり、画像情報の著作権侵害を防止したりすることができる。
【図面の簡単な説明】
【図1】第1の実施形態における画像処理装置の構成を示す要部ブロック図
【図2】図1の付加情報多重化装置の構成を示す要部ブロック図
【図3】図2の誤差拡散部を示す要部ブロック図
【図4】量子化制御部を含む多重化処理の動作手順を示すフローチャート
【図5】ブロック化の一例
【図6】画像レイアウトの一例
【図7】記録紙上の画像劣化領域の説明図
【図8】量子化条件における量子化閾値変化の一例
【図9】量子化条件の組み合わせの配置例
【図10】図1の付加情報分離装置の構成を示す要部ブロック図
【図11】空間フィルタの一例
【図12】第2の実施形態における付加情報分離装置の構成を示す要部ブロック図
【図13】図12の付加情報復号部Aのブロック図
【図14】図12の付加情報復号部Bのブロック図
【図15】二次元周波数領域でのクラス分類の説明図
【図16】従来法の多重化の一例を示すブロック図
【図17】従来法の多重化の一例を示すブロック図
【図18】従来法の多重化の一例を示すブロック図
【図19】従来法の分離の一例を示すブロック図[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method, and in particular, in image information, information other than the image information, for example, voice information, text document information, various information about an image, completely different image information, and the like. As additional information, the present invention relates to image processing that is embedded in a visually inconspicuous manner.
[0002]
[Prior art]
Conventionally, research on multiplexing other information related to an image in image information has been actively conducted. In recent years, it has been referred to as digital watermarking technology. In image information such as photographs and paintings, additional information such as the author's name and permission to use is multiplexed so that it is difficult to visually distinguish them, and networks such as the Internet The technology distributed through is being standardized.
[0003]
Another application field is output from images output on paper to prevent unauthorized counterfeiting of banknotes, stamps, securities, etc. as image quality of image output devices such as copiers and printers increases. There is a technique for embedding additional information in an image in order to specify a device and its machine number.
[0004]
For example, Japanese Patent Laid-Open No. 7-123244 proposes a technique for multiplexing information by embedding additional information in a high-frequency region of a color difference component and a saturation component that are visually low in sensitivity.
[0005]
However, the technique described above has the following problems. FIG. 16 is a diagram showing embedding of general additional information in the digital watermark technique. The image information A and the additional information B are multiplexed via the adder 1601 and changed to multiplexed information C. FIG. 16 shows an example in which additional information is multiplexed in the real space area of image information. If it is possible to distribute the multiplexed information C without performing various image processing such as filtering or encoding such as lossy compression, it is possible to decode the additional information B from the multiplexed information C even in the prior art. Easy. Image information distributed on the Internet can be decoded through a digital filter for improving image quality such as edge enhancement and smoothing if it has some noise tolerance.
[0006]
However, it is assumed that the multiplexed image is printed by an output device such as a printer, and additional information is extracted from the printed matter. In addition, a printer output is assumed in which the printer to be used has an expression capability of about 2 to several gradations per single color. In recent years, inkjet printers have been launched on the market that can display several gradations per single color by using ink with a low dye concentration or variably controlling the output dot diameter. Unless tone is used, the gradation of a photographic image cannot be expressed.
[0007]
That is, in the above-described assumption that the multiplexing method using the digital watermark technique of FIG. 16 is output to the printer, as shown in FIG. 17, the multiplexed information C is converted into quantized information D by the pseudo gradation processing unit 1701. After that, the information is printed on paper by the printer output unit 1702, thereby changing the information on the paper (printed matter) to be very deteriorated E. Therefore, decoding the additional information from the information on the paper for the purpose of preventing forgery described above means decoding the additional information B from the paper information E after the series of processing in FIG. The amount of change in information by both processes 1701 and 1702 is very large, and it is very difficult to multiplex additional information so that it cannot be visually discriminated, and to correctly decode the multiplexed additional information from the paper. become.
[0008]
FIG. 18 shows an example of a conventional digital watermark technique in which image information is converted into a frequency domain using a Fourier transform or the like and then synthesized into a high frequency area or the like instead of the real space domain. In FIG. 18, image information is converted into a frequency domain by orthogonal transformation processing 1801, and additional information is added to a specific frequency that is difficult to visually discriminate by an adder 1802. After returning to the real space region again by the inverse orthogonal transform processing 1803, this corresponds to passing through a filter with a large change such as a pseudo gradation processing unit and a printer output unit, as in the example of FIG.
[0009]
FIG. 19 shows a process of separating additional information from paper. That is, information on the printed matter is input to the scanner 1901 via an image reading unit such as a scanner. Since the input information is an image whose gradation is expressed by the pseudo gradation processing unit, a restoration process 1902 which is an inverse pseudo gradation processing unit is performed. The restoration process generally uses an LPF (low pass filter). After the restored information is subjected to orthogonal transform processing by 1903, in the separation processing 1904, the additional information embedded from the power of a specific frequency is separated.
[0010]
As apparent from FIGS. 18 and 19, it can be seen that a large number of complicated processing steps are passed from the multiplexing of the additional information to the separation. In the case of a color image, this series of processing steps includes a color conversion process for converting to a color unique to the printer. In order to achieve good separation even in such a complicated processing step, a very strong signal must be input. It is difficult to input a strong signal while maintaining good image quality. In addition, the large number of processing steps and the complexity make the processing time required for multiplexing and separation very long.
[0011]
In the above-mentioned Japanese Patent Laid-Open No. 7-123244, information is added to the high frequency region. However, when the error diffusion method is performed in the pseudo gradation processing in the subsequent stage, the high-pass filter characteristic unique to the error diffusion method is used. The additional information band is buried in the texture band generated by error diffusion, and there is a possibility that decoding may fail. In addition, a highly accurate scanner device is required for decoding. That is, it can be seen that the methods shown in FIGS. 17 and 18 are not suitable when pseudo gradation processing is assumed. In other words, a method of multiplexing additional information that greatly utilizes the characteristics of pseudo gradation processing is required.
[0012]
Special registration 2640939 and special registration 2777800 are examples in which multiplexing of additional information is combined with redundancy of pseudo gradation processing.
[0013]
In the former, when binarization is performed by a systematic dither method, data is mixed in an image signal by selecting one from dither matrices representing the same gradation. However, with the systematic dither method, it is difficult to output a photographic image with high image quality unless the printer has high resolution and excellent mechanical accuracy. This is because a slight deviation in mechanical accuracy occurs as low-frequency noise such as horizontal stripes and is easily visible on paper. In addition, when the dither matrix is periodically changed, a band of a specific frequency generated by the regularly arranged dither is disturbed, which adversely affects image quality.
[0014]
Also, the gradation expression ability varies greatly depending on the type of dither matrix. Particularly on paper, since the change in area ratio due to dot overlap or the like varies depending on the dither matrix, it may be possible to cause a change in density by switching the dither matrix even in a region having a uniform density on the signal. Further, in the decoding (separation) side, a decoding method that estimates what dither matrix is used for binarization in a state where the pixel value of the image information that is the original signal is unknown may cause erroneous decoding. Very big.
[0015]
The latter is a method of multiplexing additional information according to the arrangement using a color dither pattern method. In this method, as in the former case, image quality deterioration cannot be avoided by switching. In addition, as compared with the former, more additional information can be multiplexed, but color change is caused by changing the arrangement of the color components, and image quality deterioration is particularly large in a flat portion. Also, it is expected that decoding on paper will become even more difficult.
[0016]
In any case, both methods of changing the dither matrix have a problem that decoding is difficult although image quality deterioration is large.
[0017]
Therefore, the applicant of the present invention first uses the texture generated by the error diffusion method and artificially creates a combination of quantized values that cannot be generated by normal pseudo gradation processing, thereby embedding the code. Proposed way to do.
[0018]
In this method, the texture shape only slightly changes microscopically, so that the image quality is not visually deteriorated. In addition, if a method for changing the quantization threshold of the error diffusion method is used, the density value of the area gradation is visually maintained, so that multiplexing of different signals can be realized very easily.
[0019]
However, according to the above proposal, the decoding side must determine whether the texture is artificial or not. In the printed matter output on the paper, the texture may not be reproduced well due to a deviation from a desired landing point position such as a warp of dots.
[0020]
In color images, the method of multiplexing to the color component with the lowest visual sensitivity is the mainstream, but the texture discrimination in the real space region is easily influenced by other color components, and the multiplexing information Separation becomes difficult.
[0021]
In addition, in order to solve the above-described problems, the present applicant performs amplitude modulation on the quantization threshold of the error diffusion method with a predetermined periodicity, and controls a plurality of types of the periodicity of the threshold modulation for each region. Proposed a method of embedding codes based on this periodicity by controlling the generation probability of the quantization value of pseudo gradation processing.
[0022]
In this method, since the relative power information in a plurality of predetermined frequency bands is an important decoding factor rather than the phase information forming the code, compared to the method of determining the position and shape of the texture described above, Good decoding can be realized even on paper.
[0023]
[Problems to be solved by the invention]
However, the above proposal has the following problems. That is, depending on the printer that produces the printed matter, the mechanical accuracy may not be excellent.
[0024]
When an ink jet printer is assumed, ink is allowed to fly and adhere to the recording medium. Of course, the flying ink droplet often deviates from the assumed landing point position. When the deviation of dots occurs on one line that transports the recording paper, it becomes visually noticeable. Therefore, the recording on the same line is thinned out, and printing is performed by scanning a plurality of times by a plurality of nozzles. The method has become commonplace.
[0025]
On the other hand, due to the mechanical configuration of the printer, if the recording paper enters the various rollers used for conveyance in the process of conveying the recording paper or if the recording paper comes off the roller, the impact of the recording paper during printing The image quality may be disturbed by vibration. As described above, since the same line is often divided into a plurality of scans for printing, the disturbance of the printing also affects the plurality of lines, and the image quality deteriorates with a predetermined width on the paper.
[0026]
Also, the printing accuracy may be inferior to the central portion of the recording paper at the left and right ends of the recording paper.
[0027]
In other words, the image quality is not uniform on the paper, and there are relatively good portions and poor portions due to the mechanical configuration unique to the printer. A portion with poor image quality can be regarded as a mechanical noise component superimposed on the image information.
[0028]
Considering the separation of additional information from printed matter proposed by the applicant, the decoding (extraction) may be difficult when the image quality is not uniform on the paper. In other words, even if the additional information can be easily separated in the portion where the image quality is relatively good, there is a problem that the separation may fail due to the superimposed noise in the portion where the image quality is poor. .
[0029]
However, in order to avoid the failure of separation, if the multiplexing is performed firmly as a whole, the image quality deterioration due to the multiplexing becomes conspicuous. On the decoding side, if a high-accuracy decoding method is used over the entire surface of the paper in order to avoid separation failure, the processing time increases.
[0030]
The present invention has been made to solve the above problems, and provides an image processing apparatus and an image processing method capable of realizing image quality control in an information addition unit and an information extraction unit, and optimum design of extraction accuracy. With the goal.
[0031]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus of the present invention includes an input unit for inputting an image, an embedding unit for embedding predetermined information in the input image according to a predetermined embedding method, and the predetermined information. Is printed on the recording medium, an end area of the recording medium classified by the mechanical configuration of the apparatus, and an area other than the end area based on the end area. Setting means for setting the embedding strength of the corresponding image by the embedding unit to be stronger than the embedding strength of the image corresponding to the region other than the end region by the embedding unit.
[0032]
In order to achieve the above object, an image processing method of the present invention includes an input step of inputting an image, an embedding step of embedding predetermined information in the input image according to a predetermined embedding method, and the predetermined The end portion based on a printing process for printing an image in which the information is embedded on a recording medium, an end area of the recording medium classified by a mechanical configuration of the apparatus, and an area other than the end area A setting step of setting an embedding strength of the image corresponding to the region by the embedding step to be stronger than an embedding strength of the image corresponding to the region other than the end region by the embedding step.
[0033]
In order to achieve the above object, an image processing apparatus according to the present invention includes an input unit that reads a recording medium and inputs an image in which predetermined information is embedded, and the predetermined information is predetermined from the input image. The extraction means for extracting according to the extraction method, the edge area of the recording medium classified by the mechanical configuration of the apparatus, and the image corresponding to the edge area based on the area other than the edge area And setting means for setting the intensity of extraction by the extracting means to be stronger than the intensity of extraction by the extracting means for an image corresponding to a region other than the end region.
[0034]
In order to achieve the above object, an image processing method according to the present invention includes an input step of inputting an image in which predetermined information is embedded, and predetermined extraction of the predetermined information from the input image. Extraction step for extracting according to the method, and the extraction step for the image corresponding to the end region based on the end region of the recording medium classified by the mechanical configuration of the apparatus and the region other than the end region And a setting step for setting the intensity of extraction by an intensity stronger than the intensity of extraction by the extraction process for an image corresponding to a region other than the end region.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings. The image processing apparatus according to the present embodiment is efficiently incorporated mainly as printer driver software or application software in a computer that creates image information to be output to the printer engine. It is also effective to incorporate the printer main body as hardware and software.
[0036]
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an image processing system according to the first embodiment.
[0037]
Reference numerals 100, 101, and 102 denote input terminals. From 100, multi-tone image information is input, and from 101, necessary additional information to be embedded in the image information is input. This additional information is information different from the image information input at the input terminal 100, for example, voice information, text document information, copyright relating to the image input at the input terminal 100, shooting date / time, shooting location, shooting. Various applications such as various information on the person and completely different image information can be considered.
[0038]
From 102, in-page coordinate information representing how the image image and the document are laid out is input in one page output by the image information. The layout in the page can be easily created by application software that freely arranges image images and documents. Of course, it is also possible to arrange only image images on the entire surface of the paper without including document information such as characters in the page.
[0039]
Reference numeral 103 denotes an additional information multiplexing apparatus that embeds additional information in image information so that it is difficult to visually discriminate. The additional information multiplexing apparatus 103 also controls the quantization of the input multi-tone image information as well as multiplexing the additional information.
[0040]
Reference numeral 104 denotes a printer, which outputs information created by the additional information multiplexing apparatus 103 by a printer engine. The printer 104 is assumed to be a printer that realizes gradation expression by using pseudo gradation processing, such as an inkjet printer or a laser printer.
[0041]
The output printed matter reads information on the printed matter using the scanner 105, and the additional information separating device 106 separates the additional information embedded in the printed matter and outputs it to the output terminal 107.
[0042]
FIG. 2 is a block diagram showing the configuration of the additional information multiplexing apparatus 103 in FIG.
[0043]
An error diffusion processing unit 200 converts the input image information into a quantization level smaller than the number of input gradations by performing pseudo gradation processing using an error diffusion method, Tone is expressed in terms of area. Details of the error diffusion processing will be described later.
[0044]
Reference numeral 201 denotes a blocking unit that divides input image information into predetermined area units. This blocking may be rectangular or may be divided into areas other than rectangular.
[0045]
Reference numeral 202 denotes a quantization condition control unit, which changes and controls the quantization condition in units of areas blocked in 201. The quantization condition control unit 202 controls the quantization condition in units of blocks based on the additional information input at the input terminal 101 and the in-page coordinate information of the image information input at 102.
[0046]
A control unit 210 includes a CPU 211, a ROM 212, a RAM 213, and the like. The CPU 211 controls the operation and processing of each component described above according to a control program stored in the ROM 212. The RAM 213 is used as a work area for the CPU 211.
[0047]
FIG. 3 is a block diagram showing details of the error diffusion processing unit 200. General error diffusion processing is described in the document R.D. Floyd & L. Steinberg: “An Adaptive Algorithm for Spatial Grayscale”, SID Symposium Digest of Paper pp. Details are described in 36-37 (1975).
[0048]
An error diffusion process in which the quantization value is binary will be described as an example. The quantized value is not limited to binary, but may be multivalued, for example, ternary or quaternary.
[0049]
Reference numeral 300 denotes an adder, which adds the target pixel value of the input image information and the distributed quantization error of the peripheral pixels already binarized. The comparison unit 301 compares the quantization threshold value from the quantization condition control unit 202 and the addition result obtained by adding the error. When the comparison value is larger than the predetermined threshold value, “1” is set. Otherwise, “0” is set. Output. For example, when expressing the gradation of a pixel with an accuracy of 8 bits, it is generally expressed by “255” as a maximum value and “0” as a minimum value. Now, it is assumed that when the quantized value is “1”, dots (ink, toner, etc.) are printed on paper.
[0050]
Reference numeral 302 denotes a subtracter that calculates an error between the quantization result and the above-described addition result, and distributes the error to surrounding pixels to be subjected to future quantization processing based on the error distribution calculation unit 303. As the error distribution ratio, an error distribution table 304 experimentally set based on the relative distance to the pixel of interest is previously owned, and the error is distributed based on the distribution ratio described in the distribution table.
[0051]
The distribution table 304 in FIG. 3 shows a distribution table for four surrounding pixels, but is not limited to this.
[0052]
Next, the entire operation procedure including the quantization condition control unit 202 will be described with reference to the flowchart of FIG. Now, an example in which the quantized value is binary will be described. The quantized value is not limited to binary, but may be multivalued, for example, ternary or quaternary.
[0053]
S401 indicates initialization of the variable i. The variable i is a variable for counting vertical addresses.
[0054]
S402 indicates initialization of the variable j. The variable j is a variable for counting horizontal addresses. Both variables i and j are relative coordinates from the start point of image information (the upper left of the image).
[0055]
S403 is a determination step based on the i and j address values, and it is determined whether or not the coordinates of the current processing addresses i and j belong to the area where the multiplexing process is to be executed.
[0056]
The multiplexed area will be described with reference to FIG.
[0057]
FIG. 5 shows one image image in which the horizontal pixel number is WIDTH and the vertical pixel number is HEIGHT. Now, it is assumed that additional information is multiplexed in this image. The upper left of the image is set as the origin, and blocking is performed with N horizontal pixels and M vertical pixels. In the present embodiment, the origin is set as a reference point, but the block may be set as a reference point. When the maximum information is multiplexed in this image, N × M blocks are arranged from the reference point. That is, when the number of blocks that can be arranged in the horizontal direction is W and the number of blocks that can be arranged in the vertical direction is H, the following relationship is established.
[0058]
W = INT (WIDTH / N) (1)
H = INT (HEIGHT / M) Equation 2
However, INT () indicates an integer part in ().
[0059]
The number of remaining pixels that cannot be divided in Equations 1 and 2 corresponds to an end when a plurality of N × M blocks are arranged, and is outside the code multiplexing region.
[0060]
In FIG. 4, if it is determined in S403 that the pixel of interest currently being processed is outside the multiplexing region, the quantization condition C is set in S404. On the other hand, if it is determined that it is within the multiplexing area, additional information to be multiplexed is read. For ease of explanation, it is assumed that the additional information is expressed bit by bit using an array called code [].
[0061]
In S405, the variable bit is substituted with information in the array code [] as follows.
[0062]
bit = code [INT (i / M) × W + INT (j / N)] Equation 3
Subsequently, it is determined whether or not the variable bit substituted in S406 is “1”. As described above, since the information in the array code [] is stored one bit at a time, the value of the variable bit indicates either “0” or “1”.
[0063]
If “0” is determined in S406, the quantization condition A is set in S407, and if “1” is determined, the quantization condition B is set in S408.
[0064]
Subsequently, in S409 and S410, the target pixel position being processed is evaluated, but the evaluation is based on absolute coordinates in the page, not relative coordinates from the origin of the image image.
[0065]
The in-page layout will be described with reference to FIG.
[0066]
FIG. 6 shows an example of a layout in which an image image used for multiplexing is arranged at a position where the absolute distance from the page origin is (image_j) pixels in the horizontal direction and (image_i) pixels in the vertical direction. The hatched portion in the figure shows an image.
[0067]
FIG. 7 shows an example in which one page of paper output by a printer is assumed and classified into two types, a portion where printing is good and a portion where printing is poor. As described above, at the moment when the recording paper is removed from the various rollers during printing, or at the moment when the recording paper enters the various rollers during printing, the printing is often deteriorated due to the impact vibration. This differs depending on the mechanical configuration specific to the printer.
[0068]
In FIG. 7, the print area (shaded area) when the recording paper is detached from the roller is an informal area, and the other area is a good area. Of course, it is preferable to categorize according to the paper size to be used. In addition, more types may be classified according to the level of image quality, instead of the two types of information area and good area. Since these classifications are specific to the printer, it is preferable to obtain them experimentally.
[0069]
In the examples of FIGS. 6 and 7, there is an informer area in the image used for multiplexing. This determination is made in S409 and S410.
[0070]
In both S409 and S410, it is determined whether or not (image_i + i, image_j + j) in the page of the current pixel of interest is within the good area.
[0071]
If it is determined NO in S409, the quantization condition is changed from the quantization condition A to the quantization condition A ′ in S411. If NO is determined in S410, the process proceeds to S412. The quantization condition is changed from the quantization condition B to the quantization condition B ′.
[0072]
Subsequently, in S413, a quantization process is performed based on the set quantization condition. This quantization process corresponds to the error diffusion method described in FIG.
[0073]
In step S414, the horizontal variable j is counted up. In step S415, it is determined whether the horizontal pixel number is less than WIDTH, which is the horizontal pixel number of the image. The above-described processing is repeated until the processing pixel number becomes WIDTH. When the horizontal processing is completed for the number of WIDTH pixels, the vertical direction variable i is counted up in S416, and it is determined in S417 whether or not it is less than HEIGHT which is the vertical pixel number of the image. Repeat the above process until.
[0074]
With the above operation procedure, the quantization condition can be changed in units of blocks each consisting of N × M pixels.
[0075]
Subsequently, examples of the quantization conditions A, B, C, and A ′ and B ′ will be described. Although there are various factors in the quantization condition in the error diffusion method, in this embodiment, the quantization condition is a quantization threshold. Since the use of the quantization condition C is outside the multiplexing region, any quantization threshold value may be used. As described above, when one pixel is represented by 8 bits of gradation and the quantization level is binary, the maximum value “255” and the minimum value “0” are the quantization representative value. However, “128” which is the intermediate value is often set as the quantization threshold. That is, in the quantization condition C, the quantization threshold value is fixed to “128”.
[0076]
Since the use of the quantization condition A and the quantization condition B is a block in the multiplexing region, a difference in image quality due to a difference in the quantization condition must be generated. However, the difference in image quality must be expressed so that it is difficult to distinguish visually, and it must be easily identifiable from the paper.
[0077]
FIG. 8 is an example showing the quantization conditions A and B. FIG. 8A is a diagram showing a change cycle of the quantization threshold in the quantization condition A. FIG. In the figure, one square is assumed to be one pixel, a white square is a fixed threshold, and a gray square is a variation threshold. That is, in the example of FIG. 8A, a matrix of 8 horizontal pixels and 4 vertical pixels is assembled, and a value that protrudes only from the gray square threshold is set as the threshold.
[0078]
Similarly, FIG. 8B is a diagram showing the period of change of the quantization threshold in the quantization condition B. In the example of FIG. 8B, unlike FIG. 8A, a matrix of four horizontal pixels and eight vertical pixels is assembled, and a value that protrudes only from the gray square threshold value is set as the threshold value.
[0079]
As described above, when one pixel has an 8-bit gradation value as described above, for example, “128” is set as the fixed threshold value, and “48” is set as the protruding threshold value. When the quantization threshold is lowered, the quantization value of the target pixel tends to be “1” (quantization representative value “255”). That is, in both FIGS. 8A and 8B, the quantized value “1” is likely to occur due to the arrangement of gray cells in the figure. In other words, for each N × M pixel block, there are a block in which dots are generated in the arrangement of gray squares in FIG. 8A and a block in which dots are generated in the arrangement of gray squares in FIG. 8B. Will be mixed. Of course, in the same block of N × M pixels, the matrix of FIG. 8A or FIG. 8B is repeated.
[0080]
A slight change in the quantization threshold in the error diffusion method does not have a significant effect on image quality. In the systematic dither method, the image quality of gradation expression greatly depends on the dither pattern used. However, in the error diffusion method in which the quantization threshold is regularly changed as described above, the gradation expression that determines the image quality is the error diffusion method, so the dot arrangement may change slightly or the texture may change. The image quality of the gradation expression is hardly affected, such as occurrence changes. That is, even when the quantization threshold changes, the error that is the difference between the signal value and the quantized value is diffused to surrounding pixels, so that the input signal value is stored in a macro manner. In other words, the redundancy is very large with respect to dot arrangement and texture generation in the error diffusion method.
[0081]
In the above-described example, the quantization condition A is simply switched when the value of the variable bit is “0”, and the quantization condition B when the value of the variable bit is “1”. However, the present invention is not limited to this. It is also possible to express a variable bit by a combination of quantization conditions. For example, as shown in FIG. 9, an N × M pixel block is further divided into four small blocks. When the value of the variable bit is “0”, the arrangement of FIG. It is also possible to make a difference by quantizing using the arrangement of FIG.
[0082]
Now, the quantization conditions A ′ and B ′ have the same quantization condition change period as the quantization conditions A and B. However, the place where the quantization conditions A ′ and B ′ are used is an area where the image quality deteriorates due to the mechanical noise of the printer. Therefore, it is necessary to apply multiplexing firmly. Therefore, in order to apply multiplexing firmly, in this embodiment, the amplitude for modulating the threshold is set large. For example, in the modulation of the quantization threshold value under the quantization conditions A and B, the normal threshold value “128” is changed to “48”. However, under the quantization conditions A ′ and B ′, the normal threshold value “128” is set. "" Is changed to "16". Naturally, since the probability of occurrence of a desired dot increases, the separation process becomes easy, but the image quality due to the multiplexing process deteriorates. However, originally, in the information area, the image quality is disturbed due to the generation of mechanical noise, so even if strong multiplexing is executed, there is almost no visual impact.
[0083]
Next, the additional information separator 106 will be described.
[0084]
FIG. 10 is a block diagram showing a configuration of the additional information separation device 106.
[0085]
Reference numeral 1000 denotes an input terminal to which image information read by the scanner is input. The resolution of the scanner to be used is preferably equal to or higher than the resolution of the printer that creates the printed matter. Naturally, in order to accurately read dot dot information of a printed matter, the scanner side needs to have a resolution that is at least twice that of the printer side according to the sampling theorem. However, if it is equal to or greater than that, it is possible to determine that dots are scattered to some extent even if it is not accurate. In the present embodiment, for ease of explanation, it is assumed that the printer resolution and the scanner resolution are the same.
[0086]
Reference numeral 1001 denotes a geometric correction unit which corrects rotation and expansion / contraction of the printed matter read by the scanner. Various known methods can be considered for the geometric correction unit 1001.
[0087]
Reference numeral 1002 denotes a blocking unit, which performs blocking in units of P × Q pixels. This block must be smaller than the N × M pixels that were blocked during multiplexing. That is,
P ≦ N and Q ≦ M Expression 4
The relationship holds.
[0088]
Further, the block formation in units of P × Q pixels is performed by skipping at certain intervals. That is, the block is formed so that one block of P × Q pixel unit is included in an area assumed to be a block of N × M pixels at the time of multiplexing. The number of skip pixels is basically N horizontal pixels and M vertical pixels.
[0089]
Reference numerals 1003 and 1004 denote spatial filters A and B having different characteristics, respectively, and reference numeral 1005 denotes a digital filtering unit that calculates a product sum with peripheral pixels. Each coefficient of the spatial filter is created in conformity with the period of the variation threshold of the quantization condition at the time of multiplexing.
[0090]
Now, it is assumed that the change of the quantization condition in the additional information multiplexing apparatus 103 is performed by multiplexing the additional information by using the two types of periodicity shown in FIGS. 8 (a) and 8 (b). Examples of the spatial filter A1003 and the spatial filter B1004 used in the separation device at that time are shown in FIGS. 11 (a) and 11 (b). In the figure, the central portion of 5 × 5 pixels is the pixel of interest, and the remaining 24 pixels are peripheral pixels. In the figure, the blank pixel represents that the filter coefficient is “0”. As is apparent from FIG. 11, FIGS. 11A and 11B are edge enhancement filters. In addition, the directionality of the emphasized edge matches the directionality of the variation threshold when multiplexed. That is, FIG. 11A is created so as to match FIG. 8A, and FIG. 11B is created so as to match FIG. 8B.
[0091]
Reference numeral 1106 denotes a feature amount detection unit, which detects some feature amount based on the converted values after filtering from the filtering unit 1005 by the spatial filter A 1003 and the spatial filter B 1004. Examples of the feature amount to be detected are as follows.
[0092]
1. Maximum conversion value in the block after digital filter
2. Difference between the maximum and minimum conversion values in the block after digital filtering
3. Variance value of converted value in block after digital filter
In the present embodiment, the variance value shown in 3 above is used as a feature amount.
[0093]
Reference numeral 1007 denotes a determination unit, which compares the respective variance values and determines that the one with the larger variance value is a code. That is, if the dispersion value of the filtering by the spatial filter A is large, it is estimated that the quantization is performed under the quantization condition A at the time of printing. Conversely, if the dispersion value of the filtering by the spatial filter B is large, the quantization condition B at the time of printing. I guess it was quantized with.
[0094]
Since the quantization condition is linked to the code of the additional information (bit in Expression 3), the fact that the quantization condition can be identified corresponds to the ability to specify the multiplexed code. That is, when the quantization condition A is estimated, it can be determined that bit = 0, and when the quantization condition B is estimated, bit = 1.
[0095]
In the above, an example has been described in which a multiplexing method that takes into account the characteristics of local image quality degradation of a printer is realized by adding or reducing the level of multiplexing. However, the degree of strength is not limited to the amplitude that modulates the quantization threshold. It is done. For example, for a color image, there is a method of changing the ink color used for multiplexing. That is, a method of multiplexing “inferior area” using an ink color that is resistant to noise can be considered.
[0096]
As described above, according to the first embodiment, the moment when the recording medium is removed from the various rollers based on the absolute coordinates in the page, not the relative coordinates from the image image origin, or the recording medium is the various rollers. It is easier to extract than the image quality in areas where printing is poor, such as the printing area at the moment of entering, and other printing areas where printing is good. The information embedding method with emphasis on image quality is used, and in areas where printing is good, the embedding method of information emphasizing the image quality rather than the ease of extraction is used to optimize the extraction accuracy and extraction time when extracting information. Optimization of image quality can be realized.
[0097]
(Second Embodiment)
FIG. 12 shows the configuration of the image processing system of the second embodiment. In the present embodiment, the decoding (extraction) method is switched according to the absolute coordinates in the page in the configuration shown in FIG.
[0098]
In this embodiment, since the additional information multiplexing apparatus is assumed to be based on the flowchart of FIG. 4, the minimum unit for switching the decoding method is a block unit.
[0099]
In FIG. 12, a terminal 1200 indicates an input terminal, and image information for one page read by the scanner is input. Reference numeral 1001 denotes a geometric correction unit which corrects rotation and expansion / contraction of the printed matter read by the scanner. Reference numeral 1002 denotes a blocking unit, which performs blocking in units of P × Q pixels.
[0100]
Reference numeral 1201 denotes an in-page coordinate detection unit, which acquires the in-page coordinate information currently being processed by counting the coordinates of one page as the decoding process proceeds.
[0101]
Reference numerals 1202 and 1203 denote an additional information decoding unit A and an additional information decoding unit B, respectively, which have two types of decoding units.
[0102]
Reference numeral 1204 denotes a selection unit, and the following selection is made via the switch 1205 in accordance with the in-page coordinates.
[0103]
1) When the processing block is good area: Select the additional information decoding unit A
2) When the processing block is an informal area: Select the additional information decoding unit B
The additional information decoding unit A is shown in FIG. A block surrounded by a chain line indicates the additional information decoding unit A. This additional information decoding unit A is the same as the intra-block processing of the method shown in FIG.
[0104]
FIG. 14 is a block diagram showing the additional information decoding unit B. Similarly, a block surrounded by a chain line indicates the additional information decoding unit B.
[0105]
In the figure, reference numeral 1401 denotes an orthogonal transform unit, which orthogonally transforms a blocked P × Q pixel. However, when performing two-dimensional orthogonal transformation, it is necessary to block the square block with Q = P.
[0106]
In the present embodiment, DCT (Discrete Cosine Transform) is taken as an example.
[0107]
The conversion coefficient of the two-dimensional DCT of the block consisting of P × P pixels is
[Outside 1]
Figure 0003787511
[0108]
Figure 0003787511
Given in.
[0109]
Reference numeral 1402 denotes a class classification unit that classifies each band of orthogonal transform coefficients.
[0110]
FIG. 15 shows an example of class classification when P = Q = 16. FIG. 15 shows orthogonal transform coefficients F (u, v) in one block, with the DC component on the upper left and the remaining 255 components the AC component. Now, two classes, class A centering on F (4,8) and class B centering on F (8,4), are created. Two classes are indicated by bold lines in the figure. This class classification means does not need to classify all 256 components, but only classifies them into a plurality of classes centering on the desired components. This required number of classes corresponds to the number of conditions that are quantized at the time of multiplexing. That is, the number of classes does not increase beyond the number of conditions subjected to quantization control.
[0111]
Reference numeral 1403 denotes a power comparison unit, which compares the total power of each class. In order to speed up the calculation, the absolute value of the generated conversion coefficient may be used as a substitute for power. The signal of the additional information is determined by comparing the total power of each class.
[0112]
Now, an example in which the quantization conditions A and B of FIGS. 8A and 8B are applied at the time of multiplexing will be described. As described above, in the quantization using the quantization conditions A and B, a texture in which dots are arranged in oblique directions with different angles is likely to occur. That is, in the block quantized under the quantization condition A, when orthogonal transform processing is performed, large power is generated in class A in FIG.
[0113]
On the other hand, in the block quantized under the quantization condition B, if orthogonal transformation processing is performed, large power is generated in class B in FIG. That is, it is determined whether the quantization condition at the time of multiplexing the corresponding block is the quantization condition A or the quantization condition B by relatively comparing the magnitude relationship between the power of class A and class B. it can.
[0114]
Since the quantization condition is linked to the code of the additional information (bit in Expression 3), the fact that the quantization condition can be identified corresponds to the ability to specify the multiplexed code. In the example of the flowchart shown in FIG. 4, since bit = 0 is set to the quantization condition A and bit = 1 is set to the quantization condition B, when the power of class A is larger, bit = 0, When the power of class B is larger, it can be determined that bit = 1.
[0115]
Although two types of decoding units have been described above, switching of the decoding units according to the present embodiment is necessary for optimal design of the decoding detection rate and the decoding time. That is, regarding a good print area, it is determined that decoding is easy, and decoding is performed by the decoding unit A having a fast decoding (extraction) time. On the other hand, for a print region on which a noise component is superimposed, a decoding method with higher accuracy is used by giving priority to the decoding detection rate over decoding (extraction) time.
[0116]
Thus, by using the absolute coordinates of the recorded printed matter as an evaluation factor, the print quality can be predicted, and a more optimal decoding unit can be selected.
[0117]
In the present embodiment, the decoding unit has been described with two types of A and B, but naturally more than this may be used. Further, the decoding unit is not limited to this.
[0118]
In addition, a method in which the decoding units are the same and only the detection accuracy is changed is also conceivable. That is, decoding with high redundancy is effective in a decoding unit that requires higher accuracy. For example, in the above-described method using orthogonal transformation using P × Q pixels (decoding means B), a block of P × Q pixels is spatially shifted by several pixels, orthogonal transformation is performed a plurality of times, and judgment is made through a plurality of class comparisons. A method for increasing the accuracy of the above is conceivable. At that time, it is also effective to rank the physical characteristics of the recording medium empirically and set it as an evaluation factor, and control the number of repetitions to gradually increase according to the rank.
[0119]
Of course, the determination using multiple orthogonal transforms improves the decoding accuracy, but requires more processing time. The optimization is preferably designed empirically.
[0120]
In addition, since the present embodiment is premised on the multiplexing according to the flowchart of FIG. 4, both the multiplexing and the decoding are performed on the print area where the image quality is deteriorated, and the robust multiplexing and the decoding with high accuracy are performed. However, naturally, it is also effective to perform uniform multiplexing and change the accuracy only at the time of decoding without distinction at the time of multiplexing.
[0121]
Also, when changing the method based on the absolute coordinates on paper for both multiplexing and decoding, the block size with the periodicity of modulation of the quantization threshold is set to be small for good area and large for informer area. It is also possible to make changes such as
[0122]
In addition, the inferior area may be considered other than the impact vibration when entering the roller or coming off the roller. For example, in the case of a machine configuration that realizes full-page printing with no paper margin, the accuracy of the paper edge portion is likely to deteriorate and become an important area.
[0123]
The switching between the decoding method and the multiplexing method has been described above, but the multiplexing method and the additional information separation method are not limited to the methods described above. In any multiplexing method and separation method, a configuration for controlling the separation method and the multiplexing method based on the absolute coordinates on the paper is effective.
[0124]
As described above, according to the second embodiment, the moment when the recording medium is removed from the various rollers based on the absolute coordinates in the page, not the relative coordinates from the image image origin, or the recording medium is the various rollers. The area where the printing that is the printing area such as the moment of entering the printing area is deteriorated and the area that the printing that is the other printing area is favorable are determined. Use an information extraction method that emphasizes information, and in areas where printing is good, use an information extraction method that emphasizes extraction time rather than extraction accuracy, so that the extraction accuracy when extracting information, optimization of the extraction time, image quality The optimal design can be realized.
[0125]
In addition, the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, interface device, reader, printer, etc.), or a device (for example, a copier, a facsimile device, etc.) composed of a single device. You may apply to.
[0126]
Another object of the present invention is to supply a storage medium (or recording medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and to perform a computer (or CPU) of the system or apparatus. Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0127]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0128]
【The invention's effect】
As described above, according to the present invention, since the separation method and the multiplexing method are controlled based on the absolute position of the recording paper to be printed, the detection accuracy at the time of decoding, the optimization of the decoding time, and the optimum design of the image quality are achieved. Can be realized.
[0129]
Further, according to the present invention, additional information can be easily multiplexed with image information, so that services and applications for embedding audio information and confidential information in image information can be provided. In addition, illegal counterfeiting of banknotes, stamps, securities, etc. can be suppressed, and copyright infringement of image information can be prevented.
[Brief description of the drawings]
FIG. 1 is a principal block diagram showing a configuration of an image processing apparatus according to a first embodiment.
2 is a principal block diagram showing a configuration of the additional information multiplexing device of FIG. 1;
3 is a principal block diagram showing the error diffusion unit of FIG. 2;
FIG. 4 is a flowchart showing an operation procedure of a multiplexing process including a quantization control unit.
FIG. 5 shows an example of blocking.
FIG. 6 shows an example of an image layout.
FIG. 7 is an explanatory diagram of an image deterioration area on recording paper.
FIG. 8 shows an example of quantization threshold change under quantization conditions.
FIG. 9: Arrangement example of combinations of quantization conditions
10 is a principal block diagram showing the configuration of the additional information separating apparatus in FIG. 1;
FIG. 11 shows an example of a spatial filter.
FIG. 12 is a principal block diagram showing the configuration of the additional information separating apparatus according to the second embodiment.
13 is a block diagram of the additional information decoding unit A in FIG.
14 is a block diagram of the additional information decoding unit B in FIG.
FIG. 15 is an explanatory diagram of class classification in a two-dimensional frequency domain.
FIG. 16 is a block diagram illustrating an example of conventional multiplexing;
FIG. 17 is a block diagram illustrating an example of conventional multiplexing.
FIG. 18 is a block diagram illustrating an example of conventional multiplexing.
FIG. 19 is a block diagram showing an example of separation in the conventional method

Claims (12)

画像を入力する入力手段と、
前記入力された画像に対して所定の情報を所定の埋め込み方法に従って埋め込む埋め込み手段と、
前記所定の情報が埋め込まれた画像を記録媒体に印字する印字手段と、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記埋め込み手段による埋め込みの強度を、前記端部領域以外の領域に対応する画像に対する前記埋め込み手段による埋め込みの強度よりも強く設定する設定手段とを有することを特徴とする画像処理装置。
An input means for inputting an image;
Embedding means for embedding predetermined information in the input image according to a predetermined embedding method;
Printing means for printing an image in which the predetermined information is embedded on a recording medium;
Based on the edge region of the recording medium classified by the mechanical configuration of the apparatus and the region other than the edge region, the strength of embedding by the embedding means for the image corresponding to the edge region is determined. An image processing apparatus comprising: a setting unit configured to set stronger than an embedding strength of the embedding unit for an image corresponding to an area other than the partial area.
前記端部領域は、前記記録媒体を搬送するローラに前記記録媒体が突入するときの印字領域、或いは該ローラから前記記録媒体がはずれるときの印字領域であることを特徴とする請求項1記載の画像処理装置。  2. The end region is a printing region when the recording medium enters a roller that conveys the recording medium, or a printing region when the recording medium is released from the roller. Image processing device. 記録媒体を読み取って所定の情報が埋め込まれた画像を入力する入力手段と、
前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出手段と、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記抽出手段による抽出の強度を、前記端部領域以外の領域に対応する画像に対する前記抽出手段による抽出の強度よりも強く設定する設定手段とを有することを特徴とする画像処理装置。
Input means for reading a recording medium and inputting an image in which predetermined information is embedded;
Extraction means for extracting the predetermined information from the input image according to a predetermined extraction method;
Based on the edge area of the recording medium classified by the mechanical configuration of the apparatus and the area other than the edge area, the intensity of extraction by the extraction means for the image corresponding to the edge area is determined as the edge. An image processing apparatus comprising: a setting unit that sets the intensity of extraction by the extraction unit for an image corresponding to an area other than the partial area.
前記端部領域は、前記記録媒体を搬送するローラに前記記録媒体が突入するときの印字領域、或いは該ローラから前記記録媒体がはずれるときの印字領域であることを特徴とする請求項3記載の画像処理装置。  4. The end region is a printing region when the recording medium enters a roller that conveys the recording medium, or a printing region when the recording medium comes off from the roller. Image processing device. 画像を入力する入力工程と、
前記入力された画像に対して所定の情報を所定の埋め込み方法に従って埋め込む埋め込み工程と、
前記所定の情報が埋め込まれた画像を記録媒体に印字する印字工程と、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記埋め込み工程による埋め込みの強度を、前記端部領域以外の領域に対応する画像に対する前記埋め込み工程による埋め込みの強度よりも強く設定する設定工程とを有することを特徴とする画像処理方法。
An input process for inputting an image;
An embedding step of embedding predetermined information in the input image according to a predetermined embedding method;
A printing step of printing an image in which the predetermined information is embedded on a recording medium;
Based on the edge area of the recording medium classified by the mechanical configuration of the apparatus and the area other than the edge area, the embedding strength of the image corresponding to the edge area by the embedding step is determined by the edge area. An image processing method comprising: a setting step for setting the strength corresponding to an embedding step for an image corresponding to a region other than a partial region.
前記端部領域は、前記記録媒体を搬送するローラに前記記録媒体が突入するときの印字領域、或いは該ローラから前記記録媒体がはずれるときの印字領域であることを特徴とする請求項5記載の画像処理方法。  6. The end region is a printing region when the recording medium enters a roller that conveys the recording medium, or a printing region when the recording medium is released from the roller. Image processing method. 記録媒体を読み取って所定の情報が埋め込まれた画像を入力する入力工程と、
前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出工程と、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記抽出工程による抽出の強度を、前記端部領域以外の領域に対応する画像に対する前記抽出工程による抽出の強度よりも強く設定する設定工程とを有することを特徴とする画像処理方法。
An input step of reading a recording medium and inputting an image in which predetermined information is embedded;
An extraction step of extracting the predetermined information from the input image according to a predetermined extraction method;
Based on the edge area of the recording medium classified by the mechanical configuration of the apparatus and the area other than the edge area, the intensity of extraction by the extraction process for the image corresponding to the edge area is determined as the edge. An image processing method comprising: a setting step for setting the intensity corresponding to an image corresponding to an area other than the partial area to be stronger than the intensity of extraction by the extraction process.
前記端部領域は、前記記録媒体を搬送するローラに前記記録媒体が突入するときの印字領域、或いは該ローラから前記記録媒体がはずれるときの印字領域であることを特徴とする請求項7記載の画像処理方法。  8. The end region is a printing region when the recording medium enters a roller that conveys the recording medium, or a printing region when the recording medium is released from the roller. Image processing method. 画像を入力する入力工程のプログラムコードと、
前記入力された画像に対して所定の情報を所定の埋め込み方法に従って埋め込む埋め込み工程のプログラムコードと、
前記所定の情報が埋め込まれた画像を記録媒体に印字する印字工程のプログラムコードと、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記埋め込み工程による埋め込みの強度を、前記端部領域以外の領域に対応する画像に対する前記埋め込み工程による埋め込みの強度よりも強く設定する設定工程のプログラムコードとを有することを特徴とするコンピュータプログラム。
A program code of an input process for inputting an image;
A program code for embedding predetermined information in the input image according to a predetermined embedding method;
A program code of a printing process for printing an image in which the predetermined information is embedded on a recording medium;
Based on the edge area of the recording medium classified by the mechanical configuration of the apparatus and the area other than the edge area, the embedding strength of the image corresponding to the edge area by the embedding step is determined by the edge area. A computer program comprising: a setting step program code for setting stronger than the embedding strength of the embedding step for an image corresponding to a region other than the partial region.
記録媒体を読み取って所定の情報が埋め込まれた画像を入力する入力工程のプログラムコードと、
前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出工程のプログラムコードと、
装置の機械的構成により分類される前記記録媒体の端部領域、および、該端部領域以外の領域に基づいて、前記端部領域に対応する画像に対する前記抽出工程による抽出の強度を、前記端部領域以外の領域に対応する画像に対する前記抽出工程による抽出の強度よりも強く設定する設定工程のプログラムコードとを有することを特徴とするコンピュータプログラム。
A program code of an input process for reading an image and inputting an image in which predetermined information is embedded;
A program code of an extraction step for extracting the predetermined information from the input image according to a predetermined extraction method;
Based on the edge area of the recording medium classified by the mechanical configuration of the apparatus and the area other than the edge area, the intensity of extraction by the extraction process for the image corresponding to the edge area is determined as the edge. A computer program comprising: a setting step program code for setting stronger than an extraction intensity of the image corresponding to a region other than the partial region.
請求項9に記載のコンピュータプログラムを格納することを特徴とする記憶媒体。  A storage medium storing the computer program according to claim 9. 請求項10に記載のコンピュータプログラムを格納することを特徴とする記憶媒体。  A storage medium storing the computer program according to claim 10.
JP2001293851A 2001-09-26 2001-09-26 Image processing apparatus and image processing method Expired - Lifetime JP3787511B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001293851A JP3787511B2 (en) 2001-09-26 2001-09-26 Image processing apparatus and image processing method
US10/247,519 US7408680B2 (en) 2001-09-26 2002-09-20 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001293851A JP3787511B2 (en) 2001-09-26 2001-09-26 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2003101760A JP2003101760A (en) 2003-04-04
JP3787511B2 true JP3787511B2 (en) 2006-06-21

Family

ID=19115560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001293851A Expired - Lifetime JP3787511B2 (en) 2001-09-26 2001-09-26 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP3787511B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422043B2 (en) 2003-09-12 2013-04-16 Oki Data Corporation Watermarked document reading apparatus with improved error processing
JP4269861B2 (en) * 2003-09-12 2009-05-27 沖電気工業株式会社 Printed material processing system, watermarked document printing device, watermarked document reading device, printed material processing method, information reading device, and information reading method
JP4777278B2 (en) 2007-02-28 2011-09-21 キヤノン株式会社 Image processing apparatus and method

Also Published As

Publication number Publication date
JP2003101760A (en) 2003-04-04

Similar Documents

Publication Publication Date Title
JP3647405B2 (en) Image processing apparatus and image processing method
JP4218920B2 (en) Image processing apparatus, image processing method, and storage medium
US6763121B1 (en) Halftone watermarking method and system
JP3599621B2 (en) Image processing apparatus, image processing method, and storage medium
JP2001218006A (en) Picture processor, picture processing method and storage medium
US7660429B2 (en) Error diffusion halftone watermarking
JP3639742B2 (en) Image processing apparatus and method
US7171019B2 (en) Image processing apparatus and image processing method
US7408680B2 (en) Image processing apparatus and method
CN101122996A (en) Digital image embedding, extraction method and device
US20010028726A1 (en) Image processing apparatus, image processing method and storage medium
JP4310031B2 (en) Image processing apparatus, image processing method, and storage medium
JP3684181B2 (en) Image processing apparatus and image processing method
JP3787511B2 (en) Image processing apparatus and image processing method
JP4311698B2 (en) Image processing apparatus, image processing method, and recording medium
JP3684178B2 (en) Image processing apparatus and image processing method
JP4147074B2 (en) Image processing apparatus and image processing method
JP3478781B2 (en) Image processing apparatus, image processing method, and storage medium
JP3809310B2 (en) Image processing apparatus and method, and storage medium
JP3715821B2 (en) Image processing apparatus and method
JP2003110838A (en) Device and method for processing image
JP3535791B2 (en) Image processing apparatus, image processing method, and storage medium
JP2003110839A (en) Device and method for processing image
JP3740338B2 (en) Image processing apparatus and method, and storage medium
JP2001292301A (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060327

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100331

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100331

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110331

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120331

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130331

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130331

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140331

Year of fee payment: 8