JP3684181B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP3684181B2
JP3684181B2 JP2001267112A JP2001267112A JP3684181B2 JP 3684181 B2 JP3684181 B2 JP 3684181B2 JP 2001267112 A JP2001267112 A JP 2001267112A JP 2001267112 A JP2001267112 A JP 2001267112A JP 3684181 B2 JP3684181 B2 JP 3684181B2
Authority
JP
Japan
Prior art keywords
information
image
embedding
input
recording medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001267112A
Other languages
Japanese (ja)
Other versions
JP2003078753A (en
Inventor
信孝 三宅
稔 日下部
清 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001267112A priority Critical patent/JP3684181B2/en
Publication of JP2003078753A publication Critical patent/JP2003078753A/en
Application granted granted Critical
Publication of JP3684181B2 publication Critical patent/JP3684181B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Cleaning In Electrography (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、画像情報中に、該画像情報とは別の情報、例えば音声情報や、テキスト文書情報、画像に関する諸情報、全く別の画像情報等を付加情報として、視覚的に目立たぬように埋め込む画像処理に関する。
【0002】
【従来の技術】
従来より、画像情報中に、画像に関連のある他の情報を多重化する研究が盛んに行われている。近年では、電子透かし技術と称し、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報を視覚的に判別しづらい様に多重化して、インターネット等のネットワークを通じて流通する技術が標準化されつつある。
【0003】
また、他の応用分野としては、複写機、プリンタ等の画像出力装置の高画質化に伴い、紙幣、印紙、有価証券等の不正な偽造を防止する目的で、紙上に出力された画像から出力機器、及び、その機体番号を特定する為に、画像中に付加情報を埋め込む技術がある。
【0004】
例えば、特開平7−123244では、視覚的に感度の低い色差成分、及び彩度成分の高周波域に付加情報を埋め込むことにより情報の多重化を行う技術を提案している。
【0005】
しかし、前述した技術は以下の問題点がある。図15は、電子透かし技術の一般的な付加情報の埋め込みを示した図である。画像情報Aと付加情報Bが加算器1501を介して多重化され、Cという多重化情報に変化する。図15は画像情報の実空間領域で付加情報を多重化する例である。この多重化情報Cを各種フィルタリング等の画像処理や、非可逆圧縮等の符号化をせずに流通することが可能であれば、多重化情報Cから付加情報Bを復号することは従来技術でも容易である。インターネット上で流通する画像情報では、多少のノイズ耐性があれば、エッジ強調、平滑化等の画質向上のデジタルフィルタを通しても復号が可能になる。
【0006】
しかし、今、多重化した画像をプリンタ等の出力装置により印字し、その印字物から付加情報を取り出す場合を想定する。しかも、使用するプリンタが単色あたり2階調から数階調程度の表現能力しか有していないプリンタ出力を想定する。近年、インクジェットプリンタは、染料濃度を薄くしたインクを有したり、出力するドット径を可変に制御したりして、単色あたり数階調表現できる装置が上市されているが、それでも疑似階調処理を用いない限り、写真調の画像の階調性は表現できない。
【0007】
すなわち、図15の電子透かし技術を用いた多重化方法をプリンタに出力するという前述の想定では、図16に示すように、疑似階調処理部1601により多重化情報CはDという量子化情報に変化し、その後、プリンタ出力部1602にて紙上に印字されることにより、非常に劣化したEという紙上情報(印字物)に変化する。従って、前述した偽造防止の目的の為に紙上の情報から付加情報を復号するということは、図16の一連の処理後の紙上情報Eから付加情報Bを復号することになるわけである。この1601、1602の両処理による情報の変化量は非常に大きく、視覚的に判別できないように付加情報を多重化し、かつ、多重化した付加情報を紙上から正しく復号することは非常に困難なことになる。
【0008】
また、図17は、実空間領域ではなく、画像情報をフーリエ変換等を用い、周波数領域に変換してから高周波域等に合成する従来の電子透かし技術の例を示している。図17において、画像情報を直交変換処理部1701により周波数領域に変換し、加算器1702により、視覚的に判別しづらい特定の周波数に付加情報が加算される。1703逆直交変換処理部により再び実空間領域に戻された後に、図16の例と同様に、疑似階調処理部、プリンタ出力部という大きな変化を伴うフィルタを通ることに相当する。
【0009】
図18では、紙上からの付加情報の分離の処理を示している。すなわち、印字物をスキャナ等の画像読取部1801を介して、印字物の情報を入力する。入力された情報は、疑似階調処理部により階調表現されている画像である為に、逆疑似階調処理部である復元処理部1802を施す。復元処理は、LPF(ローパスフィルタ)を用いるのが一般的である。復元後の情報を1803により直交変換処理させた後に、1804分離処理部において、特定の周波数の電力から埋め込んだ付加情報の分離を行う。
【0010】
以上の図17、図18から明らかなように、付加情報を多重化してから分離するまでに、複雑な多数の処理工程を通過することがわかる。カラー画像の場合には、この一連の処理工程の中にプリンタ特有の色に変換する色変換処理も含まれることになる。このような複雑な処理工程でも良好な分離を実現するためには、非常に耐性の強い信号を入れなくてはならない。良好な画質を維持しつつ、耐性の強い信号を入れるのは困難である。また、処理工程が多数、複雑ということは、多重化、及び分離に要する処理時間が非常に長くなってしまう。
【0011】
また、前述した特開平7-123244では、高周波域に情報を付加させているが、後段の疑似階調処理で、誤差拡散法を実施した場合には、誤差拡散法特有のハイパスフィルタの特性により、付加情報の帯域が誤差拡散で発生するテクスチャの帯域に埋没してしまい、復号に失敗する恐れが多分にある。また、復号には非常に精度の高いスキャナ装置が必要になる。すなわち、疑似階調処理が前提である場合には、図16、図17の方式は適さないことがわかる。言い換えると、疑似階調処理の特性を大きく活かした付加情報の多重化方式が必要になる。
【0012】
付加情報の多重化と疑似階調処理の冗長性とを結び付けた例として、特登録2640939、特登録2777800がある。
【0013】
前者は、組織的ディザ法にて2値化する際に、同一階調を表すディザマトリクスの中からいづれか一つを選定することによって、画像信号中にデータを混入するものである。
【0014】
しかし、組織的ディザ法では、高解像の、しかも機械的精度の非常に優れたプリンタで無い限り、写真調の高画質の出力は困難である。多少の機械的精度のずれが、横筋等の低周波のノイズとして発生し、紙上では容易に視覚されてくるからである。また、ディザマトリクスを周期的に変化させると、規則的に配列されていたディザにより発生する特定周波数の帯域が乱され、画質的に悪影響を及ぼす。
【0015】
また、ディザマトリクスの種類により階調表現能力が大きく異なる。特に紙上においては、ドットの重なり等における面積率の変化がディザマトリクスによって異なる為、たとえ信号上では均一濃度である領域でもディザマトリクスの切り替えで濃度の変化を引き起こすことも考えられる。また、復号(分離)側にとって、原信号である画像情報の画素値が不明な状態で、いかなるディザマトリクスで2値化されたかを推測する復号方法では、誤った復号をしてしまう可能性が非常に大きい。
【0016】
また、後者は、カラーのディザパターン法を用いて、その配列により付加情報を多重化する方法である。この方法でも前者と同様、切り換えにより画質劣化は避けられない。また、前者と比べて、より多くの付加情報を多重化できる代わりに、色成分の配列を変化させることによる色見の変化をもたらし、特に平坦部において画質劣化が大きくなる。また、紙上での復号も更に困難になることが予想される。
【0017】
いずれにしても、ディザマトリクスを変化させる両者の方法では、画質劣化が大きい割に、復号が困難という問題点を有している。
【0018】
そこで、本発明の出願人は、先に、誤差拡散法によって生じるテクスチャを利用し、通常の疑似階調処理では発生し得ない量子化値の組み合わせを人工的に作成することにより符号の埋め込みを行う方法を提案した。
【0019】
この方法は、テクスチャの形状が微視的に多少変化するだけなので、視覚的には画質が劣化するものではない。また、誤差拡散法の量子化閾値を変更する方法を用いれば、視覚的に面積階調の濃度値も保たれる為、極めて容易に異種信号の多重化が実現できる。
【0020】
しかし、前述の提案によると、復号側では、テクスチャが人工的であるか否かを判別しなくてはならない。紙上に出力した印字物では、ドットのよれ等の所望の着弾点位置からのずれにより、テクスチャが良好に再現できない場合がある。
【0021】
また、カラー画像においては、最も視覚的に感度の低い色成分に多重化する方法が主流であるが、実空間領域でのテクスチャの判別は、他の色成分の影響を受けやすく、多重化情報の分離が困難なものになってしまう。
【0022】
また、本出願人は、前述した問題点を解決する為に、誤差拡散法の量子化閾値自身を所定の周期性で振幅変調し、この閾値変調の周期性を領域単位に複数種類制御することによって、擬似階調処理の量子化値の発生確率を制御し、この周期性に基づき符号を埋め込む方法を提案した。
【0023】
この方法は、前述したテクスチャの位置や形状を判別する方法に比べ、符号を形成している位相情報よりも、複数の所定周波数帯域での相対的な電力情報が重要な復号因子になる為、紙上においても良好な復号が実現できる。
【0024】
【発明が解決しようとする課題】
しかし、前述した提案には以下のような問題点がある。
【0025】
すなわち、印字物からの付加情報の分離となる復号処理を考えた場合に、印字した記録媒体によっては、復号が困難になる場合がある。
【0026】
いま、プリンタの対象として、インクジェットプリンタを考える。インクジェットプリンタの使用できる記録媒体は、大別して、光沢紙、コート紙、普通紙、OHP用紙、また、近年、年賀状はがきや官製はがき等にも用いられているインクジェット専用はがき等が考えられる。当然、光沢紙、コート紙等の分類にしても、その品質、特性は多種多様になっている。
【0027】
光沢紙、コート紙では、紙上におけるインク滴が正確なドット形状を示すことが多いが、前述したインクジェット専用はがき、普通紙等では、ドット形状がつぶれ、紙の繊維に沿ってドット径が歪むフェザリングという現象が発生する。
【0028】
また、退色、変色等の印字物の劣化は、記録媒体によっても大きく異なる。
【0029】
すなわち、従来の方法では、印字物の品質が異なるにも関わらず記録媒体の特性を考慮せずに、いかなる記録媒体において作成された印字物でも同一の復号方式で復号処理を行うしかなかった。すなわち、復号処理における付加情報の検出精度、復号処理時間の最適設計が実現できる復号システムが提案できなかった。
【0030】
また、付加情報の多重化においても同様で、使用する紙種に依存して、付加したことによる画質劣化の視覚的目立ちやすさも異なるし、同一の復号方式を用いる場合には抽出精度も異なる。すなわち、多重化における画質の制御、及び、検出精度の最適設計が実現できる多重化システムが提案できなかった。
【0031】
本発明は、上記課題を解決するためになされたものであり、画像に埋め込まれた付加情報の検出(抽出)精度、抽出時間の最適化、画質の最適設計を実現することができる画像処理装置及び画像処理方法を提供することを目的とする。
【0032】
また、本発明は、画像に付加情報を埋め込む際の画質の制御、及び、検出(抽出)精度の最適設計が実現することができる画像処理装置及び画像処理方法を提供することを目的とする。
【0033】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、所定の情報が埋め込まれた画像を像形成した記録媒体を読み取って該記録物に応じた画像を入力する画像入力手段と、前記入力された画像から該画像に埋め込まれた前記記録媒体の種類に関する情報を抽出して入力する情報入力手段と、前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出手段と、前記入力された情報に基づいて前記抽出手段による抽出方法を切り替える切替手段とを有することを特徴とする
【0034】
また、上記目的を達成するために、本発明の画像処理方法は、所定の情報が埋め込まれた画像を像形成した記録媒体を読み取って該記録物に応じた画像を入力する画像入力工程と、前記入力された画像から該画像に埋め込まれた前記記録媒体の種類に関する情報を抽出して入力する情報入力工程と、前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出工程と、前記入力された情報に基づいて前記抽出工程による抽出方法を切り替える切替手段とを有することを特徴とする
【0035】
また、上記目的を達成するために、本発明の画像画像処理装置は、画像を入力する画像入力手段と、前記画像に埋め込む所定の情報を入力する入力手段と、前記画像を像形成する記録媒体の種類に関する情報を入力する情報入力手段と、前記入力された画像に対して前記入力された所定の情報、および、前記記録媒体の種類に関する情報を所定の埋め込み方法に従って埋め込む埋め込み手段と、前記入力された情報に基づいて前記埋め込み手段による埋め込み方法を切り替える切替手段とを有することを特徴とする。
【0036】
また、上記目的を達成するために、本発明の画像処理方法は、画像を入力する画像入力工程と、前記画像に埋め込む所定の情報を入力する工程前記画像を像形成する記録媒体の種類に関する情報を入力する情報入力工程と、前記入力された画像に対して前記入力された所定の情報、および、前記記録媒体の種類に関する情報を所定の埋め込み方法に従って埋め込む埋め込み工程と、前記入力された情報に基づいて前記埋め込み工程による埋め込み方法を切り替える切替工程とを有することを特徴とする。
【0037】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。尚、本実施形態における画像処理装置は、主として、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、アプリケーションソフトとして内蔵することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウエア、及びソフトウエアとして内蔵することも効果がある。
【0038】
(第1の実施形態)
図1は、第1の実施形態の画像処理システムの構成を表すブロック図である。
【0039】
100、101、102はともに入力端子を示し、100からは多階調の画像情報を、101からは、画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報は、入力端子100にて入力される画像情報とは別の情報、例えば音声情報や、テキスト文書情報、入力端子100にて入力される画像に関する著作権、撮影日時、撮影場所、撮影者等の諸情報、また、全く別の画像情報等、様々な応用が考えられる。
【0040】
102からは、印字物である記録媒体の種類に関する情報(以下、紙種情報と称す)が入力される。本実施形態では、前述した付加情報に加え、紙種情報をヘッダ情報として付加する。この紙種情報は、使用者によるキーボード、もしくはマウス等による入力でも良いし、プリンタからの直接送信によるものでも良い。通常、インクジェットプリンタ等による印字では、紙種により色変換のパラメータや印字プロセスが異なる場合が多いため、使用者がホストコンピュータ上のプリンタドライバにて紙種を指定する場合が多いが、その指定を利用しても良い。
【0041】
103は、埋め込み情報多重化装置を示し、視覚的に判別しづらいように、画像情報中に紙種情報と付加情報(以下、この2種を合わせて埋め込み情報と称す)を埋め込ませる装置である。
【0042】
この埋め込み情報多重化装置103は、埋め込み情報の多重化とともに、入力した多階調の画像情報の量子化をも司る。
【0043】
104はプリンタを示し、埋め込み情報多重化装置103で作成された情報をプリンタエンジンにて出力する。プリンタ104は、インクジェットプリンタ、レーザープリンタ等、疑似階調処理を用いることにより階調表現を実現するプリンタを想定する。
【0044】
出力された印字物は、スキャナ105を用いて印字物上の情報を読み取り、埋め込み情報分離装置106によって、印字物中に埋め込まれた埋め込み情報を分離(抽出)し、出力端子107に出力する。
【0045】
図2は、図1の埋め込み情報多重化装置103の構成を示すブロック図である。
【0046】
200は誤差拡散処理部を示し、入力された画像情報に対して誤差拡散法を用いた疑似階調処理を行うことによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。
【0047】
201はブロック化部を示し、入力された画像情報を所定領域単位に区分する。このブロック化は矩形でも良いし、矩形以外の領域に区分しても良い。
【0048】
202は量子化条件制御部を示し、ブロック化部201にてブロック化した領域単位で量子化条件を変更、制御する。量子化条件制御部202は、入力端子101で入力された埋め込み情報に基づき、ブロック単位で量子化条件が制御される。
【0049】
210は、 CPU211、 ROM212、 RAM213などからなる制御部である。 CPU211は、 ROM212に保持された制御プログラムに従って、上述した各構成
の動作、及び処理を制御する。RAM213は、CPU211の作業領域として使用される。
【0050】
図3は、誤差拡散処理200の詳細を表すブロック図である。一般的な誤差拡散処理は、文献R.Floyd & L.Steinberg: “An Adaptive Alogorithm for Spatial Grayscale”, SID Symposium Digest of Paper pp.36〜37 (1975)に詳細が記載されている。
【0051】
いま、量子化値が2値である誤差拡散処理を例にして説明する。尚、量子化値は2値に限らず、多値、例えば3値、4値でもよい。
【0052】
300は加算器を示し、入力された画像情報の注目画素値と既に2値化された周辺画素の分配された量子化誤差が加算される。量子化条件制御部202からの量子化閾値と誤差の加算された加算結果とを比較部301にて比較し、所定の閾値よりも大きい場合には“1”を、それ以外では“0”を出力する。
【0053】
例えば、8ビットの精度で画素の階調を表現する場合には、最大値である“255”と最小値である“0”で表現するのが一般的である。いま、量子化値が“1”の時に、紙上にドット(インク、トナー等)が印字されると仮定する。
【0054】
302は減算器を示し、量子化結果と前述した加算結果との誤差を算出し、誤差配分演算部303に基づいて、今後の量子化処理が施される周辺画素に誤差を配分する。誤差の配分割合は注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル304を予め所有しておき、配分テーブルに記された配分割合に基づいて誤差を分配する。
【0055】
図3の配分テーブル304は、周囲4画素分の配分テーブルを示しているが、これに限るものではない。
【0056】
次に量子化条件制御部202を含む全体の動作手順について、図4のフローチャートを基に説明する。いま、量子化値は2値である例について述べる。尚、量子化値は2値に限らず、多値、例えば3値、4値でもよい。
【0057】
S401は、変数iの初期化を示す。変数iは垂直方向のアドレスをカウントする変数である。
【0058】
S402は、変数jの初期化を示す。変数jは水平方向のアドレスをカウントする変数である。続いてS403は、 i、jのアドレス値による判定工程であり、現在の処理アドレスであるi、jの座標が多重化処理を実行すべき領域に属しているか否かを判定している。
【0059】
図5を基に多重化領域について説明する。図5は、水平画素数がWIDTH、垂直画素数がHEIGHTから成る、ひとつの画像イメージを示している。
【0060】
いま、この画像イメージ中に埋め込み情報を多重化すると仮定する。画像イメージの左上を原点とし、横N画素、縦M画素でブロック化をする。本実施形態では、原点を基準点としてブロック化を行なうが、原点から離れた点を基準点として設定しても良い。この画像イメージ中に最大限の情報を多重化する場合に、N×Mのブロックを基準点から配置していく。すなわち、水平方向に配置可能なブロック数をW、垂直方向に配置可能なブロック数をHとすると、以下の関係になる。
W=INT(WIDTH/N)・・・式1
H=INT(HEIGHT/M)・・・式2
但し、INT( )は( )内の整数部分を示す。
【0061】
式1、式2において割り切れない剰余画素数が、N×Mのブロックを複数配置した時の端部に相当し、符号多重化領域外となる。
【0062】
図4中、S403にて、現在処理している注目画素が多重化領域外と判定された場合には、S404にて量子化条件Cが設定される。一方、多重化領域内と判定された場合には、多重化すべき埋め込み情報を読み込む。いま、説明を容易にする為に、埋め込み情報をcode[ ]という配列を用いて、各1ビットづつ表現するものとする。例えば紙種情報を8ビット分、付加情報を200ビット分の情報と仮定すると、埋め込み情報は2種が加算された208ビット分となり、配列code[ ]はcode[0]からcode[207]まで、各1ビットづつが格納されていることになる。S405において、変数bitは、以下のように配列code[ ]内の情報を代入する。
bit = code[INT(i / M)×W + INT(j / N)]・・・式3
続いて、S406にて代入した変数bitが“1”か否かを判定する。前述したように、配列code[ ]内の情報は各1ビットずつ格納されている為、変数bitの値も“0”か“1”かの何れかを示すことになる。S406にて、“0”と判定された場合には、S407にて量子化条件Aを、“1”と判定された場合には、S408にて量子化条件Bを設定する。
【0063】
続いてS409では、設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、図3にて説明している誤差拡散法に相当する。
【0064】
続いて、S410では水平方向変数jをカウントアップし、S411にて画像の水平画素数であるWIDTH未満か否かを判定し、 処理画素数がWIDTHになるまで前述の処理を繰り返す。また、水平方向の処理がWIDTH画素数分終了すると、S412にて垂直方向変数iをカウントアップし、S413にて画像の垂直画素数であるHEIGHT未満か否かを判定し、 処理画素数がHEIGHTになるまで前述の処理を繰り返す。
【0065】
以上の動作手順により、N×M画素よりなるブロック単位で、量子化条件を変更することが可能になる。
【0066】
続いて、量子化条件A、B、Cの例について説明する。誤差拡散法における量子化条件は様々な因子があるが、本実施形態では量子化条件は、量子化閾値とする。量子化条件Cの使用は、多重化領域外である為に、量子化閾値は何でも良い。前述したように、1画素が8ビットによる階調表現で、量子化レベルが2値の場合には、最大値である“255”、及び、最小値である“0”が量子化代表値となるが、その中間値となる“128”を量子化閾値として設定することが多い。すなわち、量子化条件Cでは、量子化閾値を“128”固定とする条件にする。
【0067】
量子化条件A、量子化条件Bの使用は多重化領域内のブロックである為、量子化条件の違いによる画質の違いを生じさせなければならない。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、紙上から容易に識別できなくてはならない。
【0068】
図6は、量子化条件A、Bを表した例である。図6(a)は、量子化条件Aにおける量子化閾値の変化の周期を示した図である。図中、ひとつのマスを1画素分と想定し、白いマスは固定閾値、灰色のマスを変動閾値とする。すなわち、図6(a)の例では、横8画素、縦4画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【0069】
図6(b)は、同様に、量子化条件Bにおける量子化閾値の変化の周期を示した図である。図6(b)の例では、図6(a)とは異なり、横4画素、縦8画素のマトリクスを組み、灰色のマスの閾値のみ突出した値を閾値として設定する。
【0070】
いま、前述したように1画素が8ビットの階調値の場合に、一例として、固定閾値として“128”、突出した閾値を“48”と設定する。量子化閾値が低くなると、注目画素の量子化値が“1”(量子化代表値“255”)になりやすくなる。
【0071】
すなわち、図6(a)、(b)ともに、図中の灰色のマスの並びで量子化値“1”が発生しやすくなる。言い換えると、N×M画素のブロック毎に、図6(a)の灰色のマスの並びでドットが発生するブロックと、図6(b)の灰色のマスの並びでドットが発生するブロックとが混在することになる。当然、N×M画素の同一ブロック内では、図6(a)、もしくは図6(b)のマトリクスを繰り返すことになる。
【0072】
誤差拡散法における量子化閾値の多少の変更は、画質的には大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右する。
【0073】
しかし、前述したような、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるため、ドットの並びが多少変化したり、テクスチャの発生が変化したり等、階調表現の画質にはほとんど影響を与えないことになる。それは、量子化閾値が変化した場合でも、あくまでも信号値と量子化値との差分となる誤差は周囲画素に拡散される為、入力された信号値はマクロ的に保存される。すなわち、誤差拡散法におけるドットの並び、テクスチャの発生に関しては冗長性が非常に大きいことになる。
【0074】
また、前述した例は、単純に変数bitの値が“0”の時には量子化条件A、“1”の時には量子化条件Bとして切り替えていたが、これに限るものではない。量子化条件の組み合わせによって変数bitを表現することも可能である。
【0075】
例えば、図7に示した様に、N×M画素のブロックを更に4つの小ブロックに分割し、変数bitの値が“0”の時には図7(a)の配置を、“1”の時には、図7(a)の配置を使用して量子化することで違いを出すことも可能である。
【0076】
次に、埋め込み情報分離装置106について説明する。
【0077】
図8は、埋め込み情報分離装置106の構成を示すブロック図である。
【0078】
800は、入力端子を示し、画像読取部、例えばスキャナで読み込まれた画像情報が入力される。使用するスキャナの解像度は、印字物を作成するプリンタ解像度と同等以上が好ましい。当然、正確に印字物のドットの点在情報を読み込む為には、サンプリング定理により、スキャナ側はプリンタ側よりも2倍以上の解像度が必要になる。しかし、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能である。本実施形態では、説明を容易にするためにプリンタ解像度とスキャナ解像度が同一解像度と想定する。
【0079】
801は、紙種情報復号部を示し、埋め込まれた付加情報のうち、まずは、ヘッダ情報である紙種情報を復号する。この復号処理は、後述する付加情報復号部Bを使用するのが好ましいが、ここでは限定しない。まずはヘッダ情報から復号するわけである。
【0080】
802は選択部を示し、復号された紙種情報から、付加情報復号部A803、及び、付加情報復号部B804の何れか一方を、スイッチ805を介して以下の選択がなされる。
1) 紙種が光沢紙、もしくは、コート紙である場合 ・・・ 付加情報復号部Aを選択
2) 紙種が普通紙である場合 ・・・ 付加情報復号部Bを選択
図9は、付加情報復号部Aの構成を示すブロック図である。
【0081】
901は、ブロック化部を示し、P×Q画素単位にブロック化をする。このブロックは、多重化時にブロック化したN×M画素よりも小さくなければならない。すなわち、
P≦N、かつ Q≦M・・・式5
の関係が成り立つ。
【0082】
また、P×Q画素単位のブロック化は、ある一定間隔毎スキップしてブロック化を行う。すなわち、多重化時のN×M画素よりなるブロックと想定される領域内に、P×Q画素単位のブロックがひとつ内包するようにブロック化する。スキップ画素数は、水平N画素分、垂直M画素分が基本となる。
【0083】
902、903は、それぞれ特性の異なる空間フィルタA、Bを示し、904は、周辺画素との積和を演算するディジタルフィルタリング部を示している。
【0084】
この空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に適応して作成する。いま、多重化装置における量子化条件の変更を図6(a)、図6(b)の2種の周期性を用いることにより付加情報を多重化したと仮定する。
【0085】
その時の埋め込み情報分離装置106に使用する空間フィルタA902、空間フィルタB903の例を、図10(a)、図10(b)に示す。図中、5×5画素の中央部が注目画素になり、それ以外の24画素分が周辺画素になる。図中、空白部の画素は、フィルタ係数が“0”であることを表している。図から明らかな様に、図10(a)、(b)はエッジ強調のフィルタになっている。しかも、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図10(a)は図6(a)に、また、図10(b)は図6(b)に一致するように作成する。
【0086】
905は、特徴量検出部を示し、空間フィルタA902、及び、空間フィルタB903によるフィルタリング部904からのフィルタ後の変換値を基に、なんらかの特徴量を検出する手段である。検出する特徴量の例として、以下のものが考えられる。
1.デジタルフィルタ後のブロック内の変換値の最大値
2.デジタルフィルタ後のブロック内の変換値の最大値と最小値の差分
3.デジタルフィルタ後のブロック内の変換値の分散値
本実施形態では、上記3に示した分散値を特徴量とする。906は、判定部を示し、それぞれの分散値の大小比較をして、分散値が大きい方を符号と判断する。すなわち、空間フィルタAによるフィルタリングの分散値が大きければ、印字時に量子化条件Aで量子化されたものと推測し、反対に空間フィルタBによるフィルタリングの分散値が大きければ、印字時に量子化条件Bで量子化されたものと推測する。
【0087】
量子化条件は、付加情報の符号(式3のbit)に連動している為、量子化条件が識別できるということは、多重化された符号が特定できることに相当する。すなわち、量子化条件Aと推測された場合には、bit = 0、量子化条件Bと推測された場合には、bit=1と判断できる。
【0088】
図11は、付加情報復号部Bを示すブロック図である。
【0089】
1101は、ブロック化部を示し、図9の902と同じでP×Q画素単位にブロック化する。
【0090】
1102は、直交変換部を示し、ブロック化したP×Q画素を直交変換する手段である。ただ、2次元の直交変換を行う時には、Q=Pの正方ブロックでブロック化する必要がある。本実施形態では、DCT(離散コサイン変換)を例にする。
P×P画素よりなるブロックの二次元DCTの変換係数は、
【外1】

Figure 0003684181
【0091】
但し、C(x)=1/√2 (x=0),
C(x)=1 (x≠0)・・・式6
で与えられる。
【0092】
1103は、クラス分類部を示し、直交変換係数の帯域毎にクラス分類する。図12は、P=Q=16の時のクラス分類の一例を示している。図12は、1ブロック内の直交変換係数F(u,v)を表していて、左上がDC成分、残りの255成分がAC成分となる。
【0093】
いま、F(4,8)を中心とするクラスAと、F(8,4)を中心とするクラスBの2クラスを作成する。2クラスを図中、太線で示す。このクラス分類手段は、全256成分をクラス分類する必要はなく、所望の成分を中心とした複数のクラスに分類するだけで良い。この必要なクラス数は、多重化時に量子化制御した条件数に対応する。すなわち、量子化制御した条件数よりもクラス数は多くなることはない。
【0094】
1104は、電力比較部を示し、各クラスの電力の総和を比較する手段である。演算を高速にする為に、発生した変換係数の絶対値を電力の代用としても良い。各クラスの電力の総和を比較することで、付加情報の信号を判断する。
【0095】
いま、多重化時に図6(a)、(b)の量子化条件A、Bを施した例について説明する。前述したように、量子化条件A、Bを用いた量子化では、各々角度の異なる斜め方向にドットが並ぶテクスチャが発生しやすい。
【0096】
すなわち、量子化条件Aにおいて量子化したブロックでは、直交変換処理を行うと、図12のクラスAに大きな電力が発生する。一方、量子化条件Bにおいて量子化したブロックでは、直交変換処理を行うと、図12のクラスBに大きな電力が発生する。
【0097】
すなわち、クラスAとクラスBの電力の大小関係を相対的に比較することにより、該当するブロックの多重化時の量子化条件が、量子化条件A、量子化条件Bの何れであるかが判断できる。量子化条件は、付加情報の符号(式3のbit)に連動している為、量子化条件が識別できるということは、多重化された符号が特定できることに相当する。
【0098】
図4に示したフローチャートの例では、bit=0を量子化条件A、bit=1を量子化条件Bに設定している為、クラスAの電力の方が大きい場合には、bit=0、クラスBの電力の方が大きい場合には、bit=1と判断できる。
【0099】
以上、2種の復号部を説明したが、本実施形態の復号部の切り替えは、復号検出率と復号時間との最適設計に必要である。すなわち、ドット形状が正確に再現できる印字物に関しては、復号は容易であると判断し、復号時間の速い復号方法を用いる。一方、ドット形状の再現性が悪く、フェザリングを起こしていると想定される印字物に関しては、復号時間よりも復号検出率を優先にして、より精度の高い復号方法を用いる。
【0100】
このように、記録した印字物の紙種を評価因子にすることにより、印字品位が予測することができ、より最適な復号手段を選択することができる。
【0101】
本実施形態では、復号部をA、Bの2種にて説明したが、当然これ以上でも構わない。また、復号方法もこれに限定するものではない。
【0102】
また、復号部を同一にして、その検出精度だけを変化させる方法も考えられる。すなわち、より精度が求められる復号方法においては、冗長性の高い、繰り返しによる復号が有効である。例えば、前述のP×Q画素による直交変換を用いる方法(復号部B)では、P×Q画素のブロックを空間的に数画素ずらして複数回の直交変換を行い、複数回のクラス比較を通して判断の精度を高める方法が考えられる。その際に、経験的に記録媒体の物理特性をランク付けして評価因子として設定し、繰り返しの回数をランクに応じて徐々に増やす様に制御することも有効な方法である。
【0103】
当然、複数回の直交変換を用いて判断した方が、復号精度は向上するが、処理時間は余計にかかってしまう。その最適化は経験的に設計するのが好ましい。
【0104】
また、フェザリングの程度を予測して補正する方法も考えられる。すなわち、フェザリングによりドット径が広がり、隣接画素との間ににじみが生じる為、紙上では一種のLPFの特性を有すると見なすことができる。そこで、ドット径の紙上での再現性を評価因子にして、経験的な補正値を算出して、ドット径補正をも含めた復号方法も考えられる。
【0105】
また、色材(インク)により紙上での物理特性が異なる場合には、復号処理に使用する色を変化する方法も考えられる。例えば、仮にマゼンタがインク濃度等の関係で他の色(シアン、イエロー、ブラック)よりもドット径が広がりやすい傾向があれば、RGBのうち、マゼンタの補色となるG成分からの復号影響度合いを変化させることも有効である。すなわち、紙上でのドット形状品位が良い紙種の場合には、G成分の復号を中心に判断して、ドット形状品位が悪くなるにつれ、G成分の復号の影響を減らして判断する方法である。
【0106】
また、紙種情報を埋め込み情報と付加せずに、実際に復号をする使用者がいかなる紙種かを判断して、キーボード、もしくはマウス等により入力しても良い。
【0107】
以上説明したように上記第1の実施形態によれば、記録媒体の種類に応じて画像に埋め込まれた所定の情報の抽出方法を切り替えるので、所定の情報の抽出精度、抽出時間の最適化、画質の最適設計を実現することができる。
【0108】
(第2の実施形態)
図13は、第2の実施形態の画像処理システムの構成を示す。本実施形態は、図1に示した構成において、紙種情報に応じて多重化方法を変更するものである。
【0109】
図13中、端子100、101、102からは、それぞれ、画像情報、付加情報、紙種情報が入力される。1301、1302は、それぞれ、付加情報多重化部A、付加情報多重化部Bを示し、2種の多重化部を有している。1303は、選択部を示し、紙種情報に応じて、スイッチ1304を介して、以下の選択がなされる。
1)紙種が光沢紙、もしくは、コート紙である場合 ・・・ 付加情報多重化部Aを選択
2)紙種が普通紙である場合 ・・・ 付加情報多重化部Bを選択
本実施形態では、付加情報多重化部A、Bともに多重化の方法自体は図2と同様であり、多重化する際の条件のみを変更して区別する。前述した多重化方法は、誤差拡散法の量子化条件を周期的に変更することにより多重化している。前述した例では、図6(a)、及び(b)に示したように、所定の周期性により量子化閾値を突出した値に変化させている。量子化閾値を周期的に変化させるということは、量子化閾値を振幅変調していることに相当する。
【0110】
本実施形態では、この振幅の値を付加情報多重化部A、及び、付加情報多重化部Bで異ならせる。
【0111】
図14は、量子化閾値の変調する振幅を異ならせた一例を示す。図14(a)が、付加情報多重化部Aの振幅変調に相当し、図14(b)が、付加情報多重化部Bの振幅変調に相当する。量子化閾値の振幅は大きくなるに従って、変調をかけた所望の画素位置の量子化結果が制御できる。しかし、それに反して、変調の規則性により画質の劣化が生じてくる。そこで、ドット径の再現性の良い紙種の場合には、量子化閾値の振幅を小さくし、変調の規則性による画質の劣化を抑える様にする。但し、良質な紙の為、復号は容易である。
【0112】
一方、ドット径の再現性の悪い紙種の場合には、量子化閾値の振幅を大きくし、復号しやすいように量子化結果を制御する。但し、悪質な紙の為、フェザリング等のノイズが多くなり、変調の規則性による画質劣化は視覚的に目立たなくなる。
【0113】
また、付加情報多重化部を同一にして、その量子化閾値の振幅を変化させるようにしてもよい。
【0114】
以上、復号方法、多重化方法の切り替えについて説明してきたが、多重化方法、付加情報の分離方法は前述した方法に限定しない。いかなる、多重化方法、分離方法においても、紙種情報に基づいて分離方法、及び多重化方法を制御する構成は有効である。
【0115】
また、復号方法、多重化方法をそれぞれ独自に切り替える例について説明してきたが、当然、双方を連動して共に切り替える方法も効果がある。
【0116】
以上説明したように第2の実施形態によれば、記録媒体の種類に応じて画像に所定の情報を埋め込むための埋め込み方法を切り替えるので、画質、抽出精度の最適設計が実現することができる。
【0117】
また、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用しても良い。
【0118】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0119】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0120】
【発明の効果】
以上説明したように、本発明によれば、記録媒体の種類に応じて画像に埋め込まれた所定の情報の抽出方法を切り替えるので、所定の情報の抽出精度、抽出時間の最適化、画質の最適設計を実現することができる。
【0121】
また、本発明によれば、記録媒体の種類に応じて画像に所定の情報を埋め込む埋め込み方法を切り替えるので、画質、抽出精度の最適設計が実現することができる。
【0122】
また、本発明によれば、容易に画像情報への付加情報の多重化が実現できる為、画像情報中に音声情報や秘匿情報を埋め込むサービス、アプリケーションが提供できる。また、紙幣、印紙、有価証券等の不正な偽造行為を抑制したり、画像情報の著作権侵害を防止したりすることができる。
【図面の簡単な説明】
【図1】第1の実施形態の画像処理システムを示す要部ブロック図
【図2】図1の埋め込み情報多重化装置を示す要部ブロック図
【図3】図2の誤差拡散法を示す要部ブロック図
【図4】量子化制御部を含む多重化処理の動作手順を示すフローチャート
【図5】ブロック化の一例
【図6】量子化条件における量子化閾値変化の一例
【図7】量子化条件の組み合わせの配置例
【図8】図1の埋め込み情報分離装置を示す要部ブロック図
【図9】図8の付加情報復号部Aの構成を示すブロック図
【図10】空間フィルタの一例
【図11】図8の付加情報復号部Bの構成を示すブロック図
【図12】二次元周波数領域での周波数ベクトルの説明図
【図13】第2の実施形態における埋め込み情報分離装置を示す要部ブロック図
【図14】量子化閾値の振幅変調の例
【図15】従来法の多重化の一例を示すブロック図
【図16】従来法の多重化の一例を示すブロック図
【図17】従来法の多重化の一例を示すブロック図
【図18】従来法の分離の一例を示すブロック図[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method, and in particular, in image information, information other than the image information, for example, voice information, text document information, various information about an image, completely different image information, and the like. As additional information, the present invention relates to image processing that is embedded in a visually inconspicuous manner.
[0002]
[Prior art]
Conventionally, research on multiplexing other information related to an image in image information has been actively conducted. In recent years, it has been referred to as digital watermarking technology. In image information such as photographs and paintings, additional information such as the author's name and permission to use is multiplexed so that it is difficult to visually distinguish them, and networks such as the Internet The technology distributed through is being standardized.
[0003]
Another application field is output from images output on paper to prevent unauthorized counterfeiting of banknotes, stamps, securities, etc. as image quality of image output devices such as copiers and printers increases. There is a technique for embedding additional information in an image in order to specify a device and its machine number.
[0004]
For example, Japanese Patent Laid-Open No. 7-123244 proposes a technique for multiplexing information by embedding additional information in a high-frequency region of a color difference component and a saturation component that are visually low in sensitivity.
[0005]
However, the technique described above has the following problems. FIG. 15 is a diagram showing embedding of general additional information in the digital watermark technique. Image information A and additional information B are multiplexed via an adder 1501 and changed to multiplexed information C. FIG. 15 shows an example in which additional information is multiplexed in the real space area of image information. If it is possible to distribute this multiplexed information C without performing various image processing such as filtering or encoding such as lossy compression, it is possible to decode the additional information B from the multiplexed information C even in the prior art. Easy. Image information distributed on the Internet can be decoded through a digital filter for improving image quality such as edge enhancement and smoothing if it has some noise tolerance.
[0006]
However, it is assumed that the multiplexed image is printed by an output device such as a printer, and additional information is extracted from the printed matter. In addition, a printer output is assumed in which the printer to be used has an expression capability of about 2 to several gradations per single color. In recent years, inkjet printers have been launched on the market that can display several gradations per single color by using ink with a low dye concentration or variably controlling the output dot diameter. Unless tone is used, the gradation of a photographic image cannot be expressed.
[0007]
That is, in the above-described assumption that the multiplexing method using the digital watermark technique of FIG. 15 is output to the printer, as shown in FIG. 16, the multiplexed information C is converted into the quantized information D by the pseudo gradation processing unit 1601. After that, by printing on the paper by the printer output unit 1602, the information changes to paper information (printed matter), which is very deteriorated E. Therefore, decoding additional information from information on paper for the purpose of preventing forgery described above means decoding additional information B from on-paper information E after a series of processing in FIG. The amount of change in information by both processes 1601 and 1602 is very large, and it is very difficult to multiplex additional information so that it cannot be visually discriminated and to correctly decode the multiplexed additional information from the paper. become.
[0008]
FIG. 17 shows an example of a conventional digital watermark technique in which image information is converted into a frequency domain using a Fourier transform or the like instead of the real space domain and then synthesized into a high frequency area or the like. In FIG. 17, image information is converted into a frequency domain by an orthogonal transformation processing unit 1701, and additional information is added by a adder 1702 to a specific frequency that is difficult to visually distinguish. After returning to the real space area again by the 1703 inverse orthogonal transform processing unit, this corresponds to passing through a filter with a large change such as a pseudo gradation processing unit and a printer output unit, as in the example of FIG.
[0009]
FIG. 18 shows a process of separating additional information from the paper. That is, information on the printed matter is input via the image reading unit 1801 such as a scanner. Since the input information is an image whose gradation is expressed by the pseudo gradation processing unit, a restoration processing unit 1802 which is an inverse pseudo gradation processing unit is applied. The restoration process generally uses an LPF (low pass filter). After the restored information is orthogonally transformed by 1803, the 1804 separation processing unit separates the additional information embedded from the power of a specific frequency.
[0010]
As is apparent from FIGS. 17 and 18 described above, it can be seen that a large number of complicated processing steps are passed from the multiplexing of the additional information to the separation. In the case of a color image, this series of processing steps includes a color conversion process for converting to a color unique to the printer. In order to achieve good separation even in such a complicated processing step, a very strong signal must be input. It is difficult to input a strong signal while maintaining good image quality. In addition, the large number of processing steps and the complexity make the processing time required for multiplexing and separation very long.
[0011]
Further, in the above-mentioned Japanese Patent Laid-Open No. 7-123244, information is added to the high frequency region. However, when the error diffusion method is performed in the pseudo gradation processing in the subsequent stage, the high-pass filter characteristic unique to the error diffusion method The additional information band is buried in the texture band generated by error diffusion, and there is a possibility that decoding may fail. In addition, a highly accurate scanner device is required for decoding. In other words, it is understood that the methods shown in FIGS. 16 and 17 are not suitable when pseudo gradation processing is assumed. In other words, a method of multiplexing additional information that greatly utilizes the characteristics of pseudo gradation processing is required.
[0012]
Special registration 2640939 and special registration 2777800 are examples in which multiplexing of additional information is combined with redundancy of pseudo gradation processing.
[0013]
In the former, when binarization is performed by the systematic dither method, data is mixed in the image signal by selecting one of the dither matrices representing the same gradation.
[0014]
However, with the systematic dither method, it is difficult to output a photographic image with high image quality unless the printer has high resolution and excellent mechanical accuracy. This is because a slight deviation in mechanical accuracy occurs as low-frequency noise such as horizontal stripes and is easily visible on paper. In addition, when the dither matrix is periodically changed, a band of a specific frequency generated by the regularly arranged dither is disturbed, which adversely affects image quality.
[0015]
Also, the gradation expression ability varies greatly depending on the type of dither matrix. Particularly on paper, since the change in area ratio due to dot overlap or the like varies depending on the dither matrix, it may be possible to cause a change in density by switching the dither matrix even in a region having a uniform density on the signal. In addition, for the decoding (separation) side, a decoding method that estimates what dither matrix is used for binarization while the pixel value of the image information that is the original signal is unknown may cause erroneous decoding. Very big.
[0016]
The latter is a method of multiplexing additional information according to the arrangement using a color dither pattern method. In this method, as in the former case, image quality deterioration cannot be avoided by switching. In addition, as compared with the former, more additional information can be multiplexed, but color change is caused by changing the arrangement of the color components, and image quality deterioration is particularly large in a flat portion. Also, it is expected that decoding on paper will become even more difficult.
[0017]
In any case, both methods of changing the dither matrix have a problem that decoding is difficult although image quality deterioration is large.
[0018]
Therefore, the applicant of the present invention first uses the texture generated by the error diffusion method to embed the code by artificially creating a combination of quantized values that cannot be generated by normal pseudo gradation processing. Proposed way to do.
[0019]
In this method, the texture shape only slightly changes microscopically, so that the image quality is not visually deteriorated. In addition, if a method for changing the quantization threshold of the error diffusion method is used, the density value of the area gradation is visually maintained, so that multiplexing of different signals can be realized very easily.
[0020]
However, according to the above proposal, the decoding side must determine whether the texture is artificial or not. In the printed matter output on the paper, the texture may not be reproduced well due to a deviation from a desired landing point position such as a warp of dots.
[0021]
In color images, the method of multiplexing to the color component with the lowest visual sensitivity is the mainstream, but the texture discrimination in the real space region is easily influenced by other color components, and the multiplexing information Separation becomes difficult.
[0022]
In addition, in order to solve the above-described problems, the present applicant performs amplitude modulation on the quantization threshold of the error diffusion method with a predetermined periodicity, and controls a plurality of types of the periodicity of the threshold modulation for each region. Proposed a method of embedding codes based on this periodicity by controlling the generation probability of the quantization value of pseudo gradation processing.
[0023]
In this method, since the relative power information in a plurality of predetermined frequency bands is an important decoding factor rather than the phase information forming the code, compared to the method of determining the position and shape of the texture described above, Good decoding can be realized even on paper.
[0024]
[Problems to be solved by the invention]
However, the above proposal has the following problems.
[0025]
That is, when considering a decoding process that separates additional information from a printed matter, decoding may be difficult depending on the printed recording medium.
[0026]
Now, consider an inkjet printer as the target of the printer. Recording media that can be used by an ink jet printer are roughly classified into glossy paper, coated paper, plain paper, OHP paper, and ink jet postcards that are also used in New Year's card postcards and government postcards in recent years. Naturally, even if glossy paper, coated paper, etc. are classified, their quality and characteristics are diverse.
[0027]
In glossy paper and coated paper, the ink droplets on the paper often show an accurate dot shape. However, in the above-mentioned inkjet postcards and plain paper, etc., the dot shape is crushed and the dot diameter is distorted along the fiber of the paper. A phenomenon called a ring occurs.
[0028]
Further, deterioration of printed matter such as fading and discoloration varies greatly depending on the recording medium.
[0029]
That is, according to the conventional method, the printed material produced on any recording medium has to be decoded by the same decoding method without considering the characteristics of the recording medium, although the quality of the printed material is different. That is, it has not been possible to propose a decoding system capable of realizing the optimum design of the detection accuracy and decoding processing time of the additional information in the decoding process.
[0030]
The same applies to multiplexing of additional information. Depending on the type of paper to be used, the visual conspicuousness of image quality deterioration due to the addition is different, and the extraction accuracy is different when the same decoding method is used. That is, it has not been possible to propose a multiplexing system that can realize image quality control in multiplexing and optimum design of detection accuracy.
[0031]
The present invention has been made to solve the above-described problem, and is an image processing apparatus capable of realizing detection (extraction) accuracy of additional information embedded in an image, optimization of extraction time, and optimum design of image quality. And an image processing method.
[0032]
Another object of the present invention is to provide an image processing apparatus and an image processing method capable of realizing image quality control when embedding additional information in an image and optimal design of detection (extraction) accuracy.
[0033]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus of the present invention comprises an image input unit that reads a recording medium on which an image in which predetermined information is embedded is formed and inputs an image corresponding to the recorded matter, and the input Information input means for extracting and inputting information on the type of the recording medium embedded in the image from the input image, extraction means for extracting the predetermined information from the input image according to a predetermined extraction method, and having a switching means for switching the extraction method by the extraction means based on the input information.
[0034]
In order to achieve the above object, an image processing method of the present invention includes an image input step of reading a recording medium on which an image in which predetermined information is embedded is formed and inputting an image corresponding to the recorded matter; An information input step of extracting and inputting information on the type of the recording medium embedded in the image from the input image, and an extraction step of extracting the predetermined information from the input image according to a predetermined extraction method When, and having a switching means for switching the extraction method by the extraction step based on the input information.
[0035]
In order to achieve the above object, an image image processing apparatus according to the present invention includes an image input unit for inputting an image, an input unit for inputting predetermined information to be embedded in the image, and a recording medium on which the image is formed. An information input means for inputting information relating to the type of the image , an embedding means for embedding the inputted predetermined information and the information relating to the type of the recording medium in accordance with a predetermined embedding method for the inputted image, And switching means for switching an embedding method by the embedding means based on inputted information.
[0036]
In order to achieve the above object, the image processing method of the present invention includes an image input step of inputting an image, a step of inputting predetermined information to be embedded in the image, and information relating to the type of recording medium on which the image is formed. An information input step, an embedding step of embedding the input predetermined information and information on the type of the recording medium in accordance with a predetermined embedding method for the input image , and the input information And a switching step of switching the embedding method in the embedding step based on the above.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment according to the present invention will be described in detail with reference to the drawings. The image processing apparatus according to the present embodiment is efficiently incorporated mainly as printer driver software or application software in a computer that creates image information to be output to the printer engine. It is also effective to incorporate the printer main body as hardware and software.
[0038]
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an image processing system according to the first embodiment.
[0039]
Reference numerals 100, 101, and 102 denote input terminals. From 100, multi-tone image information is input, and from 101, necessary additional information to be embedded in the image information is input. This additional information is information different from the image information input at the input terminal 100, for example, voice information, text document information, copyright relating to the image input at the input terminal 100, shooting date / time, shooting location, shooting. Various applications such as various information on the person and completely different image information can be considered.
[0040]
From 102, information relating to the type of recording medium that is a printed matter (hereinafter referred to as paper type information) is input. In this embodiment, paper type information is added as header information in addition to the additional information described above. The paper type information may be input by a user using a keyboard or a mouse, or may be transmitted directly from a printer. Normally, printing with an inkjet printer or the like often has different color conversion parameters and printing processes depending on the paper type, so the user often specifies the paper type with the printer driver on the host computer. May be used.
[0041]
Reference numeral 103 denotes an embedding information multiplexing device that embeds paper type information and additional information (hereinafter, these two types are collectively referred to as embedding information) in image information so that it is difficult to visually discriminate. .
[0042]
The embedded information multiplexing apparatus 103 also controls the quantization of input multi-gradation image information as well as the multiplexing of embedded information.
[0043]
Reference numeral 104 denotes a printer, which outputs information created by the embedded information multiplexing apparatus 103 using a printer engine. The printer 104 is assumed to be a printer that realizes gradation expression by using pseudo gradation processing, such as an inkjet printer or a laser printer.
[0044]
The output printed matter reads information on the printed matter using the scanner 105, and the embedded information separating device 106 separates (extracts) the embedded information embedded in the printed matter and outputs it to the output terminal 107.
[0045]
FIG. 2 is a block diagram showing a configuration of the embedded information multiplexing apparatus 103 in FIG.
[0046]
Reference numeral 200 denotes an error diffusion processing unit, which converts the input image information into a quantization level smaller than the number of input gradations by performing pseudo gradation processing using an error diffusion method on the input image information. The gradation is expressed in terms of area by the conversion value. Details of the error diffusion processing will be described later.
[0047]
Reference numeral 201 denotes a blocking unit that divides input image information into predetermined area units. This blocking may be rectangular or may be divided into areas other than rectangular.
[0048]
Reference numeral 202 denotes a quantization condition control unit, which changes and controls the quantization condition in units of areas blocked by the blocking unit 201. The quantization condition control unit 202 controls the quantization condition in units of blocks based on the embedded information input from the input terminal 101.
[0049]
A control unit 210 includes a CPU 211, a ROM 212, a RAM 213, and the like. The CPU 211 controls the operation and processing of each component described above according to a control program held in the ROM 212. The RAM 213 is used as a work area for the CPU 211.
[0050]
FIG. 3 is a block diagram showing details of the error diffusion processing 200. General error diffusion processing is described in detail in the document R. Floyd & L. Steinberg: “An Adaptive Alogorithm for Spatial Grayscale”, SID Symposium Digest of Paper pp. 36-37 (1975).
[0051]
An error diffusion process in which the quantization value is binary will be described as an example. The quantized value is not limited to binary, but may be multivalued, for example, ternary or quaternary.
[0052]
Reference numeral 300 denotes an adder, which adds the target pixel value of the input image information and the distributed quantization error of the peripheral pixels already binarized. The comparison unit 301 compares the quantization threshold value from the quantization condition control unit 202 and the addition result obtained by adding the error. When the comparison value is larger than the predetermined threshold value, “1” is set. Otherwise, “0” is set. Output.
[0053]
For example, when expressing the gradation of a pixel with an accuracy of 8 bits, it is generally expressed by “255” as the maximum value and “0” as the minimum value. Now, it is assumed that when the quantized value is “1”, dots (ink, toner, etc.) are printed on paper.
[0054]
Reference numeral 302 denotes a subtracter that calculates an error between the quantization result and the above-described addition result, and distributes the error to surrounding pixels to be subjected to future quantization processing based on the error distribution calculation unit 303. As the error distribution ratio, an error distribution table 304 experimentally set based on the relative distance to the pixel of interest is previously owned, and the error is distributed based on the distribution ratio described in the distribution table.
[0055]
The distribution table 304 in FIG. 3 shows a distribution table for four surrounding pixels, but is not limited to this.
[0056]
Next, the entire operation procedure including the quantization condition control unit 202 will be described with reference to the flowchart of FIG. Now, an example in which the quantized value is binary will be described. The quantized value is not limited to binary, but may be multivalued, for example, ternary or quaternary.
[0057]
S401 indicates initialization of the variable i. The variable i is a variable for counting vertical addresses.
[0058]
S402 indicates initialization of the variable j. The variable j is a variable for counting horizontal addresses. Subsequently, S403 is a determination step based on the i and j address values, and it is determined whether or not the coordinates of i and j, which are the current processing addresses, belong to an area where the multiplexing process is to be executed.
[0059]
The multiplexed area will be described with reference to FIG. FIG. 5 shows one image having a horizontal pixel number of WIDTH and a vertical pixel number of HEIGHT.
[0060]
Assume that the embedded information is multiplexed in this image. The upper left of the image is set as the origin, and blocking is performed with N horizontal pixels and M vertical pixels. In the present embodiment, the origin is set as a reference point, but the block is set as a reference point. When the maximum information is multiplexed in this image, N × M blocks are arranged from the reference point. That is, when the number of blocks that can be arranged in the horizontal direction is W and the number of blocks that can be arranged in the vertical direction is H, the following relationship is established.
W = INT (WIDTH / N) ... Equation 1
H = INT (HEIGHT / M) ... Equation 2
However, INT () indicates an integer part in ().
[0061]
The number of remaining pixels that cannot be divided in Equations 1 and 2 corresponds to an end when a plurality of N × M blocks are arranged, and is outside the code multiplexing region.
[0062]
In FIG. 4, if it is determined in S403 that the pixel of interest currently being processed is outside the multiplexing region, the quantization condition C is set in S404. On the other hand, if it is determined that it is within the multiplexed area, the embedded information to be multiplexed is read. For ease of explanation, it is assumed that the embedded information is expressed bit by bit using an array called code []. For example, assuming that the paper type information is 8 bits and the additional information is 200 bits, the embedded information is 208 bits with two types added, and the array code [] is from code [0] to code [207]. Each one bit is stored. In S405, the variable bit is substituted with information in the array code [] as follows.
bit = code [INT (i / M) x W + INT (j / N)] ... Equation 3
Subsequently, it is determined whether or not the variable bit substituted in S406 is “1”. As described above, since information in the array code [] is stored one bit at a time, the value of the variable bit indicates either “0” or “1”. If “0” is determined in S406, the quantization condition A is set in S407, and if “1” is determined, the quantization condition B is set in S408.
[0063]
Subsequently, in S409, a quantization process is performed based on the set quantization condition. This quantization process corresponds to the error diffusion method described in FIG.
[0064]
Subsequently, in S410, the horizontal variable j is counted up, and in S411, it is determined whether or not it is less than WIDTH which is the number of horizontal pixels of the image, and the above-described processing is repeated until the number of processed pixels becomes WIDTH. When the horizontal processing is completed for the number of WIDTH pixels, the vertical direction variable i is counted up in S412, and it is determined in S413 whether or not it is less than HEIGHT which is the vertical pixel number of the image. Repeat the above process until.
[0065]
With the above operation procedure, the quantization condition can be changed in units of blocks each consisting of N × M pixels.
[0066]
Subsequently, examples of the quantization conditions A, B, and C will be described. Although there are various factors in the quantization condition in the error diffusion method, in this embodiment, the quantization condition is a quantization threshold. Since the use of the quantization condition C is outside the multiplexing region, any quantization threshold value may be used. As described above, when one pixel is represented by 8 bits of gradation and the quantization level is binary, the maximum value “255” and the minimum value “0” are the quantization representative value. However, “128” which is the intermediate value is often set as the quantization threshold. That is, in the quantization condition C, the quantization threshold value is fixed to “128”.
[0067]
Since the use of the quantization condition A and the quantization condition B is a block in the multiplexing region, a difference in image quality due to a difference in the quantization condition must be generated. However, the difference in image quality must be expressed so that it is difficult to distinguish visually, and it must be easily identifiable from the paper.
[0068]
FIG. 6 is an example showing the quantization conditions A and B. FIG. 6A is a diagram showing a cycle of change of the quantization threshold in the quantization condition A. In the figure, one square is assumed to be one pixel, a white square is a fixed threshold, and a gray square is a variation threshold. In other words, in the example of FIG. 6A, a matrix of 8 horizontal pixels and 4 vertical pixels is assembled, and a value that protrudes only from the gray square threshold is set as the threshold.
[0069]
Similarly, FIG. 6B is a diagram illustrating the period of change of the quantization threshold in the quantization condition B. In the example of FIG. 6B, unlike FIG. 6A, a matrix of 4 horizontal pixels and 8 vertical pixels is assembled, and a value that protrudes only from a gray square threshold is set as the threshold.
[0070]
As described above, when one pixel has an 8-bit gradation value as described above, for example, “128” is set as the fixed threshold value, and “48” is set as the protruding threshold value. When the quantization threshold is lowered, the quantization value of the target pixel tends to be “1” (quantization representative value “255”).
[0071]
That is, in both FIGS. 6A and 6B, the quantized value “1” is likely to occur due to the arrangement of gray cells in the figure. In other words, for each N × M pixel block, there are a block in which dots are generated in the arrangement of gray squares in FIG. 6A and a block in which dots are generated in the arrangement of gray squares in FIG. 6B. Will be mixed. Naturally, the matrix shown in FIG. 6A or 6B is repeated in the same block of N × M pixels.
[0072]
A slight change in the quantization threshold in the error diffusion method does not have a significant effect on image quality. In the systematic dither method, the image quality of gradation expression greatly depends on the dither pattern used.
[0073]
However, in the error diffusion method in which the quantization threshold is regularly changed as described above, the gradation expression that determines the image quality is the error diffusion method, so the dot arrangement may change slightly or the texture may change. The image quality of the gradation expression is hardly affected, such as occurrence changes. That is, even when the quantization threshold changes, the error that is the difference between the signal value and the quantized value is diffused to surrounding pixels, so that the input signal value is stored in a macro manner. In other words, the redundancy is very large with respect to dot arrangement and texture generation in the error diffusion method.
[0074]
In the above-described example, the switching is simply performed as the quantization condition A when the value of the variable bit is “0”, and as the quantization condition B when the value of the variable bit is “1”. However, the present invention is not limited to this. It is also possible to express the variable bit by a combination of quantization conditions.
[0075]
For example, as shown in FIG. 7, the N × M pixel block is further divided into four small blocks. When the value of the variable bit is “0”, the arrangement of FIG. It is also possible to make a difference by quantizing using the arrangement of FIG.
[0076]
Next, the embedded information separator 106 will be described.
[0077]
FIG. 8 is a block diagram illustrating a configuration of the embedded information separation device 106.
[0078]
Reference numeral 800 denotes an input terminal to which image information read by an image reading unit such as a scanner is input. The resolution of the scanner to be used is preferably equal to or higher than the resolution of the printer that creates the printed matter. Naturally, in order to accurately read dot dot information of a printed matter, the scanner side needs to have a resolution that is at least twice that of the printer side according to the sampling theorem. However, if it is equal to or greater than that, it is possible to determine that dots are scattered to some extent even if it is not accurate. In the present embodiment, for ease of explanation, it is assumed that the printer resolution and the scanner resolution are the same.
[0079]
Reference numeral 801 denotes a paper type information decoding unit that first decodes the paper type information, which is header information, of the embedded additional information. This decoding process preferably uses an additional information decoding unit B described later, but is not limited here. First, the header information is decoded.
[0080]
Reference numeral 802 denotes a selection unit. From the decoded paper type information, one of the additional information decoding unit A 803 and the additional information decoding unit B 804 is selected through the switch 805 as follows.
1) When the paper type is glossy paper or coated paper: Select the additional information decoding unit A 2) When the paper type is plain paper: Select the additional information decoding unit B 3 is a block diagram showing a configuration of an information decoding unit A. FIG.
[0081]
Reference numeral 901 denotes a blocking unit, which performs blocking in units of P × Q pixels. This block must be smaller than the N × M pixels that were blocked during multiplexing. That is,
P ≦ N and Q ≦ M ... Formula 5
The relationship holds.
[0082]
Further, the block formation in units of P × Q pixels is performed by skipping at certain intervals. That is, the block is formed so that one block of P × Q pixel unit is included in an area assumed to be a block of N × M pixels at the time of multiplexing. The number of skip pixels is basically N horizontal pixels and M vertical pixels.
[0083]
Reference numerals 902 and 903 denote spatial filters A and B having different characteristics, respectively, and reference numeral 904 denotes a digital filtering unit that calculates a product sum with peripheral pixels.
[0084]
Each coefficient of the spatial filter is created in conformity with the period of the variation threshold of the quantization condition at the time of multiplexing. Now, it is assumed that the quantization condition in the multiplexing apparatus is changed by multiplexing the additional information by using the two types of periodicity shown in FIGS. 6 (a) and 6 (b).
[0085]
Examples of the spatial filter A 902 and the spatial filter B 903 used in the embedded information separating apparatus 106 at that time are shown in FIGS. 10 (a) and 10 (b). In the figure, the central portion of 5 × 5 pixels is the pixel of interest, and the remaining 24 pixels are peripheral pixels. In the figure, the blank pixel represents that the filter coefficient is “0”. As is apparent from FIG. 10, FIGS. 10A and 10B are edge enhancement filters. In addition, the directionality of the emphasized edge matches the directionality of the variation threshold when multiplexed. That is, FIG. 10A is created to match FIG. 6A, and FIG. 10B is created to match FIG. 6B.
[0086]
Reference numeral 905 denotes a feature amount detection unit, which is a means for detecting some feature amount based on the converted values after filtering from the filtering unit 904 by the spatial filter A 902 and the spatial filter B 903. Examples of the feature amount to be detected are as follows.
1. 1. Maximum conversion value in the block after digital filter 2. Difference between maximum value and minimum value of converted value in block after digital filter In this embodiment, the variance value shown in 3 above is used as a feature value. Reference numeral 906 denotes a determination unit that compares the respective variance values and determines that the one with the larger variance value is a code. That is, if the dispersion value of filtering by the spatial filter A is large, it is estimated that the quantization is performed under the quantization condition A at the time of printing. I guess it was quantized with.
[0087]
Since the quantization condition is linked to the code of additional information (bit in Expression 3), the fact that the quantization condition can be identified corresponds to the ability to specify the multiplexed code. That is, when the quantization condition A is estimated, it can be determined that bit = 0, and when the quantization condition B is estimated, bit = 1.
[0088]
FIG. 11 is a block diagram showing the additional information decoding unit B.
[0089]
Reference numeral 1101 denotes a blocking unit, which is the same as 902 in FIG. 9 and blocks in units of P × Q pixels.
[0090]
Reference numeral 1102 denotes an orthogonal transformation unit, which is a means for orthogonally transforming the blocked P × Q pixels. However, when performing two-dimensional orthogonal transformation, it is necessary to block the square block with Q = P. In the present embodiment, DCT (Discrete Cosine Transform) is taken as an example.
The conversion coefficient of the two-dimensional DCT of the block consisting of P × P pixels is
[Outside 1]
Figure 0003684181
[0091]
However, C (x) = 1 / √2 (x = 0),
C (x) = 1 (x ≠ 0) Expression 6
Given in.
[0092]
Reference numeral 1103 denotes a class classification unit which classifies each orthogonal transform coefficient band. FIG. 12 shows an example of class classification when P = Q = 16. FIG. 12 shows orthogonal transform coefficients F (u, v) in one block, with the upper left being a DC component and the remaining 255 components being an AC component.
[0093]
Now, two classes, class A centering on F (4,8) and class B centering on F (8,4), are created. Two classes are indicated by bold lines in the figure. This class classification means does not need to classify all 256 components, but only classifies them into a plurality of classes centering on the desired components. This required number of classes corresponds to the number of conditions that are quantized at the time of multiplexing. That is, the number of classes does not increase beyond the number of conditions subjected to quantization control.
[0094]
Reference numeral 1104 denotes a power comparison unit, which is a means for comparing the total power of each class. In order to speed up the calculation, the absolute value of the generated conversion coefficient may be used as a substitute for power. The signal of the additional information is determined by comparing the total power of each class.
[0095]
Now, an example in which the quantization conditions A and B of FIGS. 6A and 6B are applied at the time of multiplexing will be described. As described above, in the quantization using the quantization conditions A and B, a texture in which dots are arranged in oblique directions with different angles is likely to occur.
[0096]
That is, in the block quantized under the quantization condition A, when orthogonal transformation processing is performed, large power is generated in class A in FIG. On the other hand, in the block quantized under the quantization condition B, when orthogonal transformation processing is performed, large power is generated in class B in FIG.
[0097]
That is, it is determined whether the quantization condition at the time of multiplexing the corresponding block is the quantization condition A or the quantization condition B by relatively comparing the magnitude relationship between the power of class A and class B. it can. Since the quantization condition is linked to the code of additional information (bit in Expression 3), the fact that the quantization condition can be identified corresponds to the ability to specify the multiplexed code.
[0098]
In the example of the flowchart shown in FIG. 4, since bit = 0 is set to the quantization condition A and bit = 1 is set to the quantization condition B, when the power of class A is larger, bit = 0, If the power of class B is larger, it can be determined that bit = 1.
[0099]
Although two types of decoding units have been described above, switching of the decoding units according to the present embodiment is necessary for optimal design of the decoding detection rate and the decoding time. That is, it is determined that decoding is easy for a printed matter in which the dot shape can be accurately reproduced, and a decoding method with a fast decoding time is used. On the other hand, for a printed matter that is assumed to have poor dot shape reproducibility and cause feathering, a decoding method with higher accuracy is used with priority given to the decoding detection rate over decoding time.
[0100]
Thus, by using the paper type of the recorded printed matter as an evaluation factor, the print quality can be predicted, and a more optimal decoding means can be selected.
[0101]
In the present embodiment, the decoding unit has been described with two types of A and B, but naturally more than this may be used. Further, the decoding method is not limited to this.
[0102]
In addition, a method of changing the detection accuracy with the same decoding unit is also conceivable. That is, in a decoding method that requires higher accuracy, it is effective to perform decoding by repetition with high redundancy. For example, in the above-described method using orthogonal transformation using P × Q pixels (decoding unit B), a block of P × Q pixels is spatially shifted by several pixels, orthogonal transformation is performed a plurality of times, and determination is made through a plurality of class comparisons. A method for improving the accuracy of the above is conceivable. At that time, it is also an effective method to empirically rank the physical characteristics of the recording medium and set them as evaluation factors, and control the number of repetitions to gradually increase according to the rank.
[0103]
Of course, the determination using multiple orthogonal transforms improves the decoding accuracy, but requires more processing time. The optimization is preferably designed empirically.
[0104]
A method of predicting and correcting the degree of feathering is also conceivable. That is, the dot diameter increases due to feathering and blurring occurs between adjacent pixels, so that it can be regarded as having a kind of LPF characteristic on paper. Therefore, a decoding method including dot diameter correction by calculating empirical correction values using the reproducibility of the dot diameter on paper as an evaluation factor is also conceivable.
[0105]
Further, when the physical characteristics on paper differ depending on the color material (ink), a method of changing the color used for the decoding process is also conceivable. For example, if magenta tends to have a larger dot diameter than other colors (cyan, yellow, black) due to ink density, etc., the degree of decoding influence from the G component that is the complementary color of magenta in RGB is set. It is also effective to change. In other words, in the case of a paper type with good dot shape quality on paper, the determination is made centering on the decoding of the G component, and as the dot shape quality deteriorates, the influence of the decoding of the G component is reduced. .
[0106]
Further, without adding the paper type information to the embedded information, the user who actually performs decoding may determine what type of paper it is and input it using a keyboard or a mouse.
[0107]
As described above, according to the first embodiment, since the extraction method of the predetermined information embedded in the image is switched according to the type of the recording medium, the extraction accuracy of the predetermined information, the optimization of the extraction time, Optimal design for image quality can be realized.
[0108]
(Second Embodiment)
FIG. 13 shows the configuration of the image processing system of the second embodiment. In the present embodiment, the multiplexing method is changed according to the paper type information in the configuration shown in FIG.
[0109]
In FIG. 13, image information, additional information, and paper type information are input from terminals 100, 101, and 102, respectively. Reference numerals 1301 and 1302 denote an additional information multiplexing unit A and an additional information multiplexing unit B, respectively, and have two types of multiplexing units. Reference numeral 1303 denotes a selection unit, and the following selection is made via the switch 1304 according to the paper type information.
1) When the paper type is glossy paper or coated paper: Select the additional information multiplexing unit A 2) When the paper type is plain paper: Select the additional information multiplexing unit B Then, both the additional information multiplexing units A and B are multiplexed in the same manner as in FIG. 2, and only the conditions for multiplexing are changed for distinction. The multiplexing method described above is multiplexed by periodically changing the quantization condition of the error diffusion method. In the above-described example, as shown in FIGS. 6A and 6B, the quantization threshold is changed to a prominent value with a predetermined periodicity. Changing the quantization threshold periodically corresponds to amplitude modulation of the quantization threshold.
[0110]
In the present embodiment, the value of the amplitude is made different between the additional information multiplexing unit A and the additional information multiplexing unit B.
[0111]
FIG. 14 shows an example in which the amplitude for modulating the quantization threshold is varied. 14A corresponds to the amplitude modulation of the additional information multiplexing unit A, and FIG. 14B corresponds to the amplitude modulation of the additional information multiplexing unit B. As the amplitude of the quantization threshold increases, the quantization result of a desired pixel position subjected to modulation can be controlled. However, on the other hand, the image quality is degraded due to the regularity of the modulation. Therefore, in the case of a paper type with a good dot diameter reproducibility, the amplitude of the quantization threshold is reduced to suppress deterioration in image quality due to modulation regularity. However, decoding is easy because of high-quality paper.
[0112]
On the other hand, in the case of a paper type with poor dot diameter reproducibility, the quantization threshold amplitude is increased, and the quantization result is controlled so that decoding is easy. However, because of vicious paper, noise such as feathering increases, and image quality degradation due to modulation regularity is not visually noticeable.
[0113]
Further, the additional information multiplexing unit may be the same, and the amplitude of the quantization threshold may be changed.
[0114]
The switching between the decoding method and the multiplexing method has been described above, but the multiplexing method and the additional information separation method are not limited to the methods described above. In any multiplexing method and separation method, a configuration for controlling the separation method and the multiplexing method based on the paper type information is effective.
[0115]
Moreover, although the example which switches a decoding method and a multiplexing method each independently was demonstrated, naturally the method of switching both together interlockingly has an effect.
[0116]
As described above, according to the second embodiment, since an embedding method for embedding predetermined information in an image is switched according to the type of recording medium, an optimum design of image quality and extraction accuracy can be realized.
[0117]
In addition, the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, interface device, reader, printer, etc.), or a device (for example, a copier, a facsimile device, etc.) composed of a single device. You may apply to.
[0118]
Another object of the present invention is to supply a storage medium (or recording medium) that records software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and to perform a computer (or CPU) of the system or apparatus. Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0119]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0120]
【The invention's effect】
As described above, according to the present invention, since the extraction method of the predetermined information embedded in the image is switched according to the type of the recording medium, the extraction accuracy of the predetermined information, the optimization of the extraction time, the optimization of the image quality Design can be realized.
[0121]
Furthermore, according to the present invention, the embedding method for embedding predetermined information in an image is switched according to the type of recording medium, so that an optimum design of image quality and extraction accuracy can be realized.
[0122]
Further, according to the present invention, since additional information can be easily multiplexed with image information, services and applications for embedding audio information and confidential information in image information can be provided. In addition, illegal counterfeiting such as banknotes, stamps, and securities can be suppressed, and copyright infringement of image information can be prevented.
[Brief description of the drawings]
FIG. 1 is a principal block diagram showing an image processing system of a first embodiment. FIG. 2 is a principal block diagram showing an embedded information multiplexing apparatus of FIG. 1. FIG. 3 is a principal diagram showing an error diffusion method of FIG. FIG. 4 is a flowchart showing an operation procedure of a multiplexing process including a quantization control unit. FIG. 5 is an example of blocking. FIG. 6 is an example of a quantization threshold change under a quantization condition. Arrangement example of combination of conditions [FIG. 8] Block diagram of main part showing embedded information separating apparatus of FIG. 1 [FIG. 9] Block diagram showing configuration of additional information decoding unit A of FIG. 11 is a block diagram showing the configuration of the additional information decoding unit B in FIG. 8. FIG. 12 is an explanatory diagram of frequency vectors in a two-dimensional frequency domain. FIG. 13 is a main part showing an embedded information separating apparatus in the second embodiment. Block diagram [Figure 14] Quantization threshold Example of amplitude modulation FIG. 15 is a block diagram showing an example of conventional multiplexing. FIG. 16 is a block diagram showing an example of conventional multiplexing. FIG. 17 is a block diagram showing an example of conventional multiplexing. FIG. 18 is a block diagram showing an example of separation in the conventional method

Claims (18)

所定の情報が埋め込まれた画像を像形成した記録媒体を読み取って該記録物に応じた画像を入力する画像入力手段と、
前記入力された画像から該画像に埋め込まれた前記記録媒体の種類に関する情報を抽出して入力する情報入力手段と、
前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出手段と、
前記入力された情報に基づいて前記抽出手段による抽出方法を切り替える切替手段とを有することを特徴とする画像処理装置。
An image input means for reading a recording medium on which an image in which predetermined information is embedded is formed and inputting an image corresponding to the recorded matter;
Information input means for extracting and inputting information on the type of the recording medium embedded in the image from the input image ;
Extraction means for extracting the predetermined information from the input image according to a predetermined extraction method;
An image processing apparatus comprising: a switching unit that switches an extraction method by the extraction unit based on the input information.
前記記録媒体の種類に関する情報は光沢紙を示す情報であることを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the information regarding the type of the recording medium is information indicating glossy paper. 前記記録媒体の種類に関する情報はコート紙を示す情報であることを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the information regarding the type of the recording medium is information indicating coated paper. 前記記録媒体の種類に関する情報は普通紙を示す情報であることを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the information regarding the type of the recording medium is information indicating plain paper. 前記切替手段は、各々抽出方法が異なる複数の抽出部から最適な抽出部を選択し、該選択された抽出部により抽出を行うことにより前記抽出方法を切り替えることを特徴とする請求項1記載の画像処理装置。  2. The switching unit according to claim 1, wherein the switching unit selects an optimum extraction unit from a plurality of extraction units each having a different extraction method, and switches the extraction method by performing extraction using the selected extraction unit. Image processing device. 前記切替手段は、前記所定の情報を抽出する際の抽出精度を切り替えることにより、前記抽出方法を切り替えることを特徴とする請求項1記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the switching unit switches the extraction method by switching an extraction accuracy when extracting the predetermined information. 画像を入力する画像入力手段と、
前記画像に埋め込む所定の情報を入力する入力手段と、
前記画像を像形成する記録媒体の種類に関する情報を入力する情報入力手段と、
前記入力された画像に対して前記入力された所定の情報、および、前記記録媒体の種類に関する情報を所定の埋め込み方法に従って埋め込む埋め込み手段と、
前記入力された情報に基づいて前記埋め込み手段による埋め込み方法を切り替える切替手段とを有することを特徴とする画像処理装置。
An image input means for inputting an image;
Input means for inputting predetermined information to be embedded in the image;
Information input means for inputting information relating to the type of recording medium on which the image is formed;
Embedding means for embedding the input predetermined information and information regarding the type of the recording medium in accordance with a predetermined embedding method for the input image;
An image processing apparatus comprising: a switching unit that switches an embedding method by the embedding unit based on the input information.
前記記録媒体の種類に関する情報は光沢紙を示す情報であることを特徴とする請求項7記載の画像処理装置。  8. The image processing apparatus according to claim 7, wherein the information regarding the type of the recording medium is information indicating glossy paper. 前記記録媒体の種類に関する情報はコート紙を示す情報であることを特徴とする請求項7記載の画像処理装置。  8. The image processing apparatus according to claim 7, wherein the information regarding the type of the recording medium is information indicating coated paper. 前記記録媒体の種類に関する情報は普通紙を示す情報であることを特徴とする請求項7記載の画像処理装置。  8. The image processing apparatus according to claim 7, wherein the information relating to the type of the recording medium is information indicating plain paper. 前記切替手段は、各々埋め込み方法が異なる複数の埋め込み部から最適な埋め込み部を選択し、該選択された埋め込み部により埋め込みを行うことにより前記埋め込み方法を切り替えることを特徴とする請求項7記載の画像処理装置。  8. The switching unit according to claim 7, wherein the switching unit selects an optimal embedding unit from a plurality of embedding units each having a different embedding method, and switches the embedding method by performing embedding by the selected embedding unit. Image processing device. 前記切替手段は、埋め込み手段により埋め込みを行う際の埋め込み精度を切り替えることにより、前記埋め込み方法を切り替えることを特徴とする請求項7記載の画像処理装置。  8. The image processing apparatus according to claim 7, wherein the switching unit switches the embedding method by switching embedding accuracy when embedding is performed by the embedding unit. 所定の情報が埋め込まれた画像を像形成した記録媒体を読み取って該記録物に応じた画像を入力する画像入力工程と、
前記入力された画像から該画像に埋め込まれた前記記録媒体の種類に関する情報を抽出して入力する情報入力工程と、
前記入力された画像から前記所定の情報を所定の抽出方法に従って抽出する抽出工程と、
前記入力された情報に基づいて前記抽出工程による抽出方法を切り替える切替手段とを有することを特徴とする画像処理方法。
An image input step of reading a recording medium on which an image in which predetermined information is embedded is formed and inputting an image corresponding to the recorded matter;
An information input step of extracting and inputting information on the type of the recording medium embedded in the image from the input image ;
An extraction step of extracting the predetermined information from the input image according to a predetermined extraction method;
An image processing method comprising: switching means for switching an extraction method in the extraction step based on the input information.
画像を入力する画像入力工程と、
前記画像に埋め込む所定の情報を入力する工程
前記画像を像形成する記録媒体の種類に関する情報を入力する情報入力工程と、
前記入力された画像に対して前記入力された所定の情報、および、前記記録媒体の種類に関する情報を所定の埋め込み方法に従って埋め込む埋め込み工程と、
前記入力された情報に基づいて前記埋め込み工程による埋め込み方法を切り替える切替工程とを有することを特徴とする画像処理方法。
An image input process for inputting an image;
A step of inputting predetermined information to be embedded in the image, and an information input step of inputting information on the type of recording medium on which the image is formed;
An embedding step of embedding the input predetermined information and information on the type of the recording medium in accordance with a predetermined embedding method for the input image;
An image processing method comprising: a switching step of switching an embedding method in the embedding step based on the input information.
コンピュータ上で実行されることによって、請求項13の画像処理方法を実現するプログラム。  A program for realizing the image processing method according to claim 13 by being executed on a computer. コンピュータ上で実行されることによって、請求項14の画像処理方法を実現するプログラム。  The program which implement | achieves the image processing method of Claim 14 by being performed on a computer. 請求項15記載のプログラムを記録した記録媒体。  A recording medium on which the program according to claim 15 is recorded. 請求項16記載のプログラムを記録した記録媒体。  A recording medium on which the program according to claim 16 is recorded.
JP2001267112A 2001-09-04 2001-09-04 Image processing apparatus and image processing method Expired - Fee Related JP3684181B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001267112A JP3684181B2 (en) 2001-09-04 2001-09-04 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001267112A JP3684181B2 (en) 2001-09-04 2001-09-04 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2003078753A JP2003078753A (en) 2003-03-14
JP3684181B2 true JP3684181B2 (en) 2005-08-17

Family

ID=19093294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001267112A Expired - Fee Related JP3684181B2 (en) 2001-09-04 2001-09-04 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP3684181B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8422043B2 (en) 2003-09-12 2013-04-16 Oki Data Corporation Watermarked document reading apparatus with improved error processing
JP4269861B2 (en) * 2003-09-12 2009-05-27 沖電気工業株式会社 Printed material processing system, watermarked document printing device, watermarked document reading device, printed material processing method, information reading device, and information reading method
US20090220070A1 (en) * 2005-09-09 2009-09-03 Justin Picard Video Watermarking
BRPI0520532A2 (en) * 2005-09-09 2009-05-19 Thomson Licensing coefficient modification for watermarked video signaling
JP5159591B2 (en) * 2008-12-19 2013-03-06 キヤノン株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2003078753A (en) 2003-03-14

Similar Documents

Publication Publication Date Title
JP3647405B2 (en) Image processing apparatus and image processing method
JP4218920B2 (en) Image processing apparatus, image processing method, and storage medium
JP2001218006A (en) Picture processor, picture processing method and storage medium
JP3599621B2 (en) Image processing apparatus, image processing method, and storage medium
US6750983B1 (en) Image processing apparatus and method, and storage medium
US7171019B2 (en) Image processing apparatus and image processing method
US7408680B2 (en) Image processing apparatus and method
US6853736B2 (en) Image processing apparatus, image processing method and storage medium
JP3684181B2 (en) Image processing apparatus and image processing method
JP4310031B2 (en) Image processing apparatus, image processing method, and storage medium
JP4311698B2 (en) Image processing apparatus, image processing method, and recording medium
JP3787511B2 (en) Image processing apparatus and image processing method
JP3684178B2 (en) Image processing apparatus and image processing method
JP3478781B2 (en) Image processing apparatus, image processing method, and storage medium
JP3715821B2 (en) Image processing apparatus and method
JP4147074B2 (en) Image processing apparatus and image processing method
JP3869983B2 (en) Image processing apparatus and method, and storage medium
JP2003110839A (en) Device and method for processing image
JP3535791B2 (en) Image processing apparatus, image processing method, and storage medium
JP3740338B2 (en) Image processing apparatus and method, and storage medium
JP2003110838A (en) Device and method for processing image
JP2001292301A (en) Image processing apparatus, image processing method, and storage medium
JP2001103281A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050527

R150 Certificate of patent or registration of utility model

Ref document number: 3684181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130603

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees