JP4088191B2 - 画像処理方法および画像記録装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、可視状態の主画像情報（人物の顔画像など）に対して別の付加的な副情報（セキュリティ情報など）を不可視状態で埋め込み合成して合成画像情報を作成し、この作成した合成画像情報を記録媒体上に記録したり、その記録した合成画像情報からその中に埋込まれた副情報を復元したりする画像処理方法、および、この画像処理方法を用いた画像記録装置に関する。
【０００２】
【従来の技術】
近年、情報の電子化やインターネットの普及に伴って、画像の偽造や変造防止のために電子透かし、電子署名などの技術が重要視されるようになってきた。特に、主画像情報に付加的な副情報（副画像情報）を不可視状態で埋め込む電子透かし技術は、ＩＤカードなどの個人認証媒体や著作権情報を埋め込んだ写真に対する不正コピー、偽造、改ざん対策として提案されている。
【０００３】
たとえば、印刷物へ出力される画像データに対して、人間が感知しにくい高い空間周波数成分および色差成分の特性を利用してデータを埋め込む電子透かし挿入方法が知られている（たとえば、特許文献１参照）。
また、光学フィルタで確認できる電子透かしの印刷装置が知られている（たとえば、特許文献２参照）。
【０００４】
記録装置の観点からは、従来、免許証、パスポート、会員証などに代表される個人認証媒体における個人認証用の顔画像を記録する際には、昇華型熱転写記録方式を用いるのが一般的である。
一般的に、昇華型熱転写記録方式は、昇華性材料で染色できる材料が限られていて、限られた記録媒体にしか適応できないといった欠点がある。このため、個人認証媒体における個人認証用の顔画像を記録する記録媒体の選択の自由度が低く、結果的に入手し易いものを選択せねばならないため、セキュリティ性が低下することが多い。また、一般的に昇華性染料は、耐光性、耐溶剤性などの画像耐久性が劣っている。
【０００５】
一方、溶融型熱転写記録方式は、着色材料を一般的に耐光性の良いといわれるものを選択することが可能になる。また、記録媒体の選択の自由度が高く、特殊性の高い記録媒体を用いてセキュリティ性を高めることができる。しかし、溶融型熱転写記録方式では、転写したドットのサイズを変化させて階調記録を行なうドット面積階調法を用いるため、昇華型熱転写記録並みの階調性能をだすのが困難である。
その対策として、たとえば、転写ドットの配列をいわゆる千鳥状に並べて記録する方法（以後、これを交互駆動記録方式と称す）が知られている（たとえば、特許文献３参照）。
【０００６】
【特許文献１】
特開平９−２４８９３５号公報
【特許文献２】
特開２００１−２６８３４６号公報
【特許文献３】
特公平６−５９７３９号公報
【０００７】
【発明が解決しようとする課題】
上記したように、個人認証媒体における個人認証用の顔画像の記録などに電子透かし技術を適用して、顔画像自体のセキュリティ性を高めることが最近要求されてきているが、電子透かし技術は基本的にデジタルデータを扱うことを前提にしているため、画像記録装置（カラープリンタなど）での記録時において、階調性能が高く、記録時の影響で透かし情報を壊してしまったり改変してしまうことが無いことが要求される。
【０００８】
前記特許文献３では、溶融型熱転写記録方式において階調記録性能を向上させるための記録方法を開示しているが、電子透かし技術を用いて透かし情報を埋め込んだ顔画像情報を記録すると、千鳥状にデータが間引かれて、その部分の情報が消失してしまうため、電子透かし情報が破壊されてしまう欠点がある。
【０００９】
そこで、本発明は、記録媒体に出力するようなアナログデータを対象として、主画像情報に対し別の付加的な副情報を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる画像処理方法および画像記録装置を提供することを目的とする。
【００１０】
また、本発明は、溶融型熱転写記録方式において、高階調性能を維持したまま記録画像への電子透かし技術が適用可能で、その透かし情報（副情報）は記録後も壊れないで保存され、復元可能である画像処理方法および画像記録装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像処理方法は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための画像処理方法であって、主画像情報に対して画像記録時の画素形成処理に対応して主画像情報を間引く第１の前処理を行なう第１の前処理ステップと、この第１の前処理ステップにより第１の前処理を行なった主画像情報に対して幾何学的変換を行なう第２の前処理ステップと、この第２の前処理ステップで幾何学的変換された主画像情報に副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込みステップと、この埋め込みステップにより作成された合成画像情報に対して前記第２の前処理ステップにおける変換処理の逆変換処理を行なう逆変換処理ステップと、この逆変換処理ステップにより逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録ステップとを具備している。
【００１２】
本発明の画像記録装置は、人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための画像記録装置であって、主画像情報に対して画像記録時の画素形成処理に対応して主画像情報を間引く第１の前処理を行なう第１の前処理手段と、この第１の前処理手段により第１の前処理を行なった主画像情報に対して幾何学的変換を行なう第２の前処理手段と、この第２の前処理手段で幾何学的変換された主画像情報に副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込み手段と、この埋め込み手段により作成された合成画像情報に対して前記第２の前処理手段における変換処理の逆変換処理を行なう逆変換処理手段と、この逆変換処理手段により逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録手段とを具備している。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、本発明の第１の実施の形態に係る画像処理方法の全体の流れを示すものである。この例は、たとえば、ＩＤカードなどの個人認証媒体における個人認証用の顔画像の処理に適用した場合を示しており、以下、詳細に説明する。
【００１４】
最初に、ステップＳ１０１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。
【００１５】
次に、第１の前処理であるステップＳ１０２により、ステップＳ１０１の画像入力処理で得られた顔画像情報（以下、主画像情報とも称す）に対して、画像記録装置の画素形成処理に対応した第１の前処理を行ない、第１の前処理済み主画像情報を作成する。ここでは、第１の前処理は主画像情報に対して間引き処理を行なう。
【００１６】
次に、第２の前処理であるステップＳ１０３により、幾何学変処理を行ない、被埋め込み画像情報を作成する。ここでは、第１の前処理済み主画像情報に対して、回転処理を行ない、さらに第１の前処理で間引きした画素部分を取り除いて有効画像サイズを圧縮することを行なう。
【００１７】
次に、ステップＳ１０４により、（全ての前処理が行なわれた主画像情報）＝（被埋め込み画像情報）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報（副画像情報）を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。
次に、ステップＳ１０５により、ステップＳ１０４により作成された合成画像情報に対して後処理を行なうことにより、記録画像情報を作成する。
【００１８】
最後に、ステップＳ１０６の記録処理により、ステップＳ１０５により作成された記録画像情報を個人認証媒体となる記録媒体上に、サーマルヘッドに代表される記録デバイスの主走査方向の偶数番目と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録することにより、個人認証媒体が作成される。
【００１９】
図２は、作成されたＩＤカードなどの個人認証媒体２０１の一例を示す。個人認証媒体２０１には、持ち主の個人認証用顔画像２０２が記録されているが、この顔画像２０２は図１で説明した処理によって作成され記録されたものである。また、識別番号（Ｎｏ．）、氏名、生年月日、有効期限などの個人管理情報２０３も記録されている。これらの個人管理情報２０３を、図１におけるステップＳ１０４の電子透かし埋め込み処理の副情報として用いることにより、個人認証媒体２０１の認証用顔画像２０２と個人管理情報２０３とが関連付けられるため、個人認証媒体２０１の一部を改ざんしたり、偽造することが困難になり、セキュリティ性を高めることが可能になる。
【００２０】
次に、本発明に係る交互駆動記録方式、詳しくはドットを千鳥状に配列させて記録する溶融型熱転写記録方式について説明する。ドットの有無で画像を形成するような溶融型熱転写記録方式では、多階調画像を表現する場合、ドットの面積を変化させる面積変調処理を行なうことにより、見かけの濃度を制御している。このため、ドットのサイズを正確に変調することが求められ、そのためには交互駆動記録方式が望ましい。
【００２１】
交互駆動記録方式は、記録ヘッド（ライン型サーマルヘッド）の奇数ラインの奇数番目の発熱体と偶数ラインの偶数番目の発熱体を記録ラインごとに交互に駆動する方式である。このように駆動した場合、記録するべき画像情報が図３（ａ）に示すように格子状に配列されて格納されているのが、実際の記録時には図３（ｂ）に示すように千鳥状に配列されて画像が形成される。したがって、記録するべき画像情報の奇数ラインの偶数番目の情報および偶数ラインの奇数番目の情報が欠落することになる。
【００２２】
このことは、単純に記録したい画像情報に電子透かし処理を用いて副情報を不可視状態で埋め込んでも、元の画像情報の１／２の面積しか有効にならず、その他の情報が欠落してしまうために、電子透かしが破壊されるか改変されてしまうことを意味する。一般的に、これだけ電子透かしが破壊された場合、副情報を復元することは非常に困難であり、セキュリティ性を保つことができなくなる。
【００２３】
そこで、本発明では、ステップＳ１０４の電子透かし埋め込み処理を行なう際に、ステップＳ１０２の第１の前処理およびステップＳ１０３の第２の前処理を行ない、さらに、ステップＳ１０４の電子透かし埋め込み処理後にステップＳ１０５の後処理を行なうことにより、交互駆動記録時の電子透かしの破壊を防ぐものである。
【００２４】
第１の前処理（ステップＳ１０２）では、交互駆動記録方式のときにエネルギを印加されない画素に対応する画像情報を間引く。図４（ａ）は、記録するべき画像情報全体の配列を示していて、黒い部分４０１は記録される画素（間引かれない情報）に対応し、白い部分４０２は記録されない画素（間引かれる情報）に対応している。
【００２５】
第２の前処理（ステップＳ１０３）では、第１の前処理を行なった画像情報の配列に対して、たとえば、４５°の回転処理および間引いた情報を取り除く処理を行ない、有効な画像情報サイズの圧縮処理を行なう。図４（ｂ）に示すように、図４（ａ）の画像情報配列を４５°回転させると黒い部分４０１（間引かれない情報）が整列に並ぶ。そこで、白い部分４０２（間引かれる部分）を取り除き、再配列させることにより、交互駆動記録方式の影響がない画像情報だけの配列が作成される。
【００２６】
さらに、図５に示す具体例をあげて第１の前処理および第２の前処理の説明を行なうと、図５（ａ）は記録したい画像情報の配列を示していて、最初の段階では、ａｉｊ（ｉ＝１〜４、ｊ＝１〜４）の情報が格納されている。第１の前処理により間引き処理を行ない、画像情報の配列の奇数ラインの偶数番目の情報および偶数ラインの奇数番目の情報が間引かれて、図５（ｂ）に示す×印の付いた配列要素が削除される。
【００２７】
次に、第２の前処理で４５°回転処理が行なわれ、図５（ｃ）に示す状態になる。さらに、×印の部分を除去した後に、有効な画像情報の要素を再配列すると、図５（ｄ）に示す状態になる。空いた隙間の配列要素には記録しない意味の情報（この場合は「０」）を格納しておく。
【００２８】
図５（ａ）と図５（ｄ）とでは、実際に記録される、あるいは、交互駆動記録の影響を受けない画像情報の配列サイズは減少している（図５（ｄ）の太枠部分）。この図５（ｄ）の太枠部分に副情報が収まるように、電子透かし埋め込み処理を行なうことによって、副情報は完全に保持される。
【００２９】
後処理（ステップＳ１０６）に関しては、上記の全く逆の処理を行なうことになる。
【００３０】
なお、本実施の形態では、溶融型熱転写記録方式を一例として示したが、記録画素のドット面積変調により階調表現を行なう記録方式に対しては、どの方式においても本実施の形態の画像処理は適応可能である。
【００３１】
図６は、今まで説明した手順を模式的に示したものである。
図６において、主画像情報６０１は、たとえば、個人認証用の顔画像情報、副情報６０２は、たとえば、主画像情報６０１のセキュリティ性を高める情報（今回は数字の「１７４」）で、氏名や誕生日などをコード化して画像としたものや会社のロゴマークなどの図形を用いる。鍵情報６０３は、電子透かし埋め込み処理によって不可視状態で埋め込まれた副情報を後で復元するための鍵となる情報である。
【００３２】
最初に、主画像情報６０１に対し第１の前処理および第２の前処理を行なうことにより、被埋め込み画像情報６０４を作成する。次に、被埋め込み画像情報６０４と副情報６０２と鍵情報６０３とを用いて電子透かし埋め込み処理６０５を行ない、電子透かし入り画像情報６０６を作成する。そして、第１の前処理と第２の前処理の逆変換処理を行なう後処理を行なうことにより、合成画像情報６０７を作成する。最後に、作成した合成画像情報６０７を記録（印刷）処理６０８することにより、個人認証媒体６０９が完成する。
【００３３】
次に、電子透かし埋め込み処理について説明する。本実施の形態では、電子透かしの手法一般に適用可能であるが、特に副情報と主画像情報とを重畳処理することによって埋め込みを行なう手法と相性がよい。
この電子透かし埋め込み処理手法の詳細は、たとえば、特開平１１−１６８６１６号公報や特開２００１−２６８３４６号公報などに記述されており、これらを適用することが可能である。これらの手法は、基本的に主画像情報がカラー（フルカラー）画像であることを前提に記述されているが、これらに対し更に例えば特開平１１−３５５５５４号公報に記述されている技術を加えて応用することにより、白黒画像に対しても副情報（副画像情報）を不可視状態で埋め込むことが可能である。
もし、個人認証媒体の顔画像の真偽判定が必要になった場合は、上記公報などに記載されている復元処理を鍵情報を利用して行なうことによって、不可視状態で記録されていた副情報が復元される。
【００３４】
図７に、特開平１１−１６８６１６号公報に記述されている色差変調方式を用いた電子透かし埋め込み処理の流れ図を示し、本実施の形態への適用例を説明する。この方式では、
(1) 人間の視覚特性を利用
・画像の周波数が高くなるほど階調識別能力が低下
・輝度情報よりも色差情報の方が判別困難
(2) 補色の関係 例…赤色＋シアン色＝無彩色（白）（加法混色の場合）
(3) 高周波キャリアパターン画像に補色の関係および色差情報を適用（色差変調処理）
を用いることにより、画質劣化を招くことなく、主画像情報に副情報を不可視状態で埋め込むことが可能になっている。
【００３５】
上記(2)の例でいえば、赤色とシアン色（＝緑色＋青色）は、加法混色の場合 、補色の関係にあり、赤色とシアン色とが隣り合っていても人間の目には判別しにくく無彩色に見える。
上記(3)の例のように、高周波キャリアパターン画像を用いることで、赤色リ ッチな画素とシアン色リッチな画素とが繰り返し配置されているため、人間の目ではこれらの細かな色差の違いを識別できず、色差量はプラスマイナス「０」と判断してしまう人間の視覚特性を利用している。この方式で作成した合成画像情報（電子透かし入り画像）は、格納する画像フォーマットに依存しないので、現在流通しているＢＭＰやＴＩＦＦ、ＪＰＥＧなどの画像フォーマットだけでなく、将来新しい画像フォーマットに変更されても全く問題ない。
【００３６】
ここで、図７に示した特開平１１−１６８６１６号公報の電子透かし埋め込み処理の流れについて簡単に説明しておく。なお、詳細については特開平１１−１６８６１６号公報の記述内容を参照されたい。
【００３７】
被埋め込み画像情報（主画像情報）７０１は、埋め込み情報が埋め込まれる画像情報で、個人認証媒体では所有者の顔写真（顔画像）に相当する。これは、１画素当たり２４ビット（ＲＧＢ各８ビット）の情報を持っている。埋め込み画像情報（副情報）７０２は、埋め込む情報を２値画像に変換したもので、個人認証媒体では例えば識別番号などに相当する。これは、１画素あたり１ビットの情報を持っている。マスク画像情報（鍵情報）７０３は、合成処理時および埋め込み画像情報の復元（再生）時に用いる画像情報で、１画素あたり１ビットの情報を持っている。
【００３８】
最初に、平滑化処理ステップ７０４において、埋め込み画像情報７０２の黒画素を「１」、白画素を「０」として平滑化処理を行なう。ここでは、ｘ方向について注目画素の両端の画素を３×１画素の領域を切り出して、重み平均を取る。次に、位相変調処理ステップ７０５において、平滑化処理ステップ７０４における平滑化処理の結果を基にマスク画像情報７０３に対し位相変調を行なう。
【００３９】
次に、色差変調処理ステップ７０７において、位相変調処理ステップ７０５における位相変調結果を基に、色差量ΔＣｄを用いて色差変調処理を行なう。この場合、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３成分を別々に計算する。次に、重畳処理ステップ７０８において、色差変調処理ステップ７０７における色差変調結果と被埋込み画像情報７０１とから、重畳処理を行なうことにより、合成画像情報７０９を作成する。
【００４０】
以上の説明からも明らかなように、図７の被埋め込み画像情報７０１と埋め込み画像情報７０２とマスク画像情報７０３は、図６で説明した本実施の形態における主画像情報６０１と副情報６０２と鍵情報６０３と全く同じものである。したがって、基本的には図７に示した電子透かし埋め込み処理方式を本実施の形態に適用可能であることは明らかである。
【００４１】
ただし、本実施の形態では、第１の前処理および第２の前処理を主画像情報に対してあらかじめ行なうために、有効な画像情報の配列サイズが図５（ｄ）の太線枠で示したように、主画像情報の本来のサイズよりも小さくなっている。したがって、図７の電子透かし埋め込み処理のように、被埋め込み画像情報７０１’と色差変調処理の結果得られた重畳用画像情報７１０とを重畳処理することによって合成画像情報７０９を作成する場合は、重畳用画像情報７１０の有効部分（この場合は「１７４」）の領域が被埋め込み画像情報７０１’のハッチング部分に完全に入っている必要がある。
【００４２】
重畳処理に関しては、被埋め込み画像情報７０１’、重畳用画像情報７１０、合成画像情報７０９を下記のように定義すると、
被埋め込み画像情報： ＳＲＣ−C（ｘ，ｙ） （Ａ−１）
重畳用画像情報 ： ＳＴＬ−C（ｘ，ｙ） （Ａ−２）
合成画像情報 ： ＤＥＳ−C（ｘ，ｙ） （Ａ−３）
ｘ，ｙは画像の座標値
C＝｛Ｒ（赤）、Ｇ（緑）、Ｂ（青）｝プレーンを示す
それぞれの値は２４ビットカラー演算の場合、０〜２５５の整数値
次式で表わされる。

本実施の形態では、加法混色での演算として色の基本原色にＲ（赤）、Ｇ（緑）、Ｂ（青）を用いたが、減法混色での演算では色の基本原色にＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）を用いても本質的には変わらない。
【００４３】
図７の電子透かし埋め込み処理方式では、上記のように補色の関係を用いて色差変調処理を行なっている。そのときに、あらかじめ定められた色差量ΔＣｄを用いている。これは、あらかじめ実験的に求めた赤とシアンとの輝度値の差分量（一定値）をデータとして保有している。重畳用画像情報７１０は、埋め込み画像情報７０２、マスク画像情報７０３および色差量ΔＣｄを基にして作成されるが、埋め込み画像情報７０２は、被埋め込み画像情報７０１のセキュリティ性を高めるための関連情報であることが多いので、設定パラメータとしてはある程度制限される。また、マスク画像情報７０３は、埋め込み画像情報７０２の必要時に復元するための鍵となるため、やはり設定パラメータとしてはある程度制限を受けるので、色差量ΔＣｄの値が設定パラメータとして重要な役割を持つ。
【００４４】
ＤＥＳ−R（ｘ，ｙ）、ＤＥＳ−G（ｘ，ｙ）、ＤＥＳ−B（ｘ，ｙ）の値は、２４ビットカラー演算の場合、それぞれ０〜２５５の範囲の整数なので、計算結果が「０」以下の場合は「０」に設定し、「２５５」以上の場合は「２５５」に設定するが、計算結果が「０」より小さい場合はアンダフローを起こし、「２５５」より大きい場合はオーバフローを起こしてしまうため、色差のバランスが崩れて補色の関係が成立しなくなる場合が生じる。この場合は、不可視状態で埋め込んだはずのマスク画像情報７０３が不可視状態でなくなり、露見する可能性がある。図７の場合は、色差変調処理に用いる色差量ΔＣｄはあらかじめ定めた固定値なので、アンダフローやオーバフローが生じ易い。
【００４５】
そこで、たとえば、図８に示すように、色差変調処理ステップ７０７を行なう際に、あらかじめ設定した色差量ΔＣｄだけで色差変調を行なうのではなく、被埋め込み画像情報７０１の各画素情報に応じて画素単位で色差量ΔＣｄを補正する色差補正処理ステップ７１１を導入することにより、色差変調処理ステップ７０７の処理結果や重畳処理ステップ７０８の処理結果でアンダフローやオーバフローを防ぐことが可能になり、補色の関係を保つことができる。
【００４６】
色差補正処理ステップ７１１では、次のような処理を行なう。
(1) 被埋め込み画像情報の各画素の輝度情報の分布を調べる。
(2) 色差量ΔＣｄ（固定値）を色差変調処理後、重畳処理した場合にオーバフローまたはアンダフローする画素を上記(1)の情報を基に求めて、テーブルを作成する。
(3) 上記(2)で作成したテーブルの情報に基づき、重畳処理を行なった後に オーバフローまたはアンダフローしない色差補正量ΔＣｄ−2を各画素単位で算出する。
(4) 色差変調処理では、色差量ΔＣｄ（固定値）および上記(3)で求めた色 差補正量ΔＣｄ−2を用いて色差変調処理を行なう。
【００４７】
次に、上記とは別のオーバフローおよびアンダフローを防ぐ方法について説明する。
それは、電子透かし埋め込み処理において、副情報を埋め込む前に、被埋め込み画像情報（これは主画像情報から作成される）の画素輝度値の分布をあらかじめ定めた範囲に圧縮する処理を行なう。
【００４８】
２４ビットカラー演算の場合、画素の輝度値は０〜２５５の整数値を取るため、何も圧縮処理を行なわない場合は、図９（ａ）に示すように、傾き「１」の直線の関数を通した結果と同じである（図９（ａ）は被埋め込み画像情報に何の影響も与えない）。
【００４９】
一番単純な方法は、図９（ｂ）に示すように、出力する輝度情報の下側ΔＣｎ１Ｌと上側ΔＣｎ１Ｈをカットして、入力輝度情報に対する出力輝度情報を圧縮する関数を、被埋め込み画像情報に対して処理を行なった後に、電子透かし埋め込み処理を行なうことである。この場合、出力する輝度情報の下側ΔＣｎ１Ｌと上側ΔＣｎ１Ｈの余裕があるため、その範囲内で電子透かし埋め込み処理過程での重畳処理におけるオーバフローおよびアンダフローを防ぐことができる。
図９（ｂ）の方法では、輝度値の下部分および上部分はカットされているが、中間部分は入力値がそのまま出力されるため、画像のトーンを維持できる長所であるが、低輝度部および高輝度部が不連続的に情報がなくなる短所がある。
【００５０】
次の方法は、図９（ｃ）に示すように、出力する輝度情報の下側ΔＣｎ２Ｌと上側ΔＣｎ２Ｈをカットして、更にその点を結ぶように直線の傾きを変化させた関数を、被埋め込み画像情報に対して処理を行なった後に、電子透かし埋め込み処理を行なうことである。この場合、出力する輝度情報の下側ΔＣｎ１Ｌと上側ΔＣｎ１Ｈの余裕があるため、その範囲内で電子透かし埋め込み処理過程での重畳処理におけるオーバフローおよびアンダフローを防ぐことができる上に、低濃度部分、中間濃度部分、高濃度部分全てに連続して階調表現ができる長所があるが、直線の傾きを変化させすぎると主画像情報との差異が目立ち、違和感を生じる場合がある。
【００５１】
その改善策として、図９（ｃ）の処理を被埋め込み画像情報に行ない、電子透かし埋め込み処理を行なった後、今度は図９（ｃ）の逆変換を行なう関数を処理することにより、図９（ｃ）の短所を改善することが可能になる。
【００５２】
上記説明では、電子透かし埋め込み処理過程を行なう前に、被埋め込み画像情報の輝度情報の圧縮などの処理を行なったが、上記圧縮処理単独でも効果があるが、前述の図８における色差補正処理ステップ７１１と併用することにより、さらに効果をあげることが可能になる。
【００５３】
次に、今まで説明した画像処理方法を用いて作成した個人認証媒体上の顔画像に対し真偽判定が必要になった場合の方法について説明する。
本実施の形態では、副情報を電子透かし処理により不可視状態で埋め込んだ後に記録された合成画像情報から復元するのに鍵情報を用いる。その鍵情報は、幾何学模様などで構成された２値（白黒）画像が利用できる。たとえば、２×３画素で構成された周期を持つ市松模様や、あらかじめ定めておいたシートを基に作成した擬似乱数パターンなどである。
【００５４】
第１の復元方法は、鍵情報の黒画素を記録情報、白画素を非記録情報として、図１の第２の前処理（ステップＳ１０３）の回転処理のみを行なった後、記録処理（ステップＳ１０６）で説明したように、記録デバイスの主走査方向の偶数番目と奇数番目の画素を記録ラインごとに交互に形成して透明状の記録媒体に記録することにより作成した復元用シートを物理的に個人認証媒体に記録された合成画像情報上に重ね合わせることにより、副情報を復元（再生）するが可能である。この場合は、副情報が肉眼で目視可能である。
【００５５】
第２の復元方法は、周波数フィルタを用いる方法であり、図１０に全体の処理の流れを示す。
まず最初に、画像入力処理ステップＳ１１１により、スキャナやカメラなどの入力デバイスを用いて、個人認証媒体上に記録（印刷）された合成画像情報をデジタル情報として読取る。
【００５６】
次に、鍵情報設定ステップＳ１１２の処理を行なう。これは、たとえば、複数の鍵情報を使い分けているならば、どの鍵情報を用いているのか、個人認証媒体に関連付けられた情報（たとえば、識別情報など）から判断して鍵情報を特定する。また、単一の鍵情報ならば直接、鍵情報の特定周波数の情報をあらかじめテーブルとして保持しておく。
【００５７】
次に、電子透かし復元処理ステップＳ１１３の処理を行なう。これは、画像入力処理ステップＳ１１１により得られた合成画像情報に対し、鍵情報設定ステップＳ１１２で設定された特定周波数による周波数フィルタリング処理を行なう。周波数フィルタリング処理は、たとえば、ＦＦＴ演算やデジタル周波数フィルタが使用できる。
【００５８】
最後に、電子透かし復元処理ステップＳ１１３により得られた処理結果に基づき真偽判定処理ステップＳ１１４の処理を行ない、その判定結果を判定者に知らせる。
【００５９】
なお、第２の復元方法を利用した場合、主画像情報にもともと鍵情報の特定周波数成分に近い周波数成分が多く含まれると、判断を誤る可能性がある。そこで、鍵情報が単一の場合は、あらかじめ主画像情報の類似周波数成分を取り除く、もしくは、弱めておく処理を行なうことにより、復元の精度を高めることが可能になる。
また、鍵情報が複数利用できる場合は、主画像情報の周波数成分と複数の鍵情報の周波数成分の一番類似度が少ない鍵情報を選択して、電子透かし埋め込み処理を行なうことで、やはり復元の精度を高めることが可能になる。
【００６０】
次に、上述した画像処理方法を用いた画像記録装置について説明する。
図１１は、画像記録装置の構成を概略的に示すものである。この画像記録装置は、画像入力手段としての画像入力部１２１、第１、第２の前処理手段、埋め込み手段、および、逆変換処理手段としての電子透かし埋め込み処理部１２２、色変換部１２３、記録信号変換部１２４、および、記録手段としての記録部１２５によって構成されている。
【００６１】
すなわち、画像入力部１２１で、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの入力装置で取込むことにより、個人の顔画像情報をデジタル化する。この時点での画像情報はＲ，Ｇ，Ｂの３プレーンから構成される。
【００６２】
次に、電子透かし埋め込み処理部１２２で、先に説明した図１における第１の前処理ステップＳ１０２から後処理ステップＳ１０５までに相当する処理をそれぞれ行なう。
次に、色変換部１２３で、Ｒ（赤），Ｇ（緑），Ｂ（青）の画像情報をＣ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の画像情報に色変換する。ここでは、記録部１２５の記録特性に合わせて３×３や３×９の色変換マトリクスを用いて色変換を行なう。
【００６３】
次に、記録信号変換部１２４で、Ｃ，Ｍ，Ｙの画像情報を記録部１２５の記録デバイスに適した信号に変換する。たとえば、溶融型熱転写記録方式の場合は、サーマルヘッドの駆動電圧制御信号、駆動パルス信号などを生成する。また、サーマルヘッドの熱制御などもここで行なわれる。
【００６４】
最後に、記録部１２５で、記録信号変換部１２４からの信号に基づき、記録媒体に対し、サーマルヘッドに代表される記録デバイスの主走査方向の偶数番目と奇数番目の画素を記録ラインごとに交互に形成して記録することにより、個人認証媒体が作成される。
【００６５】
なお、本実施の形態では、図１１のように、電子透かし埋め込み処理部１２２→色変換部１２３の順番で処理を行なうため、電子透かし埋め込み処理部１２２はＲ，Ｇ，Ｂの３つの基本色による演算処理を行なうが、これとは逆に色変換部１２３→電子透かし埋め込み処理部１２２の順番で処理を行なう画像記録装置の場合は、電子透かし埋め込み処理部１２２はＣ，Ｍ，Ｙの３つの基本色による演算処理を行なうことで、同様に実現可能である。
【００６６】
本実施の形態に係る画像記録装置を用いて記録した場合、ドット配列としては図１２に示すようになる。図１２中のＡ−Ａ’ラインを見ると、ドットは１ドット置きではなく、ピッチｄ（サーマルヘッドの発熱体のピッチの１／√２）で一列に並ぶ。本実施の形態の場合、この角度は４５°になる。
【００６７】
次に、第２の実施の形態について説明する。
前述した第１の実施の形態では、図１２で示すように、４５°の角度で副情報を埋め込むように、第２の前処理における回転処理の角度が４５°の場合を説明した。この場合は、偶数ラインと奇数ラインとの間隔が記録ヘッド（サーマルヘッド）の発熱体のピッチと同じ場合を示しており、ドットが一列に並ぶ方向は、主走査方向（図中横方向）から４５度の角度である。
【００６８】
もう１つの代表的な回転角度の例として、図１３に示すような、偶数ラインと奇数ラインとの間隔を記録ヘッド（サーマルヘッド）の発熱体のピッチｄの１／２とした場合を示している。この場合は、ドットが一列に並ぶ方向は主走査方向（図中横方向）から約２６．５６５度の角度である。主画像情報に副情報を埋め込む際、上記のような角度で傾けて埋め込めば、交互駆動記録を行なっても、埋め込んだ副情報を失うことがない。
【００６９】
第２の実施の形態に係る実際の処理の流れについて、図１４に示すフローチャートを参照して説明する。
最初に、ステップＳ１３１で画像入力処理が行なわれる。ここでは、個人認証媒体の所持者本人の顔画像をカメラにより入力したり、顔写真をスキャナなどの画像入力装置で取込むことにより、個人の顔画像情報をデジタル化する。
【００７０】
次に、第１の前処理であるステップＳ１３２により、ステップＳ１３１の画像入力処理で得られた主画像情報の副走査方向（画像記録装置における記録媒体の送り方向）の情報を２列連続に並べて副走査方向の画素サイズを元の２倍にする処理を行なう。
次に、第２の前処理であるステップＳ１３３により、ステップＳ１３２の第１の前処理で得られた主画像情報に対して間引き処理を行なう。
【００７１】
次に、ステップＳ１３４により、（全ての前処理が行なわれた主画像情報）＝（被埋め込み画像情報）に対して、電子透かし埋め込み処理を行なう。ここでは、被埋め込み画像情報に対し副情報（副画像情報）を人間の視覚に感知できないように不可視状態で埋め込んだ合成画像情報が作成される。なお、基本的な内容は前述した第１の実施の形態と重なるため、ここでは詳細な説明は省略する。
【００７２】
最後に、ステップＳ１３５の記録処理により、ステップＳ１３４により作成された合成画像情報を個人認証媒体となる記録媒体上に、サーマルヘッドに代表される記録デバイスの主走査方向の偶数番目と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式を用い、かつ、当該記録媒体の搬送ピッチを主走査ピッチｄの１／２にして記録することにより、個人認証媒体が作成される。
【００７３】
以上説明したように、上記実施の形態によれば、個人認証媒体に出力するようなアナログデータを対象として、主画像情報に別の付加的な副情報（副画像情報）を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる。
【００７４】
また、溶融型熱転写記録方式を用いた画像記録装置において、高階調性能を維持したまま、記録画像への電子透かし技術が適用可能で、その電子透かし情報（副情報）は記録後も壊れないで保存され、復元可能である。
【００７５】
【発明の効果】
以上詳述したように本発明によれば、記録媒体に出力するようなアナログデータを対象として、主画像情報に対し別の付加的な副情報を不可視状態で埋め込んだ合成画像情報を作成でき、記録後も記録した合成画像情報内の電子透かし情報が維持できる画像処理方法および画像記録装置を提供できる。
【００７６】
また、本発明によれば、溶融型熱転写記録方式において、高階調性能を維持したまま記録画像への電子透かし技術が適用可能で、その透かし情報（副情報）は記録後も壊れないで保存され、復元可能である画像処理方法および画像記録装置を提供できる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態に係る画像処理方法の全体の流れを示すフローチャート。
【図２】 作成された個人認証媒体の一例を模式的に示す平面図。
【図３】 記録する画像情報と記録したドットを説明する図。
【図４】 第１の前処理および第２の前処理の概念を説明する図。
【図５】 第１の前処理および第２の前処理の具体例を説明する図。
【図６】 電子透かし埋め込み処理全体の流れを示す図。
【図７】 電子透かし埋め込み処理の手順を模式的に示す流れ図。
【図８】 オーバフローおよびアンダフローを防ぐ電子透かし埋め込み処理の手順を模式的に示す流れ図。
【図９】 オーバフローおよびアンダフローを防ぐ電子透かし埋め込み処理の別の例を説明する図。
【図１０】 副情報の復元処理の流れを説明するフローチャート。
【図１１】 画像記録装置の構成を概略的に示すブロック図。
【図１２】 画像記録装置で記録したドットの配列状態を示す図。
【図１３】 本発明の第２の実施の形態に係る画像記録装置で記録したドットの配列状態を示す図。
【図１４】 第２の実施の形態に係る実際の処理の流れについて説明するフローチャート。
【符号の説明】
Ｓ１０１…画像入力ステップ（画像入力手段）、Ｓ１０２…第１の前処理ステップ（第１の前処理手段）、Ｓ１０３…第２の前処理ステップ（第２の前処理手段）、Ｓ１０４…電子透かし埋め込みステップ（埋め込み手段）、Ｓ１０５…後処理ステップ（逆変換処理ステップ、逆変換処理手段）、Ｓ１０６…記録ステップ（記録手段）、２０１…個人認証媒体、２０２…顔画像、２０３…個人管理情報、６０１…主画像情報、６０２…副情報（副画像情報）、６０３…鍵情報、６０７…合成画像情報。

Claims (17)

1. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための画像処理方法であって、
   主画像情報に対して画像記録時の画素形成処理に対応して主画像情報を間引く第１の前処理を行なう第１の前処理ステップと、
   この第１の前処理ステップにより第１の前処理を行なった主画像情報に対して幾何学的変換を行なう第２の前処理ステップと、
   この第２の前処理ステップで幾何学的変換された主画像情報に副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込みステップと、
   この埋め込みステップにより作成された合成画像情報に対して前記第２の前処理ステップにおける変換処理の逆変換処理を行なう逆変換処理ステップと、
   この逆変換処理ステップにより逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録ステップと、
   を具備したことを特徴とする画像処理方法。
2. 前記埋め込みステップは、あらかじめ設定した一定の色差量を用いて色差変調処理を行なうことにより副情報を不可視状態で主画像情報に埋め込むことを特徴とする請求項１記載の画像処理方法。
3. 前記埋め込みステップは、あらかじめ設定した色差量に対して主画像情報の各画素情報に応じて画素単位で補正し、この補正した後の色差量を用いて色差変調処理を行なうことにより副情報を不可視状態で主画像情報に埋め込むことを特徴とする請求項１記載の画像処理方法。
4. 前記埋め込みステップは、副情報を埋め込む前に主画像情報の画素輝度値の分布をあらかじめ定めた範囲に圧縮する処理を行なうことを特徴とする請求項１記載の画像処理方法。
5. 前記主画像情報の画素輝度値の分布をあらかじめ定めた範囲に圧縮する処理は、各画素の色プレーンの上限値以上および下限値以下を切り捨てる処理を行なうことを特徴とする請求項４記載の画像処理方法。
6. 前記主画像情報の画素輝度値の分布をあらかじめ定めた範囲に圧縮する処理は、各画素の色プレーンの上限値以上および下限値以下を切り捨てる処理と、この切り捨て処理後の階調曲線が直線になるように補正する処理とを行なうことを特徴とする請求項４記載の画像処理方法。
7. 前記埋め込みステップは、副情報を埋め込む前に主画像情報の画素輝度値の分布をあらかじめ定めた範囲に圧縮する処理を行ない、この圧縮処理後の主画像情報に対して副情報の埋め込み処理を行ない、その後に前記圧縮処理の逆処理を行なうことを特徴とする請求項１記載の画像処理方法。
8. 前記埋め込みステップは、主画像情報および副情報および当該副情報を復元する際に用いる鍵情報を用いて色差変調処理を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成することを特徴とする請求項１記載の画像処理方法。
9. 前記鍵情報は所定の特定周波数成分を持つ幾何学模様で構成されていて、
   前記合成画像情報を記録媒体上に可視記録した記録物に対して光学的に前記合成画像情報を読取る読取ステップと、
   前記鍵情報の特定周波数成分を用いた周波数フィルタを用いて、前記読取ステップにより光学的に読取った合成画像情報にフィルタ処理を行なうことにより、当該合成画像情報から副情報を復元するフィルタ処理ステップと、
   をさらに具備したことを特徴とする請求項８記載の画像処理方法。
10. 前記鍵情報は所定の特定周波数成分を持つ幾何学模様で構成されていて、
    前記第１の前処理ステップは、前記鍵情報の特定周波数成分と同じ周波数成分を主画像情報から取り除くかあるいは弱める処理を行なった後に、主画像情報に対して画像記録時の画素形成処理に対応した処理を行なうことを特徴とする請求項８記載の画像処理方法。
11. 前記鍵情報は所定の特定周波数成分を持つ幾何学模様で構成されていて、かつ、複数存在しており、
    前記埋め込みステップは、主画像情報の周波数成分解析を行ない、主画像情報の周波数成分と複数の鍵情報の周波数成分との一番類似度が少ない鍵情報を選択して合成画像情報を作成することを特徴とする請求項８記載の画像処理方法。
12. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための画像処理方法であって、
    画像記録時の画素形成処理に対応して主画像情報を間引く処理を行なう第１の前処理ステップと、
    主画像情報をあらかじめ設定した角度に回転させた後、前記主画像情報の間引いた部分を取り除き主画像情報の有効部分を圧縮して再構成する幾何学的変換を行なう第２の前処理ステップと、
    主画像情報および副情報および当該副情報を復元する際に用いる鍵情報を用いて色差変調処理を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込みステップと、
    前記主画像情報の間引いた部分に対応する記録しない情報を合成画像情報に挿入することにより合成画像情報の有効部分を伸張して再構成した後、当該合成画像情報に対して前記第２の前処理ステップにおける変換処理の逆変換処理を行なう逆変換処理ステップと、
    この逆変換処理ステップにより逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録ステップと、
    を具備したことを特徴とする画像処理方法。
13. 前記第１の前処理ステップは、主画像情報を間引く際に偶数番目の画素と奇数番目の画素を記録デバイスの記録ラインに対応させて交互に間引く処理を行なうことを特徴とする請求項１２記載の画像処理方法。
14. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記録するための画像処理方法であって、
    画像記録時の画素形成処理に対応して主画像情報を間引く処理を行なう第１の前処理ステップと、
    主画像情報をあらかじめ設定した角度に回転させた後、前記主画像情報の間引いた部分を取り除き主画像情報の有効部分を圧縮して再構成する幾何学的変換を行なう第２の前処理ステップと、
    副情報および当該副情報を復元する際に用いる鍵情報を用いて色差変調処理を行なって作成した重畳用情報と主画像情報とを重畳処理することにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込みステップと、
    前記主画像情報の間引いた部分に対応する記録しない情報を合成画像情報に挿入することにより合成画像情報の有効部分を伸張して再構成した後、当該合成画像情報に対して前記第２の前処理ステップにおける変換処理の逆変換処理を行なう逆変換処理ステップと、
    この逆変換処理ステップにより逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録する記録ステップと、
    を具備したことを特徴とする記録媒体上に画像処理方法。
15. 人間の肉眼で可視状態の主画像情報に対して、人間の肉眼で不可視状態で副情報を埋め込むことによって作成した合成画像情報を記録媒体上に可視状態で記 録するための画像記録装置であって、
    主画像情報に対して画像記録時の画素形成処理に対応して主画像情報を間引く第１の前処理を行なう第１の前処理手段と、
    この第１の前処理手段により第１の前処理を行なった主画像情報に対して幾何学的変換を行なう第２の前処理手段と、
    この第２の前処理手段で幾何学的変換された主画像情報に副情報を不可視状態で埋め込むことにより合成画像情報を作成する埋め込み手段と、
    この埋め込み手段により作成された合成画像情報に対して前記第２の前処理手段における変換処理の逆変換処理を行なう逆変換処理手段と、
    この逆変換処理手段により逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録手段と、
    を具備したことを特徴とする画像記録装置。
16. 当該画像記録装置の画素形成処理に対応して主画像情報を間引く処理を行なう第１の前処理手段と、
    主画像情報をあらかじめ設定した角度に回転させた後、前記主画像情報の間引いた部分を取り除き主画像情報の有効部分を圧縮して再構成する幾何学的変換を行なう第２の前処理手段と、
    色差変調処理を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込み手段と、
    前記主画像情報の間引いた部分に対応する記録しない情報を合成画像情報に挿入することにより合成画像情報の有効部分を伸張して再構成した後、当該合成画像情報に対して前記第２の前処理手段における変換処理の逆変換処理を行なう逆変換処理手段と、
    この逆変換処理手段により逆変換処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式により記録媒体上に記録する記録手段と、
    を具備したことを特徴とする画像記録装置。
17. 色差変調を行なうことにより副情報を不可視状態で主画像情報に埋め込み、合成画像情報を作成する埋め込み手段と、
    この埋め込み手段により作成された合成画像情報に対して記録デバイスの副走査方向に対応する画素数を２倍に増加して、かつ、当該画像記録装置の画素形成処理に対応して間引き処理を行なう処理手段と、
    この処理手段により処理された合成画像情報を、記録デバイスの主走査方向の偶数番目の画素と奇数番目の画素を記録ラインごとに交互に形成する交互駆動記録方式を用い、かつ、搬送ピッチを主走査方向の画素ピッチの半分の長さで記録媒体を搬送して当該記録媒体上に記録する記録手段と、
    を具備したことを特徴とする画像記録装置。

Images