JP3584195B2

JP3584195B2 - 画像処理方法及び装置

Info

Publication number: JP3584195B2
Application number: JP2000049266A
Authority: JP
Inventors: 邦浩山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-02-25
Filing date: 2000-02-25
Publication date: 2004-11-04
Anticipated expiration: 2020-02-25
Also published as: JP2001238067A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の素材画像を組み合わせてモザイク画像を生成する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
モザイクとは、「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの，またはその技法」（三省堂現代国語辞典）として広く知られてきた。この技法を用いて、多数の写真画像を組み合わせたモザイク画像とし、ある図案或は１つの写真画像を構成することが可能である。
【０００３】
【発明が解決しようとする課題】
このようなモザイク画像を作成する場合、元になる画像を複数の領域（タイル）に分割し、これら複数の領域のそれぞれにモザイク画像を構成する素材画像（タイル画像）を組み込んでモザイク画像を作成する。この場合、その元の画像の分割された領域の色に近い色の素材画像を複数の素材画像の中から選択して貼り付けるようにしている。
【０００４】
このとき、各々の領域（タイル）の色によく似た色の素材画像が存在しなかった場合、それら素材画像を用いて構成されるモザイク画像の画像品質が低下するという問題があった。
【０００５】
本発明は上記従来例に鑑みてなされたもので、原画像の指定された部分領域に割当てる素材画像を優先的に選択して割り当て、他の素材画像を非優先領域に割り当てることにより、形成された画像の品質を向上させる画像処理装置及びその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
複数の素材画像の中から選択した素材画像を複数組み合わせて、原画像を模した画像を作成する画像処理装置であって、
原画像における部分領域を指定する指定手段と、
前記原画像を複数のタイル領域に分割する分割手段と、
前記分割手段により分割された前記複数のタイル領域のそれぞれが前記指定手段により指定された部分領域を含むかどうかを判定する判定手段と、
前記判定手段により前記部分領域を含むと判定された各タイル領域に対して最初に複数の素材画像の中から最も類似した素材画像を選択し、その後、前記判定手段により前記部分領域を含まないと判定された各タイル領域に対して、前記複数の素材画像のうち前記部分領域に対して選択されないで残った素材画像から最も類似した素材画像を選択する類似画像選択手段と、を有することを特徴とする。
【０００７】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
複数の素材画像の中から選択した素材画像を複数を組み合わせて、原画像を模した画像を作成する画像処理方法であって、
原画像における部分領域を指定する指定工程と、
前記原画像を複数のタイル領域に分割する分割工程と、
前記分割工程で分割された前記複数のタイル領域のそれぞれが前記指定工程で指定された部分領域を含むかどうかを判定する判定工程と、
前記判定工程で前記部分領域を含むと判定された各タイル領域に対して最初に複数の素材画像の中から最も類似した素材画像を選択し、その後、前記判定工程で前記部分領域を含まないと判定された各タイル領域に対して、前記複数の素材画像のうち前記部分領域に対して選択されないで残った素材画像から最も類似した素材画像を選択する類似画像選択工程と、を有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００９】
［実施の形態１］
図１は、本発明の実施の形態に係る画像処理装置の概略構成を示すブロック図である。
【００１０】
図１において、１０１はＣＰＵで、ＲＡＭ１０５に記憶されたプログラムに従って、この装置全体の動作制御を行なっている。１０２はキーボードで、ポインティングデバイス１０２ａであるマウス等とともにユーザにより使用され、この装置に各種データを入力するために使用される。１０３は表示部で、例えばＣＲＴや液晶等で構成されている。１０４はＲＯＭ、１０５はＲＡＭで、この装置で使用されるプログラムや、各種データが記憶されている。１０６はハードディスク装置で、フロッピィディスク１０７や不図示のＣＤ−ＲＯＭドライブ等からインストールされたプログラムやデータを記憶している。これはハードディスク装置１０６及びフロッピィディスク装置１０７はまた、この画像処理装置のファイルシステムに使用される外部記憶装置を構成している。１０８はプリンタで、例えばカラーインクジェットプリンタや電子写真式プリンタ等である。
【００１１】
ハードディスク装置１０６には、モザイク画の構成要素となるタイル画像が複数（Ｐ枚）格納されており、後述するプログラムに従って、この中から選択されたＭ×Ｎ枚の画像を、図２に示すように、水平方向にＭ枚、垂直方向にＮ枚並べて組み合わせることによりモザイク画像を作成する。こうして作成されたモザイク画像は、ハードディスク装置１０６に画像ファイルとして記憶され、また或はＣＲＴ１０３に表示されたり、或はプリンタ１０８に出力されて印刷される。
【００１２】
図３は、本実施の形態に係るモザイク手法で用いられる複数種類の画像の関係を示す図である。
【００１３】
図３において、画像２０１は、モザイク手法を使って画像を構成する際、元となる図案或は画像である。画像２０２は、モザイク手法により複数の小さな画像（タイル）を使って構成された画像である。素材画像２０３は、画像２０２を構成するために使われる素材画像で、ここではＰ枚用意されているものとする。これら素材画像の枚数Ｐは、一般に画像２０２を構成するに必要となる色・テクスチャの種類を準備できるだけの十分大きな数である。
【００１４】
尚、ここでは説明のために、Ｐ枚の素材画像２０３のそれぞれのサイズをタイルと同じサイズにしているが、各素材画像のサイズは必ずしもタイルのサイズと一致している必要はなく、またＰ枚が全て同じサイズである必要はない。このように各素材画像のサイズが異なる場合には，画像２０２の該当するタイルに貼り付ける際に、素材画像２０３のサイズを変換する必要が生じる。なお、ここで枚数Ｐは、上述のＭ×Ｎ枚よりも十分に大きい数とする。
【００１５】
図４は、画像２０１を４×５のタイルに分割した例を示す図で、画像２０１の横方向の画素数をＸ、縦方向の画素数をＹとし、各タイルの横方向の画素数をｐ、縦方向の画素数をｑで示している（Ｘ＝４ｐ，Ｙ＝５ｑ）。又、各タイルは、その位置に応じてＴＬ（ｘ，ｙ：ｘ＝０〜３，ｙ＝０〜４）で示されている。
【００１６】
図５は、画像２０１がカラー画像の場合、各タイルが赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラープレーンで構成される様子を示している。
【００１７】
図６は、本実施の形態に係る画像処理装置におけるモザイク画像の生成方法の大まかな処理の流れを示したフローチャートで、この処理を実行するプログラムは前述のハードディスク１０６に記憶され、実行時にＲＡＭ１０５にロードされてＣＰＵ０１により実行される。
【００１８】
まずステップＳ４１で、画像２０１を複数の領域（タイル）に分割した際、それら複数の領域の中で優先的に素材画像を割り当てる領域（タイル）を、操作者がキーボード１０２やポインティングデバイス１０２ａ等を使用して対話的に選択する。次にステップＳ４２に進み、その指定された優先度の高い領域（タイル）に、ある素材画像を割り当てて、その領域（タイル）に貼り付ける。次にステップＳ４３に進み、ステップＳ４１で指定されなかった優先度の低い領域（タイル）に、ある素材画像を割り当てて貼り付ける。
【００１９】
以下、図６の各ステップの動作を詳しく説明する。
【００２０】
［ステップＳ４１の説明］
ステップＳ４１では、元の画像２０１を表示部１０３の画面１００２上に表示し、キーボード１０２などを使用して、対話的に優先領域を選択する。このとき表示部１０３には、例えば図７に示すように画像２０１に相当する画像が表示されている。１００１は「Ｅｘｉｔボタン」であり、ポインティングデバイス１０２ａにより移動指示されるカーソル１００５によりこのボタン１００１を指示してクリック操作を行うことにより、ステップＳ４１を終了してステップＳ４２に制御を移す。
【００２１】
図７において、１００３及び１００４は、操作者による操作に従って選択された優先領域の例を示している。
【００２２】
この際、操作者は、画面１００２上に表示された元画像２０１を見て、優先的に素材画像を割り当てるべき画像領域をポインティングデバイス１０２ａ等を用いて指定する。一般に元画像２０１は、全体が一様に重要ではなく、例えば図７に示したような顔画像であれば、眼の再現が画像品質にとって特に重要であると考えられるため、ここでは目の位置に相当する画像領域１００３，１００４が指定された場合で示している。
【００２３】
これはモザイク画像の生成において、前述した複数の素材画像２０３は有限の資源である。従って、元の画像における重要な画像領域を指定し、その重要な画像領域に優先的に素材画像を割り当てる。一方、重要でない画像領域には、残った素材画像の中から選択して割り当てることにより、モザイク画像全体の品質を向上することができる。
【００２４】
尚、こうして優先度が高いと指示された画像領域には、例えば各画素の対応して優先フラグ等のフラグ情報がセットされる。
【００２５】
［ステップＳ４２の詳細な説明］
図８は、ステップＳ４１で、優先度が高いと指示された画像領域に、複数の素材画像の中から最も近い平均濃度の素材画像を選択して貼付ける処理の流れを示したフローチャートである。
【００２６】
まずステップ８１で、元の画像２０１をＭ×Ｎ個の領域（タイル）に分割する。この分割の結果、例えば前述の図４に示すように、第一の画像２０１はＭ×Ｎ個の矩形タイルＴＬ（０，０），ＴＬ（１，０），ＴＬ（２，０），．．．．，ＴＬ（２，４），ＴＬ（３，４）に区切られる。図４において、Ｘ、Ｙはそれぞれ画像２０１の水平方向、垂直方向の画素数を示し、ｐ，ｑは各タイルの水平方向、垂直方向の画素数を示している。従って、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。尚、ここでは説明を簡単にするために、タイルのサイズは全て等しいものとするが、本実施の形態では、必ずしもその必要はない。
【００２７】
図５は、個々の領域のデータ構成を示す図で、各領域はｐ×ｑ個の３原色、赤（Ｒ）、緑（Ｇ）、青（Ｂ）に分解される。
【００２８】
次にステップＳ８２に進み、Ｐ枚の素材画像のそれぞれについて次式に従い、それぞれＲ，Ｇ，Ｂの平均濃度を算出し、それをＲＡＭ１０５に記憶する。尚、予めこれら素材画像の平均濃度が求められて、これら素材画像のそれぞれに対応して記憶されている場合は、この計算は不要であることはいうまでもない。
【００２９】
Ｒｓ−ａｖ＝ΣＲｉ／（ｐ×ｑ）
Ｇｓ−ａｖ＝ΣＧｉ／（ｐ×ｑ）
Ｂｓ−ａｖ＝ΣＢｉ／（ｐ×ｑ）
ここで、ｓ−ａｖはソース（ｓｏｕｒｃｅ：素材画像）の平均値を意味しており、Ｒｓ−ａｖ，Ｇｓ−ａｖ，Ｂｓ−ａｖのそれぞれは、各素材画像における赤、緑及び青のそれぞれの平均濃度を示している。またΣは、ｉ＝０〜（ｐｑ−１）までの総和を示している。
【００３０】
次にステップＳ８３に進み、タイル領域の位置を示すカウンタＸｐｏｓ（０≦Ｘｐｏｓ≦Ｍ−１），Ｙｐｏｓ（０≦Ｙｐｏｓ≦Ｎ−１）を基に、画像２０１の左上端のタイル領域（タイルＴＬ（０，０））から順次タイル領域を調べ、そのタイル領域に、前述の優先フラグがセットされているかどうか、即ち、そのタイル領域がステップＳ４１で指示された優先領域を含むかどうかをみる。優先領域でない場合はステップＳ８７に進が、含む場合（優先領域である場合）はステップＳ８４に進み、そのタイル領域の平均濃度を求める。これは下式に従って求められる。
【００３１】
Ｒｄ−ａｖ＝ΣＲｉ／（ｐ×ｑ）
Ｇｄ−ａｖ＝ΣＧｉ／（ｐ×ｑ）
Ｂｄ−ａｖ＝ΣＢｉ／（ｐ×ｑ）
ここでｄ−ａｖは、ｄｅｓｔｉｎａｔｉｏｎ（元の画像２０１）の平均値を意味しており、Ｒｄ−ａｖ，Ｇｄ−ａｖ，Ｂｄ−ａｖのそれぞれは、各タイルにおける赤、緑及び青のそれぞれの平均濃度を示している。またΣは、ｉ＝０〜（ｐｑ−１）までの総和を示している。
【００３２】
次にステップＳ８５に進み、そのタイル領域の平均濃度との差が最も小さい素材画像をＰ枚の素材画像の中から選択する。この選択方法は、たとえばＲＧＢ３刺激値の距離ΔＥを算出し、その値の最も小さいものを選択する。評価式を以下に示す。
【００３３】
ΔＥ＝（Ｒｓ−ａｖ−Ｒｄ−ａｖ）＾２＋（Ｇｓ−ａｖ−Ｇｄ−ａｖ）＾２＋（Ｂｓ−ａｖ−Ｂｄ−ａｖ）＾２
ここで、「（Ｒｓ−ａｖ−Ｒｄ−ａｖ）＾２」は、（Ｒｓ−ａｖ−Ｒｄ−ａｖ）の２乗を表している。
【００３４】
この評価式に基づいて、Ｐ枚の素材画像の中からΔＥの最も小さい素材画像を選択する。
【００３５】
次にステップＳ８６に進み、その選択した素材画像を使用済み素材画像（優先領域で使用された素材画像）として記憶する。
【００３６】
次にステップＳ８７に進み、対象となる画像２０１の領域（タイル）を次の位置に移動し、画像２０１の全てのタイル領域に対する処理が終了したかを調べ、終了していなければステップＳ８３に戻り、上述の処理を繰り返し実行する。
【００３７】
「ステップＳ４３の詳細な説明」
ステップＳ４３では、ステップＳ４２で素材画像を選択・貼り付けされなかったタイル、即ち、優先領域として選択されなかったタイルについて、素材画像の選択を行う。
【００３８】
図９は、ステップＳ４３における、優先領域以外のタイル領域に対する処理を説明するフローチャートである。
【００３９】
まずステップＳ９１で、前述のステップＳ８３と同様にして、タイル領域の位置を示すカウンタＸｐｏｓ（０≦Ｘｐｏｓ≦Ｍ−１），Ｙｐｏｓ（０≦Ｙｐｏｓ≦Ｎ−１）を基に、画像２０１の左上端のタイル領域（タイルＴＬ（０，０））から順次タイル領域を調べ、そのタイル領域に、前述の優先フラグがセットされているかどうか、即ち、そのタイル領域がステップＳ４１で指示された優先領域を含むかどうかをみる。優先領域である場合は、そのタイル領域に対する処理が終了しているのでステップＳ９４に進が、優先領域でない場合はステップＳ９２に進み、そのタイル領域の平均濃度を求める。これは前述のステップＳ８４と同様にして求められる。
【００４０】
次にステップＳ９３に進み、優先領域で使用されていない未使用の素材画像の内から、そのタイル領域の平均濃度に最も近い平均濃度の素材画像を選択して、その素材画像をそのタイル領域に貼付ける。
【００４１】
この選択方法は、ＲＧＢ３刺激値の距離ΔＥを算出し、その値の最も小さいものを選択する。評価式を以下に示す。
【００４２】
ΔＥ＝（Ｒｓ−ａｖ−Ｒｄ−ａｖ）＾２＋（Ｇｓ−ａｖ−Ｇｄ−ａｖ）＾２＋（Ｂｓ−ａｖ−Ｂｄ−ａｖ）＾２
この評価式に基づいて、優先領域で使われなかった素材画像の中から、ΔＥの最も小さいものを選択する。
そしてステップＳ９４に進み、全ての素材画像に対して処理が終了したかを調べ、そうでない時はステップＳ９１に戻り、次のタイル領域に対して前述と同様の処理を行う。
【００４３】
［その他の実施の形態］
上記実施の形態では、画像における重要領域の判別を、操作者が対話的に行う例で説明したが、本発明はこれに限定されるものでない。
【００４４】
例えば上述したように、顔画像を元画像として用いる場合であれば、周知の顔認識技術を用いて目・鼻・口など、一般に重要と思われる領域を機械的に判別することができるので、上記処理を自動化できる。またその他にも、情景認識、解析技術を用いて、画像における重要領域を自動的に判別することができれば、その画像領域を優先領域としても良い。
【００４５】
なお、その画像領域が重要か否かの判断に例え誤りがあったとしても、モザイク画像の品質に悪影響があるだけであり、致命的な障害にはならない。
【００４６】
また或は、重要領域の対話的選択と自動選択を組み合わせてもよい。例えば、自動選択によっていくつかの重要領域の候補を操作者に提示し、操作者が、その内のいずれかを選択するようにしてもよい。又は、自動選択による重要領域をまず操作者に提示し、操作者がそれを判断して、正しければそのまま次のステップに進み、問題があれば対話的に領域を選択し直すようにしてもよい。
【００４７】
［他の実施形態］
なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５０】
以上説明したように本実施の形態によれば、画像の中の特に重要と思われる領域を優先領域として選択し、その優先領域を含むタイル領域に、優先的に最適な素材画像を選択して貼付けることにより、モザイク画像の品質を向上することができる。
【００５１】
【発明の効果】
以上説明したように本発明によれば、原画像の指定された部分領域に割当てる素材画像を優先的に選択して割り当て、他の素材画像を非優先領域に割り当てることにより、形成された画像の品質を向上できるという効果がある。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】モザイク画像を説明する図である。
【図３】モザイク画の生成過程を説明する図である。
【図４】元画像の領域分割例を説明する図である。
【図５】モザイク画を構成する個々のタイルの色構成を説明する図である。
【図６】本実施の形態に係るモザイク画像の生成処理の流れを説明するフローチャートである。
【図７】本実施の形態に係る、表示画面を使用した優先領域の指定を説明する図である。
【図８】本実施の形態の画像処理装置における優先画像領域に対する素材画像の選択及び貼付け処理を説明するフローチャートである。
【図９】本実施の形態の画像処理装置における非優先画像領域に対する素材画像の選択及び貼付け処理を説明するフローチャートである。

Claims

複数の素材画像の中から選択した素材画像を複数組み合わせて、原画像を模した画像を作成する画像処理装置であって、
原画像における部分領域を指定する指定手段と、
前記原画像を複数のタイル領域に分割する分割手段と、
前記分割手段により分割された前記複数のタイル領域のそれぞれが前記指定手段により指定された部分領域を含むかどうかを判定する判定手段と、
前記判定手段により前記部分領域を含むと判定された各タイル領域に対して最初に複数の素材画像の中から最も類似した素材画像を選択し、その後、前記判定手段により前記部分領域を含まないと判定された各タイル領域に対して、前記複数の素材画像のうち前記部分領域に対して選択されないで残った素材画像から最も類似した素材画像を選択する類似画像選択手段と、
を有することを特徴とする画像処理装置。
前記複数の素材画像のそれぞれの平均濃度を算出する計算手段を更に有することを特徴とする請求項１に記載の画像処理装置。
前記類似画像選択手段は、
前記分割手段により分割された各タイル領域の平均濃度を計算する演算手段を有し、
前記演算手段により演算された各タイル領域の平均濃度と前記複数の素材画像のそれぞれの平均濃度の差分に応じて前記各タイル領域に割り当てる素材画像を決定することを特徴とする請求項１又は２に記載の画像処理装置。
前記指定手段は、
前記原画像を表示する表示手段と、
前記表示手段により表示された画像の部分領域を指定する手段とを有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記指定手段は、前記原画像の部分領域を自動的に判別して指定する手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
複数の素材画像の中から選択した素材画像を複数を組み合わせて、原画像を模した画像を作成する画像処理方法であって、
原画像における部分領域を指定する指定工程と、
前記原画像を複数のタイル領域に分割する分割工程と、
前記分割工程で分割された前記複数のタイル領域のそれぞれが前記指定工程で指定された部分領域を含むかどうかを判定する判定工程と、
前記判定工程で前記部分領域を含むと判定された各タイル領域に対して最初に複数の素材画像の中から最も類似した素材画像を選択し、その後、前記判定工程で前記部分領域を含まないと判定された各タイル領域に対して、前記複数の素材画像のうち前記部分領域に対して選択されないで残った素材画像から最も類似した素材画像を選択する類似画像選択工程と、
を有することを特徴とする画像処理方法。
前記複数の素材画像のそれぞれの平均濃度を算出する計算工程を更に有することを特徴とする請求項６に記載の画像処理方法。
前記類似画像選択工程は、
前記分割工程で分割された各タイル領域の平均濃度を計算する演算工程を有し、
前記演算工程で演算された各タイル領域の平均濃度と前記複数の素材画像のそれぞれの平均濃度の差分に応じて前記各タイル領域に割り当てる素材画像を決定することを特徴とする請求項６又は７に記載の画像処理方法。
前記指定工程は、
前記原画像を表示する表示工程と、
前記表示工程で表示された画像の部分領域を指定する工程とを有することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
前記指定工程は、前記原画像の部分領域を自動的に判別して指定することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
請求項６乃至１０のいずれか１項に記載の画像処理方法を実行するプログラムを記憶した、コンピュータにより読取り可能な記憶媒体。