JPH11345328A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】小数の素材画像で多様な元画像を適切に反映し
たモザイク画像を生成することを可能とする。 【解決手段】ステップＳ２０１においてモザイクの元と
なる画像を複数の部分画像に分割する。そして、ステッ
プＳ２０２〜Ｓ２０７において、上記分割して得られた
部分画像の各々について、部分画像の特徴量を求め、求
められた部分画像に基づいて予め用意された複数の素材
画像の一つが選択される。そして、ステップＳ２０８、
Ｓ２０９において、選択された素材画像と部分画像と
を、予め設定されたアルファブレンド値αに基づいて合
成し、得られた合成画像を当該部分画像に置き換えるこ
とによってモザイク画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理方法及び装
置に関し、特に、モザイク画像を形成するのに好適な画
像処理方法及び装置に関する。

【０００２】

【従来技術】モザイクとは、「種々の色彩の石・ガラス
・大理石等の小片を組み合わせて、床・壁などにはめ込
み、図案化したもの、またはその技法」（三省堂、現代
国語辞典）として広く知られている。この技法を用い
て、多数の写真画像を組み合わせて図案あるいは一つの
写真画像を構成することが可能である。

【０００３】このようなモザイク技法を画像データ処理
に適用することで、オリジナル画像を複数の素材画像に
置き換えてモザイク画像を形成することが考えられる。
すなわち、オリジナル画像よりも小さな複数種類の素材
画像を用意しておき、これをオリジナル画像の内容に応
じて選択、配置していくことで、複数の素材画像からな
るモザイク画像が得られることになる。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
モザイク手法では、素材画像の枚数は、一般にモザイク
画像を構成するために必要となる、色・テクスチャの種
類を備えるべく、十分に大きな数であることが前提とな
る。しかしながら、実際には、膨大な量の画像を予めイ
メージファイルとして用意しておくことは困難であり、
また、大量のメモリを必要とするためにコストアップを
招き、あまり実用的ではない。この結果、モザイク手法
を実践するには不十分な、少数の素材画像を用いること
になり、モザイク画像を構成する個々の素材画像はオリ
ジナル画像の色やテクスチャとあまりにも異なるものと
なる場合があり、モザイク画としての画質が悪くなると
いう問題があった。

【０００５】また、対象とする第一の画像によっても、
第二の画像の画質が十分満足できるものにならないこと
があった。

【０００６】本発明は上記の問題に鑑みてなされたもの
であり、少数の素材画像で多様な元画像を適切に反映し
たモザイク画像を生成することが可能な画像処理方法及
び装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の一態様による画像処理装置はたとえば以
下の構成を備える。すなわち、画像を複数の部分画像に
分割する分割手段と、前記分割手段によって得られた部
分画像の各々について、部分画像の特徴量に基づいて予
め用意された複数の素材画像の一つを選択する選択手段
と、前記選択手段で選択された素材画像と前記部分画像
とを合成する合成手段と、前記合成手段によって得られ
た合成画像を前記部分画像に置き換えることによって処
理画像を生成する生成手段とを備える。

【０００８】また、上記の目的を達成するための本発明
の他の態様による画像処理方法は、たとえば以下の工程
を備えている。すなわち、画像を複数の部分画像に分割
する分割工程と、前記分割工程によって得られた部分画
像の各々について、部分画像の特徴量に基づいて予め用
意された複数の素材画像の一つを選択する選択工程と、
前記選択工程で選択された素材画像と前記部分画像とを
合成する合成工程と、前記合成工程によって得られた合
成画像を前記部分画像に置き換えることによって処理画
像を生成する生成工程とを備える。

【０００９】

【発明の実施の形態】以下、添付の図面を参照して、本
発明の好適な実施形態を説明する。

【００１０】［第１の実施形態］図１は本発明の一実施
形態に係る、モザイク画像生成方法を実現するハードウ
ェア構成図である。図１において、１０１はＣＰＵ、１
０２はメモリ、１０３はハードディスク、１０４はキー
ボードおよびマウス（以下、キーボード１０４とい
う）、１０５はディスプレイ、１０６はネットワークイ
ンタフェース、１０７はＤＶＤ−ＲＯＭドライブ、１０
８はスキャナ、１０９はビデオキャプチャカード、１１
０はネットワークを介して接続されているデータベー
ス、１１１はバスである。

【００１１】ＣＰＵ１０１は、メモリ１０２に格納され
た制御プログラムを実行することにより、上記各構成の
制御等を行なう。メモリ１０２は図２のフローチャート
を参照して後述する処理手順をＣＰＵ１０１によって実
現するソフトウェアの実行モジュールを格納する。ま
た、ハードディスク１０３から読み出された画像データ
を格納したり、生成されたモザイク画像を格納したりす
る。

【００１２】キーボード１０４はユーザインタフェース
を介してユーザの意図を入力するためのものである。デ
ィスプレイ１０５は、第一の画像、第二の画像、素材画
像等の表示を行う。なお、画像の入力は、ネットワーク
を介してデーベース１１０より画像を取り込んだり、Ｃ
Ｄ−ＲＯＭ１０７によってＣＤ−ＲＯＭに記録された画
像を取り込んだり、スキャナ１０８より画像を取り込ん
だりする。なお、画像の入力装置としてＤＶＤ−ＲＯＭ
等を用いてもよいことはいうまでもない。

【００１３】またＤＶＤ−ＲＯＭに記録された映像を取
り込むために、ＤＶＤ−ＲＯＭドライブを利用すること
も可能である。

【００１４】図５はモザイク手法において用いられる画
像（第一の画像（オリジナル画像）、第二の画像（モザ
イク画像）、素材画像）の関係を示す概念図である。図
５において、第一の画像２００１は、モザイク手法を使
って画像を構成する際の元となる図案あるいは画像を表
す画像データである。第二の画像２００２はモザイク手
法により複数の小さな画像を使って構成された画像であ
る。すなわち、第二の画像２００２はＭ×Ｎに分割さ
れ、Ｍ×Ｎ個の素材画像を各分割領域に配置して得られ
る素材画像の組み合わせによって構成される。

【００１５】また、素材画像２００３は第二の画像２０
０２を構成するために使われる画像である。素材画像の
枚数Ｐは一般に第二の画像を構成するために必要とする
色・テクスチャの種類が用意できるだけの十分大きな数
である。ここでは説明を簡単にするためにＰ枚の素材画
像のサイズをタイルと同じサイズ、すなわち以下で説明
する通りｐ×ｑ（画素）としているが、これは必ずしも
一致している必要はなく、また、Ｐ枚すべてが同じサイ
ズである必要もない。ただし、サイズの異なる素材画像
を含む場合は、該当するタイル部分に貼り付ける際に、
素材画像のサイズをタイルサイズに変換する必要があ
る。

【００１６】次にモザイク画像の構成方法について図２
及び図６を用いて説明する。図２は第１の実施形態によ
るモザイク画像の生成手順を示すフローチャートであ
る。また、図６はモザイク手法における第一の画像及び
第二の画像の分割方法を示す図である。

【００１７】まず、ステップＳ２０１において、第一の
画像（オリジナル画像）を図６のごとくＭ×Ｎ個のタイ
ルに分割する。分割の結果、図６に示すように、第一の
画像はＭ×Ｎ個の矩形タイルＴＬ（０，０），ＴＬ
（１，０），ＴＬ（２，０）‥‥ＴＬ（２，４），ＴＬ
（３，４）に区切られる。図６においてＸ，Ｙはそれぞ
れ第一の画像２００１の水平方向、垂直方向の画素数で
ある。ｐ，ｑは各タイルの水平方向、垂直方向の画素数
である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関
係が成り立っている。ここでは説明を簡単にするため
に、タイルのサイズはすべて等しいものとするが、必ず
しもその必要はない。

【００１８】ステップＳ２０２ではステップＳ２０１で
分割したＭ×Ｎ個の各タイルについて、評価目標値を計
算する。モザイク画像を構成するためには、第一の画像
を分割したタイルと、そのタイルを摸して貼り付ける素
材画像とがある評価基準のもとで似ている必要がある。
すなわち、画像より所定の方法で変量（以下、特徴量と
いう）を算出し、各タイルの画像について得られる値
（以下、評価目標値という）と素材画像より得られる値
（以下、被評価値という）を比較する。そして、近い値
を有する素材画像で当該タイル画像を置換する。

【００１９】ここで、評価目標値とは、第一の画像を分
割して得られた個々のタイルの画像について、ある一定
の手法で特徴量を算出したものである。たとえば、この
特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いることがで
きる。この場合、評価目標値（Ｒｄ-av，Ｇｄ-av，Ｂｄ
-av）は、以下の式（１）によって算出される。なお、
評価目標値としては、例えば、各画像の平均濃度値等、
他の特徴量を用いてもよいことはいうまでもない。

【００２０】 Ｒｄ-av＝（１／（ｐ×ｑ））×ΣＲｉ Ｇｄ-av＝（１／（ｐ×ｑ））×ΣＧｉ Ｂｄ-av＝（１／（ｐ×ｑ））×ΣＢｉ …（１） ただし、ｉはタイル中のすべての画素を示す。

【００２１】ステップＳ２０３では、Ｐ枚の素材画像に
ついて被評価値を算出する。被評価値はステップＳ２０
２で用いた特徴量と同じものを、各素材画像について求
めたものである。従って、特徴量としてＲ，Ｇ，Ｂの平
均輝度値を用いる場合、被評価値（Ｒｓ-av，Ｇｓ-av，
Ｂｓ-av）は以下の式（２）で得る。

【００２２】 Ｒｓ-av＝（１／ｐ×ｑ））×ΣＲｉ Ｇｓ-av＝（１／ｐ×ｑ））×ΣＧｉ Ｂｓ-av＝（１／ｐ×ｑ））×ΣＢｉ …（２） ただし、ｉは素材画像中のすべての画素を示す。

【００２３】次に、ステップＳ２０４ではＭ×Ｎ個のタ
イルの中から処理対象とするタイルを一つ選択する。こ
こでは、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦
Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦
Ｎ−１）を用いてタイルを指定する。例として画像の左
上から右端まで処理し、順次下まで処理する場合には、
まず、Ｘ−Ｐｏｓ及びＹ−Ｐｏｓ共に０に初期化し、ス
テップＳ２１０４〜Ｓ２１０７の繰り返しにおいて（Ｘ
−ｐｏｓ、Ｙ−ｐｏｓ）＝（0,0）、（1,0）…（3,
0）、（0,1）、…（3,1）、…（0,4）、…（3,4）とい
うようにカウンタ値を変化させてゆく。

【００２４】ステップＳ２０５では処理対象のタイルの
評価目標値（Ｒｄ-av，Ｇｄ-av，Ｂｄ-av）とＰ枚の素
材画像のそれぞれの被評価値（Ｒｓ-av，Ｇｓ-av，Ｂｓ
-av）とを、評価関数ｆ（）によって評価する。評価関
数ｆ（）の一例としては、評価目標値と被評価値の差の
二乗平均があげられる。すなわち、評価値は以下の式
（３）で得られる。

【００２５】 △Ｅ＝ｆ（）＝（Ｒｓ-av−Ｒｄ-av）^2 ＋（Ｇｓ-av−Ｇｄ-av）^2＋（Ｂｓ-av−Ｂｄ-av）^2 …（３） なお、上記式（３）において、「^」はべき乗を表し、
たとえば「Ｘ^2」はＸの２乗を表す。この結果△Ｅ0〜
△Ｅp-1のＰ個の評価結果が選られる。

【００２６】ステップＳ２０６ではＰ回の評価関数の結
果から、その値の最も小さくなる素材画像を選択し、第
二の画像の対応するタイル位置（すなわち，（Ｘ−ｐｏ
ｓ，Ｙ−ｐｏｓ）で指定されるタイル）に貼り込むタイ
ルとする。

【００２７】ステップＳ２０７では第一の画像のすべて
のタイルについて上述の処理が行われたかどうかを判断
し、未処理のタイルがあれば、ステップＳ２０４に戻
り，上記処理を繰り返す。一方、すべてのタイルについ
て処理が終わっていれば、ステップＳ２０８に進む。

【００２８】ステップＳ２０８では、キーボード１０４
から操作者により入力されるα値を読み出す。ただしα
の値は０以上１以下として説明する。ステップＳ２０９
では第一の画像、第二の画像、αを用いて、第三の画像
を合成し、これを最終的なモザイク画像とする。

【００２９】αを用いた画像の合成方法の一例として
は、第一の画像のα倍と第二の画像の（１−α）倍を加
えることが挙げられる。すなわち、第一の画像と第二の
画像の同じ位置の画素値をそれぞれ、（Ｒ１，Ｇ１，Ｂ
１）、（Ｒ２，Ｇ２，Ｂ２）とすると、合成の結果得ら
れる第三の画像の同じ位置の画素値（Ｒ３，Ｇ３，Ｂ
３）は、以下の式（４）によって求まる。

【００３０】 Ｒ３＝α×Ｒ１＋（１−α）Ｒ２ Ｇ３＝α×Ｇ１＋（１−α）Ｇ２ Ｂ３＝α×Ｂ１＋（１−α）Ｂ２ となる。

【００３１】以上説明したように、本実施形態によれ
ば、モザイク画像構成方法により作成された第二の画像
の個々のタイルが、第一の画像の色・テクスチャとあま
りにも異なるものとなるような場合でも、設定された率
で第１の画像が反映されるので、全体として第一の画像
をよく摸した画像を得ることが可能となる。従って、少
ない素材画像数で良好なモザイク画像を得ることができ
る。

【００３２】［第２の実施形態］次に本発明の第２の実
施形態について説明する。なお、以下では、第１の実施
形態と第２の実施形態の相違点について説明する。

【００３３】図３は第２の実施形態によるモザイク画像
生成の手順を説明するフローチャートである。第１の実
施形態と同様にステップＳ２０１〜Ｓ２０９を実行し、
その結果として、第一の画像と第二の合成画像である第
三の画像を得る。次に、ステップＳ３１０では第三の画
像をディスプレイ装置に表示する。そして、ステップＳ
３１１では、α値の変更入力が可能なインターフェース
を表示し、操作者によってα値の変更入力が行われたか
どうかを判定する。ここでα値が変更された場合はステ
ップＳ２０８に戻り、変更後のαを用いて第３の画像生
成を行う。

【００３４】図４は、α値の変更を行うためのユーザイ
ンターフェース例を示す図である。図４に示されるよう
なユーザインターフェースがディスプレイ装置１０５に
表示される。図４において、４０１は第一の画像、４０
２は第３の画像をそれぞれ表示する表示部、４０３は処
理の開始を指示するスタートボタン、４０４はα値を変
更するスライダーである。なお、さらに第二の画像を表
示するようにしても良い。第二の画像も表示するように
すれば、αの値を操作者が設定する際の参照となる。

【００３５】スタートボタン４０３を押す以前は、４０
１に第一の画像が表示されている。スタートボタン４０
３を押すと、フローチャートのステップＳ２０１から処
理を開始する。そして、ステップＳ２０９を終了すると
表示部４０２に第三の画像が表示される。つづいて、ス
ライダー４０４をマウスにより操作する。スライダー４
０４は最左端でα＝０、最右端でα＝１となり、その間
は均等にわけられている。

【００３６】スライダー４０４が最左端では、α＝０で
あるから、式（４）において、 Ｒ３＝α×Ｒ１＋（１−α）Ｒ２＝Ｒ２ Ｇ３＝α×Ｇ１＋（１−α）Ｇ２＝Ｇ２ Ｂ３＝α×Ｂ１＋（１−α）Ｂ２＝Ｂ２ となり、第三の画換は第二の画像と等しくなる。

【００３７】また、スライダー４０４が最右端では、α
＝１であるから、式（４）において、 Ｒ３＝α×Ｒ１＋（１−α）Ｒ２＝Ｒ１ Ｇ３＝α×Ｇ１十（１−α）Ｇ２＝Ｇ１ Ｂ３＝α×Ｂ１＋（１−α）Ｂ２＝Ｂ１ となり、第三の画像は第一の画像と等しくなる。

【００３８】αの値が０と１の間では、第三の画像は第
一の画像と第二の画像が混ぜ合わされた画像となる。

【００３９】以上説明したように、第二の実施形態によ
れば、マウス等の入力装置を用いて対話的にαの値を制
御する構成を付加したことにより、ユーザが、容易に、
好みの度合いで第一の画像と第二の画像を混ぜることが
可能になる。

【００４０】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機，ファクシミリ装置
など）に適用してもよい。

【００４１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００４２】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００４３】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００４４】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００４５】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
小数の素材画像で多様な元画像を適切に反映したモザイ
ク画像を生成することが可能となる。

【００４７】

【図面の簡単な説明】

【図１】本発明の一実施形態に係る、モザイク画像生成
方法を実現するハードウェア構成図である。

【図２】第１の実施形態によるモザイク画像のせいせい
手順を示すフローチャートである。

【図３】第２の実施形態によるモザイク画像生成の手順
を説明するフローチャートである。

【図４】α値の変更を行うためのユーザインターフェー
ス例を示す図である。

【図５】モザイク手法において用いられる画像（第一の
画像、第二の画像、素材画像）の関係を示す概念図であ
る。

【図６】モザイク手法における第一の画像及び第二の画
像の分割方法を示す図である。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 画像を複数の部分画像に分割する分割手
   段と、 前記分割手段によって得られた部分画像の各々につい
   て、部分画像の特徴量に基づいて予め用意された複数の
   素材画像の一つを選択する選択手段と、 前記選択手段で選択された素材画像と前記部分画像とを
   合成する合成手段と、 前記合成手段によって得られた合成画像を前記部分画像
   に置き換えることによって処理画像を生成する生成手段
   とを備えることを特徴とする画像処理装置。
2. 【請求項２】 前記選択手段は、前記部分画像の特徴量
   として各色成分の輝度値を用いることを特徴とする請求
   項１に記載の画像処理装置。
3. 【請求項３】 前記選択手段は、前記部分画像の特徴量
   に最も近い特徴量を有する素材画像を前記複数の素材画
   像より選択することを特徴とする請求項１または２に記
   載の画像処理装置。
4. 【請求項４】 前記合成手段は、予め設定された係数に
   応じて決定される合成比で、前記選択手段で選択された
   素材画像と前記部分画像とを合成することを特徴とする
   請求項１に記載の画像処理装置。
5. 【請求項５】 前記合成手段は、前記係数が０以上１以
   下の範囲をとるαとした場合に、前記選択手段で選択さ
   れた素材画像の画素値をα倍した値、前記部分画像の画
   素値を１−α倍した値とを加算して得られる値を前記合
   成画像の画素値とすることを特徴とする請求項４に記載
   の画像処理装置。
6. 【請求項６】 前記係数を操作者によって設定可能とす
   るユーザインターフェースを更に備えることを特徴とす
   る請求項４または５に記載の画像処理装置。
7. 【請求項７】 画像を複数の部分画像に分割する分割工
   程と、 前記分割工程によって得られた部分画像の各々につい
   て、部分画像の特徴量に基づいて予め用意された複数の
   素材画像の一つを選択する選択工程と、 前記選択工程で選択された素材画像と前記部分画像とを
   合成する合成工程と、 前記合成工程によって得られた合成画像を前記部分画像
   に置き換えることによって処理画像を生成する生成工程
   とを備えることを特徴とする画像処理方法。
8. 【請求項８】 前記選択工程は、前記部分画像の特徴量
   として各色成分の輝度値を用いることを特徴とする請求
   項７に記載の画像処理方法。
9. 【請求項９】 前記選択工程は、前記部分画像の特徴量
   に最も近い特徴量を有する素材画像を前記複数の素材画
   像より選択することを特徴とする請求項７または８に記
   載の画像処理方法。
10. 【請求項１０】 前記合成工程は、予め設定された係数
    に応じて決定される合成比で、前記選択工程で選択され
    た素材画像と前記部分画像とを合成することを特徴とす
    る請求項７に記載の画像処理方法。
11. 【請求項１１】 前記合成工程は、前記係数が０以上１
    以下の範囲をとるαとした場合に、前記選択工程で選択
    された素材画像の画素値をα倍した値、前記部分画像の
    画素値を１−α倍した値とを加算して得られる値を前記
    合成画像の画素値とすることを特徴とする請求項１０に
    記載の画像処理方法。
12. 【請求項１２】 前記係数を操作者によって設定可能と
    するユーザインターフェースを制御し、該ユーザインタ
    ーフェースを介して設定された係数を前記合成工程に提
    供するする制御工程を更に備えることを特徴とする請求
    項１０または１１に記載の画像処理方法。
13. 【請求項１３】 モザイク画像を生成するための画像処
    理をコンピュータに実現させる制御プログラムを格納す
    る記憶媒体であって、該制御プログラムが、 画像を複数の部分画像に分割する分割工程のコードと、 前記分割工程によって得られた部分画像の各々につい
    て、部分画像の特徴量に基づいて予め用意された複数の
    素材画像の一つを選択する選択工程のコードと、 前記選択工程で選択された素材画像と前記部分画像とを
    合成する合成工程のコードと、 前記合成工程によって得られた合成画像を前記部分画像
    に置き換えることによって処理画像を生成する生成工程
    のコードとを備えることを特徴とする記憶媒体。