JPH11345308A - モザイク画像構成方法、記録媒体 - Google Patents

モザイク画像構成方法、記録媒体

Info

Publication number
JPH11345308A
JPH11345308A JP10150224A JP15022498A JPH11345308A JP H11345308 A JPH11345308 A JP H11345308A JP 10150224 A JP10150224 A JP 10150224A JP 15022498 A JP15022498 A JP 15022498A JP H11345308 A JPH11345308 A JP H11345308A
Authority
JP
Japan
Prior art keywords
image
tile
feature amount
images
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10150224A
Other languages
English (en)
Other versions
JP3780102B2 (ja
Inventor
Kentaro Matsumoto
健太郎 松本
Kiyoshi Kusama
澄 草間
Kunihiro Yamamoto
邦浩 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP15022498A priority Critical patent/JP3780102B2/ja
Priority to EP99304136A priority patent/EP0961232A3/en
Priority to US09/320,570 priority patent/US6720971B1/en
Publication of JPH11345308A publication Critical patent/JPH11345308A/ja
Application granted granted Critical
Publication of JP3780102B2 publication Critical patent/JP3780102B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 モザイク画像を構成するために必要とされる
色、テクスチャの多様な種類の素材画像を予めデータ化
することは膨大な量の画像を記録しなければならず、限
られた素材画像の下では画質が悪くなるという問題があ
った。 【解決手段】 動画像を静止画として所定のタイミング
で捕捉し、素材画像として蓄積する。素材画像と、第一
の画像を分割したタイル画像との特徴量を比較し、素材
選択評価値を算出する。この値を最小とする素材画像は
最適な解として選択される。常時膨大な素材データを保
存していなくても、第一の画像と相関性の高い動画像か
ら静止画像を捕捉し、素材画像とすることにより、特徴
量誤差を最小化としたモザイク画像の構成が可能とな
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、モザイク画像構成
方法及び記録媒体に関するものである。
【0002】
【従来の技術】従来モザイクとは、「種々の色彩の石・
ガラス・大理石などの小片を組み合わせて、床・壁など
にはめ込み、図案化したもの、またはその技法」(三省
堂 現代国語辞典)として広く知られてきた。この技法
を用いて、多数の写真画像を組み合わせて図案あるいは
ひとつの写真画像を構成することが可能である。
【0003】
【発明が解決しようとする課題】しかしながら、ある画
像を模した画像をこのモザイク手法を用いて形成する場
合、前記画像を良好に反映した画像の形成については十
分な検討がされていなかった。本発明は、かかる点を鑑
みてなされたもので視覚的に自然なモザイク画像構成方
法、及びコンピュータにより読取り可能な記録媒体を提
供することを目的とする。
【0004】
【課題を解決するための手段】上記問題点を解決するた
めに、本発明にかかるモザイク画像構成方法、記録媒体
は以下の構成よりなる。すなわち、複数の素材画像を管
理し、該複数の素材画像から複数を組み合わせて、図案
あるいは写真画像による第一の画像を模した第二の画像
を構成するモザイク画像構成方法は、所定のタイミング
で動画像から捕捉した静止画像を素材画像に追加する素
材画像追加工程と、前記第一の画像を2次元のタイル領
域画像に分割する分割工程と、前記分割したタイル領域
画像毎に第1の特徴量を算出する第1特徴量算出工程
と、前記素材画像の枚数を計算する素材画像計数工程
と、前記計算された素材画像に対する第2の特徴量を算
出する第2特徴量算出工程と、前記分割したタイル領域
画像毎の第1の特徴量と、前記計算された素材画像の第
2の特徴量とを用いて素材選択評価値を求める素材選択
評価工程と、前記素材選択評価値に基づき前記タイル領
域画像毎に最適な素材画像を選択する最適画像選択工程
と、前記分割されたタイル領域全てについて前記素材画
像の選択終了後、前記素材画像の枚数を計算する前記素
材画像計数工程に処理をもどすか否かを判断する継続判
断工程とを備えることを特徴とする。
【0005】また、前記分割したタイル領域毎の第1の
特徴量と、前記素材画像の第2の特徴量とを用いて素材
選択評価値を算出するために、既に算出に使用された素
材画像と、新たに追加され算出に未使用である前記動画
像の捕捉による未処理素材画像とを識別するための未処
理素材画像リスト作成工程を更に備え、前記未処理素材
画像に限定して前記素材選択評価値を算出することを特
徴とする。
【0006】また、画像構成方法は前記分割されたタイ
ル領域画像で、素材画像の選択が未確定であることを識
別する情報を記録する再処理タイルリスト作成工程と、
前記算出された素材選択評価値と所定の誤差基準値との
大小関係を判定する誤差基準判定工程と、を更に備え、
前記算出された素材選択評価値が前記所定の誤差基準値
よりも小さい場合は前記タイル領域画像に対する最適な
素材画像として選択を確定し、前記選択確定したタイル
領域画像に対する識別情報を前記再処理タイルリスト工
程で記録した情報から削除し、前記素材画像の選択が未
確定であるタイル領域画像に限定して前記素材選択評価
値を算出することを特徴とする。
【0007】また、画像構成方法は前記素材画像選択評
価値に基づき選択されなかった素材画像データを削除す
る素材画像削除工程を更に備えることを特徴とする。ま
た、前記最適画像選択工程は前記第1の特徴量と前記第
2の特徴量との差の二乗の和が最小となるものを最適な
素材画像として選択することを特徴とする。また、複数
の素材画像を管理し、該複数の素材画像から複数を組み
合わせて、図案あるいは写真画像による第一の画像を模
した第二の画像を構成するモザイク画像構成方法は、前
記第一の画像を2次元のタイル領域に分割する分割工程
と、前記分割工程で分割された各タイル領域の赤,緑,
青の三刺激値成分の平均輝度値を算出する領域内平均輝
度値算出工程と、前記複数の素材画像の平均輝度値を算
出する素材画像平均輝度値算出工程と、前記領域内平均
輝度値算出工程によって算出された平均輝度値と、前記
素材画像平均輝度値算出工程で算出された素材画像の平
均輝度値とに基づき、最適な画像を前記複数の素材画像
から選択する最適画像選択工程とを備えることを特徴と
する。
【0008】さらに、コンピュータ読み取り可能な記録
媒体は所定のタイミングで動画像から捕捉した静止画像
を素材画像に追加する素材画像追加工程と、前記第一の
画像を2次元のタイル領域に分割する分割工程と、前記
分割したタイル領域毎に第1の特徴量を算出する第1特
徴量算出工程と、前記素材画像の枚数を計算する素材画
像計数工程と、前記計算された素材画像に対する第2の
特徴量を算出する第2特徴量算出工程と、前記分割した
タイル領域毎の第1の特徴量と、前記計算された素材画
像の第2の特徴量とを用いて素材選択評価値を求める素
材選択評価工程と、前記素材選択評価値に基づき対象タ
イル画像の素材画像を選択する最適画像選択工程と、前
記分割されたタイル領域全てについて前記素材選択終了
後、前記素材画像の枚数を計算する前記素材画像計数工
程に処理をもどすか否かを判断する継続判断工程とをコ
ンピュータに実行させるためのプログラムを記録したこ
とを特徴とする。
【0009】
【発明の実施の形態】[実施形態1]以下、図に従って実
施形態1を説明する。図6はモザイク手法で用いられる
複数種類の画像の関係を図示している。図6において、
第一の画像601は、モザイク手法を使って画像を構成
する際、基となる図案あるいは画像である。第二の画像
602はモザイク手法により、複数の小さな画像を使っ
て構成された画像である。第二の画像はM×N個の素材
画像の組み合わせによって構成される。素材画像603
は第二の画像602を構成するために使われる画像であ
る。素材画像の枚数Pは一般に第二の画像を構成するた
めに必要とする、色・テクスチャの種類が用意できるだ
けの十分大きな数である。ここでは説明を簡単にするた
めにP枚の素材画像をタイルと同じサイズ、すなわちp
×qとしているが、これは必ずしも一致している必要は
なく、また、P枚すべてが同じサイズである必要はな
い。その場合は該当するタイル部分に貼り付ける際に、
素材画像のサイズをタイルサイズに変換する必要があ
る。
【0010】次に図7を用いて画像構成方法を説明す
る。ステップS701では第一の画像をM×N個のタイ
ルに分割する。分割の結果、図8に示すように、第一の
画像はM×N個の矩形タイルTL(0,0),TL
(1,0),TL(2,0)‥‥TL(2,4),TL
(3,4)に区切られる。図8においてX,Yはそれぞ
れ第一の画像2001の水平方向、垂直方向の画素数で
ある。p,qは各タイルの水平方向、垂直方向の画素数
である。したがって、X=p×M,Y=q×Nという関
係が成り立っている。ここでは説明を簡単にするため
に、タイルのサイズはすべて等しいものとするが、実施
形態としては必ずしもその必要はない。
【0011】図7のステップS702ではS701で分
割したM×N個の各タイルについて、第1の特徴量を計
算する。モザイク画像を構成するためには、第一の画像
を分割したタイルと、そのタイルを模して貼り付ける素
材画像とがある評価基準のもとで似ている必要がある。
第1の特徴量とは、第一の画像を分割した個々のタイル
の特徴量をある一定の方法で算出したものである。たと
えば、特徴量としてR,G,Bの平均輝度値を用いる場
合、第1の特徴量は以下の(1)〜(3)各式に基づき
算出される。
【0012】 Rd-av={1/(p・q)}・ΣRi …(1) Gd-av={1/(p・q)}・ΣGi …(2) Bd-av={1/(p・q)}・ΣBi …(3) ステップS703では、P枚の素材画像について第2の
特徴量を算出する。第2の特徴量とは、S702で使っ
た特徴量と同じものである。特徴量としてR,G,Bの
平均輝度値を用いる場合、第2の特徴量は(4)〜
(6)式に基づき算出される。
【0013】 Rs-av={1/(p・q)}・ΣRi …(4) Gs-av={1/(p・q)}・ΣGi …(5) Bs-av={1/(p・q)}・ΣBi …(6) ステップS704ではM×N個のタイルの中から処理対
象とするタイルを一つ選択する。例として画像に向かっ
て左上から右端まで処理し、順次下まで処理する場合、
タイルの位置を示すカウンタX−Pos(0≦X−Po
s≦M−1),Y−Pos(0≦Y−Pos≦N−1)
を共に0に初期化する。
【0014】ステップS2105では処理対象のタイル
の第1の特徴量とP枚の素材画像のそれぞれの第2の特
徴量とを、評価関数f()によって評価する。評価関数
f()の一例としてはR,G,B輝度の二乗平均があげ
られる((7)式)。 △E=f()=(Rs-av−Rd-av)2+(Gs-av−Gd-av)2 +(Bs-av−Bd-av)2 …(7) ステップS706ではP回演算された二乗平均の評価関
数の結果から、その値の最も小さくなる素材画像を選択
し、第二の画像に貼り込むタイルが選択される。
【0015】S707では第一の画像のすべてのタイル
についてその処理が行われたかどうかを判断し、未処理
のタイルがあれば、S704に戻り処理を続ける。すべ
てのタイルについて処理が終わっていれば、終了する。
上記実施形態1により、各タイルに最適な画像の抽出が
可能となる。しかしながら、実施形態1では、素材画像
の枚数Pは一般に第二の画像を構成するために必要とす
る、色・テクスチャの種類が用意できるだけの十分大き
な数であることを前提としているが、実際にはあらかじ
め膨大な量の画像を用意することは困難であり、少数の
素材画像を用いるしかなかった。そのため、構成される
第二の画像のモザイク画としての画質が悪いという問題
があった。この課題を以下に示す実施形態2または3、
4により解決する。
【0016】[実施形態2]図1は実施形態2に係る、
モザイク画像構成方法を実現するハードウエア構成図で
ある。101はCPU、102はメモリ、103はハー
ドディスク、104はキーボードおよびマウスである。
105はディスプレイ、106はネットワークインタフ
ェース、107はDVD−ROMドライブ、108はス
キャナ、109はビデオキャプチャカード、110はネ
ットワークを介して接続されているデータベース、11
1はバスである。
【0017】CPU101は上記構成の制御を行う。メ
モリ102は本手法を実現するソフトウエアの実行モジ
ュールあるいは画像データをハードディスク103から
ロードする。キーボード、マウスはユーザインタフェー
スを通じて、プログラムの制御を行う。ディスプレイ1
05は、第一の画像、第二の画像、素材画像の表示を行
う。ビデオキャプチャカード109は不図示のビデオプ
レイヤー、テレビチューナあるいはDVDプレイヤーと
接続され、ビデオインタフェースから入力されるビデオ
信号をビデオキャプチャカード上のメモリに一時記録
し、その後必要に応じて圧縮し、ハードディスク103
に順次蓄積する。
【0018】またDVD−ROMに記録された映像を取
り込むために、DVD−ROMドライブ107を利用す
ることも可能である。ビデオキャプチャカード109に
対し、プログラムインタフェースを通じて、コマンドを
発行することで、入力されたビデオ信号から静止画像デ
ータをメモリ上に取り込む。このコマンドを一定間隔で
発行することによって、あらたな静止画が順次ハードデ
ィスクに記録される。
【0019】図5は一定間隔で動画のキャプチャを行う
フローチャートである。ステップS501でタイマ変数
Tmをある値INTにセットする。ステップS502で
はTMから1を引く。ステップS503ではTMが0か
どうかを判断し、0の場合はS504でビデオキャプチ
ャのコマンドを発行する。S503でTMが0でない場
合はS502に戻り処理を続ける。ステップS504で
入力されたビデオ信号から静止画像データをキャプチャ
した後、ステップS505ではハードディスクに記録す
る。ステップS506では終了指示の有無を確認し、終
了指示が出されていなければ(S506−No)、ステ
ップS501に戻り処理を続ける。この処理でキャプチ
ャされた静止画像データはモザイクを構成する素材画像
として使用される。
【0020】ステップS506で終了指示がでていたら
(S506−Yes)終了する。なお、終了指示は不図
示のフローにおいて、キーボードあるいはマウス入力に
よって行われる。次にモザイク画像の構成方法について
図2を用いて説明する。ステップS201、S202は
実施形態1のS701、S702(図7)と同様の処理
を行う。ステップS201では第一の画像を図8のごと
くM×N個のタイル領域に分割する。
【0021】図8においてX,Yはそれぞれ第一の画像
601の水平方向、垂直方向の画素数である。p,qは
各タイルの水平方向、垂直方向の画素数である。従っ
て、X=p×M,Y=q×Nという関係が成り立ってい
る。ここでは説明を簡単にするために、タイルのサイズ
はすべて等しいものとするが、実施形態としては必ずし
もその必要はない。
【0022】ステップS202ではS201で分割した
M×N個の各タイルについて、第1の特徴量を計算す
る。モザイク画像を構成するためには、第一の画像を分
割したタイル領域の画像と、そのタイルを模して貼り付
ける素材画像とがある共通の評価基準のもとで似ている
必要がある。ここで、第1の特徴量とは、第一の画像を
分割した個々のタイルの特徴量をある一定の方法で算出
したものである。特徴量としてR,G,Bの平均輝度値
を用いる場合、第1の特徴量は(8)から(10)式に
より求めることができる。
【0023】 Rd-av={1/(p・q)}・ΣRi …(8) Gd-av={1/(p・q)}・ΣGi …(9) Bd-av={1/(p・q)}・ΣBi …(10) Ri,Gi,Biはタイル領域を構成する画素単位の赤
(R)、緑(G)、青(B)の各刺激値成分を示す。
【0024】ステップS203では素材画像の枚数を計
数し、その結果を素材画像枚数のパラメータPに代入す
る。素材画像は図5で示したように、所定のタイミング
でビデオキャプチャカード109によってビデオ信号か
ら取り込まれた静止画像であり、キャプチャを継続して
静止画像を取り込むことで、時間とともにハードディス
ク103内の素材画像数は増加する。ステップS203
でキャプチャされた静止画像(素材画像になる)に対し
て第2の特徴量を設定算出するために以下のステップS
204〜S207の処理を行う。
【0025】ステップS204では、P枚の素材画像に
ついて第2の特徴量を算出する。第2の特徴量とは、ス
テップS202で使った特徴量と同じである。特徴量と
してR,G,Bの平均輝度値を用いる場合、第2の特徴
量は以下の式で得る。 Rs-av={1/(p・q)}・ΣRi …(11) Gs-av={1/(p・q)}・ΣGi …(12) Bs-av={1/(p・q)}・ΣBi …(13) ステップS205ではM×N個のタイルの中から処理対
象とするタイルを一つ選択する。例として画像に向かっ
て左上から右端まで処理し、順次下まで処理する場合、
タイルの位置を示すカウンタX−Pos(0≦X−Po
s≦M−1),Y−Pos(0≦Y−Pos≦N−1)
を共に0に初期化する。
【0026】タイル領域に分割された画像は2次元の行
列TL(X、Y)として表現され、位置を示すカウンタ
(X−Pos、Y−Pos)を制御変数としてループを
構成することで、分割されたタイル領域の画像を順次選
択することができる。ステップS206では処理対象の
タイル領域の画像の第1の特徴量とP枚の素材画像のそ
れぞれの第2の特徴量とを、評価関数f()によって評
価する。評価関数f()の一例としてはR,G,B平均
輝度値の二乗平均があげられ、(14)式で算出され
る。R,G、B平均輝度値はそれぞれ(8)〜(13)
式に基づき求められたデータである。
【0027】 △E=f()=(Rs-av−Rd-av)2+(Gs-av−Gd-av)2 +(Bs-av−Bd-av)2 …(14) (14)式の二乗平均は、選択されたタイル領域の画像
1枚に対して、各素材画像枚数について演算されること
になる。従って、素材画像枚数がP枚のときは、タイル
画像1枚に対してP回の二乗平均演算が行われる。
【0028】ステップ207ではP回演算された二乗平
均の評価関数の結果から、その値の最も小さくなる素材
画像を選択し、第二の画像に貼り込むタイルとする。ス
テップS208では第一の画像のすべてのタイル画像に
ついてその処理が行われたかどうかを判断し、未処理の
タイル画像があれば、ステップS205に戻り処理を続
ける。 すべてのタイルについて処理が終わっていれ
ば、ステップS209に進む。ステップS209では、
キーボード104から終了指示があるかどうかを判断
し、終了指示がある場合は終了する。それ以外の場合は
S203に戻り、処理を続ける。
【0029】[実施形態2の効果]動画像を静止画とし
て所定のタイミングで取り込み、素材画像として蓄積す
る。素材画像と、第一の画像を分割したタイル画像との
特徴量を比較し誤差の二乗平均が最小となる素材画像が
選択される。常時膨大な素材データを保存していなくて
も、第一の画像と相関性の高い動画データから静止画像
を捕捉し、素材画像とすることにより、特徴量誤差を最
小化したモザイク画像の構成が可能となる。
【0030】素材画像は静止画の捕捉を所定のタイミン
グで、継続して行うことで比較対象母数として増やすこ
とが可能であり、新たに追加された素材画像との特徴量
比較を行い、更に誤差を最小とする素材が選択される。
このプロセスを継続することで漸次モザイク画像の画質
が向上する。 [実施形態3]次に実施形態3について説明する。
【0031】ハードウエア構成は図1に示した実施形態
2と同じであり、また、動画から素材画像を生成するフ
ローは図5と同じであるので説明は省略する。モザイク
画像の構成方法について図3を用いて説明する。ステッ
プS301は第一の画像を図8のごとくM×N個のタイ
ルに分割する。図8において、X,Yはそれぞれ第一の
画像601の水平方向、垂直方向の画素数である。p,
qは各タイルの水平方向、垂直方向の画素数である。し
たがって、X=p×M,Y=q×Nという関係が成り立
っている。ここでは説明を簡単にするために、タイルの
サイズはすべて等しいものとするが、実施形態としては
必ずしもその必要はない。
【0032】ステップS302ではS301で分割した
M×N個の各タイルについて、第1の特徴量を計算す
る。モザイク画像を構成するためには、第一の画像を分
割したタイルと、そのタイルを模して貼り付ける素材画
像とがある評価基準のもとで似ている必要がある。第1
の特徴量とは、第一の画像を分割した個々のタイルの特
徴量をある一定の方法で算出したものである。たとえ
ば、特徴量としてR,G,Bの平均輝度値を用いる場
合、第1の特徴量は Rd-av={1/(p・q)}・ΣRi …(15) Gd-av={1/(p・q)}・ΣGi …(16) Bd-av={1/(p・q)}・ΣBi …(17) によって算出される。
【0033】ステップS303で処理済み素材画像リス
トLaをクリアする。処理済み素材画像リストLaとは
素材画像のインデックスを記録したデータテーブルであ
る。ステップS304で素材画像リストLbを作成す
る。素材画像リストLbは素材画像のインデックスを記
録したデータテーブルであり、ハードディスク103を
スキャンし、そこに格納された素材画像のインデックス
が記録される。素材画像は図5で示したように、前記ビ
デオキャプチャカード109によってビデオ信号から取
り込まれた静止画像であり、連続して取り込むことで時
間とともにハードディスク103内の画像数は増加す
る。
【0034】ステップS305は前記素材画像リストL
bから、処理済み素材画像リストLaに含まれるものを
差し引いて未処理素材画像リストLcを作成する。Lc
中の未処理の素材画像の個数をPcとする。ステップS
306では、未処理素材画像リストLc中の素材画像P
c枚について第2の特徴量を算出する。第2の特徴量と
は、ステップS302で使った特徴量と同じものであ
る。特徴量としてR,G,Bの平均輝度値を用いる場
合、第2の特徴量は以下の式で求められる。
【0035】 Rs-av={1/(p・q)}・ΣRi …(18) Gs-av={1/(p・q)}・ΣGi …(19) Bs-av={1/(p・q)}・ΣBi …(20) ステップS307ではM×N個のタイルの中から処理対
象とするタイルを一つ選択する。例として画像に向かっ
て左上から右端まで処理し、順次下まで処理する場合、
タイルの位置を示すカウンタX−Pos(0≦X−Po
s≦M−1),Y−Pos(0≦Y−Pos≦N−1)
を共に0に初期化する。
【0036】タイル領域に分割された画像は2次元の行
列TL(X、Y)として表現され、位置を示すカウンタ
(X−Pos、Y−Pos)を制御変数としてループを
構成することで、分割されたタイル領域の画像を順次選
択することができる。ステップS308では処理対象の
タイルの第1の特徴量と未処理素材画像リストLc中の
素材画像Pc枚のそれぞれの第2の特徴量とを、評価関
数f()によって評価する。評価関数f()の一例とし
てはR,G,B平均輝度値の二乗平均があげられ、(2
1)式で算出される。R,G、B平均輝度値はそれぞれ
(15)〜(20)式に基づき求められたデータであ
る。
【0037】 △E=f()=(Rs-av−Rd-av)2+(Gs-av−Gd-av)2 +(Bs-av−Bd-av)2 …(21) (21)式の二乗平均は、選択されたタイル領域の画像
1枚に対して、各素材画像枚数について演算されること
になる。従って、素材画像枚数がPc枚のときは、タイ
ル画像1枚に対してPc回の二乗平均演算が行われる。
【0038】ステップ309ではPc回の評価関数の結
果から、その値の最も小さくなる素材画像を選択し、第
二の画像に貼り込むタイルとする。ステップS310で
は第一の画像のすべてのタイル領域の画像についてその
処理が行われたかどうかを判断し、未処理のタイル画像
があれば、ステップS307に戻り処理を続ける。すべ
てのタイルについて処理が終わっていればステップS3
11に進む。
【0039】ステップS311では処理済みリストLa
に処理済みとなった素材画像リストLcを加える。ある
いは、処理済みリストLaに素材リストLbを代入して
も同じ結果が得られる。ステップS312では、キーボ
ード104から終了指示があるかどうかを判断し、終了
指示がある場合は終了する。それ以外の場合はステップ
S304に戻り処理を続ける。
【0040】[実施形態3の効果]タイル画像と素材画
像との特徴量比較のための演算処理は、新たに追加とな
った未処理の素材画像の個数のみに限定できるので処理
速度の向上が可能となる。 [実施形態4]次に実施形態4について説明する。
【0041】ハードウエア構成は図1に示した実施形態
2と同じであり、また、動画から素材画像を生成するフ
ローは図5と同じであるので説明は省略する。次にモザ
イク画像の構成方法について図4を用いて説明する。ス
テップS401は第一の画像を図8のごとくM×N個の
タイル領域に分割する。図8において、X,Yはそれぞ
れ第一の画像601の水平方向、垂直方向の画素数であ
る。p,qは各タイルの水平方向、垂直方向の画素数で
ある。したがって、X=p×M,Y=q×Nという関係
が成り立っている。ここでは説明を簡単にするために、
タイルのサイズはすべて等しいものとするが、実施形態
としては必ずしもその必要はない。
【0042】ステップS402ではS401で分割した
M×N個の各タイルについて、第1の特徴量を計算す
る。モザイク画像を構成するためには、第一の画像を分
割したタイル領域の画像と、そのタイルを模して貼り付
ける素材画像とが、ある評価基準のもとで似ている必要
がある。第1の特徴量とは、第一の画像を分割した個々
のタイルの特徴量をある一定の方法で算出したものであ
る。例えば、特徴量としてR,G,Bの平均輝度値を用
いる場合、第1の特徴量は Rd-av={1/(p・q)}・ΣRi …(22) Gd-av={1/(p・q)}・ΣGi …(23) Bd-av={1/(p・q)}・ΣBi …(24) によって算出される。
【0043】ステップS403では再処理タイルリスト
Ldに前記S401で分割したすべてのタイルのインデ
ックスを記録する。ステップS404では処理済み素材
画像リストLaをクリアする。処理済み素材画像リスト
Laとはタイル画像との間で、特徴量比較の演算が終了
した素材画像のインデックスを記録したデータテーブル
である。
【0044】ステップS405は素材画像リストLbを
作成する。素材画像リストLbは素材画像のインデック
スを記録したデータテーブルであり、ハードディスク1
03をスキャンし、そこに格納された素材画像のインデ
ックスが記録される。素材画像は図5で示したように、
前記ビデオキャプチャカード109によってビデオ信号
から取り込まれた静止画像であり、連続して取り込むこ
とで時間とともにハードディスク103内の画像数は増
加する。
【0045】ステップS406では前記素材画像リスト
Lbから、処理済み素材画像リストLaに含まれるもの
を差し引いて未処理素材画像リストLcを作成する。L
c中の素材画像の個数をPcとする。ステップS407
では、未処理素材画像リストLc中の素材画像Pc枚に
ついて第2の特徴量を算出する。第2の特徴量とは、ス
テップS302で使った特徴量と同じものである。特徴
量としてR,G,B平均輝度値を用いる場合、第2の特
徴量は以下の式で求めることができる。
【0046】 Rs-av={1/(p・q)}・ΣRi …(25) Gs-av={1/(p・q)}・ΣGi …(26) Bs-av={1/(p・q)}・ΣBi …(27) ステップS408では再処理タイルリストLdのタイル
の中から処理対象とするタイルを一つ選択する。初めて
この処理を行う場合は、M×N個タイルすべてが対象と
なる。
【0047】例として画像に向かって左上から右端まで
処理し、順次下まで処理する場合、タイルの位置を示す
カウンタX−Pos(0≦X−Pos≦M−1),Y−
Pos(0≦Y−Pos≦N−1)を共に0に初期化す
る。再処理タイルリストLdからタイル領域に分割され
た画像は2次元の行列TL(X、Y)として表現され、
位置を示すカウンタ(X−Pos、Y−Pos)を制御
変数としてループを構成することで、分割されたタイル
領域の画像を順次選択することができる。
【0048】ステップS409では処理対象のタイルの
第1の特徴量と未処理素材画像リストLc中の素材画像
Pc枚のそれぞれの第2の特徴量とを、評価関数f()
によって評価する。評価関数f()の一例としてはR,
G,B輝度の二乗平均があげられ、(28)式により求
めることができる。 △E=f()=(Rs-av−Rd-av)2+(Gs-av−Gd-av)2 +(Bs-av−Bd-av)2 …(28) (28)式の二乗平均は、選択されたタイル領域の画像
1枚に対して、各素材画像枚数について演算されること
になる。従って、素材画像枚数がPc枚のときは、タイ
ル画像1枚に対してPc回の二乗平均演算が行われる。
【0049】ステップ410ではPc回の評価関数の結
果から、その値の最も小さくなる素材画像を選択し、第
二の画像に貼り込むタイルとする。ステップS411で
はS410での評価結果△Eがあらかじめ与えられた誤
差基準値ErrorThより小さいかどうか判定する。結果が
真であった場合(ErrorThより小さい場合)はステップ
S412に進み、現在処理中のタイル画像インデックス
を再処理タイルリストLdから削除する。結果が偽であ
った場合(ErrorThより大きい場合)はそのままステッ
プS414に進む。
【0050】ステップS414は再処理タイルリストL
d中のすべてのタイルについてその処理が行われたかど
うかを判断し、未処理のタイルがあれば、S408に戻
り処理を続ける。すべてのタイルについて処理が終わっ
ていればステップS415に進む。ステップS415で
は処理済みリストLaに新たに処理済みとなったリスト
Lc分を加える。あるいは、処理済みリストLaに素材
リストLbを代入しても同じ結果が得られる。
【0051】ステップS416では、キーボード104
から終了指示があるかどうかを判断し、終了指示がある
場合は終了する。それ以外の場合はS405に戻りさら
に処理を続行する。 [実施形態4の効果]所定の誤差基準値を設け、この基
準値を満足する素材の決定したタイル画像を、特徴量比
較の対象から除外することで、再処理タイルリスト中の
タイルの個数のみに限定できるので、演算回数を更に削
減でき処理速度の向上が図れる。
【0052】
【他の実施形態】なお、本発明にかかるモザイク構成方
法は、複数の画像形成機器(例えばホストコンピュー
タ,インタフェイス機器,リーダ,プリンタなど)から
構成されるシステムに適用しても、一つの機器からなる
装置(例えば、複写機,ファクシミリ装置など)に適用
してもよい。
【0053】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【0054】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明にかかるモザイク画像構成方法を構成することに
なる。プログラムコードを供給するための記憶媒体とし
ては、例えば、フロッピディスク,ハードディスク,光
ディスク,光磁気ディスク,CD−ROM,CD−R,
磁気テープ,不揮発性のメモリカード,ROMなどを用
いることができる。
【0055】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【0056】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0057】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、図9のメモリマップ例に示す各モジュールを
記憶媒体に格納することになる。すなわち、少なくとも
「素材画像追加モジュール901」「分割モジュール9
02」および「第1特徴量算出モジュール903」「素
材画像計数モジュール904」「第2特徴量算出モジュ
ール905」「素材選択評価モジュール906」「最適
画像選択モジュール907」「継続判断モジュール90
8」「未処理素材画像リスト作成モジュール909」
「再処理タイルリスト作成モジュール910」「誤差基
準判定モジュール911」の各モジュールのプログラム
コードを記憶媒体に格納すればよい。
【0058】
【発明の効果】動画像を静止画として所定のタイミング
で取り込み、素材画像として蓄積する。素材画像と、第
一の画像を分割したタイル画像との特徴量を比較し誤差
の二乗平均が最小となる素材画像が選択される。常時膨
大な素材データを保存していなくても、第一の画像と相
関性の高い動画データから静止画像を捕捉し、素材画像
とすることにより、特徴量誤差を最小化したモザイク画
像の構成が可能となる。
【0059】素材画像は静止画の捕捉を所定のタイミン
グで、継続して行うことで比較対象母数として増やすこ
とが可能であり、新たに追加された素材画像との特徴量
比較を行い、更に誤差を最小とする素材が選択される。
このプロセスを継続することで漸次モザイク画像の画質
が向上する。タイル画像と素材画像との特徴量比較のた
めの演算処理は、新たに追加となった未処理の素材画像
の個数のみに限定できるので処理速度の向上が可能であ
る。
【0060】さらに、所定の誤差基準値を設け、この基
準値を満足する素材の決定したタイル画像を、特徴量比
較の対象から除外することで、再処理タイルリスト中の
タイルの個数のみに限定できるので、演算回数を更に削
減でき処理速度の向上が図れる。
【図面の簡単な説明】
【図1】ハードウエア構成を示す図である。
【図2】実施形態2を説明するフローチャートである。
【図3】実施形態3を説明するフローチャートである。
【図4】実施形態2を説明するフローチャートである。
【図5】動画の捕捉を説明するフローチャートである。
【図6】モザイク画像の構成を説明する第一の画像、第
二の画像、素材画像を示す図である。
【図7】モザイク画像構成を説明するフローチャートで
ある。
【図8】第一の画像をタイル画像に分割した図である。
【図9】記録媒体のメモリマップを示す図である。
【符号の説明】
101 CPU 102 メモリ 103 ハードディスク 104 入力装置(キーボード、マウス) 105 モニタ 106 ネットワークインタフェース 107 DVD−ROM 108 スキャナ 109 レーザプリンタ

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 複数の素材画像を管理し、該複数の素材
    画像から複数を組み合わせて、図案あるいは写真画像に
    よる第一の画像を模した第二の画像を構成するモザイク
    画像構成方法であって、 所定のタイミングで動画像から捕捉した静止画像を素材
    画像に追加する素材画像追加工程と、 前記第一の画像を2次元のタイル領域画像に分割する分
    割工程と、 前記分割したタイル領域画像毎に第1の特徴量を算出す
    る第1特徴量算出工程と、 前記素材画像の枚数を計算する素材画像計数工程と、 前記計算された素材画像に対する第2の特徴量を算出す
    る第2特徴量算出工程と、 前記分割したタイル領域画像毎の第1の特徴量と、前記
    計算された素材画像の第2の特徴量とを用いて素材選択
    評価値を求める素材選択評価工程と、 前記素材選択評価値に基づき前記タイル領域画像毎に最
    適な素材画像を選択する最適画像選択工程と、 前記分割されたタイル領域全てについて前記素材画像の
    選択終了後、前記素材画像の枚数を計算する前記素材画
    像計数工程に処理をもどすか否かを判断する継続判断工
    程と、 を備えることを特徴とするモザイク画像構成方法。
  2. 【請求項2】 前記分割したタイル領域毎の第1の特徴
    量と、前記素材画像の第2の特徴量とを用いて素材選択
    評価値を算出するために、既に算出に使用された素材画
    像と、新たに追加され算出に未使用である前記動画像の
    捕捉による未処理素材画像とを識別するための未処理素
    材画像リスト作成工程を更に備え、前記未処理素材画像
    に限定して前記素材選択評価値を算出することを特徴と
    する請求項1記載のモザイク画像構成方法。
  3. 【請求項3】 前記分割されたタイル領域画像で、素材
    画像の選択が未確定であることを識別する情報を記録す
    る再処理タイルリスト作成工程と、 前記算出された素材選択評価値と所定の誤差基準値との
    大小関係を判定する誤差基準判定工程と、 を更に備え、前記算出された素材選択評価値が前記所定
    の誤差基準値よりも小さい場合は前記タイル領域画像に
    対する最適な素材画像として選択を確定し、前記選択確
    定したタイル領域画像に対する識別情報を前記再処理タ
    イルリスト工程で記録した情報から削除し、前記素材画
    像の選択が未確定であるタイル領域画像に限定して前記
    素材選択評価値を算出することを特徴とする請求項1又
    は2記載のモザイク画像構成方法。
  4. 【請求項4】 前記素材画像選択評価値に基づき選択さ
    れなかった素材画像データを削除する素材画像削除工程
    を更に備えることを特徴とする請求項1乃至3のいずれ
    か1項記載のモザイク画像構成方法。
  5. 【請求項5】 前記最適画像選択工程は前記第1の特徴
    量と前記第2の特徴量との差の二乗の和が最小となるも
    のを最適な素材画像として選択することを特徴とする請
    求項1記載のモザイク画像構成方法。
  6. 【請求項6】 複数の素材画像を管理し、該複数の素材
    画像から複数を組み合わせて、図案あるいは写真画像に
    よる第一の画像を模した第二の画像を構成するモザイク
    画像構成方法であって、 前記第一の画像を2次元のタイル領域に分割する分割工
    程と、 前記分割工程で分割された各タイル領域の赤,緑,青の
    三刺激値成分の平均輝度値を算出する領域内平均輝度値
    算出工程と、 前記複数の素材画像の平均輝度値を算出する素材画像平
    均輝度値算出工程と、 前記領域内平均輝度値算出工程によって算出された平均
    輝度値と、前記素材画像平均輝度値算出工程で算出され
    た素材画像の平均輝度値とに基づき、最適な画像を前記
    複数の素材画像から選択する最適画像選択工程と、 を備えることを特徴とするモザイク画像構成方法。
  7. 【請求項7】 所定のタイミングで動画像から捕捉した
    静止画像を素材画像に追加する素材画像追加工程と、 前記第一の画像を2次元のタイル領域に分割する分割工
    程と、 前記分割したタイル領域毎に第1の特徴量を算出する第
    1特徴量算出工程と、 前記素材画像の枚数を計算する素材画像計数工程と、 前記計算された素材画像に対する第2の特徴量を算出す
    る第2特徴量算出工程と、 前記分割したタイル領域毎の第1の特徴量と、前記計算
    された素材画像の第2の特徴量とを用いて素材選択評価
    値を求める素材選択評価工程と、 前記素材選択評価値に基づき対象タイル画像の素材画像
    を選択する最適画像選択工程と、 前記分割されたタイル領域全てについて前記素材選択終
    了後、前記素材画像の枚数を計算する前記素材画像計数
    工程に処理をもどすか否かを判断する継続判断工程と、 をコンピュータに実行させるためのプログラムを記録し
    たことを特徴とするコンピュータ読み取り可能な記録媒
    体。
JP15022498A 1998-05-29 1998-05-29 モザイク画像生成方法 Expired - Lifetime JP3780102B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP15022498A JP3780102B2 (ja) 1998-05-29 1998-05-29 モザイク画像生成方法
EP99304136A EP0961232A3 (en) 1998-05-29 1999-05-27 Mosaic image generation
US09/320,570 US6720971B1 (en) 1998-05-29 1999-05-27 Image processing method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15022498A JP3780102B2 (ja) 1998-05-29 1998-05-29 モザイク画像生成方法

Publications (2)

Publication Number Publication Date
JPH11345308A true JPH11345308A (ja) 1999-12-14
JP3780102B2 JP3780102B2 (ja) 2006-05-31

Family

ID=15492263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15022498A Expired - Lifetime JP3780102B2 (ja) 1998-05-29 1998-05-29 モザイク画像生成方法

Country Status (1)

Country Link
JP (1) JP3780102B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012623B1 (en) 1999-03-31 2006-03-14 Canon Kabushiki Kaisha Image processing method and apparatus
JP2020184727A (ja) * 2019-05-09 2020-11-12 大日本印刷株式会社 印画物作製装置及びモザイク画像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012623B1 (en) 1999-03-31 2006-03-14 Canon Kabushiki Kaisha Image processing method and apparatus
JP2020184727A (ja) * 2019-05-09 2020-11-12 大日本印刷株式会社 印画物作製装置及びモザイク画像生成装置

Also Published As

Publication number Publication date
JP3780102B2 (ja) 2006-05-31

Similar Documents

Publication Publication Date Title
JP3747589B2 (ja) 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体
EP0961232A2 (en) Mosaic image generation
US5644765A (en) Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image
US4766556A (en) Three-dimensional solid object manipulating apparatus and method therefor
US6927874B1 (en) Image processing method, apparatus and storage medium therefor
US7102649B2 (en) Image filling method, apparatus and computer readable medium for reducing filling process in processing animation
KR101180570B1 (ko) 전경 영역 추출 프로그램, 전경 영역 추출 장치, 및 전경 영역 추출 방법
US20050210019A1 (en) Method and apparatus for retrieving image from database, and computer product
TWI300908B (en) Video game system, image rendering system, and computer-readable medium having stored thereon a program of computer-readable instructions configured to cause generation of a renderized display
JPWO2004047026A1 (ja) 画像検索プログラム
US7012623B1 (en) Image processing method and apparatus
JP3718967B2 (ja) 画像特徴量抽出装置および方法並びに画像特徴量抽出プログラムを記録した記録媒体
JP2001052011A (ja) 画像検索装置およびその方法
EP0961228A2 (en) Image processing method and apparatus
JPH11345308A (ja) モザイク画像構成方法、記録媒体
JP2000148794A (ja) 画像検索装置及びその方法、コンピュ―タ可読メモリ
US7130492B2 (en) Image processing apparatus and method, and program
JP4334981B2 (ja) 画像処理装置及び画像処理方法
EP1199650A2 (en) Image indexing method
JPH11345313A (ja) 画像処理方法及び装置
JP2001238067A (ja) 画像処理方法及び装置
JP2701056B2 (ja) 三次元物体の二次表現方法
JP3647262B2 (ja) 画像処理装置およびその方法
AU5261899A (en) Segmenting moving objects and determining their motion
JP3996493B2 (ja) 映像アンカー検索方法、映像アンカー検索装置、映像アンカー検索プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040531

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060306

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7