JPH08221591A - モンタージュ写真合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 対象物から顔領域および顔構成部品を高精度
に自動抽出してモンタージュ写真を合成する簡便なモン
タージュ写真合成装置を提供する。 【構成】 画像データ入力部２０から入力した顔領域を
含む濃淡画像を、顔領域位置決定部４０においてモザイ
ク化し、このモザイクパタンが顔領域の内部と外部とで
異なることを利用し、これにより顔領域を抽出して顔領
域位置情報を得る。これに基づいて顔部品領域切り出し
部６０で顔構成部品の位置決めを行って切り出し、顔構
成部品の自動抽出し、顔部品合成処理部８０のモンター
ジュ写真の合成に用いる。以上のように、顔領域、顔構
成部品の抽出に当たり、対象物のエッジ部分に着目せ
ず、対象物領域の濃度パタンに着目することにより、エ
ッジ検出・線図形解析を主体とする従来の抽出技術の難
点、すなわち、エッジ検出の困難性、処理時間の増大等
を解決する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、実物顔のカメラ入力あ
るいは顔写真のスキャナ入力等により得られる複数の顔
画像データ（濃淡画像）からそれぞれに応じた目、鼻、
口、顔外郭部等の顔構成部品を含む画像データ領域をコ
ンピュータ処理により切り出し、それぞれの領域を選択
的に組み合わせて全体として一つの合成顔写真（モンタ
ージュ写真）を自動作成するモンタージュ写真合成装置
に関するものである。

【０００２】

【従来の技術】モンタージュ写真を合成する場合、従来
は画面上で手作業により複数の顔写真からそれぞれの顔
構成部品を取り出し適宜配置する手法が一般的であり、
実物顔のカメラ入力あるいは顔写真のスキャナ入力等に
より得られた顔画像データから目、鼻、口、顔外郭部と
いった顔構成部品を自動抽出し、それらからモンタージ
ュ写真を合成するような装置は実現されていない。この
ようなモンタージュ写真合成装置が実現していない最大
の理由は、与えられた顔写真等からそれに対応した顔構
成部品を自動抽出するのが非常に困難なためである。

【０００３】

【発明が解決しようとする課題】ところで、顔画像から
顔構成部品を切り出すには、先ず画像上の顔領域を検出
する必要があるが、従来技術でこれを行おうとするなら
ば、画像を微分操作等によりエッジ検出し、得られたエ
ッジ領域を細線化または尾根線追跡により線図形として
抽出するとともに、該線図形の幾何学構造を解析するこ
とにより顔領域を検出し、さらにこれに基づいて同様の
手法により顔構成部品の検出をすることとなる。

【０００４】しかし、この場合、画像には傾斜の緩やか
な濃度変化領域や影領域が含まれることが多く、したが
って正確にエッジ部分を検出するのはほとんど不可能に
近い。しかも微分などの処理が含まれ、コンピュータ処
理の要する時間は無視できないものである。

【０００５】したがって実用レベルで顔構成部品を自動
抽出するようなモンタージュ写真合成装置は今まで発表
されていないのが現状である。

【０００６】本発明で解決を図る課題は、顔領域および
顔構成部品の位置決定において、エッジ部分の検出・解
析に基づいて対象物を抽出・判定しようとする従来技術
の難点を解決するとともに、さらにこれに基づいて簡便
なモンタージュ写真合成装置を提案することである。

【０００７】

【課題を解決するための手段】上記の課題を解決するた
め、本発明では、人物顔領域を含む濃淡画像を入力する
画像入力手段と、前記入力された人物顔領域を含む濃淡
画像をモザイク化し、予め与えられたモザイク特徴辞書
を用いて顔領域を探索し、これにより顔領域位置情報を
出力する顔領域位置決定手段と、前記出力された顔領域
位置情報を用いて前記濃淡画像から顔構成部品を探索し
それを含む顔構成部品領域を切り出す顔部品領域切り出
し手段と、前記顔領域位置決定手段および顔部品領域切
り出し手段により複数の人物顔領域を含む濃淡画像につ
いて得られた複数の人物顔画像上の顔構成部品を選択的
に合成して一つの合成顔写真を出力する顔部品合成処理
手段とを有する構成のモンタージュ写真合成装置を手段
とする。

【０００８】上記のモンタージュ写真合成装置におい
て、顔領域位置決定手段は、濃淡画像の全体を粗くモザ
イク化してモザイク特徴データを得る全領域モザイク化
手段と、前記全領域モザイク化手段により得られる全領
域モザイク特徴データに関し、予め与えられた頭部粗検
索モザイク辞書を用いて頭部の大まかな位置を探索し頭
部中心付近位置情報を得る頭部粗探索手段と、前記頭部
粗探索手段により得られる頭部中心付近位置情報に基づ
いて顔領域上の特定部分を細かくモザイク化して特定領
域モザイク特徴データを得る特定領域モザイク化手段
と、前記特定領域モザイク化手段により得られる特定領
域モザイク特徴データに関し、予め与えられた特定部分
詳細探索モザイク辞書を用いて前記特定部分の詳細位置
を探索し顔中心詳細位置情報を得る詳細探索手段と、前
記詳細探索手段により得られる顔中心詳細位置情報に基
づいて前記濃淡画像上で顔の正確な中心位置および顔領
域の正確な位置を算出し、顔領域位置情報として出力す
る顔中心・顔領域位置決定手段とを有する構成とするの
が、好適であり、さらに、上記の顔領域上の特定部分が
目部である構成とするのが、好適である。

【０００９】

【作用】本発明のモンタージュ写真合成装置では、顔画
像を含む濃淡画像をモザイク化し、このモザイクパタン
が顔領域の内部と外部とで異なることを利用することに
より顔領域を抽出して顔領域位置情報を得るとともに、
これに基づいて顔構成部品の位置決めを行って切り出す
ことにより、モンタージュ写真の合成に用いる顔構成部
品を高精度で高速に自動抽出する。以上のように、対象
物（顔画像領域等）の抽出に当たって、対象物のエッジ
部分に着目するのではなく、対象物領域の濃度パタンに
着目することにより、エッジ検出・線図形解析を主体と
する抽出技術の難点、すなわち、エッジ検出の困難性、
処理時間の増大等を解決している。

【００１０】

【実施例】以下、本発明の実施例について図面により詳
細に説明する。

【００１１】図１は本発明のモンタージュ写真合成装置
の実施例を、図２は図１における顔領域位置決定部の実
施例を示す構成図である。

【００１２】図１において、１０は画像入力の対象とな
る実物顔または顔写真である。

【００１３】２０は実物顔または顔写真をカメラやスキ
ャナ等により入力し、得られた画像データを画像データ
バッファ３０に格納するための画像データ入力部であ
る。

【００１４】４０の顔領域位置決定部は、画像データ入
力部２０により取り込まれ格納されている画像データバ
ッファ３０上の画像データをモザイク化し、そのモザイ
クデータ上を走査することによりおおよその顔領域位置
を算定するとともに、さらに該画像データに関し該顔領
域位置の近傍を詳細に走査し詳細な顔領域位置情報５０
を求めるものである。

【００１５】顔部品領域切り出し部６０は、顔領域位置
情報５０の範囲内で画像データバッファ３０を画素レベ
ルで走査し、それに応じた顔構成部品を探索し、顔部品
領域画像データ７０として切り出すものである。

【００１６】８０は、それぞれの顔画像から得られたそ
れぞれの顔部品領域画像データを、例えば指定により選
択的に対応する場所に配置し、全体として一つの妥当な
合成顔写真９０を出力する顔部品合成処理部である。

【００１７】なお、図１では人物１〜ｎに対応して、画
像データ入力部２０、画像データバッファ３０、顔領域
位置決定部４０、顔部品領域切り出し部６０の組を複数
用いるように例示しているが、これら一組のものを用い
て時間的な順次処理により、人物１〜ｎに対応した複数
の顔部品領域画像データ７０を得るようにするのが、実
際的である。

【００１８】図２は図１の顔領域位置決定部４０の実施
例である。同図に関し以下その内容を説明する。

【００１９】全領域モザイク化部４０１は画像データバ
ッファ３０上の画像データを全領域にわたってある粗い
ブロックサイズでモザイク化し全領域をモザイク特徴デ
ータ４０２として出力するものである。

【００２０】頭部粗探索部４０３は、代表的な一般形状
の頭部（首より上の部分）についてのモザイク特徴（例
えば４（横）×５（縦）ブロック）を頭部粗探索モザイ
ク辞書４０４として用いることにより、画像データバッ
ファ３０を粗く走査し、画像上の頭部領域を検出すると
ともに、おおよその両目位置の中間点を頭部中心付近位
置情報４０５として出力するものである。

【００２１】目部モザイク化部４０６は、画像データバ
ッファ３０上の画像データに関し頭部中心付近位置情報
４０５で与えられる両目を含むような近傍領域をより細
かいブロックサイズでモザイク化し、目部モザイク特徴
データ４０７として出力するものである。

【００２２】目部詳細探索部４０８は、代表的な一般形
状の両目を含む領域についての例えば８（横）×３
（縦）ブロックモザイク特徴を目部詳細探索モザイク辞
書４０９（ブロックサイズは頭部粗探索部４０４のそれ
よりかなり小さく取る（例えば１／５程度））として用
いることにより目領域モザイク特徴データ４０７をより
詳細に走査し目部領域をより詳細に検出するとともに、
得られた両目の中間点を顔中心詳細位置情報４１０とし
て出力するものである。

【００２３】顔中心・顔領域位置決定部４１１は、画像
データバッファ３０上で顔中心詳細位置情報４１０で与
えられる位置の近傍において濃度変化やヒストグラム等
の画素値情報を用いて両目領域の位置を正確に決定する
とともに、同じようにして口部を決定し、両者の位置情
報により顔領域（顔幅および額・顎間で決定される領
域）を決定することなどによって、顔領域位置情報４１
２として出力するものである。

【００２４】なお、画像データ入力部２０から入力され
る顔画像の大きさが一定していない場合には、モザイク
のサイズを変化させてモザイク辞書の探索を行うのが好
適である。また、モンタージュ写真を合成する場合の顔
構成部品の大きさは、例えば顔部品合成処理部で正規化
する。

【００２５】以上のように構成した実施例の作用を述べ
る。

【００２６】本実施例によるモンタージュ写真合成装置
では、画像データ入力部２０から入力した顔領域を含む
濃淡画像を、顔領域位置決定部４０においてあるサイズ
（可変）のブロックでモザイク化し、このモザイクパタ
ンが顔領域の内部と外部とで異なることを利用し、これ
により顔領域を抽出して顔領域位置情報を得るととも
に、これに基づいて顔部品領域切り出し部６０で顔構成
部品の位置決めを行って切り出すことにより、高精度で
高速な顔構成部品の自動抽出を可能にして、顔部品合成
処理部８０のモンタージュ写真の合成に用いる。以上の
ように、対象物（顔領域等）の抽出に当たり、対象物の
エッジ部分に着目するのではなく、対象物領域の濃度パ
タンに着目することにより、エッジ検出・線図形解析を
主体とする従来の抽出技術の難点、すなわち、エッジ検
出の困難性、処理時間の増大等を解決する。

【００２７】上記において、顔画像から顔構成部品
（目、鼻、口、顔外郭部等）を探索し、これを含む部分
画像を切り出すに当たり、顔領域位置決定部４０では、
各種サイズのモザイク特徴を段階的（全領域モザイク特
徴、目領域モザイク特徴）に用いて、画像上の顔領域の
位置を粗検索と詳細探索で決定することにより、その探
索・決定を容易にし、より一層の抽出精度の向上と処理
時間の短縮を図っている。詳細探索においては、目部以
外の顔画像上の特定部分をモザイク化して探索すること
も可能であるが、最も濃度パタンが特徴的に現れる目部
をモザイク化して探索することにより、探索・決定をさ
らに容易にし、精度をさらに一層向上させることができ
る。

【００２８】

【発明の効果】以上説明したように、本発明のモンター
ジュ写真合成装置によれば、顔画像を含む濃淡画像をモ
ザイク化し、このモザイクパタンが顔領域の内部と外部
とで異なることを利用することにより顔領域を抽出して
顔領域位置情報を得るとともに、これに基づいて顔構成
部品の位置決めを行って切り出すようにしたので、モン
タージュ写真に用いる顔構成部品が精度良く、高速に自
動抽出することができ、エッジ検出・線図形解析を主体
とする従来の抽出技術の難点、すなわち、エッジ検出の
困難性、処理時間の増大等を解決することができる。

【００２９】また、上記において、顔領域位置情報を得
るに当たり、各種サイズのモザイク特徴を段階的に用い
て、まず顔領域を粗探索し、次に顔領域の特定部分を詳
細探索するようにした場合には、抽出精度をより一層向
上させることができるとともに、処理時間をより一層短
縮できる。

【００３０】また、上記の詳細探索における顔領域の特
定部分として目部を採用した場合には、探索がさらに容
易になり、抽出精度をさらに向上させることができる。

【図面の簡単な説明】

【図１】本発明のモンタージュ写真合成装置の実施例を
示す構成図

【図２】図１における顔領域位置決定部の実施例を示す
構成図

【符号の説明】

１０…人物顔または顔写真 ２０…画像データ入力部 ３０…画像データバッファ ４０…顔領域位置決定部 ６０…顔部品領域切り出し部 ８０…顔部品合成処理部 ９０…合成顔写真 ４０１…全領域モザイク化部 ４０３…頭部粗探索部 ４０４…頭部粗探索モザイク辞書 ４０６…目部モザイク化部 ４０８…目部詳細探索部 ４０９…目部詳細探索モザイク辞書 ４１１…顔中心・顔領域位置決定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 若山 忠雄 東京都武蔵野市御殿山１丁目１番３号 エ ヌ・ティ・ティ・アドバンステクノロジ株 式会社内 (72)発明者 小杉 信 東京都世田谷区玉堤１−28−１ 武蔵工業 大学工学部電気電子工学科内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 人物顔領域を含む濃淡画像を入力する画
   像入力手段と、 前記入力された人物顔領域を含む濃淡画像をモザイク化
   し、予め与えられたモザイク特徴辞書を用いて顔領域を
   探索し、これにより顔領域位置情報を出力する顔領域位
   置決定手段と、 前記出力された顔領域位置情報を用いて前記濃淡画像か
   ら顔構成部品を探索しそれを含む顔構成部品領域を切り
   出す顔部品領域切り出し手段と、 前記顔領域位置決定手段および顔部品領域切り出し手段
   により複数の人物顔領域を含む濃淡画像について得られ
   た複数の人物顔画像上の顔構成部品を選択的に合成して
   一つの合成顔写真を出力する顔部品合成処理手段とを有
   することを特徴とするモンタージュ写真合成装置。
2. 【請求項２】 顔領域位置決定手段は、 濃淡画像の全体を粗くモザイク化してモザイク特徴デー
   タを得る全領域モザイク化手段と、 前記全領域モザイク化手段により得られる全領域モザイ
   ク特徴データに関し、予め与えられた頭部粗検索モザイ
   ク辞書を用いて頭部の大まかな位置を探索し頭部中心付
   近位置情報を得る頭部粗探索手段と、 前記頭部粗探索手段により得られる頭部中心付近位置情
   報に基づいて顔領域上の特定部分を細かくモザイク化し
   て特定領域モザイク特徴データを得る特定領域モザイク
   化手段と、 前記特定領域モザイク化手段により得られる特定領域モ
   ザイク特徴データに関し、予め与えられた特定部分詳細
   探索モザイク辞書を用いて前記特定部分の詳細位置を探
   索し顔中心詳細位置情報を得る詳細探索手段と、 前記詳細探索手段により得られる顔中心詳細位置情報に
   基づいて前記濃淡画像上で顔の正確な中心位置および顔
   領域の正確な位置を算出し、顔領域位置情報として出力
   する顔中心・顔領域位置決定手段とを有することを特徴
   とする請求項１記載のモンタージュ写真合成装置。
3. 【請求項３】 顔領域上の特定部分が目部であることを
   特徴とする請求項２記載のモンタージュ写真合成装置。