JPH08221545A

JPH08221545A - 画像合成装置

Info

Publication number: JPH08221545A
Application number: JP2382595A
Authority: JP
Inventors: Moichi Kurihara; 茂一栗原; Hidekuni Hanazawa; 秀訓花澤; Hiroshi Hisamoto; 裕詩久本; Makoto Yoshida; 吉田　　誠; Hiroki Endo; 廣己遠藤
Original assignee: NIPPON BOSU KENKYUSHO KK
Current assignee: NIPPON BOSU KENKYUSHO KK
Priority date: 1995-02-13
Filing date: 1995-02-13
Publication date: 1996-08-30

Abstract

(57)【要約】【目的】画像合成装置に関し、バックの色に関係なく
被写体の撮像ができるため、合成画像の取り込みが容易
である。【構成】データベースと、このデータベースのベース
画像データにはめ込む合成用の画像として、被写体を撮
像し、取込み画像データを出力する撮像装置３０と、こ
の撮像装置３０からの取込み画像データを構成する画素
すべてについて、被写体のエッジを構成する暗画素およ
びエッジを構成しない明画素に二値化するエッジ強調手
段７０と、前記撮像装置３０からの取込み画像データ
を、上記エッジ強調手段７０からの暗画素の位置情報に
もとづいて前記はめ込み箇所の大きさに一致するように
拡大または縮小した後、出力する取込み画像調整手段１
１１と、入力したベース画像データのはめ込み箇所に取
込み画像データをはめ込むことで画像合成する画像はめ
込み手段１１２とを備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ベース画面に合成用
に撮像した画面の一部をはめ込む画像合成装置に関し、
特にバックの色に関係なく撮像ができ、また合成画像の
倍率・位置バランス調整を自動化することで取扱いを容
易にした画像合成装置を提供しようとするものである。

【０００２】

【従来の技術】従来、この種の画像合成装置としては、
クロマキー方式、すなわち合成用の画像内の被写体とバ
ックとの色相差を弁別してキー信号（切り抜き用の信
号）を得る方式が知られている。すなわち、合成しよう
とする被写体を、その色とできるだけ色相の遠い色のバ
ックを用いて合成用画面として撮像する。そして、バッ
クの色を弁別して波形処理を行うことで被写体のエッジ
情報を示すキー信号を作る。このキー信号を用いて、ベ
ース画面のはめ込み部の切り抜き処理および合成画面の
バックの切り落とし処理を施した後、両者を重ね合わせ
ることで画像合成をする方式である。この方式により、
特に人物像を合成する場合には、肌色の補色であるブル
ーをバックにして被写体をカメラのレンズの前に直接向
かわせ、撮像することが多かった。

【０００３】

【発明が解決しようとする課題】しかし、上記した従来
の画像合成装置では、合成用画面として人物を撮像する
際、クロマキー用にバックの色をブルーにしなければな
らないことが撮像する上での制約となり、撮像時のセテ
ィングが面倒であるといった第１の問題点があった。

【０００４】また、合成用の画像をはめ込む際の基準と
して、被写体の中心や輪郭部を用いることはできても、
複数の被写体に共通した幾何学上の特徴箇所を基準とす
ることができず、このため合成用画像の位置バランスを
自動的に調整しながら画像合成することが難しいといっ
た第２の問題点があった。すなわち、具体的にはヘアサ
ロンでヘアースタイルの仕上がりイメージを予め客に見
てもらう等のため、種々のヘアースタイルのベース画面
に対して撮像した人物の顔を合成するシステムを考える
と、この場合に、ヘアースタイルと人物の顔との相対的
な位置バランスは主に人物の目の高さとヘアスタイルと
の位置関係で決まる。従来の画像合成装置では、この目
の位置認識を簡単に行うことができなかったため、合成
後の位置バランス調整の自動化ができず、合成終了ごと
にオペレータが全体のバランスを見ながらマニュアル調
整を行わざるを得なかった。

【０００５】また、この両目の位置認識を簡単に行うこ
とができないことにより、ヘアスタイルに対する取込み
画像の倍率調整が自動化できないここともなり、このた
めカメラからの距離を常に一定に保ちながら撮像する必
要があり、この点からも撮像時のセティングが面倒であ
るといった第３の問題点もあった。すなわち、この人の
顔とヘアスタイルの大きさについても、目の高さでバラ
ンスがとれていれば全体のバランスもとれているように
見えるため、合成前の顔の拡大・縮小率を決める際、目
の位置を基準にその左右の顔の輪郭部同士の幅を用いる
ことが最も妥当である。従来の画像合成装置では、この
目の位置認識を簡単に行うことができなかったため、目
の左右の顔の輪郭部を合成時の顔の拡大・縮小率を決め
る基準とすることができず自動化が難しかった。

【０００６】さらに、従来の画像合成装置では、人物を
カメラのレンズの前に直接向かわせて撮像するので、ど
うしてもレンズに視線がいって目線が不自然となり、ま
た撮される人にとっては取り込まれた後の自分の顔のイ
メージを撮像中に確認することができないために、撮り
直しが多くなるといった第４の問題点があった。そこ
で、請求項１記載の発明は、上記した従来の技術の有す
る第１の問題点に鑑みてなされたものであり、その目的
とするところは、その目的とするところは、バックの色
に関係なく被写体の撮像ができるため、合成画像の取り
込みが容易な画像合成装置を提供しようとするものであ
る。

【０００７】請求項２記載の発明は、上記した請求項１
記載の発明の目的に加え、次の点を目的とする。すなわ
ち、請求項２記載の発明は、上記した第２，第３の問題
点に鑑みてなされたものであり、その目的とするところ
は、ベース画像に対する合成用画像の倍率や位置バラン
スの調整を自動化して取扱いを容易にした画像合成装置
を提供しようとするものである。

【０００８】請求項３記載の発明は、上記した請求項
１，２記載の発明の目的に加え、次の点を目的とする。
すなわち、請求項３記載の発明は、上記した第４の問題
点に鑑みてなされたものであり、その目的とするところ
は、合成用として人の顔を撮像する際の被写体とカメラ
との間にミラーを設けることで、目線が自然で、かつ取
り込まれた後のイメージを自分で確認しながら撮像でき
る画像合成装置を提供しようとするものである。

【０００９】

【課題を解決するための手段】本発明は、上記した目的
を達成するためのものであり、以下にその内容を図面に
示した実施例を用いて説明する。請求項１記載の発明
は、図１に示すように、次の５つの構成を備えたことを
特徴する。

【００１０】第１は、データベースで、このデータベー
スには、ベース画面を成すベース画像データが格納され
ている。第２は、撮像装置(30)で、この撮像装置(30)
は、ベース画面の一部にはめ込む合成用の画像として、
被写体を撮像し、その撮像により取り込まれた取込み画
像データを出力するものである。

【００１１】第３は、エッジ強調手段(70)で、このエッ
ジ強調手段(70)は、撮像装置(30)からの取込み画像デー
タを入力し、入力した取込み画像データを構成する画素
すべてについてエッジ強調処理を施すことで、被写体の
エッジを構成する暗画素およびエッジを構成しない明画
素に二値化するものである。第４は、取込み画像調整手
段(111)で、この取込み画像調整手段(111)は、前記撮像
装置(30)からの取込み画像データを入力し、入力した取
込み画像データを、上記エッジ強調手段(70)からの暗画
素の位置情報にもとづいて前記ベース画像データのはめ
込み箇所の大きさに一致するように拡大または縮小した
後、出力するものである。

【００１２】第５は、画像はめ込み手段(112)で、この
画像はめ込み手段(112)は、取込み画像調整手段(111)か
らの取込み画像データおよび前記データベースからのベ
ース画像データを各々入力し、入力したベース画像デー
タのはめ込み箇所に取込み画像データをはめ込むことで
画像合成するものである。請求項２記載の発明は、上記
した請求項１記載の発明の特徴点に加え、図１に示すよ
うに、次の３つの構成を備えている。

【００１３】第１は、輪郭抽出手段(80)で、この輪郭抽
出手段(80)は、エッジ強調手段(70)からの暗画素を入力
し、入力した暗画素を、上下、左右あるいは斜めに隣接
して連なった暗画素の集合体である連結成分画素にまと
めた後、連結成分画素ごとに採番し、採番した連結成分
画素の各々について、その重心座標および連結成分画素
で囲まれた画素面積を示す連結画素データを算出するも
のである。

【００１４】第２は、両目認識手段(90)で、両目認識手
段(90)は、前記撮像装置(30)により取り込まれた人物の
顔のうち、ヘアスタイルと顔の位置バランスを決める両
目に対応した２つの連結成分画素を認識するために、上
記輪郭抽出手段(80)からの連結成分画素および連結画素
データを入力し、入力した連結画素データをもとに２つ
の連結成分画素同士を逐次比較して、その比較の結果、
両連結成分画素の重心座標のｘ成分同士およびｙ成分同
士が所定距離より離れていないこと、両連結成分画素の
ｘ成分が１つでも重複していないこと、及び連結成分画
素に囲まれた画素面積の差が所定範囲内であること、の
３条件をすべて満たす２つの連結成分画素を、両目に対
応する特定連結成分画素と認識するものである。

【００１５】第３は、特徴抽出手段(100)で、特徴抽出
手段(100)は、両目認識手段(90)により認識された特定
連結成分画素の重心同士の中点の座標を求め、求めた重
心同士の中点からｘ正方向及びｘ負方向に暗画素を各々
検索することで顔の左右の特定輪郭部を求め、求めた２
つの特定輪郭部の中点を顔のバランス上の中心点(ｘ，
ｙ)として、この中心点(ｘ，ｙ)から特定輪郭部までの
距離(ｄ)をもとに前記取込み画像調整手段(111)が取込
み画素データの拡大または縮小を行うために、当該中心
点(ｘ，ｙ)及び中心点(ｘ，ｙ)から特定輪郭部までの距
離(ｄ)を取込み画像調整手段(111)に出力するものであ
る。

【００１６】請求項３記載の発明は、上記した請求項
１，２記載の発明の特徴点に加え、撮像装置(30)が、図
３に示すように、次の３つの構成を備えている。第１
は、ミラー(31)である。第２は、貫通孔(33)で、この貫
通孔(33)は、ミラー(31)のほぼ中央に位置し、ミラー(3
1)を貫通するものである。

【００１７】第３は、カメラ(32)で、このカメラ(32)
は、前記ミラー(31)の裏側に位置し、前記貫通孔(33)を
通してミラー(31)の表面に写る被写体を撮像するもので
ある。

【００１８】

【作用】したがって、請求項１記載の発明によれば、
合成用画像のエッジ情報を得るのに、従来のキー信号の
ように被写体とバックとの色相差を利用せず、エッジ強
調処理といった信号処理を経て画像合成が行われる。請
求項２記載の発明によれば、上記した請求項１記載の発
明の作用に加え、次のような作用を奏する。

【００１９】すなわち、人の顔とヘアスタイルの大きさ
や位置のバランス上の要となる両目を認識することで、
その両目位置からベース画面にはめ込む際の基準となる
中心点(ｘ，ｙ)が、また中心点(ｘ，ｙ)から左右に向か
う顔の特定輪郭部までの距離(ｄ)から顔の拡大・縮小率
が各々求められ、これらをもとに画像合成がされるの
で、ほとんどの場合、１回の画像合成で顔とヘアスタイ
ルとの大きさや位置のバランスがとれた合成画像を得る
ことができる。

【００２０】請求項３記載の発明によれば、上記した請
求項１，２記載の発明の作用に加え、次のような作用を
奏する。すなわち、被写体である人がカメラ(32)を意識
することがなく、その目線は鏡を見ているときのように
自然なまま撮像される。また、取り込まれる自分の顔を
ミラー(31)で確認できる。

【００２１】

【実施例】図１〜２２は、本発明の第１実施例を示すも
のであり、図１は画像合成装置の機能ブロック図、図２
は画像合成装置のブロック図、図３はミラーカメラの正
面図、図４は画像合成の流れを示すフローチャート、図
５は図４のヘアスタイルのサブルーチンを示すフロー、
図６は図５の取込み画像データの取り込みのサブルーチ
ンを示すフローチャート、図７は図５の自動調整処理の
サブルーチンを示すフローチャート、図８は図７の前処
理のサブルーチンを示すフローチャート、図９は図５の
手動調整処理のサブルーチンを示すフローチャート、図
１０は図５の合成処理のサブルーチンを示すフローチャ
ート、図１１は図１０のワークファイル作成のサブルー
チンを示すフローチャート、図１２は図１０のコントラ
スト調整処理のサブルーチンを示すフローチャート、図
１３は図１０の肌色調整処理のサブルーチンを示すフロ
ーチャート、図１４は図１０のぼかし処理のサブルーチ
ンを示すフローチャート、図１５は図４のそのまんまフ
ォトのサブルーチンを示すフローチャート、図１６は認
識単位の説明図、図１７は連結成分画素の一例を示す説
明図、図１８は取込み画像の調整結果を示す説明図、図
１９はベース画像の説明図、図２０は肌色サンプリング
箇所を示す取込み画像、図２１は肌色調整処理の概念
図、図２２はぼかし処理の割合を示す説明図をそれぞれ
示す。

【００２２】図２中、10は、画像合成装置を示すもので
あり、この画像合成装置10は、人物の顔をビデオカメラ
等から合成画像として取り込み、予め内蔵されたベース
画像に対する合成画像の倍率や位置バランスを自動的に
調整し、調整後の合成画像をベース画面にはめ込むこと
で画像合成した後、プリントアウトする装置である。こ
のベース画面としては、例えばヘアスタイル、コスチュ
ーム、或いはアミューズメントと称する各種の面白い格
好等が納められており、これらのベース画面の内容に応
じてヘアサロンやブライダルサロン等での顧客サービス
として、或いは遊技場でのアミューズメントマシンとし
て利用されるものである。

【００２３】具体的に画像合成装置10は、図２に示すよ
うに、当該画像合成装置10を制御して内部に記憶された
各種データをもとに種々の画像処理や画像合成を行うコ
ンピュータ本体20と、ベース画面の一部にはめ込む合成
用の画像として、被写体を撮像し、その撮像により取り
込まれた取込み画像を映像信号に搬送させて出力する撮
像装置、例えばミラーカメラ30と、オペレータが当該画
像合成装置10を操作するための入力装置、例えばテンキ
ー40と、オペレータに対し操作案内及び取り込み画像や
合成後の画像を表示する表示装置、例えばテレビモニタ
50と、合成後の画像をプリントアウトするための印刷装
置、例えばビデオプリンタ60とを備える。

【００２４】上記コンピュータ本体20には、図２に示す
ように、ＣＰＵやメモリの他、記憶手段としてハードデ
ィスクやＲＡＭディスクを備えている。上記ハードディ
スクには、図２に示すように、例えばＭＳ−ＤＯＳ等の
ＯＳと、ベース画面を成すベース画像データが格納され
たデータベースファイルと、ディスク管理ファイルと、
本装置の納入時にセットされ、納入先の顧客により異な
るカスタマズ設定データが格納されたカスタマズファイ
ルとを備えている。

【００２５】前記ＲＡＭディスクには、前記ミラーカメ
ラ30により取り込まれた取込み画像データが保存のため
記憶された元ファイルと、同じ取込み画像データが処理
前のオリジナルデータとして記憶されたベースファイル
と、このベースファイルからの取込み画像データにベー
ス画像に対する倍率及び位置バランスの調整を施した
後、記憶されたワークファイルと、そのまんまフォトフ
ァイルとを備えている。

【００２６】また、コンピュータ本体20の内部には、図
１に示すように、次の５つの構成を備える。第１は、エ
ッジ強調手段70で、このエッジ強調手段70は、前記ミラ
ーカメラ30からの取込み画像データを入力し、入力した
取込み画像データを構成する画素すべてについてエッジ
強調処理を施すことで、被写体のエッジを構成する暗画
素およびエッジを構成しない明画素に二値化するもので
ある。

【００２７】第２は、輪郭抽出手段80で、この輪郭抽出
手段80は、エッジ強調手段70からの暗画素を入力し、入
力した暗画素を、上下、左右あるいは斜めに隣接して連
なった暗画素の集合体である連結成分画素にまとめた
後、連結成分画素ごとに採番し、採番した連結成分画素
の各々について、その重心座標および連結成分画素で囲
まれた画素面積を示す連結画素データを算出するもので
ある。

【００２８】第３は、両目認識手段90で、この両目認識
手段90は、前記ミラーカメラ30により取り込まれた人物
の顔のうち、ヘアスタイルと顔の位置バランスを決める
両目に対応した２つの連結成分画素を認識するために、
上記輪郭抽出手段80からの連結成分画素および連結画素
データを入力し、入力した連結画素データをもとに２つ
の連結成分画素同士を逐次比較して、その比較の結果、
両連結成分画素の重心座標のｘ成分同士およびｙ成分同
士が所定距離より離れていないこと、両連結成分画素の
ｘ成分が１つでも重複していないこと、及び連結成分画
素に囲まれた画素面積の差が所定範囲内であること、の
３条件をすべて満たす２つの連結成分画素を、両目に対
応する特定連結成分画素と認識するものである。

【００２９】第４は、特徴抽出手段100で、この特徴抽
出手段100は、両目認識手段90により認識された特定連
結成分画素の重心同士の中点の座標を求め、求めた重心
同士の中点からｘ正方向及びｘ負方向に暗画素を各々検
索することで顔の左右の特定輪郭部を求め、求めた２つ
の特定輪郭部の中点を顔のバランス上の中心点(ｘ，ｙ)
として、この中心点(ｘ，ｙ)及び中心点(ｘ，ｙ)から特
定輪郭部までの距離ｄを出力するものである。

【００３０】第５は、画像合成手段110で、この画像合
成手段110は、ミラーカメラ30からの取込み画像データ
及び前記データベースファイルからのベース画像データ
を入力し、入力した両データに予め各種処理を施した
後、上記特徴抽出手段100からの中心点(ｘ，ｙ)及び距
離ｄにもとづいてベース画像データのはめ込み箇所に取
込み画像データをはめ込むことで画像合成するものであ
る。

【００３１】また、画像合成手段110には、図１に示す
ように、上記特徴抽出手段100からの中心点(ｘ，ｙ)，
距離ｄ，前記ミラーカメラ30からの取込み画像データを
各々入力し、入力した中心点(ｘ，ｙ)及び距離ｄにもと
づいて前記ベース画像データのはめ込み箇所の大きさに
一致するように取込み画像データを拡大または縮小して
出力する取込み画像調整手段111と、この取込み画像調
整手段111からの取込み画像データおよび前記データベ
ースファイルからのベース画像データを各々入力し、入
力したベース画像データのはめ込み箇所に取込み画像デ
ータをはめ込むことで画像合成する画像はめ込み手段11
2とを備えている。

【００３２】前記ミラーカメラ30は、図３に示すよう
に、その中央に貫通孔33を備えたミラー31と、このミラ
ー31の貫通孔33裏側でレンズ面を手前に向けて設けら
れ、ミラー31表面に映されたままを貫通孔33を通して撮
像するカメラ、例えばビデオカメラ32とからなる。この
貫通孔33は、直径がおおよそ７，８ミリ¢程度で、この
貫通孔33を通してミラー31に映ったままを撮像するよう
にビデオカメラ32の位置出しがされている。

【００３３】前記テンキー40には、図示しないが、１〜
９の数字キーの他、やり直しキー，調整キー，シャッタ
ーキー，カーソル移動キー等の各種操作キーを備えてい
る。次に、このように構成された画像合成装置10の操作
および処理について、図４〜１５のフローに沿って説明
する。なお、ここでの処理は、すべて図１及び図２に示
すコンピュータ内でＣＰＵの制御にもとづいて行われ
る。

【００３４】図４に全体の流れを示す。まず、オペレー
タが装置の電源を投入すると、第０ステップS0でシステ
ムタイトル、社名等を示す「オープニング画面」が前記
テレビモニタ50に表示された後、フローが次の第１ステ
ップS1に移行する。第１ステップS1では、「デモ画面」
がテレビモニタ50に表示される。「デモ画面」のバック
グランドは、毎月自動的に変化する１２種類と、さらに
各月ごとに趣向の異なる「エレガント」，「ポップ」の
２種類とがあり、全部で２４種類が用意されている。顧
客の好みで「エレガント」又は「ポップ」のどちらかを
選択でき、その設定は前記カスタマズファイルに予め記
憶されている。デモが暫く続いた後、次の第２ステップ
S2に移行する。

【００３５】第２ステップS2では、「メニュー画面」が
テレビモニタ50に表示される。ここでは、メニューの内
容が合成前後の例を用いてわかり易く表示されるととも
に、それぞれに前記テンキー40のキー番号が付されて、
いずれかのメニューの選択が指示される。具体的には、
１〜４番の数字キーに各々対応して、「ヘアスタイ
ル」、「コスチューム」、「アミューズメント」及
び「そのまんまフォト」が各々表示がされる。

【００３６】ここで、「ヘアスタイル」は、各種ヘア
スタイルのベース画像に自分の顔を合成するメニュー
で、主としてヘアサロン向けである。また「コスチュ
ーム」は、ドレスや和服の着映え、或いはこれらと髪型
との取り合わせを見るために、種々の衣服のベース画像
に対し好みのヘアスタイルのベース画像を選び、その後
に同じように自分の顔を合成することで実際に試着しな
くても試着後の全体の雰囲気を確かめることができ、主
としてブライダルサロンや貸衣装店向けである。

【００３７】これに対し、「アミューズメント」で
は、例えばボディビラー、ぬいぐるみ、相撲取り或いは
肖像画等のいろいろな等身大の格好のベース画像に、同
じく自分の顔を合成して、その組合せの面白さを楽しむ
もので、主として遊技場のでのアミューズメントマシン
として、あるいは上記ヘアサロン等での「ヘアスタイ
ル」のオプションとして待ち時間用等に利用される。

【００３８】さらに、「そのまんまフォト」があり、
ここでは特に画像合成はしないが、連続撮映ができ、ミ
ラーカメラ30で撮した自分の顔をビデオプリンタ60で連
続写真風に出力できる。次の第３ステップS3で、オペレ
ータが以上の４つのメニューの何れかを選択すると、対
応する４つのメニュー処理（第４〜７ステップS4,S5,S
6,S7）のうち選択された何れかのメニュー処理が開始す
る。

【００３９】以下、「ヘアスタイル」が選択された場
合のメニュー処理である第４ステップS4の詳細につい
て、図５に沿って説明する。まず、図５の第２０ステッ
プS20で、カスタマズファイル設定が「合成繰り返し」
かどうかが判断される。すなわち、以前に選択されたメ
ニューで前記ベースファイルが作成され、このベースフ
ァイルが再利用できる場合に、同じ取込み画像データの
取り込み及び調整をスキップさせるための判断が行われ
る。ベースファイルが既に作成されている場合には、フ
ローが第１００ステップS100の前にジャンプし、ベース
ファイルが未だ作成されていない場合には、次の第３０
ステップS30から始まる。

【００４０】この第３０ステップS30では、取込み画像
データの取り込みが行われる。そのフロー詳細を図６に
示す。最初に、第３１ステップ31で、ミラーカメラ30か
らの画像取込みが行われる。オペレータは、図３のミラ
ーカメラ30の前に座り、ミラー31に映った自分の顔が真
っ直ぐで傾いていないかを確認した後、前記テンキー40
のシャッターキーを押す。この際、逆光の場合はライト
等で顔を照らす必要があるが、バックの色は一切気にす
る必要はない。また、ミラー31からの距離も８０cm位が
適当ではあるが、これも後で倍率が自動調整されるので
極端に近づいたり離れてさえしていなければよい。

【００４１】撮像が終わると、所定画素数、例えば本実
施例では６４０×４００画素の取込み画像データが、映
像信号に搬送されてコンピュータ本体20内に送られる。
映像信号を受けたコンピュータ本体20内では、図には示
さないが、映像信号から取込み画像データを取り出した
後、取り出した取込み画像データのサンプリングが行わ
れ、１画素につき８ビット（０〜２５５階調）のデジタ
ル信号に変換される。なお、この変換は、前記ミラーカ
メラ30内で予め行うようにしてもよいし、また、ミラー
カメラ30に用いるカメラとしてビデオカメラ32ではなく
デジタルスチルカメラを用い、取込み画像データをデジ
タルスチルカメラから直接得るようにすることもでき
る。

【００４２】その後、このようにコンピュータ本体20内
に送られた取込み画像の顔がテレビモニタ50上に映し出
される。これを見たオペレータによりテンキー40のやり
直しキーが押されると、上記と同様にして再度、画像の
取り込みができる。やり直しキーが押されない場合に
は、取込み画像データが前記ＲＡＭディスク内の元ファ
イルに格納されて元ファイルが作成され（第３２ステッ
プS32）、その後、この元ファイルの内容がそのままベ
ースファイルにコピーされて（第３３ステップS33）、
当該取込み画像データの取り込みが終了する。

【００４３】続いて図５のフローに戻り、次の第４０ス
テップS40で「初回の調整処理か」否かが判断される。
すなわち、通常、初めての場合は自動調整処理がされる
が、やり直しの場合は一度自動調整処理が失敗したので
自動調整がきかないと判断して、自動調整処理をスキッ
プして手動に切り換えるためのものである。やり直しの
場合は、フローが第９０ステップS90の前にジャンプす
る。

【００４４】初めての場合は、次の第５０ステップS50
において自動調整処理が行われる。自動調整処理では、
取込み画像データの倍率調整のための拡大・縮小率とし
て、人の顔のバランス上の中心をなす両目位置を自動認
識し、その両目位置をもとに顔の中心点(ｘ，ｙ)を求め
るとともに、その中心点(ｘ，ｙ)から左右の顔の特定輪
郭部までの距離ｄが算出される。自動調整処理のフロー
詳細を図７に示す。

【００４５】最初に、第１３０ステップS130で、前記第
３３ステップS33において作成されたベースファイルか
ら取込み画像データが読み込まれた後、次の第１４０ス
テップS140で、前処理が行われる。この前処理では、両
目認識の準備として取込み画像データに種々の信号処理
が施される。具体的に前処理のフローについて説明する
と、図８に示すように、まず第１４１ステップS141で、
以降の処理時間短縮のため１／２の原画像圧縮が行われ
る。すなわち、ベースファイルから読み込まれた取込み
画像データに対し、その総画素を１つ置きに間引いて、
ｘ，ｙの各軸方向に１／２、面積で１／４の圧縮処理が
される。従って、前記したように最初は６４０×４００
画素であった取込み画像データは、この処理後は３２０
×２００画素まで圧縮される。

【００４６】続く第１４２ステップS142では、圧縮され
た取込み画像中の荒削りな画素や残留しかけてしまった
不要な画素等を除去することで、取込み画像からノイズ
感をなくすために、スムージングがかけられる。具体的
には、図１６に示すように、取込み画像中の３×３の画
素を１つの認識単位として取扱い、その認識単位内の画
素９個をその階調値順に並べたときに、階調値最大の画
素の階調値を５番目に大きな階調値で置き換える処理を
行う。この処理を１つの認識単位について終えると、次
に認識単位をｘ，ｙの何れかの方向に１画素分ずらして
同様な処理をし、これを繰り返して取込み画像中のあら
ゆる組合せの認識単位について行う。

【００４７】次の第１４３ステップS143では、図１の前
記エッジ強調手段70により、エッジ強調のための画素階
調値の二値化が行われる。すなわち、図１６に示すよう
に、上記スムージングと同様に取込み画像中の３×３の
画素を認識単位として取扱い、その真ん中の画素を基準
画素とし、その基準画素周囲の８画素の各々について、
その画素と基準画素との階調値差の正負が判断される。
この結果、各画素の階調値が基準画素の階調値より大き
い場合は「明」と、小さい場合は「暗」と各々定義して
二値化される。この二値化の処理を１つの認識単位につ
いて終えると、次に認識単位をｘ，ｙの何れかの方向に
１画素分ずらして同様な処理をし、これを繰り返して取
込み画像中のあらゆる組合せの認識単位について行う。

【００４８】このような処理を取込み画像中のすべての
画素について行うと、１つの画素に対して、最大８回の
二値化がされることとなるが、より多く「明」と判断さ
れた画素を最終的な「明画素（階調値：２５５）」と、
より多く「暗」と判断された画素を最終的な「暗画素
（階調値：０）」とそれぞれ判定され、この判定に応じ
て全ての画素の階調値が「０」又は「２５５」へ置き換
えられる。この置換え処理により、取込み画像のエッジ
部分が階調値０の黒色の画素として、階調値２５５の白
色の画素中に浮き彫りにされ、いわゆるエッジ強調が行
われたこととなる。

【００４９】次の第１４４ステップS144では、図１の前
記エッジ強調手段70で判定された暗画素を入力した前記
輪郭抽出手段80により、入力した暗画素のグルーピング
及び採番が行われる。すなわち、図１７に示すように、
全暗画素を、上下、左右あるいは斜めに隣接して連なっ
た暗画素の集合体である連結成分画素に区分し、その、
区分した連結成分画素を所定数、例えば本実施例では１
２８から順に採番する。

【００５０】次の第１４５ステップS145も、輪郭抽出手
段80により行われる。ここでは、採番された各連結成分
画素について、その重心座標および連結成分画素で囲ま
れた画素面積を示す連結画素データが各々算出され、連
結成分画素の特性が把握される。この段階では、各連結
成分画素が顔のどの部分に相当するかは判らないが、
目、眉毛、鼻あるいは口等の顔のすべての要素の位置や
面積が把握されたこととなる。そして、この連結成分画
素ごとの連結画素データが、図１の前記両目認識手段90
に出力されることで、当該前処理が終了する。

【００５１】続いて図７のフローに戻り、次の第１５０
ステップS150では、輪郭抽出手段80からの連結画素デー
タを入力した図１の両目認識手段90により、両目が認識
される。すなわち、ヘアスタイルと顔の位置バランスを
決める両目に対応した２つの連結成分画素を認識するた
めに、入力した連結画素データをもとに、一の連結成分
画素と他の連結成分画素とを比較する。具体的には、以
下の３条件を満たすかどうかを判断する。

【００５２】（ａ）当該両連結成分画素の重心座標につ
いて、そのｘ成分同士およびｙ成分同士が、所定距離よ
り離れていないこと。例えば本実施例では、ｘ成分同士
の距離が３０画素以上１００画素以下で、かつｙ成分同
士の距離が６画素以内であること。（ｂ）当該両連結成分画素のｘ成分が１つでも重複して
いないこと。

【００５３】（ｃ）当該各連結成分画素に囲まれた画素
面積同士の差が所定範囲内であること。例えば本実施例
では、各連結成分画素に囲まれた２つの画素面積につ
き、その一方の画素面積が他方の画素面積の３倍以内で
あること。この判断をすべての連結成分画素の組合せに
ついて行い、上記３条件をすべて満たす２つの連結成分
画素を、両目に対応する特定連結成分画素と認識する。

【００５４】次の第１６０ステップS160及び第１７０ス
テップS170は、図１の特徴抽出手段100により行われ
る。ここでは、画像をはめ込む際の基準点である顔の位
置バランス上の中心点の座標(ｘ，ｙ)、及び取込み画像
データの拡大・縮小倍率を各々決定するために中心点
(ｘ，ｙ)から真横の特定輪郭部までの距離ｄが求められ
る。

【００５５】まず、第１６０ステップS160では、顔の輪
郭のうち、両目位置から左右真横の、いわば両こめかみ
の辺りの特定輪郭部の位置を求める。すなわち、上記ス
テップ160で認識された特定連結成分画素の重心同士の
中点をまず求め、求めた重心同士の中点からｘ正方向及
びｘ負方向に暗画素の有無を各々検索し、最外郭の暗画
素を特定輪郭部と判断する。続く第１７０ステップS170
で、求めた特定輪郭部同士の中点を顔の位置バランス上
の中心点(ｘ，ｙ)として、その中心点(ｘ，ｙ)から特定
輪郭部までの距離ｄが計算され、これら中心点の座標
(ｘ，ｙ)と中心点(ｘ，ｙ)から特定輪郭部までの距離ｄ
が図１の前記取込み画像調整手段111に出力されると、
当該自動調整処理が終了する。

【００５６】続いて図５のフローに戻り、次の第６０〜
８０ステップS60,S70,S80では、上記自動調整処理の結
果、うまく調整処理が行われたか否かが判断される。具
体的に、第６０ステップS60では、図１８に示すよう
に、前記第３１ステップS31でテレビモニタ50上に映し
出された顔に重ねて、上記で求めた中心点(ｘ，ｙ)で交
差した十字線が表示され、オペレータによる画像確認が
行われる。すなわち、テレビモニタ50を見たオペレータ
は、十字線がおおよそ両目を結んだ中心で交差している
場合、自動調整がうまく行われたとしてシャッターキー
を押すし、顔が傾いている等の理由で十字線がずれてい
る場合はやり直しキーを押す。これに対し、顔は真っ直
ぐに撮れてるのに十字線が両目中心からずれている場合
は、画像取り込み時の光の加減等により自動調整がうま
くできなかったと判断し、この場合には調整キー押す。
これらのキー操作は、第７０ステップS70及び第８０ス
テップS80で判断され、やり直しキーが押されれば、フ
ローは前記第３０ステップS30の前に戻り画像データの
取り込みから再度やり直すし、シャッターキーが押され
れば、次の第９０ステップS90をスキップする。

【００５７】これに対し、調整キーが押されると、次の
第９０ステップS90で手動調整処理が行われる。この手
動調整処理は、そのフロー詳細を図９に示すように、前
記した自動調整処理と同様にベースファイルからの読み
込みを行った後、自動調整処理で行われた前記前処理
（第１４０ステップS140）及び両目認識（第１５０ステ
ップS150）をせずに、オペレータのキー操作で前記中心
点及び特定輪郭部を直接指定するものである。

【００５８】まず、図９に示すように、第９１ステップ
S91でベースファイルから取込み画像データを読み込ん
だ後、次の第９２ステップS92では、手動による中心点
(ｘ，ｙ)の指定が行われる。具体的には、オペレータ
が、テレビモニタ50を見ながらテンキー40の上下、左右
のカーソル移動キーを操作して表示された顔上の十字線
を移動させ、その交点がおおよそ両目中心を結んだ線の
真ん中にくるように位置合わせを行う。

【００５９】続く第９３ステップS93では、オペレータ
が左右のカーソル移動キーを用いて、十字線のうち縦線
を顔の左右の輪郭部に合わせて輪郭取りを行う。左右の
カーソル移動キーは、その右のキーが縦線を左右に等間
隔に外側に広げ、左のキーが内側に縮めるように動くの
で、上記第９２ステップS92での中心点(ｘ，ｙ)の位置
合わせがうまく行われていない場合には左右輪郭部が同
時には合わないことがあるが、この場合、図示しない
が、やり直しキーを押すことで第９２ステップS92の中
心点(ｘ，ｙ)の位置合わせを再度繰り返すことができ
る。中心点(ｘ，ｙ)の位置合わせ及び輪郭取りがうまく
行われた場合には、シャッターキーを押すことにより、
これら中心点の座標(ｘ，ｙ)及び中心点(ｘ，ｙ)から右
又は左の特定輪郭部までの距離ｄが確定し、当該手動調
整処理が終了する。

【００６０】続いて図５のフローに戻り、次の第１００
ステップS100で、データベース、この場合は「ヘアスタ
イル」の前記データベースファイルから合成したいヘア
スタイルが選択される。まず、各種ヘアスタイルが所定
の配列、例えばテンキー40と同じ１〜９の番号が付され
た３×３の配列でテレビモニタ50上に表示され、何れか
のキー操作が指示される。何れかのキーが押されること
でデータベースの選択が行われる。なお、ここで選択の
対象となっている各ヘアスタイルにおいて、図１９に示
すように、取込み画像のはめ込み箇所である顔部分は、
そのデータのＲＧＢすべてが階調値２５５に予め設定さ
れている。

【００６１】次の第１１０ステップS110でやり直しキー
が押されると、画像データの取り込みから繰り返される
が、シャッターキーが押されると次の合成処理（第１２
０ステップS120）の処理が開始する。この合成処理（第
１２０ステップS120）は、図１の前記画像合成手段110
により行われ、図１０に示すように、前記管理テーブル
ファイル上でベースファイルからの取込み画像データに
位置・倍率調整を施すことでワークファイルを作成する
ワークファイル作成（第１８０ステップS180）と、この
取込み画像及びベース画像全体の明るさを予め所定基準
に近づける補正をするコントラスト調整処理（第１９０
ステップS190）と、この取込み画像の顔の肌色と選択さ
れたベース画像の肌色とを所定比率であゆみ寄らせる肌
色調整処理（第２００ステップS200）と、この合成時の
境界を成す両肌色部分に対し、合成による違和感を除く
ためのぼかし処理（第２１０ステップS210）と、これら
一連の処理が施されたベース画像に処理後の取込み画像
をはめ込む画像はめ込み処理（第２２０ステップS220）
とからなる。

【００６２】以下、合成処理（第１２０ステップS120）
の詳細について、図１０に沿い、また図１１〜１４の各
処理フローを用いて説明する。図１０の第１８０ステッ
プS180では、ワークファイル作成が行われる。このフロ
ー詳細を図１１に示す。まず、第１８１ステップS181で
は、管理テーブルファイル上にベースファイルから取込
み画像データが読み込まれる。ここで、管理テーブルフ
ァイルは、取込み画像の位置・倍率調整を行うために予
め用意されている領域であり、データベースと同じ位置
座標データ(ｘ，ｙ)を備えている。

【００６３】次の第１８２ステップS182では、ベースフ
ァイルから読み込んだ取込み画像データの肌色の基準と
して、図２０に示すように、両目の下付近の８×８の６
４画素それぞれをサンプリング抽出し、その後、その計
１２８個すべての画素のＲＧＢの平均値：ＳＲ，ＳＧ，
ＳＢが算出され、セットされる。次の第１８３ステップ
S183は、図１の前記取込み画像調整手段111により行わ
れ、ここでは、管理テーブルファイル上に読み込まれた
取込み画像データに、位置・倍率調整がかけられる。す
なわち、前記第１６０ステップS160において特徴抽出手
段100から送られた中心点の座標(ｘ，ｙ)を管理テーブ
ルファイルの位置座標データに照らし、その中心点
(ｘ，ｙ)をデータベースの所定のはめ込み基準に合わせ
ることで、取込み画像データが所定のはめ込み箇所位置
に移される。また、中心点の座標(ｘ，ｙ)とともに送ら
れてきた中心点(ｘ，ｙ)から特定輪郭部までの距離ｄ、
及びデータベースのはめ込み基準から左右のはめ込み箇
所エッジまでの所定距離をもとに、その両者の比率で取
込み画像データが拡大又は縮小される。

【００６４】その後、位置・倍率調整後の取込み画像デ
ータによりワークファイルを再び書き換え（第１８４ス
テップS184）、一方で、前記第１００ステップS100で選
択されたヘアスタイルのベース画像データを、図１，２
のデータベースファイルからデータベースワークに転送
する（第１８５ステップS185）と、当該ワークファイル
作成が終了する。なお、ここでデータベースワークは、
ベース画像データを処理するために予め用意されている
領域である。

【００６５】続いて図１０のフローに戻り、次の第１９
０ステップS190でコントラスト調整処理が行われる。コ
ントラスト調整処理は、取り込んだ画像が余りに暗かっ
たり明るかったりすると合成後の全体の明るさに影響す
るので、取込み画像及びベース画像全体の明るさを予め
所定基準に各々近づけるための処理である。具体的に
は、その補正対象の色のうち基準としてはＲのみを使用
することとし、取込み画像及びベース画像の全画素のＲ
ＧＢに対し、基準となるＲ（ＡＲ）と前記取込み画像の
肌の平均値のＲ（ＳＲ）との差の１／２づつを増減して
明るさの補正をするものである。そのフロー詳細を図１
２に示す。

【００６６】まず第１９１ステップS191では、図２の前
記カスタマズファイルから所定の肌の基準値ＡＲ、例え
ば階調値２１０を読み込む。次の第１９２ステップS192
及び第１９３ステップS193では、前記第１８２ステップ
S182でサンプリングされた取込み画像の肌の平均値ＳＲ
を基準値ＡＲから引いて絶対値をとった後、２で割って
算出された平均値を、ＡＲとしてセットする。

【００６７】そして、次の第１９４ステップで、データ
ベースワーク上のベース画像データの全画素のＲＧＢか
ら平均値ＡＲを減算するとともに、次の第１９５ステッ
プS195で、前記第１８４ステップS184でワークファイル
に書き込んだ位置・調整処理後の取込み画像データの全
画素のＲＧＢに平均値ＡＲを加算すると、当該コントラ
スト調整処理が終了する。

【００６８】続いて図１０のフローに戻り、次の第２０
０ステップS200で肌色調整処理が行われる。この肌色調
整処理は、図２１に示すように、まず所定のあゆみ寄り
比率（ＤＰ，ＳＰ）から修正基準値（ＡＡＲ，ＡＡＧ，
ＡＡＢ）を求め、求めた修正基準値（ＡＡＲ，ＡＡＧ，
ＡＡＢ）を一旦平均階調値１２８を基準とする肌色の調
整比（ベース画像：ＤＣＲ，ＤＣＧ，ＤＣＢ、取込み画
像：ＳＣＲ，ＳＣＧ，ＳＣＢ）として算出した後、ベー
ス画像データ及び取込み画像データのの全画素の各ＲＧ
Ｂに対し、対応する肌色の調整比を個々に乗算すること
で、肌色の調整を行うものである。そのフロー詳細を図
１３に示す。

【００６９】まず、第２０１ステップS102で、ベース画
像データの肌色の基準値（ＤＲ，ＤＧ，ＤＢ）を読み込
む。この肌色の基準値（ＤＲ，ＤＧ，ＤＢ）は、図１，
２の前記データベースファイルに予め記憶、設定されて
いるもので、例えば赤色の基準値ＤＲとして階調値２１
０、緑色の基準値ＤＧとして階調値１５０、青色の基準
値として階調値１２５がデータベースファイルから各々
読み出される。

【００７０】次の第２０２ステップS202では、前記第１
８２ステップS182でサンプリングされた取込み画像の肌
色の平均値、すなわち赤色の平均値ＳＲ，緑色の平均値
ＳＧ及び青色の平均値ＳＢが各々読み出される。また、
次の第２０３ステップS203では、ベース画像のあゆみ寄
り比率ＤＰ及び取込み画像のあゆみ寄り比率ＳＰが、図
２の前記カスタマズファイルから各々読み込まれる。あ
ゆみ寄り比率ＤＰ，ＳＰは、システム導入時に顧客の要
望に応じて予め設定されるもので、例えば当該「ヘア
スタイル」のメニュー処理では合成後も取り込んだ状態
の肌色に近くするために取込み画像側に大きな比率が設
定され、読み込まれる。例えば、図２１に示すように、
ベース画像のあゆみ寄り比率ＤＰとして「３」、取込み
画像のあゆみ寄り比率ＳＰとして「７」が各々設定さ
れ、読み込まれる。なお、アミューズメントが選択され
た場合には面白さを強調するためにベース画像寄りに設
定される場合も多い。

【００７１】次の第２０４ステップS204では、上記各あ
ゆみ寄り比率ＤＰ，ＳＰからＲＧＢごとの修正基準値、
すなわち赤色の修正基準値ＡＡＲ，緑色の修正基準値Ａ
ＡＧ及び青色の修正基準値ＡＡＢが算出される。具体的
には、以下の（１式）〜（３式）が用いられる。ＡＡＲ＝（ＳＰ×ＤＲ＋ＤＰ×ＳＲ）／（ＤＰ＋ＳＰ）（１式）ＡＡＧ＝（ＳＰ×ＤＧ＋ＤＰ×ＳＧ）／（ＤＰ＋ＳＰ）（２式）ＡＡＲ＝（ＳＰ×ＤＢ＋ＤＰ×ＳＢ）／（ＤＰ＋ＳＰ）（３式）修正基準値ＡＡＲ，ＡＡＧ，ＡＡＢは、これらの式から
判るように、ベース画像の肌色の基準値ＤＲ，ＤＧ，Ｄ
Ｂ及び取込み画像の肌色の平均値ＳＲ，ＳＧ，ＳＢを上
記各あゆみ寄り比率ＤＰ，ＳＰに応じて盛り込んで１つ
の新たな基準値にまとめたものである。

【００７２】次の第２０５ステップS205及び第２０６ス
テップS206では、ベース画像及び取込み画像についてＲ
ＧＢごとの肌色の調整比が各々算出される。ここで求め
られる各調整比は、平均階調値１２８を、上記で修正基
準値を求める前の基準値又は平均値に対する修正基準値
の比で変化させたものである。具体的には、第２０５ス
テップS205で、ベース画像の肌色の調整比、すなわち赤
の調整比ＤＣＲ，緑の調整比ＤＣＧ及び青の調整比ＤＣ
Ｂが、以下の（４式）〜（６式）により算出される。

【００７３】ＤＣＲ＝ＡＡＲ×１２８／ＤＲ（４式）ＤＣＧ＝ＡＡＧ×１２８／ＤＧ（５式）ＤＣＢ＝ＡＡＢ×１２８／ＤＢ（６式）また、第２０６ステップS206では、取込み画像の肌色の
調整比、すなわち赤の調整比ＳＣＲ，緑の調整比ＳＣＧ
及び青の調整比ＳＣＢが、以下の（７式）〜（９式）に
より算出される。

【００７４】ＳＣＲ＝ＡＡＲ×１２８／ＳＲ（７式）ＳＣＧ＝ＡＡＧ×１２８／ＳＧ（８式）ＳＣＢ＝ＡＡＢ×１２８／ＳＢ（９式）次の第２０７ステップS207及び第２０８ステップS208で
は、前記コントラスト調整処理後のベース画像及び取込
み画像の全画素の各ＲＧＢに対し、上記で求めた対応す
る各調整比を用いた肌色調整処理が各々施される。

【００７５】具体的には、第２０７ステップS207で、以
下の（１０式）〜（１２式）に示すように、ベース画像
の全画素のＲは上記ベース画像の赤色の調整比ＤＣＲ、
Ｇは緑の調整比ＤＣＧ、Ｂは青の調整比ＤＣＢを各々乗
じて平均階調値１２８で割り込んだ値で各々置き換えら
れる。Ｒ←Ｒ×ＤＣＲ／１２８（１０式）Ｇ←Ｇ×ＤＣＧ／１２８（１１式）Ｂ←Ｂ×ＤＣＢ／１２８（１２式）同様にして、第２０８ステップS208では、以下の（１３
式）〜（１５式）に示すように、取込み画像の全画素の
各ＲＧＢは、対応する前記取込み画像の調整比ＳＣＲ，
ＳＣＧ，ＳＣＢを用いて算出された値で各々置き換えら
れると、当該肌色調整処理が終了する。

【００７６】Ｒ←Ｒ×ＳＣＲ／１２８（１３式）Ｇ←Ｇ×ＳＣＧ／１２８（１４式）Ｂ←Ｂ×ＳＣＢ／１２８（１５式）続いて図１０のフローに戻り、次の第２１０ステップで
ぼかし処理が行われる。ぼかし処理は、図１９のはめ込
み箇所の境界周囲のベース画像及び取込み画像の肌色部
分に対し、両肌色部分の色を互いににじませる処理であ
る。より詳しくは、図２２に示すように、境界を成す一
画素（以下「単位境界線」という。）の左右又は上下の
所定個数の画素に対し、単位境界線を中心に、ヘアスタ
イル側にベース画像の割合を徐々に増加させ、顔中心側
に減少させる処理を行う。そして、この処理を境界線に
沿って１周させ、境界線全体を目立たなくさせる処理で
ある。このフロー詳細を図１４に示す。

【００７７】まず、第２１１ステップS211及び第２１２
ステップS212で、ぼかし処理を施す画素を取り込む。第
２１１ステップS211で、ベース画像と取込み画像の単位
境界線からベース画像側にｎ個、例えば８個まで離れた
各画素の階調値をすべて取り込み、第２１２ステップS2
12では、同様に取込み画像側に８個まで離れた各画素の
階調値をすべて取り込む。そして、これら１６個の画素
を一つの処理単位とする。

【００７８】次の第２１３ステップS213では、取り込ん
だ各画素の階調値を変化させる。すなわち、単位境界線
の両隣の階調値を基準として、この両階調値を図２２に
示す所定割合に調合した階調値で、ベース画像側の画素
８個の階調値すべてを順に置き換えていく。同様に、第
２１４ステップS214では、取込み画像側の画素８個の階
調値すべてを所定割合に調合した階調値で置き換えて行
く。

【００７９】その後、当該単位境界線の左右又は上下の
次の処理単位に進んで（第２１６ステップS216）同様に
置換え処理をし、これを繰り返して第２１５ステップS2
15で境界線上を１周したと判断した場合には、当該ぼか
し処理が終了する。次に図１０の第２２０ステップS220
の画像はめ込み処理で、以上の種々の処理（第１８０〜
第２１０ステップS180,S190,S200,S210）を施したデー
タベースワーク上のベース画像データのはめ込み箇所に
対し、処理後のワークファイルをはめ込むと、当該合成
処理が終了し、同時に第４ステップS4であるヘアスタ
イルのメニュー処理も終了する。

【００８０】このメニュー処理の終了と同時に、図４の
フローの第８ステップS8で、合成画像の表示がされる。
なお、上記した画像合成の処理はコンピュータ内の処理
なので、オペレータが前記第６０ステップS60でシャッ
ターキーを押すと、テレビモニタ50上に表示されていた
取込み画像は、そのヘアスタイルが選択したヘアスタイ
ルに即座に取り換えられるものである。

【００８１】一方、前記第３ステップS3でコスチュー
ムが選択された場合には、図５の前記第１００ステップ
S100ではヘアスタイルのみ選択されたのに対し、コスチ
ューム及びヘアスタイルのベース画像データが各々選択
され、のヘアスタイルの場合と同様にヘアスタイルの
ベース画像データに対する取込み画像の合成処理が行わ
れた後、第８ステップS8で合成画像が表示される。

【００８２】また、アミューズメントが選択された場
合は、アミューズメントのベース画像データのみが選択
され、このアミューズメントのベース画像データに対す
る取込み画像の合成処理がヘアスタイルの場合と同様に
行われた後、同様に合成画像が表示される。ただ、これ
らコスチュームやアミューズメントの場合は、前記
第２００ステップS200の肌色調整処理において、ベース
画像データに対する肌色調整、すなわち第２０５ステッ
プS205及び第２０７ステップS207に対応する処理は行わ
れない。

【００８３】これに対し、そんまんまフォトが選択さ
れた場合には、そのメニュー処理である第７ステップS7
では、図１５に示すように、第２３０ステップS230でミ
ラーカメラ30からの取込み画像データが前記第３１ステ
ップS31と同様に取り込まれ、これを連続撮像の場合に
は繰り返した後（第２４０ステップS240）、取込み画像
データがそのまま出力され、第８ステップS8で表示され
る。

【００８４】このように何れかのメニュー処理がされ、
その結果が第８ステップS8で表示された後は、次の図４
の第９ステップS9で、表示のみか否かが判断され、表示
のみの場合は図２のカスタマイズファイルに予め設定さ
れている戻り先Ａ〜Ｃの何れかに戻されるが、表示のみ
でない場合には、次の第１０ステップS10で、前記ビデ
オプリンタ60により、合成後の画像が印画紙にプリン
ト、出力される。この場合にも、種々のプリントパター
ンが前記カスタマイズファイルに予め設定され、これに
従って顧客の好みのプリントを行わせることができる。

【００８５】プリント後は、上記の戻り先Ａ〜Ｃの何れ
かに戻され、続けて別のメニューを選択することができ
る。システムを終了させたいときは、この時に限らず、
電源を切ることで何時でも強制終了させることができ
る。図２３，２４は、本発明の第２実施例を示すもので
あり、図２３は画像処理の概念説明図、図２４は画像の
角度調整を示す説明図である。

【００８６】本第２実施例の特徴は、データベースファ
イルとして、図２３に示すように、３つのデータベース
ファイルを使用している。第１は、変身用データベース
で、この変身用データベースは、先に説明した第１実施
例のデータベースファイルに相当し、ベース画面として
は、例えばヘアスタイル、コスチューム等が格納されて
いる。

【００８７】第２は、ぼかし用データベースで、透明度
を管理するためのものである。ぼかし用データベースの
最内周の丸で囲まれた中央部の透明度は、１００％であ
る。そして、最外周の丸で囲まれた外側のハッチングが
部分の透明度は、０％である。また、最内周の丸と最外
周の丸で囲まれたドーナツ型の部分の透明度は、中心か
ら周囲に向かって１〜９９％に次第に変化している。

【００８８】第３は、肌色調整用データベースで、図２
３にハッチングを付した首や耳等の肌色を管理するため
のものである。なお、肌色調整用データベースは、変身
用データベースのベース画像にもとづいて作成され、当
該ベース画像に首や耳のほか、手や他の肌の部分が見え
る際には、その箇所の肌色も管理する。つぎに、本第２
実施例による画像合成手順を、図２３，２４にもとづい
て説明する。

【００８９】まず、図２のミラーカメラ30から取り込ん
だデータを、図２３に示すように、ワークデータＡに格
納する。ワークデータＡに格納した後、つぎの５つの処
理を行う。第１にフィルタ処理を行う。このフィルタ処
理により、画像のノイズを除去する。

【００９０】第２に、ブライトネス調整を行う。このブ
ライトネス調整では、画像全体のＲ，Ｇ，Ｂの階調（０
〜２５５）を上げ、輝度を１０〜２０％向上する。この
ように、輝度を上げるには、撮影時の照明が一般的に暗
く、ミラーカメラ30からの取り込みが暗いためである。
第３に、コントラスト調整を行う。

【００９１】まず、画像全体のヒストグラム（階調の分
布）を取得する。つぎに、画像全体のレンジを拡大す
る。例えば、図２のミラーカメラ30から取り込んだデー
タ、「０〜２５５」階調をヒストグラムの集中する中央
部分「１５０」階調（「５０」〜「２００」）に有効レ
ンジを設定する。その際の下限範囲は、「２０」〜「５
０」階調まで、又、上限範囲は、「２００」〜「２３
０」階調まで上下する。さらに、その際の下限、「５
０」を「０」に、上限、「２００」を「２５５」にレン
ジ拡大させる。

【００９２】その処理結果として、画像の明暗、輪郭が
強調される。つぎに、顔全体の輪郭を取得する。その
後、第４に、画像の拡大・縮小を行う。すなわち、画像
の任意の中心点を考慮し、拡大・縮小処理を行う。中心
点を考慮するのは、拡大・縮小した際に、顔の位置がフ
レーム上ずれないようにするためである。

【００９３】第５に、画像の角度調整（回転）を行う。
すなわち、図２４に示すように、画像の左目を中心点と
し、回転処理を行う。まず、目の横線と、この横線の中
間点との直交線を取る。つぎに、直交線と垂線との交点
を中心点とし、画像を角度θだけ回転する。つぎに、処
理後のワークデータＡとぼかし用データベースとを使用
して、図２３に示すように、処理結果をワークデータ
Ａ’として格納する。

【００９４】すなわち、ぼかし用データベースを使用
し、顔の輪郭に沿ってワークデータＡを調整する。一
方、変身用データベースと肌色調整用データベースとを
使用し、図２３に示すように、処理結果をワークデータ
Ｂに格納する。すなわち、まず、変身用データベースの
データをワークデータＢに取り込む。

【００９５】つぎに、ワークデータＡからデータの取得
をする。すなわち、処理後のワークデータＡの目の位置
の下側の１６箇所の色と、眉の上の１６箇所の色の平均
値をＲ，Ｇ，Ｂ別にサンプリング色として取得する。そ
の後、サンプリング色と肌色調整用データベースを使用
して、ワークデータＢの肌色部分を本人の肌色に近づけ
る。

【００９６】最後に、ワークデータＡ’とワークデータ
Ｂとを合成して、合成画像を作成し、作成した合成画像
を、ワークデータＣに格納して出力する。本第２実施例
によれば、画像の角度調整（回転）を行っているので、
撮影時に顔が傾いていても修正できる。また、本第２実
施例によれば、ぼかし用データベースを使用しているの
で、変身用データベースと合成した際に、顔とヘアーと
の境界が自然に仕上げることができる。

【００９７】

【発明の効果】本発明は、以上のように構成されている
ので、以下に記載されるような効果を奏する。請求項１
記載の発明によれば、バックの色に関係なく被写体の撮
像ができるため、合成画像の取り込みが容易な画像合成
装置を提供することができる。

【００９８】請求項２記載の発明によれば、上記した請
求項１記載の効果に加え、次のような効果を奏する。す
なわち、請求項２記載の発明によれば、ベース画像に対
する合成用画像の倍率や位置バランスの調整を自動化し
て取扱いを容易にした画像合成装置を提供することがで
きる。

【００９９】請求項３記載の発明によれば、上記した請
求項１，２記載の効果に加え、次のような効果を奏す
る。すなわち、請求項３記載の発明によれば、合成用と
して人の顔を撮像する際の被写体とカメラとの間にミラ
ーを設けることで、目線が自然で、かつ取り込まれた後
のイメージを自分で確認しながら撮像できる。従って、
撮り直しを減らすことができる。

【図面の簡単な説明】

【図１】画像合成装置の機能ブロック図である。

【図２】画像合成装置のブロック図である。

【図３】ミラーカメラの正面図である。

【図４】画像合成の流れを示すフローチャートである。

【図５】図４のヘアスタイルのサブルーチンを示すフロ
ーチャートである。

【図６】図５の取込み画像データの取り込みのサブルー
チンを示すフローチャートである。

【図７】図５の自動調整処理のサブルーチンを示すフロ
ーチャートである。

【図８】図７の前処理のサブルーチンを示すフローチャ
ートである。

【図９】図５の手動調整処理のサブルーチンを示すフロ
ーチャートである。

【図１０】図５の合成処理のサブルーチンを示すフロー
チャートである。

【図１１】図１０のワークファイル作成のサブルーチン
を示すフローチャートである。

【図１２】図１０のコントラスト調整処理のサブルーチ
ンを示すフローチャートである。

【図１３】図１０の肌色調整処理のサブルーチンを示す
フローチャートである。

【図１４】図１０のぼかし処理のサブルーチンを示すフ
ローチャートである。

【図１５】図４のそのまんまフォトのサブルーチンを示
すフローチャートである。

【図１６】認識単位の説明図である。

【図１７】連結成分画素の一例を示す説明図である。

【図１８】取込み画像の調整結果を示す説明図である。

【図１９】ベース画像の説明図である。

【図２０】肌色サンプリング箇所を示す取込み画像であ
る。

【図２１】肌色調整処理の概念図である。

【図２２】ぼかし処理の割合を示す説明図である。

【図２３】本発明の第２実施例を示し、同図は画像処理
の概念説明図である。

【図２４】本発明の第２実施例を示し、同図は画像の角
度調整を示す説明図である。

【符号の説明】

10 画像合成装置 20 コンピュータ本体 30 撮像装置（ミラーカメラ） 31 ミラー 32 カメラ 33 貫通孔 40 テンキー 50 テレビモニタ 60 ビデオプリンタ 70 エッジ強調手段 80 輪郭抽出手段 90 両目認識手段 100 特徴抽出手段 110 画像合成手段 111 取込み画像調整手段 112 画像はめ込み手
段 S0〜S240 処理ステップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉田誠東京都渋谷区恵比寿西２丁目20番17号株式会社日本ボス研究所内 (72)発明者遠藤廣己東京都渋谷区恵比寿西２丁目20番17号株式会社日本ボス研究所内

Claims

【特許請求の範囲】

【請求項１】ベース画面を成すベース画像データが格
納されたデータベースと、このベース画面の一部にはめ
込む合成用の画像として、被写体を撮像し、その撮像に
より取り込まれた取込み画像データを出力する撮像装置
と、この撮像装置からの取込み画像データを入力し、入
力した取込み画像データを構成する画素すべてについて
エッジ強調処理を施すことで、被写体のエッジを構成す
る暗画素およびエッジを構成しない明画素に二値化する
エッジ強調手段と、前記撮像装置からの取込み画像デー
タを入力し、入力した取込み画像データを、上記エッジ
強調手段からの暗画素の位置情報にもとづいて前記ベー
ス画像データのはめ込み箇所の大きさに一致するように
拡大または縮小した後、出力する取込み画像調整手段
と、この取込み画像調整手段からの取込み画像データお
よび前記データベースからのベース画像データを各々入
力し、入力したベース画像データのはめ込み箇所に取込
み画像データをはめ込むことで画像合成する画像はめ込
み手段とを備えることを特徴とする画像合成装置。
【請求項２】エッジ強調手段からの暗画素を入力し、
入力した暗画素を、上下、左右あるいは斜めに隣接して
連なった暗画素の集合体である連結成分画素にまとめた
後、連結成分画素ごとに採番し、採番した連結成分画素
の各々について、その重心座標および連結成分画素で囲
まれた画素面積を示す連結画素データを算出する輪郭抽
出手段と、前記撮像装置により取り込まれた人物の顔の
うち、ヘアスタイルと顔の位置バランスを決める両目に
対応した２つの連結成分画素を認識するために、上記輪
郭抽出手段からの連結成分画素および連結画素データを
入力し、入力した連結画素データをもとに２つの連結成
分画素同士を逐次比較して、その比較の結果、両連結成
分画素の重心座標のｘ成分同士およびｙ成分同士が所定
距離より離れていないこと、両連結成分画素のｘ成分が
１つでも重複していないこと、及び連結成分画素に囲ま
れた画素面積の差が所定範囲内であること、の３条件を
すべて満たす２つの連結成分画素を、両目に対応する特
定連結成分画素と認識する両目認識手段と、この両目認
識手段により認識された特定連結成分画素の重心同士の
中点の座標を求め、求めた重心同士の中点からｘ正方向
及びｘ負方向に暗画素を各々検索することで顔の左右の
特定輪郭部を求め、求めた２つの特定輪郭部の中点を顔
のバランス上の中心点として、この中心点から特定輪郭
部までの距離をもとに前記取込み画像調整手段が取込み
画素データの拡大または縮小を行うために、当該中心点
及び中心点から特定輪郭部までの距離を取込み画像調整
手段に出力する特徴抽出手段とを備えたことを特徴とす
る請求項１記載の画像合成装置。
【請求項３】撮像装置は、ミラーと、このミラーのほ
ぼ中央に位置し、ミラーを貫通する貫通孔と、前記ミラ
ーの裏側に位置し、前記貫通孔を通してミラーの表面に
写る被写体を撮像するカメラとを備えたことを特徴とす
る請求項１又は請求項２記載の画像合成装置。