JPH11306318A - 顔すげ替え編集装置 - Google Patents

顔すげ替え編集装置

Info

Publication number
JPH11306318A
JPH11306318A JP10105935A JP10593598A JPH11306318A JP H11306318 A JPH11306318 A JP H11306318A JP 10105935 A JP10105935 A JP 10105935A JP 10593598 A JP10593598 A JP 10593598A JP H11306318 A JPH11306318 A JP H11306318A
Authority
JP
Japan
Prior art keywords
face
image
skin color
area
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10105935A
Other languages
English (en)
Inventor
Hiroaki Bessho
弘章 別所
Masahiko Yanaida
正彦 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMAGE JOHO KAGAKU KENKYUSHO
Original Assignee
IMAGE JOHO KAGAKU KENKYUSHO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMAGE JOHO KAGAKU KENKYUSHO filed Critical IMAGE JOHO KAGAKU KENKYUSHO
Priority to JP10105935A priority Critical patent/JPH11306318A/ja
Publication of JPH11306318A publication Critical patent/JPH11306318A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【構成】 顔抽出装置14では肌色テーブルを用いて肌
色領域と髪領域を抽出することによって、顔領域を決定
する。そして顔モデル装置16に記憶されている顔モデ
ルパターンを用いて、ファジーパターンマッチング法を
行い顔画像を抽出する。このとき顔の位置と大きさが検
出される。抽出された顔画像は顔編集装置18に入力さ
れ、顔の向きが推定される。そして3次元顔モデル記憶
装置20に記憶されている3次元顔モデル画像を抽出さ
れた顔画像の大きさおよび向きに合わせて調整し、顔画
像の位置に貼り付ける。 【効果】 顔のすげ替え編集を自動的に行うことができ
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は顔すげ替え編集装置に
関し、特にたとえばテレビジョン画像に含まれる人物画
像の顔をコンピュータによってすげ替える、顔すげ替え
編集装置に関する。
【0002】
【従来の技術】従来、この種の編集装置では、人間がフ
レーム毎に映像内の顔の位置を発見し、位置,大きさ,
および向きを判断し編集を行っていた。
【0003】
【発明が解決しようとする課題】従来の技術では、映像
の編集に非常に多くの手間と時間を要し、自動編集の技
術が求められていた。それゆえに、この発明の主たる目
的は、顔のすげ替え編集を自動的に行うことのできる、
顔すげ替え編集装置を提供することである。
【0004】
【課題を解決するための手段】この発明は、人物を撮影
した入力画像を入力する画像入力手段、入力画像から顔
画像を抽出する顔画像抽出手段、3次元顔モデル画像を
記憶する3次元顔モデル記憶手段、および顔画像を3次
元顔モデル画像とすげ替える編集手段を備える、顔すげ
替え編集装置である。
【0005】
【作用】入力画像からたとえば肌色テーブルを用いて肌
色領域と髪領域を抽出することによって顔画像を抽出す
る。抽出された顔画像からは、顔の位置と大きさが得ら
れる。また、顔編集手段では顔の向きを推定する。そし
て予め記憶されていた3次元顔モデル画像の大きさ,お
よび向きを検出した大きさおよび推定した向きに合わ
せ、検出した位置に貼り付けることによって顔画像をす
げ替える。
【0006】
【発明の効果】この発明によれば、さまざまな複雑な環
境下で撮影された映像でも顔の領域を自動的に抽出し、
かつ顔の向きを推定することができるので、顔のすげ替
え編集を自動化することができる。この発明の上述の目
的,その他の目的,特徴および利点は、図面を参照して
行う以下の実施例の詳細な説明から一層明らかとなろ
う。
【0007】
【実施例】図1に示すこの発明の実施例の顔すげ替え編
集装置10は、たとえばビデオカメラを含む画像入力装
置12によって撮影された入力画像を処理する。この入
力画像は顔抽出装置14によって処理される。顔抽出装
置14では肌色テーブルを用いて肌色領域と髪領域を抽
出することによって、顔領域を決定する。そして、顔モ
デル装置16に記憶されている顔モデルパターンを用い
て、ファジィパターンマッチング法を行うことによって
顔画像を抽出する。このとき顔の位置と大きさが検出さ
れる。抽出された顔画像は顔編集装置18に入力され
る。顔編集装置18ではまず顔の向きを推定する。そし
て3次元顔モデル記憶装置20に記憶されている3次元
顔モデル画像を抽出された顔画像の大きさおよび向きに
合わせて調整する。そして調整された3次元顔モデル画
像は抽出された顔画像の位置に貼り付けられる。なお、
顔編集装置18に用いる計算機には、たとえばSGI社
の「IMPACT」を用いることができる。
【0008】以下、図2に示すこの実施例のフロー図を
参照してこの実施例の説明を行う。まず、ステップ1で
は、画像入力装置12によって画像が入力される。ステ
ップ2では、顔抽出装置12によって頭部の肌色領域と
髪領域を抽出する。抽出は色情報を用いることによって
行われる。そして抽出された肌領域と髪領域から顔領域
が決定される。
【0009】肌色領域の抽出は、入力画像の各画素の肌
色らしさを表現することにより行う。まず、入力画面の
色をRGB色空間からCIEのXYZ空間に変換する。
そしてxとyで表示した色成分は均等色度図表を利用し
て非線型変換される。その変換結果は、ufとvfで表
される。
【0010】
【数1】(x,y)→(uf ,vf ) 次に(uf ,vf )色空間において、多くのサンプル画
像から獲得した肌色分布関数により、入力画素の肌色ら
しさを推定する。それを全ての画素に対して行ったもの
が、肌色類似度マップである。以下に肌色類似度と肌色
分布関数を示す。
【0011】
【数2】 SCS(p)=SCDF(uf (p),vf (p))
【0012】
【数3】
【0013】ここでpは画素中のある画素で、(u
f (p),vf (p))は(uf ,vf)色空間での画
素pの色である。数4は実験により決定する。
【0014】
【数4】
【0015】しかし入力画像から人間の顔領域を見つけ
るためには、肌色領域の情報だけでは不十分で、髪らし
い領域の情報も必要である。髪らしい領域は入力画像か
ら明るさが低い領域を抽出することにより獲得すること
ができる。髪らしい画素は「1」で表し、その他の画素
は「0」で表す。そしてステップ3では顔画像の抽出を
行う。顔画像の抽出には顔モデルパターンによるファジ
ィパターンマッチング法を用いる。入力画像の中で、顔
のサイズと位置が未知である。そこで画像に現れる顔を
正面、右向きと左向きと3種類に分類し、それに応じて
3種類の10×12の正方形のセルの顔パターンを用意
する。顔パターンの中に4種類のセルがあり、それらは
顔画像の中のセルに対応している領域の属性を定義す
る。図3にこの顔モデルパターンの例を示す。このモデ
ルの大きさは可変で任意のサイズの顔候補が発見でき
る。
【0016】そこで大きさを変化させながら入力画像上
を走査し、ファジィパターンマッチングにより画像中の
矩形領域と顔モデルとのマッチング程度を評価する。こ
の画像の中の全ての矩形領域のマッチング程度は行列で
表現する。この行列がマッチング程度マップと呼ばれ
る。マッチング程度マップの局所最大の値が閾値より大
きいとき、この矩形の中に顔が存在する可能性が高い。
従って、この矩形を肌色類似度マップ上および髪らしい
領域上の顔の候補とする。
【0017】次にステップ4において、顔画像の抽出結
果の確認を行う。顔画像の抽出に成功したと判断した場
合は、ステップ7に進む。反対に顔画像の抽出に失敗し
たと判断された場合はステップ5に進む。これは、前述
の方法によって肌色領域を抽出するときに、入力画像に
よっては照明条件やカメラの特性等の環境条件の違いな
どにより肌色分布関数の値が低くなり肌色領域の抽出が
困難な場合があるためである。
【0018】ステップ5では、インタラクテイブな処理
を行うことによりさらに正確な顔の抽出を行う。このイ
ンタラクテイブな処理とは、本システムの使用者に入力
画像内の肌色領域の指定を指示するものである。次のス
テップ6では、指定された肌色により肌色テンプレート
を作成する。そしてステップ2に戻り再度顔画像の抽出
を行う。具体的には、指定された肌色領域の画素値から
肌色分布関数のパラメータを再計算し、新たなパラメー
タを用いた肌色分布関数により入力画素を再評価するこ
とにより、肌色領域を再抽出する。これにより入力画像
によらず正確にかつ安定した顔画像の抽出が可能とな
る。
【0019】スッテプ7では、抽出された顔画像から顔
の位置と大きさを検出する。そして、以上の方法によっ
て抽出された顔画像は顔編集装置18に入力される。次
のステップ8では顔の向きを推定する。図4にx,y,
z,軸の回転角を推定した図を示す。顔のx軸,y軸回
りの回転角の推定には肌色領域の情報と髪色領域の情報
を用いる。顔がカメラに対してx軸,y軸回りに回転す
ると、得られた画像の中での肌色領域、髪色領域の重心
の位置も回転角に合わせて移動する。このことから、そ
れぞれの領域の重心間の関係などを調べれば、x、y軸
回りの回転要素を推定できることが予想される。そこで
この実施例では頭部領域(肌色領域と髪領域を併せた領
域)の重心に対する肌色領域の重心の垂直(Fy ),水
平方向距離(Fx )を用いた。以下にFx ,Fy から
x,y軸回りの顔の回転角θy ,θx を推定する関数を
示す。
【0020】
【数5】θy =f(xf −xc
【0021】
【数6】θx =f(yf −yc ) z軸回りの回転要素の推定については慣性主軸を用い
る。頭部の形状は頭の中心軸に関してほぼ左右対称であ
り、またほぼ楕円形としてみなすことができる。このこ
とから顔がカメラ座標軸系のz軸回りを行った場合(つ
まり顔を傾ける運動をした場合)、画像内の頭部を楕円
とみなした時の長軸の方向を調べれば、このz軸回りの
回転要素を推定することができる。この長軸方向の傾き
は、慣性主軸を求めることにより推定できる。慣性主軸
とは、物体の各点までの距離の2乗の積分を最小にする
直線のことである。慣性主軸の方向φは次式より計算で
きる。
【0022】
【数7】tan2φ=b/(a−c) ただしa,b,cは以下とする。
【0023】
【数8】
【0024】ステップ9では、3次元顔モデル画像の生
成を行う。これは、入力画像より抽出された顔の大きさ
および向きの情報に合わせて、3次元顔モデル記憶装置
20に記憶されている3次元顔モデルの大きさ,向きを
変化させるものである。そしてステップ10では、ステ
ップ9で生成した3次元顔モデル画像を入力画像に合成
する。つまり、抽出した顔画像と3次元顔モデル画像の
すげ替えを行う。図5はこのとき行った顔のすげ替えの
結果を示したものである。1段目が入力画像,2段目が
抽出結果,3段目が抽出された顔画像,そして4段目が
すげ替えの完了した出力画像となっている。以上のよう
にこの実施例の顔すげ替え装置を用いることにより、容
易に顔のすげ替え編集を行うことができる。
【図面の簡単な説明】
【図1】この発明の一実施例を示す機能ブロック図であ
る。
【図2】この実施例を示すフロー図である。
【図3】顔モデルパターンを示す表示画像である。
【図4】顔の向きの推定方法を示す表示画像である。
【図5】顔のすげ替えを行った結果を示す図解図であ
る。
【符号の説明】
10 …顔のすげ替え装置 12 …画像入力装置 14 …顔画像抽出装置 16 …顔モデル記憶装置 18 …顔編集装置 20 …3次元顔モデル記憶装置

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】人物を撮影した入力画像を入力する画像入
    力手段、 前記入力画像から顔画像を抽出する顔画像抽出手段、 3次元顔モデル画像を記憶する3次元顔モデル画像記憶
    手段、および前記顔画像を前記3次元顔モデル画像とす
    げ替える編集手段を備える、顔すげ替え編集装置。
  2. 【請求項2】前記顔画像抽出手段は前記入力画像から人
    物の肌色領域および髪領域を抽出する領域抽出手段を備
    える、請求項1記載の顔すげ替え編集装置。
  3. 【請求項3】前記領域抽出手段は、複数の肌色データを
    記憶した肌色テーブル、および前記肌色テーブルを用い
    て肌色領域を検出する計算手段を含む、請求項2記載の
    顔すげ替え編集装置。
  4. 【請求項4】前記領域抽出手段は前記計算手段が前記肌
    色テーブルを用いるかどうか選択する選択手段をさらに
    含む、請求項3記載の顔すげ替え編集装置。
  5. 【請求項5】前記選択手段で前記肌色テーブルを用いな
    い選択をした場合に肌色領域を指定する指定手段を備え
    る、請求項4記載の顔すげ替え編集装置。
  6. 【請求項6】前記指定手段によって指定された肌色領域
    に従って肌色テーブルを作成する肌色テーブル作成手段
    をさらに備える、請求項5記載の顔すげ替え編集装置。
  7. 【請求項7】前記編集手段は、前記顔画像の向きを推定
    する推定手段、および推定した向きに前記3次元顔モデ
    ル画像を合わせる手段を含む、請求項1ないし6のいず
    れかに記載の顔すげ替え編集装置。
  8. 【請求項8】前記画像抽出手段は前記顔画像の位置およ
    び大きさを示すデータを出力し、前記編集手段は前記大
    きさに従って前記向きを調整した前記3次元顔モデル画
    像の大きさを調整する手段、および前記大きさを調整し
    た3次元モデル画像を前記位置に貼り付る貼り付け手段
    を含む、請求項7記載の顔すげ替え編集装置。
JP10105935A 1998-04-16 1998-04-16 顔すげ替え編集装置 Withdrawn JPH11306318A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10105935A JPH11306318A (ja) 1998-04-16 1998-04-16 顔すげ替え編集装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10105935A JPH11306318A (ja) 1998-04-16 1998-04-16 顔すげ替え編集装置

Publications (1)

Publication Number Publication Date
JPH11306318A true JPH11306318A (ja) 1999-11-05

Family

ID=14420718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10105935A Withdrawn JPH11306318A (ja) 1998-04-16 1998-04-16 顔すげ替え編集装置

Country Status (1)

Country Link
JP (1) JPH11306318A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
JP2006338329A (ja) * 2005-06-02 2006-12-14 Seiko Epson Corp 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
JP2012068419A (ja) * 2010-09-23 2012-04-05 Brother Ind Ltd カラオケ装置
JP2012078526A (ja) * 2010-09-30 2012-04-19 Xing Inc カラオケシステム
US8406519B1 (en) 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
CN107690673A (zh) * 2017-08-24 2018-02-13 深圳前海达闼云端智能科技有限公司 图像处理方法、装置及服务器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
JP2006338329A (ja) * 2005-06-02 2006-12-14 Seiko Epson Corp 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体
JP2009157767A (ja) * 2007-12-27 2009-07-16 Nippon Telegr & Teleph Corp <Ntt> 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
US8406519B1 (en) 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
JP2012068419A (ja) * 2010-09-23 2012-04-05 Brother Ind Ltd カラオケ装置
JP2012078526A (ja) * 2010-09-30 2012-04-19 Xing Inc カラオケシステム
CN107690673A (zh) * 2017-08-24 2018-02-13 深圳前海达闼云端智能科技有限公司 图像处理方法、装置及服务器
CN107690673B (zh) * 2017-08-24 2021-04-02 达闼机器人有限公司 图像处理方法、装置及服务器

Similar Documents

Publication Publication Date Title
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
US8331619B2 (en) Image processing apparatus and image processing method
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
US8861800B2 (en) Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
KR100699704B1 (ko) 비디오 회의 시스템에서 참가자들에 대응하는 카메라 파라미터들의 프리셋들을 계산하는 방법 및 시스템
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
US6016148A (en) Automated mapping of facial images to animation wireframes topologies
TWI396143B (zh) 照片分割方法及系統及照片之影像配合方法
EP3108379B1 (en) Image editing techniques for a device
US20180357819A1 (en) Method for generating a set of annotated images
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN109474780A (zh) 一种用于图像处理的方法和装置
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
JP6723798B2 (ja) 情報処理装置、方法、プログラム
CN111695431A (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
JP4348028B2 (ja) 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム
Tan et al. Selecting objects with freehand sketches
JPH11306318A (ja) 顔すげ替え編集装置
CN115967823A (zh) 视频封面生成方法、装置、电子设备及可读介质
JP4496005B2 (ja) 画像処理方法および画像処理装置
CN111652792B (zh) 图像的局部处理、直播方法、装置、设备和存储介质
JP2002342758A (ja) 視覚認識システム
CN111179287A (zh) 人像实例分割方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20050705