JP2940226B2 - 画像合成装置 - Google Patents

画像合成装置

Info

Publication number
JP2940226B2
JP2940226B2 JP14867591A JP14867591A JP2940226B2 JP 2940226 B2 JP2940226 B2 JP 2940226B2 JP 14867591 A JP14867591 A JP 14867591A JP 14867591 A JP14867591 A JP 14867591A JP 2940226 B2 JP2940226 B2 JP 2940226B2
Authority
JP
Japan
Prior art keywords
information
image
structure information
processing unit
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14867591A
Other languages
English (en)
Other versions
JPH056419A (ja
Inventor
明子 馬橋
隆浩 福原
篤道 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP14867591A priority Critical patent/JP2940226B2/ja
Publication of JPH056419A publication Critical patent/JPH056419A/ja
Application granted granted Critical
Publication of JP2940226B2 publication Critical patent/JP2940226B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、構造モデルより画像情
報を抽出し、該構造モデルの有する一部分の情報を任意
の倍率で乗算を行うことで強調し、合成画像を供する画
像合成装置に関するものである。
【0002】
【従来の技術】図7は、例えば「顔画像からの似顔絵作
成システム」(昭和63年電子情報通信学会春期全国大
会)で述べられている似顔絵作成処理の概念図である。
図7において、15はカメラ等の撮像系より撮影した原
画像、16は原画像を2値化処理後の2値画像、17は
2値画像から抽出した頭髪部分、18は2値画像から抽
出した構成要素、19は2値画像から求めた構成要素の
重心位置、20は特徴抽出及び強調処理部、21はイラ
ストベース、22は強調したイラスト、23は原画像を
細線化処理した線画像、24は入力人物の似顔絵であ
る。
【0003】次に、動作について説明する。まず、カメ
ラなどの撮像系から撮影された人物顔画像15を2値化
処理し、黒領域を領域分割して抽出された各構成要素の
重心位置、慣性の主軸を求めることから髪17、眉・眼
・鼻・口の構成要素18、及びそれらの重心位置19、
慣性の主軸を抽出する。上記抽出した構成要素を予め用
意していたイラストベース21中の構成要素と比較し、
最も類似したイラストを選択し、その構成要素の重心位
置19に描き強調イラスト22を得る。また、原画像1
5を細線化処理した線画像23に対して、上記選択した
各構成要素を合成し、入力画像の似顔絵24を得る構成
である。
【0004】
【発明が解決しようとする課題】上記のような従来の似
顔絵作成システムは、以上のように構成されているの
で、カメラなどの撮像系により撮影された人物画像に対
して、顔の構成要素に最も類似すると考えられるイラス
トを合成して、人物の似顔絵を得るものである。従っ
て、出力されるのは入力人物に対する似顔絵に限られる
という問題点があった。
【0005】この発明は、かかる問題点を解決するため
になされたものであり、データベースを持ち、平均構造
モデルと個人の入力情報を比較し特徴を抽出すること、
および本人また他の人物に対して強調情報を加算した合
成画像を生成することを目的としている。
【0006】
【課題を解決するための手段】この発明に係わる画像合
成装置は、複数の構造情報を収容した構造モデルデータ
ベースと、上記データベース中の複数の構造モデルから
平均構造モデルを生成する平均構造モデル生成部と、平
均構造モデルと個人の構造モデルとの差分構造情報を抽
出し、該差分情報を構成する各部分単位に任意倍率で乗
算し強調する構造情報強調処理部を備えた。
【0007】また、対象構造モデルを任意に選べるスイ
ッチを設け、該対象構造モデルに強調処理した差分構造
情報を加算し、さらに必要に応じて濃淡情報を付与する
合成画像生成処理部を備えた。
【0008】
【作用】この発明における画像合成装置は、平均的な構
造モデルと入力された個人情報とから頂点座標値の差分
として特徴が抽出される。また、上記差情報を個人入
力情報に乗数倍して加算することで特徴を強調した新し
い座標点による構造強調情報出力となる。さらに、必要
に応じて濃淡情報が加えられた合成画像出力となる。
【0009】
【実施例】
実施例1.例として従来例と同様に人物の顔画像に適用
した例を説明する。図1は、この発明の一実施例を示す
ブロック図である。図1において、1は3次元構造モデ
ルデータベース、2は平均3次元構造モデル生成部、3
は構造情報強調処理部、4は合成画像生成処理部、5は
入力A、6は入力B、7は減算器、8は加算器である。
また、101は複数の正規化後の3次元構造情報、10
2は平均3次元構造情報、103は差分構造情報、10
4は強調された差分構造情報、105は更新3次元構造
情報、106は入力Aの正規化後の3次元構造情報、1
07は入力Aの濃淡情報、108は入力Bの正規化後の
3次元構造情報、109は入力Bの濃淡情報、110は
選択された入力3次元構造情報、111は選択された入
力濃淡情報、112は合成画像出力である。
【0010】次に動作を説明する。上記のように構成さ
れた画像合成装置において、一例として図2に示すよう
な3角形連続体として表現されたデータとして用いられ
る3次元構造モデルは、例えば瞳の位置が等しく、左右
の瞳の間が一定距離になるように正規化処理が施されて
いる。この3次元構造モデルデータベース1中から複数
の3次元構造情報101をとり出し、平均3次元構造モ
デル生成部2において平均3次元構造情報102を生成
する。3次元構造モデルデータベース1は、例えば、日
本人の男性である等、ある分布を有する人物の3次元構
造モデルの集合である。さらに、複数の分布を収容して
いる場合も、もちろんある。従って、平均3次元構造モ
デル生成部2の出力は、例えば分布の平均的な像であっ
たりする。もちろん、分布の中からある代表的な例を選
んでもよい。
【0011】次にこうして得られた上記平均3次元構造
情報102と、入力Aの人物の3次元構造情報106と
の差分構造情報103を、入力Aの人物の個人情報とし
て検出する。こうして個人情報の平均分布の像に対して
の特徴値を抽出することが出来る。この数値的な表現は
後に述べる。さらに、この差分構造情報103を構造
報強調処理部3において、任意の倍率k、例えば0〜
0.8を用いて乗算を行うことで強調する。0は強調を
しないことを意味する。強調された差分構造情報104
を、入力Aまたは入力Bの人物の一方の3次元構造情報
110に加えることによって特徴が強調された3次元構
造モデル105が得られる。さらに、必要に応じて上記
特徴が強調された3次元構造モデルに、濃淡情報A10
7または、濃淡情報B109の一方を濃淡値付与処理し
て合成画像112を出力する。
【0012】ここで、3次元構造モデルのデータフォー
マットの説明をする。例えば図2のように3角形連続体
で表現した3次元構造モデルの場合に、構成要素である
3角形パッチの3頂点のx,y,z座標及び、3角形パ
ッチの接続情報は図3の形式であらわされる。図3
(a)は各3角形の頂点の座標値の情報の収容形式を説
明したもので、各頂点番号100,101,……のx,
y,z座標値が125,283,491および118,
200,466……であることをあらわしている。図3
(b)は各3角形のパッチ情報の収容形式を説明したも
ので、パッチ連番をとっていって、300,301,…
…のパッチ番号の3角形は、それぞれ100,101,
102および125,118,103……の頂点番号を
結んだ3角形であることをあらわしている。そして、図
3(a)と図3(b)の両方を3次元構造モデルデータ
ベースに記憶している。
【0013】また、入力A、または入力Bを正規化した
出力106または108は、共に上記図3(a)と図3
(b)の形で与えられる。また、図4は、強調処理の概
念図を示したものである。差分構造情報の抽出及び強調
処理は3次元構造モデルの構成要素である多角形体(こ
の例では3角形体)の各頂点について行う。同図におい
て3角形ABCは、強調処理を施した差分形状を加算す
る前の3次元構造モデル上のあるポリゴン(多角形体)
を示している。この3角形について、頂点Aにおけるベ
クトルをaとし、頂点Aにおける差分構造情報がtで与
えられたとき、上記差分構造情報をk倍して強調する
と、このポリゴンは3角形DBCのように変形される。
ここで、点Dにおけるベクトルはd=a+ktである。
上記の手法で平均3次元構造モデルとの差分構造情報と
倍率によって、各ポリゴンの頂点が移動して強調された
3次元構造モデルが得られる。
【0014】実施例2. 次に濃淡値付与の説明をする。濃淡を与えることは多面
形連続体における強調とは別の効果がある。即ち、入力
Aの人物がもっている濃淡情報を、入力Bの人物の対応
多面形に付与することで合成像が得られる。多面形の特
徴強調と濃淡値付与とを併用することでより適切な画像
合成ができる。濃淡値付与(テキスチャマッピング)の
ためには、まず濃淡値の検出から説明する。説明を簡単
にするために図2の人物の顔画像を3角形連続体で表現
した例を考える。そしてこの人物像は図1の入力Aから
走査により与えられるとする。その場合には、走査のド
ット単位に濃淡信号が得られる。図1の入力A5、入力
B6の部分には、正確には先に述べた正規化回路と正規
化後の値記憶回路があり、さらに濃淡情報に関しては走
査したドット対応に濃淡情報記憶回路も含まれている。
【0015】また、図5は、テキスチャマッピング処理
の概要を示したものである。3次元構造モデルの構成要
素である3角形パッチ内の画素値は斜交座標を用い、
3角形内部の点の位置を2辺に対する長さの比率より得
ことができる。同図において、被写体画像の3次元構
造モデルの3角形パッチDEF内の任意の点Pは、各辺
のベクトルを用いて、次式のように表すことができる。 A=sP1+tP2 (1) 但し、0≦s≦1、0≦t≦1 ここで、ベクトルA,P1,P2を、それぞれA=
(a1,a2)、P=(p11,p12)、P=(p21
22)とおくと上式より、 a1 =sP11+tP12 (2) a2 =sP21+tP22 (3)
【0016】以上の2式よりs,tを求め、3次元構造
モデルの対応する三角形パッチABCに適用することに
よって点Pの対応点Qを得る。従って、3角形パッチA
BCにおける点Qの濃淡値をもって3角形パッチDEF
における点Pの濃淡値とし、3角形DEF内のすべての
点に対して、上記の操作を同様に行えばよい。図1の合
成画像生成処理部4にも、正確には濃淡情報記憶回路が
ある。そして入力A5、入力B6から送られてきた濃淡
情報は、逆にQ点に対応するP点の濃淡情報として一対
一に対応した形でドット毎に記憶されている。こうして
特徴抽出後の、または特徴強調後の三角形パッチ内の濃
淡情報が与えられる。
【0017】実施例3.上記実施例1では、差分構造情
報を適用する3次元構造情報を異なる人物のものとし、
特徴を移し替える例を示したが、以下の実施例では、こ
の3次元構造モデルを表情が異なる同一人物の3次元構
造情報としてもよい。このときは表情の特徴を強調した
合成画像を与えることができる。
【0018】実施例4.上記実施例1では、構造情報強
調処理部において、差分構造情報を任意の値、例えば0
〜0.8の倍率kをすべての差分構造情報に対して乗算
をとることで強調していたが、本実施例ではこの差分情
報について例えば被写体画像を顔画像に限定した場合、
顔を構成する眉部、眼部、鼻部、口部等、各部分単位に
異なる倍率を与えることによって、部分的な強調をし、
個人情報をより効果的にみせた合成画像を得ることがで
きる。図6は、3次元構造モデルにおける顔の各部分を
構成するポリゴン群を示すものである。3次元構造モデ
ルは、その構成要素であるポリゴンの集合であり、顔の
各部分即ち眉部、眼部、鼻部、口部は、同図9〜14の
ように複数のポリゴンの組み合わせで構成されている。
該3次元構造モデルから抽出された差分構造情報は、各
部分ごとに差分情報を検出することができ、その抽出し
た差分構造情報を各部分単位に強調処理を施すことがで
きる。
【0019】実施例5.実施例2では濃淡情報はドット
単位に持つことだけを述べたが、このドット毎に、R
(赤),G(緑),B(青)の3色の階調情報を持て
ば、カラー画像の強調、濃淡値付与ができる。また、実
施例2ではドット単位の濃淡情報を持つ例を説明した
が、それだと例えば1000×500ドットの画面では
50万画素系の記憶が必要である。これをパッチ単位で
代表して記憶する方式とすれば、パッチ内では同一濃度
だが、記憶容量が少なく、処理時間も短かくすることが
出来る。
【0020】
【発明の効果】以上のようにこの発明によれば、構造デ
ータベースとモデル生成部と構造情報強調部と合成画像
生成処理部とを備えた画像合成装置としたので、母集団
を指定してそれと比較しての特徴を抽出できる。また差
分としての特徴を部分でも全体でも強調して表現でき
る。さらに濃淡値付与することで特徴をより強調して表
現できる等の効果がある。
【図面の簡単な説明】
【図1】この発明の一実施例を示す画像合成装置のブロ
ック図である。
【図2】この発明における3次元構造モデルの例を示す
図である。
【図3】この発明における3次元構造モデルのデータフ
ォーマット形式の例を示す図である。
【図4】この発明における強調処理の概念図である。
【図5】この発明における濃淡値付与(テキスチャマッ
ピング処理)の、強調処理前後の対応を説明する図であ
る。
【図6】この発明における3次元構造モデルの顔の各部
分を構成するポリゴン群の図である。
【図7】従来の似顔絵システムの概念図である。
【符号の説明】
1 3次元構造モデルデータベース 2 平均3次元構造モデル生成部 3 構造情報強調処理部 4 合成画像生成処理部 5 入力A 6 入力B 7 減算器 8 加算器 106 入力Aの3次元構造情報 108 入力Bの3次元構造情報 111 選択後の入力からの濃淡情報

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像情報を複数の多角形の連続体で表現
    した構造情報を収容したデータベースと、上記データベ
    ースの複数の対応する構造情報の頂点の座標の平均値を
    計算するか、上記データベースに収容されている構造情
    報の一つを選択する平均構造モデル生成部と、任意の
    力画像に対し上記平均構造モデル生成部出力の対応頂点
    座標との差を求め、得られた差分出力を任意の倍率で乗
    算して差を強調した座標点出力を得る構造情報強調処理
    部と、上記構造情報強調処理部出力と任意の入力である
    画像情報の対応頂点座標との和を求め、新しい構造情報
    を出力する合成画像生成処理部とからなる画像合成装
    置。
  2. 【請求項2】 上記合成画像生成処理部に対し各多角形
    の濃淡情報を与え、出力の構造情報に濃淡値付与して合
    成画像を生成する合成画像生成処理部を設けたことを特
    徴とする請求項第1項記載の画像合成装置。
JP14867591A 1991-06-20 1991-06-20 画像合成装置 Expired - Fee Related JP2940226B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14867591A JP2940226B2 (ja) 1991-06-20 1991-06-20 画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14867591A JP2940226B2 (ja) 1991-06-20 1991-06-20 画像合成装置

Publications (2)

Publication Number Publication Date
JPH056419A JPH056419A (ja) 1993-01-14
JP2940226B2 true JP2940226B2 (ja) 1999-08-25

Family

ID=15458104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14867591A Expired - Fee Related JP2940226B2 (ja) 1991-06-20 1991-06-20 画像合成装置

Country Status (1)

Country Link
JP (1) JP2940226B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0158038B1 (ko) * 1993-03-29 1998-12-15 모리시다 요오이찌 개인식별장치
JP3577154B2 (ja) * 1995-02-02 2004-10-13 松下電器産業株式会社 画像処理装置
JP4973447B2 (ja) * 2007-10-25 2012-07-11 富士通株式会社 差異強調プログラム、差異強調処理方法及び差異強調処理装置
GB201002855D0 (en) * 2010-02-19 2010-04-07 Materialise Dental Nv Method and system for achiving subject-specific, three-dimensional information about the geometry of part of the body

Also Published As

Publication number Publication date
JPH056419A (ja) 1993-01-14

Similar Documents

Publication Publication Date Title
Beymer et al. Example based image analysis and synthesis
RU2215326C2 (ru) Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
US7200281B2 (en) System and method for image-based surface detail transfer
CN107484428B (zh) 用于显示对象的方法
CN112784621B (zh) 图像显示方法及设备
CN111445564B (zh) 人脸纹理图像生成方法、装置、计算机设备和存储介质
JP2000067267A (ja) 三次元シーンにおける形状及び模様の復元方法及び装置
WO2002013144A1 (en) 3d facial modeling system and modeling method
KR101829733B1 (ko) 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법
CN113628327A (zh) 一种头部三维重建方法及设备
CN115239857B (zh) 图像生成方法以及电子设备
KR100459892B1 (ko) 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치
CN111836058B (zh) 用于实时视频播放方法、装置、设备以及存储介质
CN109448093B (zh) 一种风格图像生成方法及装置
JP2940226B2 (ja) 画像合成装置
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치
US20020158972A1 (en) Method of image processing an animated figure
JP3850080B2 (ja) 画像生成表示装置
KR102343562B1 (ko) 스케치 기반의 캐릭터를 가상환경의 활동 캐릭터로 생성하기 위한 스케치 기반의 활동캐릭터 생성 방법
KR100618493B1 (ko) 3차원 영상 자동 생성 장치 및 그 방법
JP2002251635A (ja) 3次元cgキャラクタ生成方法、その装置、その方法の実現するためのプログラム、及びそのプログラムを記憶した記憶媒体
KR20230083347A (ko) 후면 영상정보 생성 장치 및 방법

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080618

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090618

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 11

Free format text: PAYMENT UNTIL: 20100618

LAPS Cancellation because of no payment of annual fees