JPH04306782A - 画像合成器 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を３次元方向に変
形、合成し、合成画像出力を供する画像合成器に関する
ものである。

【０００２】

【従来の技術】図６は、例えば特開平１−１６２４９２
号公報に示された従来の画像伝送方式の概念図である。 図６において、１１はコードブック、１２はメモリ、１
３は合成部、１１６は音声情報中の音素符号、１１７は
口形パラメータ情報、１１８は口画像情報、１１９は口
以外の顔画像情報、１２０は再生顔画像情報である。

【０００３】次に、動作について説明する。まず、送信
側からの音声情報中の音素符号１１６に対して、図７の
ような口形モデル画像のパラメータ値を全音素符号に対
して記憶したコードブック１１から、対応する口形パラ
メータ１１７を選択する。該口形パラメータ１１７に基
づいて、口部分の幾何学的形状を示す１組の口形パラメ
ータによって定義される図８のような口形モデル画像を
記憶したメモリ１２中の口形モデル画像を変形する。該
口形モデル画像１１８と、送信側からの口部以外の顔動
画像１１９を合成部１３において合成し、再生顔画像情
報１２０を出力する構成である。

【０００４】

【発明が解決しようとする課題】従来の画像伝送方式は
、以上のように構成されているので、カメラなどの撮像
系により入力された口以外の顔画像情報は、原画像に限
られるため合成部より出力される再生画像は、口以外は
入力画像と同一のものに限られる。従って、合成画像の
対象となる顔画像に対して、複数の濃淡情報を選択する
ことができない（口形モデル画像を除く）という問題点
があった。

【０００５】この発明は、かかる問題点を解決するため
になされたものであり、複数の濃淡情報を複数の３次元
ワイヤーフレームにテキスチャマッピング処理すること
によって原画像と異なる合成画像を任意に自動生成する
ことを目的としている。

【０００６】

【課題を解決するための手段】この第１の発明に係る画
像合成器は、画像入力部より入力した被写体画像の３次
元構成情報に合せて、基本的な３次元ワイヤーフレーム
を変形しワイヤーフレーム情報を出力する３次元ワイヤ
ーフレーム変形部と、この出力されたワイヤーフレーム
情報と被写体画像の濃淡情報に基づいて被写体画像を３
次元画像に整合する合成画像生成処理部と３次元ワイヤ
ーフレームを複数通りに変形して生成したワイヤーフレ
ーム情報を格納したワイヤーフレーム情報格納部と、こ
の格納部のワイヤーフレーム情報と上記３次ワイヤーフ
レーム変形部の出力を合成画像生成処理部に対して切り
換え出力する第１切り換え手段と、各種濃淡情報を格格
した濃淡情報格納部と、この格納部からの濃淡情報と上
記被写体画像より得られた濃淡情報を上記合成画像生成
処理部に対して切り換え出力する第２切り換え手段を設
けたものである。

【０００７】また、第２の発明に係る画像合成器は、上
記発明に如え、対象物にスリット光を投射した被写体画
像から特徴点を抽出し、その特徴点に基づいて被写体の
３次元構造情報を算出する３次元デジタイザを設けたも
のである。

【０００８】また、第３の発明によれば合成画像生成処
理部は最低２個の３次元ワイヤーフレームと最低２個の
濃淡情報に対して各々の合成配分値を任意に決定するこ
とを特徴とする。

【０００９】

【作用】この発明による３次元ワイヤーフレーム変形部
においては、基本３次元ワイヤーフレームを上記の手法
で計測した被写体の３次元座標により変形し、被写体画
像に整合された３次元ワイヤーフレームを得、また、合
成画像生成処理部の入力は、被写体画像に整合した３次
元ワイヤーフレーム情報とワイヤーフレーム情報格納部
中の他の３次元ワイヤーフレーム情報を自由に選択でき
るように第１の切り換え手段を設け、他方、被写体画像
の濃淡情報と、濃淡情報格納部中の他の濃淡情報を自由
に選択できるように第２切り換え手段を設け、上記２個
の切り換え手段の切り替えで各入力情報を決定し、選択
された３次元ワイヤーフレーム情報に選択された濃淡情
報をテキスチャマッピング処理することによって合成画
像が生成される。

【００１０】また上記のように構成された画像合成器に
おける３次元デジタイザは、対象物にスリット光を投射
した被写体画像に対して、対象物の３次元構造を表現す
るために有効な情報となる特徴点を抽出し、得られた各
特徴点の３次元座標を算出し、対象物の３次元構造情報
を抽出する。

【００１１】更に、この発明によれば最低２個の３次元
ワイヤーフレームと最低２個の濃淡情報に対して各々の
合成配分値を任意に決定することで、無限通りの合成画
像を生成することができる。

【００１２】

【実施例】実施例１ 図１は、この発明の一実施例を示すブロック図である。 図１において、１はスリット光照射部、２は画像入力部
、３はノイズフィルター、４は特徴点抽出部、５は３次
元座標計算部、６は基本３次元ワイヤーフレームデータ
ベース、７は３次元ワイヤーフレーム変形部、８は３次
元ワイヤーフレームデータベース、９は濃淡情報データ
ベース、１０は合成画像生成処理部である。また、１０
１は入力画像、１０２はスリット光を投射した入力画像
、１０３はノイズ除去後の入力画像、１０４は特徴点情
報、１０５は３次元座標情報、１０６は基本３次元ワイ
ヤーフレーム情報、１０７は被写体画像の３次元ワイヤ
ーフレーム情報、１０８は登録されている３次元ワイヤ
ーフレーム情報、１０９は被写体画像の濃淡情報、１１
０は登録されている濃淡情報、１１１は合成画像出力、
１１２は入力ワイヤーフレーム情報、１１３は入力濃淡
情報である。また、同図において、１〜５は既知の３次
元デジタイザを構成するものである。

【００１３】前記のように構成された合成画像生成器に
おいて、入力画像１０１に対して、スリット光照射部１
より、スリット光を投射した入力画像１０２（図２）を
得る。図２において、１１４は入力画像中の被写体画像
、１１５は照射したスリット光の点の集合を示している
。上記スリット光を照射した入力画像１０２をノイズフ
ィルター３に通し、ノイズ除去後の画像１０３に対し特
徴点抽出部４において特徴点を抽出する。特徴点抽出部
４より抽出された特徴点情報１０４については、３次元
座標計算部５で各特徴点の３次元座標を算出する。算出
された３次元座標データ１０５をもとに基本３次元ワイ
ヤーフレームデータベース６中に登録されている基本３
次元ワイヤーフレーム（図３）が３次元ワイヤーフレー
ム変形部７において被写体画像に整合するように変形さ
れる。

【００１４】そして整合後の３次元ワイヤーフレーム情
報１０７が出力される。さらに、上記被写体画像のワイ
ヤーフレーム情報１０７と、３次元ワイヤーフレームデ
ータベース８中の他のワイヤーフレーム情報１０８のど
ちらか一方が第１スイッチｓｗ１の切り換えで合成画像
生成処理部１０の入力となる。また、被写体画像の濃淡
情報１０９または、濃淡情報データベース９中に登録さ
れた他の濃淡情報１１０のどちらか一方が第２スイッチ
ｓｗ２の切り換えで合成画像生成処理部１０の入力とな
り、入力ワイヤーフレーム情報１１２の構成要素である
３角形パッチ単位に、入力濃淡情報１１３を用いてテキ
スチャマッピング処理することにより、合成画像１１１
を出力する。

【００１５】ここで、ワイヤーフレームデータフォーマ
ットは、同ワイヤーフレームデータベースの構成要素で
ある３角形パッチの３頂点のｘ，ｙ，ｚ座標及び、３角
形パッチの接続情報である。図４は、これらについて説
明したものであるが、上記の通り（ａ）、（ｂ）がデー
タファイルとして、３次元ワイヤーフレームデータベー
スに記憶されていることになる。また、基本３次元ワイ
ヤーフレーム情報１０６、被写体画像の３次元ワイヤー
フレーム情報１０８は、同図（ａ）、（ｂ）双方を含む
ものである。

【００１６】また、図５は、テキスチャマッピング処理
の概要を示したものである。３次元ワイヤーフレームの
構成要素である３角形パッチ内の画素値は斜交座標を用
い、３角形内部の点の位置を２辺に対する長さの比率で
求めることができる。同図において、被写体画像の３次
元ワイヤーフレームの３角形パッチＤＥＦ内の任意の点
Ｐは、各辺のベクトルを用いて、次式のように表すこと
ができる。 Ａ＝ｓＰ１　＋ｔＰ２

【００１７】但し、０≦ｓ≦１、０≦ｔ≦１

【００１８
】ここで、ベクトルＡ、Ｐ１　、Ｐ２　を、それぞれＡ
＝（ａ１　，ａ２　）、Ｐ１　＝（ｐ１１，ｐ１２）、
Ｐ２　＝（ｐ２１，ｐ２２）とおくと上式より、ａ１　
＝ｓＰ１１＋ｔＰ１２ ａ２　＝ｓＰ２１＋ｔＰ２２ 以上の２式よりｓ、ｔを求め、基本３次元ワイヤーフレ
ームの対応する三角形パッチＡＢＣに適用することによ
って点Ｐの対応点Ｑを得る。従って、３角形パッチＡＢ
Ｃにおける点Ｑの濃淡値をもって３角形パッチＤＥＦに
おける点Ｐの濃淡値とし、３角形ＤＥＦ名内のすべての
点に対して、上記の操作を同様に行えばよい。

【００１９】実施例２ 上記実施例１では、３次元ワイヤーフレームデータベー
スとして、基本３次元ワイヤーフレームデータベースと
他の３次元ワイヤーフレームデータベースの２つのデー
タベースを備えていたが、本実施例ではこれらを同一の
データベースとして代用しても同様の効果を期待できる
。但し、３次元ワイヤーフレーム変形部からの読み出し
命令があるときは、該データベースより基本３次元ワイ
ヤーフレーム情報が出力されるようになっている。

【００２０】実施例３ 上記実施例１では、画像入力部への入力画像は１台のカ
メラ等の撮像系によって取り込まれた画像であるが、本
実施例では、複数のカメラ等による入力画像を用いれば
、対象物に対して、より広範囲な被写体画像を得ること
が期待できる。

【００２１】実施例４ 上記実施例１における合成処理では、１つの入力濃淡情
報に対して、１つの入力ワイヤーフレーム情報を用いて
、画像を生成していたが、本実施例においては、複数の
濃淡情報、あるいは複数のワイヤーフレーム情報に対し
て、任意の合成配分値が選択でき、汎用性の向上が期待
できる。なお、ｎ個の３次元ワイヤーフレーム情報から
の入力ワイヤーフレーム情報は、対応する各３角形の頂
点同志を線形内挿すれば得られる。従って、更新された
入力ワイヤーフレーム情報のｊ番目の頂点のｘ座標をＸ
ｊ　とすると、

【数１】 である。

【００２２】ここで、ｘｉｊはｉ番目の３次元ワイヤー
フレームのｊ番目頂点のｘ座標、ｒｘｉは、各３次元ワ
イヤーフレームの合成配分値である。ｙ、ｘ座標におい
ても同様の手法を用い、得られた３次元座標情報で構成
される新たな３次元ワイヤーフレームが入力ワイヤーフ
レーム情報となる。また、濃淡情報についても、上記手
法を適用し、新たな入力濃淡情報を得る。

【００２３】

【発明の効果】この発明は、以上説明したように構成さ
れるので以下に記載されるような効果を奏する。

【００２４】被写体画像より得られる濃淡情報及び３次
元ワイヤーフレーム情報と各情報格納部に登録されてい
る複数の濃淡情報及び３次元ワイヤーフレーム情報を、
第１及び第２切換え手段の切り換えによって合成画像生
成のための各種情報の組合せを自由に選択することがで
きる。

【００２５】また、スリット光を用いた３次元デジタイ
ザを用いることで、安定した手法で対象物体の３次元構
造情報を抽出することができる。

【００２６】また、ワイヤーフレーム情報格納部中のＮ
個の３次元ワイヤーフレーム情報に対して、テキスチャ
マッピング処理すべき濃淡情報がＮ個あるとき、Ｍ×Ｎ
通りの合成画像を生成することができる。

【００２７】更に、複数の入力濃淡情報に対する合成配
分ｒｉ　と、複数の入力ワイヤーフレーム情報に対する
合成配分ｒｗ　を任意に変化させることで最低２個のワ
イヤーフレーム情報と対応する最低２個の濃淡情報とか
ら、無限通りの合成画像を生成することができる。

【図面の簡単な説明】

【図１】この発明の実施例１を示すブロック図である。

【図２】この発明におけるスリット光を投射した入力画
像を示す図である。

【図３】この発明における基本３次元ワイヤーフレーム
を示す図である。

【図４】この発明における３次元ワイヤーフレームデー
タベースのフォーマット形式を示す図である。

【図５】この発明におけるテキスチャマッピング処理の
概念図である。

【図６】従来の画像伝送方式の概念図である。

【図７】従来の画像伝送方式のコードブック構成例であ
る。

【図８】従来の画像伝送方式の各音素に対する口画像の
例である。

【符号の説明】

１　　　　スリット光照射部 ２　　　　画像入力部 ４　　　　特徴点抽出部 ５　　　　３次元座標計算部 ６　　　　基本３次元ワイヤーフレームデータベース７
　　　　３次元ワイヤーフレーム変形部８　　　　３次
元ワイヤーフレームデータベース９　　　　濃淡情報デ
ータベース １０　　　　合成画像生成処理部 １０１　　　　入力画像 １０２　　　　スリット光を投射した入力画像１０４　
　　　特徴点情報 １０５　　　　３次元座標情報 １０６　　　　基本３次元ワイヤーフレーム情報１０７
　　　　被写体画像の３次元ワイヤーフレーム１０８　
　　　３次元ワイヤーフレーム情報１０９　　　　被写
体画像の濃淡情報 １１０　　　　濃淡情報 １１１　　　　合成画像出力 １１２　　　　入力ワイヤーフレーム １１３　　　　入力濃淡情報 １１４　　　　被写体画像 ｓｗ１　　　　第１スイッチ ｓｗ２　　　　第２スイッチ

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　画像入力部より入力した被写体画像の
   ３次元構成情報に合せて、基本的な３次元ワイヤーフレ
   ームを変形しワイヤーフレーム情報を出力する３次元ワ
   イヤーフレーム変形部と、この出力されたワイヤーフレ
   ーム情報と被写体画像の濃淡情報に基づいて被写体画像
   を３次元画像に整合する合成画像生成処理部と３次元ワ
   イヤーフレームを複数通りに変形して生成したワイヤー
   フレーム情報を格納したワイヤーフレーム情報格納部と
   、この格納部のワイヤーフレーム情報と上記３次ワイヤ
   ーフレーム変形部の出力を合成画像生成処理部に対して
   切り換え出力する第１切り換え手段と、各種濃淡情報を
   格格した濃淡情報格納部と、この格納部からの濃淡情報
   と上記被写体画像より得られた濃淡情報を上記合成画像
   生成処理部に対して切り換え出力する第２切り換え手段
   とを備えたことを特徴とする画像合成器。
2. 【請求項２】　　対象物にスリット光を投射した被写体
   画像から特徴点を抽出し、その特徴点に基づいて被写体
   の３次元構造情報を算出する３次元デジタイザを備えた
   ことを特徴とする請求項１記載の画像合成器。
3. 【請求項３】　　上記合成画像生成処理部は、最低２個
   の３次元ワイヤーフレームと最低２個の濃淡情報に対し
   て各々の合成配分値を任意に決定することを特徴とする
   請求項１記載の画像合成器。