JP3464754B2 - ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 - Google Patents
ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置Info
- Publication number
- JP3464754B2 JP3464754B2 JP25466497A JP25466497A JP3464754B2 JP 3464754 B2 JP3464754 B2 JP 3464754B2 JP 25466497 A JP25466497 A JP 25466497A JP 25466497 A JP25466497 A JP 25466497A JP 3464754 B2 JP3464754 B2 JP 3464754B2
- Authority
- JP
- Japan
- Prior art keywords
- mounted display
- head mounted
- face image
- image
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像通信用入力表
示システムに関する。特に、ヘッドマウントディスプレ
イを装着した没入感の高い画像通信を行う上で、通信者
の顔画像を送受信するための顔画像合成方法および装置
に関する。
示システムに関する。特に、ヘッドマウントディスプレ
イを装着した没入感の高い画像通信を行う上で、通信者
の顔画像を送受信するための顔画像合成方法および装置
に関する。
【０００２】
【従来の技術】現在、コンピュータグラフィックスを用
い、現実には存在しない仮想空間をあたかも存在するが
如く立体表示するシステムが実現されている。そして、
そのような仮想空間を共通の空間として、通信手段を介
してその中に多人数が集いあうサービスが提案されてい
る。
い、現実には存在しない仮想空間をあたかも存在するが
如く立体表示するシステムが実現されている。そして、
そのような仮想空間を共通の空間として、通信手段を介
してその中に多人数が集いあうサービスが提案されてい
る。
【０００３】上記従来のシステムにおいては、仮想空間
の使用者は机上のＣＲＴモニタ等のディスプレイを通し
て仮想空間を眺め、自分自身はディスプレイの上や横に
設置したビデオカメラで撮影した顔画像を、仮想空間に
参加している他の通信者へ送っている。すなわち、コン
ピュータグラフィックスで形成した仮想空間に、通信シ
ステムを介してアクセスしている各参加者が、本物の顔
画像を持った疑似的な人物（アバタ）として現われるの
である。
の使用者は机上のＣＲＴモニタ等のディスプレイを通し
て仮想空間を眺め、自分自身はディスプレイの上や横に
設置したビデオカメラで撮影した顔画像を、仮想空間に
参加している他の通信者へ送っている。すなわち、コン
ピュータグラフィックスで形成した仮想空間に、通信シ
ステムを介してアクセスしている各参加者が、本物の顔
画像を持った疑似的な人物（アバタ）として現われるの
である。
【０００４】上記従来のシステムの問題点は、モニタの
表示サイズに制限されて、十分な没入感が得られないこ
とである。没入感を得る表示方法としては既にヘッドマ
ウントディスプレイが知られており、種々の製品が入手
できる。ヘッドマウントディスプレイは、頭部に装着し
て使うもので、眼の前にディスプレイが固定されてい
る。そして位置センサと組み合わせて使用することによ
り、顔を動かしても、その視点に応じた常に正しい視点
からの視野を表示するため、あたかも周囲全体にわたっ
てスクリーンがあるかのような効果を生む。
表示サイズに制限されて、十分な没入感が得られないこ
とである。没入感を得る表示方法としては既にヘッドマ
ウントディスプレイが知られており、種々の製品が入手
できる。ヘッドマウントディスプレイは、頭部に装着し
て使うもので、眼の前にディスプレイが固定されてい
る。そして位置センサと組み合わせて使用することによ
り、顔を動かしても、その視点に応じた常に正しい視点
からの視野を表示するため、あたかも周囲全体にわたっ
てスクリーンがあるかのような効果を生む。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来の画像通信システムにヘッドマウントディスプレイを
表示手段として用いた場合、人物の顔画像を撮影するの
に、前方にあるビデオカメラを用いて撮影しようとする
ことから、顔の前にディスプレイ部があるため、顔の表
情、特に眼の付近を撮影することができないという問題
がある。また、ヘッドマウントディスプレイの内部に小
型カメラを設置しようとしても、撮影距離が近すぎる理
由や、眼の付近を照明できないため十分な光量が得られ
ない理由などから、撮影が困難であるという問題があっ
た。
来の画像通信システムにヘッドマウントディスプレイを
表示手段として用いた場合、人物の顔画像を撮影するの
に、前方にあるビデオカメラを用いて撮影しようとする
ことから、顔の前にディスプレイ部があるため、顔の表
情、特に眼の付近を撮影することができないという問題
がある。また、ヘッドマウントディスプレイの内部に小
型カメラを設置しようとしても、撮影距離が近すぎる理
由や、眼の付近を照明できないため十分な光量が得られ
ない理由などから、撮影が困難であるという問題があっ
た。
【０００６】本発明は、上記の問題点を解決するため
に、画像通信システム等において、ヘッドマウントディ
スプレイを表示手段として用いた場合でも、ヘッドマウ
ントディスプレイを装着していない使用者の顔画像を得
ることができる顔画像合成方法および装置を提供するこ
とを課題とする。
に、画像通信システム等において、ヘッドマウントディ
スプレイを表示手段として用いた場合でも、ヘッドマウ
ントディスプレイを装着していない使用者の顔画像を得
ることができる顔画像合成方法および装置を提供するこ
とを課題とする。
【０００７】
【課題を解決するための手段】本発明は、このような課
題を解決するために、以下の〈１〉〜〈７〉の手段を用
いる。
題を解決するために、以下の〈１〉〜〈７〉の手段を用
いる。
【０００８】〈１〉ヘッドマウントディスプレイを装着
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する第１の過程と、前記ヘッドマウントディスプレイを
装着した状態の顔画像を正面から撮影する第２の過程
と、前記ヘッドマウントディスプレイの位置および向き
を検出する第３の過程と、前記ヘッドマウントディスプ
レイ未装着時の顔画像から該ヘッドマウントディスプレ
イで隠れる領域を画像処理により抜き出す第４の過程
と、前記ヘッドマウントディスプレイ装着時の顔画像か
ら該ヘッドマウントディスプレイの領域を画像処理によ
り前記抜き出した領域で置き換えて合成する第５の過程
と、前記合成した顔画像を前記検出したヘッドマウント
ディスプレイの位置および向きに応じて移動・回転する
立体形状の表面にテクスチャマップ表示する第６の過程
と、を有することを特徴とするヘッドマウントディスプ
レイを装着した人物の顔画像合成方法。
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する第１の過程と、前記ヘッドマウントディスプレイを
装着した状態の顔画像を正面から撮影する第２の過程
と、前記ヘッドマウントディスプレイの位置および向き
を検出する第３の過程と、前記ヘッドマウントディスプ
レイ未装着時の顔画像から該ヘッドマウントディスプレ
イで隠れる領域を画像処理により抜き出す第４の過程
と、前記ヘッドマウントディスプレイ装着時の顔画像か
ら該ヘッドマウントディスプレイの領域を画像処理によ
り前記抜き出した領域で置き換えて合成する第５の過程
と、前記合成した顔画像を前記検出したヘッドマウント
ディスプレイの位置および向きに応じて移動・回転する
立体形状の表面にテクスチャマップ表示する第６の過程
と、を有することを特徴とするヘッドマウントディスプ
レイを装着した人物の顔画像合成方法。
【０００９】〈２〉前記第４の過程での抜き出し処理を
する顔画像として、正面を向いた顔画像の静止画像を用
いることを特徴とするヘッドマウントディスプレイを装
着した人物の顔画像合成方法。
する顔画像として、正面を向いた顔画像の静止画像を用
いることを特徴とするヘッドマウントディスプレイを装
着した人物の顔画像合成方法。
【００１０】〈３〉前記第４の過程での抜き出し処理を
する顔画像として、正面を向いて眼を開いた顔画像と眼
を閉じた顔画像の２種類の静止画像を用い、適当な間隔
で該２種類の静止画像を交互に切り替えることを特徴と
するヘッドマウントディスプレイを装着した人物の顔画
像合成方法。
する顔画像として、正面を向いて眼を開いた顔画像と眼
を閉じた顔画像の２種類の静止画像を用い、適当な間隔
で該２種類の静止画像を交互に切り替えることを特徴と
するヘッドマウントディスプレイを装着した人物の顔画
像合成方法。
【００１１】〈４〉前記第１の過程では、あらかじめ上
下左右および斜め方向を見ている静止画像を撮影してお
き、前記第３の過程の後に、眼球の向きを検出する過程
を設け、前記第５の過程では、前記ヘッドマウントディ
スプレイの領域を前記検出された眼球の向きに最も近い
眼球の向きを持つ前記静止画像から抜き出した領域で置
き換えることを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成方法。
下左右および斜め方向を見ている静止画像を撮影してお
き、前記第３の過程の後に、眼球の向きを検出する過程
を設け、前記第５の過程では、前記ヘッドマウントディ
スプレイの領域を前記検出された眼球の向きに最も近い
眼球の向きを持つ前記静止画像から抜き出した領域で置
き換えることを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成方法。
【００１２】〈５〉ヘッドマウントディスプレイを装着
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する手段と、前記ヘッドマウントディスプレイを装着し
た状態の顔画像を正面から撮影する手段と、前記ヘッド
マウントディスプレイの位置および向きを検出する手段
と、前記ヘッドマウントディスプレイ未装着時の顔画像
から該ヘッドマウントディスプレイで隠れる領域を抜き
出す手段、前記ヘッドマウントディスプレイ装着時の顔
画像から該ヘッドマウントディスプレイの領域を前記抜
き出した領域で置き換えて合成する手段、および前記合
成した顔画像を前記検出したヘッドマウントディスプレ
イの位置および向きに応じて移動・回転する立体形状の
表面にテクスチャマップ表示する手段からなる画像処理
手段と、を有することを特徴とするヘッドマウントディ
スプレイを装着した人物の顔画像合成装置。
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する手段と、前記ヘッドマウントディスプレイを装着し
た状態の顔画像を正面から撮影する手段と、前記ヘッド
マウントディスプレイの位置および向きを検出する手段
と、前記ヘッドマウントディスプレイ未装着時の顔画像
から該ヘッドマウントディスプレイで隠れる領域を抜き
出す手段、前記ヘッドマウントディスプレイ装着時の顔
画像から該ヘッドマウントディスプレイの領域を前記抜
き出した領域で置き換えて合成する手段、および前記合
成した顔画像を前記検出したヘッドマウントディスプレ
イの位置および向きに応じて移動・回転する立体形状の
表面にテクスチャマップ表示する手段からなる画像処理
手段と、を有することを特徴とするヘッドマウントディ
スプレイを装着した人物の顔画像合成装置。
【００１３】〈６〉前記ヘッドマウントディスプレイを
装着した顔画像を正面から撮影する手段に、該ヘッドマ
ウントディスプレイに固定した小型ビデオカメラを用
い、前記ヘッドマウントディスプレイを未装着の顔画像
を正面から撮影する手段として、前記ヘッドマウントデ
ィスプレイを装着した顔画像を撮影する小型ビデオカメ
ラと同一視点から撮影するよう顔の正面に設置した小型
ビデオカメラと取り付け具を用いることを特徴とするヘ
ッドマウントディスプレイを装着した人物の顔画像合成
装置。
装着した顔画像を正面から撮影する手段に、該ヘッドマ
ウントディスプレイに固定した小型ビデオカメラを用
い、前記ヘッドマウントディスプレイを未装着の顔画像
を正面から撮影する手段として、前記ヘッドマウントデ
ィスプレイを装着した顔画像を撮影する小型ビデオカメ
ラと同一視点から撮影するよう顔の正面に設置した小型
ビデオカメラと取り付け具を用いることを特徴とするヘ
ッドマウントディスプレイを装着した人物の顔画像合成
装置。
【００１４】〈７〉眼球の向きを検出する手段を新たに
備え、前記画像処理手段の合成する手段は、前記ヘッド
マウントディスプレイの領域を前記検出された眼球の向
きに最も近い眼球の向きを持つ静止画像から抜き出した
領域で置き換えるものであることを特徴とするヘッドマ
ウントディスプレイを装着した人物の顔画像合成装置。
備え、前記画像処理手段の合成する手段は、前記ヘッド
マウントディスプレイの領域を前記検出された眼球の向
きに最も近い眼球の向きを持つ静止画像から抜き出した
領域で置き換えるものであることを特徴とするヘッドマ
ウントディスプレイを装着した人物の顔画像合成装置。
【００１５】本発明では、ヘッドマウントディスプレイ
を未装着の時の静止画像を用いて、ヘッドマウントディ
スプレイで隠れる部分を置き換えることで、本発明の課
題を解決する。
を未装着の時の静止画像を用いて、ヘッドマウントディ
スプレイで隠れる部分を置き換えることで、本発明の課
題を解決する。
【００１６】すなわち、ヘッドマウントディスプレイに
固定した位置からヘッドマウントディスプレイ越しに正
面画像（動画像）を撮影し、ヘッドマウントディスプレ
イに隠れない顔領域はそのまま使用し、隠れる領域は同
一視点からあらかじめ撮影したヘッドマウントディスプ
レイ未装着時の静止画像でから切り出した領域で置き換
える。そして、このように動画像と静止画像から合成し
た顔画像を、立方体等の適当な立体の表面にテクスチャ
マップ手法で貼り付けて、それを人物の頭部として出力
または表示しようとするものである。
固定した位置からヘッドマウントディスプレイ越しに正
面画像（動画像）を撮影し、ヘッドマウントディスプレ
イに隠れない顔領域はそのまま使用し、隠れる領域は同
一視点からあらかじめ撮影したヘッドマウントディスプ
レイ未装着時の静止画像でから切り出した領域で置き換
える。そして、このように動画像と静止画像から合成し
た顔画像を、立方体等の適当な立体の表面にテクスチャ
マップ手法で貼り付けて、それを人物の頭部として出力
または表示しようとするものである。
【００１７】ここで、ヘッドマウントディスプレイで隠
れる顔画像の領域に、あらかじめ撮影したヘッドマウン
トディスプレイ未装着時の静止画像から切り出した領域
で置き換えるには、以下の３種類の方法が考えられる。
れる顔画像の領域に、あらかじめ撮影したヘッドマウン
トディスプレイ未装着時の静止画像から切り出した領域
で置き換えるには、以下の３種類の方法が考えられる。
【００１８】（１）伝送する情報量が少ない条件では、
動画像の解像度が低くなるため、顔画像としての動画像
にはめ込む静止画像は、正面を向いて眼を開いた画像１
種類でも十分役にたつ。
動画像の解像度が低くなるため、顔画像としての動画像
にはめ込む静止画像は、正面を向いて眼を開いた画像１
種類でも十分役にたつ。
【００１９】（２）より高解像度の画像が伝送できる場
合には、眼を開いた状態の静止画像と、眼を閉じた状態
の静止画像を、人間のまばたきの間隔に近い間隔で自動
的に切り替えれば、より本物らしく見せることができ
る。
合には、眼を開いた状態の静止画像と、眼を閉じた状態
の静止画像を、人間のまばたきの間隔に近い間隔で自動
的に切り替えれば、より本物らしく見せることができ
る。
【００２０】（３）さらに、ヘッドマウントディスプレ
イに眼球運動の検出手段を組み込んで、眼の開閉に加え
て、眼球の上下左右の動きも検出するようにして、あら
かじめ撮影しておいた上下左右方向を見ている静止画像
でヘッドマウントディスプレイで隠される領域を置き換
えるようにすれば、さらに表情の再現が正確になる。
イに眼球運動の検出手段を組み込んで、眼の開閉に加え
て、眼球の上下左右の動きも検出するようにして、あら
かじめ撮影しておいた上下左右方向を見ている静止画像
でヘッドマウントディスプレイで隠される領域を置き換
えるようにすれば、さらに表情の再現が正確になる。
【００２１】上記の３種類のはめ込み方法は、使用する
伝送量に応じて固定的に用いてもよいし、伝送量が変化
する系では、伝送量のレベルに応じて可変的に用いても
よい。
伝送量に応じて固定的に用いてもよいし、伝送量が変化
する系では、伝送量のレベルに応じて可変的に用いても
よい。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。
て図を用いて詳細に説明する。
【００２３】図１は、ヘッドマウントディスプレイを装
着している様子を示す。ヘッドマウントディスプレイ１
は眼の前にディスプレイ部があるため、外からは眼の付
近が見えず、名前の識別や、表情の認識が困難になる。
着している様子を示す。ヘッドマウントディスプレイ１
は眼の前にディスプレイ部があるため、外からは眼の付
近が見えず、名前の識別や、表情の認識が困難になる。
【００２４】図２は、比較のためあげたヘッドマウント
ディスプレイをつけていないときの正面画像である。
ディスプレイをつけていないときの正面画像である。
【００２５】図３は、本発明の実施形態例での構成の一
部を示すもので、固定具２を使ってヘッドマウントディ
スプレイ１にカメラ３を取り付けた様子を示している。
部を示すもので、固定具２を使ってヘッドマウントディ
スプレイ１にカメラ３を取り付けた様子を示している。
【００２６】図４は、図３の側面図で、カメラ３の視野
（垂直方向）４が顔全体を撮影できるようにすることが
必要なことを示している。本発明の構成では、ヘッドマ
ウントディスプレイ１のための信号ケーブル、カメラ３
のための信号ケーブル、ヘッドマウントディスプレイ１
の向きを知るための位置センサ、およびそのケーブルが
含まれているが、図３と図４では簡略化のため省略して
ある。
（垂直方向）４が顔全体を撮影できるようにすることが
必要なことを示している。本発明の構成では、ヘッドマ
ウントディスプレイ１のための信号ケーブル、カメラ３
のための信号ケーブル、ヘッドマウントディスプレイ１
の向きを知るための位置センサ、およびそのケーブルが
含まれているが、図３と図４では簡略化のため省略して
ある。
【００２７】図５、図６は、本発明の実施形態例での構
成の一部を示すもので、固定具２′を使って、図３、図
４と同一の位置と視野４でカメラ３′を設置した様子を
示している。これは、本発明の顔画像の合成に必要な静
止画像を得るために、あらかじめ撮影するためのもので
ある。得られた静止画像は画像ファイルとして蓄積され
る。なお、カメラ３′は静止画像を撮影できるものであ
ればよいが、上記のカメラ３を共用することも可能であ
る。
成の一部を示すもので、固定具２′を使って、図３、図
４と同一の位置と視野４でカメラ３′を設置した様子を
示している。これは、本発明の顔画像の合成に必要な静
止画像を得るために、あらかじめ撮影するためのもので
ある。得られた静止画像は画像ファイルとして蓄積され
る。なお、カメラ３′は静止画像を撮影できるものであ
ればよいが、上記のカメラ３を共用することも可能であ
る。
【００２８】図７は、ヘッドマウントディスプレイのマ
スクパターンである。このパターンは、図３のカメラ出
力から手動的手法で、または自動的手法で得ることがで
きる。自動的にマスクパターンを抽出するために、クロ
マキーのように色情報から抜き取る方法や、図３と図５
の差分をとる方法など、種々の方法が使用できる。
スクパターンである。このパターンは、図３のカメラ出
力から手動的手法で、または自動的手法で得ることがで
きる。自動的にマスクパターンを抽出するために、クロ
マキーのように色情報から抜き取る方法や、図３と図５
の差分をとる方法など、種々の方法が使用できる。
【００２９】図８、図９は、図７のヘッドマウントディ
スプレイのマスクパターンで図５の画像ファイルから抜
き取られた静止画像の例である。図８は眼を開いた顔画
像の切り抜き領域を示し、図９は眼を閉じた顔画像の切
り抜き領域を示す。
スプレイのマスクパターンで図５の画像ファイルから抜
き取られた静止画像の例である。図８は眼を開いた顔画
像の切り抜き領域を示し、図９は眼を閉じた顔画像の切
り抜き領域を示す。
【００３０】図１０は、本発明の実施形態例での画像合
成のための装置構成例を示すもので、カメラ３によりヘ
ッドマウントディスプレイ越しに正面から撮影した画像
と、ヘッドマウントディスプレイのマスクパターンと、
予め撮影し蓄積手段５に蓄積しておいたヘッドマウント
ディスプレイ未装着時の静止画像とを画像処理手段６に
入力して、ヘッドマウントディスプレイが無い正面顔画
像を画像処理により生成する構成を示している。このよ
うな画像処理はクロマキー合成等の外部キー合成として
知られる既知の手法であり、その手段としては、市販の
画像処理用特殊効果装置を用いてもよく、また高速のコ
ンピュータで全ソフトウエア処理してもよく、また、ハ
ードウエアとソフトウエアを混合して用いてもよい。
成のための装置構成例を示すもので、カメラ３によりヘ
ッドマウントディスプレイ越しに正面から撮影した画像
と、ヘッドマウントディスプレイのマスクパターンと、
予め撮影し蓄積手段５に蓄積しておいたヘッドマウント
ディスプレイ未装着時の静止画像とを画像処理手段６に
入力して、ヘッドマウントディスプレイが無い正面顔画
像を画像処理により生成する構成を示している。このよ
うな画像処理はクロマキー合成等の外部キー合成として
知られる既知の手法であり、その手段としては、市販の
画像処理用特殊効果装置を用いてもよく、また高速のコ
ンピュータで全ソフトウエア処理してもよく、また、ハ
ードウエアとソフトウエアを混合して用いてもよい。
【００３１】図１６は、本発明の実施形態例での画像合
成の手順を示したフローの例である。まず、ヘッドマウ
ントディスプレイ（以下、ＨＭＤと記す）付顔動画像か
らＨＭＤ領域のマスクパターンを作成する。ＨＭＤにカ
メラを固定しているため、同一人物であれば、任意の時
点で作成したマスクパターンを使い続けることができ
る。マスクパターンはＨＭＤ領域が１で、それ以外が０
の値をもつ２値画像である。この０，１の値を反転し
て、反転マスクパターンを作成する。そして、この反転
マスクパターンとＨＭＤ付顔動画像の画素単位のＡＮＤ
をとれば、ＨＭＤ領域が切り取られた（すなわち黒でお
きかえられた）顔動画像が生成される。一方、ＨＭＤな
し顔静止画像とマスクパターンのＡＮＤをとると、ＨＭ
Ｄで隠れる部分の顔静止画像が生成される（すなわちＨ
ＭＤで隠れない部分は黒で置き換えられる）。ここでＨ
ＭＤ領域が切り取られた顔動画像とＨＭＤで隠れる顔静
止画像のＯＲをとれば、ＨＭＤなしの顔動画像が合成さ
れる。
成の手順を示したフローの例である。まず、ヘッドマウ
ントディスプレイ（以下、ＨＭＤと記す）付顔動画像か
らＨＭＤ領域のマスクパターンを作成する。ＨＭＤにカ
メラを固定しているため、同一人物であれば、任意の時
点で作成したマスクパターンを使い続けることができ
る。マスクパターンはＨＭＤ領域が１で、それ以外が０
の値をもつ２値画像である。この０，１の値を反転し
て、反転マスクパターンを作成する。そして、この反転
マスクパターンとＨＭＤ付顔動画像の画素単位のＡＮＤ
をとれば、ＨＭＤ領域が切り取られた（すなわち黒でお
きかえられた）顔動画像が生成される。一方、ＨＭＤな
し顔静止画像とマスクパターンのＡＮＤをとると、ＨＭ
Ｄで隠れる部分の顔静止画像が生成される（すなわちＨ
ＭＤで隠れない部分は黒で置き換えられる）。ここでＨ
ＭＤ領域が切り取られた顔動画像とＨＭＤで隠れる顔静
止画像のＯＲをとれば、ＨＭＤなしの顔動画像が合成さ
れる。
【００３２】図１１は、図１０のヘッドマウントディス
プレイ未装着時の静止顔画像として、図８の眼の開いた
画像と図９の眼の閉じた画像の２種類を交互に切り替え
て用いたときの、画像切り替えのタイムチャートの例を
示す。ｔｉ（ｉ＝１，２，…）は人間が瞬きする時間間
隔の付近で不規則な値に設定するのが望ましい。
プレイ未装着時の静止顔画像として、図８の眼の開いた
画像と図９の眼の閉じた画像の２種類を交互に切り替え
て用いたときの、画像切り替えのタイムチャートの例を
示す。ｔｉ（ｉ＝１，２，…）は人間が瞬きする時間間
隔の付近で不規則な値に設定するのが望ましい。
【００３３】図１２は、図４に眼球運動検出手段７を設
けた本発明の他の実施形態例での構成を示している。眼
球運動検出手段７により眼の開閉、眼球の向きを検出
し、その結果に基づき最も良く一致する静止顔画像に切
り替える。眼球運動検出手段７としては、ＨＭＤと同時
に設置できるデバイスならばどのようなものでもよく、
例えば、赤外光の発光ダイオードとセンサからなるデバ
イスが使用できる。
けた本発明の他の実施形態例での構成を示している。眼
球運動検出手段７により眼の開閉、眼球の向きを検出
し、その結果に基づき最も良く一致する静止顔画像に切
り替える。眼球運動検出手段７としては、ＨＭＤと同時
に設置できるデバイスならばどのようなものでもよく、
例えば、赤外光の発光ダイオードとセンサからなるデバ
イスが使用できる。
【００３４】図１７は、図１２での処理のフローの例を
示す。眼球の開閉の検出で、眼球が閉じていると判断さ
れた場合は、眼を閉じた顔静止画像を選択する。一方、
眼球が開いていると判断された場合は、眼球の向きを調
べて、あるｔｈｒｅｓｈｏｌｄで眼球の向きを量子化
し、あらかじめ撮影しておいた異なる眼の向きを持つ顔
画像の中から、最も近い開眼状態の顔静止画像を選択す
る。異なる眼の向きを持つ顔画像は、図５、図６のカメ
ラであらかじめ必要な種類を撮影して、顔画像ファイル
として管理する。
示す。眼球の開閉の検出で、眼球が閉じていると判断さ
れた場合は、眼を閉じた顔静止画像を選択する。一方、
眼球が開いていると判断された場合は、眼球の向きを調
べて、あるｔｈｒｅｓｈｏｌｄで眼球の向きを量子化
し、あらかじめ撮影しておいた異なる眼の向きを持つ顔
画像の中から、最も近い開眼状態の顔静止画像を選択す
る。異なる眼の向きを持つ顔画像は、図５、図６のカメ
ラであらかじめ必要な種類を撮影して、顔画像ファイル
として管理する。
【００３５】図１３、図１４は、上記の処理で用いる異
なる眼の向きを持つ顔画像として、それぞれ上向き画
像、右向き画像の切り抜き例を示す。
なる眼の向きを持つ顔画像として、それぞれ上向き画
像、右向き画像の切り抜き例を示す。
【００３６】図１５は、合成した顔画像をテクスチャマ
ップの手法で表示する例を示している。この例では、顔
を板状の立体物で表現し、板の表面に合成した顔画像を
貼りつける。この図では顔が右を向いている状態を示し
ている。顔の向きは、ヘッドマウントディスプレイに取
り付けた磁気センサ等の位置センサの値に基づきリアル
タイムに変更する。
ップの手法で表示する例を示している。この例では、顔
を板状の立体物で表現し、板の表面に合成した顔画像を
貼りつける。この図では顔が右を向いている状態を示し
ている。顔の向きは、ヘッドマウントディスプレイに取
り付けた磁気センサ等の位置センサの値に基づきリアル
タイムに変更する。
【００３７】
【発明の効果】本発明によれば、ヘッドマウントディス
プレイを未装着の時の静止画像を用いて、ヘッドマウン
トディスプレイで隠れる部分を置き換えて合成した顔画
像を、立方体等の適当な立体の表面にテクスチャマップ
手法で貼り付けて、それを人物の頭部とするようにした
ので、ヘッドマウントディスプレイを装着していても、
ヘッドマウントを装着しない顔画像を出力もしくは表示
することができる。
プレイを未装着の時の静止画像を用いて、ヘッドマウン
トディスプレイで隠れる部分を置き換えて合成した顔画
像を、立方体等の適当な立体の表面にテクスチャマップ
手法で貼り付けて、それを人物の頭部とするようにした
ので、ヘッドマウントディスプレイを装着していても、
ヘッドマウントを装着しない顔画像を出力もしくは表示
することができる。
【００３８】また、上記の置き換える顔画像の部分とし
て、眼を開いた状態の静止画像と、眼を閉じた状態の静
止画像を、人間のまばたきの間隔に近い間隔で自動的に
切り替えるようにした場合には、より本物らしく見せる
ことができる。
て、眼を開いた状態の静止画像と、眼を閉じた状態の静
止画像を、人間のまばたきの間隔に近い間隔で自動的に
切り替えるようにした場合には、より本物らしく見せる
ことができる。
【００３９】さらに、ヘッドマウントディスプレイに眼
球運動の検出手段を組み込んで、眼球の上下左右の動き
も検出するようにして、あらかじめ撮影しておいた上下
左右方向を見ている静止画像でヘッドマウントディスプ
レイで隠される領域を置き換えるようにすた場合には、
さらに表情の再現が正確になる。
球運動の検出手段を組み込んで、眼球の上下左右の動き
も検出するようにして、あらかじめ撮影しておいた上下
左右方向を見ている静止画像でヘッドマウントディスプ
レイで隠される領域を置き換えるようにすた場合には、
さらに表情の再現が正確になる。
【図１】本発明の実施形態例での、ヘッドマウントディ
スプレイを装着しているときの正面画像の例を示す図で
ある。
スプレイを装着しているときの正面画像の例を示す図で
ある。
【図２】本発明の実施形態例での、ヘッドマウントディ
スプレイを装着していないときの正面画像の例を示す図
である。
スプレイを装着していないときの正面画像の例を示す図
である。
【図３】本発明での実施形態例での、ヘッドマウントデ
ィスプレイを装着しているときの顔画像を撮影する構成
を示す正面図である。
ィスプレイを装着しているときの顔画像を撮影する構成
を示す正面図である。
【図４】上記図３の側面図である。
【図５】本発明での実施形態例での、ヘッドマウントデ
ィスプレイを装着していないときの顔画像を撮影する構
成を示す正面図である。
ィスプレイを装着していないときの顔画像を撮影する構
成を示す正面図である。
【図６】上記図６の側面図である。
【図７】本発明での実施形態例での、ヘッドマウントデ
ィスプレイのマスクパターンの例を示す図である。
ィスプレイのマスクパターンの例を示す図である。
【図８】本発明での実施形態例で、上記ヘッドマウント
ディスプレイのマスクパターンを用いて目を開いた顔画
像から切り出した領域の例を示す図である。
ディスプレイのマスクパターンを用いて目を開いた顔画
像から切り出した領域の例を示す図である。
【図９】本発明での実施形態例で、上記ヘッドマウント
ディスプレイのマスクパターンを用いて目を閉じた顔画
像から切り出した領域の例を示す図である。
ディスプレイのマスクパターンを用いて目を閉じた顔画
像から切り出した領域の例を示す図である。
【図１０】本発明の実施形態例での、画像合成のための
装置構成例を示す図である。
装置構成例を示す図である。
【図１１】本発明の実施形態例での画像合成において、
ヘッドマウントディスプレイ未装着時の静止顔画像とし
て、眼の開いた切り出し領域の画像と眼の閉じた切り出
し領域の画像の２種類を交互に切り替えて用いたとき
の、画像切り替えのタイミングの例を示すタイムチャー
トである。
ヘッドマウントディスプレイ未装着時の静止顔画像とし
て、眼の開いた切り出し領域の画像と眼の閉じた切り出
し領域の画像の２種類を交互に切り替えて用いたとき
の、画像切り替えのタイミングの例を示すタイムチャー
トである。
【図１２】本発明の他の実施形態例での構成を示す図で
ある。
ある。
【図１３】上記本発明の他の実施形態例で、ヘッドマウ
ントディスプレイのマスクパターンを用いて目の向きが
上向きである顔画像から切り出した領域の例を示す図で
ある。
ントディスプレイのマスクパターンを用いて目の向きが
上向きである顔画像から切り出した領域の例を示す図で
ある。
【図１４】上記本発明の他の実施形態例で、ヘッドマウ
ントディスプレイのマスクパターンを用いて目の向きが
横向きである顔画像から切り出した領域の例を示す図で
ある。
ントディスプレイのマスクパターンを用いて目の向きが
横向きである顔画像から切り出した領域の例を示す図で
ある。
【図１５】本発明の実施形態例で、合成した顔画像をテ
クスチャマップの手法で表示する例を示す図である。
クスチャマップの手法で表示する例を示す図である。
【図１６】本発明の実施形態例での画像合成の手順のフ
ローの例を示す図である。
ローの例を示す図である。
【図１７】本発明の他の実施形態例での処理のフローの
例を示す図である。
例を示す図である。
１…ヘッドマウントディスプレイ
２，２′…固定具
３，３′…カメラ
４…カメラの視野
５…蓄積手段
６…画像処理手段
フロントページの続き
(72)発明者 市川 忠嗣
東京都新宿区西新宿３丁目19番２号 日
本電信電話株式会社内
(56)参考文献 特開 平８−84328（ＪＰ，Ａ)
特開 昭62−98472（ＪＰ，Ａ)
特開 平８−96162（ＪＰ，Ａ)
特開 平４−304795（ＪＰ，Ａ)
特開 平６−52290（ＪＰ，Ａ)
特開 平９−212620（ＪＰ，Ａ)
特開 平５−298425（ＪＰ，Ａ)
特開 平７−87374（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 3/00
G06T 7/00 - 7/60
G06T 1/00
H04N 7/14
ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (7)
- 【請求項１】 ヘッドマウントディスプレイを装着して
画像通信を行うシステムにおいて、 あらかじめヘッドマウントディスプレイを未装着の状態
で顔画像を撮影する第１の過程と、 前記ヘッドマウントディスプレイを装着した状態の顔画
像を正面から撮影する第２の過程と、 前記ヘッドマウントディスプレイの位置および向きを検
出する第３の過程と、 前記ヘッドマウントディスプレイ未装着時の顔画像から
該ヘッドマウントディスプレイで隠れる領域を画像処理
により抜き出す第４の過程と、 前記ヘッドマウントディスプレイ装着時の顔画像から該
ヘッドマウントディスプレイの領域を画像処理により前
記抜き出した領域で置き換えて合成する第５の過程と、 前記合成した顔画像を前記検出したヘッドマウントディ
スプレイの位置および向きに応じて移動・回転する立体
形状の表面にテクスチャマップ表示する第６の過程と、 を有することを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成方法。 - 【請求項２】 前記第４の過程での抜き出し処理をする
顔画像として、正面を向いた顔画像の静止画像を用い
る、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。 - 【請求項３】 前記第４の過程での抜き出し処理をする
顔画像として、正面を向いて眼を開いた顔画像と眼を閉
じた顔画像の２種類の静止画像を用い、適当な間隔で該
２種類の静止画像を交互に切り替える、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。 - 【請求項４】 前記第１の過程では、あらかじめ上下左
右および斜め方向を見ている静止画像を撮影しておき、 前記第３の過程の後に、眼球の向きを検出する過程を設
け、 前記第５の過程では、前記ヘッドマウントディスプレイ
の領域を前記検出された眼球の向きに最も近い眼球の向
きを持つ前記静止画像から抜き出した領域で置き換え
る、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。 - 【請求項５】 ヘッドマウントディスプレイを装着して
画像通信を行うシステムにおいて、 あらかじめヘッドマウントディスプレイを未装着の状態
で顔画像を撮影する手段と、 前記ヘッドマウントディスプレイを装着した状態の顔画
像を正面から撮影する手段と、 前記ヘッドマウントディスプレイの位置および向きを検
出する手段と、 前記ヘッドマウントディスプレイ未装着時の顔画像から
該ヘッドマウントディスプレイで隠れる領域を抜き出す
手段、前記ヘッドマウントディスプレイ装着時の顔画像
から該ヘッドマウントディスプレイの領域を前記抜き出
した領域で置き換えて合成する手段、および前記合成し
た顔画像を前記検出したヘッドマウントディスプレイの
位置および向きに応じて移動・回転する立体形状の表面
にテクスチャマップ表示する手段からなる画像処理手段
と、 を有することを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成装置。 - 【請求項６】 前記ヘッドマウントディスプレイを装着
した顔画像を正面から撮影する手段に、該ヘッドマウン
トディスプレイに固定した小型ビデオカメラを用い、 前記ヘッドマウントディスプレイを未装着の顔画像を正
面から撮影する手段として、前記ヘッドマウントディス
プレイを装着した顔画像を撮影する小型ビデオカメラと
同一視点から撮影するよう顔の正面に設置した小型ビデ
オカメラと取り付け具を用いる、ことを特徴とする請求
項５に記載のヘッドマウントディスプレイを装着した人
物の顔画像合成装置。 - 【請求項７】 眼球の向きを検出する手段を新たに備
え、 前記画像処理手段の合成する手段は、前記ヘッドマウン
トディスプレイの領域を前記検出された眼球の向きに最
も近い眼球の向きを持つ静止画像から抜き出した領域で
置き換えるものである、 ことを特徴とする請求項５または請求項６に記載のヘッ
ドマウントディスプレイを装着した人物の顔画像合成装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25466497A JP3464754B2 (ja) | 1997-09-19 | 1997-09-19 | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25466497A JP3464754B2 (ja) | 1997-09-19 | 1997-09-19 | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1196366A JPH1196366A (ja) | 1999-04-09 |
| JP3464754B2 true JP3464754B2 (ja) | 2003-11-10 |
Family
ID=17268158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25466497A Expired - Fee Related JP3464754B2 (ja) | 1997-09-19 | 1997-09-19 | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3464754B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013150702A (ja) * | 2012-01-25 | 2013-08-08 | Ge Medical Systems Global Technology Co Llc | モニタ装置および磁気共鳴装置 |
| KR20160135652A (ko) * | 2015-05-18 | 2016-11-28 | 삼성전자주식회사 | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010282497A (ja) * | 2009-06-05 | 2010-12-16 | Ricoh Co Ltd | 異世界状態反映装置 |
| AU2015300725A1 (en) * | 2014-08-04 | 2017-03-02 | Facebook Technologies, Llc | Method and system for reconstructing obstructed face portions for virtual reality environment |
| GB2534580B (en) | 2015-01-28 | 2020-06-17 | Sony Interactive Entertainment Europe Ltd | Image processing |
| JP6548499B2 (ja) * | 2015-07-30 | 2019-07-24 | 株式会社第一興商 | カラオケシステム |
| KR20180102591A (ko) * | 2016-01-13 | 2018-09-17 | 포브, 아이엔씨. | 표정 인식 시스템, 표정 인식 방법 및 표정 인식 프로그램 |
| GB2556114B (en) * | 2016-11-22 | 2020-05-27 | Sony Interactive Entertainment Europe Ltd | Virtual reality |
| WO2018105223A1 (ja) * | 2016-12-08 | 2018-06-14 | ソニー株式会社 | 撮像装置 |
| KR102574874B1 (ko) * | 2017-02-03 | 2023-09-05 | 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 | 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템 |
| US11145124B2 (en) | 2017-08-30 | 2021-10-12 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| CN107680069B (zh) * | 2017-08-30 | 2020-09-11 | 歌尔股份有限公司 | 一种图像处理方法、装置和终端设备 |
| CN111936910A (zh) * | 2018-03-13 | 2020-11-13 | 罗纳德·温斯顿 | 虚拟现实系统和方法 |
| JPWO2023037812A1 (ja) * | 2021-09-10 | 2023-03-16 |
-
1997
- 1997-09-19 JP JP25466497A patent/JP3464754B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013150702A (ja) * | 2012-01-25 | 2013-08-08 | Ge Medical Systems Global Technology Co Llc | モニタ装置および磁気共鳴装置 |
| KR20160135652A (ko) * | 2015-05-18 | 2016-11-28 | 삼성전자주식회사 | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 |
| KR102581453B1 (ko) * | 2015-05-18 | 2023-09-21 | 삼성전자주식회사 | 헤드 마운티드 디스플레이(Head Mounted Display: HMD) 디바이스를 위한 이미지 처리 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1196366A (ja) | 1999-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10527846B2 (en) | Image processing for head mounted display devices | |
| US6400374B2 (en) | Video superposition system and method | |
| US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
| EP2299726B1 (en) | Video communication method, apparatus and system | |
| JP3464754B2 (ja) | ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置 | |
| US5500671A (en) | Video conference system and method of providing parallax correction and a sense of presence | |
| US4925294A (en) | Method to convert two dimensional motion pictures for three-dimensional systems | |
| JP2004145448A (ja) | 端末装置、サーバ装置および画像加工方法 | |
| JP2001515287A (ja) | 画像処理方法および装置 | |
| CN113115110B (zh) | 视频合成方法、装置、存储介质与电子设备 | |
| WO2016024288A1 (en) | Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing | |
| CN105847672A (zh) | 虚拟现实头盔抓拍方法及系统 | |
| CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
| CN114651448A (zh) | 信息处理系统、信息处理方法和程序 | |
| GB2558893A (en) | Method for processing media content and technical equipment for the same | |
| JPH086158A (ja) | 投写型表示装置 | |
| JPH1188912A (ja) | 複眼カメラ及び複眼カメラにおける表示制御方法 | |
| CN108833891A (zh) | 3d显示设备及3d显示方法 | |
| JPH0652945B2 (ja) | テレビ電話装置 | |
| JP2744394B2 (ja) | 臨場感画像表示装置および臨場感画像入出力装置 | |
| JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
| JP5916365B2 (ja) | 映像送信システム、映像送信方法及びコンピュータプログラム | |
| JP4126835B2 (ja) | 画像合成装置 | |
| JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
| GB2605118A (en) | Apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |