JPH1196366A - Method and device for synthesizing facial image of person wearing head mount display - Google Patents
Method and device for synthesizing facial image of person wearing head mount displayInfo
- Publication number
- JPH1196366A JPH1196366A JP9254664A JP25466497A JPH1196366A JP H1196366 A JPH1196366 A JP H1196366A JP 9254664 A JP9254664 A JP 9254664A JP 25466497 A JP25466497 A JP 25466497A JP H1196366 A JPH1196366 A JP H1196366A
- Authority
- JP
- Japan
- Prior art keywords
- head
- mounted display
- image
- face image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像通信用入力表
示システムに関する。特に、ヘッドマウントディスプレ
イを装着した没入感の高い画像通信を行う上で、通信者
の顔画像を送受信するための顔画像合成方法および装置
に関する。The present invention relates to an input display system for image communication. In particular, the present invention relates to a method and an apparatus for synthesizing a face image for transmitting and receiving a face image of a communicator when performing a highly immersive image communication with a head mounted display.
【０００２】[0002]
【従来の技術】現在、コンピュータグラフィックスを用
い、現実には存在しない仮想空間をあたかも存在するが
如く立体表示するシステムが実現されている。そして、
そのような仮想空間を共通の空間として、通信手段を介
してその中に多人数が集いあうサービスが提案されてい
る。2. Description of the Related Art At present, a system has been realized which uses computer graphics to stereoscopically display a virtual space that does not actually exist as if it exists. And
A service has been proposed in which such a virtual space is used as a common space, and many people gather in the virtual space via communication means.
【０００３】上記従来のシステムにおいては、仮想空間
の使用者は机上のＣＲＴモニタ等のディスプレイを通し
て仮想空間を眺め、自分自身はディスプレイの上や横に
設置したビデオカメラで撮影した顔画像を、仮想空間に
参加している他の通信者へ送っている。すなわち、コン
ピュータグラフィックスで形成した仮想空間に、通信シ
ステムを介してアクセスしている各参加者が、本物の顔
画像を持った疑似的な人物（アバタ）として現われるの
である。In the above-mentioned conventional system, a user of a virtual space views a virtual space through a display such as a CRT monitor on a desk, and himself / herself converts a face image taken by a video camera installed on or beside the display into a virtual image. Sending to other correspondents participating in the space. That is, each participant accessing the virtual space formed by computer graphics via the communication system appears as a pseudo person (avatar) having a real face image.
【０００４】上記従来のシステムの問題点は、モニタの
表示サイズに制限されて、十分な没入感が得られないこ
とである。没入感を得る表示方法としては既にヘッドマ
ウントディスプレイが知られており、種々の製品が入手
できる。ヘッドマウントディスプレイは、頭部に装着し
て使うもので、眼の前にディスプレイが固定されてい
る。そして位置センサと組み合わせて使用することによ
り、顔を動かしても、その視点に応じた常に正しい視点
からの視野を表示するため、あたかも周囲全体にわたっ
てスクリーンがあるかのような効果を生む。[0004] A problem of the above-mentioned conventional system is that a sufficient immersive feeling cannot be obtained due to the limitation of the display size of the monitor. As a display method for obtaining an immersive feeling, a head-mounted display is already known, and various products are available. The head mounted display is used by being mounted on the head, and the display is fixed in front of the eyes. When used in combination with the position sensor, even if the face is moved, the visual field from the correct viewpoint is always displayed according to the viewpoint, thereby producing an effect as if there is a screen all around.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記従
来の画像通信システムにヘッドマウントディスプレイを
表示手段として用いた場合、人物の顔画像を撮影するの
に、前方にあるビデオカメラを用いて撮影しようとする
ことから、顔の前にディスプレイ部があるため、顔の表
情、特に眼の付近を撮影することができないという問題
がある。また、ヘッドマウントディスプレイの内部に小
型カメラを設置しようとしても、撮影距離が近すぎる理
由や、眼の付近を照明できないため十分な光量が得られ
ない理由などから、撮影が困難であるという問題があっ
た。However, when a head-mounted display is used as a display means in the above-mentioned conventional image communication system, an attempt is made to use a video camera located in front to capture a face image of a person. Therefore, there is a problem that the face of the face, especially the vicinity of the eyes, cannot be photographed because the display is located in front of the face. Also, even if you try to install a small camera inside the head mounted display, there is a problem that it is difficult to shoot because the shooting distance is too short, or because it is not possible to illuminate the vicinity of the eyes and it is not possible to obtain sufficient light quantity. there were.
【０００６】本発明は、上記の問題点を解決するため
に、画像通信システム等において、ヘッドマウントディ
スプレイを表示手段として用いた場合でも、ヘッドマウ
ントディスプレイを装着していない使用者の顔画像を得
ることができる顔画像合成方法および装置を提供するこ
とを課題とする。In order to solve the above-mentioned problems, the present invention obtains a face image of a user who does not wear a head-mounted display even when the head-mounted display is used as a display means in an image communication system or the like. It is an object to provide a method and apparatus for synthesizing a face image.
【０００７】[0007]
【課題を解決するための手段】本発明は、このような課
題を解決するために、以下の〈１〉〜〈７〉の手段を用
いる。The present invention uses the following means <1> to <7> in order to solve such problems.
【０００８】〈１〉ヘッドマウントディスプレイを装着
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する第１の過程と、前記ヘッドマウントディスプレイを
装着した状態の顔画像を正面から撮影する第２の過程
と、前記ヘッドマウントディスプレイの位置および向き
を検出する第３の過程と、前記ヘッドマウントディスプ
レイ未装着時の顔画像から該ヘッドマウントディスプレ
イで隠れる領域を画像処理により抜き出す第４の過程
と、前記ヘッドマウントディスプレイ装着時の顔画像か
ら該ヘッドマウントディスプレイの領域を画像処理によ
り前記抜き出した領域で置き換えて合成する第５の過程
と、前記合成した顔画像を前記検出したヘッドマウント
ディスプレイの位置および向きに応じて移動・回転する
立体形状の表面にテクスチャマップ表示する第６の過程
と、を有することを特徴とするヘッドマウントディスプ
レイを装着した人物の顔画像合成方法。<1> In a system in which image communication is performed by mounting a head mounted display, a first process of capturing a face image in a state where the head mounted display is not mounted in advance, and a system in which the head mounted display is mounted. A second step of photographing the face image from the front, a third step of detecting the position and orientation of the head mounted display, and an image of an area hidden by the head mounted display from the face image when the head mounted display is not mounted. A fourth step of extracting by processing, a fifth step of replacing the area of the head mounted display with the extracted area by image processing from the face image when the head mounted display is mounted, and combining the face image, The detected position of the head mounted display and Sixth process and method of the face image synthesis person a head-mounted display mounted, characterized in that it comprises a to texture map displayed on the surface of the three-dimensional shape moving and rotation in accordance with the beauty direction.
【０００９】〈２〉前記第４の過程での抜き出し処理を
する顔画像として、正面を向いた顔画像の静止画像を用
いることを特徴とするヘッドマウントディスプレイを装
着した人物の顔画像合成方法。<2> A method of synthesizing a face image of a person wearing a head-mounted display, wherein a still image of a face image facing forward is used as a face image to be extracted in the fourth step.
【００１０】〈３〉前記第４の過程での抜き出し処理を
する顔画像として、正面を向いて眼を開いた顔画像と眼
を閉じた顔画像の２種類の静止画像を用い、適当な間隔
で該２種類の静止画像を交互に切り替えることを特徴と
するヘッドマウントディスプレイを装着した人物の顔画
像合成方法。<3> As face images to be extracted in the fourth step, two types of still images, a face image with eyes open and a face image with eyes closed, are used at appropriate intervals. 3. A method of synthesizing a face image of a person wearing a head-mounted display, wherein the two types of still images are alternately switched.
【００１１】〈４〉前記第１の過程では、あらかじめ上
下左右および斜め方向を見ている静止画像を撮影してお
き、前記第３の過程の後に、眼球の向きを検出する過程
を設け、前記第５の過程では、前記ヘッドマウントディ
スプレイの領域を前記検出された眼球の向きに最も近い
眼球の向きを持つ前記静止画像から抜き出した領域で置
き換えることを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成方法。<4> In the first step, there is provided a step of previously taking a still image looking up, down, left, right and obliquely, and after the third step, a step of detecting an eyeball direction is provided. In a fifth step, the area of the head-mounted display is replaced by an area extracted from the still image having the eyeball direction closest to the detected eyeball direction. Face image synthesis method.
【００１２】〈５〉ヘッドマウントディスプレイを装着
して画像通信を行うシステムにおいて、あらかじめヘッ
ドマウントディスプレイを未装着の状態で顔画像を撮影
する手段と、前記ヘッドマウントディスプレイを装着し
た状態の顔画像を正面から撮影する手段と、前記ヘッド
マウントディスプレイの位置および向きを検出する手段
と、前記ヘッドマウントディスプレイ未装着時の顔画像
から該ヘッドマウントディスプレイで隠れる領域を抜き
出す手段、前記ヘッドマウントディスプレイ装着時の顔
画像から該ヘッドマウントディスプレイの領域を前記抜
き出した領域で置き換えて合成する手段、および前記合
成した顔画像を前記検出したヘッドマウントディスプレ
イの位置および向きに応じて移動・回転する立体形状の
表面にテクスチャマップ表示する手段からなる画像処理
手段と、を有することを特徴とするヘッドマウントディ
スプレイを装着した人物の顔画像合成装置。<5> In a system in which image communication is performed by mounting a head mounted display, means for photographing a face image in a state where the head mounted display is not mounted, and a face image in a state where the head mounted display is mounted are provided. Means for photographing from the front, means for detecting the position and orientation of the head mounted display, means for extracting an area hidden by the head mounted display from a face image when the head mounted display is not mounted, Means for replacing the area of the head mounted display from the face image with the extracted area, and synthesizing the synthesized face image on the surface of the three-dimensional shape which moves and rotates according to the detected position and orientation of the head mounted display. texture Tsu human face image synthesis apparatus the head-mounted display mounted, characterized in that it has a, and an image processing means comprising means for up display.
【００１３】〈６〉前記ヘッドマウントディスプレイを
装着した顔画像を正面から撮影する手段に、該ヘッドマ
ウントディスプレイに固定した小型ビデオカメラを用
い、前記ヘッドマウントディスプレイを未装着の顔画像
を正面から撮影する手段として、前記ヘッドマウントデ
ィスプレイを装着した顔画像を撮影する小型ビデオカメ
ラと同一視点から撮影するよう顔の正面に設置した小型
ビデオカメラと取り付け具を用いることを特徴とするヘ
ッドマウントディスプレイを装着した人物の顔画像合成
装置。<6> Using a small video camera fixed to the head-mounted display as a means for photographing the face image with the head-mounted display mounted from the front, photographing the face image without the head-mounted display mounted from the front. Means for mounting the head mounted display, wherein a small video camera mounted on the front of the face and a mounting tool are used to shoot from the same viewpoint as the small video camera mounted on the head mounted display for capturing a face image. Image synthesis device of a person who has done it.
【００１４】〈７〉眼球の向きを検出する手段を新たに
備え、前記画像処理手段の合成する手段は、前記ヘッド
マウントディスプレイの領域を前記検出された眼球の向
きに最も近い眼球の向きを持つ静止画像から抜き出した
領域で置き換えるものであることを特徴とするヘッドマ
ウントディスプレイを装着した人物の顔画像合成装置。<7> A means for detecting the direction of the eyeball is newly provided, and the means for synthesizing the image processing means has the area of the head-mounted display having the direction of the eyeball closest to the detected direction of the eyeball. A face image synthesizing apparatus for a person equipped with a head-mounted display, wherein the apparatus is replaced with an area extracted from a still image.
【００１５】本発明では、ヘッドマウントディスプレイ
を未装着の時の静止画像を用いて、ヘッドマウントディ
スプレイで隠れる部分を置き換えることで、本発明の課
題を解決する。According to the present invention, the object of the present invention is solved by using a still image when the head mounted display is not mounted and replacing a portion hidden by the head mounted display.
【００１６】すなわち、ヘッドマウントディスプレイに
固定した位置からヘッドマウントディスプレイ越しに正
面画像（動画像）を撮影し、ヘッドマウントディスプレ
イに隠れない顔領域はそのまま使用し、隠れる領域は同
一視点からあらかじめ撮影したヘッドマウントディスプ
レイ未装着時の静止画像でから切り出した領域で置き換
える。そして、このように動画像と静止画像から合成し
た顔画像を、立方体等の適当な立体の表面にテクスチャ
マップ手法で貼り付けて、それを人物の頭部として出力
または表示しようとするものである。That is, a front image (moving image) is photographed from a position fixed to the head mounted display through the head mounted display, a face area not hidden by the head mounted display is used as it is, and a hidden area is photographed in advance from the same viewpoint. Replace with the area cut out from the still image without the head mounted display. Then, the face image thus synthesized from the moving image and the still image is pasted on an appropriate three-dimensional surface such as a cube by a texture map method, and is output or displayed as a human head. .
【００１７】ここで、ヘッドマウントディスプレイで隠
れる顔画像の領域に、あらかじめ撮影したヘッドマウン
トディスプレイ未装着時の静止画像から切り出した領域
で置き換えるには、以下の３種類の方法が考えられる。Here, the following three methods are conceivable to replace the area of the face image hidden by the head mounted display with an area cut out from a still image taken before mounting the head mounted display.
【００１８】（１）伝送する情報量が少ない条件では、
動画像の解像度が低くなるため、顔画像としての動画像
にはめ込む静止画像は、正面を向いて眼を開いた画像１
種類でも十分役にたつ。(1) Under the condition that the amount of information to be transmitted is small,
Since the resolution of the moving image is low, the still image to be fitted into the moving image as the face image is the image 1 in which the eyes are opened facing the front.
Any kind is enough.
【００１９】（２）より高解像度の画像が伝送できる場
合には、眼を開いた状態の静止画像と、眼を閉じた状態
の静止画像を、人間のまばたきの間隔に近い間隔で自動
的に切り替えれば、より本物らしく見せることができ
る。(2) When a higher-resolution image can be transmitted, a still image with the eyes open and a still image with the eyes closed are automatically separated at an interval close to the interval between human blinks. By switching, you can make it look more authentic.
【００２０】（３）さらに、ヘッドマウントディスプレ
イに眼球運動の検出手段を組み込んで、眼の開閉に加え
て、眼球の上下左右の動きも検出するようにして、あら
かじめ撮影しておいた上下左右方向を見ている静止画像
でヘッドマウントディスプレイで隠される領域を置き換
えるようにすれば、さらに表情の再現が正確になる。(3) Further, a means for detecting eye movement is incorporated in the head-mounted display so as to detect not only the opening and closing of the eye but also the movement of the eye up, down, left, and right, so that the photographing can be performed in the up, down, left, and right directions. Replacing the area hidden by the head-mounted display with a still image looking at the camera makes the expression more accurate.
【００２１】上記の３種類のはめ込み方法は、使用する
伝送量に応じて固定的に用いてもよいし、伝送量が変化
する系では、伝送量のレベルに応じて可変的に用いても
よい。The above three types of fitting methods may be used fixedly according to the amount of transmission to be used, or may be variably used according to the level of the amount of transmission in a system where the amount of transmission changes. .
【００２２】[0022]
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００２３】図１は、ヘッドマウントディスプレイを装
着している様子を示す。ヘッドマウントディスプレイ１
は眼の前にディスプレイ部があるため、外からは眼の付
近が見えず、名前の識別や、表情の認識が困難になる。FIG. 1 shows a state in which a head-mounted display is mounted. Head mounted display 1
Because there is a display in front of the eyes, the vicinity of the eyes cannot be seen from the outside, making it difficult to identify names and recognize facial expressions.
【００２４】図２は、比較のためあげたヘッドマウント
ディスプレイをつけていないときの正面画像である。FIG. 2 is a front image without a head-mounted display shown for comparison.
【００２５】図３は、本発明の実施形態例での構成の一
部を示すもので、固定具２を使ってヘッドマウントディ
スプレイ１にカメラ３を取り付けた様子を示している。FIG. 3 shows a part of the configuration according to the embodiment of the present invention, and shows a state in which the camera 3 is attached to the head mounted display 1 using the fixture 2.
【００２６】図４は、図３の側面図で、カメラ３の視野
（垂直方向）４が顔全体を撮影できるようにすることが
必要なことを示している。本発明の構成では、ヘッドマ
ウントディスプレイ１のための信号ケーブル、カメラ３
のための信号ケーブル、ヘッドマウントディスプレイ１
の向きを知るための位置センサ、およびそのケーブルが
含まれているが、図３と図４では簡略化のため省略して
ある。FIG. 4 is a side view of FIG. 3 and shows that it is necessary for the field of view (vertical direction) 4 of the camera 3 to be able to photograph the entire face. In the configuration of the present invention, the signal cable for the head-mounted display 1 and the camera 3
Cable, head mounted display 1 for
3 and FIG. 4 are omitted for simplicity in FIG. 3 and FIG.
【００２７】図５、図６は、本発明の実施形態例での構
成の一部を示すもので、固定具２′を使って、図３、図
４と同一の位置と視野４でカメラ３′を設置した様子を
示している。これは、本発明の顔画像の合成に必要な静
止画像を得るために、あらかじめ撮影するためのもので
ある。得られた静止画像は画像ファイルとして蓄積され
る。なお、カメラ３′は静止画像を撮影できるものであ
ればよいが、上記のカメラ３を共用することも可能であ
る。FIGS. 5 and 6 show a part of the structure of the embodiment of the present invention. The fixing device 2 'is used to set the camera 3 in the same position and the same field of view 4 as those shown in FIGS. 'Is shown. This is for photographing in advance to obtain a still image required for synthesizing a face image according to the present invention. The obtained still images are stored as image files. Note that the camera 3 'may be any camera that can capture a still image, but the camera 3 can be shared.
【００２８】図７は、ヘッドマウントディスプレイのマ
スクパターンである。このパターンは、図３のカメラ出
力から手動的手法で、または自動的手法で得ることがで
きる。自動的にマスクパターンを抽出するために、クロ
マキーのように色情報から抜き取る方法や、図３と図５
の差分をとる方法など、種々の方法が使用できる。FIG. 7 shows a mask pattern of a head mounted display. This pattern can be obtained from the camera output of FIG. 3 in a manual manner or in an automatic manner. In order to automatically extract the mask pattern, a method of extracting from the color information like a chroma key, and FIGS. 3 and 5
Various methods can be used, such as a method of calculating the difference between.
【００２９】図８、図９は、図７のヘッドマウントディ
スプレイのマスクパターンで図５の画像ファイルから抜
き取られた静止画像の例である。図８は眼を開いた顔画
像の切り抜き領域を示し、図９は眼を閉じた顔画像の切
り抜き領域を示す。FIGS. 8 and 9 show examples of still images extracted from the image file of FIG. 5 using the mask pattern of the head mounted display of FIG. FIG. 8 shows a cut-out area of a face image with eyes open, and FIG. 9 shows a cut-out area of a face image with eyes closed.
【００３０】図１０は、本発明の実施形態例での画像合
成のための装置構成例を示すもので、カメラ３によりヘ
ッドマウントディスプレイ越しに正面から撮影した画像
と、ヘッドマウントディスプレイのマスクパターンと、
予め撮影し蓄積手段５に蓄積しておいたヘッドマウント
ディスプレイ未装着時の静止画像とを画像処理手段６に
入力して、ヘッドマウントディスプレイが無い正面顔画
像を画像処理により生成する構成を示している。このよ
うな画像処理はクロマキー合成等の外部キー合成として
知られる既知の手法であり、その手段としては、市販の
画像処理用特殊効果装置を用いてもよく、また高速のコ
ンピュータで全ソフトウエア処理してもよく、また、ハ
ードウエアとソフトウエアを混合して用いてもよい。FIG. 10 shows an example of the configuration of an apparatus for synthesizing images according to the embodiment of the present invention, in which an image taken from the front by a camera 3 through a head-mounted display, a mask pattern of the head-mounted display, and the like. ,
A configuration is shown in which a still image when a head mounted display is not mounted and which has been captured in advance and stored in the storage unit 5 is input to the image processing unit 6, and a front face image without a head mounted display is generated by image processing. I have. Such image processing is a well-known method known as external key synthesis such as chroma key synthesis, which may use a special effect device for image processing that is commercially available, or may use a high-speed computer to perform all software processing. Or a mixture of hardware and software.
【００３１】図１６は、本発明の実施形態例での画像合
成の手順を示したフローの例である。まず、ヘッドマウ
ントディスプレイ（以下、ＨＭＤと記す）付顔動画像か
らＨＭＤ領域のマスクパターンを作成する。ＨＭＤにカ
メラを固定しているため、同一人物であれば、任意の時
点で作成したマスクパターンを使い続けることができ
る。マスクパターンはＨＭＤ領域が１で、それ以外が０
の値をもつ２値画像である。この０，１の値を反転し
て、反転マスクパターンを作成する。そして、この反転
マスクパターンとＨＭＤ付顔動画像の画素単位のＡＮＤ
をとれば、ＨＭＤ領域が切り取られた（すなわち黒でお
きかえられた）顔動画像が生成される。一方、ＨＭＤな
し顔静止画像とマスクパターンのＡＮＤをとると、ＨＭ
Ｄで隠れる部分の顔静止画像が生成される（すなわちＨ
ＭＤで隠れない部分は黒で置き換えられる）。ここでＨ
ＭＤ領域が切り取られた顔動画像とＨＭＤで隠れる顔静
止画像のＯＲをとれば、ＨＭＤなしの顔動画像が合成さ
れる。FIG. 16 is an example of a flow showing a procedure of image composition in the embodiment of the present invention. First, a mask pattern in an HMD area is created from a face moving image with a head mounted display (hereinafter, referred to as an HMD). Since the camera is fixed to the HMD, the same person can continue to use the mask pattern created at any time. The mask pattern is 1 in the HMD area and 0 in other areas.
Is a binary image having the following values: The values of 0 and 1 are inverted to create an inverted mask pattern. Then, the inversion of the inverted mask pattern and the face moving image with HMD in pixel units is performed.
, A face moving image in which the HMD area is cut out (that is, replaced with black) is generated. On the other hand, when the AND of the face still image without HMD and the mask pattern is taken, HM
A face still image of a portion hidden by D is generated (that is, H
The parts not hidden by MD are replaced with black.) Where H
If the OR of the face moving image from which the MD area is cut off and the face still image hidden by the HMD is ORed, the face moving image without the HMD is synthesized.
【００３２】図１１は、図１０のヘッドマウントディス
プレイ未装着時の静止顔画像として、図８の眼の開いた
画像と図９の眼の閉じた画像の２種類を交互に切り替え
て用いたときの、画像切り替えのタイムチャートの例を
示す。ｔｉ（ｉ＝１，２，…）は人間が瞬きする時間間
隔の付近で不規則な値に設定するのが望ましい。FIG. 11 shows a still face image when the head-mounted display of FIG. 10 is not mounted, which alternately uses two types of the image with the eyes open and the image with the eyes closed as shown in FIG. 5 shows an example of a time chart of image switching. .. ti (i = 1, 2,...) is desirably set to an irregular value near the time interval at which a person blinks.
【００３３】図１２は、図４に眼球運動検出手段７を設
けた本発明の他の実施形態例での構成を示している。眼
球運動検出手段７により眼の開閉、眼球の向きを検出
し、その結果に基づき最も良く一致する静止顔画像に切
り替える。眼球運動検出手段７としては、ＨＭＤと同時
に設置できるデバイスならばどのようなものでもよく、
例えば、赤外光の発光ダイオードとセンサからなるデバ
イスが使用できる。FIG. 12 shows the structure of another embodiment of the present invention in which the eye movement detecting means 7 is provided in FIG. The eye movement detection means 7 detects the opening / closing of the eyes and the direction of the eyes, and switches to the best matching still face image based on the result. The eye movement detecting means 7 may be any device that can be installed simultaneously with the HMD.
For example, a device including a light emitting diode of infrared light and a sensor can be used.
【００３４】図１７は、図１２での処理のフローの例を
示す。眼球の開閉の検出で、眼球が閉じていると判断さ
れた場合は、眼を閉じた顔静止画像を選択する。一方、
眼球が開いていると判断された場合は、眼球の向きを調
べて、あるｔｈｒｅｓｈｏｌｄで眼球の向きを量子化
し、あらかじめ撮影しておいた異なる眼の向きを持つ顔
画像の中から、最も近い開眼状態の顔静止画像を選択す
る。異なる眼の向きを持つ顔画像は、図５、図６のカメ
ラであらかじめ必要な種類を撮影して、顔画像ファイル
として管理する。FIG. 17 shows an example of the flow of the processing in FIG. When it is determined that the eyeball is closed by detecting the opening and closing of the eyeball, a face still image in which the eye is closed is selected. on the other hand,
When it is determined that the eyeball is open, the direction of the eyeball is checked, the direction of the eyeball is quantized by a certain threshold, and the closest eye-opening is performed from among face images having different eye directions shot in advance. Select the face still image in the state. For the face images having different eye orientations, necessary types are photographed in advance by the cameras in FIGS. 5 and 6, and managed as face image files.
【００３５】図１３、図１４は、上記の処理で用いる異
なる眼の向きを持つ顔画像として、それぞれ上向き画
像、右向き画像の切り抜き例を示す。FIGS. 13 and 14 show examples of cutouts of an upward image and a rightward image, respectively, as face images having different eye orientations used in the above processing.
【００３６】図１５は、合成した顔画像をテクスチャマ
ップの手法で表示する例を示している。この例では、顔
を板状の立体物で表現し、板の表面に合成した顔画像を
貼りつける。この図では顔が右を向いている状態を示し
ている。顔の向きは、ヘッドマウントディスプレイに取
り付けた磁気センサ等の位置センサの値に基づきリアル
タイムに変更する。FIG. 15 shows an example of displaying a synthesized face image by a texture map method. In this example, the face is represented by a plate-shaped three-dimensional object, and a synthesized face image is pasted on the surface of the plate. This figure shows a state where the face is facing right. The face direction changes in real time based on the value of a position sensor such as a magnetic sensor attached to the head mounted display.
【００３７】[0037]
【発明の効果】本発明によれば、ヘッドマウントディス
プレイを未装着の時の静止画像を用いて、ヘッドマウン
トディスプレイで隠れる部分を置き換えて合成した顔画
像を、立方体等の適当な立体の表面にテクスチャマップ
手法で貼り付けて、それを人物の頭部とするようにした
ので、ヘッドマウントディスプレイを装着していても、
ヘッドマウントを装着しない顔画像を出力もしくは表示
することができる。According to the present invention, a face image synthesized by replacing a part hidden by the head mounted display by using a still image when the head mounted display is not mounted on an appropriate three-dimensional surface such as a cube. Since it was pasted by the texture map method and used as the head of the person, even if the head mounted display is attached,
A face image without a head mount can be output or displayed.
【００３８】また、上記の置き換える顔画像の部分とし
て、眼を開いた状態の静止画像と、眼を閉じた状態の静
止画像を、人間のまばたきの間隔に近い間隔で自動的に
切り替えるようにした場合には、より本物らしく見せる
ことができる。Further, as a part of the face image to be replaced, a still image with the eyes open and a still image with the eyes closed are automatically switched at an interval close to the blink interval of the human. In some cases, it can look more authentic.
【００３９】さらに、ヘッドマウントディスプレイに眼
球運動の検出手段を組み込んで、眼球の上下左右の動き
も検出するようにして、あらかじめ撮影しておいた上下
左右方向を見ている静止画像でヘッドマウントディスプ
レイで隠される領域を置き換えるようにすた場合には、
さらに表情の再現が正確になる。Further, the head-mounted display incorporates an eye-movement detecting means so as to detect the vertical and horizontal movements of the eyeball. If you replace the area hidden by,
Furthermore, the expression can be reproduced accurately.
【図１】本発明の実施形態例での、ヘッドマウントディ
スプレイを装着しているときの正面画像の例を示す図で
ある。FIG. 1 is a diagram illustrating an example of a front image when a head-mounted display is mounted according to an embodiment of the present invention.
【図２】本発明の実施形態例での、ヘッドマウントディ
スプレイを装着していないときの正面画像の例を示す図
である。FIG. 2 is a diagram illustrating an example of a front image when a head mounted display is not mounted according to the embodiment of the present invention.
【図３】本発明での実施形態例での、ヘッドマウントデ
ィスプレイを装着しているときの顔画像を撮影する構成
を示す正面図である。FIG. 3 is a front view showing a configuration for capturing a face image when a head-mounted display is mounted according to the embodiment of the present invention.
【図４】上記図３の側面図である。FIG. 4 is a side view of FIG. 3;
【図５】本発明での実施形態例での、ヘッドマウントデ
ィスプレイを装着していないときの顔画像を撮影する構
成を示す正面図である。FIG. 5 is a front view showing a configuration for capturing a face image when a head-mounted display is not mounted according to the embodiment of the present invention.
【図６】上記図６の側面図である。FIG. 6 is a side view of FIG. 6;
【図７】本発明での実施形態例での、ヘッドマウントデ
ィスプレイのマスクパターンの例を示す図である。FIG. 7 is a diagram illustrating an example of a mask pattern of a head-mounted display according to an embodiment of the present invention.
【図８】本発明での実施形態例で、上記ヘッドマウント
ディスプレイのマスクパターンを用いて目を開いた顔画
像から切り出した領域の例を示す図である。FIG. 8 is a diagram showing an example of a region cut out from a face image with eyes opened using the mask pattern of the head mounted display in the embodiment of the present invention.
【図９】本発明での実施形態例で、上記ヘッドマウント
ディスプレイのマスクパターンを用いて目を閉じた顔画
像から切り出した領域の例を示す図である。FIG. 9 is a diagram illustrating an example of a region cut out from a face image with eyes closed using the mask pattern of the head-mounted display in the embodiment of the present invention.
【図１０】本発明の実施形態例での、画像合成のための
装置構成例を示す図である。FIG. 10 is a diagram illustrating an example of a device configuration for image synthesis according to an embodiment of the present invention.
【図１１】本発明の実施形態例での画像合成において、
ヘッドマウントディスプレイ未装着時の静止顔画像とし
て、眼の開いた切り出し領域の画像と眼の閉じた切り出
し領域の画像の２種類を交互に切り替えて用いたとき
の、画像切り替えのタイミングの例を示すタイムチャー
トである。FIG. 11 is a diagram illustrating image synthesis in an embodiment of the present invention.
An example of an image switching timing when two types of an image of a cut-out area with open eyes and an image of a cut-out area with closed eyes are used alternately as a still face image when the head mounted display is not mounted is shown. It is a time chart.
【図１２】本発明の他の実施形態例での構成を示す図で
ある。FIG. 12 is a diagram showing a configuration of another embodiment of the present invention.
【図１３】上記本発明の他の実施形態例で、ヘッドマウ
ントディスプレイのマスクパターンを用いて目の向きが
上向きである顔画像から切り出した領域の例を示す図で
ある。FIG. 13 is a diagram showing an example of a region cut out from a face image in which the direction of eyes is upward using a mask pattern of a head mounted display in another embodiment of the present invention.
【図１４】上記本発明の他の実施形態例で、ヘッドマウ
ントディスプレイのマスクパターンを用いて目の向きが
横向きである顔画像から切り出した領域の例を示す図で
ある。FIG. 14 is a diagram showing an example of a region cut out from a face image in which the eyes are oriented sideways using a mask pattern of a head-mounted display in another embodiment of the present invention.
【図１５】本発明の実施形態例で、合成した顔画像をテ
クスチャマップの手法で表示する例を示す図である。FIG. 15 is a diagram showing an example in which a synthesized face image is displayed by a texture map method in the embodiment of the present invention.
【図１６】本発明の実施形態例での画像合成の手順のフ
ローの例を示す図である。FIG. 16 is a diagram illustrating an example of a flow of a procedure of image composition in the embodiment of the present invention.
【図１７】本発明の他の実施形態例での処理のフローの
例を示す図である。FIG. 17 is a diagram showing an example of a processing flow in another embodiment of the present invention.
１…ヘッドマウントディスプレイ ２，２′…固定具 ３，３′…カメラ ４…カメラの視野 ５…蓄積手段 ６…画像処理手段 DESCRIPTION OF SYMBOLS 1 ... Head mounted display 2, 2 '... Fixture 3, 3' ... Camera 4 ... Camera field of view 5 .... Storage means 6 ... Image processing means
フロントページの続き (72)発明者 市川 忠嗣 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内Continuation of front page (72) Inventor Tadashi Ichikawa 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Japan Telegraph and Telephone Corporation
Claims (7)
画像通信を行うシステムにおいて、 あらかじめヘッドマウントディスプレイを未装着の状態
で顔画像を撮影する第１の過程と、 前記ヘッドマウントディスプレイを装着した状態の顔画
像を正面から撮影する第２の過程と、 前記ヘッドマウントディスプレイの位置および向きを検
出する第３の過程と、 前記ヘッドマウントディスプレイ未装着時の顔画像から
該ヘッドマウントディスプレイで隠れる領域を画像処理
により抜き出す第４の過程と、 前記ヘッドマウントディスプレイ装着時の顔画像から該
ヘッドマウントディスプレイの領域を画像処理により前
記抜き出した領域で置き換えて合成する第５の過程と、 前記合成した顔画像を前記検出したヘッドマウントディ
スプレイの位置および向きに応じて移動・回転する立体
形状の表面にテクスチャマップ表示する第６の過程と、 を有することを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成方法。1. A system for performing image communication with a head-mounted display mounted thereon, comprising: a first step of capturing a face image in a state where the head-mounted display is not mounted beforehand; A second step of photographing an image from the front, a third step of detecting the position and orientation of the head mounted display, and image processing of an area hidden by the head mounted display from a face image when the head mounted display is not mounted. A fourth process of extracting the face image from the face image when the head mounted display is mounted, replacing the area of the head mounted display with the extracted region by image processing, and synthesizing the combined face image. The position of the detected head-mounted display and the And a sixth step of displaying a texture map on the surface of the three-dimensional shape that moves and rotates according to the direction of the head, and a method for synthesizing a face image of a person wearing a head-mounted display.
顔画像として、正面を向いた顔画像の静止画像を用い
る、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。2. The person wearing the head mounted display according to claim 1, wherein a still image of the face image facing forward is used as the face image to be subjected to the extraction process in the fourth step. Face image synthesis method.
顔画像として、正面を向いて眼を開いた顔画像と眼を閉
じた顔画像の２種類の静止画像を用い、適当な間隔で該
２種類の静止画像を交互に切り替える、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。3. As a face image to be subjected to the extraction processing in the fourth step, two types of still images of a face image with eyes opened and a face image with eyes closed facing forward are used at appropriate intervals. The method for synthesizing a face image of a person wearing a head-mounted display according to claim 1, wherein the two types of still images are alternately switched.
右および斜め方向を見ている静止画像を撮影しておき、 前記第３の過程の後に、眼球の向きを検出する過程を設
け、 前記第５の過程では、前記ヘッドマウントディスプレイ
の領域を前記検出された眼球の向きに最も近い眼球の向
きを持つ前記静止画像から抜き出した領域で置き換え
る、 ことを特徴とする請求項１に記載のヘッドマウントディ
スプレイを装着した人物の顔画像合成方法。4. The method according to claim 1, wherein in the first step, a still image is captured in advance in the up, down, left, right, and oblique directions, and after the third step, a step of detecting an eyeball direction is provided. 5. The head mount according to claim 1, wherein in the process of 5, the area of the head mounted display is replaced with an area extracted from the still image having an eyeball direction closest to the detected eyeball direction. A method for synthesizing a face image of a person wearing a display.
画像通信を行うシステムにおいて、 あらかじめヘッドマウントディスプレイを未装着の状態
で顔画像を撮影する手段と、 前記ヘッドマウントディスプレイを装着した状態の顔画
像を正面から撮影する手段と、 前記ヘッドマウントディスプレイの位置および向きを検
出する手段と、 前記ヘッドマウントディスプレイ未装着時の顔画像から
該ヘッドマウントディスプレイで隠れる領域を抜き出す
手段、前記ヘッドマウントディスプレイ装着時の顔画像
から該ヘッドマウントディスプレイの領域を前記抜き出
した領域で置き換えて合成する手段、および前記合成し
た顔画像を前記検出したヘッドマウントディスプレイの
位置および向きに応じて移動・回転する立体形状の表面
にテクスチャマップ表示する手段からなる画像処理手段
と、 を有することを特徴とするヘッドマウントディスプレイ
を装着した人物の顔画像合成装置。5. A system for performing image communication with a head-mounted display mounted thereon, comprising: means for photographing a face image in a state where the head-mounted display is not mounted beforehand; Means for photographing from the head, means for detecting the position and orientation of the head mounted display, means for extracting an area hidden by the head mounted display from a face image when the head mounted display is not mounted, and a face when the head mounted display is mounted Means for replacing the area of the head-mounted display from the image with the extracted area and synthesizing the same, and texture on the surface of the three-dimensional shape which moves and rotates the synthesized face image according to the position and orientation of the detected head-mounted display. Ma Human face image synthesis apparatus the head-mounted display mounted, characterized in that it comprises an image processing means comprising means for up display, the.
した顔画像を正面から撮影する手段に、該ヘッドマウン
トディスプレイに固定した小型ビデオカメラを用い、 前記ヘッドマウントディスプレイを未装着の顔画像を正
面から撮影する手段として、前記ヘッドマウントディス
プレイを装着した顔画像を撮影する小型ビデオカメラと
同一視点から撮影するよう顔の正面に設置した小型ビデ
オカメラと取り付け具を用いる、ことを特徴とする請求
項５に記載のヘッドマウントディスプレイを装着した人
物の顔画像合成装置。6. A small video camera fixed to the head-mounted display is used as a means for photographing a face image with the head-mounted display mounted thereon from the front, and a face image without the head-mounted display mounted is photographed from the front. 6. A small video camera mounted on the front of a face and a mounting tool for capturing from the same viewpoint as a small video camera which captures a face image with the head mounted display mounted thereon are used as the means. A face image synthesizing device equipped with a head mounted display.
え、 前記画像処理手段の合成する手段は、前記ヘッドマウン
トディスプレイの領域を前記検出された眼球の向きに最
も近い眼球の向きを持つ静止画像から抜き出した領域で
置き換えるものである、 ことを特徴とする請求項５または請求項６に記載のヘッ
ドマウントディスプレイを装着した人物の顔画像合成装
置。7. The apparatus according to claim 1, further comprising: means for detecting the direction of the eyeball, wherein the means for synthesizing the image processing means includes a means for combining the area of the head-mounted display with the eyeball direction closest to the detected direction of the eyeball. 7. A face image synthesizing device for a person wearing a head mounted display according to claim 5, wherein the device is replaced with an area extracted from an image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25466497A JP3464754B2 (en) | 1997-09-19 | 1997-09-19 | Method and apparatus for synthesizing a face image of a person wearing a head-mounted display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25466497A JP3464754B2 (en) | 1997-09-19 | 1997-09-19 | Method and apparatus for synthesizing a face image of a person wearing a head-mounted display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1196366A true JPH1196366A (en) | 1999-04-09 |
| JP3464754B2 JP3464754B2 (en) | 2003-11-10 |
Family
ID=17268158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25466497A Expired - Fee Related JP3464754B2 (en) | 1997-09-19 | 1997-09-19 | Method and apparatus for synthesizing a face image of a person wearing a head-mounted display |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3464754B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010282497A (en) * | 2009-06-05 | 2010-12-16 | Ricoh Co Ltd | Different-world state reflection device |
| GB2534580A (en) * | 2015-01-28 | 2016-08-03 | Sony Computer Entertainment Europe Ltd | Image processing |
| EP3096208A1 (en) * | 2015-05-18 | 2016-11-23 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| JP2017032725A (en) * | 2015-07-30 | 2017-02-09 | 株式会社第一興商 | Karaoke system |
| WO2017122299A1 (en) * | 2016-01-13 | 2017-07-20 | フォーブ インコーポレーテッド | Facial expression recognition system, facial expression recognition method, and facial expression recognition program |
| KR20170085477A (en) * | 2014-08-04 | 2017-07-24 | 페이스북, 인크. | Method and system for reconstructing obstructed face portions for virtual reality environment |
| WO2018096315A1 (en) * | 2016-11-22 | 2018-05-31 | Sony Interactive Entertainment Europe Limited | Virtual reality |
| WO2018105223A1 (en) * | 2016-12-08 | 2018-06-14 | ソニー株式会社 | Imaging device |
| WO2019041992A1 (en) * | 2017-08-30 | 2019-03-07 | 歌尔股份有限公司 | Image processing method and device and terminal device |
| JP2020507221A (en) * | 2017-02-03 | 2020-03-05 | ベステル エレクトロニク サナイー ベ ティカレト エー．エス． | Improved method and system for video conferencing using HMD |
| CN111936910A (en) * | 2018-03-13 | 2020-11-13 | 罗纳德·温斯顿 | Virtual reality system and method |
| US11551427B2 (en) | 2017-08-30 | 2023-01-10 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| WO2023037812A1 (en) * | 2021-09-10 | 2023-03-16 | 株式会社Ｎｔｔドコモ | Online dialogue support system |
| WO2024145349A1 (en) * | 2022-12-28 | 2024-07-04 | Canon U.S.A., Inc. | Automatic inertial measurement unit alignment |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5897340B2 (en) * | 2012-01-25 | 2016-03-30 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | MONITOR DEVICE AND MAGNETIC RESONANCE DEVICE |
-
1997
- 1997-09-19 JP JP25466497A patent/JP3464754B2/en not_active Expired - Fee Related
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010282497A (en) * | 2009-06-05 | 2010-12-16 | Ricoh Co Ltd | Different-world state reflection device |
| KR20170085477A (en) * | 2014-08-04 | 2017-07-24 | 페이스북, 인크. | Method and system for reconstructing obstructed face portions for virtual reality environment |
| US11238568B2 (en) | 2014-08-04 | 2022-02-01 | Facebook Technologies, Llc | Method and system for reconstructing obstructed face portions for virtual reality environment |
| US10593025B2 (en) | 2014-08-04 | 2020-03-17 | Facebook Technologies, Llc | Method and system for reconstructing obstructed face portions for virtual reality environment |
| US10445863B2 (en) | 2014-08-04 | 2019-10-15 | Facebook Technologies, Llc | Method and system for reconstructing obstructed face portions for virtual reality environment |
| JP2017534096A (en) * | 2014-08-04 | 2017-11-16 | フェイスブック，インク． | Method and system for reconstructing an obstructed face in a virtual reality environment |
| US9852549B2 (en) | 2015-01-28 | 2017-12-26 | Sony Interactive Entertainment Europe Limited | Image processing |
| GB2534580A (en) * | 2015-01-28 | 2016-08-03 | Sony Computer Entertainment Europe Ltd | Image processing |
| GB2534580B (en) * | 2015-01-28 | 2020-06-17 | Sony Interactive Entertainment Europe Ltd | Image processing |
| CN106170083A (en) * | 2015-05-18 | 2016-11-30 | 三星电子株式会社 | Image procossing for head mounted display equipment |
| CN106170083B (en) * | 2015-05-18 | 2020-08-07 | 三星电子株式会社 | Image processing for head mounted display device |
| US10684467B2 (en) | 2015-05-18 | 2020-06-16 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| EP3096208A1 (en) * | 2015-05-18 | 2016-11-23 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| US10527846B2 (en) | 2015-05-18 | 2020-01-07 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| JP2017032725A (en) * | 2015-07-30 | 2017-02-09 | 株式会社第一興商 | Karaoke system |
| US20190012528A1 (en) * | 2016-01-13 | 2019-01-10 | Fove, Inc. | Facial expression recognition system, facial expression recognition method, and facial expression recognition program |
| WO2017122299A1 (en) * | 2016-01-13 | 2017-07-20 | フォーブ インコーポレーテッド | Facial expression recognition system, facial expression recognition method, and facial expression recognition program |
| JPWO2017122299A1 (en) * | 2016-01-13 | 2018-11-15 | フォーブ インコーポレーテッド | Facial expression recognition system, facial expression recognition method and facial expression recognition program |
| CN108604291A (en) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | Expression identification system, expression discrimination method and expression identification program |
| WO2018096315A1 (en) * | 2016-11-22 | 2018-05-31 | Sony Interactive Entertainment Europe Limited | Virtual reality |
| US20190258066A1 (en) * | 2016-12-08 | 2019-08-22 | Sony Corporation | Imaging device |
| WO2018105223A1 (en) * | 2016-12-08 | 2018-06-14 | ソニー株式会社 | Imaging device |
| US10816814B2 (en) | 2016-12-08 | 2020-10-27 | Sony Corporation | Imaging device |
| JP2020507221A (en) * | 2017-02-03 | 2020-03-05 | ベステル エレクトロニク サナイー ベ ティカレト エー．エス． | Improved method and system for video conferencing using HMD |
| US11295550B2 (en) | 2017-08-30 | 2022-04-05 | Goertek Inc. | Image processing method and apparatus, and terminal device |
| WO2019041992A1 (en) * | 2017-08-30 | 2019-03-07 | 歌尔股份有限公司 | Image processing method and device and terminal device |
| US11551427B2 (en) | 2017-08-30 | 2023-01-10 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| US12067686B2 (en) | 2017-08-30 | 2024-08-20 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| JP2021517300A (en) * | 2018-03-13 | 2021-07-15 | ロナルド ウィンストン | Virtual reality system and method |
| EP3729177A4 (en) * | 2018-03-13 | 2021-10-06 | Ronald Winston | Virtual reality system and method |
| CN111936910A (en) * | 2018-03-13 | 2020-11-13 | 罗纳德·温斯顿 | Virtual reality system and method |
| WO2023037812A1 (en) * | 2021-09-10 | 2023-03-16 | 株式会社Ｎｔｔドコモ | Online dialogue support system |
| WO2024145349A1 (en) * | 2022-12-28 | 2024-07-04 | Canon U.S.A., Inc. | Automatic inertial measurement unit alignment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3464754B2 (en) | 2003-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10527846B2 (en) | Image processing for head mounted display devices | |
| US6400374B2 (en) | Video superposition system and method | |
| JP4794678B1 (en) | Video processing apparatus, video processing method, and video communication system | |
| EP2299726B1 (en) | Video communication method, apparatus and system | |
| JP3464754B2 (en) | Method and apparatus for synthesizing a face image of a person wearing a head-mounted display | |
| US20030035001A1 (en) | 3D video conferencing | |
| CN109952759A (en) | Improved method and system for the video conference with HMD | |
| JP2004145448A (en) | Terminal device, server device, and image processing method | |
| JPH11133347A (en) | Video observation device | |
| JPH08237629A (en) | System and method for video conference that provides parallax correction and feeling of presence | |
| CN105847672A (en) | Virtual reality helmet snapshotting method and system | |
| CN114125301A (en) | Virtual reality technology shooting delay processing method and device | |
| JPH0738873A (en) | Method for real-time recognition and composition of human image | |
| KR100917100B1 (en) | Apparatus for displaying three-dimensional image and method for controlling location of display in the apparatus | |
| JPH086158A (en) | Projection type display device | |
| JP7385385B2 (en) | Image distribution system and image distribution method | |
| JPH05205030A (en) | Display device for coincidence of eyes of photographed human figure | |
| JPH0652945B2 (en) | Video phone | |
| JP2744394B2 (en) | Realism image display device and realism image input / output device | |
| JP2001025032A (en) | Operation recognition method, operation recognition device and recording medium recording operation recognition program | |
| Kim et al. | AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays | |
| JP4126835B2 (en) | Image synthesizer | |
| JP2000218575A (en) | Image display device | |
| JP2021015417A (en) | Image processing apparatus, image distribution system, and image processing method | |
| JP2000182058A (en) | Three-dimensional motion input method and three- dimensional motion input system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080822 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090822 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |