JP4544262B2 - Virtual reality space sharing system and method, and information processing apparatus and method - Google Patents
Virtual reality space sharing system and method, and information processing apparatus and method Download PDFInfo
- Publication number
- JP4544262B2 JP4544262B2 JP2007122110A JP2007122110A JP4544262B2 JP 4544262 B2 JP4544262 B2 JP 4544262B2 JP 2007122110 A JP2007122110 A JP 2007122110A JP 2007122110 A JP2007122110 A JP 2007122110A JP 4544262 B2 JP4544262 B2 JP 4544262B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- operator
- virtual reality
- client
- reality space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明はネットワークを介して複数の操作者が仮想現実空間を共有する仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法に関し、特に各操作者の分身のオブジェクトを仮想現実空間内で動かすことのできる仮想現実空間共有システムおよび方法、並びに、情報処理装置および方法に関する。 The present invention relates to a virtual reality space sharing system and method, and an information processing apparatus and method , in which a plurality of operators share a virtual reality space via a network, and in particular, moves an individual object of each operator in the virtual reality space. The present invention relates to a virtual reality space sharing system and method, and an information processing apparatus and method .
従来、仮想現実空間を複数の操作者が共有し、その空間の中で各操作者の分身のオブジェクトを自由に動かして、操作者間でコミュニケーションを図ることのできる仮想現実空間共有システムがある(例えば特開平9−081782号公報)。このようなシステムでは、ある操作者が自身の分身のオブジェクトの表情や動きを変化させたい場合に、そのクライアント端末上で変化の指示を出す。そして、この指示を受け取ったサーバ側が、他のクライアント端末にそのオブジェクトの表情や動きの変化の指示を出し、これにより、他のクライアント端末が、それぞれの画面上で、対応するオブジェクトの表情や動きを変化させる。 Conventionally, there is a virtual reality space sharing system that allows a plurality of operators to share a virtual reality space and freely move an individual object of each operator in the space to communicate between the operators ( For example, JP-A-9-081782). In such a system, when an operator wants to change the facial expression or movement of an object of his / her own part, a change instruction is issued on the client terminal. Then, the server side that has received this instruction issues an instruction to change the facial expression and movement of the object to the other client terminal, whereby the other client terminal displays the facial expression and movement of the corresponding object on each screen. To change.
しかし、このような従来の仮想現実空間共有システムでは、操作者が、クライアント端末上でマウスなどを使用して、希望する表情を選択し、指示するようになっていたため、操作が面倒であり、オブジェクトの表情の変化を自然に行うことができなかった。 However, in such a conventional virtual reality space sharing system, the operator uses a mouse or the like on the client terminal to select and instruct the desired facial expression, so the operation is troublesome, It was not possible to change the expression of objects naturally.
本発明はこのような点に鑑みてなされたものであり、複雑な操作を行うことなく、オブジェクトの表情を操作者の意思通りに自然に変化させることのできるようにすることを目的とする。 The present invention has been made in view of these points, without performing a complicated operation, an object to be able of changing naturally the expression of object in making as the operator.
本発明の一側面は、ネットワークを介して複数の操作者が仮想現実空間を共有できるとともに、各操作者の分身のオブジェクトを仮想現実空間内で動かせるようにした仮想現実空間共有システムにおいて、前記仮想現実空間を提供するサーバと、前記ネットワークを介して前記サーバから前記仮想現実空間の提供を受ける複数のクライアントとを有し、前記クライアントは、前記仮想現実空間内の各操作者の分身のオブジェクトを表示する表示手段と、前記クライアントの操作者の顔を撮影する撮影手段と、前記撮影手段により撮影された画像データから特徴部分の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって求められた動きベクトルと表情判断用データを比較して、前記クライアントの操作者の顔の表情と、前記表情の変化を判断する表情判断手段と、前記表情判断手段により前記表情の変化があったと判断された場合のみ、前記クライアントの操作者の顔の表情を示す表情コードを前記サーバに送信する第1の送信手段と、前記サーバから送信される前記表情コードおよび前記表情コードを出力したクライアントの識別情報を受信する第1の受信手段と、前記第1の受信手段により前記表情コードおよび前記識別情報が受信された場合、前記表示手段により表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させる第1の画像変化手段とを備え、前記サーバは、前記クライアントから送信される前記表情コードを受信する第2の受信手段と、前記第2の受信手段により前記表情コードが受信された場合、前記表情コードおよび前記表情コードを出力したクライアントの識別情報を他のクライアントに送信する第2の送信手段とを備える仮想現実空間共有システムである。
前記クライアントは、前記表情判断手段により前記表情の変化があったと判断された場合、前記表示手段により表示される前記クライアントの操作者に対応する前記オブジェクトの画像を、前記表情判断手段により判断された前記クライアントの操作者の顔の表情に応じて変化させる第2の画像変化手段をさらに備えることができる。
本発明の一側面は、また、ネットワークを介して複数の操作者が仮想現実空間を共有できるとともに、各操作者の分身のオブジェクトを仮想現実空間内で動かせるようにした、前記仮想現実空間を提供するサーバと、前記ネットワークを介して前記サーバから前記仮想現実空間の提供を受ける複数のクライアントとを有する仮想現実空間共有システムの仮想現実空間共有方法であって、前記クライアントにおいて、表示手段が、前記仮想現実空間内の各操作者の分身のオブジェクトを表示し、撮影手段が、前記クライアントの操作者の顔を撮影し、動きベクトル検出手段が、撮影された画像データから特徴部分の動きベクトルを検出し、表情判断手段が、求められた動きベクトルと表情判断用データを比較して、前記クライアントの操作者の顔の表情と、前記表情の変化を判断し、第1の送信手段が、前記表情の変化があったと判断された場合のみ、前記クライアントの操作者の顔の表情を示す表情コードを前記サーバに送信し、第1の受信手段が、前記サーバから送信される前記表情コードおよび前記表情コードを出力したクライアントの識別情報を受信し、第1の画像変化手段が、前記表情コードおよび前記識別情報が受信された場合、表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させ、前記サーバにおいて、第2の受信手段が、前記クライアントから送信される前記表情コードを受信し、第2の送信手段が、前記表情コードが受信された場合、前記表情コードおよび前記表情コードを出力したクライアントの識別情報を他のクライアントに送信する仮想現実空間共有方法である。
One aspect of the present invention is a virtual reality space sharing system in which a plurality of operators can share a virtual reality space via a network, and a separate object of each operator can be moved in the virtual reality space. A server that provides a real space; and a plurality of clients that receive the virtual reality space from the server via the network, and the client receives a duplicate object of each operator in the virtual reality space. Display means for displaying; photographing means for photographing the face of the operator of the client; motion vector detecting means for detecting a motion vector of a characteristic portion from image data photographed by the photographing means; and the motion vector detecting means. The face of the operator of the client is compared by comparing the obtained motion vector with the expression determination data. Only when it is determined that the expression has changed, the expression code indicating the expression of the face of the operator of the client is stored in the server. First transmitting means for transmitting, first receiving means for receiving the facial expression code transmitted from the server and identification information of the client that has output the facial expression code, and the facial expression code and First image changing means for changing an image of the object corresponding to an operator of a client corresponding to the identification information displayed by the display means in accordance with the expression code when the identification information is received; The server includes a second receiving means for receiving the expression code transmitted from the client, and the second receiver. If the facial expression code is received by a virtual reality space sharing system and a second transmission means for transmitting the identification information of the client which outputs the facial expression code and the expression code to another client.
When the facial expression judging means judges that the expression has changed, the client judges the image of the object corresponding to the client operator displayed by the display means by the facial expression judging means. The image processing apparatus may further include second image changing means for changing the facial expression of the client operator according to the facial expression.
One aspect of the present invention also provides the virtual reality space in which a plurality of operators can share the virtual reality space via a network, and an individual object of each operator can be moved in the virtual reality space. And a virtual reality space sharing method of a virtual reality space sharing system having a plurality of clients that receive provision of the virtual reality space from the server via the network, wherein the display means includes: An object of each operator in the virtual reality space is displayed, the photographing unit photographs the face of the operator of the client, and the motion vector detecting unit detects the motion vector of the characteristic portion from the photographed image data. Then, the facial expression judging means compares the obtained motion vector with the facial expression judgment data, and the client operator And the change of the expression, the first transmission means transmits an expression code indicating the expression of the face of the operator of the client to the server only when it is determined that the expression has changed. The first receiving means receives the facial expression code transmitted from the server and the identification information of the client that has output the facial expression code, and the first image changing means receives the facial expression code and the identification information. If so, the image of the object corresponding to the operator of the client corresponding to the displayed identification information is changed in accordance with the expression code, and the server receives the second receiving means from the client. The facial expression code is received, and the second transmission means outputs the facial expression code and the facial expression code when the facial expression code is received. The identity of the client is a virtual reality space sharing method of transmitting to the other clients.
本発明の他の側面は、ネットワークを介して複数の操作者が仮想現実空間を共有できるとともに、各操作者の分身のオブジェクトを仮想現実空間内で動かせるようにした仮想現実空間共有システムにおいて、前記ネットワークを介して複数のクライアントに対して前記仮想現実空間を提供するサーバから、前記クライアントの1つとして前記仮想現実空間の提供を受ける情報処理装置であって、前記仮想現実空間内の各操作者の分身のオブジェクトを表示する表示手段と、自分自身の操作者の顔を撮影する撮影手段と、前記撮影手段により撮影された画像データから特徴部分の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段によって求められた動きベクトルと表情判断用データを比較して、自分自身の操作者の顔の表情と、前記表情の変化を判断する表情判断手段と、前記表情判断手段により前記表情の変化があったと判断された場合のみ、自分自身の操作者の顔の表情を示す表情コードを前記サーバに送信し、前記サーバを介して、他のクライアントにおいて表示される自分自身の操作者に対応するオブジェクトの画像を変化させる送信手段と、前記サーバから送信される前記表情コードおよび前記表情コードを出力した他のクライアントの識別情報を受信する受信手段と、前記受信手段により前記表情コードおよび前記識別情報が受信された場合、前記表示手段により表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させる第1の画像変化手段とを備える情報処理装置である。Another aspect of the present invention is a virtual reality space sharing system in which a plurality of operators can share a virtual reality space via a network, and a separate object of each operator can be moved in the virtual reality space. An information processing apparatus that receives provision of the virtual reality space as one of the clients from a server that provides the virtual reality space to a plurality of clients via a network, and each operator in the virtual reality space Display means for displaying an object of the human body, photographing means for photographing an operator's own face, motion vector detecting means for detecting a motion vector of a characteristic portion from image data photographed by the photographing means, Compare the motion vector obtained by the motion vector detection means with the facial expression judgment data, and A facial expression code indicating the facial expression of its own operator only when the facial expression judging means judges the facial expression change and the facial expression judging means judges that the facial expression has changed. And transmitting the facial expression code and the facial expression code transmitted from the server via the server, the transmission means for changing the image of the object corresponding to its own operator displayed on the other client A receiving unit that receives identification information of the other client, and a client operator corresponding to the identification information displayed by the display unit when the expression code and the identification information are received by the receiving unit. An information processing apparatus comprising: first image changing means for changing an image of the object to be changed according to the expression code A.
前記表情判断手段により前記表情の変化があったと判断された場合、前記表示手段により表示される自分自身の操作者に対応する前記オブジェクトの画像を、前記表情判断手段により判断された自分自身の操作者の顔の表情に応じて変化させる第2の画像変化手段をさらに備えることができる。When it is determined by the facial expression determination means that the facial expression has changed, the image of the object corresponding to the operator of the user displayed by the display means is determined by the facial expression determination means. It is possible to further include a second image changing means for changing according to the facial expression of the person.
本発明の他の側面は、また、ネットワークを介して複数の操作者が仮想現実空間を共有できるとともに、各操作者の分身のオブジェクトを仮想現実空間内で動かせるようにした仮想現実空間共有システムにおいて、前記ネットワークを介して複数のクライアントに対して前記仮想現実空間を提供するサーバから、前記クライアントの1つとして前記仮想現実空間の提供を受ける情報処理装置の情報処理方法であって、前記情報処理装置の表示手段が、前記仮想現実空間内の各操作者の分身のオブジェクトを表示し、前記情報処理装置の撮影手段が、自分自身の操作者の顔を撮影し、前記情報処理装置の動きベクトル検出手段が、撮影された画像データから特徴部分の動きベクトルを検出し、前記情報処理装置の表情判断手段が、求められた動きベクトルと表情判断用データを比較して、自分自身の操作者の顔の表情と、前記表情の変化を判断し、前記情報処理装置の送信手段が、前記表情の変化があったと判断された場合のみ、自分自身の操作者の顔の表情を示す表情コードを前記サーバに送信し、前記サーバを介して、他のクライアントにおいて表示される自分自身の操作者に対応するオブジェクトの画像を変化させ、前記情報処理装置の受信手段が、前記サーバから送信される前記表情コードおよび前記表情コードを出力した他のクライアントの識別情報を受信し、前記情報処理装置の第1の画像変化手段が、前記表情コードおよび前記識別情報が受信された場合、表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させる情報処理方法である。Another aspect of the present invention is a virtual reality space sharing system in which a plurality of operators can share a virtual reality space via a network, and a separate object of each operator can be moved in the virtual reality space. An information processing method of an information processing apparatus that receives provision of the virtual reality space as one of the clients from a server that provides the virtual reality space to a plurality of clients via the network, the information processing method The display means of the apparatus displays a duplicate object of each operator in the virtual reality space, the photographing means of the information processing apparatus photographs the face of the operator himself, and the motion vector of the information processing apparatus The detecting means detects the motion vector of the characteristic part from the captured image data, and the facial expression judging means of the information processing apparatus When the vector and facial expression determination data are compared to determine the facial expression of the operator and the change in the facial expression, and the transmission means of the information processing apparatus determines that the facial expression has changed Only sending an expression code indicating the expression of the face of the operator of the operator to the server, and changing the image of the object corresponding to the operator of the operator displayed on the other client via the server, The receiving unit of the information processing apparatus receives the facial expression code transmitted from the server and the identification information of another client that has output the facial expression code, and the first image changing unit of the information processing apparatus receives the facial expression When the code and the identification information are received, the image of the object corresponding to the operator of the client corresponding to the displayed identification information is displayed as the expression code. Is an information processing method that is changed according to.
本発明の一側面においては、クライアントにおいて、仮想現実空間内の各操作者の分身のオブジェクトが表示され、クライアントの操作者の顔が撮影され、撮影された画像データから特徴部分の動きベクトルが検出され、求められた動きベクトルと表情判断用データとが比較されて、クライアントの操作者の顔の表情と、表情の変化が判断され、表情の変化があったと判断された場合のみ、クライアントの操作者の顔の表情を示す表情コードがサーバに送信され、サーバから送信される表情コードおよび表情コードを出力したクライアントの識別情報が受信され、表情コードおよび識別情報が受信された場合、表示される識別情報に対応するクライアントの操作者に対応するオブジェクトの画像が、表情コードに応じて変化させられ、サーバにおいて、クライアントから送信される表情コードが受信され、表情コードが受信された場合、表情コードおよび表情コードを出力したクライアントの識別情報が他のクライアントに送信される。In one aspect of the present invention, a client's alternation object in the virtual reality space is displayed on the client, the face of the operator of the client is photographed, and a motion vector of a characteristic part is detected from the photographed image data The client's operation is performed only when the obtained motion vector is compared with the facial expression determination data to determine the facial expression of the client operator and the change in facial expression and to determine that the facial expression has changed. Is displayed when the facial expression code indicating the facial expression of the person is transmitted to the server, the facial expression code transmitted from the server and the identification information of the client that has output the facial expression code are received, and the facial expression code and identification information are received The image of the object corresponding to the client operator corresponding to the identification information is changed according to the expression code, and the server Oite, expression code transmitted from the client is received and if the facial expression code is received, the client identification information outputting the expression code and expression code is transmitted to the other clients.
本発明の他の側面においては、仮想現実空間内の各操作者の分身のオブジェクトが表示され、自分自身の操作者の顔が撮影され、撮影された画像データから特徴部分の動きベクトルが検出され、求められた動きベクトルと表情判断用データとが比較されて、自分自身の操作者の顔の表情と、表情の変化が判断され、表情の変化があったと判断された場合のみ、自分自身の操作者の顔の表情を示す表情コードがサーバに送信され、サーバから送信される表情コードおよび表情コードを出力した他のクライアントの識別情報が受信され、表情コードおよび識別情報が受信された場合、表示される識別情報に対応するクライアントの操作者に対応するオブジェクトの画像が、表情コードに応じて変化させられる。In another aspect of the present invention, a separate object of each operator in the virtual reality space is displayed, the face of the operator's own face is photographed, and a motion vector of a feature portion is detected from the photographed image data. The motion vector obtained is compared with the facial expression judgment data to determine the facial expression of the operator's own face and the change in facial expression. When the expression code indicating the facial expression of the operator is transmitted to the server, the expression code transmitted from the server and the identification information of the other client that has output the expression code are received, and the expression code and the identification information are received, The image of the object corresponding to the client operator corresponding to the displayed identification information is changed according to the expression code.
本発明では、各クライアントの操作者の顔の表情を検出し、検出された表情に応じて各クライアントの画面上のオブジェクトの画像を変化させるようにしたので、複雑な操作を行うことなく、オブジェクトの表情を操作者の意思通りに自然に変化させることができる。よって、より現実味のあるコミュニケーションが図れる。 In the present invention, the facial expression of the operator of each client is detected, and the image of the object on the screen of each client is changed according to the detected facial expression. Can be changed naturally as the operator wishes. Therefore, more realistic communication can be achieved.
以下、本発明の一形態を図面を参照して説明する。
図1は本形態の仮想現実空間共有システムの機能の概念を示すブロック図である。ネットワーク1には、サーバ端末2、多数のクライアント端末3,4などが接続されている。各クライアント端末3,4には、CCDカメラや表情検出回路からなる表情検出手段3a,4aが設けられている。これら表情検出手段3a,4aは、各クライアント端末3,4の操作者3A,4Aの顔の表情が、例えば、笑顔、怒り顔、泣き顔、驚きの顔のいずれであるかを検出する。表情検出手段3a,4aによって検出された表情のデータは、表情データ送信手段3b,4bがサーバ側に送る。ただし、この場合、操作者3A,4Aの顔の表情に変化があったときのみ表情のデータを送信することが好ましい。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a concept of functions of the virtual reality space sharing system of this embodiment. A
サーバ端末2側では、表情変化指令手段2aが、送信された表情のデータに基づいて、各クライアント端末3,4の画面3d,4d上の操作者に対応するオブジェクトの表情を変化させる指令を行う。これを受けた各クライアント端末3,4では、画像変化手段3c,4cが、サーバからの指令に応じて各自の画面3d,4d上のオブジェクトの画像を変化させる。ただし、サーバ端末2に表情のデータを送ったクライアント端末においては、サーバ端末2からの指令を待たずに、自身の画面上の表示を変化させることが好ましい。
On the
図2は本形態の仮想現実空間共有システムの構成例を示すブロック図である。ここでは、例えば2台のサーバ端末12,13がインターネットなどのネットワーク11に接続されている。各サーバ端末12,13には、それぞれハードディスク装置などの記憶装置14,15が接続されている。記憶装置14,15には、仮想現実空間共有システムのプログラムが格納されており、ネットワーク11を介してクライアント端末16,17,18に仮想現実空間を提供できるようになっている。
FIG. 2 is a block diagram showing a configuration example of the virtual reality space sharing system of this embodiment. Here, for example, two
仮想現実空間は、各クライアント端末16,17,18の後述のモニタ上で画像表示される。この仮想現実空間では、各クライアント端末16,17,18を操作する操作者の分身のオブジェクトが表示され、キーボードやマウスなどを操作することにより、空間内でその体の各部や顔の表情を自由に動かすことができる。また、操作者の分身のオブジェクト以外にも、背景の建物なども動かすことができる。
The virtual reality space is displayed as an image on a monitor, which will be described later, of each
また、ネットワーク11には、複数のサービス提供者端末19,20が接続されている。サービス提供者端末19,20は、ネットワーク11を介して仮想現実空間の提供を受けるとともに、クライアント端末16,17,18に対して所定のサービスを提供できるようになっている。
A plurality of
次に、各端末の具体的な構成について説明する。
図3はサーバ端末12の具体的な構成を示すブロック図である。バス30には、CPU21、ROM22、RAM23、通信装置24、インタフェース25などが接続されている。CPU21は、ROM22に内蔵されたプログラムに従ってサーバ端末12全体の動作を制御する。RAM23には、CPU21が各種の処理を実行する上で必要なデータ、プログラムなどが適宜格納されるようになっている。通信装置24は、ネットワーク11との間でデータの授受を行う。
Next, a specific configuration of each terminal will be described.
FIG. 3 is a block diagram showing a specific configuration of the
インタフェース25には、記憶装置14、表示装置26、マイク27、スピーカ28、入力装置29が接続されている。記憶装置14は、ハードディスク、光ディスク、光磁気ディスクなどであり、仮想現実空間の提供に必要なプログラムやデータが格納されている。表示装置26は、CRT、LCDなどからなり、サーバ端末12が提供する仮想現実空間の画像などが表示される。
The
マイク27からは、必要な音声信号が入力され、クライアント端末16,17,18やサービス提供者端末19,20に供給される。一方、クライアント端末16,17,18やサービス提供者端末19,20から供給された音声信号は、スピーカ28から出力される。
Necessary audio signals are input from the
入力装置29には、マウス29a、キーボード29bが備えられている。これらマウス29a、キーボード29bによって、必要な指令が行われる。
なお、サーバ端末13の構成は、サーバ端末12とほぼ同じなのでここでは説明を省略する。
The
Since the configuration of the
図4はクライアント端末16の具体的な構成を示すブロック図である。バス43には、CPU31、ROM32、RAM33、通信装置34、インタフェース35などが接続されている。CPU31は、ROM32に内蔵されたプログラムに従ってクライアント端末16全体の動作を制御する。また、ROM32には、後述する操作者の分身のオブジェクトの顔の画像データが格納されている。RAM33には、CPU31が各種の処理を実行する上で必要なデータ、プログラムなどが適宜格納されるようになっている。通信装置34は、ネットワーク11との間でデータの授受を行う。
FIG. 4 is a block diagram showing a specific configuration of the
インタフェース35には、表示装置36、マイク37、スピーカ38、記憶装置39、入力装置40が接続されている。表示装置36は、CRT、LCDなどからなり、CG(コンピュータ・グラフィック)の3次元画像や、通常のビデオカメラなどにより撮影された画像が表示される。マイク37からは、必要な音声信号が入力され、ネットワーク11を介してサーバ端末12,13に供給される。一方、サーバ端末12,13から供給された音声信号は、スピーカ38から出力される。記憶装置39は、ハードディスク、光ディスク、光磁気ディスクなどであり、仮想現実空間での各オブジェクトの移動操作などに必要なプログラムやデータが格納されている。
A
入力装置40には、マウス40a、キーボード40bが備えられている。マウス40aは、所定の位置を指定するときなどに使用される。キーボード40bは、所定の文字や記号などを入力するときに使用される。また、入力装置40には、視点入力装置40c、移動入力装置40dが設けられている。視点入力装置40cは、クライアント端末12の操作者の分身のオブジェクトの仮想現実空間内での視点を入力するときに使用される。これにより、オブジェクトの視点を上下左右に移動させたり、オブジェクトの視線の先の画像をズームすることができる。移動入力装置40dは、オブジェクトを前後左右に移動させるときに使用される。
The
また、インタフェース35には、CCDカメラ41および表情検出回路42が接続されている。CCDカメラ41は、クライアント端末16の操作者の顔を常時撮影している。この撮影された映像信号は、一定時間毎に表情検出回路42に取り込まれる。表情検出回路42は、この映像信号に基づいて、操作者の顔の表情を後述する手順により検出し、その結果をサーバ側に送る。
In addition, a
なお、クライアント端末17,18の構成は、クライアント端末16とほぼ同じなのでここでは説明を省略する。
また、サービス提供者端末19,20については、CCDカメラ41および表情検出回路42以外はクライアント端末16とほぼ同じ構成なので、ここでは説明を省略する。
Note that the configuration of the
Since the
次に、表情検出回路42の具体的な構成について説明する。
図5は表情検出回路42の具体的な構成を示すブロック図である。ローパスフィルタ(LPF)421は、CCDカメラ41から入力された映像信号の高域成分を除去する。人間の顔には毛穴、細かい皺などがあるため、CCDカメラ41からの映像信号には、高域成分が大量に含まれている。このため、ローパスフィルタ421は、この高域成分を除去する。エッジ検出回路422は、ローパスフィルタ421から出力されたアナログ信号をディジタル信号に変換し、そのディジタル信号からエッジ検出を行い、さらに、エッジのみにされた映像データを出力する。
Next, a specific configuration of the facial
FIG. 5 is a block diagram showing a specific configuration of the facial
パターンマッチング回路423は、メモリ424に予め格納されている操作者の顔の基本データとして、無表情の顔のデータを読み出し、エッジ検出回路422からのデータと比較してパターンマッチングを行い、操作者の撮影された顔の位置と大きさを調整する。すなわち、操作者は、仮想現実空間を利用している間、顔の位置が上下左右、または前後に動いてしまい、基本データの顔の座標位置や大きさが異なってしまう。これでは、正確に現在の顔の表情を捉えることができなくなる。したがって、パターンマッチング回路423では、エッジ検出回路422からの1フレーム分のデータを基本データと比較し、撮影された操作者の顔が基本データに対して前後、左右、上下にどれだけ移動しているかを検出する。そして、その移動量に基づいて撮影された操作者の顔のデータを基本データと同じ条件に補正する。
The
ところで、メモリ424には、基本データとして、操作者の無表情の顔のデータが格納されているが、顔の表情を特徴づける特徴部分の位置データも格納されている。
By the way, the
図6はメモリ424に格納された操作者の顔の基本データの一例を示す図である。顔の基本データ51は、メモリ424に格納されている。また、顔の表情を特徴づける特徴部分として、例えば、左眉左端(点P1)、左眉右端(点P2)、口角左(点P3)、口角右(点P4)、口中央上端(点P5)、右目尻(点P6)、左目尻(点P7)の各位置が格納されている。各点P1〜P7は、例えば、フレーム上のXY座標で格納されている。
FIG. 6 is a diagram showing an example of basic data of the operator's face stored in the
図5に戻り、動きベクトル検出回路425は、パターンマッチング回路423によって大きさや位置が調整された操作者の顔のデータと、メモリ424の基本データ51とを比較し、操作者の顔のデータの図6で示した点P1〜P7に対応する点がどれだけ移動しているかを検出する。
Returning to FIG. 5, the motion
図7はCCDカメラ41で撮像した操作者の顔のデータの一例を示す図である。ここでは、笑顔の状態の例を示す。操作者の顔のデータ52は、動きベクトル検出回路425によって、左眉左端(点P11)、左眉右端(点P12)、口角左(点P13)、口角右(点P14)、口中央上端(点P15)、右目尻(点P16)、左目尻(点P17)の各特徴部分が検出され、これらはそれぞれ基本データ51上の対応する点P1〜P7と比較される。これらの比較により、動きベクトル検出回路425は、各点P11〜P17が基本データの対応する点P1〜P7からどれだけ動いたかを示す動きベクトルを検出する。これは、各点を含む近辺のいくつかのピクセルを含むブロックのブロックマッチングを行うことで達成される。
FIG. 7 is a diagram showing an example of operator's face data imaged by the
図5に戻り、表情判断回路426は、動きベクトル検出回路425によって求められた動きベクトルと、表情テーブル427の表情判断用データとを比較して、現在の操作者の顔の表情を判断する。
Returning to FIG. 5, the facial
図8は顔の表情を判断するための表情テーブル427の表情判断用データの一例を示す図である。表情判断用データ53は、図に示すように、判断すべき表情として「笑顔」、「怒り顔」、「泣き顔」、「驚きの顔」が用意され、それぞれに対して特徴部分の動きベクトルが適度な範囲で与えられている。表情判断回路426は、この表情判断用データ53の各表情において、動きベクトル検出回路425によって求められた各特徴部分の動きベクトルと最もマッチしている表情が、現在の操作者の顔の表情と判断する。すなわち、図7のデータ52であれば、「笑顔」と判断される。
FIG. 8 is a diagram showing an example of expression determination data in the expression table 427 for determining the facial expression. As shown in the figure, the facial expression judgment data 53 includes “smiling face”, “angry face”, “crying face”, and “surprise face” as facial expressions to be judged. It is given in a moderate range. The facial
こうして表情の判断を行った表情判断回路426は、今回判断された表情が前回の判断と異なる場合のみ、その表情を示す表情コードを図4で示したインタフェース25に出力し、CPU31に送る。CPU31は、自身のクライアント端末の表情コードが出力されると、その表情コードに対応したオブジェクトの画像データをROM32から読み出し、表示装置36に表示させる。この場合、オブジェクトの顔の表情の画像を各表情コードに応じてROM32に記憶しておき、表情コードが出力される毎に対応する表情の画像をROM32から読み出して、画面上のオブジェクトの顔の部分に貼り付け表示するようにしてもよいし、あるいは、表情コードに対応する顔および体全体の動作をROM32に記憶しておき、例えば「泣き顔」の場合には涙を拭く動作をさせるなど、表情コードに合わせてオブジェクトを動かすようにしてもよい。
The facial
このような画面の表示と同時に、CPU31は、表示コードを通信装置34、ネットワーク11を介してサーバ端末12に送る。これを受けたサーバ端末12は、ネットワーク11を介して他のクライアント端末17、18に、表情コードとその表示コードを出力したクライアントのIDを送る。
Simultaneously with the display of such a screen, the
表情コードを受け取ったクライアント端末17、18は、その表情コードとクライアント端末16のIDに対応するオブジェクトをROMから読み出して各表示装置上で表示する。
Receiving the facial expression code, the
図9は表情コードに関するクライアント端末側の処理手順を示すフローチャートである。〔S1〕自身の端末の表情検出回路42から表情コードが出力されたか否かを判断し、出力されればステップS2に進み、されなければステップS4に進む。〔S2〕表示装置36の画面上のオブジェクトの表情を、新たに出力された表情コードに対応する表情に切り換える。ただし、操作者自身のクライアント端末では、操作者の分身のオブジェクトは表示させず、操作者の視点からの仮想現実空間の景色のみを表示させるモードに設定されている場合には、当然、表情の切り換えは行われない。〔S3〕サーバ端末12側に表情コードを出力する。〔S4〕サーバ端末12から表情コードおよびクライアントIDが送られたかいなかを判断し、送られればステップS5に進み、送られなければ本フローチャートを終了する。〔S5〕サーバ端末12から送られたIDに対応するクライアント端末の分身のオブジェクトの表情を、同時に送られた表情コードに対応する表情に切り換える。
FIG. 9 is a flowchart showing a processing procedure on the client terminal side regarding the expression code. [S1] It is determined whether a facial expression code is output from the facial
図10は表情コードに関するサーバ端末側の処理手順を示すフローチャートである。〔S11〕クライアント端末側から表情コードが入力されたか否かを判断し、入力されればステップS12に進み、入力されなければ本フローチャートを終了する。〔S12〕入力された表情コードを他のクライアント端末に送信する。 FIG. 10 is a flowchart showing a processing procedure on the server terminal side regarding the facial expression code. [S11] It is determined whether or not an expression code is input from the client terminal side. If it is input, the process proceeds to step S12. If not input, the process of the flowchart ends. [S12] The inputted facial expression code is transmitted to another client terminal.
このように、本形態では、各クライアント端末16,17,18の操作者の顔の表情をCCDカメラ41などで撮影し、その表情の変化に応じて、仮想現実空間内の各操作者の分身のオブジェクトの顔の表情を変化させるようにしたので、複雑な操作を行うことなく、オブジェクトの表情を操作者の意思通りに自然に変化させることができる。よって、より現実味のあるコミュニケーションが図れる。
As described above, in this embodiment, the facial expressions of the operators of the
なお、本形態では、クライアント端末から表情コードが送られると、サーバ端末側では、他のクライアント端末に対して表情コードのみを送り、これを受けたクライアント端末側で送られた表情コードに対応する画像を自身のROM32から読み出して表示するようにしたが、全ての表示データをサーバ端末からクライアント端末に対して送信するようにしてもよい。
In this embodiment, when a facial expression code is sent from the client terminal, the server terminal side sends only the facial expression code to the other client terminal, and corresponds to the facial expression code sent on the client terminal side that received it. The image is read from its
22 カメラ, 23 メカキャプチャボタン, 28 LCD, 131 CPU, 136 表示制御部, 201 レンズ部, 202 CCD, 210 カメラ制御部, 211 レンズ部駆動回路, 221 EVFエリア, 227 ソフトキャプチャボタン, 260 スポット測光用ポインタ, 261 AF枠, 361 AE領域
1 ネットワーク、 2 サーバ端末、 2a 表情変化指令手段、 3 クライアント端末, 3A 操作者、 3a 表情検出手段、 3b 表情データ送信手段、 3c 画像変化手段、 3d モニタ、 11 ネットワーク、 12 , 13 サーバ端末、 14 , 15 記憶装置、 16 , 17 , 18 クライアント端末、 31 CPU、 32 ROM、 41 CCDカメラ、 42 表情検出回路。
22 camera, 23 mechanical capture button, 28 LCD, 131 CPU, 136 display control unit, 201 lens unit, 202 CCD, 210 camera control unit, 211 lens unit drive circuit, 221 EVF area, 227 soft capture button, 260 for spot metering Pointer, 261 AF frame, 361
Claims (6)
前記仮想現実空間を提供するサーバと、
前記ネットワークを介して前記サーバから前記仮想現実空間の提供を受ける複数のクライアントとを有し、
前記クライアントは、
前記仮想現実空間内の各操作者の分身のオブジェクトを表示する表示手段と、
前記クライアントの操作者の顔を撮影する撮影手段と、
前記撮影手段により撮影された画像データから特徴部分の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段によって求められた動きベクトルと表情判断用データを比較して、前記クライアントの操作者の顔の表情と、前記表情の変化を判断する表情判断手段と、
前記表情判断手段により前記表情の変化があったと判断された場合のみ、前記クライアントの操作者の顔の表情を示す表情コードを前記サーバに送信する第1の送信手段と、
前記サーバから送信される前記表情コードおよび前記表情コードを出力したクライアントの識別情報を受信する第1の受信手段と、
前記第1の受信手段により前記表情コードおよび前記識別情報が受信された場合、前記表示手段により表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させる第1の画像変化手段と
を備え、
前記サーバは、
前記クライアントから送信される前記表情コードを受信する第2の受信手段と、
前記第2の受信手段により前記表情コードが受信された場合、前記表情コードおよび前記表情コードを出力したクライアントの識別情報を他のクライアントに送信する第2の送信手段と
を備える仮想現実空間共有システム。 A plurality of operator via the network can share the virtual reality space, in the virtual reality space sharing system to be moved objects other self of each operator in the virtual reality space,
A server providing the virtual reality space;
A plurality of clients that receive provision of the virtual reality space from the server via the network ;
The client
Display means for displaying an object of each operator in the virtual reality space;
Photographing means for photographing the face of the operator of the client;
A motion vector detecting means for detecting a motion vector of the characteristic portion from the image data photographed by the photographing means;
Comparing the motion vector obtained by the motion vector detecting means with the expression judging data to determine the facial expression of the operator of the client and the facial expression judging means for judging the change in the facial expression;
First transmitting means for transmitting an expression code indicating the facial expression of the operator of the client to the server only when the expression determining means determines that the expression has changed,
First receiving means for receiving the facial expression code transmitted from the server and identification information of the client that has output the facial expression code;
When the expression code and the identification information are received by the first receiving means, an image of the object corresponding to the client operator corresponding to the identification information displayed by the display means is used as the expression code. First image changing means for changing in response;
With
The server
Second receiving means for receiving the facial expression code transmitted from the client;
Second transmission means for transmitting the expression code and identification information of the client that has output the expression code to another client when the expression code is received by the second reception means;
Virtual reality space sharing system comprising a.
前記表情判断手段により前記表情の変化があったと判断された場合、前記表示手段により表示される前記クライアントの操作者に対応する前記オブジェクトの画像を、前記表情判断手段により判断された前記クライアントの操作者の顔の表情に応じて変化させる第2の画像変化手段をさらに備えるWhen it is determined by the facial expression determination means that the facial expression has changed, the image of the object corresponding to the client operator displayed by the display means is the client operation determined by the facial expression determination means. Second image changing means for changing the face according to the facial expression of the person
請求項1に記載の仮想現実空間共有システム。The virtual reality space sharing system according to claim 1.
前記クライアントにおいて、In the client,
表示手段が、前記仮想現実空間内の各操作者の分身のオブジェクトを表示し、A display means displays a duplicate object of each operator in the virtual reality space;
撮影手段が、前記クライアントの操作者の顔を撮影し、The photographing means photographs the face of the client operator,
動きベクトル検出手段が、撮影された画像データから特徴部分の動きベクトルを検出し、The motion vector detection means detects the motion vector of the feature portion from the captured image data,
表情判断手段が、求められた動きベクトルと表情判断用データを比較して、前記クライアントの操作者の顔の表情と、前記表情の変化を判断し、The facial expression judging means compares the obtained motion vector with the facial expression judgment data to judge the facial expression of the operator of the client and the change in the facial expression,
第1の送信手段が、前記表情の変化があったと判断された場合のみ、前記クライアントの操作者の顔の表情を示す表情コードを前記サーバに送信し、Only when it is determined that the expression has changed, the first transmission means transmits an expression code indicating the expression of the face of the operator of the client to the server,
第1の受信手段が、前記サーバから送信される前記表情コードおよび前記表情コードを出力したクライアントの識別情報を受信し、The first receiving means receives the facial expression code transmitted from the server and the identification information of the client that has output the facial expression code,
第1の画像変化手段が、前記表情コードおよび前記識別情報が受信された場合、表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させ、When the first image changing means receives the expression code and the identification information, the image of the object corresponding to the client operator corresponding to the displayed identification information is changed according to the expression code. Let
前記サーバにおいて、In the server,
第2の受信手段が、前記クライアントから送信される前記表情コードを受信し、A second receiving means for receiving the facial expression code transmitted from the client;
第2の送信手段が、前記表情コードが受信された場合、前記表情コードおよび前記表情コードを出力したクライアントの識別情報を他のクライアントに送信するWhen the facial expression code is received, the second transmission means transmits the facial expression code and identification information of the client that has output the facial expression code to another client.
仮想現実空間共有方法。Virtual reality space sharing method.
前記仮想現実空間内の各操作者の分身のオブジェクトを表示する表示手段と、Display means for displaying an object of each operator in the virtual reality space;
自分自身の操作者の顔を撮影する撮影手段と、Photographing means for photographing the face of the operator himself,
前記撮影手段により撮影された画像データから特徴部分の動きベクトルを検出する動きベクトル検出手段と、A motion vector detecting means for detecting a motion vector of the characteristic portion from the image data photographed by the photographing means;
前記動きベクトル検出手段によって求められた動きベクトルと表情判断用データを比較して、自分自身の操作者の顔の表情と、前記表情の変化を判断する表情判断手段と、Comparing the motion vector obtained by the motion vector detection means with the data for expression determination, the facial expression of the operator's own face, and facial expression determination means for determining the change in the expression;
前記表情判断手段により前記表情の変化があったと判断された場合のみ、自分自身の操作者の顔の表情を示す表情コードを前記サーバに送信し、前記サーバを介して、他のクライアントにおいて表示される自分自身の操作者に対応するオブジェクトの画像を変化させる送信手段と、Only when it is determined that the facial expression has been changed by the facial expression determination means, the facial expression code indicating the facial expression of the operator's own face is transmitted to the server and displayed on other clients via the server. Transmitting means for changing the image of the object corresponding to the operator of his / her own,
前記サーバから送信される前記表情コードおよび前記表情コードを出力した他のクライアントの識別情報を受信する受信手段と、Receiving means for receiving the facial expression code transmitted from the server and identification information of other clients that output the facial expression code;
前記受信手段により前記表情コードおよび前記識別情報が受信された場合、前記表示手段により表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させる第1の画像変化手段とWhen the expression code and the identification information are received by the receiving unit, the image of the object corresponding to the client operator corresponding to the identification information displayed by the display unit is changed according to the expression code. First image changing means for causing
を備える情報処理装置。An information processing apparatus comprising:
請求項4に記載の情報処理装置。The information processing apparatus according to claim 4.
前記情報処理装置の表示手段が、前記仮想現実空間内の各操作者の分身のオブジェクトを表示し、The display means of the information processing device displays a duplicate object of each operator in the virtual reality space,
前記情報処理装置の撮影手段が、自分自身の操作者の顔を撮影し、The imaging means of the information processing apparatus takes a picture of the operator's own face,
前記情報処理装置の動きベクトル検出手段が、撮影された画像データから特徴部分の動きベクトルを検出し、The motion vector detection means of the information processing apparatus detects a motion vector of the characteristic portion from the captured image data;
前記情報処理装置の表情判断手段が、求められた動きベクトルと表情判断用データを比較して、自分自身の操作者の顔の表情と、前記表情の変化を判断し、The expression determination means of the information processing apparatus compares the obtained motion vector with expression determination data to determine the facial expression of the operator's own face and the change in the expression,
前記情報処理装置の送信手段が、前記表情の変化があったと判断された場合のみ、自分自身の操作者の顔の表情を示す表情コードを前記サーバに送信し、前記サーバを介して、他のクライアントにおいて表示される自分自身の操作者に対応するオブジェクトの画像を変化させ、Only when the transmission means of the information processing apparatus determines that the expression has changed, transmits an expression code indicating the expression of the face of the operator's own face to the server, and through the server, Change the image of the object corresponding to your own operator displayed on the client,
前記情報処理装置の受信手段が、前記サーバから送信される前記表情コードおよび前記表情コードを出力した他のクライアントの識別情報を受信し、The receiving means of the information processing device receives the facial expression code transmitted from the server and the identification information of another client that has output the facial expression code,
前記情報処理装置の第1の画像変化手段が、前記表情コードおよび前記識別情報が受信された場合、表示される前記識別情報に対応するクライアントの操作者に対応する前記オブジェクトの画像を、前記表情コードに応じて変化させるWhen the first image changing means of the information processing apparatus receives the expression code and the identification information, the image of the object corresponding to the operator of the client corresponding to the displayed identification information is displayed as the expression. Change according to code
情報処理方法。Information processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007122110A JP4544262B2 (en) | 2007-05-07 | 2007-05-07 | Virtual reality space sharing system and method, and information processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007122110A JP4544262B2 (en) | 2007-05-07 | 2007-05-07 | Virtual reality space sharing system and method, and information processing apparatus and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27154497A Division JP4032403B2 (en) | 1997-10-03 | 1997-10-03 | Virtual reality space sharing system, virtual reality space sharing method, client, data transmission method, and recording medium on which data transmission program is recorded |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007207278A JP2007207278A (en) | 2007-08-16 |
JP4544262B2 true JP4544262B2 (en) | 2010-09-15 |
Family
ID=38486621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007122110A Expired - Fee Related JP4544262B2 (en) | 2007-05-07 | 2007-05-07 | Virtual reality space sharing system and method, and information processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4544262B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101329935B1 (en) * | 2011-01-27 | 2013-11-14 | 주식회사 팬택 | Augmented reality system and method that share augmented reality service to remote using different marker |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101619512B1 (en) | 2010-06-14 | 2016-05-10 | 주식회사 비즈모델라인 | Method for Interchanging between Augmented Reality Device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05153581A (en) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | Face picture coding system |
JPH05316491A (en) * | 1992-05-07 | 1993-11-26 | Seiko Epson Corp | Portrait image encoding system |
JPH07255044A (en) * | 1993-12-17 | 1995-10-03 | Mitsubishi Electric Corp | Animated electronic conference room and video conference system and method |
JPH08241430A (en) * | 1995-03-06 | 1996-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional virtual space sharing system |
JPH0981782A (en) * | 1995-07-12 | 1997-03-28 | Sony Corp | Method and system for three-dimensional virtual reality space, medium and method for recording information, medium and method for transmitting information, information processing method, client terminal, and common-use server terminal |
-
2007
- 2007-05-07 JP JP2007122110A patent/JP4544262B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05153581A (en) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | Face picture coding system |
JPH05316491A (en) * | 1992-05-07 | 1993-11-26 | Seiko Epson Corp | Portrait image encoding system |
JPH07255044A (en) * | 1993-12-17 | 1995-10-03 | Mitsubishi Electric Corp | Animated electronic conference room and video conference system and method |
JPH08241430A (en) * | 1995-03-06 | 1996-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Three-dimensional virtual space sharing system |
JPH0981782A (en) * | 1995-07-12 | 1997-03-28 | Sony Corp | Method and system for three-dimensional virtual reality space, medium and method for recording information, medium and method for transmitting information, information processing method, client terminal, and common-use server terminal |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101329935B1 (en) * | 2011-01-27 | 2013-11-14 | 주식회사 팬택 | Augmented reality system and method that share augmented reality service to remote using different marker |
Also Published As
Publication number | Publication date |
---|---|
JP2007207278A (en) | 2007-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11089266B2 (en) | Communication processing method, terminal, and storage medium | |
JP3847753B2 (en) | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device | |
EP2590396B1 (en) | Information processing system and information processing method | |
JP6918455B2 (en) | Image processing equipment, image processing methods and programs | |
CN110427110B (en) | Live broadcast method and device and live broadcast server | |
AU2021480445A1 (en) | Avatar display device, avatar generation device, and program | |
CN113973190A (en) | Video virtual background image processing method and device and computer equipment | |
CN112199016B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
CN109582122B (en) | Augmented reality information providing method and device and electronic equipment | |
CN107948505B (en) | Panoramic shooting method and mobile terminal | |
WO2020110323A1 (en) | Video synthesis device, video synthesis method and recording medium | |
JP7371264B2 (en) | Image processing method, electronic equipment and computer readable storage medium | |
CN111083371A (en) | Shooting method and electronic equipment | |
JP2020064426A (en) | Communication system and program | |
CN111954058A (en) | Image processing method, image processing apparatus, electronic device, and storage medium | |
CN113302908B (en) | Control method, handheld cradle head, system and computer readable storage medium | |
JP4544262B2 (en) | Virtual reality space sharing system and method, and information processing apparatus and method | |
JP4689548B2 (en) | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device | |
JP4032403B2 (en) | Virtual reality space sharing system, virtual reality space sharing method, client, data transmission method, and recording medium on which data transmission program is recorded | |
KR20110090623A (en) | Home network terminal being capable of tracking face and method thereof | |
KR100659901B1 (en) | Method for controlling the motion of avatar on mobile terminal and the mobile thereof | |
US12086924B2 (en) | Terminal device, method, and computer program | |
KR20120046981A (en) | A method for processing image data based on location information related on view-point and apparatus for the same | |
JP4767331B2 (en) | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device | |
CN117478931A (en) | Information display method, information display device, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |