KR20220082382A - Video conference system and method based on real 3d avatar - Google Patents
Video conference system and method based on real 3d avatar Download PDFInfo
- Publication number
- KR20220082382A KR20220082382A KR1020200172245A KR20200172245A KR20220082382A KR 20220082382 A KR20220082382 A KR 20220082382A KR 1020200172245 A KR1020200172245 A KR 1020200172245A KR 20200172245 A KR20200172245 A KR 20200172245A KR 20220082382 A KR20220082382 A KR 20220082382A
- Authority
- KR
- South Korea
- Prior art keywords
- avatar
- user
- restored
- present
- real
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Abstract
본 발명은 3차원 실사 기반 복원 3D 아바타(캐릭터)와 실사 복원된 가상 회의공간을 기반으로 상호작용을 통해 실제 공간에서 회의를 하는듯한 현장감과 몰입감을 제공하는 원격 화상회의 시스템에 대한 것이다.
본 발명의 일실시예에 따른 화상회의 시스템은 사용자의 네트워크 환경을 고려하여 고대역 네트워크 환경에서는 사용자의 상호작용을 반영한 회의 화면을 서버에서 생성하여 고품질의 영상을 전달받고, 저대역 네트워크 환경에서는 서버로부터 표정 정보, 얼굴 움직임 등의 메타 데이터를 전달받아 로컬 클라이언트에서 회의 화면을 생성하여 네트워크 대역폭에 상관없이 고품질의 화상회의를 진행할 수 있도록 한다.The present invention relates to a remote video conferencing system that provides a sense of presence and immersion as if having a meeting in a real space through interaction based on a three-dimensional live-action-based restored 3D avatar (character) and a virtual conference space restored by photo-realism.
In a videoconferencing system according to an embodiment of the present invention, in consideration of the user's network environment, the server generates a conference screen reflecting the user's interaction in a high-bandwidth network environment and receives high-quality images, and in a low-bandwidth network environment, the server It receives meta data such as facial expression information and facial movement from a local client and creates a meeting screen so that high-quality videoconference can be conducted regardless of network bandwidth.
Description
본 발명은 실사 기반 복원 3D 아바타 기반 실감형 화상회의 시스템 및 그 방법에 관한 것이다.The present invention relates to a 3D avatar-based immersive videoconferencing system and a method therefor.
기존 화상회의의 경우 사용자의 영상이 바로 노출되는 문제가 있다. 이러한 문제를 해결하기 위해 아바타를 사용하여 화상회의를 진행하는 방법도 있지만, 아바타들이 실제와 같지 않아 실재감이 떨어지고 다른 사람이 회의를 참여하는 것을 확인 할 수 없다.In the case of the existing video conference, there is a problem in that the user's video is directly exposed. To solve this problem, there is a method of conducting a video conference using an avatar, but the avatars are not real, so the sense of reality is reduced and it is impossible to confirm that other people are participating in the meeting.
본 발명은 실사 기반 복원 3D 아바타 기반 실감형 화상회의 시스템 및 그 방법을 제공하기 위한 것이다.An object of the present invention is to provide a 3D avatar-based immersive videoconferencing system and a method therefor.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 사용자의 3차원 실사 기반 복원 3D 아바타를 생성하는 아바타 모델링부; 얼굴 인식 및 헤드 포즈와 손동작, 마우스 등을 이용한 상호작용 처리부; 카메라에서 획득한 영상 데이터나 사용자의 얼굴이나 표정 변화 등의 rigging 정보를 주고받는 송수신부; 실사 복원된 가상 회의공간에 3차원 실사 기반 복원 3D 아바타를 위치시키는 가상 회의 화면 생성부; 및 사용자의 상호작용과 디스플레이 장치 특징에 따른 회의 화면을 출력하는 렌더링부를 포함하는, 실사 기반 복원 3D 아바타 기반 실감형 화상회의 시스템 및 그 방법이 제공된다. According to an embodiment of the present invention for achieving the above object, there is provided an avatar modeling unit for generating a user's 3D live-action based
본 발명의 일실시예에 따르면, 실사 복원에 바탕을 둔 3차원 아바타 기반의 원격미팅 시스템으로 실제 공간을 공유하며 회의를 하는듯한 현장감과 몰입감을 제공할 수 있다.According to an embodiment of the present invention, it is possible to provide a sense of presence and immersion as if having a meeting while sharing an actual space with a three-dimensional avatar-based remote meeting system based on live-action restoration.
또한 본 발명의 일실시예에 따르면, 참여자의 생얼굴과 배경이 그대로 전송되는 것이 아니라 개인의 프라이버시를 보호할 수 있다.In addition, according to an embodiment of the present invention, it is possible to protect the privacy of the individual, rather than transmitting the participant's raw face and background as it is.
도 1 내지 도 3은 본 발명의 일실시예에 따른 실사 기반 복원 3D 아바타 기반 실감형 화상회의 시스템 및 방법을 설명하기 위한 도면이다. 1 to 3 are diagrams for explaining a live-action-based
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 3차원 실사 기반 복원 3D 아바타(캐릭터)와 실사 복원된 가상 회의공간을 기반으로 상호작용을 통해 실제 공간에서 회의를 하는듯한 현장감과 몰입감을 제공하는 원격 화상회의 시스템에 대한 것이다.The present invention relates to a remote video conferencing system that provides a sense of presence and immersion as if having a meeting in a real space through interaction based on a three-dimensional live-action-based restored 3D avatar (character) and a virtual conference space restored by photo-realism.
본 발명의 일실시예에 따른 화상회의 시스템은 사용자의 3차원 실사 기반 복원 3D 아바타를 생성하는 아바타 모델링부와, 얼굴 인식 및 헤드 포즈와 손동작, 마우스 등을 이용한 상호작용 처리부, 카메라에서 획득한 영상 데이터나 사용자의 얼굴이나 표정 변화 등의 rigging 정보를 주고받는 송수신부, 실사 복원된 가상 회의공간에 3차원 실사 기반 복원 3D 아바타를 위치시키는 가상 회의 화면 생성부, 사용자의 상호작용과 디스플레이 장치 특징에 따른 회의 화면을 출력하는 렌더링부를 포함한다.A videoconferencing system according to an embodiment of the present invention includes an avatar modeling unit that generates a user's 3D live-action based
본 발명의 일실시예에 따른 또 다른 특징은 사용자의 네트워크 환경을 고려하여 고대역 네트워크 환경에서는 사용자의 상호작용을 반영한 회의 화면을 서버에서 생성하여 고품질의 영상을 전달받고, 저대역 네트워크 환경에서는 서버로부터 표정 정보, 얼굴 움직임 등의 메타 데이터를 전달받아 로컬 클라이언트에서 회의 화면을 생성하여 네트워크 대역폭에 상관없이 고품질의 화상회의를 진행할 수 있도록 한다.Another feature according to an embodiment of the present invention is that in consideration of the user's network environment, the server generates a conference screen reflecting the user's interaction in a high-bandwidth network environment and receives high-quality images, and in a low-bandwidth network environment, the server It receives meta data such as facial expression information and facial movement from a local client and creates a meeting screen so that high-quality videoconference can be conducted regardless of network bandwidth.
본 발명의 일실시예에 따른 주요 특징은 다음과 같다.The main features according to an embodiment of the present invention are as follows.
1. 실사 복원 아바타 기반 화상회의1. Live-action restoration avatar-based video conferencing
- 애니메이션 아바타가 아닌 실제와 같은 실사 복원 캐릭터를 이용한 화상회의 - Video conferencing using realistic, live-action restoration characters rather than animated avatars
2. 실사 복원 아바타 기반 가상환경과의 상호작용2. Interaction with live-action restoration avatar-based virtual environment
- 실사 캐릭터 기반의 가상현실 공간을 실제 환경에서의 상호작용을 통한 현실감/몰입감 제공 - Provides a sense of reality / immersion through interaction in the real environment in a virtual reality space based on live-action characters
3. 5G / Edge 서버를 이용한 가상 회의공간 기반 화상회의3. Video conference based on virtual meeting space using 5G / Edge server
- 사용자/망환경을 고려한 고품질 화상회의 환경 제공 - Provide high-quality video conferencing environment considering user/network environment
- 5G에서는 edge server를 통해 서버에서 렌더링하고 클라이언트로 전송 - In 5G, it is rendered on the server through the edge server and sent to the client.
- 네트워크 대역폭이 낮으면 메타데이터만 전송 - Transmit only metadata when network bandwidth is low
4. 시점 정합을 통한 아이컨택(응시)가 가능한 화상회의4. Video conference with eye contact (gaze) through point-of-view matching
- 영상을 획득하는 카메라와 사용자가 바라보는 모니터간 위치 차이에 따른 시점 불일치 문제 해결 - Resolves the problem of mismatch of viewpoints due to the difference in position between the camera that acquires the image and the monitor the user sees
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The technical contents described above may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiments, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, in the present invention, specific matters such as specific components, etc., and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains. Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
Claims (1)
얼굴 인식 및 헤드 포즈와 손동작, 마우스 등을 이용한 상호작용 처리부;
카메라에서 획득한 영상 데이터나 사용자의 얼굴이나 표정 변화 등의 rigging 정보를 주고받는 송수신부;
실사 복원된 가상 회의공간에 3차원 실사 기반 복원 3D 아바타를 위치시키는 가상 회의 화면 생성부; 및
사용자의 상호작용과 디스플레이 장치 특징에 따른 회의 화면을 출력하는 렌더링부
를 포함하는 실사 기반 복원 3D 아바타 기반 실감형 화상회의 시스템.
An avatar modeling unit for generating a user's 3D real-world restoration 3D avatar;
an interaction processing unit using face recognition, head poses, hand gestures, and a mouse;
a transceiver for exchanging rigging information such as image data acquired from a camera or a change in a user's face or expression;
a virtual conference screen generating unit for locating a three-dimensional image-based restored 3D avatar in the virtual conference space restored by the real-world image; and
A rendering unit that outputs a meeting screen according to user interaction and display device characteristics
3D avatar-based immersive video conferencing system based on photorealistic restoration comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172245A KR20220082382A (en) | 2020-12-10 | 2020-12-10 | Video conference system and method based on real 3d avatar |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172245A KR20220082382A (en) | 2020-12-10 | 2020-12-10 | Video conference system and method based on real 3d avatar |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220082382A true KR20220082382A (en) | 2022-06-17 |
Family
ID=82268998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200172245A KR20220082382A (en) | 2020-12-10 | 2020-12-10 | Video conference system and method based on real 3d avatar |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220082382A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024059482A1 (en) * | 2022-09-13 | 2024-03-21 | Katmai Tech Inc. | Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof |
-
2020
- 2020-12-10 KR KR1020200172245A patent/KR20220082382A/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024059482A1 (en) * | 2022-09-13 | 2024-03-21 | Katmai Tech Inc. | Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fairchild et al. | A mixed reality telepresence system for collaborative space operation | |
| US11792367B2 (en) | Method and system for virtual 3D communications | |
| JP5208810B2 (en) | Information processing apparatus, information processing method, information processing program, and network conference system | |
| US9424678B1 (en) | Method for teleconferencing using 3-D avatar | |
| JP4059513B2 (en) | Method and system for communicating gaze in an immersive virtual environment | |
| Kantonen et al. | Mixed reality in virtual world teleconferencing | |
| US11003898B2 (en) | Creating videos with facial expressions | |
| US11048464B2 (en) | Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications | |
| Eisert | Immersive 3D video conferencing: challenges, concepts, and implementations | |
| US20140320592A1 (en) | Virtual Video Camera | |
| Zhang et al. | Virtualcube: An immersive 3d video communication system | |
| CN112243583A (en) | Multi-endpoint mixed reality conference | |
| US11538211B2 (en) | Puppeteering remote avatar by facial expressions | |
| TWI543624B (en) | System and method for eye alignment in video | |
| KR102577966B1 (en) | Photo-video based spatial-temporal volumetric capture system | |
| Roth et al. | Socially immersive avatar-based communication | |
| WO2023071586A1 (en) | Picture generation method and apparatus, device, and medium | |
| US10893231B1 (en) | Eye contact across digital mediums | |
| WO2019118028A1 (en) | Methods, systems, and media for generating and rendering immersive video content | |
| KR20220082382A (en) | Video conference system and method based on real 3d avatar | |
| US20230231983A1 (en) | System and method for determining directionality of imagery using head tracking | |
| Anjos et al. | Adventures in hologram space: exploring the design space of eye-to-eye volumetric telepresence | |
| JP7395855B2 (en) | Systems, methods and programs for automatic detection and insertion of digital streams into 360 degree videos | |
| Minatani et al. | Face-to-face tabletop remote collaboration in mixed reality | |
| WO2023076648A1 (en) | Extraction of user representation from video stream to a virtual environment |