KR20230062999A - Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences - Google Patents

Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences Download PDF

Info

Publication number
KR20230062999A
KR20230062999A KR1020210147756A KR20210147756A KR20230062999A KR 20230062999 A KR20230062999 A KR 20230062999A KR 1020210147756 A KR1020210147756 A KR 1020210147756A KR 20210147756 A KR20210147756 A KR 20210147756A KR 20230062999 A KR20230062999 A KR 20230062999A
Authority
KR
South Korea
Prior art keywords
avatar
user
pose
composition
augmented reality
Prior art date
Application number
KR1020210147756A
Other languages
Korean (ko)
Other versions
KR102570735B1 (en
Inventor
허정윤
김종건
강지원
Original Assignee
국민대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교산학협력단 filed Critical 국민대학교산학협력단
Priority to KR1020210147756A priority Critical patent/KR102570735B1/en
Publication of KR20230062999A publication Critical patent/KR20230062999A/en
Application granted granted Critical
Publication of KR102570735B1 publication Critical patent/KR102570735B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an artificial intelligence-based augmented reality avatar pose proposal device and method reflecting the surrounding environment structure and user preferences. The device includes: an image generation unit which generates a real image through a camera; a user avatar generation unit which generates a user avatar; a user avatar composition recommendation unit which analyzes the real image and recommends a composition of the user avatar on the real image; and a user avatar composition adjustment unit which adjusts the composition of the recommended user avatar according to user control to determine the size, position, or pose.

Description

주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법{APPARATUS AND METHOD FOR SUGGESTING AN AUGMENTED REALITY AVATAR POSE BASED ON ARTIFICIAL INTELLIGENCE REFLECTING THE STRUCTURE OF THE SURROUNDING ENVIRONMENT AND USER PREFERENCES}Apparatus and method for suggesting augmented reality avatar poses based on artificial intelligence reflecting surrounding environment structure and user preference

본 발명은 인공지능 기반의 증강현실 아바타 포즈 제안 기술에 관한 것으로, 보다 상세하게는 카메라를 통해 촬영한 현실 이미지 상에 사용자 아바타의 구도를 추천하여 크기, 위치 또는 포즈를 사용자가 편리하게 결정할 수 있도록 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법에 관한 것이다.The present invention relates to an artificial intelligence-based augmented reality avatar pose suggestion technology, and more particularly, to recommend a composition of a user avatar on a real image captured through a camera so that the user can conveniently determine the size, position or pose. An apparatus and method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference.

대중들에게 가장 익숙한 증강현실(Augmented Reality; AR) 카메라는 자신의 모습을 스스로 촬영하는 '셀프 카메라(self-camera)' 방식이다. 예를 들면, '스노우' 앱은 사용자의 얼굴을 인식하여 다양한 패션 아이템(안경, 머리띠, 모자 등)이나 메이크업을 할 수 있으며 그 외 AR 아이템을 착용한 모습을 촬영하여 담을 수 있다. 또한, 단순히 사진 촬영만을 하는 것이 아니라 사용자들은 AR을 활용해 찍은 자신의 모습을 시간과 공간의 제약을 받지 않고 어느 누구에게나 실시간으로 공유가 가능한 시대가 되었다.The augmented reality (AR) camera most familiar to the public is a 'self-camera' method that takes pictures of oneself. For example, the 'Snow' app recognizes the user's face and can put on various fashion items (glasses, headbands, hats, etc.) or make-up, and can also shoot and capture images wearing other AR items. In addition, rather than simply taking pictures, users can share their images taken using AR in real time with anyone without the limitations of time and space.

이에 더 발전하여 자신의 모습만이 아닌 자신만의 아바타를 찍고 공유하며 소통할 수 있는 트렌드가 급부상하고 있는데, 그것은 바로 '메타버스(metaverse)'이다. AR 카메라를 통해 현실 모습 속에 나만의 아바타를 배치하여 마치 아바타가 존재하는 것처럼 촬영이 가능하다. 그 예로, '제페토'의 경우 다양한 패션 아이템으로 나만의 아바타를 꾸미고 포즈를 선택하여 크기와 위치를 조정하여 AR 사진 및 동영상 촬영을 할 수 있다. 하지만 위치와 크기 조정, 포즈 선택 방식 및 구조 조정이 불편하게 제공되고 있다. As a result, a trend that can take, share, and communicate with one's own avatar, not just one's own appearance, is rapidly emerging, and that is the 'metaverse'. It is possible to take a picture as if the avatar exists by placing your own avatar in the real world through the AR camera. For example, in the case of 'ZEPETO', you can decorate your own avatar with various fashion items, select a pose, adjust the size and position, and take AR photos and videos. However, positioning and sizing, pose selection and structure adjustments are inconveniently provided.

이외에 다른 AR 카메라를 제공하는 앱인 'AniberR'은 유명한 캐릭터를 현실 공간에 배치하여 촬영할 수 있는 앱이다. 이 앱은 캐릭터를 선택하고 배치 및 크기 조정, 포즈 선택 방법이 앞서 소개한 '제페토' 보다 자유도가 높게 제공되고 있다. 하지만 어려운 조작 방식으로 인해 개선이 필요하다.In addition, 'AniberR', an app that provides another AR camera, is an app that allows you to take pictures of famous characters by placing them in real space. This app provides a higher degree of freedom than the previously introduced 'ZEPETO' in how to select a character, adjust placement and size, and select a pose. However, due to the difficult operation method, it needs improvement.

한국 공개 특허 제10-2019-0023213 (2019.03.08)호Korean Patent Publication No. 10-2019-0023213 (2019.03.08)

본 발명의 일 실시예는 카메라를 통해 촬영한 현실 이미지 상에 사용자 아바타의 구도를 추천하여 크기, 위치 또는 포즈를 사용자가 편리하게 결정할 수 있도록 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법을 제공하고자 한다.An embodiment of the present invention recommends a composition of a user avatar on a real image captured through a camera so that a user can conveniently determine a size, position, or pose, and artificial intelligence-based augmentation reflecting user preference. It is intended to provide a device and method for suggesting a real avatar pose.

본 발명의 일 실시예는 인공지능에 기반하여 이미지 프로세싱 기술로 현실 이미지에 있는 적어도 하나의 객체를 인식하고 사용자 아바타가 배치될 위치나 크기 조정, 포즈를 추천하여 사용자의 선택을 도와줄 수 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법을 제공하고자 한다.An embodiment of the present invention recognizes at least one object in a real image with an image processing technology based on artificial intelligence, and recommends a position, size adjustment, and pose for a user avatar to be placed, and a surrounding area that can help the user select. It is intended to provide an artificial intelligence-based augmented reality avatar pose suggestion device and method that reflects the environment structure and user preference.

본 발명의 일 실시예는 사용자 아바타가 배치될 수 있는 적합한 위치와 크기, 포즈를 사용자에게 추천하고 사용자가 원하는 크기, 위치, 포즈를 수정할 수 있도록 커스터 마이징을 제공하여 사용자의 만족도를 높여줄 수 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법을 제공하고자 한다.An embodiment of the present invention can increase user satisfaction by recommending suitable positions, sizes, and poses in which user avatars can be placed to users, and providing customization so that users can modify desired sizes, positions, and poses. It is intended to provide an artificial intelligence-based augmented reality avatar pose suggestion device and method that reflects the surrounding environment structure and user preference.

본 발명의 일 실시예는 이미지 분석을 통한 주변 환경 구조 및 사용자 선호도를 반영하여 다양한 포즈를 템플릿(template)으로 제공할 수 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법을 제공하고자 한다.An embodiment of the present invention is an artificial intelligence-based augmented reality avatar pose suggestion device that reflects the surrounding environment structure and user preference, which can provide various poses as a template by reflecting the surrounding environment structure and user preference through image analysis. And to provide a method.

실시예들 중에서, 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치는 카메라를 통해 현실 이미지를 생성하는 이미지 생성부, 사용자 아바타를 생성하는 사용자 아바타 생성부, 상기 현실 이미지를 분석하여 상기 현실 이미지 상에 상기 사용자 아바타의 구도를 추천하는 사용자 아바타 구도 추천부, 및 사용자의 제어에 따라 상기 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정하는 사용자 아바타 구도 조절부를 포함한다.Among the embodiments, an artificial intelligence-based augmented reality avatar pose proposal device reflecting the surrounding environment structure and user preference includes an image generating unit generating a real image through a camera, a user avatar generating unit generating a user avatar, and the reality image. A user avatar composition recommendation unit analyzing and recommending a composition of the user avatar on the real image, and a user avatar composition adjusting unit adjusting the recommended composition of the user avatar according to the user's control to determine the size, position or pose. include

상기 사용자 아바타 구도 추천부는 상기 현실 이미지에 있는 적어도 하나의 객체를 인식하여 상기 사용자 아바타의 위치를 결정할 수 있다.The user avatar composition recommendation unit may determine the location of the user avatar by recognizing at least one object in the real image.

상기 사용자 아바타 구도 추천부는 상기 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 상기 위치를 결정할 수 있다.The user avatar composition recommendation unit may determine the location by detecting a flat surface of a specific size or more in a first object among the at least one object.

상기 사용자 아바타 구도 추천부는 상기 위치에서 상기 적어도 하나의 객체 중 제2 객체와의 상대적 관계를 결정하여 상기 크기 또는 상기 포즈를 결정할 수 있다.The user avatar composition recommendation unit may determine the size or the pose by determining a relative relationship with a second object among the at least one object at the location.

상기 사용자 아바타 구도 추천부는 상기 특정 크기 이상의 평평한 면이 검출되지 않은 경우에는 가장 크기가 큰 객체의 인접한 영역을 상기 위치로 결정할 수 있다.The user avatar composition recommendation unit may determine an area adjacent to an object having the largest size as the position when a flat surface of the specific size or larger is not detected.

상기 사용자 아바타 구도 조절부는 상기 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 상기 포즈 변경에 따라 상기 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행할 수 있다.The user avatar composition control unit may detect a change in pose of a specific part of the recommended user avatar and change the entire pose of all parts of the recommended user avatar according to the change in pose.

상기 사용자 아바타 구도 조절부는 상기 추천된 사용자 아바타의 중심 제어를 통한 위치 이동을 검출하고 상기 추천된 사용자 아바타의 가장 인접한 객체와의 상대적 관계를 결정하여 상기 크기를 조절할 수 있다.The user avatar composition control unit may adjust the size by detecting a location movement of the recommended user avatar through center control and determining a relative relationship of the recommended user avatar with a nearest object.

상기 사용자 아바타 구도 조절부는 상기 현실 이미지에 상기 사용자의 제어에 따른 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성할 수 있다.The user avatar composition control unit may generate an augmented reality avatar image by overlaying a final user avatar controlled by the user on the reality image.

실시예들 중에서, 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법은 카메라를 통해 현실 이미지를 생성하는 이미지 생성단계, 사용자 아바타를 생성하는 사용자 아바타 생성단계, 상기 현실 이미지를 분석하여 상기 현실 이미지 상에 상기 사용자 아바타의 구도를 추천하는 사용자 아바타 구도 추천단계, 및 사용자의 제어에 따라 상기 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정하는 사용자 아바타 구도 조절단계를 포함한다.Among the embodiments, an artificial intelligence-based augmented reality avatar pose proposal method reflecting the surrounding environment structure and user preference includes an image generation step of generating a reality image through a camera, a user avatar generation step of generating a user avatar, and the reality image. A user avatar composition recommendation step of analyzing and recommending a composition of the user avatar on the real image, and a user avatar composition adjusting step of determining the size, position, or pose by adjusting the recommended composition of the user avatar according to the control of the user. includes

상기 사용자 아바타 구도 추천단계는 상기 현실 이미지에 있는 적어도 하나의 객체를 인식하여 상기 사용자 아바타의 위치를 결정할 수 있다.The user avatar composition recommendation step may determine the location of the user avatar by recognizing at least one object in the real image.

상기 사용자 아바타 구도 추천단계는 상기 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 상기 위치를 결정하고, 상기 특정 크기 이상의 평평한 면이 검출되지 않는 경우에는 가장 크기가 큰 객체의 인접한 영역을 상기 위치로 결정할 수 있다.The user avatar composition recommendation step determines the location by detecting a flat surface of a first object having a specific size or more among the at least one object, and if a flat surface of a specific size or more is not detected, the object with the largest size is selected. An adjacent area can be determined as the location.

상기 사용자 아바타 구도 조절단계는 상기 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 상기 포즈 변경에 따라 상기 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행할 수 있다.The adjusting of the composition of the user avatar may detect a pose change of a specific part of the recommended user avatar, and change the entire pose of all parts of the recommended user avatar according to the pose change.

상기 사용자 아바타 구도 조절단계는 상기 현실 이미지에 상기 사용자의 제어에 따른 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성할 수 있다.In the adjusting of the composition of the user avatar, an augmented reality avatar image may be generated by overlaying the final user avatar according to the user's control on the real image.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다 거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment should include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.

본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법은 카메라를 통해 촬영한 현실 이미지 상에 사용자 아바타의 구도를 추천하여 크기, 위치 또는 포즈를 사용자가 편리하게 결정할 수 있다.An apparatus and method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting a surrounding environment structure and user preference according to an embodiment of the present invention recommends a composition of a user avatar on a real image captured through a camera to size, position, or pose can be conveniently determined by the user.

본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법은 인공지능에 기반하여 이미지 프로세싱 기술로 현실 이미지에 있는 적어도 하나의 객체를 인식하고 사용자 아바타가 배치될 위치나 크기 조정, 포즈를 추천하여 사용자의 선택을 도와줄 수 있다.An apparatus and method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference according to an embodiment of the present invention recognizes at least one object in a real image with an image processing technology based on artificial intelligence and It can help the user's selection by recommending the position, size adjustment, and pose of the avatar to be placed.

본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법은 사용자 아바타가 배치될 수 있는 적합한 위치와 크기, 포즈를 사용자에게 추천하고 사용자가 원하는 크기, 위치, 포즈를 수정할 수 있도록 커스터 마이징을 제공하여 사용자의 만족도를 높여줄 수 있다.An apparatus and method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference according to an embodiment of the present invention recommends to the user a suitable position, size, and pose in which the user avatar can be placed, and the user desires User satisfaction can be increased by providing customization so that the size, position, and pose can be modified.

본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법은 이미지 분석을 통한 주변 환경 구조 및 사용자 선호도를 반영하여 다양한 포즈를 템플릿(template)으로 제공할 수 있다.Artificial intelligence-based augmented reality avatar pose suggestion device and method reflecting the surrounding environment structure and user preference according to an embodiment of the present invention reflect the surrounding environment structure and user preference through image analysis to convert various poses into templates. can provide

도 1은 본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치를 설명하는 블록도이다.
도 3은 도 2에 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치에서 수행되는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 과정을 설명하는 순서도이다.
도 4는 일 실시예에 따른 사용자 아바타의 구도 추천을 나타내는 예시도이다.
도 5는 도 4의 추천된 사용자 아바타의 구도 조절을 나타내는 예시도이다.1 is a diagram illustrating an artificial intelligence-based augmented reality avatar pose proposal system reflecting a surrounding environment structure and user preference according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating an artificial intelligence-based augmented reality avatar pose proposal device reflecting the surrounding environment structure and user preference in FIG. 1. Referring to FIG.
FIG. 3 is a flowchart illustrating a process of proposing an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference performed by the apparatus for proposing an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference in FIG. 2 am.
4 is an exemplary diagram illustrating a composition recommendation of a user avatar according to an exemplary embodiment.
FIG. 5 is an exemplary diagram illustrating composition adjustment of the recommended user avatar of FIG. 4 .

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 시스템을 설명하는 도면이다.1 is a diagram illustrating an artificial intelligence-based augmented reality avatar pose proposal system reflecting a surrounding environment structure and user preference according to an embodiment of the present invention.

도 1을 참조하면, 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 시스템(100)은 카메라(110), 증강현실 아바타 포즈 제안 장치(130), 데이터베이스(150) 및 사용자 단말(170)을 포함하고, 이들은 네트워크를 통해 연결될 수 있다.Referring to FIG. 1, the artificial intelligence-based augmented reality avatar pose suggestion system 100 reflecting the surrounding environment structure and user preference includes a camera 110, an augmented reality avatar pose suggestion device 130, a database 150, and a user terminal. 170, which may be connected through a network.

카메라(110)는 사용자가 담고 싶은 화면을 촬영하여 실제 환경을 인식할 수 있는 2D 또는 3D 카메라로 구현될 수 있다. 일 실시예에서, 카메라(110)는 스마트폰, 태블릿, PC 등에 장착될 수 있다. 또한, 카메라(110)는 무선 통신 모듈(미도시됨)을 통해 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치(130)와 연결될 수 있다. 여기에서, 증강현실은 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치(130)로부터 수신할 수 있다. 일 실시예에서, 카메라(110)은 도 1과 달리 증강현실 아바타 포즈 제안 장치(130)에 포함되어 구현될 수 있고, 이 경우 카메라(110)는 증강현실 아바타 포즈 제안 장치(130)를 구성하는 이미지 생성부(210)의 역할을 수행할 수 있다.The camera 110 may be implemented as a 2D or 3D camera capable of recognizing a real environment by capturing a screen that a user wants to capture. In one embodiment, the camera 110 may be mounted on a smartphone, tablet, PC, or the like. In addition, the camera 110 may be connected to the artificial intelligence-based augmented reality avatar pose suggestion device 130 reflecting the surrounding environment structure and user preference through a wireless communication module (not shown). Here, augmented reality may be received from the artificial intelligence-based augmented reality avatar pose suggestion device 130 reflecting the surrounding environment structure and user preference. In one embodiment, unlike FIG. 1 , the camera 110 may be included in the augmented reality avatar pose suggestion device 130 and implemented. In this case, the camera 110 constitutes the augmented reality avatar pose suggestion device 130 It may serve as the image generating unit 210 .

증강현실 아바타 포즈 제안 장치(130)는 카메라(110)와 네트워크를 통해 연동될 수 있는 서버(즉, 컴퓨팅 장치)에 해당할 수 있고, 또는 사용자 단말(170)에 설치될 수 있는 증강현실(AR) 기반 카메라 앱에 해당할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 카메라(110)를 통해 실제 환경을 포함하는 영상을 수신하여 그 위에 배치되는 증강현실 아바타의 구도를 추천할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 카메라(110)로 저장된 화면을 이미지 프로세싱 기술로 사진 안의 객체간 거리와 크기 등을 인식한 후 학습된 인공지능을 통해 AR 객체가 배치될 위치나 크기 그리고 아바타의 경우 포즈, 구도 등을 추천할 수 있다. 여기에서, 증강현실 아바타 포즈 제안 장치(130)는 사용자 아바타 등의 3D 객체를 생성할 수 있는 AR 소프트웨어를 포함할 수 있다. The augmented reality avatar pose suggestion device 130 may correspond to a server (ie, a computing device) capable of interworking with the camera 110 through a network, or may be installed in the user terminal 170 (AR). ) may correspond to the based camera app. The augmented reality avatar pose suggestion device 130 may receive an image including a real environment through the camera 110 and recommend a composition of an augmented reality avatar disposed thereon. The augmented reality avatar pose suggestion device 130 recognizes the distance and size between objects in the picture using image processing technology on the screen stored by the camera 110, and then recognizes the location or size of the AR object to be placed and the avatar through learned artificial intelligence. In the case of , poses and composition can be recommended. Here, the augmented reality avatar pose suggestion device 130 may include AR software capable of generating 3D objects such as user avatars.

데이터베이스(150)는 증강현실 아바타 포즈 제안을 위해 필요한 다양한 정보들을 저장할 수 있고, 카메라(110)를 통해 촬영된 현실 이미지에 있는 객체인식을 위해 객체인식모델을 저장할 수 있다. 일 실시예에서, 데이터베이스(150)는 사용자의 제어에 따라 추천된 사용자 아바타의 구도를 조절하는 과정에서 수정된 이미지를 저장할 수 있고, 완성된 이미지를 최종 저장하여 공유할 수 있도록 한다. 한편, 데이터베이스(150)는, 반드시 이에 한정되지 않고, 증강현실 아바타 포즈를 제안하는 과정에서 객체와 사용자 아바타에 대하여 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The database 150 may store various information necessary for suggesting an augmented reality avatar pose, and may store an object recognition model for object recognition in a real image captured through the camera 110 . In one embodiment, the database 150 may store images modified in the process of adjusting the composition of the recommended user avatar according to the user's control, and finally store and share the completed image. Meanwhile, the database 150 is not necessarily limited thereto, and may store information collected or processed in various forms about objects and user avatars in the process of proposing augmented reality avatar poses.

도 1은 증강현실 아바타 포즈 제안 장치(130)와 데이터베이스(150)가 별도의 물리적 장치로 구현된 것으로 가정하였으나, 반드시 이에 한정되지 않고, 증강현실 아바타 포즈 제안 장치(130)에 통합적으로 구현될 수 있다.In FIG. 1 , it is assumed that the augmented reality avatar pose suggestion device 130 and the database 150 are implemented as separate physical devices, but are not necessarily limited thereto and may be integrally implemented in the augmented reality avatar pose suggestion device 130. there is.

사용자 단말(170)은 증강현실 아바타 포즈 제안 장치(130)에서 추천한 사용자 아바타 구도를 사용자가 추가 수정할 수 있는 컴퓨팅 장치에 해당할 수 있다. 일 실시예에서, 사용자 단말(170)은 스마트폰, 태블릿, PC 등으로 구현될 수 있고, 이에 한정되지 않고 사용자가 화면에 디스플레이된 증강현실 아바타의 구도를 터치로 조정할 수 있는 터치스크린을 구비한 사용자 디바이스로 구현될 수 있다.The user terminal 170 may correspond to a computing device through which the user may additionally modify the user avatar composition recommended by the augmented reality avatar pose suggestion device 130 . In one embodiment, the user terminal 170 may be implemented as a smartphone, tablet, PC, etc., but is not limited thereto, and is equipped with a touch screen that allows the user to adjust the composition of the augmented reality avatar displayed on the screen by touch. It can be implemented in a user device.

도 2는 도 1에 있는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치를 설명하는 블록도이다.FIG. 2 is a block diagram illustrating an artificial intelligence-based augmented reality avatar pose proposal device reflecting a surrounding environment structure and user preference in FIG. 1. Referring to FIG.

도 2를 참조하면, 증강현실 아바타 포즈 제안 장치(130)는 이미지 생성부(210), 사용자 아바타 생성부(230), 사용자 아바타 구도 추천부(250), 사용자 아바타 구도 조절부(270) 및 제어부(290)를 포함할 수 있다.Referring to FIG. 2 , the augmented reality avatar pose suggestion device 130 includes an image generating unit 210, a user avatar generating unit 230, a user avatar composition recommendation unit 250, a user avatar composition adjusting unit 270, and a control unit. (290).

이미지 생성부(210)는 카메라(110)를 통해 현실 이미지를 생성할 수 있다. 일 실시예에서, 이미지 생성부(210)는 카메라(110)로 현실 세계를 촬영하여 디지털 이미지로 생성할 수 있다. 카메라(110)는 사용자가 담고 싶은 화면을 카메라(110)가 장착되어 있는 사용자 단말(170)에 그대로 수용 및 전송할 수 있다. The image generator 210 may generate a real image through the camera 110 . In one embodiment, the image generating unit 210 may create a digital image by photographing the real world with the camera 110 . The camera 110 can accept and transmit a screen the user wants to capture to the user terminal 170 on which the camera 110 is mounted.

사용자 아바타 생성부(230)는 사용자 아바타를 생성할 수 있다. 아바타(avatar)는 온라인 게임이나 채팅, 가상공간 등에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 뜻하는 말로, 사용자가 스스로의 모습을 부여한 객체라고 할 수 있다. 일 실시예에서, 사용자 아바타 생성부(230)는 사용자에 의해 선택된 아바타를 3D 이미지로 표현하여 사용자 자신의 아바타를 생성할 수 있다. The user avatar generator 230 may create a user avatar. Avatar is an animation character representing a user's role in an online game, chatting, virtual space, etc. In one embodiment, the user avatar creation unit 230 may generate the user's own avatar by representing the avatar selected by the user as a 3D image.

사용자 아바타 구도 추천부(250)는 현실 이미지를 분석하여 현실 이미지 상에 사용자 아바타의 구도를 추천할 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 현실 이미지를 분석하여 현실 이미지에 있는 적어도 하나의 객체를 인식할 수 있다. 보다 구체적으로, 사용자 아바타 구도 추천부(250)는 인공지능에 기반한 딥러닝과 머신 러닝 알고리즘을 통해 이미지 상의 객체를 산출해낼 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 CNN과 같은 딥러닝 모델을 사용하여 이미지를 분석하고 이미지에 있는 해당 객체 고유의 특징을 사전 학습하여 학습된 모델을 통해 객체 인식을 수행할 수 있다. 여기에서, 사용자 아바타 구도 추천부(250)는 현실 이미지에 있는 여러 객체를 감지 및 추출하고 이미지 내의 위치를 포함하여 각 객체에 대한 정보를 인식할 수 있다. The user avatar composition recommendation unit 250 may recommend a composition of the user avatar on the real image by analyzing the real image. In an embodiment, the user avatar composition recommendation unit 250 may recognize at least one object in the real image by analyzing the real image. More specifically, the user avatar composition recommendation unit 250 may calculate an object on the image through artificial intelligence-based deep learning and machine learning algorithms. In one embodiment, the user avatar composition recommendation unit 250 analyzes an image using a deep learning model such as CNN, pre-learns a characteristic characteristic of a corresponding object in the image, and performs object recognition through the learned model. there is. Here, the user avatar composition recommendation unit 250 may detect and extract several objects in the real image, and recognize information about each object, including locations in the image.

사용자 아바타 구도 추천부(250)는 현실 이미지에 있는 적어도 하나의 객체를 인식하여 사용자 아바타의 위치를 결정할 수 있다. 객체는 사람, 장소 또는 물건으로 정의될 수 있다. 사용자 아바타 구도 추천부(250)는 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 위치를 결정할 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 현실 이미지 내에서 객체의 크기나 바닥 등의 평평한 면을 인식하여 사용자 아바타를 배치할 위치를 결정할 수 있다. 여기에서, 제1 객체는 현실 이미지에 있는 적어도 하나의 객체 중 가장 크기가 큰 객체에 해당될 수 있다. 사용자 아바타 구도 추천부(250)는 특정 크기 이상의 평평한 면이 검출되지 않은 경우에는 가장 크기가 큰 객체의 인접한 영역을 위치로 결정할 수 있다. 여기에서, 현실 이미지는 증강현실로 제공될 사용자 아바타의 배경이 될 수 있다. 이때, 사용자 아바타 구도 추천부(250)는 배경을 분석하여 사용자 아바타를 놓을 수 있는 평평한 면을 위치로 결정할 수 있고, 평평한 면이 없는 경우에 제1 객체의 인접한 영역을 위치로 결정할 수 있다.The user avatar composition recommendation unit 250 may determine the location of the user avatar by recognizing at least one object in the real image. An object can be defined as a person, place or thing. The user avatar composition recommendation unit 250 may determine a location by detecting a flat surface of a specific size or larger in a first object among at least one object. In an embodiment, the user avatar composition recommendation unit 250 may determine a position to place the user avatar by recognizing the size of an object or a flat surface such as a floor in a real image. Here, the first object may correspond to the largest object among at least one object in the real image. The user avatar composition recommendation unit 250 may determine a region adjacent to an object having the largest size as a location when a flat surface of a specific size or larger is not detected. Here, the reality image may be a background of a user avatar to be provided as an augmented reality. At this time, the user avatar composition recommendation unit 250 analyzes the background to determine a flat surface on which the user avatar can be placed as a location, and when there is no flat surface, an area adjacent to the first object may be determined as a location.

사용자 아바타 구도 추천부(250)는 결정된 사용자 아바타의 위치에서 적어도 하나의 객체 중 제2 객체와의 상대적 관계를 결정하여 사용자 아바타의 크기 또는 포즈를 결정할 수 있다. 여기에서, 제2 객체는 제1 객체와 관계의 설정이 가능한 객체로 이루어질 수 있다. 즉, 제2 객체는 제1 객체의 주변에 있는 객체에 해당될 수 있다. 예컨대, 테이블을 제1 객체로 할 경우 테이블 위에 놓여 진 커피잔을 제2 객체로 할 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 사용자 아바타의 위치에서 제2 객체와의 상대적 크기, 위치 등의 관계를 결정하여 사용자 아바타의 적합한 크기를 결정할 수 있고 사용자 아바타의 방향을 포함한 적합한 포즈까지 결정할 수 있다. The user avatar composition recommendation unit 250 may determine a size or pose of the user avatar by determining a relative relationship with a second object among at least one object at the determined position of the user avatar. Here, the second object may be formed of an object capable of establishing a relationship with the first object. That is, the second object may correspond to an object around the first object. For example, when a table is used as the first object, a coffee cup placed on the table may be used as the second object. In one embodiment, the user avatar composition recommendation unit 250 may determine a suitable size of the user avatar by determining a relationship such as a relative size and position with the second object at the location of the user avatar, and may determine a suitable size including the direction of the user avatar. You can even decide the pose.

사용자 아바타 구도 추천부(250)는 현실 이미지에 있는 적어도 하나의 객체간 거리와 크기 등을 인식한 후 학습된 인공지능(AI) 추천 모델을 통해 사용자 아바타가 배치될 위치, 크기, 포즈 등을 추천할 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 DNN 학습 모델을 통해 사용자 아바타가 배치될 위치에서 다양한 크기 및 포즈 각각에 따른 제2 객체와의 어울림 정도에 기초하여 크기 또는 포즈를 결정할 수 있다. 여기에서, 포즈는 영화 이미지, 인스타그램(Instagram) 등의 SNS 이미지를 분석하여 추천할 수 있다. 사용자 아바타 구도 추천부(250)는 기존 SNS 이미지를 인공지능을 활용하여 분석하여 포즈를 제공할 수 있다. 사용자 아바타 구도 추천부(250)는 현실 이미지에 있는 주변 환경 구조를 반영하여 또는 사용자의 선호도를 고려하여 적어도 하나의 추천 포즈들 중 하나의 포즈를 선택하여 추천할 수 있다. 일 실시예에서, 사용자 아바타 구도 추천부(250)는 적어도 하나의 추천 포즈를 템플릿(template)으로 제공하여 사용자로 하여금 원하는 템플릿을 선택하도록 할 수 있다.The user avatar composition recommendation unit 250 recognizes the distance and size between at least one object in the real image, and then recommends the position, size, pose, etc. of the user avatar to be placed through the learned AI recommendation model. can do. In one embodiment, the user avatar composition recommendation unit 250 may determine the size or pose based on the degree of matching with the second object according to each of various sizes and poses at the location where the user avatar is to be placed through the DNN learning model. . Here, the pose may be recommended by analyzing a movie image or an SNS image such as Instagram. The user avatar composition recommendation unit 250 may provide a pose by analyzing an existing SNS image using artificial intelligence. The user avatar composition recommendation unit 250 may select and recommend one pose from among at least one recommended pose by reflecting the structure of the surrounding environment in the real image or considering the user's preference. In one embodiment, the user avatar composition recommendation unit 250 may provide at least one recommended pose as a template, allowing the user to select a desired template.

사용자 아바타 구도 조절부(270)는 사용자의 제어에 따라 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정할 수 있다. 사용자는 사용자 단말(170)을 통해 추천된 사용자 아바타의 구도를 확인하고 추가 수정 필요 여부를 결정할 수 있다. 추가 수정이 필요한 경우, 사용자는 사용자 단말(170)의 화면 터치 조작을 통해 사용자 아바타의 크기, 위치, 방향 등의 구도를 추가 수정할 수 있다.The user avatar composition control unit 270 may determine the size, position, or pose by adjusting the composition of the recommended user avatar according to the user's control. The user may check the composition of the recommended user avatar through the user terminal 170 and determine whether additional correction is necessary. If additional correction is required, the user may additionally correct the composition, such as the size, position, and direction of the user avatar, through a touch screen manipulation of the user terminal 170 .

사용자 아바타 구도 조절부(270)는 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 포즈 변경에 따라 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행할 수 있다. 사용자 아바타 구도 조절부(270)는 추천된 사용자 아바타의 중심 제어를 통한 위치 이동을 검출하고 추천된 사용자 아바타의 가장 인접한 객체와의 상대적 관계를 결정하여 크기를 조절할 수 있다. 사용자 아바타 구도 조절부(270)는 현실 이미지에 사용자의 제어에 따른 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성할 수 있다. 사용자 아바타 구도 조절부(270)는 생성된 증강현실 아바타 이미지를 사용자 단말(170)에 제공하여 공유할 수 있다. 사용자 아바타 구도 조절부(270)는 아바타와 이미지 레이어를 별도로 제공하여 이후에도 사용자가 편집하도록 할 수 있다.The user avatar composition control unit 270 may detect a change in pose of a specific part of the recommended user avatar and change the entire pose of all parts of the recommended user avatar according to the change in pose. The user avatar composition control unit 270 may adjust the size by detecting a location movement of the recommended user avatar through center control and determining a relative relationship of the recommended user avatar with the nearest object. The user avatar composition control unit 270 may generate an augmented reality avatar image by overlaying a final user avatar according to a user's control on a real image. The user avatar composition control unit 270 may share the generated augmented reality avatar image by providing it to the user terminal 170 . The user avatar composition control unit 270 may separately provide the avatar and the image layer so that the user can edit them thereafter.

제어부(290)는 증강현실 아바타 포즈 제안 장치(130)의 전체적인 동작을 제어하고, 이미지 생성부(210), 사용자 아바타 생성부(230), 사용자 아바타 구도 추천부(250) 및 사용자 아바타 구도 조절부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The control unit 290 controls the overall operation of the augmented reality avatar pose suggestion device 130, the image generator 210, the user avatar generator 230, the user avatar composition recommendation unit 250, and the user avatar composition control unit. Control flow or data flow between (270) can be managed.

도 3은 도 1에 있는 증강현실 아바타 포즈 제안 장치에서 수행되는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 과정을 설명하는 순서도이다.FIG. 3 is a flowchart illustrating an artificial intelligence-based augmented reality avatar pose proposal process that reflects the surrounding environment structure and user preference performed by the augmented reality avatar pose suggesting apparatus in FIG. 1 .

도 3을 참조하면, 증강현실 아바타 포즈 제안 장치(130)는 이미지 생성부(210)를 통해 현실 이미지를 생성할 수 있다(단계 S310). 일 실시예에서, 이미지 생성부(210)는 카메라(110)를 통해 현실 세계를 촬영하여 현실 이미지를 생성할 수 있다. 여기에서, 카메라(110)는 사용자 단말(170)에 장착될 수 있다.Referring to FIG. 3 , the apparatus 130 for suggesting an augmented reality avatar pose may generate a reality image through the image generating unit 210 (step S310). In one embodiment, the image generating unit 210 may generate a real image by photographing the real world through the camera 110 . Here, the camera 110 may be mounted on the user terminal 170 .

증강현실 아바타 포즈 제안 장치(130)는 사용자 아바타 생성부(230)를 통해 사용자 아바타를 생성할 수 있다(단계 S330). 일 실시예에서, 사용자 아바타 생성부(230)는 AR 소프트웨어를 실행시켜 3D 객체로서 사용자 자신의 AR 아바타를 생성할 수 있다. 여기에서, 사용자 아바타는 사용자에 의해 선택될 수 있다.The augmented reality avatar pose suggestion device 130 may generate a user avatar through the user avatar generator 230 (step S330). In one embodiment, the user avatar creation unit 230 may generate the user's own AR avatar as a 3D object by executing AR software. Here, the user avatar may be selected by the user.

증강현실 아바타 포즈 제안 장치(130)는 사용자 아바타 구도 추천부(250)를 통해 현실 이미지를 분석하여 현실 이미지 상에 사용자 아바타의 구도를 추천할 수 있다(단계 S350). 일 실시예에서, 사용자 아바타 구도 추천부(250)는 현실 이미지에 있는 적어도 하나의 객체를 인식하고 인식된 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 사용자 아바타의 위치를 결정하고 결정된 위치에서 적어도 하나의 객체 중 제2 객체와의 상대적 관계를 결정하여 크기 또는 포즈를 결정할 수 있다. 여기에서, 사용자 아바타 구도 추천부(250)는 제1 객체에 특정 크기 이상의 평평한 면이 검출되지 않은 경우에는 가장 크기가 큰 객체의 인접한 영역을 위치로 결정할 수 있다. The augmented reality avatar pose suggestion device 130 may analyze the real image through the user avatar composition recommendation unit 250 and recommend a user avatar composition on the real image (step S350). In one embodiment, the user avatar composition recommendation unit 250 recognizes at least one object in the real image, detects a flat surface of a specific size or more in a first object among the at least one recognized object, and determines the position of the user avatar. A size or a pose may be determined by determining a relative relationship with a second object among at least one object at the determined position. Here, the user avatar composition recommendation unit 250 may determine a region adjacent to the largest object as a location when a flat surface of a specific size or more is not detected in the first object.

증강현실 아바타 포즈 제안 장치(130)는 사용자 아바타 구도 조절부(270)를 통해 사용자의 제어에 따라 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정할 수 있다(단계 S370). 일 실시예에서, 사용자 아바타 구도 조절부(270)는 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 포즈 변경에 따라 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행할 수 있고, 추천된 사용자 아바타의 중심 제어를 통한 위치 이동을 검출하고 추천된 사용자 아바타의 가장 인접한 객체와의 상대적 관계를 결정하여 크기를 조절할 수 있다. 여기에서, 사용자 아바타 구도 조절부(270)는 현실 이미지에 사용자의 제어에 따라 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성할 수 있다.The augmented reality avatar pose suggestion apparatus 130 may adjust the composition of the recommended user avatar according to the control of the user through the user avatar composition control unit 270 to determine the size, position, or pose (step S370). In one embodiment, the user avatar composition control unit 270 may detect a pose change for a specific part of the recommended user avatar and perform a full pose change for all parts of the recommended user avatar according to the pose change, It is possible to adjust the size by detecting the movement of the recommended user avatar through center control and determining the relative relationship of the recommended user avatar with the nearest object. Here, the user avatar composition control unit 270 may generate an augmented reality avatar image by overlaying a final user avatar on a real image according to a user's control.

도 4는 일 실시예에 따른 사용자 아바타의 구도 추천을 나타내는 예시도이고, 도 5는 도 4의 추천된 사용자 아바타의 구도 조절을 나타내는 예시도이다.FIG. 4 is an exemplary diagram illustrating composition recommendation of a user avatar according to an embodiment, and FIG. 5 is an exemplary diagram illustrating composition adjustment of the user avatar recommended in FIG. 4 .

도 4 및 도 5를 참조하면, 증강현실 아바타 포즈 제안 장치(130)는 카메라를 통해 생성한 현실 이미지의 분석을 수행하여 사용자 아바타의 다양한 포즈를 제안할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 SNS에 자주 올라오는 이미지 학습을 통해 배경화면의 특성과 대표 객체(object)에 따라 인공지능(AI)을 활용하여 사용자 아바타의 포즈를 템플릿으로 제안할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 다양한 포즈의 템플릿 중 사용자에 의해 선택되는 하나의 템플릿에 있는 포즈의 사용자 아바타를 현실 이미지 상에 오버레이 하여 증강현실 아바타 이미지를 생성할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 현실 이미지에 있는 객체와의 상대적 관계를 결정하여 사용자 아바타의 크기를 결정할 수 있다. 여기에서, 상대적 관계는 사용자 아바타의 위치에서 객체 간의 거리 또는 크기 등이 포함될 수 있다. Referring to FIGS. 4 and 5 , the apparatus 130 for suggesting an augmented reality avatar pose may suggest various poses of a user avatar by analyzing a reality image generated through a camera. The augmented reality avatar pose suggestion device 130 may suggest a pose of a user avatar as a template by using artificial intelligence (AI) according to characteristics of a background screen and a representative object through image learning frequently uploaded to SNS. . The augmented reality avatar pose suggestion device 130 may generate an augmented reality avatar image by overlaying a user avatar of a pose selected by a user from among various pose templates on a real image. The augmented reality avatar pose suggestion device 130 may determine the size of the user avatar by determining a relative relationship with an object in the real image. Here, the relative relationship may include a distance or size between objects at the location of the user avatar.

도 4의 예시에서, 증강현실 아바타 포즈 제안 장치(130)는 현실 이미지(410)와 현실 이미지(410)에 있는 주변 환경 구조 또는 사용자 선호도가 반영된 적어도 하나 이상의 사용자 아바타 포즈 템플릿(430)을 사용자에게 제공할 수 있다. 사용자는 적어도 하나 이상의 사용자 아바타 포즈 템플릿(430) 중 하나를 선택할 수 있다. 증강현실 아바타 포즈 제안 장치(130)는 사용자가 적어도 하나 이상의 사용자 아바타 포즈 템플릿(430) 중 하나를 선택하면 현실 이미지(410)에 있는 빌딩 객체(450)를 인식하여 사용자 아바타의 위치 및 크기를 결정하고 현실 이미지(410) 상의 결정된 위치에 사용자가 선택한 포즈의 사용자 아바타를 결정된 크기로 오버레이 할 수 있다.In the example of FIG. 4 , the augmented reality avatar pose suggestion device 130 provides a reality image 410 and at least one user avatar pose template 430 in which a structure of the surrounding environment or user preference in the reality image 410 is reflected to the user. can provide A user may select one of one or more user avatar pose templates 430 . When the user selects one of at least one user avatar pose template 430, the augmented reality avatar pose suggestion device 130 determines the location and size of the user avatar by recognizing a building object 450 in the reality image 410. Then, a user avatar of a pose selected by the user may be overlaid at a determined position on the reality image 410 in a determined size.

예컨대, 사용자가 제1 템플릿(430a)을 선택한 경우 도 5의 (a)와 같이 현실 이미지(410) 상의 가장 큰 빌딩 객체에 제1 템플릿(430a)에 있는 사용자 아바타 포즈를 위치시켜 사용자 아바타가 빌딩 객체에 손을 집고 있는 포즈를 제안할 수 있다. 사용자가 제2 템플릿(430b)을 선택한 경우 도 5의 (b)와 같이 현실 이미지(410) 상의 빌딩 객체에 제2 템플릿(430b)에 있는 사용자 아바타 포즈를 위치시켜 사용자 아바타가 빌딩 객체에 걸터앉아 있는 포즈를 제안할 수 있다. 사용자가 제3 템플릿(430c)을 선택한 경우 도 5의 (c)와 같이 현실 이미지(410) 상의 바닥에 제3 템플릿(430c)에 있는 사용자 아바타 포즈를 위치시켜 사용자 아바타가 빌딩 객체 앞에 앉아 있는 포즈를 제안할 수 있다.For example, when the user selects the first template 430a, the user avatar pose of the first template 430a is placed on the largest building object on the real image 410 as shown in FIG. A pose in which the hand is holding the object can be suggested. When the user selects the second template 430b, the user avatar pose in the second template 430b is placed on the building object on the real image 410 as shown in FIG. poses can be suggested. When the user selects the third template 430c, as shown in (c) of FIG. 5, the user avatar pose in the third template 430c is placed on the floor of the reality image 410 so that the user avatar is sitting in front of a building object. can suggest

사용자는 도 5의 (a) 내지 (c)와 같은 제안된 포즈의 추천 이미지를 기반으로 사용자 아바타의 크기, 위치 또는 포즈를 추가 수정할 수 있다. The user may further modify the size, position or pose of the user avatar based on the recommended image of the suggested pose as shown in (a) to (c) of FIG. 5 .

일 실시예에 따른 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법은 사용자 아바타가 배치될 수 있는 적합한 위치와 크기, 포즈를 사용자에게 추천할 수 있고 이미지를 분석하여 다양한 포즈를 템플릿으로 제공할 수 있어 사용자 아바타를 다양한 포즈로 변경할 수 있다.An apparatus and method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting a surrounding environment structure and user preference according to an embodiment can recommend a suitable location, size, and pose in which a user avatar can be placed to a user, and analyze an image to Since various poses can be provided as templates, user avatars can be changed to various poses.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

100: 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 시스템
110: 카메라 130: 증강현실 아바타 포즈 제안 장치
150: 데이터베이스 170: 사용자 단말
210: 이미지 생성부 230: 사용자 아바타 생성부
250: 사용자 아바타 구도 추천부 270: 사용자 아바타 구도 조절부
290: 제어부
410: 현실 이미지 430: 사용자 아바타 포즈 템플릿
450: 빌딩 객체100: Artificial intelligence-based augmented reality avatar pose proposal system reflecting the surrounding environment structure and user preference
110: camera 130: augmented reality avatar pose suggestion device
150: database 170: user terminal
210: image generator 230: user avatar generator
250: User avatar composition recommendation unit 270: User avatar composition control unit
290: control unit
410: reality image 430: user avatar pose template
450: building object

Claims (13)

카메라를 통해 현실 이미지를 생성하는 이미지 생성부;
사용자 아바타를 생성하는 사용자 아바타 생성부;
상기 현실 이미지를 분석하여 상기 현실 이미지 상에 상기 사용자 아바타의 구도를 추천하는 사용자 아바타 구도 추천부; 및
사용자의 제어에 따라 상기 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정하는 사용자 아바타 구도 조절부를 포함하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
an image generating unit generating a real image through a camera;
a user avatar generating unit generating a user avatar;
a user avatar composition recommendation unit that analyzes the real image and recommends a composition of the user avatar on the real image; and
An artificial intelligence-based augmented reality avatar pose suggestion device reflecting the surrounding environment structure and user preference, including a user avatar composition adjusting unit that determines the size, position, or pose by adjusting the composition of the recommended user avatar according to the user's control.
 제1항에 있어서, 상기 사용자 아바타 구도 추천부는
상기 현실 이미지에 있는 적어도 하나의 객체를 인식하여 상기 사용자 아바타의 위치를 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 1, wherein the user avatar composition recommendation unit
An artificial intelligence-based augmented reality avatar pose suggestion device reflecting a surrounding environment structure and user preference, characterized in that for determining the position of the user avatar by recognizing at least one object in the reality image.
 제2항에 있어서, 상기 사용자 아바타 구도 추천부는
상기 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 상기 위치를 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 2, wherein the user avatar composition recommendation unit
An artificial intelligence-based augmented reality avatar pose suggestion device reflecting a surrounding environment structure and user preference, characterized in that for determining the location by detecting a flat surface of a specific size or more in the first object of the at least one object.
 제3항에 있어서, 상기 사용자 아바타 구도 추천부는
상기 위치에서 상기 적어도 하나의 객체 중 제2 객체와의 상대적 관계를 결정하여 상기 크기 또는 상기 포즈를 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 3, wherein the user avatar composition recommendation unit
An artificial intelligence-based augmented reality avatar pose suggestion device reflecting a surrounding environment structure and user preference, characterized in that for determining the size or the pose by determining a relative relationship with a second object among the at least one object at the location.
 제3항에 있어서, 상기 사용자 아바타 구도 추천부는
상기 특정 크기 이상의 평평한 면이 검출되지 않은 경우에는 가장 크기가 큰 객체의 인접한 영역을 상기 위치로 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 3, wherein the user avatar composition recommendation unit
When a flat surface of the specific size or more is not detected, an artificial intelligence-based augmented reality avatar pose proposal device reflecting the surrounding environment structure and user preference, characterized in that for determining the adjacent area of the object with the largest size as the position.
 제1항에 있어서, 상기 사용자 아바타 구도 조절부는
상기 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 상기 포즈 변경에 따라 상기 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 1, wherein the user avatar composition control unit
Detecting a pose change for a specific part of the recommended user avatar, and performing an entire pose change for all parts of the recommended user avatar according to the pose change, artificial intelligence reflecting the surrounding environment structure and user preference. A device for proposing an avatar pose based on augmented reality.
 제6항에 있어서, 상기 사용자 아바타 구도 조절부는
상기 추천된 사용자 아바타의 중심 제어를 통한 위치 이동을 검출하고 상기 추천된 사용자 아바타의 가장 인접한 객체와의 상대적 관계를 결정하여 상기 크기를 조절하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 6, wherein the user avatar composition control unit
Artificial intelligence reflecting the surrounding environment structure and user preference, characterized in that the size is adjusted by detecting the location movement of the recommended user avatar through center control and determining the relative relationship with the nearest object of the recommended user avatar. A device for proposing an avatar pose based on augmented reality.
 제1항에 있어서, 상기 사용자 아바타 구도 조절부는
상기 현실 이미지에 상기 사용자의 제어에 따른 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치.
The method of claim 1, wherein the user avatar composition control unit
An artificial intelligence-based augmented reality avatar pose suggestion device reflecting a surrounding environment structure and user preference, characterized in that for generating an augmented reality avatar image by overlaying a final user avatar according to the user's control on the reality image.
 카메라를 통해 현실 이미지를 생성하는 이미지 생성단계;
사용자 아바타를 생성하는 사용자 아바타 생성단계;
상기 현실 이미지를 분석하여 상기 현실 이미지 상에 상기 사용자 아바타의 구도를 추천하는 사용자 아바타 구도 추천단계; 및
사용자의 제어에 따라 상기 추천된 사용자 아바타의 구도를 조절하여 크기, 위치 또는 포즈를 결정하는 사용자 아바타 구도 조절단계를 포함하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법.
An image generating step of generating a real image through a camera;
A user avatar creation step of generating a user avatar;
a user avatar composition recommendation step of analyzing the real image and recommending a composition of the user avatar on the real image; and
A method for suggesting an artificial intelligence-based augmented reality avatar pose reflecting the surrounding environment structure and user preference, including a user avatar composition adjustment step of determining a size, position, or pose by adjusting the composition of the recommended user avatar according to the user's control.
 제9항에 있어서, 상기 사용자 아바타 구도 추천단계는
상기 현실 이미지에 있는 적어도 하나의 객체를 인식하여 상기 사용자 아바타의 위치를 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법.
10. The method of claim 9, wherein the user avatar composition recommendation step
An artificial intelligence-based augmented reality avatar pose proposal method reflecting a surrounding environment structure and user preference, characterized in that by recognizing at least one object in the reality image to determine the location of the user avatar.
 제10항에 있어서, 상기 사용자 아바타 구도 추천단계는
상기 적어도 하나의 객체 중 제1 객체에 있는 특정 크기 이상의 평평한 면을 검출하여 상기 위치를 결정하고, 상기 특정 크기 이상의 평평한 면이 검출되지 않는 경우에는 가장 크기가 큰 객체의 인접한 영역을 상기 위치로 결정하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법.
11. The method of claim 10, wherein the user avatar composition recommendation step
The position is determined by detecting a flat surface of a first object having a specific size or more among the at least one object, and when a flat surface of a specific size or more is not detected, an adjacent area of the object having the largest size is determined as the position. An artificial intelligence-based augmented reality avatar pose proposal method reflecting the surrounding environment structure and user preference, characterized in that for doing.
 제9항에 있어서, 상기 사용자 아바타 구도 조절단계는
상기 추천된 사용자 아바타의 특정 부위에 대한 포즈 변경을 검출하고 상기 포즈 변경에 따라 상기 추천된 사용자 아바타의 전체 부위에 대한 전체 포즈 변경을 수행하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법.
10. The method of claim 9, wherein the step of adjusting the composition of the user avatar
Detecting a pose change for a specific part of the recommended user avatar, and performing an entire pose change for all parts of the recommended user avatar according to the pose change, artificial intelligence reflecting the surrounding environment structure and user preference. A method for suggesting avatar poses based on augmented reality.
 제9항에 있어서, 상기 사용자 아바타 구도 조절단계는
상기 현실 이미지에 상기 사용자의 제어에 따른 최종적인 사용자 아바타를 오버레이 하여 증강현실 아바타 이미지를 생성하는 것을 특징으로 하는 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 방법.
10. The method of claim 9, wherein the step of adjusting the composition of the user avatar
An artificial intelligence-based augmented reality avatar pose proposal method reflecting a surrounding environment structure and user preference, characterized in that the augmented reality avatar image is generated by overlaying the final user avatar according to the control of the user on the reality image.
KR1020210147756A 2021-11-01 2021-11-01 Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences KR102570735B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210147756A KR102570735B1 (en) 2021-11-01 2021-11-01 Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147756A KR102570735B1 (en) 2021-11-01 2021-11-01 Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences

Publications (2)

Publication Number Publication Date
KR20230062999A true KR20230062999A (en) 2023-05-09
KR102570735B1 KR102570735B1 (en) 2023-09-04

Family

ID=86409376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147756A KR102570735B1 (en) 2021-11-01 2021-11-01 Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences

Country Status (1)

Country Link
KR (1) KR102570735B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102667751B1 (en) * 2023-11-09 2024-05-22 주식회사 집쇼코리아 Method of providing photo services using augmented reality characters controlled by AI

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012094101A (en) * 2010-09-28 2012-05-17 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system and image processing method
KR20150057424A (en) * 2013-11-19 2015-05-28 한국전자통신연구원 A system and method for interaction with augmented reality avatar
KR20190023213A (en) 2017-08-28 2019-03-08 (주)벨류데이터 Selfie support Camera System Using AR sticker
KR20190038886A (en) * 2016-08-11 2019-04-09 매직 립, 인코포레이티드 Automatic placement of virtual objects in three-dimensional space
KR20210079138A (en) * 2019-12-19 2021-06-29 한국전자통신연구원 System and method for recognizing user's gesture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012094101A (en) * 2010-09-28 2012-05-17 Nintendo Co Ltd Image processing program, image processing apparatus, image processing system and image processing method
KR20150057424A (en) * 2013-11-19 2015-05-28 한국전자통신연구원 A system and method for interaction with augmented reality avatar
KR20190038886A (en) * 2016-08-11 2019-04-09 매직 립, 인코포레이티드 Automatic placement of virtual objects in three-dimensional space
KR20190023213A (en) 2017-08-28 2019-03-08 (주)벨류데이터 Selfie support Camera System Using AR sticker
KR20210079138A (en) * 2019-12-19 2021-06-29 한국전자통신연구원 System and method for recognizing user's gesture

Also Published As

Publication number Publication date
KR102570735B1 (en) 2023-09-04

Similar Documents

Publication Publication Date Title
US20240104959A1 (en) Menu hierarchy navigation on electronic mirroring devices
KR102292537B1 (en) Image processing method and apparatus, and storage medium
US11798201B2 (en) Mirroring device with whole-body outfits
EP3047884B1 (en) Program, information-processing device, information-processing system, and avatar generating method
KR102506341B1 (en) Devices, systems and methods of virtualizing a mirror
US11763481B2 (en) Mirror-based augmented reality experience
US20220300732A1 (en) Mirroring device with a hands-free mode
US11733769B2 (en) Presenting avatars in three-dimensional environments
US20230343007A1 (en) Controlling interactive fashion based on voice
KR102148151B1 (en) Intelligent chat based on digital communication network
US11983826B2 (en) 3D upper garment tracking
US20230070631A1 (en) Controlling interactive fashion based on facial expressions
US11636662B2 (en) Body normal network light and rendering control
US20220300728A1 (en) True size eyewear experience in real time
US20230120037A1 (en) True size eyewear in real time
JP2020064426A (en) Communication system and program
KR102570735B1 (en) Apparatus and method for suggesting an augmented reality avatar pose based on artificial intelligence reflecting the structure of the surrounding environment and user preferences
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
US20230316665A1 (en) Surface normals for pixel-aligned object
US20240233272A9 (en) System and method for auto-generating and sharing customized virtual environments
US20240135649A1 (en) System and method for auto-generating and sharing customized virtual environments
WO2023192426A1 (en) Surface normals for pixel-aligned object
CN113469164A (en) Background image display method and device, storage medium and electronic equipment
CN114758037A (en) Image generation method and device, terminal equipment and storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant