WO2023224169A1 - 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 - Google Patents

3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 Download PDF

Info

Publication number
WO2023224169A1
WO2023224169A1 PCT/KR2022/011168 KR2022011168W WO2023224169A1 WO 2023224169 A1 WO2023224169 A1 WO 2023224169A1 KR 2022011168 W KR2022011168 W KR 2022011168W WO 2023224169 A1 WO2023224169 A1 WO 2023224169A1
Authority
WO
WIPO (PCT)
Prior art keywords
skeleton
dimensional
dimensional skeleton
server
time slot
Prior art date
Application number
PCT/KR2022/011168
Other languages
English (en)
French (fr)
Inventor
황태민
김민준
김지은
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of WO2023224169A1 publication Critical patent/WO2023224169A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present invention relates to a 3D skeleton estimation system and a 3D skeleton estimation method, which not only allows the 3D skeleton of an object to be estimated in real time and at low cost using a plurality of cameras, but also improves the accuracy of 3D skeleton estimation. It relates to a 3D skeleton estimation system and 3D skeleton estimation method.
  • 3D skeleton estimation system there is a system that estimates the 2D skeleton coordinates of an object using a single camera and estimates the 3D skeleton based on these 2D skeleton coordinates and distance information using an infrared sensor. .
  • this system has the problem of not being able to estimate the 3D skeleton in poor environments, such as when an obstacle blocks the camera or an object is looking back.
  • Patent Document 1 Korean Patent Publication No. 10-2018-0094253
  • the user posture estimation device disclosed in Patent Document 1 estimates the user's posture using a plurality of Kinect sensors arranged to surround the user.
  • the Kinect sensors of Patent Document 1 each have an RGB camera and an infrared camera, there is a problem in that the price of each Kinect sensor is very high.
  • the Kinect sensors of Patent Document 1 each acquire a 3D skeleton structure image, the computational load is very high, so there is a problem in that there is a limit to estimating the 3D skeleton in real time.
  • Patent Document 1 Korean Patent Publication No. 10-2018-0094253
  • the purpose of the present invention is to use a plurality of edge devices (hereinafter also referred to as 'two-dimensional skeleton estimation device') and a server to create a two-dimensional skeleton of an object, such as a user, in real time using a plurality of edge devices.
  • the purpose is to estimate the 3D skeleton of the object in real time and at low cost by estimating the 3D skeleton using only a plurality of 2D skeleton information rather than images on the server.
  • Another object of the present invention is to provide a 3D skeleton estimation system and 3D skeleton estimation method that can prevent privacy infringement by estimating the 3D skeleton without transmitting the user's image to the server.
  • Another object of the present invention is to provide a 3D skeleton estimation system and a 3D skeleton estimation method that can improve the accuracy of 3D skeleton estimation for an object.
  • the three-dimensional skeleton estimation system includes a plurality of cameras, a plurality of two-dimensional skeleton estimation devices, and a first server, and the plurality of cameras each include An object image is acquired by photographing the object, and the plurality of two-dimensional skeleton estimation devices each include a control unit that estimates a two-dimensional skeleton of the object based on the object image received from a corresponding camera among the plurality of cameras, And a communication unit that transmits two-dimensional skeleton information including the two-dimensional skeleton to the first server, and the first server based on the two-dimensional skeleton information received from each of the plurality of two-dimensional skeleton estimation devices. It is characterized by comprising a server control unit that estimates the three-dimensional skeleton of the object.
  • the 2D skeleton information further includes a time stamp
  • the server control unit determines whether the time stamp of the 2D skeleton information corresponds to a target time slot. can be judged.
  • the two-dimensional skeleton information further includes color data regarding a plurality of characteristic points of the object, and the server control unit determines the color data between the plurality of two-dimensional skeleton information. Color similarity can be judged.
  • a three-dimensional skeleton estimation method includes a) a plurality of cameras, a plurality of two-dimensional skeleton estimation devices, and a first server by each of the plurality of cameras in a three-dimensional skeleton estimation system.
  • the 2D skeleton information further includes a time stamp
  • step d) includes determining whether the time stamp of the 2D skeleton information corresponds to a target time slot. It may include a judgment step.
  • the 2D skeleton information further includes color data regarding a plurality of characteristic points of the object
  • step d) includes the color data of the plurality of 2D skeleton information. It may include the step of determining the color similarity between the livers.
  • the 2D skeleton of an object is extracted in real time, and the server estimates the 3D skeleton using only multiple 2D skeleton information, not images, to determine the 3D skeleton of the object. can be estimated in real time and at low cost.
  • FIG. 1 is a block diagram of a 3D skeleton estimation system according to an embodiment of the present invention.
  • Figure 2 is a schematic perspective view of a 3D skeleton estimation system according to an embodiment of the present invention.
  • Figure 3 is a flowchart of a 3D skeleton estimation method according to an embodiment of the present invention.
  • 4A to 4C are diagrams for explaining a synchronization process in a 3D skeleton estimation system and a 3D skeleton estimation method according to an embodiment of the present invention.
  • Figure 5 is a diagram for explaining the process of obtaining color data in the 3D skeleton estimation system and 3D skeleton estimation method according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a process for determining color similarity between color data in a 3D skeleton estimation system and a 3D skeleton estimation method according to an embodiment of the present invention.
  • Figure 7 is a diagram for explaining the 3D skeleton estimation process in the 3D skeleton estimation system and 3D skeleton estimation method according to an embodiment of the present invention.
  • Figure 1 is a block diagram of a three-dimensional skeleton estimation system according to an embodiment of the present invention
  • Figure 2 is a schematic perspective view of a three-dimensional skeleton estimation system according to an embodiment of the present invention.
  • one or more client terminals (CT1 to CTk) shown in FIG. 1 are not shown.
  • Figure 3 is a flowchart of a 3D skeleton estimation method according to an embodiment of the present invention.
  • FIG. 4A to 4C are diagrams for explaining a synchronization process in a 3D skeleton estimation system and a 3D skeleton estimation method according to an embodiment of the present invention.
  • FIG. 4A is a diagram for explaining the synchronization process for the first time slot (TS1)
  • FIG. 4B is a diagram for explaining the synchronization process for the second time slot (TS2)
  • FIG. 4C is a diagram for explaining the synchronization process for the second time slot (TS2).
  • TS3 This is a diagram to explain the synchronization process for time slot (TS3).
  • Figure 5 is a diagram for explaining the process of acquiring color data in the 3D skeleton estimation system and 3D skeleton estimation method according to an embodiment of the present invention
  • Figure 6 is a 3D skeleton estimation system according to an embodiment of the present invention. This diagram is intended to explain the process of determining color similarity between color data in a skeleton estimation system and a 3D skeleton estimation method.
  • Figure 7 is a diagram for explaining the 3D skeleton estimation process in the 3D skeleton estimation system and 3D skeleton estimation method according to an embodiment of the present invention.
  • the 3D skeleton estimation system 100 includes a plurality of cameras (C1 to Cn), a plurality of 2D skeleton estimation devices (SE1 to SEn), and a first server (SV1). Additionally, the 3D skeleton estimation system 100 may further include a second server (SV2) and/or one or more client terminals (CT1 to CTk).
  • a plurality of cameras (C1 to Cn) each acquire an image of an object (U) by photographing it.
  • the object (U) may include any object capable of movement, such as a person, an animal, or a robot.
  • the plurality of two-dimensional skeleton estimation devices each include a control unit (CO) and a communication unit (CM). Additionally, each of the plurality of two-dimensional skeleton estimation devices SE1 to SEn may further include a storage unit ST.
  • the control unit (CO) estimates the two-dimensional skeleton (S1 to Sn) of the object (U) based on the object image received from the corresponding camera (C1 to Cn) among the plurality of cameras (C1 to Cn).
  • the control unit (CO) can estimate the two-dimensional skeleton of the object (U) from the object image using deep learning-based artificial intelligence.
  • the control unit CO may generate color data CD regarding a plurality of feature points of the object U based on the object image.
  • color data (CD) regarding a plurality of feature points of the object (U) means “feature points corresponding to two or more of the shoulder, elbow, hand, waist, knee, and foot of the object (U). It may be “color data about.”
  • the two-dimensional skeleton information includes “two-dimensional skeletons (S1 to Sn) of the object (U).” Additionally, the two-dimensional skeleton information may further include one or more of a “time stamp” and “color data (CD) regarding a plurality of characteristic points of the object (U).” Additionally, it should be noted that the 2D skeleton information does not include the actual image of the object (U) and does not include the 3D skeleton (S').
  • time stamp may mean “the time when the cameras C1 to Cn acquired the object image for each object image.”
  • the cameras (C1 to Cn) generate time stamps, and the two-dimensional skeleton estimation devices (SE1 to SEn) receive these time stamps together with the corresponding object images, so that the two-dimensional skeleton information is Can include timestamp.
  • the time when the camera (C1 ⁇ Cn) acquired the object image and “the two-dimensional skeleton estimation device (SE1 ⁇ SEn) receives the object image from the camera (C1 ⁇ Cn)” If “one hour” makes little difference, “the time when the 2D skeleton estimation device (SE1 to SEn) received the object image from the camera (C1 to Cn)” may be used as a time stamp.
  • the communication unit (CM) transmits the two-dimensional skeleton information to the first server (SV1). Additionally, the communication unit (CM) can receive object images from the corresponding cameras (C1 to Cn). Additionally, the communication unit (CM) may further receive a time stamp of the object image from the corresponding cameras (C1 to Cn).
  • the storage unit (ST) can store object images received from the corresponding cameras (C1 to Cn).
  • the first server (SV1) includes a server control unit (SCO). Additionally, the first server SV1 may further include one or more of a server storage unit (SST) and a server communication unit (SCM). For example, the first server SV1 may be a local server.
  • SCO server control unit
  • SST server storage unit
  • SCM server communication unit
  • the first server SV1 may be a local server.
  • the server control unit (SCO) estimates the three-dimensional skeleton (S') of the object (U) based on the plurality of two-dimensional skeleton information received from the plurality of two-dimensional skeleton estimation devices (SE1 to SEn).
  • the server control unit (SCO) can determine whether the time stamp of the 2D skeleton information corresponds to the target time slot (TS1 to TS3). For example, this determination can be made by the server control unit (SCO) extracting and checking a plurality of two-dimensional skeleton information contained in a queue.
  • target time slot may mean “a time slot in which a synchronization process is performed among a plurality of time slots (TS1 to TS3).”
  • the server control unit (SCO) selects the two-dimensional skeleton (S1 to Sn) of the two-dimensional skeleton information to the target time slot (TS1 to TS3). It can be inserted into TS1 ⁇ TS3).
  • the server control unit (SCO) can completely delete the two-dimensional skeleton information by discarding the two-dimensional skeletons (S1 to Sn) when the time stamp of the two-dimensional skeleton information is before the target time slot (TS1 to TS3).
  • the server control unit (SCO) may insert the two-dimensional skeleton information into the queue when the time stamp of the two-dimensional skeleton information is after the target time slots (TS1 to TS3).
  • the server control unit (SCO) Based on the 2D skeleton (S1 to Sn), the 3D skeleton (S') of the target time slot (TS1 to TS3) can be estimated. For example, referring to FIG. 7, the server control unit (SCO) estimates a three-dimensional skeleton (S') based on a plurality of two-dimensional skeletons (S1 to Sn) using DLT (Direct Linear Transform) matrix operation. can do.
  • DLT Direct Linear Transform
  • the target time slot is the first time slot (TS1)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS1).
  • the server control unit (SCO) determines that the time stamp of the two-dimensional skeleton information corresponding to the first to fourth channels (X 1 to It can be confirmed that it corresponds to the target time slot (TS1).
  • the server control unit (SCO) inserts the two-dimensional skeletons (S1 to S4) of the two-dimensional skeleton information corresponding to the first to fourth channels (X 1 to X 4 ) into the target time slot (TS1).
  • the server control unit (SCO) determines that the number of two-dimensional skeletons (S1 to S4) inserted in the target time slot (TS1) is 2 or more, which is a predetermined number of 4, and Based on the two-dimensional skeletons (S1 to S4), estimation of the three-dimensional skeleton (S') of the target time slot (TS1) can be performed.
  • the target time slot is the second time slot (TS2)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS2).
  • the server control unit (SCO) determines the predetermined number of two-dimensional skeleton information included in the queue, and sets the time stamp of the two-dimensional skeleton information corresponding to the second channel (X 2 ) to the target time slot (TS2). It can be confirmed that it corresponds to .
  • the server control unit (SCO) inserts the two-dimensional skeleton (S2) of the two-dimensional skeleton information corresponding to the second channel (X 2 ) into the target time slot (TS2).
  • the server control unit (SCO) determines that the number of 2D skeletons (S2) inserted in the target time slot (TS2) is less than the predetermined number of 2, and sets the 3D skeleton (S2) in the target time slot (S2). ') can be stopped.
  • the target time slot is the third time slot (TS3)
  • the server control unit (SCO) performs a synchronization process for the target time slot (TS3).
  • the server control unit (SCO) determines the time stamp of the two-dimensional skeleton information corresponding to the first and second channels (X 1 , It can be confirmed that it corresponds to the target time slot (TS3).
  • the server control unit (SCO) inserts the two-dimensional skeletons (S1, S2) of the two-dimensional skeleton information corresponding to the first and second channels (X 1 and X 2 ) into the target time slot (TS3).
  • the server control unit (SCO) determines that the number of two-dimensional skeletons (S1, S2) inserted in the target time slot (TS3) is 2 or more, which is a predetermined number, and Based on the two-dimensional skeletons (S1, S2), the three-dimensional skeleton (S') of the target time slot (TS3) can be estimated.
  • the server control unit (SCO) may determine color similarity between color data (CD) of a plurality of two-dimensional skeleton information. For example, the server control unit (SCO) selects a similar two-dimensional skeleton whose color similarity between color data (CD) exceeds a predetermined similarity among a plurality of two-dimensional skeleton information whose time stamp corresponds to the target time slot (TS1 to TS3).
  • the two-dimensional skeleton (S1 to Sn) of the information can be inserted into the target time slot (TS1 to TS3).
  • the first color data (CD1) is color data based on the object image received from the first camera (C1)
  • the second color data (CD2) is color data based on the object image received from the second camera (C2).
  • the third color data (CD3) is color data based on the object image received from the third camera (C3).
  • the first color data (CD1) to the third color data (CD3) are respectively provided in the first to third two-dimensional skeleton information corresponding to the target time slots (TS1 to TS3 (same time slot)).
  • color similarity is determined by Mean Square Error (MSE), and it is assumed that the predetermined error is k.
  • MSE Mean Square Error
  • the predetermined error is k.
  • the color similarity may be expressed as the reciprocal of the mean square error
  • the predetermined similarity may be expressed as 1/k.
  • the server control unit (SCO) if the mean square error between the first color data (CD1) and the second color data (CD2) is less than a predetermined error k, the first color data (CD1) and the second color It is determined that the color similarity between data (CD2) exceeds a predetermined similarity. According to this determination, the server control unit (SCO) converts the first two-dimensional skeleton information including the first color data (CD1) and the second two-dimensional skeleton information including the second color data (CD2) into a pseudo-two-dimensional skeleton. Judging by the information, the two-dimensional skeletons (S1, S2) of this similar two-dimensional skeleton information can be inserted into the target time slots (TS1 to TS3).
  • TS1 to TS3 target time slots
  • server control unit may determine one of the similar 2D skeleton information as the standard 2D skeleton information.
  • the server control unit (SCO) determines the first 2D skeleton information as the standard 2D skeleton information.
  • the server control unit (SCO) determines the first color data (CD1) provided in the first two-dimensional skeleton information as reference color data, and determines the color between the first color data (CD1) and the third color data (CD3). Similarity can be judged. Referring to FIG. 6, if the mean square error between the first color data (CD1) and the third color data (CD3) is greater than or equal to a predetermined error k, the server control unit (SCO) It is determined that the color similarity between color data (CD3) is less than or equal to a predetermined similarity.
  • the server control unit (SCO) discards the two-dimensional skeleton (S3) of the third two-dimensional skeleton information provided with the third color data (CD3), thereby creating the third two-dimensional skeleton in the target time slots (TS1 to TS3).
  • the 2D skeleton of dimensional skeleton information may not be inserted.
  • the server storage unit may store a queue containing a plurality of two-dimensional skeleton information.
  • the server communication unit (SCM) can receive two-dimensional skeleton information from a plurality of two-dimensional skeleton estimation devices (SE1 to SEn). Additionally, the server communication unit (SCM) may transmit the 3D skeleton (S') to the second server (SV2).
  • the second server (SV2) may generate content for the avatar (A) of the virtual world related to the object (U) based on the 3D skeleton (S') received from the first server (SV1).
  • the second server SV2 may be a web server.
  • One or more client terminals may display content for the avatar (A) of the virtual world received from the second server (SV2).
  • the three-dimensional skeleton estimation system 100 includes a plurality of cameras (C1 to Cn), a plurality of two-dimensional skeleton estimation devices (SE1 to SEn), and a first server (SV1). And, the plurality of cameras (C1 to Cn) each obtain an object image by photographing the object (U), and the plurality of two-dimensional skeleton estimation devices (SE1 to SEn) each obtain the object image by photographing the object (U).
  • a control unit (CO) that estimates the two-dimensional skeleton (S1 ⁇ Sn) of the object (U) based on the object image received from the corresponding camera (C1 ⁇ Cn) among Cn), and the two-dimensional skeleton (S1 ⁇ It includes a communication unit (CM) that transmits two-dimensional skeleton information including Sn) to the first server (SV1), and the first server (SV1) receives information from the plurality of two-dimensional skeleton estimation devices (SE1 to SEn). It is characterized in that it includes a server control unit (SCO) that estimates the three-dimensional skeleton (S') of the object (U) based on the received two-dimensional skeleton information. Accordingly, the 3D skeleton (S') of the object (U) can be estimated in real time and at low cost, and privacy infringement can be prevented.
  • the 2D skeleton information further includes a time stamp
  • the server control unit (SCO) determines that the time stamp of the 2D skeleton information is a target time slot ( You can determine whether it corresponds to TS1 ⁇ TS3).
  • the 3D skeleton estimation system 100 further includes color data (CD) in which the 2D skeleton information relates to a plurality of characteristic points of the object (U), and the server control unit (SCO)
  • CD color data
  • the server control unit (SCO) The color similarity between the color data (CD) of the two-dimensional skeleton information can be determined. Accordingly, the accuracy of estimating the 3D skeleton (S') for the object (U) can be improved.
  • FIG. 3 along with FIGS. 1, 2, and 4A to 7, a three-dimensional skeleton estimation method according to an embodiment of the present invention will be described as follows.
  • a plurality of cameras (C1) of the three-dimensional skeleton estimation system 100 including a plurality of cameras (C1 to Cn), a plurality of two-dimensional skeleton estimation devices (SE1 to SEn), and a first server (SV1)
  • Each of ⁇ Cn) acquires an object image by photographing the object (U).
  • each of the plurality of two-dimensional skeleton estimation devices estimates 2 of the object (U) based on the object image received from the corresponding camera (C1 to Cn) among the plurality of cameras (C1 to Cn). Estimate the dimensional skeleton (S1 ⁇ Sn). For example, in step 220, each of the plurality of two-dimensional skeleton estimation devices (SE1 to SEn) estimates the two-dimensional skeleton (S1 to Sn) of the object (U) from the object image using deep learning-based artificial intelligence. You can.
  • each of the plurality of 2D skeleton estimation devices transmits 2D skeleton information to the first server (SV1).
  • the two-dimensional skeleton information includes “two-dimensional skeletons (S1 to Sn) of the object (U).” Additionally, the two-dimensional skeleton information may further include one or more of a “time stamp” and “color data (CD) regarding a plurality of characteristic points of the object (U).”
  • the first server SV1 estimates the 3D skeleton S' of the object U based on the plurality of 2D skeleton information received from the plurality of 2D skeleton estimation devices SE1 to SEn. .
  • a step of storing a queue containing a plurality of two-dimensional skeleton information may be performed by the first server SV1. Storage of this queue may be performed before determining whether the time stamp of the two-dimensional skeleton information, which will be described below, corresponds to the target time slots (TS1 to TS3).
  • the first server SV1 may determine whether the time stamp of the two-dimensional skeleton information corresponds to the target time slots TS1 to TS3. In step 240, after this determining step, when the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3), the first server (SV1) generates a two-dimensional skeleton (S1 to S1) of the two-dimensional skeleton information. A step of inserting Sn) into the target time slots (TS1 to TS3) may be performed.
  • step 240 after determining whether the time stamp of the two-dimensional skeleton information corresponds to the target time slot (TS1 to TS3), the time stamp of the two-dimensional skeleton information is determined by the first server (SV1) to correspond to the target time slot.
  • the first server SV1 may determine color similarity between color data (CD) of a plurality of two-dimensional skeleton information. For example, in step 240, the first server SV1 determines that the color similarity between the color data (CD) among the plurality of two-dimensional skeleton information whose time stamp corresponds to the target time slots (TS1 to TS3) exceeds a predetermined similarity.
  • the 2D skeleton (S1 to Sn) of the similar 2D skeleton information can be inserted into the target time slot (TS1 to TS3).
  • the 3D skeleton estimation system 100 further includes a second server SV2, and after step 240, the 3D skeleton received from the first server SV1 is processed by the second server SV2.
  • a step of generating content for the avatar (A) in the virtual world based on S') may be further performed.

Abstract

본 발명의 일 실시예에 따른 3차원 스켈레톤 추정 시스템은 복수의 카메라, 복수의 2차원 스켈레톤 추정 장치, 및 제1 서버를 포함하고, 상기 복수의 카메라는 각각 대상물을 촬영함으로써 대상물 이미지를 획득하며, 상기 복수의 2차원 스켈레톤 추정 장치는, 각각, 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 추정하는 제어부, 및 상기 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버로 송신하는 통신부를 포함하고, 상기 제1 서버는 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 추정하는 서버 제어부를 포함하는 것을 특징으로 한다.

Description

3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
본 발명은 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에 관한 것으로, 복수의 카메라를 이용하여 실시간 및 저비용으로 대상물의 3차원 스켈레톤을 추정할 수 있을 뿐만 아니라, 3차원 스켈레톤 추정의 정확도를 향상시킬 수 있는 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에 관한 것이다.
최근, 예를 들어 메타버스 등과 같이 가상 세계에 실감 기술을 접목하기 위해, 대상물의 3차원 스켈레톤을 추정하는 3차원 스켈레톤 추정 시스템에 대한 수요가 증가하고 있다.
종래의 3차원 스켈레톤 추정 시스템으로서, 예를 들어 IMU 센서 또는 마커(marker)와 같은 특수한 기구물을 대상물이 착용함으로써 대상물의 3차원 스켈레톤을 추정하는 시스템이 있다. 그러나, 이러한 시스템은 대상물이 별도의 특수한 기구물을 착용해야 한다는 문제점이 있다.
한편, 종래의 3차원 스켈레톤 추정 시스템으로서, 단일 카메라를 이용하여 대상물의 2차원 스켈레톤 좌표를 추정하고, 이러한 2차원 스켈레톤 좌표 및 적외선 센서를 이용한 거리 정보에 근거하여 3차원 스켈레톤을 추정하는 시스템이 있다. 그러나, 이러한 시스템은 장애물이 카메라를 가리거나 대상물이 뒤를 돌아보는 것과 같은 열악한 환경에서는 3차원 스켈레톤을 추정할 수 없는 문제점이 있다.
사용자 자세 추정 장치 및 방법에 관한 종래 기술인 특허문헌 1(한국공개특허공보 제10-2018-0094253호)이 개시되어 있다. 특허문헌 1에 개시된 사용자 자세 추정 장치는 사용자를 둘러싸도록 배치된 복수의 키넥트 센서들에 의해 사용자의 자세를 추정한다. 그러나, 특허문헌 1의 키넥트 센서들은 각각 RGB 카메라 및 적외선 카메라를 구비하고 있기 때문에, 각각의 키넥트 센서의 가격이 매우 높은 문제점이 있다. 또한, 특허문헌 1의 키넥트 센서들은 각각 3차원 스켈레톤 구조 영상을 획득하고 있기 때문에, 연산 부하가 매우 높으므로 실시간으로 3차원 스켈레톤을 추정하는 데에 한계가 있는 문제점이 있다.
한편, 종래의 3차원 스켈레톤 추정 시스템으로서, 복수의 카메라를 단일 서버에 연결하여 비실시간(non-real time)으로 3차원 스켈레톤을 추정하는 시스템이 있다. 이러한 시스템은 연산량이 서버에만 집중되기 때문에 실시간으로 동작 수행하기가 곤란한 문제점이 있다. 또한, 단일 서버에 연결된 카메라의 개수가 많아질수록 영상 미디어를 서버에 전달하기 위한 데이터 전송 부하가 급격히 증가하는 문제점이 있다. 또한, 영상을 처리하기 위한 별도의 미디어 서버를 구축하는 경우, 이에 따른 비용이 상당히 높은 문제점이 있다. 또한, 카메라가 촬영한 실제 이미지가 서버에 전송되므로, 프라이버시 침해 가능성이 있는 문제점이 있다.
(특허문헌 1) 한국공개특허공보 제10-2018-0094253호
본 발명의 목적은, 복수의 엣지 디바이스(edge device; 이하, '2차원 스켈레톤 추정 장치'라고도 함)와 서버를 이용하여, 복수의 엣지 디바이스로 예를 들어 사용자와 같은 대상물의 2차원 스켈레톤을 실시간으로 추출하고, 서버에서는 이미지가 아닌 복수의 2차원 스켈레톤 정보만을 이용하여 3차원 스켈레톤을 추정함으로써 실시간 및 저비용으로 대상물의 3차원 스켈레톤을 추정하는 데에 있다.
본 발명의 다른 목적은 사용자의 이미지를 서버에 전송하지 않고 3차원 스켈레톤을 추정함으로써 프라이버시 침해를 방지할 수 있는 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법을 제공하는 데에 있다.
본 발명의 또 다른 목적은 대상물에 대한 3차원 스켈레톤 추정의 정확도를 향상시킬 수 있는 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법을 제공하는 데에 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 실시예의 일 특징에 따르는 3차원 스켈레톤 추정 시스템은 복수의 카메라, 복수의 2차원 스켈레톤 추정 장치, 및 제1 서버를 포함하고, 상기 복수의 카메라는 각각 대상물을 촬영함으로써 대상물 이미지를 획득하며, 상기 복수의 2차원 스켈레톤 추정 장치는, 각각, 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 추정하는 제어부, 및 상기 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버로 송신하는 통신부를 포함하고, 상기 제1 서버는 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 추정하는 서버 제어부를 포함하는 것을 특징으로 한다.
상기 일 특징에 따르는 3차원 스켈레톤 추정 시스템은, 상기 2차원 스켈레톤 정보가 타임 스탬프(time stamp)를 더 구비하고, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단할 수 있다.
상기 일 특징에 따르는 3차원 스켈레톤 추정 시스템은, 상기 2차원 스켈레톤 정보가 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 서버 제어부는 상기 복수의 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단할 수 있다.
본 발명의 실시예의 일 특징에 따르는 3차원 스켈레톤 추정 방법은 a) 복수의 카메라, 복수의 2차원 스켈레톤 추정 장치, 및 제1 서버를 포함하는 3차원 스켈레톤 추정 시스템의 상기 복수의 카메라의 각각에 의해 대상물을 촬영함으로써 대상물 이미지를 획득하는 단계; b) 상기 복수의 2차원 스켈레톤 추정 장치의 각각에 의해 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 추정하는 단계; c) 상기 복수의 2차원 스켈레톤 추정 장치의 각각에 의해 상기 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버로 송신하는 단계; 및 d) 상기 제1 서버에 의해 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 추정하는 단계를 포함하는 것을 특징으로 한다.
상기 일 특징에 따르는 3차원 스켈레톤 추정 방법은, 상기 2차원 스켈레톤 정보가 타임 스탬프를 더 구비하고, 상기 d) 단계는 d1) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 단계를 포함할 수 있다.
상기 일 특징에 따르는 3차원 스켈레톤 추정 방법은, 상기 2차원 스켈레톤 정보가 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 d) 단계는 상기 복수의 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법을 사용하면 다음과 같은 효과가 달성된다.
1. 복수의 엣지 디바이스에서, 예를 들어 사용자와 같은 대상물의 2차원 스켈레톤을 실시간으로 추출하고, 서버에서는 이미지가 아닌 복수의 2차원 스켈레톤 정보만을 이용하여 3차원 스켈레톤을 추정함으로써 대상물의 3차원 스켈레톤을 실시간 및 저비용으로 추정할 수 있다.
2. 사용자의 이미지를 서버에 전송하지 않고 3차원 스켈레톤을 추정함으로써 프라이버시 침해를 방지할 수 있다.
3. 대상물에 대한 3차원 스켈레톤 추정의 정확도를 향상시킬 수 있다.
이하, 본 발명에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템의 블록도이다.
도 2는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템의 개략적인 사시도이다.
도 3은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 방법의 순서도이다.
도 4a 내지 도 4c는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 동기화 과정을 설명하기 위한 도이다.
도 5는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이다.
도 6은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다.
도 7은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다.
이하, 본 발명에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법의 바람직한 실시형태를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템의 블록도이고, 도 2는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템의 개략적인 사시도이다. 도 2의 경우, 도 1에 도시된 하나 이상의 클라이언트 단말(CT1~CTk)은 도시되어 있지 않다.
도 3은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 방법의 순서도이다.
도 4a 내지 도 4c는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 동기화 과정을 설명하기 위한 도이다. 이와 관련하여, 도 4a는 제1 타임 슬롯(TS1)에 대한 동기화 과정을 설명하기 위한 도이고, 도 4b는 제2 타임 슬롯(TS2)에 대한 동기화 과정을 설명하기 위한 도이며, 도 4c는 제3 타임 슬롯(TS3)에 대한 동기화 과정을 설명하기 위한 도이다.
도 5는 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 색상 데이터가 획득되는 과정을 설명하기 위한 도이고, 도 6은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 색상 데이터 간의 색상 유사도를 판단하는 과정을 설명하기 위한 도이다.
도 7은 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법에서의 3차원 스켈레톤 추정 과정을 설명하기 위한 도이다.
도 4a 내지 도 7과 함께 도 1 및 도 2를 참조하여, 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템(100)을 설명하면 다음과 같다.
3차원 스켈레톤 추정 시스템(100)은 복수의 카메라(C1~Cn), 복수의 2차원 스켈레톤 추정 장치(SE1~SEn), 및 제1 서버(SV1)를 포함한다. 또한, 3차원 스켈레톤 추정 시스템(100)은 제2 서버(SV2) 및/또는 하나 이상의 클라이언트 단말(CT1~CTk)을 더 포함할 수 있다.
복수의 카메라(C1~Cn)는 각각 대상물(U)을 촬영함으로써 대상물 이미지를 획득한다.
본 명세서에서, 대상물(U)은 사람, 동물, 또는 로봇과 같은 움직임이 가능한 임의의 대상을 포함할 수 있다.
복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 제어부(CO) 및 통신부(CM)를 포함한다. 또한, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는 각각 저장부(ST)를 더 포함할 수 있다.
제어부(CO)는 복수의 카메라(C1~Cn) 중 대응되는 카메라(C1~Cn)로부터 수신된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정한다. 제어부(CO)는 딥 러닝(deep learning) 기반 인공 지능을 이용하여 대상물 이미지로부터 대상물(U)의 2차원 스켈레톤을 추정할 수 있다.
예를 들어, 도 5를 참조하면, 제어부(CO)는 대상물 이미지에 근거하여 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 생성할 수 있다. 본 명세서에서, "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)"는 "대상물(U)의 어깨, 팔꿈치, 손, 허리, 무릎, 및 발 중 2개 이상에 대응되는 특징 점에 관한 색상 데이터"일 수 있다.
본 명세서에서, 2차원 스켈레톤 정보는 "대상물(U)의 2차원 스켈레톤(S1~Sn)"을 구비한다. 또한, 2차원 스켈레톤 정보는 "타임 스탬프" 및 "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)" 중 하나 이상을 더 구비할 수 있다. 또한, 2차원 스켈레톤 정보는 대상물(U)의 실제 이미지를 포함하지 않고, 3차원 스켈레톤(S')을 포함하지 않음에 유의하여야 한다.
본 명세서에서, "타임 스탬프"는 "각각의 대상물 이미지에 대하여 카메라(C1~Cn)가 대상물 이미지를 획득한 시간"을 의미할 수 있다. 이와 관련하여, 예를 들어, 카메라(C1~Cn)가 타임 스탬프를 생성하고, 2차원 스켈레톤 추정 장치(SE1~SEn)가 이러한 타임 스탬프를 대응되는 대상물 이미지와 함께 수신함으로써, 2차원 스켈레톤 정보는 타임 스탬프를 포함할 수 있다. 예를 들어, 각각의 대상물 이미지에 대하여, "카메라(C1~Cn)가 대상물 이미지를 획득한 시간"과 "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 거의 차이가 없다면, "2차원 스켈레톤 추정 장치(SE1~SEn)가 대상물 이미지를 카메라(C1~Cn)로부터 수신한 시간"이 타임 스탬프로 이용될 수도 있다.
통신부(CM)는 2차원 스켈레톤 정보를 제1 서버(SV1)로 송신한다. 또한, 통신부(CM)는 대응되는 카메라(C1~Cn)로부터 대상물 이미지를 수신할 수 있다. 또한, 통신부(CM)는 대응되는 카메라(C1~Cn)로부터 대상물 이미지의 타임 스탬프를 더 수신할 수 있다.
저장부(ST)는 대응되는 카메라(C1~Cn)로부터 수신된 대상물 이미지를 저장할 수 있다.
제1 서버(SV1)는 서버 제어부(SCO)를 포함한다. 또한, 제1 서버(SV1)는 서버 저장부(SST) 및 서버 통신부(SCM) 중 하나 이상을 더 포함할 수 있다. 예를 들어, 제1 서버(SV1)는 로컬 서버(local server)일 수 있다.
서버 제어부(SCO)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 수신된 복수의 2차원 스켈레톤 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 추정한다.
서버 제어부(SCO)는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단할 수 있다. 예를 들어, 이러한 판단은 서버 제어부(SCO)가 큐(queue)에 포함되어 있는 복수의 2차원 스켈레톤 정보를 꺼내어 확인함으로써 행해질 수 있다.
본 명세서에서, "대상 타임 슬롯"은 "복수의 타임 슬롯(TS1~TS3) 중 동기화 과정이 수행되는 타임 슬롯"을 의미할 수 있다.
예를 들어, 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 전일 때, 이러한 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 버림으로써 완전히 삭제할 수 있다. 서버 제어부(SCO)는, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3) 후일 때, 이러한 2차원 스켈레톤 정보를 큐에 삽입할 수 있다.
서버 제어부(SCO)는, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정할 수 있다. 예를 들어, 도 7을 참조하면, 서버 제어부(SCO)는, DLT(Direct Linear Transform) 매트릭스 연산을 이용하여, 복수의 2차원 스켈레톤(S1~Sn)에 근거한 3차원 스켈레톤(S')을 추정할 수 있다.
도 4a 내지 도 4c를 참조하여, 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템(100)의 동기화 과정의 일 예를 설명하면 다음과 같다.
먼저, 카메라(C1~Cn)의 개수(n), 2차원 스켈레톤 추정 장치(SE1~SEn)의 개수(n)에 해당되는 채널(X1~Xn)의 개수(n)가 4개라고 가정한다. 또한, 3차원 스켈레톤(S')을 추정할 수 있는 2차원 스켈레톤(S1~Sn)의 미리 정해진 개수가 2개라고 가정한다. 또한, 각각의 대상 타임 슬롯(TS1~TS3)에 대한 동기화 과정 동안, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대하여 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단한다고 가정한다.
도 4a를 참조하면, 대상 타임 슬롯은 제1 타임 슬롯(TS1)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 내지 제4 채널(X1~X4)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~S4)을 대상 타임 슬롯(TS1)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)의 개수, 4개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS1)에 삽입되어 있는 2차원 스켈레톤(S1~S4)에 근거하여 대상 타임 슬롯(TS1)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다.
도 4b를 참조하면, 대상 타임 슬롯은 제2 타임 슬롯(TS2)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS2)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제2 채널(X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S2)을 대상 타임 슬롯(TS2)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS2)에 삽입되어 있는 2차원 스켈레톤(S2)의 개수, 1개가 미리 정해진 개수인 2개 미만이라고 판단하고, 대상 타임 슬롯(S2)의 3차원 스켈레톤(S')에 대한 추정을 정지할 수 있다.
도 4c를 참조하면, 대상 타임 슬롯은 제3 타임 슬롯(TS3)이고, 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 대한 동기화 과정을 수행한다. 서버 제어부(SCO)는, 큐에 포함되어 있는 미리 정해진 개수의 2차원 스켈레톤 정보에 대한 판단에 따라, 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS3)에 대응한다고 확인할 수 있다. 이러한 경우, 서버 제어부(SCO)는 제1 및 제2 채널(X1, X2)에 해당하는 2차원 스켈레톤 정보의 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS3)에 삽입한다. 서버 제어부(SCO)는 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)의 개수, 2개가 미리 정해진 개수인 2개 이상이라고 판단하고, 대상 타임 슬롯(TS3)에 삽입되어 있는 2차원 스켈레톤(S1, S2)에 근거하여 대상 타임 슬롯(TS3)의 3차원 스켈레톤(S')에 대한 추정을 수행할 수 있다.
서버 제어부(SCO)는 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단할 수 있다. 예를 들어, 서버 제어부(SCO)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
도 6을 참조하여, 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 시스템(100)에서의 색상 데이터(CD1~CD3) 간의 색상 유사도를 판단하는 과정의 일 예를 설명하면 다음과 같다.
먼저, 제1 색상 데이터(CD1)는 제1 카메라(C1)로부터 수신된 대상물 이미지에 근거한 색상 데이터이고, 제2 색상 데이터(CD2)는 제2 카메라(C2)로부터 수신된 대상물 이미지에 근거한 색상 데이터이며, 제3 색상 데이터(CD3)는 제3 카메라(C3)로부터 수신된 대상물 이미지에 근거한 색상 데이터라고 가정한다. 또한, 제1 색상 데이터(CD1) 내지 제3 색상 데이터(CD3)는 각각 대상 타임 슬롯(TS1~TS3; 동일한 타임 슬롯)에 대응하는 제1 내지 제3 2차원 스켈레톤 정보에 구비된다고 가정한다. 또한, 색상 유사도는 평균 제곱 오차(Mean Square Error; MSE)에 의해 판단하고, 미리 정해진 오차는 k라고 가정한다. 여기서, 색상 유사도는 평균 제곱 오차의 역수로 표시될 수 있고, 미리 정해진 유사도는 1/k로 표시될 수 있다.
예를 들어, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 평균 제곱 오차가 미리 정해진 오차 k보다 작으면, 제1 색상 데이터(CD1)와 제2 색상 데이터(CD2) 간의 색상 유사도가 미리 정해진 유사도를 초과한다고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)를 구비하는 제1 2차원 스켈레톤 정보 및 제2 색상 데이터(CD2)를 구비하는 제2 2차원 스켈레톤 정보를 유사 2차원 스켈레톤 정보로 판단하고, 이러한 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1, S2)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
또한, 서버 제어부(SCO)는, 유사 2차원 스켈레톤 정보 중 하나를 기준 2차원 스켈레톤 정보로 판단할 수 있다.
예를 들어, 서버 제어부(SCO)가 제1 2차원 스켈레톤 정보를 기준 2차원 스켈레톤 정보로 판단한다고 가정한다. 이러한 경우, 서버 제어부(SCO)는 제1 2차원 스켈레톤 정보에 구비되는 제1 색상 데이터(CD1)를 기준 색상 데이터로 판단하고, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도를 판단할 수 있다. 도 6을 참조하여, 서버 제어부(SCO)는, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 평균 제곱 오차가 미리 정해진 오차 k 이상이면, 제1 색상 데이터(CD1)와 제3 색상 데이터(CD3) 간의 색상 유사도가 미리 정해진 유사도 이하라고 판단한다. 이러한 판단에 따라, 서버 제어부(SCO)는, 제3 색상 데이터(CD3)가 구비되는 제3 2차원 스켈레톤 정보의 2차원 스켈레톤(S3)을 버림으로써 대상 타임 슬롯(TS1~TS3)에 제3 2차원 스켈레톤 정보의 2차원 스켈레톤을 삽입하지 않을 수 있다.
서버 저장부(SST)는 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장할 수 있다.
서버 통신부(SCM)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 2차원 스켈레톤 정보를 수신할 수 있다. 또한, 서버 통신부(SCM)는 3차원 스켈레톤(S')을 제2 서버(SV2)로 송신할 수 있다.
제2 서버(SV2)는 제1 서버(SV1)로부터 수신된 3차원 스켈레톤(S')에 근거하여 대상물(U)과 관련된 가상 세계의 아바타(A)에 대한 콘텐츠를 생성할 수 있다. 예를 들어, 제2 서버(SV2)는 웹 서버(web server)일 수 있다.
하나 이상의 클라이언트 단말(CT1~CTk)은 제2 서버(SV2)로부터 수신된 가상 세계의 아바타(A)에 대한 콘텐츠를 표시할 수 있다.
본 발명의 실시예의 일 특징에 따르면, 3차원 스켈레톤 추정 시스템(100)은 복수의 카메라(C1~Cn), 복수의 2차원 스켈레톤 추정 장치(SE1~SEn), 및 제1 서버(SV1)를 포함하고, 상기 복수의 카메라(C1~Cn)는 각각 대상물(U)을 촬영함으로써 대상물 이미지를 획득하며, 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)는, 각각, 상기 복수의 카메라(C1~Cn) 중 대응되는 카메라(C1~Cn)로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정하는 제어부(CO), 및 상기 2차원 스켈레톤(S1~Sn)을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버(SV1)로 송신하는 통신부(CM)를 포함하고, 상기 제1 서버(SV1)는 상기 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물(U)의 3차원 스켈레톤(S')을 추정하는 서버 제어부(SCO)를 포함하는 것을 특징으로 한다. 이에 따라, 대상물(U)의 3차원 스켈레톤(S')을 실시간 및 저비용으로 추정할 수 있고, 프라이버시 침해를 방지할 수 있다.
또한, 3차원 스켈레톤 추정 시스템(100)은, 상기 2차원 스켈레톤 정보가 타임 스탬프(time stamp)를 더 구비하고, 상기 서버 제어부(SCO)는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단할 수 있다. 또한, 3차원 스켈레톤 추정 시스템(100)은, 상기 2차원 스켈레톤 정보가 상기 대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)를 더 구비하고, 상기 서버 제어부(SCO)는 상기 복수의 2차원 스켈레톤 정보의 상기 색상 데이터(CD) 간의 색상 유사도를 판단할 수 있다. 이에 따라, 대상물(U)에 대한 3차원 스켈레톤(S') 추정의 정확도를 향상시킬 수 있다.
도 1, 도 2, 및 도 4a 내지 도 7과 함께 도 3을 참조하여, 본 발명의 일 실시형태에 따른 3차원 스켈레톤 추정 방법을 설명하면 다음과 같다.
단계 210에서, 복수의 카메라(C1~Cn), 복수의 2차원 스켈레톤 추정 장치(SE1~SEn), 및 제1 서버(SV1)를 포함하는 3차원 스켈레톤 추정 시스템(100)의 복수의 카메라(C1~Cn)의 각각은 대상물(U)을 촬영함으로써 대상물 이미지를 획득한다.
단계 220에서, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)의 각각은 복수의 카메라(C1~Cn) 중 대응되는 카메라(C1~Cn)로부터 수신된 대상물 이미지에 근거하여 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정한다. 예를 들어, 단계 220에서, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)의 각각은 딥 러닝 기반 인공 지능을 이용하여 대상물 이미지로부터 대상물(U)의 2차원 스켈레톤(S1~Sn)을 추정할 수 있다.
단계 230에서, 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)의 각각은 2차원 스켈레톤 정보를 제1 서버(SV1)로 송신한다. 2차원 스켈레톤 정보는 "대상물(U)의 2차원 스켈레톤(S1~Sn)"을 구비한다. 또한, 2차원 스켈레톤 정보는 "타임 스탬프" 및 "대상물(U)의 복수의 특징 점에 관한 색상 데이터(CD)" 중 하나 이상을 더 구비할 수 있다.
단계 240에서, 제1 서버(SV1)는 복수의 2차원 스켈레톤 추정 장치(SE1~SEn)로부터 수신된 복수의 2차원 스켈레톤 정보에 근거하여 대상물(U)의 3차원 스켈레톤(S')을 추정한다. 예를 들어, 단계 240에서, 제1 서버(SV1)에 의해 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장하는 단계가 행해질 수 있다. 이러한 큐의 저장은 이하에서 설명될 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부의 판단 전에 행해질 수 있다.
단계 240에서, 제1 서버(SV1)에 의해 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계가 행해질 수 있다. 단계 240에서, 이러한 판단하는 단계 후에, 제1 서버(SV1)에 의해, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입하는 단계가 행해질 수 있다. 단계 240에서, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는지 여부를 판단하는 단계 후에, 제1 서버(SV1)에 의해, 2차원 스켈레톤 정보의 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응할 때, 2차원 스켈레톤 정보의 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입하는 단계, 및 제1 서버(SV1)에 의해, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 2차원 스켈레톤(S1~Sn)의 개수가 미리 정해진 개수 이상일 때, 대상 타임 슬롯(TS1~TS3)에 삽입되어 있는 복수의 2차원 스켈레톤(S1~Sn)에 근거하여 대상 타임 슬롯(TS1~TS3)의 3차원 스켈레톤(S')을 추정하는 단계가 수행될 수 있다.
단계 240에서, 제1 서버(SV1)는 복수의 2차원 스켈레톤 정보의 색상 데이터(CD) 간의 색상 유사도를 판단할 수 있다. 예를 들어, 단계 240에서, 제1 서버(SV1)는 타임 스탬프가 대상 타임 슬롯(TS1~TS3)에 대응하는 복수의 2차원 스켈레톤 정보 중 색상 데이터(CD) 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 2차원 스켈레톤(S1~Sn)을 대상 타임 슬롯(TS1~TS3)에 삽입할 수 있다.
예를 들어, 3차원 스켈레톤 추정 시스템(100)은 제2 서버(SV2)를 더 포함하고, 단계 240 후에, 제2 서버(SV2)에 의해, 제1 서버(SV1)로부터 수신된 3차원 스켈레톤(S')에 근거하여 가상 세계의 아바타(A)에 대한 콘텐츠를 생성하는 단계가 더 수행될 수 있다.
본 발명은 첨부된 예시 도면의 바람직한 실시형태를 중심으로 도시하고 설명하였지만, 이에 한정하지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이하의 청구범위에 기재된 본 발명의 기술적 사상의 범위 내에서 다양한 형태로 실시할 수 있음은 물론이다.

Claims (18)

  1. 3차원 스켈레톤 추정 시스템에 있어서,
    복수의 카메라, 복수의 2차원 스켈레톤 추정 장치, 및 제1 서버를 포함하고,
    상기 복수의 카메라는 각각 대상물을 촬영함으로써 대상물 이미지를 획득하며,
    상기 복수의 2차원 스켈레톤 추정 장치는 각각 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 추정하는 제어부, 및 상기 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버로 송신하는 통신부를 포함하고,
    상기 제1 서버는 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 추정하는 서버 제어부를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  2. 제1항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 서버 제어부는 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  3. 제1항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 서버 제어부는 상기 복수의 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  4. 제2항에 있어서, 상기 서버 제어부는, 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  5. 제4항에 있어서, 상기 서버 제어부는, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  6. 제1항에 있어서, 상기 제1 서버는 상기 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장하는 서버 저장부를 더 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  7. 제1항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프 및 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 서버 제어부는, 상기 타임 스탬프가 대상 타임 슬롯에 대응하는 복수의 2차원 스켈레톤 정보 중 상기 색상 데이터 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보가 갖는 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  8. 제1항에 있어서, 상기 제어부는 딥 러닝 기반 인공 지능을 이용하여 상기 대상물 이미지로부터 상기 대상물의 상기 2차원 스켈레톤을 추정하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  9. 제1항에 있어서, 상기 제1 서버로부터 수신된 상기 3차원 스켈레톤에 근거하여 상기 대상물과 관련된 가상 세계의 아바타에 대한 콘텐츠를 생성하는 제2 서버를 더 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  10. 3차원 스켈레톤 추정 방법에 있어서,
    a) 복수의 카메라, 복수의 2차원 스켈레톤 추정 장치, 및 제1 서버를 포함하는 3차원 스켈레톤 추정 시스템의 상기 복수의 카메라의 각각에 의해 대상물을 촬영함으로써 대상물 이미지를 획득하는 단계;
    b) 상기 복수의 2차원 스켈레톤 추정 장치의 각각에 의해 상기 복수의 카메라 중 대응되는 카메라로부터 수신된 상기 대상물 이미지에 근거하여 상기 대상물의 2차원 스켈레톤을 추정하는 단계;
    c) 상기 복수의 2차원 스켈레톤 추정 장치의 각각에 의해 상기 2차원 스켈레톤을 구비하는 2차원 스켈레톤 정보를 상기 제1 서버로 송신하는 단계; 및
    d) 상기 제1 서버에 의해 상기 복수의 2차원 스켈레톤 추정 장치로부터 각각 수신된 상기 2차원 스켈레톤 정보에 근거하여 상기 대상물의 3차원 스켈레톤을 추정하는 단계
    를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  11. 제10항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프를 더 구비하고, 상기 d) 단계는 d1) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  12. 제10항에 있어서, 상기 2차원 스켈레톤 정보는 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 d) 단계는 상기 복수의 2차원 스켈레톤 정보의 상기 색상 데이터 간의 색상 유사도를 판단하는 단계를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  13. 제11항에 있어서, 상기 d) 단계는, 상기 d1) 단계 후에, d2) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  14. 제11항에 있어서, 상기 d) 단계는, 상기 d1) 단계 후에, d2) 상기 2차원 스켈레톤 정보의 상기 타임 스탬프가 대상 타임 슬롯에 대응할 때, 상기 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계, 및 d3) 상기 대상 타임 슬롯에 삽입되어 있는 상기 2차원 스켈레톤의 개수가 미리 정해진 개수 이상일 때, 상기 대상 타임 슬롯에 삽입되어 있는 복수의 상기 2차원 스켈레톤에 근거하여 상기 대상 타임 슬롯의 3차원 스켈레톤을 추정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  15. 제10항에 있어서, 상기 d) 단계는 상기 복수의 2차원 스켈레톤 정보를 포함하는 큐를 저장하는 단계를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 방법.
  16. 제10항에 있어서, 상기 2차원 스켈레톤 정보는 타임 스탬프 및 상기 대상물의 복수의 특징 점에 관한 색상 데이터를 더 구비하고, 상기 d) 단계는 상기 타임 스탬프가 대상 타임 슬롯에 대응하는 복수의 2차원 스켈레톤 정보 중 상기 색상 데이터 간의 색상 유사도가 미리 정해진 유사도를 초과하는 유사 2차원 스켈레톤 정보의 상기 2차원 스켈레톤을 상기 대상 타임 슬롯에 삽입하는 단계를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  17. 제10항에 있어서, 상기 b) 단계는 딥 러닝 기반 인공 지능을 이용하여 상기 대상물 이미지로부터 상기 대상물의 상기 2차원 스켈레톤을 추정하는 단계를 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
  18. 제10항에 있어서, 상기 3차원 스켈레톤 추정 시스템은 제2 서버를 더 포함하고, 상기 d) 단계 후에, e) 상기 제2 서버에 의해, 상기 제1 서버로부터 수신된 상기 3차원 스켈레톤에 근거하여 상기 대상물과 관련된 가상 세계의 아바타에 대한 콘텐츠를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 스켈레톤 추정 시스템.
PCT/KR2022/011168 2022-05-17 2022-07-29 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법 WO2023224169A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0060150 2022-05-17
KR1020220060150A KR102531977B1 (ko) 2022-05-17 2022-05-17 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법

Publications (1)

Publication Number Publication Date
WO2023224169A1 true WO2023224169A1 (ko) 2023-11-23

Family

ID=86394884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/011168 WO2023224169A1 (ko) 2022-05-17 2022-07-29 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법

Country Status (2)

Country Link
KR (1) KR102531977B1 (ko)
WO (1) WO2023224169A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
KR20210074165A (ko) * 2019-12-11 2021-06-21 한국전자기술연구원 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
KR102397248B1 (ko) * 2021-11-01 2022-05-13 주식회사 스위트케이 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896827B1 (ko) 2017-02-15 2018-09-07 연세대학교 산학협력단 사용자 자세 추정 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
US20210019507A1 (en) * 2019-07-19 2021-01-21 Sri International Centimeter human skeleton pose estimation
KR20210074165A (ko) * 2019-12-11 2021-06-21 한국전자기술연구원 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
KR102397248B1 (ko) * 2021-11-01 2022-05-13 주식회사 스위트케이 영상 분석 기반의 환자 동작 모니터링 시스템 및 그의 제공 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BULTMANN SIMON, BEHNKE SVEN: "Real-Time Multi-View 3D Human Pose Estimation using Semantic Feedback to Smart Edge Sensors", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, ARXIV.ORG, ITHACA, 28 June 2021 (2021-06-28), Ithaca, XP093109418, [retrieved on 20231206], DOI: 10.48550/arxiv.2106.14729 *

Also Published As

Publication number Publication date
KR102531977B1 (ko) 2023-05-15

Similar Documents

Publication Publication Date Title
WO2018012888A1 (en) Method and system for interactive transmission of panoramic video
WO2018174535A1 (en) System and method for depth map
WO2011105671A1 (ko) 증강 현실을 이용한 사용자 설명서 제공 시스템 및 방법
WO2013015549A2 (ko) 평면 특성 기반 마커리스 증강 현실 시스템 및 그 동작 방법
WO2010074437A2 (en) Image processing method and apparatus therefor
WO2013042985A2 (ko) 수신 확인을 제공하는 대화형 메시징 서비스 운용 방법
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
WO2017160057A1 (ko) 스크린 골프 시스템, 스크린 골프를 위한 영상 구현 방법 및 이를 기록한 컴퓨팅 장치에 의해 판독 가능한 기록 매체
WO2012153986A2 (en) Analysis method and system of correlation between users using exchangeable image file format
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
WO2014010820A1 (en) Method and apparatus for estimating image motion using disparity information of a multi-view image
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
WO2011099731A2 (ko) 데이터타입 분류에 따른 캐릭터정보 동기화 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2018230971A1 (en) Method and apparatus for processing omni-directional image
WO2023163376A1 (ko) 가상협업 비대면 실시간 원격 실험 시스템
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2018199724A1 (ko) 양방향 커뮤니케이션이 가능한 가상현실 시스템
WO2023243785A1 (ko) 가상 공연 생성 방법 및 가상 공연 생성 시스템
WO2021256640A1 (ko) 관절 간 상대 거리 정보를 이용한 다시점 영상 기반 사람 자세 및 형상 모델 복원 장치 및 방법
WO2019107942A1 (ko) 깊이데이터를 이용한 증강현실영상 제공방법 및 프로그램
WO2021029566A1 (ko) 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22942833

Country of ref document: EP

Kind code of ref document: A1