KR102612512B1 - 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법 - Google Patents

모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법 Download PDF

Info

Publication number
KR102612512B1
KR102612512B1 KR1020230088617A KR20230088617A KR102612512B1 KR 102612512 B1 KR102612512 B1 KR 102612512B1 KR 1020230088617 A KR1020230088617 A KR 1020230088617A KR 20230088617 A KR20230088617 A KR 20230088617A KR 102612512 B1 KR102612512 B1 KR 102612512B1
Authority
KR
South Korea
Prior art keywords
motion
operator
skill
similarity
avatar
Prior art date
Application number
KR1020230088617A
Other languages
English (en)
Inventor
이범우
홍성호
이연건
이승환
이진영
장태환
Original Assignee
주식회사 위시
주식회사 로커스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위시, 주식회사 로커스 filed Critical 주식회사 위시
Priority to KR1020230088617A priority Critical patent/KR102612512B1/ko
Application granted granted Critical
Publication of KR102612512B1 publication Critical patent/KR102612512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은, 캡쳐 공간에 위치한 동작자를 복수의 각도에서 캡쳐하여 동작자 영상을 생성하는 복수의 카메라와, 복수의 카메라와 통신적으로 연결되며, 동작자의 모션을 아바타에 투영하여 가상 공간에 디스플레이하는 프로세서를 포함하고, 프로세서는, 동작자 영상을 분석하여 동작자의 관절 정보를 획득하고, 관절 정보를 기반으로 동작자의 모션을 아바타에 투영하고, 동작자의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 스킬 발현 여부를 결정하는 모션 캡쳐 시스템에서의 모션 스킬 발현 장치를 제공한다.

Description

모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법{APPARATUS AND METHOD FOR IMPLEMENTING MOTION SKILLS IN A MOTION CAPTURE SYSTEM}
본 발명은 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법에 관한 것이다.
마커 기반 멀티 뷰 모션 캡쳐 기술은 영화, 게임, 컴퓨터 그래픽스(Comuter Graphics; CG) 산업 전반에 걸쳐 그 실효성이 인증되었지만, 해당 기술을 수행하기 위해서는 동작자가 마커가 부착된 검은색 타이즈 계열의 전신 수트를 착용해야 하므로, 수트 착용 및 탈착에 따른 불편함과 긴 시간이 소요된다는 문제점이 있다.
단일 뷰 기반 모션 캡쳐 기술은 동작자의 정면 영상을 분석하여 동작자의 3차원 모션을 획득할 수 있지만, 단안 카메라 시스템의 물성적 한계로 인해 카메라의 깊이 방향 3차원 정확도가 부정확하다는 문제가 있다. 또한, 두 명 이상의 동작자가 완전히 겹쳐 보일 경우 물리적으로 뒤쪽 사람의 자세를 추정하는 것이 불가능해진다는 문제를 가지고 있다.
깊이 센서, 주로 키넥트 센서로 불리는 방식의 모션 캡쳐 기술은 센서의 정면 근거리에서는 정확도가 보장되지만, 센서로부터 일정 거리 이상 멀어지게 되면 정확도가 매우 떨어지는 문제점이 있다. 또한, 키넥트 센서 또한 한쪽 방향에만 설치된 센서의 특징 상 동작자 간 겹치는 경우 모션을 추정할 수 없다는 문제점이 있다.
전술한 마커 기반 멀티 뷰 모션 캡쳐 기술과, 단일 뷰 기반 모션 캡쳐 기술과, 깊이 센서 기반 모션 캡쳐 기술이 가지는 문제점을 해결하기 위해, 마커리스 멀티 뷰 기반 모션 캡쳐 기술이 국내외에서 개발되고 있지만, 현재 국내외에 개발된 마커리스 멀티 뷰 기반 모션 캡쳐 기술은 모두 비 실시간 접근법으로, 다양한 각도에서 촬영한 많은 양의 영상으로부터 동작자의 모션을 추정하고 멀티 뷰 정보를 사용하여 보정하는데 연산 자원이 많이 필요하기 때문에 실시간으로 동작자의 모션을 캡쳐할 수 없는 문제점이 있다.
한편, 가상 공간에서 몰입형 콘텐츠를 체험할 때 아바타에 특수한 기능 구현을 위해 입력 장치(예??대, 햅틱, 조이스틱 및 키보드)를 활용하는 기술이 기 존재하였으나, 해당 기술을 구현하기 위해 가상 공간 외의 실 공간에서 별도의 입력 장치를 조작해야 한다는 문제점이 있다.
또한, 사용자가 별도의 입력 장치를 조작함으로써 몰입감이 저해될 수 있고 입력 장치를 조작하는 행위 자체는 사용자에게 제공하는 콘텐츠의 테마에 부적합하다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은, 별도의 사전 작업 없이 카메라만을 이용해 자유 복장의 동작자가 캡쳐 공간에 입장하면 동작자의 모션을 실시간으로 캡쳐할 수 있는 멀티 뷰 기반 실시간 모션 캡쳐 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 별도의 입력 장치(예컨대, 햅틱 센서, 키보드 및 조이스틱) 없이 실시간으로 사용자의 모션을 인식하고, 인식한 동작자의 모션 정보를 가상 공간 속 아바타에 투영함으로써 사전 정의된 스킬(특수 능력)을 발현할 수 있는 모션 스킬 발현 장치 및 방법을 제공하는 것을 목적으로 한다
또한, 본 발명은, 기존의 액션 전문 스턴트맨이나 사람이 흉내내기 어려운 동작도 동작자가 사전 정의된 스킬 발현 모션을 취하면 쉽게 추가 장치 없이도 아바타에 특수 능력을 발현시킬 수 있는 모션 스킬 발현 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 과제를 해결하기 위해, 본 발명은, 캡쳐 공간에 위치한 동작자를 복수의 각도에서 캡쳐하여 동작자 영상을 생성하는 복수의 카메라와, 복수의 카메라와 통신적으로 연결되며, 동작자의 모션을 아바타에 투영하여 가상 공간에 디스플레이하는 프로세서를 포함하고, 프로세서는, 동작자 영상을 분석하여 동작자의 관절 정보를 획득하고, 관절 정보를 기반으로 동작자의 모션을 아바타에 투영하고, 동작자의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 스킬 발현 여부를 결정하는 모션 캡쳐 시스템에서의 모션 스킬 발현 장치를 제공한다.
여기서, 프로세서는 동작자의 모션이 스킬 발현 모션인 것에 기반하여 아바타가 스킬을 발현하도록 제어할 수 있다.
또한, 프로세서는, 동작자의 모션과 스킬 발현 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어할 수 있다.
또한, 프로세서는, 동작자의 모션과 스킬 발현 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자가 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅하고, 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어할 수 있다.
또한, 프로세서는 유지 시간을 카운팅 중 유사도가 기준 값 미만인 것에 기반하여 유예 시간 경과 여부를 판단할 수 있다.
또한, 프로세서는 유예 시간이 경과한 것에 기반하여 유지 시간을 초기화하거나 유지 시간을 감소시킬 수 있다.
또한, 프로세서는, 동작자의 모션과 스킬 발현 모션 중 제1 단계 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자가 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅하고, 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 동작자의 모션과 스킬 발현 모션 중 제2 단계 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어할 수 있다.
또한, 프로세서는, 아바타가 스킬 발현 모션에 따라 미리 설정된 스킬을 발현하도록 제어할 수 있다.
또한, 본 발명은, 복수의 카메라가 캡쳐 공간에 위치한 동작자를 복수의 각도에서 캡쳐하여 동작자 영상을 생성하는 단계와, 동작자 영상을 분석하여 동작자의 관절 정보를 획득하는 단계와, 관절 정보를 기반으로 동작자의 모션을 아바타에 투영하는 단계와, 동작자의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 스킬 발현 여부를 결정하는 단계를 포함하는 모션 캡쳐 시스템에서의 모션 스킬 발현 방법을 제공한다.
여기서, 스킬 발현 여부를 결정하는 단계는, 동작자의 모션이 스킬 발현 모션인 것에 기반하여 아바타가 스킬을 발현하도록 제어하는 단계를 포함할 수 있다.
또한, 스킬 발현 여부를 결정하는 단계는, 동작자의 모션과 스킬 발현 모션의 유사도를 산출하는 단계와, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어하는 단계를 포함할 수 있다.
또한, 스킬 발현 여부를 결정하는 단계는, 동작자의 모션과 스킬 발현 모션의 유사도를 산출하는 단계와, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자가 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅하는 단계와, 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어하는 단계를 포함할 수 있다.
또한, 스킬 발현 여부를 결정하는 단계는, 유지 시간을 카운팅 중 유사도가 기준 값 미만인 것에 기반하여 유예 시간 경과 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 스킬 발현 여부를 결정하는 단계는, 유예 시간 경과한 것에 기반하여 상기 유지 시간을 초기화하거나 상기 유지 시간을 감소시키는 단계를 더 포함할 수 있다.또한, 스킬 발현 여부를 결정하는 단계는, 동작자의 모션과 스킬 발현 모션 중 제1 단계 모션의 제1 유사도를 산출하는 단계와, 제1 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자가 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅하는 단계와, 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 동작자의 모션과 스킬 발현 모션 중 제2 단계 모션의 제2 유사도를 산출하는 단계와, 제2 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타가 스킬을 발현하도록 제어하는 단계를 포함할 수 있다.
또한, 스킬 발현 여부를 결정하는 단계는, 아바타가 스킬 발현 모션에 따라 미리 설정된 스킬을 발현하도록 제어하는 단계를 포함할 수 있다.
본 발명에 따르면, 별도의 입력 장치(예컨대, 햅틱 센서, 키보드 및 조이스틱) 없이 실시간으로 사용자의 모션을 인식하고, 인식한 동작자의 모션 정보를 가상 공간 속 아바타에 투영함으로써 사전 정의된 스킬(특수 능력)을 발현할 수 있도록 하여 차세대 멀티미디어 기술의 핵심인 가상 공간 내에서 기존의 컴퓨터 게임 콘텐츠와 같은 효과를 제공할 수 있다.
또한, 본 발명에 따르면, 기존의 액션 전문 스턴트맨이나 사람이 흉내내기 어려운 동작도 동작자가 사전 정의된 스킬 발현 모션을 취하면 쉽게 추가 장치 없이도 아바타에 특수 능력을 발현시킬 수 있어, 동작자는 콘텐츠에 대한 몰입도를 떨어뜨리지 않으면서 콘텐츠를 가상 현실에서 즐길 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템의 동작을 설명하기 위한 블록도이다.
도 3은 캡쳐 공간에 있는 동작자의 모션(a)과 동작자의 모션에 따른 동작자의 관절(b)을 도시한 도면이다.
도 4는 캡쳐 공간에 있는 동작자의 모션(a)과 동작자의 모션이 가상 공간에 투영된 아바타(b)를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법의 순서도이다.
도 6은 캡쳐 공간에 있는 동작자의 스킬 발현 모션(a)과 동작자의 모션이 가상 공간에 투영된 아바타(b)를 도시한 도면이다.
도 7은 캡쳐 공간에 있는 동작자의 스킬 발현 모션(a)과 스킬이 발현된 아바타(b)를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 모션 캡쳐 시스템에서의 모션 스킬 발현 방법의 전체 순서도이다.
도 9는 도 8에서의 동작자의 단일 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법의 구체적인 순서도이다.
도 10은 도 9에서의 동작자의 연속 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법의 구체적인 순서도이다.
본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러 가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
도 1은 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템을 도시한 도면이고, 도 2는 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템의 동작을 설명하기 위한 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은 카메라(110), 분석 서버(200), 디스플레이 서버(300) 및 디스플레이(140)를 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 동작자(1, 2)가 캡쳐 공간에 입장하면, 캡쳐 공간에 구비된 복수의 카메라(110)가 동작자(1, 2)의 모션을 캡쳐하고, 서버(200, 300)가 동작자(1, 2)의 모션을 아바타(1a, 2b)에 투영하여 캡쳐 공간 내에 위치한 디스플레이(140)에 표시하는 시스템이다. 이러한 시스템에 따르면, 동작자(1, 2)는 동작자(1, 2)가 취하는 모션이 실시간으로 투영되는 아바타(1a, 2b)를 보면서 모션을 수행할 수 있다.
여기서, 카메라(110)는, 캡쳐 공간 내의 다양한 위치에 복수 개가 구비될 수 있다. 예를 들어, 카메라(110)는 캡쳐 공간 중앙을 기준으로 일정 각도 마다 배치될 수 있으나 이에 한정되는 것은 아니다.
카메라(110)는 캡쳐 공간에 위치한 동작자(1, 2)를 복수의 각도에서 캡쳐하여 복수의 동작자 영상을 생성할 수 있다.
예를 들어, 카메라(110)는 RGB 카메라일 수 있으나 이에 한정되는 것은 아니다. 여기서, RGB 카메라는 인간의 눈이 인식하는 것과 같은 스펙트럼인 400~700nm의 파장을 이용하는 카메라로서 다양한 산업 분야에서 머신 비전 시스템에 응용되고 있다. RGB 카메라는 빨간색(R), 녹색(G) 및 파란색(B) 파장으로 빛을 캡쳐하면서 인간의 시각을 복제하는 이미지를 생성하도록 설계되어 있다.
분석 서버(200)는 복수의 카메라(110)가 복수의 각도에서 캡쳐한 복수의 동작자 영상을 분석하여 동작자(1, 2)의 관절의 위치 정보 및 회전 정보를 산출할 수 있다.
디스플레이 서버(300)는 분석 서버(200)가 산출한 동작자(1, 2)의 관절의 위치 정보 및 회전 정보를 기반으로 동작자의 모션을 아바타(1a, 2b)에 실시간으로 투영할 수 있다.
디스플레이(140)는 디스플레이 서버(300)에 의해 생성된 아바타(1a, 2b)를 가상 공간 상에 디스플레이할 수 있다. 여기서, 디스플레이(140)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 전자 종이(electronic paper) 디스플레이 및 빔 프로젝터를 포함할 수 있다.
도 1에는 분석 서버(200) 및 디스플레이 서버(300)를 구분하여 표시하였지만, 이에 한정되는 것은 아니며 분석 서버(200) 및 디스플레이 서버(300)는 하나의 프로세서(120)로 통합될 수도 있다.
이하에서는 분석 서버(200) 및 디스플레이 서버(300)가 하나로 통합된 프로세서(120)인 것을 일 예로 하여 설명하겠다.
도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은 카메라(110), 프로세서(120), 메모리(130) 및 디스플레이(140)를 포함하여 구성될 수 있다.
프로세서(120)는, 복수의 카메라(110)와 통신적으로 연결되며, 동작자(1, 2)의 모션을 아바타(1a, 2b)에 실시간으로 투영할 수 있다.
도 3은 캡쳐 공간에 있는 동작자의 모션(a)과 동작자의 모션에 따른 동작자의 관절(b)을 도시한 도면이고, 도 4는 캡쳐 공간에 있는 동작자의 모션(a)과 동작자의 모션이 가상 공간에 투영된 아바타(b)를 도시한 도면이다.
도 3을 참조하면, 프로세서(120)는, 복수의 카메라(110)로부터 복수의 동작자 영상을 수신하며, 복수의 동작자 영상을 분석하여 동작자(1)의 관절(3)의 3차원 위치 좌표를 산출할 수 있다.
여기서, 관절(3)은 손, 팔뚝, 팔꿈치, 이두박근, 어깨, 골반, 허벅지, 무릎, 종아리, 발, 머리, 몸통, 척추 상부와 하부 및 허리 등 다양한 관절들을 포함할 수 있으며, 프로세서(120)는 이들 다양한 관절들 중 적어도 일부를 검출하고, 검출된 관절의 3차원 위치 좌표를 산출할 수 있다.
구체적으로, 프로세서(120)는 복수의 동작자 영상에서 관절(3)의 2차원 좌표를 산출하고, 2차원 좌표를 삼각 측량하여 관절(3)의 3차원 좌표를 산출할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 복수의 카메라(110)가 다양한 각도에서 캡쳐한 복수의 동작자 영상을 이용하여 복수의 동작자(1, 2)의 관절(3) 위치를 산출하기 때문에, 복수의 동작자(1, 2) 간 겹침으로 인해 발생되는 동작자(1, 2)의 모션 추적 실패를 방지할 수 있다.
즉, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 종래의 단일 카메라로 복수의 동작자의 관절 위치를 산출하는 경우 동작자 간 겹침으로 인해 동작자를 구분할 수 없었던 문제점을 해결할 수 있다.
여기서, 복수의 동작자 영상은 복수의 카메라(110)가 동작자(1)를 동작자(1)의 정면, 양측면 및 후면 등 다양한 각도에서 캡쳐하여 생성된 영상이다.
프로세서(120)는 복수의 카메라(110)의 캡쳐 시간을 동기화할 수 있다. 이를 통해, 프로세서(120)는 복수의 동작자 영상이 캡쳐된 시간차로 인해 발생되는 관절(3)의 위치 오차를 방지할 수 있다.
프로세서(120)는 복수의 동작자 영상에서 관절(3)의 2차원 위치 좌표를 산출하는 복수의 인공 지능(Artificial Intelligence; AI) 모델을 포함할 수 있다.
프로세서(120)는 복수의 AI 모델을 이용하여 복수의 동작자 영상을 동시에 병렬 처리하여 관절(3)의 2차원 위치 좌표를 산출할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 다양한 각도에서 캡쳐된 복수의 동작자 영상을 인공 지능으로 동시에 병렬 처리하여 관절(3)의 위치 좌표를 산출함으로써, 연산 속도를 향상 시켜 동작자(1)의 모션을 실시간으로 캡쳐할 수 있다.
프로세서(120)는 동작자(1)의 관절(3)의 3차원 위치 좌표를 기반으로 동작자(1)의 신체 길이 정보를 산출할 수 있다. 예를 들어, 프로세서(120)는 관절(3)들을 연결하여 동작자(1)의 골격을 생성할 수 있고, 생성된 골격으로 기반으로 동작자(1)의 팔, 다리 및 몸 등의 길이를 산출할 수 있다.
프로세서(120)는 동작자(1)의 신체 길이 정보를 기반으로 아바타(1a)의 신체 길이와 무관하게 동작자(1)의 모션 정보를 아바타(1a)에 복제할 수 있다. 여기서, 아바타(1a)가 휴모노이드 아바타일 경우 각 신체 부위의 길이가 제각각으로 설정될 수 있다.
예를 들어, 프로세서(120)는, 설정된 아바타(1a)의 신체 비율이 3 등신이고, 동작자(1)의 신체 비율이 7등신인 경우에도 동작자(1)의 신체 길이 정보를 이용해 동작자(1)의 모션을 아바타(1a)에 복제할 수 있다.
이를 통해, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 동작자(1)의 체형과 무관하게 다양한 휴머노이드 아바타(1a)에 동작자(1)의 모션을 디스플레이함으로써, 동작자에게 현실감을 제공할 수 있다.
또한, 프로세서(120)는 관절(3)의 3차원 위치 좌표에 대한 인체 역기구학 분석을 통해 관절(3)의 회전각을 산출할 수 있다.
인간의 뼈 관절은 전형적으로 운동 범위가 제한되어 있다. 예를 들어, 무릎 또는 팔꿈치와 같은 일부 관절은 단일 평면에서 회전할 수 있는 반면 어깨와 같은 다른 관절은 3차원으로 회전할 수 있다.
이와 같이, 인체 역기구학 분석은, 인체 관절의 회전각의 범위, 각 관절의 자유도, 신체 연결부의 탄성 및 수행하고 있는 모션에 맞는 자세 등의 물리적 제약과 모션 컨텍스트를 고려하여 관절의 회전각을 추정하는 것을 의미한다.
프로세서(120)는 관절(3)의 3차원 위치 좌표에 동적 필터를 적용하여 관절(3)의 회전각을 산출할 수 있다. 여기서, 동적 필터로는 칼만 필터(Kalman filter) 또는 로우 패스 필터(Low Pass Filter)가 적용될 수 있다.
도 4를 참조하면, 프로세서(120)는 관절(3)의 3차원 위치 좌표 및 회전각을 기반으로 동작자(1)의 모션을 아바타(1a)에 투영할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 시스템은, 별도의 사전 작업 없이 카메라(120)만을 이용해 자유 복장의 동작자(1)가 캡쳐 공간에 입장하면 동작자(1)의 모션을 실시간으로 캡쳐할 수 있어, 종래의 동작자의 모션 캡쳐를 위해 동작자가 마커 수트 또는 자이로 센서 등을 착용해야 하는 불편함을 해소할 수 있다.
메모리(130)는 복수의 동작자(1, 2) 마다 부여되는 ID를 저장할 수 있다.
프로세서(120)는 복수의 동작자(1, 2)의 관절 마다 ID를 부여하여 복수의 동작자(1, 2)를 구분할 수 있다.
구체적으로, 프로세서(120)는, 매 프레임 마다 제1 동작자(1)의 관절(3)들의 3차원 위치 좌표에 제1 동작자(1)에 해당하는 제1 ID를 부여하고, 메모리(130)에 저장할 수 있다. 마찬가지로, 매 프레임 마다 제2 동작자(2)의 관절(3)들의 3차원 위치 좌표에 제2 동작자(2)에 해당하는 제2 ID를 부여하고, 메모리(130)에 저장할 수 있다.
여기서, 프로세서(120)는 이전 프레임에서 제1 ID가 부여된 제1 동작자(1)의 관절(3)들을 포함하는 제1 관심 영역을 설정하고, 제1 관심 영역을 기준으로 현재 프레임에서 제1 동작자(1)의 관절(3)들을 찾아 제1 ID를 부여할 수 있다.
예를 들어, 프로세서(120)는 이전 프레임에서 설정된 제1 관심 영역에서 기준 범위 이하에 위치한 현재 프레임의 관절(3)들에 제1 ID를 부여할 수 있다.
마찬가지로, 프로세서(120)는 이전 프레임에서 제2 ID가 부여된 제2 동작자(2)의 관절(3)들을 포함하는 제2 관심 영역을 설정하고, 제2 관심 영역을 기준으로 현재 프레임에서 제2 동작자(2)의 관절(3)들을 찾아 제2 ID를 부여할 수 있다.
예를 들어, 프로세서(120)는 이전 프레임에서 설정된 제2 관심 영역에서 기준 범위 이하에 위치한 현재 프레임의 관절(3)들에 제2 ID를 부여할 수 있다.
프로세서(120)는 매 프레임 마다 관절(3)에 ID 부여를 할 수 있다.
프로세서(120)는, 메모리(130)에 저장된 제1 ID 및 제2 ID를 확인하여 복수의 동작자(1, 2)의 모션 캡쳐 중 동작자(1, 2)가 바뀌지 않도록 동작자(1, 2)를 연속적으로 트래킹할 수 있다.
도 5는 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법의 순서도이다.
이하, 도 5를 참조하여, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법을 설명하겠다.
먼저, 복수의 카메라(110)가 캡쳐 공간에 위치한 동작자(1)를 복수의 각도에서 캡쳐하여 복수의 동작자 영상을 생성한다(S110). 이 때, 복수의 카메라(110)의 캡쳐 시간을 동기화하여 복수의 동작자 영상의 생성 시간을 일치시킬 수 있다. 이를 통해, 복수의 동작자 영상의 캡쳐 시간차로 인해 발생되는 관절(3)의 위치 오차를 방지할 수 있다.
다음, 복수의 동작자 영상을 분석하여 동작자(1)의 관절(3)의 3차원 위치 좌표를 산출한다(S120). 이 때, 복수의 동작자 영상에 포함되는 관절(3)의 2차원 좌표를 삼각 측량하여 3차원 좌표를 산출할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 복수의 카메라(110)가 다양한 각도에서 캡쳐한 복수의 동작자 영상을 이용하여 복수의 동작자(1, 2)의 관절(3) 위치를 산출하기 때문에, 복수의 동작자(1, 2) 간 겹침으로 인해 발생되는 동작자(1, 2)의 모션 추적 실패를 방지할 수 있다.
구체적으로, 복수의 동작자 영상에서 관절(3)의 2차원 위치 좌표를 산출하는 복수의 AI 모델을 이용하여 복수의 동작자 영상을 동시에 병렬 처리하여 관절(3)의 2차원 위치 좌표를 산출할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 다양한 각도에서 캡쳐된 복수의 동작자 영상을 인공 지능으로 동시에 병렬 처리하여 관절(3)의 위치 좌표를 산출함으로써, 연산 속도를 향상 시켜 동작자(1)의 모션을 실시간으로 캡쳐할 수 있다.
도 5에는 도시하지 않았지만, 본 발명의 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 관절(3)의 3차원 위치 좌표를 기반으로 동작자(1)의 신체 길이 정보를 산출하고, 동작자(1)의 신체 길이 정보를 기반으로 동작자(1)와 신체 길이가 다른 아바타(1a)의 모션을 보정할 수 있다.
이를 통해, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 동작자(1)의 체형에 무관하게 휴모노이드 아바타(1a)에 동작자(1)의 모션을 디스플레이함으로써, 동작자(1)에게 현실감을 제공할 수 있다.
다음, 복수의 동작자(1, 2) 마다 ID를 부여하고 메모리(130)에 저장한다(S130). 이 때, 복수의 동작자(1, 2)의 관절(3) 마다 ID를 부여하여 복수의 동작자(1, 2)를 구분할 수 있다.
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 메모리(130)에 저장된 ID를 확인하여 복수의 동작자(1, 2)의 모션 캡쳐 중 동작자(1, 2)가 바뀌지 않도록 동작자(1, 2)를 연속적으로 트래킹할 수 있다.
다음, 3차원 위치 좌표에 대한 인체 역기구학 분석을 통해 관절(3)의 회전각을 산출한다(S140). 이 때, 관절(3)의 3차원 위치 좌표에 동적 필터를 적용하여 관절의 회전각을 산출할 수 있다.
다음, 관절(3)의 3차원 위치 좌표 및 회전각을 기반으로 복수의 동작자(1, 2)의 모션을 아바타(1a, 1b)에 투영한다(S150).
다음, 투영된 아바타(1a, 1b)를 가상 공간에 디스플레이한다(S160).
이와 같이, 본 발명의 실시예에 따른 멀티 뷰 기반 실시간 모션 캡쳐 방법은, 별도의 사전 작업 없이 카메라(120)만을 이용해 자유 복장의 동작자(1)가 캡쳐 공간에 입장하면 동작자(1)의 모션을 실시간으로 캡쳐할 수 있어, 종래의 동작자의 모션 캡쳐를 위해 동작자가 마커 수트 또는 자이로 센서 등을 착용해야 하는 불편함을 해소할 수 있다.
이하, 전술한 멀티 뷰 기반 실시간 모션 캡쳐 시스템에서의 모션 스킬 발현 장치를 자세히 설명하겠다.
도 6은 캡쳐 공간에 있는 동작자의 스킬 발현 모션(a)과 동작자의 모션이 가상 공간에 투영된 아바타(b)를 도시한 도면이고, 도 7은 캡쳐 공간에 있는 동작자의 스킬 발현 모션(a)과 스킬이 발현된 아바타(b)를 도시한 도면이다.
도 6 및 도 7을 참조하면, 프로세스(120)는 동작자(1)의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 스킬(5) 발현 여부를 결정할 수 있다. 그리고, 프로세서(120)는, 아바타(1a)가 스킬 발현 모션에 따라 미리 설정된 스킬을 발현하도록 제어할 수 있다.
여기서, 스킬(5)은 가상 공간에서 아바타(1a)에 발현되는 특수 능력으로서 칼, 방패, 불꽃 쏘기, 높이 뛰기 및 백 덤블림 등을 의미한다.
그리고, 프로세서(120)는 동작자(1)의 모션이 스킬 발현 모션인 것에 기반하여 아바타(1a)가 스킬(5)을 발현하도록 제어할 수 있다.
도 6에 도시한 바와 같이, 동작자(1)가 캡쳐 공간에서 일정 스킬 발현 모션 예를 들어, 한쪽 무릎을 굽히고, 한 손은 앞으로 내밀고, 다른 손은 뒤로 내미는 모션을 취하는 경우(a), 아바타(1a)도 가상 공간에서 동작자(1)와 동일한 모션을 취하게 된다.
이후 일정한 시간이 경과되면, 도 7에 도시한 바와 같이, 아바타(1a)에 스킬(5)이 발현된다. 즉, 아바타(1a)가 뒤로 내민 손에 칼이 장착된다.
구체적으로, 프로세서(120)는, 동작자(1)의 모션과 스킬 발현 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값(예컨대, 80%) 이상인 것에 기반하여 아바타(1a)가 스킬(5)을 발현하도록 제어할 수 있다.
또한, 프로세서(120)는, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자(1)가 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅하고, 유지 시간이 미리 설정된 기준 시간(예컨대, 3초) 이상인 것에 기반하여 아바타(1a)가 스킬(5)을 발현하도록 제어할 수 있다.
또한, 프로세서(120)는 유지 시간 카운팅 중 유사도가 기준 값 미만인 것에 기반하여 유예 시간 경과 여부를 판단할 수 있다. 여기서, 프로세서(120)는 유예 시간 경과하기 전까지 유지 시간 카운팅을 중단하고 있다가 동작자(1)의 모션과 스킬 발현 모션을 다시 비교하여 동작자(1)의 모션이 스킬 발현 모션인 경우 유지 시간을 다시 카운팅할 수 있다.
이를 통해, 본 발명의 실시예에 따른 모션 스킬 발현 장치는, 동작자(1)가 스킬 발현 모션을 취하는 중 의도치 않게 중간에 다른 모션을 취하는 경우 다시 처음부터 유지 시간을 카운팅함으로써, 동작자(1)가 갖게 되는 당혹감 또는 불편함을 방지할 수 있다.또한, 프로세서(120)는 유예 시간 경과한 것에 기반하여 유지 시간을 초기화할 수 있다.
이를 통해, 본 발명의 실시예에 따른 모션 스킬 발현 장치는, 동작자(1)가 스킬 발현을 의도하지 않고 스킬 발현 모션 또는 이와 유사한 모션을 일시적으로 취한 경우 불필요한 스킬(5)이 발현되는 것을 방지할 수 있다.
또한, 프로세서(120)는 유예 시간 경과한 것에 기반하여 유지 시간을 감소시킬 수 있다.
이를 통해, 본 발명의 실시예에 따른 모션 스킬 발현 장치는, 동작자(1)가 스킬 발현을 의도했지만 스킬 발현 모션을 일정 시간 유지 시키지 못한 경우, 다시 동작자(1)가 스킬 발현 모션을 취할 때 유지 시간을 감소시킴으로써, 아바타(1a)에 스킬(5)이 발현되지 않아 동작자(1)가 당혹감을 느끼는 것을 방지할 수 있다.
프로세서(120)는 특정 스킬이 발현된 후 아바타(1a)에 특정 스킬이 연속적으로 발현되는 것을 방지하기 위해 대기 시간을 설정할 수 있다.
프로세서(120)는, 스킬 발현 모션이 연속적인 모션인 경우, 동작자(1)의 모션과 스킬 발현 모션 중 제1 단계 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 동작자가 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅하고, 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 동작자의 모션과 스킬 발현 모션 중 제2 단계 모션의 유사도를 산출하고, 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타(1a)가 스킬을 발현하도록 제어할 수 있다.
예를 들어, 프로세서(120)는, 스킬이 높이 뛰기인 경우, 동작자(1)가 점프 준비 모션을 2초 간 유지한 후 점프 모션을 취하는 것으로 판단되면, 동작자(1)가 실제 점프한 높이 보다 더 높게 아바타(1a)가 점프하도록 제어할 수 있다.
이와 같이, 본 발명의 실시예에 따른 모션 스킬 발현 장치는, 별도의 입력 장치(예컨대, 햅틱 센서, 키보드 및 조이스틱) 없이 실시간으로 사용자의 모션을 인식하고, 인식한 동작자(1)의 모션 정보를 가상 공간 속 아바타에 투영함으로써 사전 정의된 스킬(특수 능력)을 발현할 수 있도록 하여 차세대 멀티미디어 기술의 핵심인 가상 공간 내에서 기존의 컴퓨터 게임 콘텐츠와 같은 효과를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 모션 스킬 발현 장치는, 기존의 액션 전문 스턴트맨이나 사람이 흉내내기 어려운 동작도 동작자(1)가 사전 정의된 스킬 발현 모션을 취하면 쉽게 추가 장치 없이도 아바타(1a)에 특수 능력을 발현시킬 수 있어, 동작자(1)는 콘텐츠에 대한 몰입도를 떨어뜨리지 않으면서 콘텐츠를 가상 현실에서 즐길 수 있다.
도 8은 본 발명의 실시예에 따른 모션 캡쳐 시스템에서의 모션 스킬 발현 방법의 전체 순서도이고, 도 9는 도 8에서의 동작자의 단일 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법의 구체적인 순서도이고, 도 10은 도 9에서의 동작자의 연속 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법의 구체적인 순서도이다.
이하, 도 8을 참조하여, 본 발명의 실시예에 따른 모션 캡쳐 시스템에서의 모션 스킬 발현 방법을 설명하겠다.
먼저, 복수의 카메라(110)가 캡쳐 공간에 위치한 동작자(1)를 복수의 각도에서 캡쳐하여 동작자 영상을 생성한다(S310).
다음, 동작자 영상을 분석하여 동작자(1)의 관절 정보를 획득한다(S320).
다음, 관절 정보를 기반으로 동작자(1)의 모션을 아바타(1a)에 투영한다(S330).
다음, 동작자(1)의 모션이 스킬 발현 모션인지 여부를 판단하여(S340), 아바타(1a)에 스킬을 발현할지 여부를 결정한다(S350). 이 때, 동작자(1)의 모션이 스킬 발현 모션인 것에 기반하여 아바타(1a)가 스킬을 발현하도록 제어할 수 있다.
이하, 도 9를 참조하여, 동작자(1)의 단일 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법을 구체적으로 설명하겠다.
동작자(1)의 모션과 스킬 발현 모션의 유사도를 산출하고(S341), 산출된 유사도를 기준 값과 비교하여(S342), 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 아바타(1a)가 스킬(5)을 발현하도록 제어한다(S351).
구체적으로, 유사도가 미리 설정된 기준 값 이상인 경우 동작자(1)의 모션을 스킬 발현 모션으로 판단한 후(S343) 동작자(1)가 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅한다(S345).
이와 달리, 유사도가 기준 값 미만인 경우 유예 시간 경과 여부를 판단한다(S344).
이 때, 유예 시간 경과하기 전까지 유지 시간 카운팅을 중단하고 있다가 동작자(1)의 모션과 스킬 발현 모션을 다시 비교하여 동작자(1)의 모션이 스킬 발현 모션인 경우 유지 시간을 다시 카운팅한다.
이와 달리, 유예 시간 경과한 경우 유지 시간을 초기화하거나 유지 시간을 감소시킨다(S347).
다음, 유지 시간과 미리 설정된 기준 시간을 비교하여(S346), 유지 시간이 기준 시간 이상인 경우 아바타(1a)가 스킬 발현 모션에 따른 스킬(5)을 발현하도록 제어한다(S351).
이와 달리, 유지 시간이 기준 시간 미만인 경우 동작자(1)의 모션과 스킬 발현 모션을 다시 비교하여 동작자(1)의 모션이 스킬 발현 모션인 경우 유지 시간을 다시 카운팅한다.
이하, 도 10을 참조하여, 동작자(1)의 연속 모션이 스킬 발현 모션인지 여부를 판단하여, 스킬 발현 여부를 결정하는 방법을 구체적으로 설명하겠다.
먼저, 동작자의 모션과 스킬 발현 모션 중 제1 단계 모션의 제1 유사도를 산출한다(S441).
다음, 제1 유사도와 미리 설정된 기준 값을 비교하여(S442), 제1 유사도가 기준 값 이상인 경우 동작자(1)의 모션을 제1 단계 모션으로 판단한다(S443).
다음, 동작자(1)가 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅한다(S445).
이와 달리, 제1 유사도가 기준 값 미만인 경우 유예 시간 경과 여부를 판단한다(S444).
이 때, 유예 시간 경과하기 전까지 유지 시간 카운팅을 중단하고 있다가 동작자(1)의 모션과 스킬 발현 모션을 다시 비교하여 동작자(1)의 모션이 스킬 발현 모션인 경우 유지 시간을 다시 카운팅한다.
이와 달리, 유예 시간 경과한 경우 유지 시간을 초기화하거나 유지 시간을 감소시킨다(S451).
다음, 유지 시간과 미리 설정된 기준 시간을 비교하여(S446), 유지 시간이 기준 시간 이상인 경우 동작자(1)의 모션과 스킬 발현 모션 중 제2 단계 모션의 제2 유사도를 산출한다(S447).
이와 달리, 유지 시간이 기준 시간 미만인 경우 동작자(1)의 모션과 스킬 발현 모션 중 제1 단계 모션을 다시 비교하여 동작자(1)의 모션이 스킬 발현 모션인 경우 유지 시간을 다시 카운팅한다.
다음, 제2 유사도와 미리 설정된 기준 값과 비교하여(S449), 제2 유사도가 기준 값 이상인 경우 동작자(1)의 제2 단계 모션으로 판단하여(S450), 아바타(1a)가 스킬 발현 모션에 따른 스킬(5)을 발현하도록 제어한다(S452).
이와 달리, 제2 유사도가 기준 값 미만인 경우 유예 시간 경과 여부를 판단한다(S440).
이 때, 유예 시간 경과하기 전까지 동작자(1)의 모션과 스킬 발현 모션 중 제2 단계 모션을 다시 비교하여 동작자(1)의 모션이 제2 단계 모션인 경우 스킬 발현 모션에 따른 스킬을 발현한다.
이와 달리, 유예 시간 경과한 경우, 스킬을 발현시키지 않거나, 제2 단계 모션에 대한 유지 시간이 설정된 경우 유지 시간을 초기화하거나 유지 시간을 감소시킨다(S453).
이와 같이, 본 발명의 실시예에 따른 모션 스킬 발현 방법은, 별도의 입력 장치(예컨대, 햅틱 센서, 키보드 및 조이스틱) 없이 실시간으로 사용자의 모션을 인식하고, 인식한 동작자(1)의 모션 정보를 가상 공간 속 아바타에 투영함으로써 사전 정의된 스킬(특수 능력)을 발현할 수 있도록 하여 차세대 멀티미디어 기술의 핵심인 가상 공간 내에서 기존의 컴퓨터 게임 콘텐츠와 같은 효과를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 모션 스킬 발현 방법은, 기존의 액션 전문 스턴트맨이나 사람이 흉내내기 어려운 동작도 동작자(1)가 사전 정의된 스킬 발현 모션을 취하면 쉽게 추가 장치 없이도 아바타(1a)에 특수 능력을 발현시킬 수 있어, 동작자(1)는 콘텐츠에 대한 몰입도를 떨어뜨리지 않으면서 콘텐츠를 가상 현실에서 즐길 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
110: 카메라
120: 프로세서
130: 메모리
140: 디스플레이

Claims (16)

  1. 캡쳐 공간에 위치한 동작자를 복수의 각도에서 캡쳐하여 동작자 영상을 생성하는 복수의 카메라; 및
    상기 복수의 카메라와 통신적으로 연결되며, 상기 동작자의 모션을 아바타에 투영하여 가상 공간에 디스플레이하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 동작자 영상을 분석하여 상기 동작자의 관절 정보를 획득하고,
    상기 관절 정보를 기반으로 상기 동작자의 모션을 아바타에 투영하고,
    상기 동작자의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 상기 스킬 발현 여부를 결정하되,
    상기 프로세서는,
    상기 동작자의 모션과 상기 스킬 발현 모션 중 제1 단계 모션의 유사도를 산출하고,
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 동작자가 상기 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅하고,
    상기 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 상기 동작자의 모션과 상기 스킬 발현 모션 중 제2 단계 모션의 유사도를 산출하고,
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는
    상기 동작자의 모션이 스킬 발현 모션인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는
    상기 동작자의 모션과 상기 스킬 발현 모션의 유사도를 산출하고,
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는
    상기 동작자의 모션과 상기 스킬 발현 모션의 유사도를 산출하고,
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 동작자가 상기 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅하고,
    상기 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는
    상기 유지 시간을 카운팅 중 상기 유사도가 기준 값 미만인 것에 기반하여 유예 시간 경과 여부를 판단하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는
    상기 유예 시간이 경과한 것에 기반하여 상기 유지 시간을 초기화하거나 상기 유지 시간을 감소시키는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 프로세서는
    상기 아바타가 상기 스킬 발현 모션에 따라 미리 설정된 상기 스킬을 발현하도록 제어하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 장치.
  9. 복수의 카메라가 캡쳐 공간에 위치한 동작자를 복수의 각도에서 캡쳐하여 동작자 영상을 생성하는 단계;
    상기 동작자 영상을 분석하여 상기 동작자의 관절 정보를 획득하는 단계;
    상기 관절 정보를 기반으로 상기 동작자의 모션을 아바타에 투영하는 단계; 및
    상기 동작자의 모션이 미리 설정된 스킬 발현 모션인지 여부를 판단하여 상기 스킬 발현 여부를 결정하는 단계를 포함하고,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 동작자의 모션과 상기 스킬 발현 모션 중 제1 단계 모션의 제1 유사도를 산출하는 단계;
    상기 제1 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 동작자가 상기 제1 단계 모션을 유지하고 있는 유지 시간을 카운팅하는 단계;
    상기 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 상기 동작자의 모션과 상기 스킬 발현 모션 중 제2 단계 모션의 제2 유사도를 산출하는 단계; 및
    상기 제2 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는 단계를 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  10. 제 9 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 동작자의 모션이 스킬 발현 모션인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는 단계를 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  11. 제 9 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 동작자의 모션과 상기 스킬 발현 모션의 유사도를 산출하는 단계; 및
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는 단계를 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  12. 제 9 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 동작자의 모션과 상기 스킬 발현 모션의 유사도를 산출하는 단계;
    상기 유사도가 미리 설정된 기준 값 이상인 것에 기반하여 상기 동작자가 상기 스킬 발현 모션을 유지하고 있는 유지 시간을 카운팅하는 단계; 및
    상기 유지 시간이 미리 설정된 기준 시간 이상인 것에 기반하여 상기 아바타가 상기 스킬을 발현하도록 제어하는 단계를 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  13. 제 12 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 유지 시간을 카운팅 중 상기 유사도가 기준 값 미만인 것에 기반하여 유예 시간 경과 여부를 판단하는 단계를 더 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  14. 제 13 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 유예 시간이 경과한 것에 기반하여 상기 유지 시간을 초기화하거나 상기 유지 시간을 감소시키는 단계를 더 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
  15. 삭제
  16. 제 9 항에 있어서,
    상기 스킬 발현 여부를 결정하는 단계는
    상기 아바타가 상기 스킬 발현 모션에 따라 미리 설정된 상기 스킬을 발현하도록 제어하는 단계를 포함하는
    모션 캡쳐 시스템에서의 모션 스킬 발현 방법.
KR1020230088617A 2023-07-07 2023-07-07 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법 KR102612512B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230088617A KR102612512B1 (ko) 2023-07-07 2023-07-07 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230088617A KR102612512B1 (ko) 2023-07-07 2023-07-07 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102612512B1 true KR102612512B1 (ko) 2023-12-11

Family

ID=89162944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230088617A KR102612512B1 (ko) 2023-07-07 2023-07-07 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102612512B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012525643A (ja) * 2009-05-01 2012-10-22 マイクロソフト コーポレーション モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
KR101897704B1 (ko) * 2017-09-25 2018-10-29 넷마블 주식회사 게임 서비스 제공 장치 및 방법
US20190172265A1 (en) * 2017-12-06 2019-06-06 Universal City Studios Llc Interactive video game system
KR20190131417A (ko) * 2018-05-16 2019-11-26 디테코 주식회사 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
US20230051703A1 (en) * 2021-08-16 2023-02-16 Sony Interactive Entertainment LLC Gesture-Based Skill Search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012525643A (ja) * 2009-05-01 2012-10-22 マイクロソフト コーポレーション モーションキャプチャにモデルトラッキングを適用するための方法及びシステム
KR101897704B1 (ko) * 2017-09-25 2018-10-29 넷마블 주식회사 게임 서비스 제공 장치 및 방법
US20190172265A1 (en) * 2017-12-06 2019-06-06 Universal City Studios Llc Interactive video game system
KR20190131417A (ko) * 2018-05-16 2019-11-26 디테코 주식회사 손동작 인식을 이용하여 매크로 기능을 제공하기 위한 장치 및 그 방법
US20230051703A1 (en) * 2021-08-16 2023-02-16 Sony Interactive Entertainment LLC Gesture-Based Skill Search

Similar Documents

Publication Publication Date Title
TWI732194B (zh) 用於在hmd環境中利用傳至gpu之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體
US9910509B2 (en) Method to control perspective for a camera-controlled computer
US9892563B2 (en) System and method for generating a mixed reality environment
US20190279428A1 (en) Team augmented reality system
US10755438B2 (en) Robust head pose estimation with a depth camera
KR102291461B1 (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
CN104380338B (zh) 信息处理器以及信息处理方法
KR101251701B1 (ko) 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체
US20170345183A1 (en) Robust Head Pose Estimation with a Depth Camera
Starner et al. The perceptive workbench: Computer-vision-based gesture tracking, object tracking, and 3D reconstruction for augmented desks
CN106125903B (zh) 多人交互系统及方法
KR20120020106A (ko) 모션 캡처를 위하여 모델 추적을 적용하는 시스템 및 방법
WO2006011706A1 (en) Vision-based augmented reality system using invisible marker
US10839706B2 (en) Motion training device, program, and display method
Leroy et al. SMPLy benchmarking 3D human pose estimation in the wild
KR20130030117A (ko) 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
JP6265299B2 (ja) ビデオデータのための軌道データの生成
Klein et al. A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템
KR102612512B1 (ko) 모션 캡쳐 시스템에서의 모션 스킬 발현 장치 및 방법
KR102615799B1 (ko) 모션 캡쳐 시스템에서의 가상 공간 확장 장치 및 방법
KR20220083552A (ko) 착용형 ar 장치를 위한 다중 객체의 6 자유도 추정과 보정 및 이를 적용한 ar 서비스 방법
Carozza et al. Robust 6-DOF immersive navigation using commodity hardware
McDonald Hand interaction in augmented reality
US20200042077A1 (en) Information processing apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant