KR101530355B1 - 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 - Google Patents

모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 Download PDF

Info

Publication number
KR101530355B1
KR101530355B1 KR1020140036024A KR20140036024A KR101530355B1 KR 101530355 B1 KR101530355 B1 KR 101530355B1 KR 1020140036024 A KR1020140036024 A KR 1020140036024A KR 20140036024 A KR20140036024 A KR 20140036024A KR 101530355 B1 KR101530355 B1 KR 101530355B1
Authority
KR
South Korea
Prior art keywords
motion
data
motion data
search
retargeting
Prior art date
Application number
KR1020140036024A
Other languages
English (en)
Inventor
박홍성
하재열
Original Assignee
(주)엠젠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠젠 filed Critical (주)엠젠
Priority to KR1020140036024A priority Critical patent/KR101530355B1/ko
Application granted granted Critical
Publication of KR101530355B1 publication Critical patent/KR101530355B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템이 개시된다. 모션 데이터 검색 방법은, 제1 모션 캡쳐 방식으로 획득한 제1 모션 데이터를 저장하는 데이터베이스를 유지하는 단계; 제2 모션 캡쳐 방식으로 획득한 제2 모션 데이터가 포함된 검색 쿼리를 입력 받는 단계; 상기 제1 모션 데이터를 상기 제2 모션 캡쳐 방식에 맞게 변환한 리타겟팅 데이터를 획득하는 단계; 상기 리타겟팅 데이터와 상기 제2 모션 데이터의 유사도에 기초하여 상기 데이터베이스로부터 적어도 하나의 제1 모션 데이터를 검색하는 단계; 및 상기 검색 쿼리에 대응하는 검색 결과로서 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계를 포함할 수 있다.

Description

모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템{METHOD AND SYSTEM FOR SEARCHING MOTION CAPTURE DATA}
본 발명의 실시예들은 모션 캡쳐 데이터를 검색하는 기술에 관한 것이다.
오늘날 컴퓨터 비젼 및 컴퓨터 그래픽스 기술이 발전함에 따라 모션 캡쳐(motion capture) 기술을 통하여 사람의 자연스러운 움직임 및 사실적인 얼굴 표정의 변화가 3차원 가상 캐릭터에 그대로 재현되고 있다.
모션 캡쳐는 인체에 센서를 부착시키거나, 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 기록하는 작업을 의미할 수 있다. 기술의 발달에 따라 간단한 동작뿐만 아니라 매우 정밀한 움직임까지도 모션 캡쳐가 가능해지고 모션 캡쳐를 응용할 수 있는 분야 역시 점점 확대되고 있다.
이러한 모션 캡쳐를 활용한 기술로, 한국등록특허 제10-1227092호(등록일 2013년 1월 22일) "로봇의 동작 제어 시스템 및 동작 제어 방법"에는 모션 캡쳐 장비를 이용하여 획득한 동작들을 기반으로 로봇의 자연스러운 동작을 제어하는 구성이 개시되어 있다.
기존 모션 캡쳐 기술은 스테레오 비전 시스템(stereo vision system)을 기반으로 하고 있으나, 비전 시스템을 이용한 모션 캡쳐는 매우 정확하다는 이점에 비해 값비싼 비용이 요구되는 문제가 있다. 즉, 실제 환경에서는 일반 사용자들이 고가의 모션 캡쳐 장비를 이용하고 이를 통해 정밀한 모션 캡쳐를 한다는 것이 현실적으로 매우 어려운 일이다.
더욱이, 모션 캡쳐를 응용하는 대부분의 분야에서는 모션 캡쳐가 필요할 때마다 움직임을 캡쳐하여 모션 데이터를 생성한다. 또한, 모션 캡쳐에 의해 생성된 모션 데이터와 유사한 움직임을 나타내는 모션 데이터가 필요할 때에도 기존에 생성한 모션 데이터를 이용하지 못하고 새로이 움직임을 캡쳐하여 모션 데이터를 생성한다.
이러한 문제를 해결하기 위해, 최근에는 기존에 생성된 모션 데이터를 데이터베이스로 구축하고, 데이터베이스에 저장된 모션 데이터 중 원하는 모션 데이터를 검색하는 기술에 대한 연구가 계속되고 있다.
저가의 간단한 모션 캡쳐 장비를 이용하여 모션 캡쳐 데이터를 검색할 수 있는 검색 시스템 및 검색 방법을 제공한다.
간단한 3D 모션 캡쳐로부터 매우 정밀한 모션 데이터를 검색할 수 있는 검색 시스템 및 검색 방법을 제공한다.
컴퓨터로 구현되는 모션 데이터 검색 방법에 있어서, 제1 모션 캡쳐 방식으로 획득한 제1 모션 데이터를 저장하는 데이터베이스를 유지하는 단계; 제2 모션 캡쳐 방식으로 획득한 제2 모션 데이터가 포함된 검색 쿼리를 입력 받는 단계; 상기 제1 모션 데이터를 상기 제2 모션 캡쳐 방식에 맞게 변환한 리타겟팅 데이터를 획득하는 단계; 상기 리타겟팅 데이터와 상기 제2 모션 데이터의 유사도에 기초하여 상기 데이터베이스로부터 적어도 하나의 제1 모션 데이터를 검색하는 단계; 및 상기 검색 쿼리에 대응하는 검색 결과로서 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계를 포함하는 모션 데이터 검색 방법을 제공한다.
일 측면에 따르면, 상기 제1 모션 데이터와 상기 제2 모션 데이터는 객체의 움직임에 따른 관절의 3차원 데이터이며, 상기 제1 모션 캡쳐 방식은 스테레오 비전(stereo vision) 기반의 정밀 모션 캡쳐 방식이고, 상기 제2 모션 캡쳐 방식은 상기 제1 모션 캡쳐 방식에서 표현하는 관절의 개수 미만의 관절을 표현하는 단순 모션 캡쳐 방식이다.
다른 측면에 따르면, 상기 검색 쿼리에는 상기 제2 모션 캡쳐 방식에 대한 정보로서 상기 제2 모션 데이터를 생성한 모션 캡쳐 장치의 종류 및 버전(version) 정보 중 적어도 하나가 포함될 수 있다.
또 다른 측면에 따르면, 상기 제2 모션 캡쳐 방식은 상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮으며, 상기 리타겟팅 데이터를 획득하는 단계는, 상기 제1 모션 데이터에 대하여 상기 제2 모션 캡쳐 방식으로 모션 리타겟팅(motion retargeting)을 수행할 수 있다.
또 다른 측면에 따르면, 상기 제1 모션 데이터와 상기 제2 모션 데이터는 객체의 움직임에 따른 관절의 3차원 데이터이며, 상기 모션 리타겟팅은 상기 제1 모션 데이터에 포함되는 관절의 개수를 상기 제2 모션 캡쳐 방식에 대응되는 관절의 개수로 단순화 시키는 것이다.
또 다른 측면에 따르면, 상기 리타겟팅 데이터를 획득하는 단계는, 상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮은 복수의 모션 캡쳐 방식을 선별한 후, 상기 제1 모션 데이터에 대하여 상기 선별된 모션 캡쳐 방식으로 모션 리타겟팅을 각각 수행하여 모션 캡쳐 방식 별 리타겟팅 데이터를 사전에 획득하고, 상기 모션 캡쳐 방식 별 리타겟팅 데이터 중에서 상기 제2 모션 캡쳐 방식에 해당되는 리타겟팅 데이터를 이용할 수 있다.
또 다른 측면에 따르면, 상기 적어도 하나의 제1 모션 데이터를 검색하는 단계는, 상기 제1 모션 데이터의 리타겟팅 데이터와 상기 제2 모션 데이터 사이의 유사도를 추출하는 단계; 및 상기 유사도를 이용하여 상기 데이터베이스로부터 상기 제2 모션 데이터와 유사한 모션을 포함하는 적어도 하나의 제1 모션 데이터를 검색하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는, 상기 검색 결과에 포함된 제1 모션 데이터의 적어도 일부를 영상 데이터로 변환한 후 상기 영상 데이터를 재생하는 프리뷰(preview) 기능을 제공할 수 있다.
또 다른 측면에 따르면, 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는, 상기 검색 결과에 포함된 제1 모션 데이터의 전체 구간에서 상기 제2 모션 데이터와 유사한 모션 데이터의 구간 위치를 표시할 수 있다.
또 다른 측면에 따르면, 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는, 상기 검색 결과에 포함된 제1 모션 데이터를 상기 검색 쿼리를 전송한 단말로 다운로드 하는 기능을 제공할 수 있다.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 제1 모션 캡쳐 방식으로 획득한 제1 모션 데이터를 저장하는 데이터베이스를 유지하는 과정; 제2 모션 캡쳐 방식으로 획득한 제2 모션 데이터가 포함된 검색 쿼리를 입력 받는 과정; 상기 제1 모션 데이터를 상기 제2 모션 캡쳐 방식에 맞게 변환한 리타겟팅 데이터를 획득하는 과정; 상기 리타겟팅 데이터와 상기 제2 모션 데이터의 유사도에 기초하여 상기 데이터베이스로부터 적어도 하나의 제1 모션 데이터를 검색하는 과정; 및 상기 검색 쿼리에 대응하는 검색 결과로서 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 과정을 처리하는 모션 데이터 검색 시스템을 제공한다.
본 발명의 실시예들은 저가의 모션 캡쳐 장비를 이용하여 간단한 3D 모션 캡쳐로부터 매우 정밀한 모션 데이터를 검색할 수 있는 검색 시스템 및 검색 방법을 제공한다.
도 1은 본 발명의 일 실시예에 있어서, 사용자 단말과 검색 시스템 간의 관계를 개괄적으로 설명하기 위한 도면이다.
도 2와 도 3은 저가의 모션 캡쳐 장치로부터 획득한 간단 모션 데이터의 일 예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 있어서, 모션 데이터를 검색하는 검색 방법을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 있어서, 모션 데이터 검색 결과에 대한 프리뷰 화면을 예시적으로 도시한 것이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
비전 기반 모션 캡쳐의 값비싼 비용 문제 때문에, 최근에는 MS사나 Intel사 등에서 저렴한 3D 뎁스(depth) 카메라가 보급되면서 간단한 3D 모션 캡쳐가 가능해지고 있다. 그러나, 간단한 3D 모션 캡쳐의 경우 기존의 비전 기반 모션 캡쳐에 비해 정확도가 매우 떨어진다. 이러한 점에서 값비싼 비전 기반 모션 데이터를 재활용하는 것이 바람직하나, 수 많은 모션 데이터 중에 자신이 원하는 모션 데이터를 찾는 것은 앞으로 매우 큰 문제가 될 것이다.
본 실시예들은 간단한 3D 모션 캡쳐로부터 비전 기반 모션 캡쳐와 같이 매우 정밀한 모션 데이터를 검색하는 기술에 관한 것이다. 이는, 객체의 움직임에 대응하는 모션 데이터를 검색하여 이를 바탕으로 로봇의 움직임을 제어하는 로봇 시스템은 물론, 더 나아가 모션 캡쳐 데이터를 포함하는 모든 동영상 검색 엔진에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 있어서, 사용자 단말과 검색 시스템 간의 관계를 개괄적으로 설명하기 위한 도면이다.
도 1은 본 발명의 일 실시예에 있어서, 사용자 단말과 검색 시스템 간의 개괄적인 모습을 도시한 것이다. 도 1에서는 검색 시스템(100) 및 사용자 단말(110)을 도시하고 있다. 도 1에서 화살표는 검색 시스템(100)과 사용자 단말(110) 간에 유/무선 네트워크를 통해 데이터가 송수신될 수 있음을 의미할 수 있다.
사용자 단말(110)은 PC, 스마트폰, 태블릿 등으로, 검색 시스템(100)과 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 사용자 단말(110)은 입력 장치로서 모션 캡쳐 장치(111)를 포함할 수 있으며, 이때 모션 캡쳐 장치(111)는 사용자의 움직임을 캡쳐하기 위한 장비로서 웹 카메라나 동작 인식 센서 등이 포함될 수 있다. 사용자 측에서 사용되는 모션 캡쳐 장치(111)로는 비용이 비싼 비전 카메라나 비전 센서를 이용한 비전 기반 모션 캡쳐 시스템이 아닌, 비교적 비용이 저렴한 광학식의 모션 캡쳐 시스템, 예컨대 MS사의 Kinect나 Intel사의 Real Sense 등 저가의 보급형 카메라를 이용한다. 예컨대, Kinect의 모션 캡쳐 장치로부터 획득한 모션 데이터는 도 2와 같고, Real Sense의 모션 캡쳐 장치로부터 획득한 모션 데이터는 도 3과 같으며, 이들은 비교적 간단한 골격에 대한 움직임을 인식한 것이다. 이에, 사용자 단말(110)은 저가의 모션 캡쳐 장치(111)를 통해 사용자의 움직임을 캡쳐한 후 캡쳐한 움직임을 모션 데이터(예를 들어, 사용자의 움직임에 따른 관절들의 3차원 데이터)로 변환하여 변환된 간단 모션 데이터를 검색 쿼리로서 검색 시스템(100)으로 전송한다.
검색 시스템(100)은 검색 쿼리에 대응되는 검색 결과를 제공하는 검색 엔진 역할을 하는 것으로, 비전 기반의 모션 캡쳐를 통해 획득한 정밀 모션 데이터를 검색 대상으로 저장 및 유지하는 데이터베이스를 포함할 수 있다. 사용자 단말(110)의 모션 캡쳐 장치(111)에 의한 간단 모션 데이터와 검색 시스템(100)의 데이터베이스에 저장된 정밀 모션 데이터는 서로 다른 모션 캡쳐 방식으로 획득된 것이다. 이때, 검색 시스템(100)은 사용자 단말(110)로부터 간단 모션 데이터가 포함된 검색 쿼리가 입력되면 데이터베이스에 저장된 정밀 모션 데이터를 간단 모션 데이터의 모션 캡쳐 방식에 맞게 변환한 후, 변환된 정밀 모션 데이터로부터 검색 쿼리에 포함된 간단 모션 데이터와 유사한 적어도 하나의 모션 데이터를 검색할 수 있다. 특히, 검색 시스템(100)은 널리 이용되고 있는 모션 캡쳐 방식에 대하여 정밀 모션 데이터를 미리 변환하여 정밀 모션 데이터와 다른 모션 캡쳐 방식으로 변환된 모션 데이터들을 데이터베이스에 저장해 두고 검색 시 바로 이용할 수 있다.
예를 들어, 사용자가 말춤을 간략하게 동작한 경우, 사용자 단말(110)은 저가의 모션 캡쳐 장치(111)를 이용하여 사용자의 말춤을 캡쳐한 후 간단 모션 데이터로 변환하여 검색 시스템(100)으로 전달하고, 이에 검색 시스템(100)은 데이터베이스에 저장된 정밀 모션 데이터를 간단 모션 데이터의 모션 캡쳐 방식에 맞게 변환한 후 간단 모션 데이터와 유사한 모션 데이터를 포함하는 정밀 모션 데이터를 검색함으로써 사용자가 저가의 모션 캡쳐 장치를 이용하여 간략히 동작한 말춤의 간단 모션 데이터에 대하여 정확한 말춤 동작을 포함하는 정밀 모션 데이터를 검색 결과로서 제공할 수 있다.
도 4는 본 발명의 일 실시예에 있어서, 모션 데이터 검색 방법을 도시한 순서도이다. 일 실시예에 따른 모션 데이터 검색 방법은 도 1을 통해 설명한 검색 시스템에 의해 각각의 단계가 수행될 수 있다.
단계(S410)에서 검색 시스템은 제1 모션 캡쳐 방식에 따른 모션 데이터(이하, '정밀 모션 데이터'라 칭함)를 저장하는 데이터베이스를 유지할 수 있다. 이때, 정밀 모션 데이터는 고가의 비전 시스템을 이용하여 정밀한 모션 캡쳐 방식으로 획득한 모션 데이터를 의미할 수 있다. 여기서, 정밀 모션 데이터는 객체의 움직임을 파일 형식으로 저장한 것으로서, 사람을 예로 하면 인체를 복수의 관절들(예를 들어, 17 내지 23개의 관절들)로 표현하고, 각 관절의 x, y, z 축에 대한 변화량과 회전량을 포함할 수 있다. 이때, 회전량은 각 관절들의 상하 회전(Pitch), 좌우 회전(Yaw) 및 전방 축 회전(Roll)에 따른 회전량을 의미할 수 있다. 그리고, 복수의 관절들 중 주요 관절들은 머리, 가슴, 좌우 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 등의 관절들을 포함할 수 있다. 구체적으로, 정밀 모션 데이터를 저장하는 데이터베이스는 모션 데이터의 파일명, 카테고리, 디스크립션(description), 프레임 카운트, 선택 빈도 등의 정보를 포함할 수 있다.
단계(S420)에서 검색 시스템은 검색 성능을 위하여 널리 이용되고 있는 모션 캡쳐 방식으로 데이터베이스에 저장된 정밀 모션 데이터에 대한 모션 리타겟팅(motion retargeting)을 사전에 수행함으로써 정밀 모션 데이터에 대하여 모션 캡쳐 방식 별 리타겟팅 데이터를 미리 구축할 수 있다. 이때, 모션 리타겟팅을 위한 모션 캡쳐 방식은 정밀 모션 데이터의 제1 모션 캡쳐 방식과는 다른 저가의 보급형 모션 캡쳐 장치에서 지원하는 모션 캡쳐 방식을 의미한다. 즉, 검색 시스템은 현존하는 모션 캡쳐 방식 중에서 사용자들에 의해 주로 사용되는 대표적인 모션 캡쳐 방식들을 선별하고 선별된 각 모션 캡쳐 방식으로 정밀 모션 데이터를 변환한 리타겟팅 데이터를 사전에 획득하여 데이터베이스에 저장 및 유지할 수 있다. 예컨대, 모션 리타겟팅은 모션 데이터에 포함되는 관절의 개수를 단순화 하는 방식으로, 관절의 개수가 많은 정밀 모션 데이터를 관절의 개수가 비교적 러프한 모션 데이터 형태로 변환하는 것이다. 정밀 모션 데이터에 대한 모션 리타겟팅은 다음의 문헌 등에서 연구된 기 공지된 알고리즘들을 이용할 수 있다-[1] On-line motion retargeting KJ Choi, HS Ko - Computer Graphics and Applications, 1999, [2] Using an intermediate skeleton and inverse kinematics for motion retargeting JS Monzani, P Baerlocher, R Boulic… - Computer Graphics …, 2000, [3] Reuse of motion capture data in animation: a review W Geng, G Yu - Computational Science and Its Applications?CCSA …, 2003, [4] Spatial relationship preserving character motion adaptation ESL Ho, T Komura, CL Tai - ACM Transactions on Graphics (TOG), 2010.
단계(S430)에서 검색 시스템은 사용자 단말로부터 정밀 모션 데이터를 검색하기 위한 검색 쿼리로 타겟 모션 데이터를 입력 받을 수 있다. 여기서, 타겟 모션 데이터는 현실 세계에서의 객체의 움직임을 데이터 파일로 나타낸 것이다. 보다 구체적으로, 타겟 모션 데이터는 도 1을 통해 설명한 바와 같이 실제 환경에서 저가의 간단한 모션 캡쳐 장치에 의해 객체의 움직임을 캡쳐한 후 이를 파일 형식으로 획득한 것이다. 이때, 사용자 단말에 설치된 모션 캡쳐 장치는 고가의 비전 기반 모션 캡쳐 시스템이 아닌, 보급형 3D 뎁스 카메라로 구성된 저가의 모션 캡쳐 장비이다. 그리고, 객체는 사람뿐만 아니라, 동물, 기계 등 움직임을 가질 수 있는 모든 객체를 의미할 수 있다. 사용자 단말에서는 모션 캡쳐 장치를 통해 객체의 움직임을 캡쳐하고 캡쳐된 객체의 움직임을 기초로 타겟 모션 데이터를 생성한 후 이를 검색 쿼리로서 검색 시스템으로 전달할 수 있다. 이때, 타겟 모션 데이터는 정밀 모션 데이터와는 다른 모션 캡쳐 방식으로 획득된 모션 데이터로, 저가의 보급형 모션 캡쳐 장치에서 지원하는 제2 모션 캡쳐 방식으로 획득하게 된 간단한 모션 데이터이다. 예를 들어, 타겟 모션 데이터에 해당되는 모션 데이터(이하, '간단 모션 데이터'라 칭함)는 관절들의 정보를 구성하는 형성 부분과, 관절의 회전을 구성하는 동작 부분으로 구성될 수 있다. 이때, 간단 모션 데이터는 정밀 모션 데이터가 표현한 관절의 수 미만의 관절들을 표현한 것으로(예컨대, 정밀 모션 데이터가 24개의 관절의 움직임을 표현한 것이라면, 간단 모션 데이터는 24개보다 적은 개수의 관절의 움직임을 표현한다.), 각 관절의 x, y, z 축에 대한 변화량에 대한 정보를 포함할 수 있고, 각 관절의 상하 회전(Pitch), 좌우 회전(Yaw) 및 전방 축 회전(Roll)에 따른 회전량에 대한 정보를 포함할 수 있다. 이러한 간단 모션 데이터는 정밀 모션 데이터를 검색하기 위한 검색 쿼리로 이용될 수 있으며, 검색 쿼리에는 타겟 모션 데이터로 이용되는 간단 모션 데이터의 모션 캡쳐 방식에 대한 정보(예컨대, 모션 캡쳐 장치의 종류와 버전 등)가 포함되어 검색 시스템으로 전달될 수 있다.
단계(S440)에서 검색 시스템은 사용자 단말로부터 정밀 모션 데이터를 검색하기 위한 검색 쿼리가 입력되면 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식이 단계(S420)에서 리타겟팅 데이터의 확보를 위해 선별한 대표적인 모션 캡쳐 방식에 해당하는지 여부를 판단할 수 있다. 다시 말해, 검색 시스템은 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식에 대응되는 리타겟팅 데이터가 데이터베이스에 저장되어 있는지 여부를 판단할 수 있다.
단계(S450)에서 검색 시스템은 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식이 사전에 선별된 대표적인 모션 캡쳐 방식에 해당되면 데이터베이스로부터 해당 모션 캡쳐 방식에 대응되는 라타겟팅 데이터를 바로 읽어올 수 있다.
한편, 단계(S460)에서 검색 시스템은 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식이 사전에 선별된 대표적인 모션 캡쳐 방식에 해당되지 않은 새롭거나 특수한 모션 캡쳐 방식이면 별도의 리타겟팅을 수행하여 해당 모션 캡쳐 방식의 리타겟팅 데이터를 획득할 수 있다. 즉, 검색 시스템은 검색 쿼리가 입력된 시점에 모션 리타겟팅을 통해 데이터베이스에 저장된 정밀 모션 데이터를 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식에 맞게 변환할 수 있다.
단계(S470)에서 검색 시스템은 데이터베이스에 저장된 정밀 모션 데이터로부터 검색 쿼리에 포함된 타겟 모션 데이터와 유사한 모션 데이터를 검색할 수 있다. 상세하게, 검색 시스템은 검색 쿼리에 포함된 타겟 모션 데이터의 모션 캡쳐 방식에 대응되는 리타겟팅 데이터를 이용하여 타겟 모션 데이터와 유사한 모션 데이터를 포함하는 정밀 모션 데이터를 검색할 수 있다. 이때, 검색 시스템은 리타겟팅 데이터와 타겟 모션 데이터 사이의 유사도를 추출할 수 있다. 유사도가 높은 모션 데이터는 타겟 모션 데이터와 유사한 움직임을 나타낼 수 있으므로, 유사도는 사용자에게 정확한 검색 결과를 제공하기 위한 기준이 될 수 있다. 예를 들어, 검색 시스템은 타겟 모션 데이터 및 리타겟팅 데이터를 복수의 관절들에 따라 분류할 수 있다. 객체가 사람일 경우, 검색 시스템은 인체를 머리, 가슴, 좌우 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 등과 같은 주요 관절에 따라 분류할 수 있다. 그리고, 검색 시스템은 분류된 타겟 모션 데이터 및 리타겟팅 데이터에 대하여 복수의 관절들의 관절별 유사도를 계산할 수 있다. 이 경우, 검색 시스템은 타겟 모션 데이터 및 리타겟팅 데이터에 대하여 복수의 관절들 별로 x, y, z 축에 대한 변화량에 대한 정보 및 상하 회전(Pitch), 좌우 회전(Yaw) 및 전방 축 회전(Roll)에 따른 회전량에 대한 정보를 추출할 수 있다. 그리고, 각 관절별로 타겟 모션 데이터의 변화량 및 회전량과 리타겟팅 데이터의 변화량 및 회전량을 비교함으로써, 타겟 모션 데이터 및 리타겟팅 데이터의 관절별 유사도를 계산할 수 있다.
그리고, 검색 시스템은 관절별 유사도를 기초로 복수의 관절들의 관절별 가중치를 이용하여 리타겟팅 데이터와 타겟 모션 데이터 사이의 유사도를 계산할 수 있다. 구체적으로, 모션 데이터가 나타내는 동작에 따라 관절별 중요도는 다를 수 있다. 예를 들어, 모션 데이터가 팔 운동을 나타내는 경우, 다리 부분보다 팔 부분에 변화량 및 회전량이 많을 수 있다. 이는 다리 부분의 움직임보다 팔 부분의 움직임이 유사도를 판단하는 데 중요할 수 있음을 의미할 수 있다. 따라서, 이 경우, 팔 부분의 관절(예를 들어, 좌우 어깨, 손목, 팔꿈치 관절)의 가중치가 다리 부분의 관절(예를 들어, 골반, 무릎, 발목 관절)의 가중치보다 높을 수 있다. 이 때, 일 실시예에서, 관절별 가중치는 모션 데이터의 관절별 변화량 및 회전량에 기초하여 설정될 수도 있고, 미리 정해진 수치에 따라 설정될 수도 있다. 그리고, 검색 시스템은 리타겟팅 데이터와 타겟 모션 데이터 사이의 유사도를 계산하는데 있어, 관절별 가중치가 높은 관절에 대해서는 관절별 유사도를 많이 반영할 수 있고, 관절별 가중치가 낮은 관절에 대해서는 관절별 유사도를 적게 반영할 수 있다. 이에 따라, 검색 시스템은 보다 정확하게 리타게팅 데이터와 타겟 모션 데이터 사이의 유사도를 계산할 수 있다. 이에, 검색 시스템은 리타겟팅 데이터와 타겟 모션 데이터 사이의 유사도를 바탕으로 타겟 모션 데이터와 유사한 모션 데이터를 포함하는 적어도 하나의 정밀 모션 데이터를 검색할 수 있다.
단계(S480)에서 검색 시스템은 타겟 모션 데이터를 포함한 검색 쿼리에 대한 검색 결과로서 단계(S470)에서 검색된 적어도 하나의 정밀 모션 데이터를 사용자 단말로 제공할 수 있다. 구체적으로, 검색 시스템은 사용자 단말로부터 입력된 검색 쿼리에 대응하는 검색 결과인 적어도 하나의 정밀 모션 데이터를 사용자에게 제공할 수 있고, 이때, 사용자가 검색 결과에서 원하는 정밀 모션 데이터를 확인할 수 있도록 검색 결과에 포함된 정밀 모션 데이터에 대한 재생 기능을 제공할 수 있고, 더 나아가 정밀 모션 데이터에 대한 사용자 단말로의 다운로드 기능을 제공할 수 있다.
이 때, 검색 결과는 검색 쿼리에 따라, 적은 양의 정밀 모션 데이터가 검색될 수도 있지만, 매우 많은 양의 정밀 모션 데이터가 검색될 수도 있다. 이에 따라, 사용자의 효과적인 검색을 위하여, 검색 시스템은 검색 결과를 미리 설정된 기준에 따라 정렬하여 제공할 수 있다. 여기서, 미리 설정된 기준은 유사도, 선택 빈도 및 카테고리를 포함할 수 있다. 보다 구체적으로, 미리 설정된 기준이 유사도인 경우, 검색 시스템은 유사도를 기초로 검색된 적어도 하나의 정밀 모션 데이터를 정렬할 수 있다. 이 경우, 일반적으로 정밀 모션 데이터는 유사도가 높은 순서부터 낮은 순서까지 내림차순으로 정렬될 수 있다. 이에 따라, 사용자는 유사도가 높은 정밀 모션 데이터를 우선적으로 검색함으로써, 사용자는 자신이 원하는 모션 데이터를 보다 빠르게 검색할 수 있다. 그리고, 미리 설정된 기준이 정밀 모션 데이터의 선택 빈도인 경우, 검색 시스템은 정밀 모션 데이터가 다른 사용자들에 의해 선택된 빈도(추천 횟수나 다운로드 횟수 등을 포함)를 기초로 검색된 적어도 하나의 정밀 모션 데이터를 정렬할 수 있다. 이에 따라, 사용자는 다른 사용자에게 선택된 빈도가 높은 정밀 모션 데이터 즉, 인기도가 높은 모션 데이터를 우선적으로 제공받음으로써, 보다 편리하게 검색을 수행할 수 있다. 그리고, 미리 설정된 기준이 카테고리인 경우, 검색 시스템은 정밀 모션 데이터가 분류된 카테고리를 기초로 검색된 적어도 하나의 정밀 모션 데이터를 정렬할 수 있다. 여기서, 카테고리는 정밀 모션 데이터의 속성을 나타낸 것을 의미할 수 있다. 그리고, 하나의 카테고리는 적어도 하나의 서브 카테고리를 포함할 수 있음으로써, 검색된 적어도 하나의 모션 데이터를 세부적으로 분류할 수 있다. 예를 들어, 제1 카테고리가 사람인 경우, 제1 카테고리의 서브 카테고리인 제2 카테고리는 스포츠일 수 있고, 제2 스포츠의 서브 카테고리인 제3 카테고리는 축구일 수 있다. 이에 따라, 사용자는 검색된 적어도 하나의 정밀 모션 데이터를 카테고리 별로 분류된 형태로 제공받음으로써, 보다 편리하게 검색을 수행할 수 있다. 더 나아가, 검색 시스템은 검색 결과에 대한 정렬 기준으로서 앞서 설명한 기준인 유사도, 선택 빈도 및 카테고리를 둘 이상 조합할 수 있다. 예를 들어, 미리 설정된 기준이 유사도 및 선택 빈도인 경우, 검색 시스템은 유사도가 높으면서 선택 빈도 역시 높은 정밀 모션 데이터 순서대로 정렬하여 이를 사용자에게 리턴할 수 있다.
그리고, 일 실시예에서, 검색 시스템은 검색된 정밀 모션 데이터를 썸네일(thumbnail) 영상으로 변환하여 이를 사용자에게 제공할 수 있다. 더 나아가, 다른 일 실시예에서, 검색 시스템은 검색된 적어도 하나의 정밀 모션 데이터의 프리뷰(preview)를 제공할 수 있다. 구체적으로, 사용자에게 검색된 적어도 하나의 정밀 모션 데이터의 파일명, 디스크립션 등만을 제공한다면 사용자는 정밀 모션 데이터의 구체적인 움직임을 인지하지 못한 상태로 정밀 모션 데이터를 선택할 수 있다. 이 경우, 사용자가 원하지 않은 정밀 모션 데이터를 선택할 수 있으므로, 검색 시스템은 사용자에게 프리뷰를 이용하여 정밀 모션 데이터에 해당되는 영상을 제공할 수 있다. 이때, 검색 시스템은 사용자가 프리뷰 하길 원하는 정밀 모션 데이터를 영상 데이터로 변환할 수 있고, 변환한 영상 데이터를 재생하는 형태로 사용자에게 프리뷰를 제공할 수 있다. 그리고, 정밀 모션 데이터를 영상 데이터로 변환할 때, 검색 시스템은 리타겟팅 데이터에 해당되는 대략적인 영상만을 변환할 수도 있고, 정밀 모션 데이터의 전체적인 영상을 변환할 수도 있다. 특히, 검색 시스템은 타겟 모션 데이터와 유사한 모션 데이터가 정밀 모션 데이터의 적어도 일부인 경우 프리뷰를 통해 정밀 모션 데이터의 전체 영역에서 타겟 모션 데이터와 유사한 모션 데이터에 해당되는 구간을 표시해 줄 수 있다. 예컨대, 도 5에 도시한 바와 같이 정밀 모션 데이터에 대한 프리뷰 화면에서 정밀 모션 데이터의 전체 구간(501)과 함께 전체 구간(501) 내에서 타겟 모션 데이터와 유사한 구간(502)을 표시해주고 타겟 모션 데이터와 유사한 구간(502)의 조회는 물론 해당 구간을 기준으로 전후 구간의 영상을 조회할 수 있도록 서비스 할 수 있다. 그리고, 검색 시스템은 사용자로부터 검색된 적어도 하나의 정밀 모션 데이터에 대하여 다운로드 기능을 제공할 수 있다. 검색 시스템은 검색 결과에 포함된 정밀 모션 데이터 중에서 사용자에 의해 선택된 정밀 모션 데이터를 사용자 단말로 다운로드 할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 사용자는 저가의 간단한 모션 캡쳐 장치를 이용하여 검색하고자 하는 모션의 일부 동작을 캡쳐한 후 이를 검색 쿼리로서 검색 엔진에 업로드 할 수 있다. 이에, 검색 엔진에서는 기존 정밀 모션 데이터에 대하여 검색 쿼리에 해당되는 간단 모션 캡쳐의 골격 형태에 맞게 모션 리타겟팅을 수행하여 사용자가 캡쳐한 일부 동작과 가장 유사한 모션을 포함한 정밀 모션 데이터를 검색 결과로 제공할 수 있다. 더욱이, 검색 엔진에서는 검색 결과를 사용자가 쉽게 확인할 수 있도록 검색 결과에 포함된 정밀 모션 데이터의 영상을 재생하는 기능을 제공할 수 있으며, 이때 정밀 모션 데이터의 전체 구간에서 사용자의 캡쳐 동작과 유사한 모션 구간의 위치를 표시해줄 수 있다. 그리고, 검색 엔진에서는 검색 결과 제공 시 검색 결과에 포함된 정밀 모션 데이터를 사용자 선택에 따라 사용자 단말로 다운로드 하는 기능 또한 함께 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 검색 시스템
110: 사용자 단말
111: 모션 캡쳐 장치

Claims (17)

  1. 컴퓨터로 구현되는 모션 데이터 검색 방법에 있어서,
    제1 모션 캡쳐 방식으로 획득한 제1 모션 데이터를 저장하는 데이터베이스를 유지하는 단계;
    제2 모션 캡쳐 방식으로 획득한 제2 모션 데이터가 포함된 검색 쿼리를 입력 받는 단계;
    상기 제1 모션 데이터를 상기 제2 모션 캡쳐 방식에 맞게 변환한 리타겟팅 데이터를 획득하는 단계;
    상기 리타겟팅 데이터와 상기 제2 모션 데이터의 유사도에 기초하여 상기 데이터베이스로부터 적어도 하나의 제1 모션 데이터를 검색하는 단계; 및
    상기 검색 쿼리에 대응하는 검색 결과로서 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계
    를 포함하고,
    상기 제1 모션 데이터와 상기 제2 모션 데이터는 객체의 움직임에 따른 관절의 3차원 데이터이며,
    상기 제1 모션 캡쳐 방식은 스테레오 비전(stereo vision) 기반의 정밀 모션 캡쳐 방식이고,
    상기 제2 모션 캡쳐 방식은 상기 제1 모션 캡쳐 방식에서 표현하는 관절의 개수 미만의 관절을 표현하는 단순 모션 캡쳐 방식인
    모션 데이터 검색 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 검색 쿼리에는 상기 제2 모션 캡쳐 방식에 대한 정보로서 상기 제2 모션 데이터를 생성한 모션 캡쳐 장치의 종류 및 버전(version) 정보 중 적어도 하나가 포함되는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  4. 제1항에 있어서,
    상기 제2 모션 캡쳐 방식은 상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮으며,
    상기 리타겟팅 데이터를 획득하는 단계는,
    상기 제1 모션 데이터에 대하여 상기 제2 모션 캡쳐 방식으로 모션 리타겟팅(motion retargeting)을 수행하는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  5. 제4항에 있어서,
    상기 제1 모션 데이터와 상기 제2 모션 데이터는 객체의 움직임에 따른 관절의 3차원 데이터이며,
    상기 모션 리타겟팅은 상기 제1 모션 데이터에 포함되는 관절의 개수를 상기 제2 모션 캡쳐 방식에 대응되는 관절의 개수로 단순화 시키는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  6. 제4항에 있어서,
    상기 리타겟팅 데이터를 획득하는 단계는,
    상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮은 복수의 모션 캡쳐 방식을 선별한 후, 상기 제1 모션 데이터에 대하여 상기 선별된 모션 캡쳐 방식으로 모션 리타겟팅을 각각 수행하여 모션 캡쳐 방식 별 리타겟팅 데이터를 사전에 획득하고, 상기 모션 캡쳐 방식 별 리타겟팅 데이터 중에서 상기 제2 모션 캡쳐 방식에 해당되는 리타겟팅 데이터를 이용하는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 제1 모션 데이터를 검색하는 단계는,
    상기 제1 모션 데이터의 리타겟팅 데이터와 상기 제2 모션 데이터 사이의 유사도를 추출하는 단계; 및
    상기 유사도를 이용하여 상기 데이터베이스로부터 상기 제2 모션 데이터와 유사한 모션을 포함하는 적어도 하나의 제1 모션 데이터를 검색하는 단계
    를 포함하는 모션 데이터 검색 방법.
  8. 제1항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는,
    상기 검색 결과에 포함된 제1 모션 데이터의 적어도 일부를 영상 데이터로 변환한 후 상기 영상 데이터를 재생하는 프리뷰(preview) 기능을 제공하는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  9. 제8항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는,
    상기 검색 결과에 포함된 제1 모션 데이터의 전체 구간에서 상기 제2 모션 데이터와 유사한 모션 데이터의 구간 위치를 표시하는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  10. 제1항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 단계는,
    상기 검색 결과에 포함된 제1 모션 데이터를 상기 검색 쿼리를 전송한 단말로 다운로드 하는 기능을 제공하는 것
    을 특징으로 하는 모션 데이터 검색 방법.
  11. 적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    제1 모션 캡쳐 방식으로 획득한 제1 모션 데이터를 저장하는 데이터베이스를 유지하는 과정;
    제2 모션 캡쳐 방식으로 획득한 제2 모션 데이터가 포함된 검색 쿼리를 입력 받는 과정;
    상기 제1 모션 데이터를 상기 제2 모션 캡쳐 방식에 맞게 변환한 리타겟팅 데이터를 획득하는 과정;
    상기 리타겟팅 데이터와 상기 제2 모션 데이터의 유사도에 기초하여 상기 데이터베이스로부터 적어도 하나의 제1 모션 데이터를 검색하는 과정; 및
    상기 검색 쿼리에 대응하는 검색 결과로서 상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 과정
    을 처리하고,
    상기 제2 모션 캡쳐 방식은 상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮으며,
    상기 리타겟팅 데이터를 획득하는 과정은,
    상기 제1 모션 데이터에 대하여 상기 제2 모션 캡쳐 방식으로 모션 리타겟팅(motion retargeting)을 수행하는 모션 데이터 검색 시스템.
  12. 삭제
  13. 제11항에 있어서,
    상기 리타겟팅 데이터를 획득하는 과정은,
    상기 제1 모션 캡쳐 방식보다 모션 캡쳐 레벨이 낮은 복수의 모션 캡쳐 방식을 선별한 후, 상기 제1 모션 데이터에 대하여 상기 선별된 모션 캡쳐 방식으로 모션 리타겟팅을 각각 수행하여 모션 캡쳐 방식 별 리타겟팅 데이터를 사전에 획득하고, 상기 모션 캡쳐 방식 별 리타겟팅 데이터 중에서 상기 제2 모션 캡쳐 방식에 해당되는 리타겟팅 데이터를 이용하는 것
    을 특징으로 하는 모션 데이터 검색 시스템.
  14. 제11항에 있어서,
    상기 적어도 하나의 제1 모션 데이터를 검색하는 과정은,
    상기 제1 모션 데이터의 리타겟팅 데이터와 상기 제2 모션 데이터 사이의 유사도를 추출한 후, 상기 유사도를 이용하여 상기 데이터베이스로부터 상기 제2 모션 데이터와 유사한 모션을 포함하는 적어도 하나의 제1 모션 데이터를 검색하는 것
    을 특징으로 하는 모션 데이터 검색 시스템.
  15. 제11항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 과정은,
    상기 검색 결과에 포함된 제1 모션 데이터의 적어도 일부를 영상 데이터로 변환한 후 상기 영상 데이터를 재생하는 프리뷰(preview) 기능을 제공하는 것
    을 특징으로 하는 모션 데이터 검색 시스템.
  16. 제15항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 과정은,
    상기 검색 결과에 포함된 제1 모션 데이터의 전체 구간에서 상기 제2 모션 데이터와 유사한 모션 데이터의 구간 위치를 표시하는 것
    을 특징으로 하는 모션 데이터 검색 시스템.
  17. 제11항에 있어서,
    상기 검색된 적어도 하나의 제1 모션 데이터를 제공하는 과정은,
    상기 검색 결과에 포함된 제1 모션 데이터를 상기 검색 쿼리를 전송한 단말로 다운로드 하는 기능을 제공하는 것
    을 특징으로 하는 모션 데이터 검색 시스템.
KR1020140036024A 2014-03-27 2014-03-27 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 KR101530355B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140036024A KR101530355B1 (ko) 2014-03-27 2014-03-27 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140036024A KR101530355B1 (ko) 2014-03-27 2014-03-27 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101530355B1 true KR101530355B1 (ko) 2015-06-22

Family

ID=53519484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140036024A KR101530355B1 (ko) 2014-03-27 2014-03-27 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101530355B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047748A (ko) * 2017-10-18 2019-05-09 한국전자통신연구원 영상의 객체 처리 방법 및 장치
KR102669074B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058877A (ko) * 2003-12-12 2005-06-17 한국전자통신연구원 모션 데이터 프로세싱 방법
JP2009065714A (ja) * 2008-12-10 2009-03-26 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
KR20100138615A (ko) * 2009-06-25 2010-12-31 주식회사 스페이스일루젼 모션데이터의 검색방법 및 모션라이브러리 검색생성시스템
JP2013200590A (ja) * 2012-03-23 2013-10-03 Fujifilm Corp 類似画像検索装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050058877A (ko) * 2003-12-12 2005-06-17 한국전자통신연구원 모션 데이터 프로세싱 방법
JP2009065714A (ja) * 2008-12-10 2009-03-26 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化方法
KR20100138615A (ko) * 2009-06-25 2010-12-31 주식회사 스페이스일루젼 모션데이터의 검색방법 및 모션라이브러리 검색생성시스템
JP2013200590A (ja) * 2012-03-23 2013-10-03 Fujifilm Corp 類似画像検索装置、方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190047748A (ko) * 2017-10-18 2019-05-09 한국전자통신연구원 영상의 객체 처리 방법 및 장치
KR102022971B1 (ko) * 2017-10-18 2019-09-19 한국전자통신연구원 영상의 객체 처리 방법 및 장치
US10659680B2 (en) 2017-10-18 2020-05-19 Electronics And Telecommunications Research Institute Method of processing object in image and apparatus for same
KR102669074B1 (ko) 2021-11-23 2024-05-24 한국공학대학교산학협력단 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US11509819B2 (en) Providing contextual augmented reality photo pose guidance
Taira et al. InLoc: Indoor visual localization with dense matching and view synthesis
KR102013577B1 (ko) 안무 구상 지원 장치 및 방법
US9852358B2 (en) Information processing device, information processing method, and information processing system
WO2020005635A1 (en) Object-based localization
US10580148B2 (en) Graphical coordinate system transform for video frames
US20150139552A1 (en) Augmented reality interaction implementation method and system
CN105900084A (zh) 用于图像检索的系统、方法及设备
KR20190009081A (ko) 클라우드 소싱 기반의 ａｒ 컨텐츠 템플릿을 수집하여 ａｒ 컨텐츠를 자동으로 생성하는 방법 및 시스템
JP2007094679A (ja) 画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体
KR20210032678A (ko) 환경 변화에 강인한 이미지의 위치 및 방향 추정 방법 및 시스템
CN117083586A (zh) 用于将图像链接到网页的网络浏览器扩展
JP5226651B2 (ja) 類似画像検索装置，類似画像検索方法および類似画像検索プログラム
JP5862243B2 (ja) 情報処理装置、及びその制御方法、プログラム
US20210174087A1 (en) System and method for hybrid visual searches and augmented reality
KR101530355B1 (ko) 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템
US20230169625A1 (en) Computing device displaying image conversion possibility information
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
KR101500831B1 (ko) 관절의 유사도를 이용한 모션 데이터의 검색 및 공유 방법 및 장치
JP6132996B1 (ja) 画像処理装置，画像処理方法，画像処理プログラム
JP4692784B2 (ja) 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置
Dubenova et al. D-InLoc++: Indoor Localization in Dynamic Environments
US20230419571A1 (en) Generating unified embeddings from multi-modal canvas inputs for image retrieval
US20230418861A1 (en) Generating embeddings for text and image queries within a common embedding space for visual-text image searches
US20240004924A1 (en) Retrieving digital images in response to search queries for search-driven image editing

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190321

Year of fee payment: 5