KR100509922B1 - 3차원 몸동작을 이용한 모션 데이터베이스 검색방법 - Google Patents
3차원 몸동작을 이용한 모션 데이터베이스 검색방법 Download PDFInfo
- Publication number
- KR100509922B1 KR100509922B1 KR10-2002-0082196A KR20020082196A KR100509922B1 KR 100509922 B1 KR100509922 B1 KR 100509922B1 KR 20020082196 A KR20020082196 A KR 20020082196A KR 100509922 B1 KR100509922 B1 KR 100509922B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- value
- data
- search
- searcher
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Abstract
본 발명은 실제 사람의 3차원 몸동작을 이용하여 특징점을 추출하고, 3차원 몸동작 모션 특징을 기반으로 DB 모션들의 유사도를 분석하여 원하는 모션을 검색하기 위한 것으로, 이를 위한 작용은 검색자에 의해 입력된 검색 한정범위(property)에 대응되는 공간 데이터를 위치 데이터로 획득하는 단계와, 획득된 위치 데이터로부터 모 관절에 대한 지역 좌표계의 변환 및 회전을 획득한 후, 칼만 필터를 적용하여 데이터 내의 잡음 요소를 제거하는 단계와, 검색자로부터 라인 분할 및 분류단위를 위한 임계값을 획득하는 단계와, 모든 관절의 괘적에서 샘플링 시간에 해당하는 기울기를 계산하며, 계산된 기울기 값이 획득된 임계값 보다 클 경우 연속된 라인 성분들을 추출하는 단계와, 추출된 라인 성분들을 이용하여 파라미터 공간값으로 변환하고, 변환된 파라미터 공간값을 통해 유사 여부의 판단 및 특징점을 획득하여 다차원 배열을 생성하는 단계와, 생성된 다차원 배열과 모션 DB내의 모든 동작을 이용하여 질의 대상이 되는 배열과의 유사 동작을 선별하기 위한 원형 정합을 획득하여 원형 정합 결과가 임계값 이상이 되는 모션 DB내의 결과물을 출력하는 단계를 포함한다. 따라서,몸 전체의 움직임뿐만 아니라 신체 일부의 동작만을 검색 대상으로 입력하여 유사 동작을 모션 DB에서 질의할 수 있다. 또한, 검색자의 실시간 동작 입력뿐만 아니라, 애니메이터에 의하여 제작된 애니메이션 데이터나 모션 캡쳐에 의하여 선행 제작된 움직임 데이터도 질의를 위한 검색 대상으로 사용 가능하다는 효과가 있다.
Description
본 발명은 3차원 몸동작을 이용한 모션 데이터베이스(DataBase, DB) 검색방법에 관한 것으로, 특히 실제 사람의 3차원 몸동작을 이용하여 특징점을 추출하고, 3차원 몸동작 특징을 기반으로 DB 모션들의 유사 동작을 분석하여 원하는 모션을 검색하도록 하는 방법에 관한 것이다.
통상적으로, 최근 컴퓨터 그래픽 및 가상 현실 기술이 발달함에 따라 실제 사람의 움직임을 컨텐츠에 적용하는 사례가 늘고 있는 실정이다.
이와 같이, 실제 사람의 움직임 동작을 캡쳐하여 컴퓨터 그래픽에서 사용하는 형태로 데이터화 한 것이 모션이며, 이러한 모션을 모션 DB에 저장한다. 이때, 모션들은 속한 분야의 그 분류에 따라 모션의 분류와 이름을 기준으로 DB에 저장되어 있다.
이로 인하여, 종래의 모션 DB에 저장된 모션을 검색하기 위해서는 모션 분류와 이름을 기준으로 검색한다. 그러나, 모션은 단위 동작으로 저장되어 있는 것이 아니라, 필요에 의한 모션을 나누어 생성하므로, 그 길이와 난이도 등이 상이하다.
또한, 하나의 모션은 다양한 여러 가지 다양한 몸 동작을 내포하고 있어 모션 분류와 이름을 기준으로 모션을 검색할 경우, 검색 결과에 만족할 수 없게 되며, 다른 분야로 구분되어 나누어진 모션일 지라도 검색하고자 하는 모션과 유사도가 높은 모션이 존재할 가능성이 있으나, 기존 검색 방법의 경우 이를 질의 검색하기가 쉽지 않다는 문제점이 있다.
이와 같이, 모션 DB 검색 기술로는 1993년 12월 21일 1996-297317로 등록된 "데이터 베이스 검색 시스템"과, 2000년 2월 14일 "웹 문서 분석, 문자인식 및 제스처 인식을 통한 자동 콜링 서비스"와, 1997년 2월 일본 버추얼 리얼리티 학회 대회 논문집에 게재된 "Real-time gesture recognition for control of avatar" 등에 개시되어 있다.
상술한 바와 같이, 개시된 선행기술을 상세하게 설명하면, "데이터 베이스 검색 시스템"은 미리 설정된 시간에 디렉토리 정보 제공 장치로부터 네트워크 상에 분산된 데이터 베이스 내에 저장된 데이터의 위치 정보를 수신하여, 이 위치 정보에 기초하여 데이터 베이스로부터 소망의 데이트를 얻는다.
또한, "데이터 베이스 검색 장치"는 네트워크 상에 분사된 데이터 베이스 내에 저장된 데이터의 위치 정보와 데이터 베이스를 검색하기 위한 시간을 가리키는 시간 정보를 포함하는 시나리오 정보를 수신하여, 이 시나리오 정보 내에 포함된 시간 정보에 따라서 위치 정보에 의해 나타난 데이터 젭이스 상의 위치로부터 소망의 데이터를 얻는다.
따라서, 정보 제공자를 가짐에 의해, 사용자의 자발적인 컴퓨터 조작없이도 위치 정보를 사용자에게 적극적으로 전송하며, 사용자는 마치 텔레비전을 보는 것처럼 컴퓨터의 표시 스크린을 보기만 함으로써 원하는 정보를 볼 수 있는 기술이다.
다음으로, "웹 문서 분석, 문자인식 및 제스처 인식을 통한 자동 콜링 서비스"는 두 가지로 구분되는데, 첫 번째로 웹 문서 분석을 통한 자동 콜링(calling) 서비스로, 인터넷 사용이 급격히 증가하고 관련 기술도 발달되어감에 따라 컴퓨터렴戮킹방송분야의 융합이 이루어지고 있다.
즉, 사용자가 인터넷을 사용하면서 HTML로 만들어진 일반 웹 문서를 검색하던 중에, 웹 문서 내 어느 업체의 전화번호를 마우스로 클릭하게 되면 해당 업체의 광고가 팝업(pop-up)되면서 자동으로 전화를 걸어준다.
두 번째는 문자 인식 및 제스처 인식을 통한 자동(calling) 서비스로, 최근 컴퓨터가 점차 소형화되고 네트워크화가 되는 상황에서 요구되고 있는 멀티 모달 인터페이스(multi-modal interface)의 한 부분으로 개발되고 있는 서비스이며, 사용자가 전자 펜으로 단말기에 특정 업종의 이름을 입력하게 되면, 입력된 내용이 중앙 메인 서버에 전송되어 해당 업종에서 최적의 업체로 광고를 보여주면서 전화 연결을 시켜주게 되는 기술이다.
다음으로, "Real-time gesture recognition for control of avatar"는 제스처 인식을 통한 아바타 제어로서, 팔에 두개의 자기장 센서를 부착하고 센서의 정보를 이용하여 제스처를 인식하고 아바타를 제어하는 기술이다.
이와 같이, 선행 특허에 개시된 기술을 살펴보았을 때, 하나의 모션은 다양한 여러 가지 다양한 몸 동작을 내포하고 있어 모션 분류와 이름을 기준으로 모션을 검색할 경우, 검색 결과에 만족할 수 없게 되며, 다른 분야로 구분되어 나누어진 모션일 지라도 검색하고자 하는 모션과 유사도가 높은 모션이 존재할 가능성이 있으나, 기존 검색 방법의 경우 이를 질의 검색하기가 쉽지 않다는 문제점이 여전히 남아 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 실제 사람의 3차원 몸동작을 이용하여 특징점을 추출하고, 3차원 몸동작 모션 특징을 기반으로 DB 모션들의 유사도를 분석하여 원하는 모션을 검색할 수 있도록 하는 3차원 몸동작을 이용한 모션 DB 검색방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명에서 3차원 몸동작을 이용한 모션 DB 검색방법은 검색자에 의해 입력된 검색 한정범위(property)에 대응되는 공간 데이터를 위치 데이터로 획득하는 단계와, 획득된 위치 데이터로부터 모 관절에 대한 지역 좌표계의 변환 및 회전을 획득한 후, 칼만 필터를 적용하여 데이터 내의 잡음 요소를 제거하는 단계와, 검색자로부터 라인 분할 및 분류단위를 위한 임계값을 획득하는 단계와, 모든 관절의 괘적에서 샘플링 시간에 해당하는 기울기를 계산하며, 계산된 기울기 값이 획득된 임계값 보다 클 경우 연속된 라인 성분들을 추출하는 단계와, 추출된 라인 성분들을 이용하여 파라미터 공간값으로 변환하고, 변환된 파라미터 공간값을 통해 유사 여부의 판단 및 특징점을 획득하여 다차원 배열을 생성하는 단계와, 생성된 다차원 배열과 모션 DB내의 모든 동작을 이용하여 질의 대상이 되는 배열과의 유사 동작을 선별하기 위한 원형 정합을 획득하여 원형 정합 결과가 임계값 이상이 되는 모션 DB내의 결과물을 출력하는 단계를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 3차원 몸동작을 이용한 모션 데이터베이스 검색방법을 수행하기 위한 블록 구성도로서, 검색 한정범위(property) 입력부(10)와, 동작 입력부(20)와, 노이즈 제거부(30)와, 특징점 추출부(40)와, 그래프 생성부(50)와, 유사 동작 질의(query)부(60)를 포함한다.
검색 한정범위(property) 입력부(10)는 검색자에 의한 검색 한정범위(property)를 입력받은 후, 동작 입력부(20)에 제공한다. 여기서, 한정범위는 라인 분할(segmentation) 정밀도와 원형 정합 결과로부터 유사 유무를 결정하기 위한 임계값(threshold) 값이다.
동작 입력부(20)는 검색 한정범위 입력부(10)로부터 제공된 검색 한정범위에 대응하는 공간 데이터, 즉 관절(joint)의 시간에 따른 공간 데이터를 위치(position) 데이터로 획득하고, 획득된 위치 데이터로부터 모 관절(parent joint)에 대한 지역 좌표계(local transform)의 변환(translation) 및 회전(rotation)을 획득하여 노이즈 제거부(30)에 제공한다. 여기서, 변환(translation)은 신체적 특성을 반영하므로 고유성(identity)로 치환한다.
노이즈 제거부(30)는 동작 입력부(20)로부터 제공된 획득 데이터에 대하여 칼만 필터를 적용하여 데이터 내의 잡음(jittering) 요소를 제거하여 특징점 추출부(40)에 제공한다.
특징점 추출부(40)는 노이즈 제거부(30)로부터 제공된 잡음 요소가 제거된 데이터에 대하여 검색자가 선행 입력한 기준값에 따른 특징점을 획득하고 비교를 위한 다차원 배열을 생성한다.
즉, 도 2의 흐름도를 참조하면서, 특징점 추출부(40)의 세부 동작을 설명하면, 검색자로부터 라인 분할(line segmentation) 및 분류단위(classification)을 위한 임계값을 획득한다(단계 201). 여기서, 임계값은 도 1에서 검색자로부터 제공받은 한정범위를 의미한다.
다음으로, 연속된 라인(line) 성분을 추출하는 과정으로, 모든 관절의 궤적에서 샘플링 시간에 해당하는 기울기를 계산하며(단계 202), 계산된 기울기 값이 라인 분할 임계값 보다 클 경우 연속된 라인으로 분할한다. 다시 말해서, 검색키로 사용할 제스처와 검색 대상이 되는 모션 DB 내의 모든 동작들의 관절 괘적(joint trajectory)에 대하여 수행하며, 이러한 반복 동작의 결과로 연속된 라인 성분들을 추출하는 것이다(단계 203).
그리고, 추출된 라인 성분들, 즉 시작(start), 종료(end), 위치(position)으로 구성된 라인 성분들을 가지고서 유사 여부를 판단하기 위해 이들을 파라미터 공간(parameter space) 값으로 변환하여 그래프 생성부(50)에 제공한다(단계 204).
그래프 생성부(50)는 특징점 추출부(40)로부터 제공된 파라미터 공간(parameter space) 값으로 변환된 파라미터 공간 라인의 중심값 x, y, z와 오리엔테이션 r 및 스케일 값 i로 표현하며, 표현된 (x, y, z) (r, i)로 이루어진 두개의 다차원 배열을 분류단위 임계값을 이용하여 다차원 그래프를 생성, 즉 모자이크하여 유사 동작 질의부(60)에 제공한다.
유사 동작 질의부(60)는 그래프 생성부(50)에 의해 생성된 다차원 그래프의 결과로 검색키로 사용할 재스처와 검색 대상이 되는 모션 DB내의 모든 동작들에 대한 유사 유무를 판별하여 유사하다고 판정된 결과물은 검색자에게 출력된다.
즉, 도 3의 흐름도를 참조하면서, 유사 동작 질의부(60)의 세부 동작을 설명하면, 검색자로부터 검색 기준 값을 입력받은 후(단계 301), 각 동작들에 대하여 두개의 다차원 배열에 대한 각각의 원형 정합의 결과, 즉 평가함수(Estimation function) 값을 수학식 1과 같이 획득하여 더한다.
다시 말해서, 모션 DB내의 모든 동작에 대하여 생성하여 획득한 다차원 배열을 질의 대상이 되는 배열과의 원형 정합을 통해 유사한 동작을 선별해 내는 것이다(단계 302).
원형 정합의 결과는 상술한 수학식 1의 실수 값으로 나타내어지며, 임계값 이상이 되는 모션 DB내의 동작에 대하여 검색자에게 검색 결과로 제공된(단계 303).
따라서, 상술한 과정을 거쳐 데이터 분류자에 의한 임의적인 키워드에 의존한 모션 DB 검색에 의존하지 않고서 검색자가 필요로 하는 종류의 동작을 질의할 수 있는 것이다.
상기와 같이 설명한 본 발명은 실제 사람의 3차원 몸동작을 이용하여 특징점을 추출하고, 3차원 몸동작 모션 특징을 기반으로 DB 모션들의 유사도를 분석하여 원하는 모션을 검색함으로써, 몸 전체의 움직임뿐만 아니라 신체 일부의 동작만을 검색 대상으로 입력하여 유사 동작을 모션 DB에서 질의할 수 있다. 또한, 검색자의 실시간 동작 입력뿐만 아니라, 애니메이터에 의하여 제작된 애니메이션 데이터나 모션 캡쳐에 의하여 선행 제작된 움직임 데이터도 질의를 위한 검색 대상으로 사용 가능하다는 효과가 있다.
도 1은 본 발명에 따른 3차원 몸동작을 이용한 모션 데이터베이스 검색방법을 수행하기 위한 블록 구성도이며,
도 2는 도 1에 도시된 특징점 추출부에 대한 세부 동작 과정을 도시한 흐름도이며,
도 3은 도 1에 도시된 유사 동작 질의(Query)부에 대한 세부 동작 과정을 도시한 흐름도이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 검색 한정범위 입력부 20 : 동작 입력부
30 : 노이즈 제거부 40 : 특징점 추출부
50 : 그래프 생성부 60 : 유사 동작 질의부
Claims (6)
- 모션 데이터베이스 검색방법에 있어서,검색자에 의해 입력된 검색 한정범위(property)에 대응되는 공간 데이터를 위치 데이터로 획득하는 단계와,상기 획득된 위치 데이터로부터 모 관절에 대한 지역 좌표계의 변환 및 회전을 획득한 후, 칼만 필터를 적용하여 데이터 내의 잡음 요소를 제거하는 단계와,상기 검색자로부터 라인 분할 및 분류단위를 위한 임계값을 획득하는 단계와,모든 관절의 괘적에서 샘플링 시간에 해당하는 기울기를 계산하며, 상기 계산된 기울기 값이 상기 획득된 임계값 보다 클 경우 연속된 라인 성분들을 추출하는 단계와,상기 추출된 라인 성분들을 이용하여 파라미터 공간값으로 변환하고, 상기 변환된 파라미터 공간값을 통해 유사 여부의 판단 및 특징점을 획득하여 다차원 배열을 생성하는 단계와,상기 생성된 다차원 배열과 모션 DB내의 모든 동작을 이용하여 질의 대상이 되는 배열과의 유사 동작을 선별하기 위한 원형 정합을 획득하여 상기 원형 정합 결과가 상기 임계값 이상이 되는 모션 DB내의 결과물을 출력하는 단계를 포함하는 3차원 몸동작을 이용한 모션 데이터베이스 검색방법.
- 제 1 항에 있어서,상기 한정범위(property)는, 라인 분할 정밀도와 원형 정합 결과로부터 유사 유무를 결정하기 위한 임계값인 것을 특징으로 하는 3차원 몸동작을 이용한 모션 데이터베이스 검색방법.
- 제 1 항에 있어서상기 파라미터 공간값은, 파라미터 공간 라인의 중심값 x, y, z과 오리엔테이션 r 및 스케일 값 i로 표현되며, 상기 표현된 (x, y, z) (r, i)로 이루어진 두개의 다차원 배열을 분류단위 임계값을 이용하여 다차원 그래프를 생성하는 것을 특징으로 하는 3차원 몸동작을 이용한 모션 데이터베이스 검색방법.
- 제 1 항에 있어서,상기 원형 정합 결과는, 평가 함수값이며, 상기 평가 함수값은,수학식 1Estimation function=C＊C/ {(M＊M)}, C:매칭된 갯수, M:다차원 배열크기 에 의해 계산되는 것을 특징으로 하는 3차원 몸동작을 이용한 모션 데이터베이스 검색방법.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0082196A KR100509922B1 (ko) | 2002-12-21 | 2002-12-21 | 3차원 몸동작을 이용한 모션 데이터베이스 검색방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0082196A KR100509922B1 (ko) | 2002-12-21 | 2002-12-21 | 3차원 몸동작을 이용한 모션 데이터베이스 검색방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040055503A KR20040055503A (ko) | 2004-06-26 |
| KR100509922B1 true KR100509922B1 (ko) | 2005-08-25 |
Family
ID=37348174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0082196A KR100509922B1 (ko) | 2002-12-21 | 2002-12-21 | 3차원 몸동작을 이용한 모션 데이터베이스 검색방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100509922B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100661052B1 (ko) * | 2006-09-01 | 2006-12-22 | (주)큐텔소프트 | 유비쿼터스 센서 네트워크를 이용한 3차원 가상현실 콘텐츠구현 시스템 및 구현 방법 |
| KR100847143B1 (ko) | 2006-12-07 | 2008-07-18 | 한국전자통신연구원 | 실시간 동영상의 실루엣 기반 대상체 행동 분석 시스템 및방법 |
| KR100886486B1 (ko) * | 2008-01-28 | 2009-03-05 | 주식회사 매크로그래프 | 다관절체의 동작 데이터 저장 방법 |
| KR101243771B1 (ko) * | 2011-06-23 | 2013-03-14 | 세종대학교산학협력단 | 동작 데이터의 동기화 방법 및 장치 |
-
2002
- 2002-12-21 KR KR10-2002-0082196A patent/KR100509922B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040055503A (ko) | 2004-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hanjalic et al. | Automated high-level movie segmentation for advanced video-retrieval systems | |
| US10949702B2 (en) | System and a method for semantic level image retrieval | |
| JP6986187B2 (ja) | 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム | |
| US20080243774A1 (en) | Method and Software Program for Searching Image Information | |
| CN101489073B (zh) | 信息处理装置以及信息处理方法 | |
| US20030195901A1 (en) | Database building method for multimedia contents | |
| US20120287304A1 (en) | Image recognition system | |
| CN111949814A (zh) | 搜索方法、装置、电子设备和存储介质 | |
| Pham et al. | Human action recognition using dynamic time warping and voting algorithm | |
| JP2014523019A (ja) | 動的ジェスチャー認識方法および認証システム | |
| CN106407268B (zh) | 一种基于覆盖率最优化法的内容检索方法及系统 | |
| CN105303449A (zh) | 基于相机指纹特征的社交网络用户的识别方法和系统 | |
| KR101189609B1 (ko) | 이미지에 기반한 동영상 관련 서비스 제공 시스템 및 방법 | |
| EP3901892A2 (en) | Commodity guiding method and apparatus, electronic device, storage medium, and computer program product | |
| CN111783619A (zh) | 人体属性的识别方法、装置、设备及存储介质 | |
| KR100509922B1 (ko) | 3차원 몸동작을 이용한 모션 데이터베이스 검색방법 | |
| US20020087577A1 (en) | Database building method for multimedia contents | |
| JPH11250106A (ja) | 内容基盤の映像情報を利用した登録商標の自動検索方法 | |
| Wachman et al. | Tools for browsing a TV situation comedy based on content specific attributes | |
| JP5066172B2 (ja) | 動画表示装置、動画表示方法、プログラム及び端末装置 | |
| Jiang et al. | Web-based image indexing and retrieval in JPEG compressed domain | |
| JP2001229382A (ja) | 情報蓄積装置，情報検索装置および情報蓄積方法，情報検索方法並びにこれらの方法を記録した記録媒体 | |
| Ali et al. | Key frame extraction methods | |
| CN110209881B (zh) | 视频搜索方法、装置及存储介质 | |
| Jadhav et al. | SURF based Video Summarization and its Optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080805 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |