KR100605050B1 - 인간의 3차원 자세 검색방법 및 장치 - Google Patents

인간의 3차원 자세 검색방법 및 장치 Download PDF

Info

Publication number
KR100605050B1
KR100605050B1 KR1019990038054A KR19990038054A KR100605050B1 KR 100605050 B1 KR100605050 B1 KR 100605050B1 KR 1019990038054 A KR1019990038054 A KR 1019990038054A KR 19990038054 A KR19990038054 A KR 19990038054A KR 100605050 B1 KR100605050 B1 KR 100605050B1
Authority
KR
South Korea
Prior art keywords
posture
information
human
difference
dimensional
Prior art date
Application number
KR1019990038054A
Other languages
English (en)
Other versions
KR20010026651A (ko
Inventor
김남규
김해광
Original Assignee
주식회사 팬택앤큐리텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택앤큐리텔 filed Critical 주식회사 팬택앤큐리텔
Priority to KR1019990038054A priority Critical patent/KR100605050B1/ko
Priority to US09/655,036 priority patent/US6557010B1/en
Priority to JP2000272619A priority patent/JP3638249B2/ja
Publication of KR20010026651A publication Critical patent/KR20010026651A/ko
Application granted granted Critical
Publication of KR100605050B1 publication Critical patent/KR100605050B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 인간의 3차원 모델들의 각 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하여 자세 데이터베이스를 구축함과 동시에 질의 3차원 자세(query 3D posture)의 특징을 같은 방법으로 추출한다음, 질의 3차원 자세의 자세기술자와 자세 데이터베이스 내의 자세들의 자세기술자를 비교하여 유사도를 계산하고 그 결과를 출력함으로써 인간의 3차원 자세 데이터를 검색하는 것을 특징으로 하는 인간의 3차원 자세 검색방법 및 장치에 관한 것이다. 본 발명의 3차원 자세 검색방법 및 장치는 적은 데이터량으로 인간의 3차원 자세를 효과적으로 표현함으로써 정확하고 신속한 인간의 3차원 자세 검색을 가능하게 하는 효과를 제공한다.
인간 3차원 자세, 자세 검색방법 및 장치, 몸체 에니메이션화 파리미터, 표준 몸 모델, 관절의 위치정보, 관계 정보, 모양 정보

Description

인간의 3차원 자세 검색방법 및 장치{METHOD AND APPARATUS FOR SEARCHING HUMAN 3D BODY POSTURE}
도 1a는 다리의 움직임에 관련된 BAP를 나타낸 전면 개략도,
도 1b는 다리의 움직임에 관련된 BAP를 나타낸 측면 개략도,
도 2a-c는 BAP를 직접 사용하는 실시예의 다리의 자세에 따른 BAP 계산 결과를 비교 설명하기 위한 도면,
도 3은 본 발명을 적용할 때 자세기술자를 추출하기 위한 인체의 최소 관절의 개략도,
도 4는 본 발명의 3차원 자세 검색방법중 자세기술자 추출 과정의 여러 가지 실시예를 도시한 개략도로, (A)는 BAP를 직접 적용하는 실시예이고, (B)는 표준 몸 모델에 BAP를 적용하여 필요한 관절의 위치 정보를 추출하는 실시예이며, (C)는 표준 몸 모델에 BAP를 적용하되 관절의 위치정보 이외에 관절들간의 관계정보, 및 모양정보도 추출하는 실시예이다.
도 5는 본 발명의 인간의 3차원 자세 검색 장치의 일실시예의 블럭도,
도 6은 도 5의 인간의 3차원 자세 검색 장치의 자세기술자간의 유사도 비교부의 일실시예의 개략도,
도 7은 도 6의 유사도 비교부중 다리 정보 차이 계산기의 일실시예의 상세도이다.
본 발명은 인간의 3차원 자세 검색방법 및 장치에 관한 것으로, 더욱 상세하하게는 인간의 3차원 모델들의 각 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하고 이를 이용하여 3차원 자세 데이터베이스를 신속하고 정확하게 검색할 수 있는 인간의 3차원 자세 검색방법 및 장치에 관한 것이다.
현재까지 자료의 검색은 주로 문자에 기초한 문자 기반 검색(language-based search)이었다. 그러나, 최근 멀티미디어 기술의 발전과 인터넷의 폭발적인 성장으로 방대한 양의 멀티미디어 데이터들이 인터넷 상이나 멀티미디어 데이터베이스 상에 존재하게 됨에 따라, 문자 뿐만 아니라 영화, 합성영상, 정지영상, 동영상, 음성, 음악 등으로 구성된 멀티미디어 데이터 자료 중에서 원하는 멀티미디어 데이터를 효과적으로 검색할 수 있는 검색 방법의 개발이 진행되고 있다.
현재 멀티미디어 데이터 검색 방법 중에서는 컴퓨터 그래픽 기술로 대표되는 가상현실의 등장과 객체지향부호화 기술에 의한 디지털 영상 압축기술의 발전에 힘입어 정지영상 또는 동영상의 검색방법이 가장 활발하게 연구되고 있다. 특히, 가상 공간에서의 3차원 인간 모델은 컴퓨터 및 영상 처리 기술의 발달로 현실감 있 는 영화, 게임, 광고, 및 네트워크 상의 가상 환경 등에 다양하게 사용되고 있어 인간의 3차원 자세 검색은 영상 검색의 중요한 요소가 되고 있다.
인간의 3차원 자세 데이터는 데이터 양이 매우 많고 다양한 형태로 존재할 수 있기 때문에 인간의 3차원 자세 자체를 이용해서 원하는 3차원 자세를 검색하는 것은 불가능하다. 따라서, 인간의 3차원 자세를 검색하기 위해서는 사전에 전처리 과정을 거쳐 각각의 자세를 표현할 수 있는 특징들을 추출하여 자세 데이터베이스를 구축한 후 동일한 방법으로 특징 추출된 질의 3차원 자세(query 3D posture)와 유사도를 비교함으로써 검색을 수행해야만 한다. 이와 같이 인간의 3차원 자세의 특징을 표현하는 모델을 자세기술자(posture descriptor)라 한다.
일반적으로 사용하는 3차원 데이터의 기술자로는 3차원 점들이 공간상으로 얼마나 넓게 분포하고 있는지를 나타내는 볼륨 정보와 점들의 위치 정보를 몇개의 그룹으로 나누어서 표현하는 히스토그램 정보 등이 있다. 그러나, 이러한 정보들은 일반적인 3차원 모델을 표현하기 위한 특징으로 인간의 3차원 자세를 표현하기에는 적합하지 않다.
3차원 인간 모델을 가장 정확하게 표현하는 방법은 각각의 신체 부위를 구성하고 있는 점 정보, 각각의 점들을 연결한 면 정보, 표면의 색상 정보 등으로 표현하는 방법이나, 이러한 방법에 의하면 인간의 3차원 자세를 표현하는 데이터의 양이 매우 방대해진다. 이와 같이 데이터의 양이 많아지면 인간 3차원 모델 데이터를 컴퓨터 상에서 가공할 때 매우 많은 저장 공간이 요구되며, 또한 검색시 검색 시간이 오래 걸려 신속하고 효율적인 검색이 이루어질 수 없다. 따라서, 향후 효 율적인 멀티미디어의 검색을 가능하게 하기 위해서는 효과적인 인간 3차원 자세 검색방법의 개발이 절실히 요구되고 있다.
본 발명의 목적은 적은 데이터 양으로 인간의 3차원 자세를 효과적으로 표현함으로써 신속하고 정확한 데이터베이스 검색을 가능하게 하는 인간의 3차원 자세 검색방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 표준 몸 모델에 적용한 신체 각 부분들간의 위치 정보를 이용함으로써 인간의 체형 등의 차이에도 불구하고 일관된 검색 결과를 수득할 수 있는 신뢰성 있는 인간 3차원 자세의 검색방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 하나의 양상은 인간의 질의 3차원 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하는 자세기술자 추출 단계; 상기 자세기술자 추출 단계와 동일한 과정에 의해 자세 데이터베이스내의 인간의 3차원 모델들의 자세기술자를 추출하는 다른 자세기술자 추출 단계; 상기 인간의 3차원 모델들의 자세기술자들로 자세 데이터베이스를 구축하는 자세 데이터베이스 구축 단계: 상기 인간의 3차원 모델들을 이용하여 3차원 모델 데이터베이스를 구축하는 3차원 모델 데이터베이스 구축 단계; 출력된 질의자세기술자와 자세 데이터베이스내의 자세기술자들을 비교하는 유사도 비교 단계; 상기 유사도 비교 단계의 비교 결과에 따라 유사도를 인덱싱하여 가장 유사도가 높은 자세 데이터베이스내의 자세에 대응하는 3차원 모델 데이터베이스를 출력하는 비교 결과 출력 단계로 구성되는 것을 특징으로 하는 인간의 3차원 자세 검색방법 및 그 장치이다.
본 발명의 다른 양상은 3차원 몸의 각 연결된 이웃한 관절들간의 회전각을 이용하는 BAP를 자세기술자로 직접 사용하거나 BAP 자세기술자를 표준 몸 모델에 적용하여 구한 표준 몸 모델의 BAP 자세기술자를 이용하여 인간의 3차원 자세를 검색하는 방법 및 장치이다.
이하에서 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
본 발명의 인간의 3차원 자세 검색방법에서는 인간의 3차원 자세를 표현하는 자세기술자로 각 관절들간의 관계를 이용한다. 각 관절들간의 관계를 표현할 수 있는 예로서 본 발명은 자세기술자로 몸체 에니메이션화 파라미터(Body Animation Parameter; 이하 BAP라 한다) 정보를 이용하나, 각 관절들간의 관계를 이용한다면 반드시 BAP로 국한되는 것은 아니다. BAP는 인체의 구현과 에니메이션화를 위해 인체의 움직임을 몸의 전체적인 움직임과 각각의 연결된 관절들의 회전각으로 모델링한 것으로, 인체의 주요 관절의 위치를 기본자세에 대한 움직임 차이로 정의한 것이다. 움직임의 차이는 이웃한 관절들간의 회전각 정보로 표현되는데, 관절들간의 회전각은 현재 175개의 파라미터를 사용하여 표시하고 있다. 도 1은 다리와 발에 관련된 BAP를 도시한 것으로, 도 1에서 화살표는 회전각의 중심축을 나타내고 동그라미는 관절들을 나타낸다. 도 1에서 예를 들어 r_hip_flexion은 오른 발 전체가 앞뒤로 회전하는 정보를 나타낸다.
움직임 차이인 BAP n개를 사용하여 자세를 나타내는 특징으로 다음과 같이 자세기술자를 표현할 수 있다.
자세기술자 = {
bap_value[n];
};
각 자세간의 차이를 구하는 방법으로는 하기 수학식 1과 같이 각 BAP 값들의 차이의 절대합을 구하는 방법을 사용할 수 있다.
Figure 111999010897207-pat00010
이상에서 설명한 바와 같은 자세기술자를 이용해서 인간의 3차원 자세를 검색하는 본 발명의 방법의 하나의 바람직한 구현예를 설명하면, 인간의 3차원 자세로 질의를 할 경우에는 영화, 광고, 게임 등에서 사용되는 인간의 3차원 자세를 각 관절들간의 관계를 이용하여 자세기술자로 기술한다. 이와 같이 인간의 3차원 자세를 자세기술자로 기술하여 자세 데이터베이스로 구축하고 여기에 대응하는 3차원 모델들을 3차원 모델 데이터베이스에 저장한다. 이 때 자세 데이터베이스와 3차원 모델 데이터베이스에서 서로 대응되는 값들은 연결되어 있게 한다. 인간의 3차원 자세로 질의를 할 때는 질의자세로부터 자세기술자를 자세 데이터베이스 구축시와 동일한 방법으로 추출해내고 이렇게 해서 추출된 자세기술자와 자세 데이터베 이스내에 저장된 자세기술자들의 유사도를 비교하여 비슷한 자세들을 검색해 낼 수 있고 3차원 데이터베이스에 저장된 값을 사용하여 출력 장치를 통해 검색된 3차원 자세를 출력할 수 있다.
본 발명에서 자세기술자를 추출하는 방법은 여러 가지가 있는데, 하나의 바람직한 방법은 도 4의 (A)와 같이 3차원 몸의 각 연결된 이웃한 관절들간의 회전각 정보인 BAP를 직접 사용하는 것이다.
그러나, 위와 같이 BAP 값을 직접 사용하는 방법에는 몇 가지 약점이 있을 수 있다. 첫 째, 비슷하게 보이는 자세도 다른 BAP 값을 가질 수 있다. 다리 자세를 예로 들면, 도 1에서 1_hip_flexion BAP 값이 0도의 값을 갖고 1_hip_abduct BAP 값이 90도의 값을 갖는 자세와 1_hip_flexion이 180도의 값을 갖고 1_hip_abduct가 90도의 값을 갖는 자세는 유사하게 왼발을 옆으로 뻗는 자세를 나타내지만, 차이정도(Distance) 값은 큰 차이를 나타낸다.
둘 째, BAP 값은 관절들간의 회전각만을 나타내므로 BAP값만으로는 신체 각 부분들 간의 관계 정보를 나타낼 수 없다. 인간은 자세를 인식할 때 몸의 각 부분들만을 따로따로 관찰하는 것이 아니라 각 부분들 간의 관계도 함께 인식한다. 예를 들어, 오른쪽 팔은 올라 갔는데 왼쪽 팔은 내려갔다든지 왼쪽 팔과 오른쪽 팔이 같은 방향으로 향하고 있다든지 하는 각 신체 부분들간의 관계 정보도 중요하다. 도 2는 3가지 다리 자세를 도시한 것으로, 도 2a는 두 다리가 나란히 아래를 향하고 있는 자세이며, 도 2b는 두 다리가 나란히 앞을 향하고 있는 자세이고 도 2c는 오른쪽 다리는 앞을 향하고 왼쪽 다리는 뒤를 향하고 있는 자세를 나타 내고 있다. 도 2a의 자세와 도 2c의 자세 사이의 차이는 왼쪽 다리간 BAP 차이가 90도이고 오른쪽 다리간 BAP 차이가 90도로 총 차이가 180도이고, 도 2a 자세와 도 2c 자세 사이의 총 차이도 180도의 차이를 보인다. 이와 같이 신체 각 부분의 관계를 고려하지 않으면 도 2a 자세와 도 2b 자세 사이가 도 2a 자세와 도 2c 자세 사이보다 서로 유사한 자세임을 나타낼 수 없다. 즉, BAP 값을 직접 자세기술자로 사용해서는 인체의 다양한 자세의 특징을 세밀하게 비교할 수 없는 문제점이 발생할 수 있다.
따라서, 본 발명의 두 번째 양상에서는 이러한 약점을 보완하기 위하여 BAP들을 직접 이용하기 보다는 BAP들을 표준 몸 모델에 적용하여 표준 몸 모델에서의 각 관절들의 위치를 구하여 이것을 자세의 특징으로 사용한다(도 4의 (B) 참조). 본 발명에서와 같이, BAP를 일반적인 인간의 3차원 모델에 적용하지 않고 인간의 자세를 표준화한 표준 몸 모델에 적용하면, 각 모델마다 동일한 자세에서는 동일한 관절의 위치 정보를 얻을 수 있다. 즉, 모델 마다 키가 크고 작거나 마르고 뚱뚱한 등의 체형의 차이로 인해서 절대적인 위치는 달라지나 이와 같이 표준 몸 모델에 적용하면 동일한 위치 정보를 얻을 수 있다. 구체적으로, 도 3에 도시된 바와 같은, 인간의 몸을 표현할 수 있는 최소한의 관절에 해당하는 정보만을 추출하고 각 관절들의 위치정보만 추출하여 자세기술자를 추출하거나(도 4의 (B)), 이렇게 해서 추출된 각 관절의 위치로부터 방향을 추출하여 머리와 몸통, 몸통과 팔, 다리의 관계 등과 같은 몸의 의미있는 부분들 간의 관계에 대한 정보 또는 팔과 다리의 모양정보도 이끌어내어 자세기술자로 사용할 수 있다(도 4의 (C)). 예컨대, 관절 의 위치정보를 벡터로 표현하고 신체 각 부분 사이의 관계는 각 관절을 나타내는 벡터 사이의 각으로 표현할 수 있다. 또 팔과 다리의 경우는 모양정보도 사용할 수 있는데, 이는 팔과 다리의 형태만을 보기 위함으로 각각의 구부러진 각도 정보로 모양을 표현할 수 있다.
몸의 각 부분으로부터 추출된 정보들은 몸의 의미있는 부분과 부분들간의 관계로 구성되는 자세기술자로 예컨대 하기 식과 같이 표현될 수 있다.
자세기술자 = {
머리 관절 위치 정보
몸통 관절 위치 정보, 등
팔 {
관절 위치 정보
왼팔과 오른팔의 관계 정보
팔의 모양정보
}
다리 {
관절 위치 정보
왼쪽 다리와 오른쪽 다리의 관계 정보
다리의 모양 정보
}
관계 정보 {
머리와 몸통의 관계 정보
몸통과 다리의 관계 정보 등
}
};
BAP를 표준 몸 모델에 적용하여 자세기술자를 추출하는 방법으로는 상술한 방법 이외에 상반신, 하반신 등과 같이 크게 나누어 놓고 계층적으로 세밀한 정보들을 추가해 나가는 방법 등의 여러 가지 방법이 있을 수 있다.
질의 자세와 자세 데이터베이스내의 자세기술자들 사이의 유사도 비교단계에서는 자세기술자 차이값들을 직접 합산하여 계산하거나, 그렇지 않으면 몸의 각 부분인 머리, 몸통, 팔, 다리와 몸의 각 부분들 간의 관계 정보 각각간의 차이를 구하여 가중치를 다르게 설정하여 유사도를 계산할 수 있다. 즉, 머리 정보 차이, 몸통 정보 차이, 팔 정보 차이, 다리 정보 차이, 및 관계 정보 차이에 대해 필요에 따라 임의로 설정한 머리 정보 가중치, 몸통 정보 가중치, 팔 정보 가중치, 다리 정보 가중치, 및 관계 정보 가중치를 각각 곱하여 합산함으로써 유사도(차이 정도)를 구할 수 있다. 가중치를 주어 차이 정보를 구하는 하나의 예로 다리의 정보만을 가지고 검색을 하고자 하는 경우 다리에 많은 가중치를 주고 다른 정보(머리, 몸통, 팔 및 관계정보)에 대해서는 가중치를 주지 않으면 된다.
또한, 팔과 다리 정보의 차이를 계산하는 경우에는 관절의 위치 정보차이, 오른팔과 왼팔 또는 왼쪽 다리와 오른쪽 다리 사이의 관계 정보차이, 모양 정보 차 이를 구하여 위치 정보 가중치, 관계 정보 가중치, 모양 정보 가중치를 각각 곱하여 합산함으로써, 각 정보의 비중에 따라 가중치를 설정하여 차이정도를 비교할 수 있다.
이상과 같은 유사도 비교 과정에서 유사도를 인덱싱하면, 자세 데이터베이스 내의 자세 중에서 유사도가 가장 높은 것으로 랭크된 자세에 대응하는 실제의 3차원 모델이 출력장치를 통해 표시 또는 출력된다.
본 발명의 인간의 3차원 자세 검색장치는 다양한 형태로 구현될 수 있는데, 하나의 바람직한 실시예를 본 발명의 인간의 3차원 자세 검색 장치의 일실시예를 도시한 도 5를 참조하여 설명한다. 본 발명의 인간의 3차원 자세 검색장치는 질의 3차원 자세를 입력받아 인간의 3차원 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하는 자세기술자 추출부(10)와 이러한 자세기술자 추출부(10)와 동일한 동작에 의해 인간의 3차원 모델들의 각 자세들의 자세기술자를 추출하는 다른 자세기술자 추출부(10')를 포함한다. 본 발명의 장치에서 자세 데이터베이스 구축부(20)는 상기 자세기술자 추출부(10')에서 추출된 인간의 3차원 모델들의 자세기술자로 자세 데이터베이스(100)를 구축하고, 유사도 비교부(30)는 질의자세기술자 추출부(10)에 의해 출력된 질의 자세기술자와 자세 데이터베이스(100)내의 자세기술자들의 차이정도로서 유사도를 비교하며, 3차원 모델 데이터베이스 구축부(40)는 인간의 3차원 모델들로부터 3차원 모델 데이터베이스(200)를 구축하는 기능을 한다. 상기 유사도 비교부(30)의 비교결과는 비교 결과 인덱싱부(50)로 입력되는데, 비교 결과 인덱싱부(50)는 입력받은 자료를 기초로 유사도의 크기에 따라 자세 데이터베이스(100)내의 자세들을 인덱싱하며, 비교 결과 출력부(60)는 상기 비교 결과 인덱싱부(50)에서 유사도가 가장 높은 것으로 랭크된 자세 데이터베이스내의 자세에 대응하는 3차원 모델을 3차원 모델 데이터베이스(200)로부터 불러와 출력한다.
본 발명의 인간의 3차원 자세 검색장치에서 자세기술자 추출부(10, 및 10')는 다양하게 구현될 수 있는데, 하나의 바람직한 구현예에서 상기 자세 기술자 추출부는 인체의 각각의 연결된 이웃한 관절들간의 회전각을 표현하는 BAP를 자세기술자로 추출한다.
다른 구현예에 있어서, 본 발명의 인간의 3차원 자세 검색 장치는 질의 3차원 자세를 입력받아 BAP를 표준 몸 모델에 적용하여 구한 표준 몸 모델의 관절의 위치정보를 자세기술자(descriptor)로 추출한다. 이와 같은 구현예에서, 자세기술자 추출부(10 및 10')는 BAP를 표준 몸 모델에 적용하여 필요한 최소 관절의 위치에 대한 정보를 추출하는 장치이거나, BAP를 표준 몸 모델에 적용하여 필요한 최소 관절의 위치에 대한 위치정보를 추출하고, 이로부터 각 부분들간의 관계 정보 및 팔과 다리 관절의 모양정보를 추출하여 자세기술자로 사용하는 장치일 수 있다.
도 6을 참조하여 본 발명의 3차원 자세 검색장치의 구성 요소 중에서 질의자세와 자세 데이터베이스(100)내의 자세들간의 유사도 비교부(30)의 일실시예의 구성을 살펴보면, 머리 정보 차이 계산기(31), 몸통 정보 차이 계산기(32), 팔 정보 차이 계산기(33), 다리 정보 차이 계산기(34), 및 관계 정보 차이 계산기(35)는 질 의 3차원 자세 및 자세 데이터베이스(100)내의 자세들의 자세기술자를 입력받아 이들 사이의 머리 정보 차이, 몸통 정보 차이, 팔 정보 차이, 다리 정보 차이 및 관계 정보 차이를 계산해 내고, 곱셈기들(36-1 내지 36-5)은 상기 차이 계산기들(31 내지 35)의 계산 결과에 임의로 설정된 가중치를 곱해주며, 가중치가 곱해진 계산 결과들은 가산기(37)에 의해 합산되어 최종적인 차이정도(유사도)로 출력된다.
본 발명의 검색장치에서 팔 정보 차이 계산기(33) 및 다리 정보 차이 계산기(34)는 관절의 위치 정보 차이, 관계 정보 차이, 및 모양 정보 차이를 모두 고려하여 비교하도록 구현될 수 있는데, 다리 정보 차이 계산기(34)의 일실시예를 도 7에 도시하였다. 도 7의 다리 정보 차이 계산기(34)는 질의 3차원 자세 및 자세 데이터베이스(100)내의 자세들 사이의 다리의 정보로부터 관절 위치 정보 차이를 계산해내는 위치정보 차이 계산기(341), 왼발과 오른발의 관계 정보로부터 관계 정보 차이를 계산해내는 관계 정보 차이 계산기(342), 및 발 모양 정보로부터 모양 정보 차이를 계산해내는 모양 정보 차이 계산기(343)를 조합하여 구현될 수 있다. 또한 다리 정보 차이 계산기(34)는 이러한 각각의 차이값들에 가중치를 적용하는 곱셈기들(344-1 내지 344-3) 및 가중치를 곱한 차이값들을 더하여 차이정도(유사도)를 구하는 가산기(345)를 포함할 수 있다. 이상과 같이 해서 다리정보차이 계산기(34)에 의해 다리정보 차이가 구해지면 곱셈기 36-4는 이 차이값에 다리정보 가중치를 곱해주고 가산기(37)는 다른 부분들의 차이값에 가중치를 곱한 계산값들과 합산하여 전체 자세의 차이정도를 출력한다.
본 발명의 인간의 3차원 자세 검색방법 및 장치에 의하면 인간의 3차원 자세를 표현하는데 많은 데이터를 사용하지 않고 BAP 값만을 사용하여 3차원 자세를 표현하거나 표준 몸 모델에 BAP 값을 적용하여 구한 표준 몸 관절의 위치 정보, 각 관절간의 관계 정보, 관절의 모양정보를 가지고 3차원 자세를 표현함으로써 검색시 적은 데이터를 가지고 신속하고 정확하게 3차원 자세를 검색할 수 있고, 더 나아가 표준 몸 모델에 적용한 신체 각 부분들간의 위치 정보를 이용함으로써 인간의 체형 등의 차이에도 불구하고 일관된 검색 결과를 수득할 수 있다.

Claims (12)

  1. 인간의 질의 3차원 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하는 자세기술자 추출 단계; 상기 자세기술자 추출 단계와 동일한 과정에 의해 인간의 3차원 모델들의 자세기술자를 추출하는 다른 자세기술자 추출 단계; 상기 추출된 인간의 3차원 모델들의 자세기술자들로 자세 데이터베이스를 구축하는 자세 데이터베이스 구축 단계: 상기 인간의 3차원 모델들을 이용하여 3차원 모델 데이터베이스를 구축하는 3차원 모델 데이터베이스 구축 단계; 출력된 질의자세기술자와 자세 데이터베이스내의 자세기술자들을 비교하는 유사도 비교 단계; 상기 유사도 비교 단계의 비교 결과에 따라 유사도를 인덱싱하여 가장 유사도가 높은 자세 데이터베이스내의 자세에 대응하는 3차원 모델 데이터베이스를 출력하는 비교 결과 출력 단계로 구성되는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  2. 제 1항에 있어서, 상기 자세기술자로서 3차원 몸의 각 연결된 이웃한 관절들간의 회전각을 표현하는 BAP(Body Animation Parameter)를 이용하는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  3. 제 2항에 있어서, 상기 자세기술자로 BAP를 표준 몸 모델에 적용하여 구한 표준 몸 모델의 위치정보를 이용하는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  4. 제 3항에 있어서, 상기 자세기술자로 BAP를 표준 몸 모델에 적용하여 구한 각 관절의 위치정보 이외에 몸의 각 부분들 간의 관계정보 또는 팔과 다리의 모양정보를 추가로 사용하는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  5. 제 1항 내지 제 4항중 어느 하나의 항에 있어서, 유사도 비교 단계는 임의의 자세의 머리 정보 차이, 몸통 정보 차이, 팔 정보 차이, 다리 정보 차이, 신체 각 부분들 사이의 관계 정보의 차이에 이들 각각의 자세기술자의 검색비중에 따라, 머리정보 가중치, 몸통 정보 가중치, 팔 정보가중치, 다리 정보 가중치, 및 관계 정보 가중치를 곱하여 차이정도를 합산하여 자세의 유사도를 비교하는 단계를 포함하는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  6. 제 5항에 있어서, 상기 팔 정보 차이 및 다리 정보 차이의 계산 과정은 각 관절의 위치정보 차이, 관계 정보 차이, 및 모양정보의 차이에 위치정보 가중치, 관계 정보 가중치, 및 모양 정보 가중치를 곱한 결과를 합산하여 차이정도를 구하는 과정을 포함하는 것을 특징으로 하는 인간의 3차원 자세 검색방법.
  7. 질의 3차원 자세를 입력받아 인간의 3차원 자세로부터 각 관절들간의 관계를 이용하여 자세기술자를 추출하는 자세기술자 추출부; 상기 자세기술자 추출부와 동일한 동작에 의해 인간의 3차원 모델들의 각 자세들의 자세기술자를 추출하는 다른 자세기술자 추출부; 인간의 3차원 모델들의 자세기술자 데이터로 자세 데이터베이스를 구축하는 자세 데이터베이스 구축부; 질의자세의 자세기술자와 자세 데이터베이스내의 자세기술자들의 차이를 비교하는 유사도 비교부; 인간의 3차원 모델들로부터 3차원 모델 데이터베이스를 구축하는 3차원 모델 데이터베이스 구축부 ; 상기 유사도 비교부의 비교결과를 입력받아 유사도의 크기에 따라 자세 데이터베이스내의 자세들을 인덱싱하는 비교 결과 인덱싱부 및 비교 결과 인덱싱부에서 유사도가 가장 높은 것으로 랭크된 자세 데이터베이스내의 자세에 대응하는 3차원 모델을 3차원 모델 데이터베이스로부터 불러와 출력하는 비교 결과 출력부를 포함하는 인간의 3차원 자세 검색장치.
  8. 제 7항에 있어서, 상기 자세기술자 추출부는 인간의 3차원 몸의 각 연결된 이웃한 관절들간의 회전각을 표현하는 BAP(Body Animation Parameter)를 추출하는 장치인 것을 특징으로 하는 인간의 3차원 자세 검색장치.
  9. 제 8항에 있어서, 상기 자세기술자 추출부는 상기 BAP를 표준 몸 모델에 적용하여 구한 각 관절의 위치정보를 자세기술자로 추출하는 장치인 것을 특징으로 하는 인간의 3차원 자세 검색장치.
  10. 제 9항에 있어서, 상기 자세기술자 추출부는 BAP를 표준 몸 모델에 적용하여 구한 각 관절의 위치정보 이외에 몸의 각 부분들 간의 관계정보 또는 팔과 다리의 모양정보를 추출하는 장치인 것을 특징으로 하는 인간의 3차원 자세 검색장치.
  11. 제 7항 내지 제 10항중 어느 하나의 항에 있어서, 상기 유사도 비교부는 신체의 머리 정보, 몸통 정보, 팔 정보, 다리 정보 및 관계 정보 사이의 차이를 계산해내는 머리 정보 차이 계산기, 몸통 정보 차이 계산기, 팔 정보 차이 계산기, 다리 정보 차이 계산기, 및 관계 정보 차이 계산기, 상기 각 차이 계산기들의 계산 결과에 임의로 설정된 가중치를 곱해주는 가중치 곱셈기들, 가중치가 곱해진 계산 결과를 합산하여 최종적인 유사도를 계산해내는 가산기를 포함하는 것을 특징으로 하는 인간의 3차원 자세 검색장치.
  12. 제 11항에 있어서, 상기 다리 정보 차이 계산기 및 팔 정보 차이 계산기는 질의 3차원 자세 및 자세 데이터베이스내의 자세들 사이의 다리 또는 팔의 정보로부터 관절 위치 정보 차이를 계산해내는 위치정보 차이 계산기; 왼발과 오른발 또는 왼팔과 오른팔의 관계 정보로부터 관계 정보 차이를 계산해내는 관계 정보 차이 계산기; 다리 또는 팔의 모양 정보로부터 모양 정보 차이를 계산해내는 모양 정보 차이 계산기; 이러한 각각의 차이값에 가중치를 적용하는 곱셈기들; 및 가중치를 곱한 차이값들을 더하여 유사도를 구하는 가산기를 포함하는 것을 특징으로 하는 인간의 3차원 자세 검색장치.
KR1019990038054A 1999-09-08 1999-09-08 인간의 3차원 자세 검색방법 및 장치 KR100605050B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1019990038054A KR100605050B1 (ko) 1999-09-08 1999-09-08 인간의 3차원 자세 검색방법 및 장치
US09/655,036 US6557010B1 (en) 1999-09-08 2000-09-05 Method and apparatus for searching human three-dimensional posture
JP2000272619A JP3638249B2 (ja) 1999-09-08 2000-09-08 3次元人体姿勢の検索方法および検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990038054A KR100605050B1 (ko) 1999-09-08 1999-09-08 인간의 3차원 자세 검색방법 및 장치

Publications (2)

Publication Number Publication Date
KR20010026651A KR20010026651A (ko) 2001-04-06
KR100605050B1 true KR100605050B1 (ko) 2006-07-26

Family

ID=19610519

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990038054A KR100605050B1 (ko) 1999-09-08 1999-09-08 인간의 3차원 자세 검색방법 및 장치

Country Status (3)

Country Link
US (1) US6557010B1 (ko)
JP (1) JP3638249B2 (ko)
KR (1) KR100605050B1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100605050B1 (ko) * 1999-09-08 2006-07-26 주식회사 팬택앤큐리텔 인간의 3차원 자세 검색방법 및 장치
KR100483806B1 (ko) * 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
WO2004068300A2 (en) * 2003-01-25 2004-08-12 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP2004288170A (ja) * 2003-03-05 2004-10-14 Olympus Corp 三次元モデル検索方法及びシステム
KR100707786B1 (ko) * 2005-08-16 2007-04-18 정재철 3차원 입체 스캐너와 nc 가공머신을 이용한 인체용 보조기 임시모형 제작 시스템 및 인체용 보조기 임시모형 제작 방법
WO2007102537A1 (ja) * 2006-03-07 2007-09-13 Osaka University 姿勢推定装置および方法
KR101158016B1 (ko) * 2008-12-24 2012-06-25 한국전자통신연구원 상체자세 및 손모양 검출 장치 및 그 방법
KR101035291B1 (ko) * 2009-12-18 2011-05-18 전남대학교산학협력단 관절모델db을 이용한 포즈인식 시스템
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
KR101804848B1 (ko) * 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
JP2013206273A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
JP6248593B2 (ja) * 2013-12-06 2017-12-20 富士通株式会社 姿勢検出装置、姿勢検出方法および姿勢検出プログラム
KR101729195B1 (ko) * 2014-10-16 2017-04-21 한국전자통신연구원 질의동작기반 안무 검색 시스템 및 방법
US20170076629A1 (en) * 2015-09-14 2017-03-16 Electronics And Telecommunications Research Institute Apparatus and method for supporting choreography
US10437565B2 (en) * 2016-08-31 2019-10-08 International Business Machines Corporation Dynamic code suggestion
KR102239953B1 (ko) * 2019-05-09 2021-04-14 (주)도넛시스템엘에스아이 운동칼로리 산출 서비스 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6132180A (ja) * 1984-07-24 1986-02-14 Dainippon Printing Co Ltd ポ−ズジェネレ−タ
JPH0320870A (ja) * 1989-06-19 1991-01-29 Pfu Ltd 画像情報の登録および検索方法
JPH06215103A (ja) * 1993-01-19 1994-08-05 Sony Corp アニメーシヨン作成装置
JP2001134615A (ja) * 1999-09-08 2001-05-18 Hyundai Electronics Ind Co Ltd 3次元人体姿勢の検索方法および検索装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5787279A (en) * 1995-12-22 1998-07-28 International Business Machines Corporation System and method for conformationally-flexible molecular recognition
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US6154222A (en) * 1997-03-27 2000-11-28 At&T Corp Method for defining animation parameters for an animation definition interface
US5970499A (en) * 1997-04-11 1999-10-19 Smith; Kurt R. Method and apparatus for producing and accessing composite data
JP3672723B2 (ja) 1998-02-26 2005-07-20 大日本印刷株式会社 人物cg制作方法
US6417797B1 (en) * 1998-07-14 2002-07-09 Cirrus Logic, Inc. System for A multi-purpose portable imaging device and methods for using same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6132180A (ja) * 1984-07-24 1986-02-14 Dainippon Printing Co Ltd ポ−ズジェネレ−タ
JPH0320870A (ja) * 1989-06-19 1991-01-29 Pfu Ltd 画像情報の登録および検索方法
JPH06215103A (ja) * 1993-01-19 1994-08-05 Sony Corp アニメーシヨン作成装置
JP2001134615A (ja) * 1999-09-08 2001-05-18 Hyundai Electronics Ind Co Ltd 3次元人体姿勢の検索方法および検索装置
US6557010B1 (en) * 1999-09-08 2003-04-29 Hyundai Electronics Industries Co, Ltd. Method and apparatus for searching human three-dimensional posture

Also Published As

Publication number Publication date
US6557010B1 (en) 2003-04-29
KR20010026651A (ko) 2001-04-06
JP2001134615A (ja) 2001-05-18
JP3638249B2 (ja) 2005-04-13

Similar Documents

Publication Publication Date Title
KR100605050B1 (ko) 인간의 3차원 자세 검색방법 및 장치
Mori et al. Recovering 3d human body configurations using shape contexts
US11509819B2 (en) Providing contextual augmented reality photo pose guidance
Mori et al. Estimating human body configurations using shape context matching
US6552729B1 (en) Automatic generation of animation of synthetic characters
Choi et al. Retrieval and visualization of human motion data via stick figures
JP5721233B2 (ja) 画像認識システム
GB2589843A (en) Real-time system for generating 4D spatio-temporal model of a real-world environment
Li et al. Nimble: a non-rigid hand model with bones and muscles
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
Ohkita et al. Non-rigid 3D model retrieval using set of local statistical features
CN117635897B (zh) 三维对象的姿态补全方法、装置、设备、存储介质及产品
CN115083015A (zh) 一种3d人体姿态估计数据标注方式和对应的模型构建方法
Kolonias et al. Fast content-based search of VRML models based on shape descriptors
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
Krüger et al. Multi-mode tensor representation of motion data
CN116934848A (zh) 数据处理方法、装置、设备以及介质
Xia et al. Recent advances on virtual human synthesis
CN112861944A (zh) 一种基于混合模态输入的图像检索方法及装置
CN111738087A (zh) 一种游戏角色面部模型的生成方法和装置
Garcia-Rojas et al. An ontology of virtual humans: incorporating semantics into human shapes
Alemany et al. Advanced Processing of 4D Body Scanning Technology for the Ergonomic Design of Products and Environments
JP4101734B2 (ja) 顔表情推定装置、顔表情推定方法および顔表情推定プログラム
CN118823862A (zh) 一种虚拟形象的显示方法和相关装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120706

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130628

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150708

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 13

EXPY Expiration of term