KR100682987B1 - 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법 - Google Patents

선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법 Download PDF

Info

Publication number
KR100682987B1
KR100682987B1 KR1020060009840A KR20060009840A KR100682987B1 KR 100682987 B1 KR100682987 B1 KR 100682987B1 KR 1020060009840 A KR1020060009840 A KR 1020060009840A KR 20060009840 A KR20060009840 A KR 20060009840A KR 100682987 B1 KR100682987 B1 KR 100682987B1
Authority
KR
South Korea
Prior art keywords
motion
feature
recognition
dimensional
data
Prior art date
Application number
KR1020060009840A
Other languages
English (en)
Inventor
이재호
박창준
이인호
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2006/005203 priority Critical patent/WO2007066953A1/en
Priority to US12/091,625 priority patent/US20080285807A1/en
Application granted granted Critical
Publication of KR100682987B1 publication Critical patent/KR100682987B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • C—CHEMISTRY; METALLURGY
    • C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F3/00—Biological treatment of water, waste water, or sewage
    • C02F3/02—Aerobic processes
    • C02F3/12—Activated sludge processes
    • C02F3/22—Activated sludge processes using circulation pipes
    • C02F3/226—"Deep shaft" processes
    • C—CHEMISTRY; METALLURGY
    • C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
    • C02F3/00—Biological treatment of water, waste water, or sewage
    • C02F3/02—Aerobic processes
    • C02F3/12—Activated sludge processes
    • C02F3/1278—Provisions for mixing or aeration of the mixed liquor
    • C02F3/1294—"Venturi" aeration means

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Organic Chemistry (AREA)
  • Multimedia (AREA)
  • Microbiology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Water Supply & Treatment (AREA)
  • Chemical & Material Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Hydrology & Water Resources (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 다수 유형의 동작에 따른 동작데이터를 선형판별 분석기법(LDA: Linear Discriminant Analysis)으로 분석하여 선형판별 특징기저를 생성하고 그 생성된 특징기저를 이용하여 기준동작 특징을 추출/저장한 후, 그 추출/저장된 기준동작 특징 중에서 인식하고자 하는 3차원 동작(입력동작)의 특징과 일치하는 기준동작 특징을 검색함으로써, 3차원 동작 응용시스템(예를 들면 3D 게임, 가상현실, 유비쿼터스 환경 등)에서 인간과 시스템 간의 상호작용을 용이하게 하며 직관적인 몰입감을 제공할 수 있게 하는, 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 선형판별 분석기법을 이용한 3차원 동작인식 장치에 있어서, 동작자의 동작을 마커프리 모션캡쳐를 이용하여 동작마다 동작 데이터를 생성하기 위한 3차원 모션캡쳐 수단; 상기 3차원 모션캡쳐 수단에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고, 상기 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 상기 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하기 위한 동작인식 학습 수단; 및 상기 3차원 모션캡쳐 수단에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 상기 동작인식 학습 수단에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한 후, 상기 동작인식 학습 수단에 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징과 일치되는 기준동작 특징을 검색하여 상기 검색된 기준동작 특징에 해당하는 동작을 상기 입력동작에 대한 3차원 동작으로 인식하기 위한 동작인식 실행 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 3차원 동작인식 등에 이용됨.
마커프리 모션캡쳐, 선형판별분석, 3차원 동작 인식, 3차원 게임 제어, 가상현실, 증감현실, 선형판별 특징기저, 기준동작 특징

Description

선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그 방법{Apparatus and Method for Three-dimensional Motion Recognition using Linear Discriminant Analysis}
도 1 은 본 발명에 따른 선형판별 분석기법을 이용한 3차원 동작인식 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 도 1의 동작인식 학습/실행부 및 3차원 동작 응용부의 일실시예 상세구성도,
도 3 은 종래의 고유기저분석(PCA) 방식과 본 발명에 따른 선형판별분석(LDA) 방식의 비교도,
도 4 는 본 발명에 따른 마커프리 모션캡쳐한 동작을 3차원 그래픽으로 객체복원하는 방법에 대한 일실시예 설명도,
도 5a 및 도 5b 는 본 발명에 따른 도 1의 3차원 동작 응용부를 이용한 3차원 게임에서 사용되는 동작 분류의 일실시예 예시도,
도 6 은 본 발명에 따라 구현된 3차원 게임의 일실시예 예시도이다.
* 도면의 주요 부분에 대한 부호 설명
100: 3차원 모션 캡쳐부 200: 동작인식 학습/실행부
210: 동작인식 학습부 211: 동작데이터 분석부
212: 특징 기저 생성부 213: 동작 특징 학습부
220: 동작 인식 실행부 221: 동작 특징 추출부
222: 동작 인식부 223: 동작 명령 전달부
300: 3차원 동작 응용부 310: 키 입력 생성부
320: 가상동작 제어부
본 발명은 선형판별 분석기법(LDA: Linear Discriminant Analysis)을 이용한 3차원 동작인식 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 다수 유형의 동작에 따른 동작데이터를 선형판별 분석기법으로 분석하여 선형판별 특징기저를 생성하고 그 생성된 특징기저를 이용하여 기준동작 특징을 추출/저장한 후, 그 추출/저장된 기준동작 특징 중에서 인식하고자 하는 3차원 동작(입력동작)의 특징과 일치하는 기준동작 특징을 검색함으로써, 3차원 동작 응용시스템(예를 들면 3D 게임, 가상현실, 유비쿼터스 환경 등)에서 인간과 시스템 간의 상호작용을 용이하게 하며 직관적인 몰입감을 제공할 수 있게 하는, 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그 방법에 관한 것이다.
종래의 동작인식 기술에는 휴대단말을 이용한 동작인식 기술, 적외선 반사체를 이용한 동작인식 기술, 2차원 영상을 이용한 동작인식 기술 등이 있다. 이하, 각각 종래기술의 간단한 설명과 그 문제점을 살펴보면 다음과 같다.
먼저, 종래의 휴대단말을 이용한 동작인식 기술에는 휴대단말로부터의 기계적 신호를 이용하여 동작을 인식하고 인식된 명령을 전달하는 기술인데, 이는 휴대단말을 잡는 손의 움직임 패턴을 감지함으로써 휴대단말의 버튼 조작 없이도 인간의 명령을 전달하기 위한 것이다. 하지만, 이러한 종래기술은 가속도 센서를 부착하여 간단한 기기의 동작만을 제어할 뿐 인간의 3차원 동작을 인식하기 곤란하다는 문제점이 있었다.
다른 종래의 적외선 반사체를 입력신호로 이용한 동작인식 기술에는 마우스나 포인팅 장치의 인터페이스를 대체할 수 있는 기술이 있는데, 이는 적외선 발생 장치에서 손을 향해 적외선을 발생하고 손의 적외선 반사체 골무에서 반사된 적외선 영상을 처리함으로써 특히 손의 제스처를 인식하기 위한 것이다. 하지만, 이러한 종래기술은 적외선 반사체, 적외선 발생 장치, 영상 획득 장치를 구비해야 하기 때문에 비용이 증가한다는 문제점이 있으며, 특징 지점에 대한 정확한 광학 특성을 파악할 수 있는 장점이 있으나 인간의 전체 동작을 인식하기 곤란하다는 문제점이 있었다.
또 다른 종래의 2차원 영상을 이용한 동작 인식 기술에는 2차원 특징점 기반의 동작 인식으로 2차원 영상에 의한 동작을 분류하고 분류된 동작에 대한 키 코드를 생성하는 기술이 있는데, 이는 2차원 영상에서 정해진 특징점을 추출하고 그 추 출된 특징점을 이용하여 동작을 인식함으로써 2차원 동작을 인식하기 위한 것이다. 하지만, 이러한 종래기술은 2차원 동작 인식을 응용한 장치에는 사용되고 있으나 3차원 게임이나 가상현실 등과 같은 3차원 동작을 응용하는 분야에는 사용되지 못한다는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 다수 유형의 동작에 따른 동작데이터를 선형판별 분석기법으로 분석하여 선형판별 특징기저를 생성하고 그 생성된 특징기저를 이용하여 기준동작 특징을 추출/저장한 후, 그 추출/저장된 기준동작 특징 중에서 인식하고자 하는 3차원 동작(입력동작)의 특징과 일치하는 기준동작 특징을 검색함으로써, 3차원 동작 응용시스템(예를 들면 3D 게임, 가상현실, 유비쿼터스 환경 등)에서 인간과 시스템 간의 상호작용을 용이하게 하며 직관적인 몰입감을 제공할 수 있게 하는, 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 선형판별 분석기법을 이용한 3차원 동작인식 장치에 있어서, 동작자의 동작을 마커프리 모션캡쳐(Marker-free Motion Capture)를 이용하여 동작마다 동작 데이터를 생성하기 위한 3차원 모션캡쳐 수단; 상기 3차원 모션캡쳐 수단에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고, 상기 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 상기 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하기 위한 동작인식 학습 수단; 및 상기 3차원 모션캡쳐 수단에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 상기 동작인식 학습 수단에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한 후, 상기 동작인식 학습 수단에 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징과 일치되는 기준동작 특징을 검색하여 상기 검색된 기준동작 특징에 해당하는 동작을 상기 입력동작에 대한 3차원 동작으로 인식하기 위한 동작인식 실행 수단을 포함한다. 또한, 상기 본 발명은, 상기 동작 인식 수단에서 인식된 3차원 동작을 캐릭터의 동작 명령으로 전달하기 위한 동작명령 전달 수단; 상기 동작명령 전달 수단을 통하여 전달된 동작 명령에 대한 키 입력값을 생성하기 위한 키 입력 생성 수단; 및 상기 키 입력 생성 수단에서 생성된 키 입력값에 따라 상기 캐릭터의 3차원 상의 가상 동작을 제어하기 위한 3차원 가상동작 제어 수단을 더 포함한다.
한편, 본 발명은, 선형판별 분석기법을 이용한 3차원 동작인식 방법에 있어 서, 동작자의 동작을 마커프리 모션캡쳐를 이용하여 동작마다 동작 데이터를 생성하는 동작데이터 생성 단계; 상기 동작데이터 생성 단계에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 미리 저장된 선형판별 특징기저를 이용하여 동작 특징을 추출하는 동작특징 추출 단계; 미리 저장된 기준동작 특징들 중에서, 상기 동작특징 추출 단계에서 추출된 입력동작 특징과의 통계적 거리가 최소인 기준동작 특징을 검색하는 동작특징 검색 단계; 및 상기 동작특징 검색 단계에서 검색된 기준동작 특징에 해당하는 동작을 상기 동작특징 추출 단계에서의 입력동작에 대한 3차원 동작으로 인식하는 동작 인식 단계를 포함한다. 또한, 본 발명은, 상기 동작데이터 생성 단계에서 생성된 복수의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하여 저장하는 특징기저 생성 단계; 상기 특징기저 생성 단계에서 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하는 동작특징 추출/저장 단계; 및 상기 동작특징 추출/저장 단계에서 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하는 동작특징 학습 단계를 더 포함한다. 또한, 본 발명은, 상기 동작 인식 단계에서 인식된 3차원 동작을 캐릭터의 동작 명령으로 전달하는 동작명령 전달 단계; 상기 동작명령 전달 단계에서 전달된 동작 명령에 대한 키 입력값을 생성하기 위한 키 입력 생성 단계; 및 상기 키 입력 생성 단계에서 생성된 키 입력값에 따라 상기 캐릭터의 3차원 상의 가상 동작을 제어하기 위한 3차원 가상동작 제어 단계를 더 포함한다.
본 발명은, 선형판별 분석기법을 이용하여 인간의 동작들을 실시간으로 인식 하여 그 인식된 동작을 3차원 응용시스템에 이용함으로써, 3차원 동작에 대한 인간과 컴퓨터의 상호작용을 용이하게 하며 실시간으로 입력되는 3차원 동작에 대한 직관적인 몰입감을 제공할 수 있게 하는 3차원 동작인식을 제공하기 위한 것이다.
이를 위해서는, 다수 유형의 동작에 대한 동작데이터를 선형판별 분석기법으로 분석하여 선형판별 특징기저를 생성하고 그 생성된 특징기저를 이용하여 기준동작 특징을 추출/저장한 후, 그 추출/저장된 기준동작 특징 중에서 인식하고자 하는 3차원 동작(입력동작)의 특징과 일치하는 기준동작 특징을 검색한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 선형판별 분석기법을 이용한 3차원 동작인식 장치에 대한 일실시예 구성도이다. 이하, 본 발명에 따른 3차원 동작 인식 장치를 설명하면서, 이 장치 내에서 수행되는 선형판별 분석기법을 이용한 3차원 동작인식 방법도 함께 설명하기로 한다.
선형판별 분석기법을 이용한 3차원 동작인식 장치는, 도 1에 도시된 바와 같이, 3차원 모션캡쳐부(100), 동작 인식 학습/실행부(200), 3차원 동작 응용부(300) 를 포함하여 이루어진다. 이하, 각각의 구성요소에 대하여 살펴보면 다음과 같다.
3차원 모션캡쳐부(100)는 서로 다른 각도를 가진 다수의 카메라를 이용하여 동작자(actor)를 촬영하고, 그 촬영된 서로 다른 동작자의 영상으로부터 추출된 동작 특징점의 덩어리 모델(blob model)을 이용하여 2차원 특징점을 추적한다.
이후, 3차원 모션캡쳐부(100)는 추적된 2차원 특징점들을 3차원 정합하여 3차원 좌표를 복원하고 그 복원된 2차원 특징점의 3차원 좌표로부터 중간관절 등의 위치를 추정하여 3차원 동작 데이터를 생성하고 그 생성된 3차원 동작 데이터를 인체모델로 복원한다.
여기서, 본 발명에 따른 3차원 동작 데이터는 마커프리 모션캡쳐를 이용하여 획득된 동작의 위치 정보를 알려주는 일련의 수치 값들로 구성되며 모션캡쳐를 이용하여 획득되는 동작 데이터 파일은 HTR(Hierarchical Translation-Rotation), BVH(BioVision Hierarchy) 형식 등으로 저장된다.
동작 인식 학습/실행부(200)는 3차원 모션캡쳐부(100)에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고 그 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하여 그 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식한다.
여기서, 다수 유형의 동작은, 도 5a 및 도 5b에 도시된 바와 같이, 3차원 동작 응용부(300)에 적용 가능한 3차원 동작들이 포함되며, 기준동작 특징은 인식 대상이 되는 동작으로부터 추출된 동작 특징을 의미한다.
이후, 동작 인식 학습/실행부(200)는 3차원 모션캡쳐부(100)에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 선형판별 특징기저를 이용하여 동작 특징을 추출한 후, 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징과 일치되는 기준동작 특징을 검색하여 그 검색된 기준동작 특징에 해당하는 동작을 입력동작에 대한 3차원 동작으로 인식한다.
3차원 동작 응용부(300)는 동작인식 학습/실행부(200)로부터 전달된 동작 명령에 해당하는 키 입력을 이용하여 캐릭터의 3차원 상의 가상 동작을 제어한다. 즉, 3차원 동작 응용부(300)는 동작 인식 학습/실행부(200)에서 인식된 3차원 동작에 대한 키 입력 값에 따라 캐릭터의 3차원 동작을 제어하여 3차원 시스템(예를 들면 3D 게임, 가상현실, 유비쿼터스 환경 등)의 가상의 캐릭터를 실시간으로 구현하는 기능을 수행한다.
도 2 는 본 발명에 따른 도 1의 동작인식 학습/실행부 및 3차원동작 응용부의 일실시예 상세구성도이다. 이하, 도 2를 참조하여 동작인식 학습부(210)와 동작인식 실행부(220)로 구성되는 동작인식 학습/실행부(200)를 살펴보면 다음과 같다.
동작인식 학습부(210)는, 도 2에 도시된 바와 같이, 동작 데이터 분석부(211), 특징 기저 생성부(212), 동작 특징 학습부(213)를 포함하여 이루어진다.
동작인식 학습부(210)는 3차원 모션캡쳐부(100)에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고, 그 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 그 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식한다.
이하, 각각의 구성요소를 상세히 설명하면 다음과 같다.
동작 데이터 분석부(211)는 3차원 모션캡쳐부(100)에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석한다. 여기서, 다수 유형의 동작은, 도 5a 및 도 5b에 도시된 바와 같이, 3차원 동작 응용부(300)에 적용 가능한 3차원 동작을 미리 정하여 분류된 동작이다.
특징 기저 생성부(212)는 동작 데이터 분석부(211)로부터 분석된 다수 유형의 동작에 대한 동작 데이터에 대하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성한다.
여기서, 도 3 은 종래의 고유기저분석(PCA: Principal Component Analysis)방식인 도 3의 (a)와 본 발명에 따른 선형판별분석(LDA)방식인 도 3의 (b)의 비교도이다. 이하, 고유기저분석(PCA)기법과 선형판별분석(LDA)기법을 도 3 을 참조하여 설명하면 다음과 같다.
본 발명에 따른 특징 기저는 3차원 동작 데이터의 주성분을 분석하는 PCA방식보다 각 클래스별로 3차원 동작 데이터를 판별하기 용이한 선형판별 분석(LDA)기법으로 구현된다. 여기서, 고유기저분석(PCA)기법은 3차원 동작 데이터의 판별보다는 재구현에 용이한 기저 벡터이기 때문에 판별 능력이 떨어지는 반면, 선형판별 분석(LDA)기법은 통계적으로 각 군들에 대한 특성을 판단하여 반복적으로 분할하기 용이한 기저 벡터를 생성하는 방식이다.
선형판별 기저벡터(
Figure 112006007744978-pat00001
)는 다음의 [수학식 1]로 나타난다.
Figure 112006007744978-pat00002
상기 [수학식 1]에서
Figure 112006007744978-pat00003
는 클래스 간 분산 행렬(between-class scatter matrix),
Figure 112006007744978-pat00004
는 클래스 내의 분산 행렬(within-class scatter matrix)이며 다음의 [수학식 2]로 정의된다.
Figure 112006007744978-pat00005
Figure 112006007744978-pat00006
여기서,
Figure 112006007744978-pat00007
는 각 동작의 클래스,
Figure 112006007744978-pat00008
는 동작클래스
Figure 112006007744978-pat00009
의 평균(mean) 동작 데이터, c는 총 클래스 개수,
Figure 112006007744978-pat00010
는 각각의 클래스에 속하는 동작데이터 수를 나타낸다.
[수학식 2]로부터 클래스간 분산 행렬(
Figure 112006007744978-pat00011
)은 각각의 클래스들이 어떤 방식을 분포되어 있는지를 나타내고, 클래스내의 분산 행렬(
Figure 112006007744978-pat00012
)는 각 클래스 안에서의 데이터 분포 정도를 분석해주는 것을 나타낸다.
[수학식 1] 및 [수학식 2]로부터 선형판별 분석(LDA)기법의 선형판별 기저벡 터(
Figure 112006007744978-pat00013
)는 클래스간 분산 행렬(
Figure 112006007744978-pat00014
)과 클래스내의 분산 행렬(
Figure 112006007744978-pat00015
)의 비를 최대화시키는 기능을 수행한다.
따라서, 선형판별 분석(LDA)기법은 두 클래스의 값들을 서로 다른 곳으로 투영시키는 기능을 수행하는 벡터를 생성하기 때문에 판별능력에 중점을 둔 방식이다.
동작 특징 학습부(213)는 특징 기저 생성부(212)에서 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 그 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식한다.
즉, 동작 특징 학습부(213)는 다수 유형의 동작에 대한 3차원 동작 데이터를 선형판별 특징 기저를 이용하여 3차원 동작 데이터군 별로 3차원 동작 특징을 추출하고, 그 추출된 3차원 동작 특징을 인식하고자 하는 3차원 동작으로 인식하는 기능을 수행한다.
또한, 동작 특징 학습부(213)는 인간의 동작 특징을 단독 동작과 조합 동작으로 분리하여 3차원 동작 특징을 인식한다. 여기서, 단독 동작은 정지된 동작을 의미하며 정지된 동작이 하나의 동작으로 인식되는 경우이고, 조합 동작은 연속된 동작의 누적 판단결과를 조합하여 하나의 동작으로 인식되는 경우이다.
연속된 동작이 하나의 동작으로 인식되는 조합 동작의 경우에, 조합 동작에 대한 최종 인식 과정은 일련의 누적된 값들의 조합을 이용하여 최종 판단이 수행되고 조합된 값의 분석을 5프레임 안에서 수행되므로 실시간 인식이 가능하다.
동작 인식 실행부(220)는, 도 2에 도시된 바와 같이, 동작 특징 추출부 (221), 동작 인식부(222), 동작 명령 전달부(223)를 포함하여 이루어진다.
동작인식 실행부(220)는 3차원 모션캡쳐부(100)에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 동작인식 학습부(210)에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한 후, 동작인식 학습부(210)에 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징과 일치되는 기준동작 특징을 검색하여 그 검색된 기준동작 특징에 해당하는 동작을 입력동작에 대한 3차원 동작으로 인식한다.
이하, 각각의 구성요소를 상세히 살펴보면 다음과 같다.
동작 특징 추출부(221)는 3차원 모션캡쳐부(100)에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 동작인식 학습부(210)에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한다.
동작 인식부(222)는 동작인식 학습부(210)에 저장되어 있는 기준동작 특징들 중에서 동작 특징 추출부(221)로부터 추출된 입력동작 특징 간의 통계적 거리를 측정하여 최소의 거리를 가지는 기준동작 특징을 검색하여 그 검색된 기준동작 특징에 해당하는 동작을 상기 입력동작에 대한 3차원 동작으로 인식한다.
여기서, 3차원 동작 특징들과의 통계적 거리를 이용하여 3차원 동작 특징값이 입력되었을 때 어느 3차원 동작 특징 군에 속하는지를 판단하는 방식은 여러 가지가 있다. 가장 간단한 방법 중에 하나가 각 군단의 평균값과의 거리를 측정하여 판단하는 방법이 있으며, 그 외에도, 각 군단의 특성을 파악하거나 가장 외곽에 있는 특징값과의 비교 또는 주위의 점들을 수를 비교하는 등의 다양한 방법들이 있 다.
본 발명에 따른 통계적 거리를 측정하는 방식은 마할라노비스 거리(Mahalanobis distance)를 측정하는 방식이며, 상기 마할라노비스 거리(
Figure 112006007744978-pat00016
)는 통계적으로 평균과 분포를 이용하여 거리를 측정하는 방식으로 마할라노비스 거리(
Figure 112006007744978-pat00017
)의 수식은 다음의 [수학식 3]과 같다.
Figure 112006007744978-pat00018
Figure 112006007744978-pat00019
는 입력된 샘플,
Figure 112006007744978-pat00020
는 각 군단의 평균,
Figure 112006007744978-pat00021
는 각 군단의 공분산을 나타낸다.
마할라노비스 거리(
Figure 112006007744978-pat00022
)측정 방식은 평균만을 이용하는 거리 측정방식보다 [수학식 3]처럼 각 분포집단의 분산 정보도 거리 값 계산에 반영하기 때문에 정확한 거리를 측정하게 된다.
동작명령 전달부(223)는 동작 인식부(222)로부터 인식된 3차원 동작을 캐릭터의 동작 명령으로 전달한다.
3차원 응용부(300)는, 도 2에 도시된 바와 같이, 키 입력 생성부(310), 3차원 동작 제어부(320)를 포함하여 이루어진다. 3차원 응용부(300)는 동작인식 실행부(220)에서 인식된 3차원 동작을 이용하여 3차원 동작에 대한 키 입력을 설정하고 상기 설정된 키 입력에 따라 캐릭터의 3차원 상의 가상 동작을 제어한다. 이하, 각 각의 구성요소를 상세히 살펴보면 다음과 같다.
키 입력 생성부(310)는 동작 명령부(223)로부터 전달된 동작 명령에 해당하는 키 입력을 생성한다. 즉, 본 발명에 따른 키 입력 생성부(310)는 기존의 키입력 생성부와 달리 3차원 동작을 인식하여 동작 명령을 전달하면서 단순한 키 입력값뿐만 아니라 동작자의 인체의 골절 및 3차원 동작에 대한 정보를 포함하는 키 입력 값을 생성한다.
3차원 동작 제어부(320)는 키 입력 생성부(310)로부터 생성된 키 입력 값을 전달받아 키 입력 값에 따라 캐릭터의 3차원 상의 가상 동작을 제어한다.
여기서, 도 4 는 본 발명에 따른 마커프리 모션캡쳐한 동작을 3차원 그래픽으로 객체복원하는 방법에 대한 일실시예 설명도이다. 3차원 동작 제어부(320)는 키 입력 값에 따라 캐릭터의 3차원 상의 가상 동작을 제어할 뿐만 아니라, 도 4에 도시된 바와 같이, 3차원 모션캡처부(100)에서 생성된 동작 데이터를 바탕으로 복원된 3차원 인체 골격 모델에 따라 캐릭터의 3차원 상의 가상 동작을 복원한다.
이하, 선형판별 분석기법을 이용한 3차원 동작인식 방법을 설명하면 다음과 같다.
우선, 3차원 모션캡쳐부(100)는 3차원 인식 대상이 되는 동작을 마커프리 모션캡쳐를 이용하여 입력동작마다 동작 데이터를 생성하며, 도 5a 및 도 5b에 도시된 바와 같이, 사용자로부터 3차원 동작 응용부(300)에서 응용하고자 하는 다수 유형의 동작에 대한 동작마다 다량의 동작 데이터를 생성하여 저장한다.
이후, 동작 인식 실행부(220)는 미리 저장된 3차원 인식 대상이 되는 동작( 입력동작)에 대한 동작 데이터를 미리 저장된 선형판별 특징기저를 이용하여 동작 특징을 추출한다. 여기서, 선형판별 특징기저는 각 동작 데이터를 판별할 수 있게 하는 벡터이다.
동작 인식 실행부(220)는 입력동작 특징을 추출한 후, 미리 저장된 기준동작 특징들 중에서 상기 추출된 입력동작 특징 간의 통계적 거리를 측정하여 최소의 거리를 가지는 기준동작 특징을 검색한다. 여기서, 미리 저장된 기준동작 특징과 상기 입력동작 특징 간의 거리측정은 통계적으로 평균과 분포를 이용한 마할라노비스 거리를 측정하여 수행된다.
다음으로, 동작 인식 실행부(220)는 상기 검색된 기준동작 특징에 해당하는 동작을 동작특징 추출과정에서의 입력동작에 대한 3차원 동작으로 인식한다. 그 인식된 3차원 동작에 따라 동작 명령이 전달되면 3차원 동작 응용부(300)는 동작 데이터와 동작 명령을 3차원 시스템에 응용한다.
또한, 본 발명은, 인식된 3차원 동작의 누적된 값을 분석하여 단독 동작(정지된 동작) 또는 조합동작(연속적으로 일어나는 동작)인지를 구분하여 인식하고, 그 인식된 3차원 동작에 따라 해당하는 키 입력을 만들고 설정된 키 입력에 따라 캐릭터의 3차원 상의 가상 동작을 제어한다.
한편, 이하, 상기와 다른 실시예를 설명하면 다음과 같다.
우선, 3차원 모션캡쳐부(100)는 3차원 인식 대상이 되는 동작을 마커프리 모션캡쳐를 이용하여 입력동작마다 동작 데이터를 생성하며, 도 5a 및 도 5b에 도시된 바와 같이, 사용자로부터 3차원 동작 응용부(300)에서 응용하고자 하는 다수 유 형의 동작에 대한 동작마다 다량의 동작 데이터를 생성한다.
그러면, 동작인식 학습부(210)는 동작데이터 생성과정에서 생성된 다수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고 그 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장한다.
또한, 동작인식 학습부(210)는 상기 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하며, 추출/저장된 기준동작 특징을 단독 동작(정지된 동작) 또는 조합동작(연속된 동작의 판단결과를 조합한 동작)으로 인식한다.
도 5a 및 도 5b와 같은 다수 유형의 동작에 대한 기준동작 특징이 저장되어 다수 유형의 동작을 학습하는 과정이 수행된 후, 입력동작에 대한 동작 데이터는 3차원 인식 대상이 되는 동작(입력동작)으로부터 생성된다.
이후, 동작 인식 실행부(220)는 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 특징기저 생성과정에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한다. 여기서, 선형판별 특징기저는 각 동작 데이터를 판별할 수 있게 하는 벡터이다.
동작 인식 실행부(220)는 입력동작 특징을 추출한 후, 동작인식 학습부(210)에 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징 간의 통계적 거리를 측정하여 최소의 거리를 가지는 기준동작 특징을 검색한다. 여기서, 기준동작 특징과 상기 입력동작 특징 간의 거리측정은 통계적으로 평균과 분포를 이용한 마할라노비스 거리를 측정하여 수행된다.
다음으로, 동작 인식 실행부(220)는 상기 검색된 기준동작 특징에 해당하는 동작을 동작특징 추출과정에서의 입력동작에 대한 3차원 동작으로 인식한다. 그 인식된 3차원 동작에 따라 동작 명령이 전달되면 3차원 동작 응용부(300)는 동작 데이터와 동작 명령을 3차원 시스템에 응용한다.
또한, 본 발명은, 인식된 3차원 동작의 누적된 값을 분석하여 단독 동작(정지된 동작) 또는 조합동작(연속적으로 일어나는 동작)인지를 구분하여 인식하고, 그 인식된 3차원 동작에 따라 해당하는 키 입력을 만들고 설정된 키 입력에 따라 캐릭터의 3차원 상의 가상 동작을 제어한다.
도 5a 및 도 5b 는 본 발명에 따른 도 1의 3차원 동작 응용부에 따른 3차원 게임에서의 동작 분류의 일실시예 예시도이다. 도 5a 및 도 5b는 3차원 응용 게임에서 사용자의 동작에 대한 키 입력 값과 키의 기능을 나타내며 3차원 게임에 적용가능한 기존의 2차원 동작뿐 아니라 3차원의 동작의 인식 유형을 나타낸다. 또한, 인식 가능한 3차원 동작의 범위에는 연속 동작(예를 들어 팔을 아래위로 휘젓는 동작)도 포함된다.
도 6 은 본 발명에 따라 구현된 3차원 게임의 일실시예 예시도이다. 도 6 은 동작자와 마커프리 모션 캡쳐 시스템을 통하여 복원된 골절 데이터와 그 복원된 골절 데이터를 이용하여 동작 인식을 수행하고 이를 3차원 시스템에 응용하는 본 발명에 따른 일실시예 예시도를 나타낸다. 제작된 3차원 게임은 낙하산 게임으로 게임 캐릭터가 낙하하면서 마커프리 모션캡쳐를 이용하여 동작자와 유사한 동작을 취하는 기능이 있으며, 인식하고자 하는 동작에 대하여 3차원 동작 명령을 수행하는 게임이다.
본 발명에 따른 3차원 동작 인식 장치를 적용한 3차원 게임은 캐릭터가 낙하하면서 좌 혹은 우로 이동하여 정해진 숫자의 낙하산을 땅에 떨어지기 전에 습득하고 지상으로부터 캐릭터로 공격해오는 볼을 피하여 안전하게 착지하는 내용이다.
본 발명에 따른 3차원 게임 시스템은 실시간으로 인간 동작을 마커없이 캡쳐하고 캡쳐된 동작을 인식하여 그 인식된 결과를 응용프로그램에 전달하는 일련의 구조를 가진다.
또한, 본 발명은 95.87%의 3차원 동작 인식률을 가지며 1초에 30프레임 이상을 인식가능하고 본 발명에 따른 3차원 게임은 앞뒤의 연관 관계와 전혀 다르게 진행되는 오류가 발생한 프레임의 동작을 배제하는 기능도 수행 가능하다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 마커프리 모션캡쳐를 이용하고 선형판별 분석기법을 이용하여 다수 유형의 동작을 학습함으로써, 기존의 모션 입력 장비들이 마커를 장착해야 했던 어려움을 없애며 실제 3차원 시스템의 응용성을 증대시키고 실시간으로 응용 시스템(예를 들면 3차원 게임, 가상현실, 유비쿼터스 환경 등)에 필요한 인간의 동작을 정확하게 인식할 수 있게 하는 효과가 있다.
또한, 본 발명은, 인식된 결과를 실시간으로 실제 어플리케이션에 전달하여 그 결과를 직접 사용자가 판단하게 함으로써, 효율적이고 직관적인 몰입감을 제공할 수 있으며 인간과 컴퓨터의 인터페이스를 원활하게 적용할 수 있는 효과가 있다.
또한, 본 발명은 교육, 운동, 오락 등의 다양한 분야에 활용가능하며, 본 발명을 통하여 웹 카메라 등을 이용한 저가의 3차원 동작 인식 시스템을 구현함으로써, 일반 가정에서도 간단한 장비를 이용하여 활용할 수 있게 하는 효과가 있다.

Claims (12)

  1. 선형판별 분석(LDA: Linear Discriminant Analysis)기법을 이용한 3차원 동작인식 장치에 있어서,
    동작자의 동작을 마커프리 모션캡쳐(Marker-free Motion Capture)를 이용하여 동작마다 동작 데이터를 생성하기 위한 3차원 모션캡쳐 수단;
    상기 3차원 모션캡쳐 수단에서 생성된 복수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하고, 상기 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 상기 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하기 위한 동작인식 학습 수단; 및
    상기 3차원 모션캡쳐 수단에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 상기 동작인식 학습 수단에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출한 후, 상기 동작인식 학습 수단에 저장되어 있는 기준동작 특징들 중에서 상기 추출된 입력동작 특징과 일치되는 기준동작 특징을 검색하여 상기 검색된 기준동작 특징에 해당하는 동작을 상기 입력동작에 대한 3차원 동작으로 인식하기 위한 동작인식 실행 수단
    을 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
  2. 제 1 항에 있어서,
    상기 동작인식 실행 수단에서 인식된 3차원 동작을 캐릭터의 동작 명령으로 전달하기 위한 동작명령 전달 수단;
    상기 동작명령 전달 수단으로부터 전달된 동작 명령에 대한 키 입력값을 생성하기 위한 키 입력 생성 수단; 및
    상기 키 입력 생성 수단에서 생성된 키 입력값에 따라 상기 캐릭터의 3차원 상의 가상 동작을 제어하기 위한 3차원 가상동작 제어 수단
    을 더 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 동작인식 학습 수단은,
    상기 3차원 모션캡쳐 수단에서 생성된 복수 유형의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하기 위한 동작데이터 분석 수단;
    상기 동작데이터 분석 수단에서 분석된 동작 데이터에 대하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하기 위한 특징기저 생성 수단; 및
    상기 특징기저 생성 수단에서 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하고, 상기 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하기 위한 동작특징 학습 수단
    을 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
  4. 제 3 항에 있어서,
    상기 특징기저 생성 수단은,
    하기의 [수학식 1] 및 [수학식 2]를 이용한 선형판별 분석방식에 따라, 상기 선형판별 특징기저(
    Figure 112006007744978-pat00023
    )를 생성하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
    [수학식 1]
    Figure 112006007744978-pat00024
    [수학식 2]
    Figure 112006007744978-pat00025
    Figure 112006007744978-pat00026
    (여기서,
    Figure 112006007744978-pat00027
    는 클래스간 분산 행렬,
    Figure 112006007744978-pat00028
    는 클래스내의 분산 행렬,
    Figure 112006007744978-pat00029
    는 각 동작의 클래스,
    Figure 112006007744978-pat00030
    는 동작클래스
    Figure 112006007744978-pat00031
    의 평균 동작 데이터, c는 총 클래스 개수,
    Figure 112006007744978-pat00032
    는 각각의 클래스에 속하는 동작데이터 수를 나타냄.)
  5. 제 3 항에 있어서,
    상기 동작특징 학습 수단은,
    상기 추출/저장된 기준특징에 대한 해당동작을 단독동작(정지된 동작) 또는 조합동작(연속된 동작의 판단결과를 조합한 동작)으로 인식하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 동작인식 실행 수단은,
    상기 3차원 모션캡쳐 수단에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 상기 동작인식 학습 수단에서 생성된 선형판별 특징기저를 이용하여 동작 특징을 추출하기 위한 동작특징 추출 수단; 및
    상기 동작인식 학습 수단에 저장되어 있는 기준동작 특징들 중에서, 상기 동작특징 추출 수단에서 추출된 입력동작 특징과의 통계적 거리가 최소인 기준동작 특징을 검색하여, 상기 검색된 기준동작 특징에 해당하는 동작을 상기 입력동작에 대한 3차원 동작으로 인식하기 위한 동작 인식 수단
    을 포함하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
  7. 제 6 항에 있어서,
    상기 동작 인식 수단에서의 통계적 거리 측정 과정은,
    상기 입력동작 특징과 기준동작 특징과의 통계적 거리를, 하기의 [수학식 3]을 이용한 마할라노비스 거리(Mahalanobis distance)(
    Figure 112006007744978-pat00033
    )측정 방식에 따라, 측정하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 장치.
    [수학식 3]
    Figure 112006007744978-pat00034
    (
    Figure 112006007744978-pat00035
    는 입력된 샘플,
    Figure 112006007744978-pat00036
    는 각 군단의 평균,
    Figure 112006007744978-pat00037
    는 각 군단의 공분산을 나타냄.)
  8. 선형판별 분석기법을 이용한 3차원 동작인식 방법에 있어서,
    동작자의 동작을 마커프리 모션캡쳐를 이용하여 동작마다 동작 데이터를 생성하는 동작데이터 생성 단계;
    상기 동작데이터 생성 단계에서 생성된 3차원 인식 대상이 되는 동작(입력동작)에 대한 동작 데이터를 미리 저장된 선형판별 특징기저를 이용하여 동작 특징을 추출하는 동작특징 추출 단계;
    미리 저장된 기준동작 특징들 중에서, 상기 동작특징 추출 단계에서 추출된 입력동작 특징과의 통계적 거리가 최소인 기준동작 특징을 검색하는 동작특징 검색 단계; 및
    상기 동작특징 검색 단계에서 검색된 기준동작 특징에 해당하는 동작을 상기 동작특징 추출 단계에서의 입력동작에 대한 3차원 동작으로 인식하는 동작 인식 단계
    를 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 방법.
  9. 제 8 항에 있어서,
    상기 동작데이터 생성 단계에서 생성된 복수의 동작에 대한 동작 데이터를 선형판별 분석기법으로 분석하여 해당 동작 데이터를 판별할 수 있게 하는 선형판별 특징기저를 생성하여 저장하는 특징기저 생성 단계;
    상기 특징기저 생성 단계에서 생성된 선형판별 특징기저를 이용하여 각 유형의 동작에 대한 기준동작 특징을 추출/저장하는 동작특징 추출/저장 단계; 및
    상기 동작특징 추출/저장 단계에서 추출/저장된 각각의 기준동작 특징을 해당 동작으로 인식하는 동작특징 학습 단계
    를 더 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 방법.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 동작 인식 단계에서 인식된 3차원 동작을 캐릭터의 동작 명령으로 전달하는 동작명령 전달 단계;
    상기 동작명령 전달 단계에서 전달된 동작 명령에 대한 키 입력값을 생성하기 위한 키 입력 생성 단계; 및
    상기 키 입력 생성 단계에서 생성된 키 입력값에 따라 상기 캐릭터의 3차원 상의 가상 동작을 제어하기 위한 3차원 가상동작 제어 단계
    를 더 포함하는 선형판별 분석기법을 이용한 3차원 동작인식 방법.
  11. 제 10 항에 있어서,
    상기 동작특징 학습 단계는,
    상기 3차원 동작 특징을 단독 동작(정지된 동작) 또는 조합 동작(연속된 동작의 판단결과를 조합한 동작)으로 인식하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 방법.
  12. 제 10 항에 있어서,
    상기 동작특징 검색 단계에서의 통계적 거리 측정 과정은,
    상기 입력동작 특징과 기준동작 특징 간의 통계적 거리를, 하기의 [수학식 4]를 이용한 마할라노비스 거리(
    Figure 112006007744978-pat00038
    )측정 방식에 따라, 측정하는 것을 특징으로 하는 선형판별 분석기법을 이용한 3차원 동작인식 방법.
    [수학식 4]
    Figure 112006007744978-pat00039
    (
    Figure 112006007744978-pat00040
    는 입력된 샘플,
    Figure 112006007744978-pat00041
    는 각 군단의 평균,
    Figure 112006007744978-pat00042
    는 각 군단의 공분산을 나타냄.)
KR1020060009840A 2005-12-08 2006-02-01 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법 KR100682987B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2006/005203 WO2007066953A1 (en) 2005-12-08 2006-12-05 Apparatus for recognizing three-dimensional motion using linear discriminant analysis
US12/091,625 US20080285807A1 (en) 2005-12-08 2006-12-05 Apparatus for Recognizing Three-Dimensional Motion Using Linear Discriminant Analysis

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050120061 2005-12-08
KR1020050120061 2005-12-08

Publications (1)

Publication Number Publication Date
KR100682987B1 true KR100682987B1 (ko) 2007-02-15

Family

ID=38106423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060009840A KR100682987B1 (ko) 2005-12-08 2006-02-01 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법

Country Status (2)

Country Link
US (1) US20080285807A1 (ko)
KR (1) KR100682987B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913396B1 (ko) 2006-12-04 2009-08-21 한국전자통신연구원 모션벡터를 이용한 행위 인식 장치 및 그 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
DE102006048166A1 (de) * 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8773352B1 (en) * 2008-07-16 2014-07-08 Bby Solutions, Inc. Systems and methods for gesture recognition for input device applications
US8310547B2 (en) * 2008-12-05 2012-11-13 Electronics And Telecommunications Research Institue Device for recognizing motion and method of recognizing motion using the same
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8639042B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Hierarchical filtered motion field for action recognition
WO2012075298A2 (en) * 2010-12-01 2012-06-07 Cornell University Body shape analysis method and system
GB2501542A (en) * 2012-04-28 2013-10-30 Bae Systems Plc Abnormal behaviour detection in video or image surveillance data
CN104777907B (zh) * 2015-04-17 2018-05-25 中国科学院计算技术研究所 一种用于群体人机交互的系统
KR102610840B1 (ko) 2019-12-19 2023-12-07 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154238A (ja) * 1996-09-25 1998-06-09 Matsushita Electric Ind Co Ltd 動作生成装置
KR20020017576A (ko) * 2000-08-31 2002-03-07 이준서 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP2004192603A (ja) * 2002-07-16 2004-07-08 Nec Corp パターン特徴抽出方法及びその装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421387B1 (en) * 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6483532B1 (en) * 1998-07-13 2002-11-19 Netergy Microelectronics, Inc. Video-assisted audio signal processing system and method
US6594629B1 (en) * 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
US6795578B1 (en) * 1999-09-29 2004-09-21 Canon Kabushiki Kaisha Image processing apparatus and method, and storage medium
US6990217B1 (en) * 1999-11-22 2006-01-24 Mitsubishi Electric Research Labs. Inc. Gender classification with support vector machines
US20020164070A1 (en) * 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
JP2002329033A (ja) * 2001-04-26 2002-11-15 Honda Motor Co Ltd 顧客のニーズを分析するコンピュータ・システム
US7043075B2 (en) * 2001-09-27 2006-05-09 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
US6819790B2 (en) * 2002-04-12 2004-11-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CA2493105A1 (en) * 2002-07-19 2004-01-29 British Telecommunications Public Limited Company Method and system for classification of semantic content of audio/video data
US7346209B2 (en) * 2002-09-30 2008-03-18 The Board Of Trustees Of The Leland Stanford Junior University Three-dimensional pattern recognition method to detect shapes in medical images
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
WO2005038478A2 (en) * 2003-10-08 2005-04-28 Bae Systems Information And Electronic Systems Integration Inc. Constrained tracking of ground objects using regional measurements
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
US7526123B2 (en) * 2004-02-12 2009-04-28 Nec Laboratories America, Inc. Estimating facial pose from a sparse representation
JP2005303566A (ja) * 2004-04-09 2005-10-27 Tama Tlo Kk ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置
US20080137969A1 (en) * 2004-04-14 2008-06-12 Imperial College Innovations Limited Electrical And Electronic Engineering Building Estimation of Within-Class Matrix in Image Classification
US7205890B2 (en) * 2005-05-17 2007-04-17 Pro Tech Monitoring, Inc. System, method and apparatus for locating and controlling objects
US20090012723A1 (en) * 2005-06-09 2009-01-08 Chemlmage Corporation Adaptive Method for Outlier Detection and Spectral Library Augmentation
US7999849B2 (en) * 2006-05-17 2011-08-16 The Boeing Company Moving object detection
JP4709723B2 (ja) * 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
WO2008070701A2 (en) * 2006-12-06 2008-06-12 Honda Motor Co., Ltd. Fast human pose estimation using appearance and motion via multi-dimensional boosting regression
US7925081B2 (en) * 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
US7868821B2 (en) * 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
WO2010099035A1 (en) * 2009-02-25 2010-09-02 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154238A (ja) * 1996-09-25 1998-06-09 Matsushita Electric Ind Co Ltd 動作生成装置
KR20020017576A (ko) * 2000-08-31 2002-03-07 이준서 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
JP2004192603A (ja) * 2002-07-16 2004-07-08 Nec Corp パターン特徴抽出方法及びその装置
KR20040055310A (ko) * 2002-12-20 2004-06-26 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100913396B1 (ko) 2006-12-04 2009-08-21 한국전자통신연구원 모션벡터를 이용한 행위 인식 장치 및 그 방법

Also Published As

Publication number Publication date
US20080285807A1 (en) 2008-11-20

Similar Documents

Publication Publication Date Title
KR100682987B1 (ko) 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
Raheja et al. Robust gesture recognition using Kinect: A comparison between DTW and HMM
Yoon et al. Hand gesture recognition using combined features of location, angle and velocity
EP2095296B1 (en) A method and system for providing a three-dimensional model of an object of interest.
Bobick et al. The recognition of human movement using temporal templates
CN110428449B (zh) 目标检测跟踪方法、装置、设备及存储介质
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
JP6590609B2 (ja) 画像解析装置及び画像解析方法
Ren et al. Human action recognition in smart classroom
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
Chansri et al. Hand gesture recognition for Thai sign language in complex background using fusion of depth and color video
Badi et al. Hand posture and gesture recognition technology
US9152857B2 (en) System and method for detecting object using depth information
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
Monir et al. Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature
CN113378770A (zh) 手势识别方法、装置、设备、存储介质以及程序产品
Je et al. Hand gesture recognition to understand musical conducting action
JP2007280219A (ja) 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
Adhikari et al. A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform.
Keceli et al. Recognition of basic human actions using depth information
Holte et al. View invariant gesture recognition using the CSEM SwissRanger SR-2 camera
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
WO2007066953A1 (en) Apparatus for recognizing three-dimensional motion using linear discriminant analysis
KR101520889B1 (ko) 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
Schlattmann et al. Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20140411

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160205

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee