KR20010102881A - 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템 - Google Patents

색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템 Download PDF

Info

Publication number
KR20010102881A
KR20010102881A KR1020010062178A KR20010062178A KR20010102881A KR 20010102881 A KR20010102881 A KR 20010102881A KR 1020010062178 A KR1020010062178 A KR 1020010062178A KR 20010062178 A KR20010062178 A KR 20010062178A KR 20010102881 A KR20010102881 A KR 20010102881A
Authority
KR
South Korea
Prior art keywords
color
motion
database
operator
marker
Prior art date
Application number
KR1020010062178A
Other languages
English (en)
Other versions
KR100452917B1 (ko
Inventor
하영균
Original Assignee
하영균
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하영균 filed Critical 하영균
Priority to KR10-2001-0062178A priority Critical patent/KR100452917B1/ko
Publication of KR20010102881A publication Critical patent/KR20010102881A/ko
Application granted granted Critical
Publication of KR100452917B1 publication Critical patent/KR100452917B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

동작자의 신체 주요부분에 설치된 색 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상정보를 입력받고, 입력받은 화상정보에서 배경 및 노이즈를 제거하고, 색 구별작업을 통하여 화상정보를 각각 색상별로 분리한 후, 분리된 화상정보를 각각 수학적으로 분석하여 색 마커의 형상과 위치를 결정하여 결정된 색 마커의 형상과 위치를 참조하여 신체의 동작성향 데이터베이스 및 관절한계 데이터베이스와 연계하여 3차원 공간상의 색 마커의 위치를 계산하며, 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스와 연계 분석하여 현재 동작자의 운동형태, 자세정보 및 관절들의 위치를 결정하는 3차원 신체동작 인식방법이 제공된다.

Description

색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템{Method and System for sensing Three-Dimensional body motion using color marker}
본 발명은 3차원 신체 동작 인식방법 및 시스템에 관한 것으로, 보다 상세하게는 신체의 주요부분에 색 마커(color marker)를 설치하고 다수개의 카메라로부터 받아들여진 복수의 영상들에서 색 정보를 추출하여 3차원 공간의 운동정보로 변환하여 동작자의 동작을 인식할 수 있는 신체 동작 인식방법 및 시스템에 관한 것이다.
더욱이, 본 발명은 주요부분들에 설치된 색 마커들로부터 기본적인 3차원 정보를 얻고, 이들 기초정보로부터 신체 다른 부분의 보조정보를 추정한 후, 신체 동작성향 및 관절한계 데이터베이스와 동작 데이터베이스를 이용하여 현재 동작자의 동작을 판단 인식할 수 있는 신체 동작 인식방법 및 시스템에 관한 것이다.
본 발명은 가상공간이나 컴퓨터 시스템의 네비게이션(navigation), 정보검색 또는 프리젠테이션(Presentation) 등의 입력장치로 사용될 수 있으며, 권투/
발차기/탁구/축구/펜싱/골프 등 전신운동을 필요로 하는 3차원 액션게임의 입력장치로 이용할 수 있다. 또한, 본 발명은 가상현실(Virtual Reality) 내에서 아바타
(avatar)의 동작을 제어하기 위한 장치로도 적용될 수 있다.
일반적으로, 사람(man)이 기계(machine)를 사용하거나 조작할 때 입력장치를이용하게 되는데, 이러한 입력장치는 맨-머신(man-machine) 인터페이스 수단의 일종이라고 볼 수 있다. 예를 들어, 컴퓨터를 사용할 때 사람은 키보드 혹은 마우스와 같은 입력장치를 이용하며, 게임기를 사용할 때는 조이스틱 혹은 핸들, 버튼과 같은 조작 입력수단을 이용한다.
한편, 사용자가 마치 어떤 실제의 세계에 놓여 있는 것처럼 느낄 수 있도록 하는 가상현실(Virtual Reality) 시스템에서도 몸이나 손의 움직임을 감지하는 입력장치를 사용한다.
그런데, 상기와 같은 기존의 입력장치들에 있어서, 키보드 방향키와 마우스, 조이스틱, 터치스크린 등은 인체가 반드시 이들 입력장치에 접촉하여야 하는 사용상 불편함과, 상황에 따라 입력해야 할 공간정보와 입력장치의 작동이 직관적이지 못한 문제점과, 입력자의 입력행위가 입력장치의 기계적 한계에 의해 크게 제한을 받는 문제점 등을 가지고 있다.
이와 같은 문제점들을 극복하기 위해 다양한 형태의 모션 캡쳐(motion capture) 장치들이 제안되어 왔다.
예를 들어, 기계식 신체 부착형 모션 캡쳐 장치는 신체 각 관절의 움직임들을 측정하기 위하여 각 관절의 운동부에 기계적 센서들을 부착시키는 방식이다. 상당히 복잡한, 수많은 센서들이 부착된 일종의 옷 형태의 장비를 입어야 하므로, 설치시간이 매우 길고, 부착후의 센서 보정작업이 이루어져야 하며, 조작자의 운동이 부착장치들 때문에 속도 및 범위에 많은 제한을 받게 된다.
또한, 자기센서 부착형 모션 캡쳐 장치는 신체의 주요 부위에 자기 센서들을부착하는 방식이다. 각 센서마다 전선이 연결되어 있어, 많은 센서를 부착시 무시할 수 없는 양의 전선다발이 발생하며 이들이 조작자의 운동을 방해하는 단점이 있다. 그러나, 3차원 공간상의 센서 위치가 매우 정확하게 측정되는 장점이 있다.
또한, 광학 카메라 이용식 모션 캡쳐 장치는 다수대의 고가의 고속 적외선카메라들을 사용하고, 동작자는 일반적으로 검은 옷을 착용하고 옷 위에 다수의 구형의 적외선반사 마커를 부착하게 된다. 사용자는 기본(큰 대자형) 동작에서부터 출발하여 원하는 동작을 행하고 동작중 다수의 카메라들은 각 마커들의 3차원 공간상의 위치를 추적하여 이의 운동정보를 컴퓨터에서 분석하게 된다. 이 방식은 각 마커들이 모두 동일하므로 복잡한 동작을 수행시 마커들의 위치가 혼동되어 차후 일일이 인간이 혼동된 데이터들을 수작업으로 조절해 주어야하는 단점이 있다.
결과적으로 기존의 모션 캡쳐 장치들은 가격이 상당히 비싸고, 장치 자체가 동작자의 운동을 방해하며, 너무 많은 마커들을 설치함으로서 마커들이 혼동되는 상황이 발생하고, 더욱이 센서 또는 마커들의 가격이 비싸 관리비용 상승한다는 문제점이 있다.
따라서, 본 발명의 목적은 신체의 최소한의 주요부분에만 색 마커를 부착하여 이들로부터 3차원 신체동작정보를 얻고 나머지 정보는 신체의 동작성향 데이터베이스와 관절한계 데이터베이스를 이용하여 획득함으로서 저렴한 가격으로 구현할 수 있는 3차원 인식시스템 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 최소한의 색 마커의 부착으로 부착시간을 줄이고, 동작자의 3차원공간에서의 동작을 편안하게 하며, 체감도를 향상시키는 3차원 인식시스템 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 저렴하고 일회용으로 사용가능하며, 각각의 색상을 달리한 색 마커를 적용하여 색 마커의 인식 및 공간이동 추적오차를 줄일 수 있는 3차원 인식시스템 및 방법을 제공하는데 있다.
도 1은 본 발명에 적용되는 색 마커의 부착상태를 나타내는 제1실시예이다.
도 2는 본 발명에 적용되는 색 마커의 부착상태를 나타내는 제2실시예이다.
도 3은 본 발명에 적용되는 색 마커의 부착상태를 나타내는 제3실시예이다.
도 4는 본 발명에 적용되는 색 마커의 부착상태를 나타내는 제4실시예이다.
도 5는 본 발명에 적용되는 색 마커의 부착상태를 나타내는 제5실시예이다.
도 6은 본 발명에 적용되는 카메라장치의 설치상태를 나타내는 일실시예이다.
도 7은 본 발명에 적용되는 카메라장치의 설치상태를 나타내는 다른 실시예이다.
도 8은 3차원 공간상의 색 마커의 위치를 계산하는 방법을 설명하는 설명도이다.
도 9는 본 발명에 적용되는 머리에 설치되는 색 마커의 형태를 나타낸다.
도 10은 머리나 몸통의 비틀림각을 구하는 방법을 나타내는 설명도이다.
도 11은 본 발명에 따른 인식방법을 설명하는 플로우챠트이다.
도 12는 본 발명에 적용되는 인식시스템의 기능별 블록도이다.
본 발명의 일측면에 따르면, 동작자의 신체 주요부분에 설치된 색 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상정보를 입력받고, 입력받은 화상정보에서 배경 및 노이즈를 제거하고, 색 구별작업을 통하여 화상정보를 각각 색상별로 분리한 후, 분리된 화상정보를 각각 수학적으로 분석하여 색 마커의 형상과 위치를 결정하여 결정된 색 마커의 형상과 위치를 참조하여 신체의 동작성향 데이터베이스 및 관절한계 데이터베이스와 연계하여 3차원 공간상의 색 마커의 위치를 계산하며, 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스와 연계 분석하여 현재 동작자의 운동형태, 자세정보 및 관절들의 위치를 결정하는 3차원 신체동작 인식방법이 제공된다.
바람직하게, 색 마커의 형상과 위치를 결정하는 경우, 동작자의 동작 중에 가려진 색 마커에 대해서는 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산할 수 있다.
또한, 선택적으로 결정된 동작자의 운동형태, 자세정보 및 관절들의 위치를 다시 동작성향 데이터베이스, 관절한계 데이터베이스 및 모션 데이터베이스를 참조하여 최종적으로 보정할 수 있다.
본 발명에 적용되는 동작성향 데이터베이스는 적용범위 및 상황에 따른 인체 각 관절의 동작성향을 데이터베이스화한 것이고, 관절한계 데이터베이스는 인체의 각 관절의 운동범위와 인체 각 부위들의 상대 길이들을 데이터베이스화한 것이며, 모션 데이터베이스는 동작자가 행하는 동작을 가상 3차원 공간 내의 아바타
(avatar)가 따라할 수 있는 모든 동작 시퀀스를 데이터베이스한 것이다.
본 발명에 적용되는 색 마커는 동작자의 양 손목과 양 발목 및 허리에 밴드타입으로 감겨져서 설치되거나, 동작자가 상기한 위치에 색 마커가 재봉된 옷을 입고 동작할 수 있다. 또한, 동작자의 머리에 모자 형태로 색 마커가 더 설치될 수 있다.
바람직하게 색 마커를 동작자의 우측, 좌측 및 중앙위치에 대응하여 각각 그룹지어 동일한 색상을 부여할 수 있다.
본 발명에 따르면, 3차원 공간상의 색 마커의 위치를 계산함과 동시에 머리와 몸통의 비틀림각을 계산할 수 있으며, 바람직하게, 비틀림각의 계산은 정면 또는 측면에서 색 마커의 정중앙으로부터 나누어지는 각 색에 대하여 카메라에 판독되는 화상에서 면적비를 적용하여 이루어진다.
본 발명의 다른 측면에 따르면, 적어도 하나 이상의 카메라 장치가 동작자의 동작에 따른 화상정보를 찍어 이미지 프레임 단위로 전송하는 화상정보에 포함된배경과 불필요한 노이즈를 제거하는 노이즈 제거모듈(Background/Noise Removal module)과, 배경과 불필요한 노이즈가 제거된 화상정보를 색 구별작업을 통하여 색상별로 화상정보를 분리하는 색분리모듈(Color separation module)과, 색상별로 분리된 각각의 화상정보를 수학적으로 분석하여 색 마커의 형상과 위치를 결정하는 마커 추출모듈(Marker Object Finding module)과, 결정된 색 마커의 형상과 위치를 기준으로 동작성향 데이터베이스 및 관절한계 데이터베이스와 연계하여 3차원 공간상의 색 마커의 위치를 계산하는 3차원 좌표연산모듈(3D Coordinate Computation module) 및 3차원 좌표연산모듈에서 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스와 연계 분석하여 현재 동작자의 운동 종류 및 자세를 결정하는 현재동작 결정모듈(Current Motion Decision module)을 포함하는 3차원 신체동작 인식시스템이 제공된다.
바람직하게, 동작자의 동작 중에 가려진 색 마커에 대해서 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산하는 마커 추적모듈
(Marker Object Tracking module)이나, 현재동작 결정모듈에서 결정된 동작자의 운동 종류와 자세를 동작성향 데이터베이스, 관절한계 데이터베이스 및 모션 데이터베이스를 참조하여 최종적으로 보정하는 기능을 수행하는 동작보정모듈(Motion Compensation module)을 더 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
먼저 본 발명에 따른 인식시스템의 기능별 구성을 도 12에 나타내고 있다.
도시된 바와 같이, 노이즈 제거모듈(Background/Noise Removal module; 20)은 카메라 시스템이 동작자의 동작에 따른 화상정보를 찍어 이미지 프레임 단위로 전송하는 화상정보에 포함된 배경과 불필요한 노이즈를 제거하는 역할을 한다.
또한, 색분리모듈(Color separation module; 30)은 배경과 불필요한 노이즈가 제거된 화상정보를 색 구별작업을 통하여 색상별로 화상정보를 분리한다.
마커 추출모듈(Marker Object Finding module; 40)은 색상별로 분리된 각각의 화상정보를 수학적으로 분석하여 색 마커의 형상과 위치를 결정하며, 마커 추적모듈(Marker Object Tracking module; 50)은 동작 중에 가려진 색 마커에 대해서는 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산한다.
또한, 3차원 좌표연산모듈(3D Coordinate Computation module; 60)은 상기와 같이 결정된 색 마커의 형상과 위치를 기준으로 동작성향 데이터베이스(92) 및 관절한계 데이터베이스(94)와 연계하여 3차원 공간상의 색 마커의 위치를 계산한다.
현재동작 결정모듈(Current Motion Decision module; 70)은 3차원 좌표연산모듈(60)에서 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스(96)와 연계 분석하여 현재 동작자의 운동 종류 및 자세를 결정한다.
또한, 선택적으로 동작보정모듈(Motion Compensation module; 80)은 현재동작 결정모듈(70)에서 결정된 동작자의 운동 종류와 자세를 동작성향 데이터베이스
(92), 관절한계 데이터베이스(94) 및 모션 데이터베이스(96)를 참조하여 최종적으로 보정하는 기능을 수행한다.
여기서, 동작성향 데이터베이스(Motion Inclination Database)는 적용범위및 상황에 따른 인체 각 관절의 동작성향을 데이터베이스화한 것이다. 예를 들어, 손목과 추정된 어깨의 위치만을 가지고 상부 및 하부 팔의 회전각을 구하는 경우, 현재 가정된 적용범위에 따라 적절한 해법을 얻을 수 있다. 예를 들어, 복싱에 적용되고 복부 위를 가격하는 상황이라면 일반적으로 손목과 어깨를 연결하는 선보다 팔꿈치가 위로 위치할 수는 없다. 마찬가지로 상황이 머리 또는 복부를 스트레이트, 어퍼컷 또는 훅 등의 자세로 공격하는 경우에도 동작성향 데이터베이스를 이용하면 보다 자연스럽게 동작자의 동작자세를 추정해 낼 수 있다.
또한, 관절한계 데이터베이스(Joint Characteristics Database)는 인체의 각 관절의 운동범위(주로 회전각 한계)와 인체 각 부위들의 상대 길이들을 데이터베이스화한 것이다. 예들 들어, 손목과 추정된 어깨의 위치만을 가지고 어깨에 대한 상부 팔의 3차원 회전각, 상부 팔에 대한 하부 팔의 3차원 회전각을 구해야 하는 경우, 여러 가지의 답이 있을 수 있으나, 관절한계 데이터베이스에 의해 신체가 표현 불가능한 각도들은 제외시켜 비교적 신체 운동에 근접하는 각도를 구할 수 있다.
모션 데이터베이스(Motion Database; 96)는 동작자가 행하는 동작을 가상 3차원 공간 내의 아바타(avatar)가 따라할 수 있는 모든 동작 시퀀스를 데이터베이스한 것이다. 보통 아바타는 동작자의 임의의 동작을 따라하지 않고, 동작자의 조작에 따라 모션 데이터베이스(96) 내의 동작 중의 하나를 따라하게 된다. 따라서 동작자의 동작을 최소한의 색 마커를 이용하여 추정하는 경우, 모션 데이터베이스를 이용하면 훨씬 상황에 어울리는 자연스러운 동작을 추정해 낼 수 있게 된다.
한편, 제어모듈(90)은 각 모듈의 동작을 제어하며, 각 데이터베이스(92, 94,96)로 또는 이들부터의 데이터 입출력을 제어한다.
도 1 내지 도 5는 본 발명에 적용되는 여러 가지 형태의 색 마커와 색 마커를 설치하는 위치를 다양하게 보여주고 있다.
본 발명의 가장 큰 특징은 신체의 각 관절에 모두 마커를 부착하는 것이 아니고 용도에 따라 최소한의 색 마커를 부착하고 이들로부터의 정보에 근거하여 필요로 하는 관절들의 위치와 각도를 데이터베이스와 연동하여 추정해내는데 있다.
따라서, 도 1 내지 도 5에 도시된 바와 같이, 색 마커가 부착되는 위치와 색상 또는 색 마커의 형태가 상이할 수 있다.
도 1을 참조하면, 기본적으로 양 손목, 양 발목 및 허리에 색 마커(10a, 10b, 10c, 10d, 10f)를 부착시키며, 머리의 동작이 필요한 경우에는 머리에 색 마커(10e)를 부착시킨다. 색 마커의 형태는 밴드형태로 양 팔목과 발목에 부착하거나 머리의 경우는 헤어밴드 또는 모자의 형태로 부착할 수 있다. 각각의 색 마커는 모두 동일한 색상을 적용할 수 있거나, 또는 선택적으로 손과 발 그리고 머리와 허리는 높이의 차이로 구별될 수 있으므로 우측의 손과 발에 부착되는 색 마커(10b, 10d)를 같은 색으로 좌측의 팔과 발에 부착되는 색 마커(10a, 10c)를 다른 같은 색으로 그리고 머리와 허리에 부착되는 색 마커(10d, 10e)를 또 다른 같은 색으로 지정할 수 있다. 이와 같이 색 마커들의 색상의 수는 용도에 따라 적절하게 조절하여 사용할 수 있다.
도 1에서는 신체의 손과 발의 뻗어나간 상황을 보여주고 있으며, 이와 같이, 머리, 몸통과 양 손발 끝만의 위치와 인체관절의 한계정보를 이용하여 전체 자세를대략적으로 추정할 수 있다.
또한, 더 자세한 동작자(100)의 자세를 추정하기 위해서는, 도 2에 도시된 바와 같이, 어깨 관절의 위치 또는 대퇴관절의 위치를 결정하기 위하여 어깨를 따라 다른 색의 색 마커(10g)를 설치하고, 대퇴부 끝을 보여주는 짧은 반바지 형태의 색 마커(10h)를 설치할 수 있다.
더욱이, 각 관절 부위를 정확히 측정하기 위해서는, 도 3에 도시된 바와 같이, 어깨 끝, 팔꿈치, 허벅지 위, 무릎에 색 마커를 추가적으로 부착할 수 있다.
또한, 변형된 형태로, 도 4에 도시된 바와 같이, 손목에 색 마커를 부착하는 대신에 색 장갑을 끼우고, 발목에 색 마커를 부착하는 대신에 색 양말 또는 색 신발을 신도록 할 수 있다.
또한, 가상현실이용 리그경기, 특정 스포츠 경기 등에 본원발명을 적용하는 경우, 동작자들은 일종의 유니폼을 입는 상황이 발생하거나 여러 개의 색 마커 대신 일종의 간단한 옷을 입는 경우가 더 편리할 수도 있다. 이러한 경우에는, 도 5에 도시된 바와 같이, 색 마커가 부착되는 위치에 정해진 색상을 인쇄 또는 재봉하여 색 마커로서의 기능을 수행하도록 할 수 있다.
이하, 상기한 색 마커들을 이용하여 3차원적으로 동작자의 신체동작을 인식하는 방법에 대해서 설명한다.
먼저 동작자는 신체의 주요부분에 최소한의 색 마커를 부착하거나 이러한 색 마커의 역할을 하도록 주요부분을 인쇄하거나 재봉하여 만들어진 옷을 입고 동작을 시작한다.
이와 함께 카메라 시스템은 동작자의 동작에 따른 화상정보를 찍어 이미지 프레임 단위로 신체 동작 인식시스템으로 전송한다(단계 S100).
도 6과 도 7을 참조하면, 동작자가 동작을 할 때 이를 인식하기 위하여, 동작자의 행동범위를 포착할 수 있는 카메라(200)를 적어도 하나 이상을 적절한 위치에 배치한다. 손이나 발을 드는 것과 같은 단순한 동작만을 인식하기 위해서는, 도 6에 도시된 바와 같이, 측면카메라 1 대만으로도 가능하다. 또한, 손이나 발 등의 3차원 공간 내의 위치와 속도 등을 측정해 내려면, 도 7에 도시된 바와 같이, 평명카메라(250)와 측면카메라(200) 최소한 2 대가 필요하며, 보다 정확하고 신체 자체에 의해 색 마커가 가려지는 문제까지 극복하기 위해서는 적어도 3 대 이상의 카메라가 필요하다. 그러나 일반적으로 2 대의 카메라면 기본적으로 한 시점에서 색 마커들의 3차원 공간 위치정보는 측정이 가능하다. 카메라들은 일반적으로 직교 평면들을 촬영하도록 배치하는 것이 바람직하나, 반드시 그럴 필요는 없고 상황에 따라 다양한 설치가 가능하다.
다수개의 카메라로부터 얻어진 화상정보들은 디지털화되어 본 발명의 인식시스템에 전달된다. 카메라는 일반 비디오 카메라(Video Signal Camera), USB 카메라, IEEE1394 카메라, 또는 전용의 고속 디지털 카메라 등 어떤 종류도 사용할 수 있다.
화상정보가 전송되어 오면, 인식시스템의 노이즈 제거모듈(20)은 화상정보에 포함된 배경과 불필요한 노이즈를 제거하고(단계 S200), 색분리모듈(30)은 색 구별작업을 통하여 색상별로 화상정보를 분리한다(단계 S300).
이어, 색상별로 분리된 각각의 화상정보를 수학적으로 분석하여 색 마커의 형상과 위치를 결정한다(단계 S400). 이때, 바람직하게 동작 중에 가려진 색 마커에 대해서는 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산한다.
이와 같이 하여 결정된 색 마커의 형상과 위치를 참조하여 3차원 공간상의 색 마커의 위치를 계산한다(단계 S500).
도 8을 참조하여 3차원 공간상의 색 마커의 위치를 계산하는 방법에 대해서 구체적으로 설명한다.
동작자의 동작자세의 결정은 허리에 부착된 색 마커의 인식으로부터 시작된다. 만약 머리에 부착된 색 마커도 있다면 두 정보를 같이 고려하면 신체의 몸통의 위치 및 자세가 결정된다. 다음 양 손목, 양 발목의 색밴드 위치를 고려하면 대략의 자세가 추정될 수 있다. 세부 자세는 팔과 다리의 펼쳐진 상황에 따라 결정되나, 사지를 따로 고려하면 이는 일반 수학에 있어서 3차원 공간내의 연결된 두 개의 링크의 위치를 구하는 것과 유사한 상황으로 생각될 수 있으며, 이를 위하여 다양한 기존 수학방법을 이용할 수 있다.
도 8을 참조하면, 먼저 머리와 몸통의 위치 PH, PW가 구해지고 우측 손목의 위치가 구해지면 신체의 동작성향 데이터베이스(92) 및 관절한계 데이터베이스(94)에 의해 대략의 자세가 예측되게 된다.
즉, 머리와 몸통의 상황으로 대략의 우측 어깨 관절의 위치 P1을 추정할 수있고, 동작자의 추정적인 신체 구조 치수에 의해 상부 팔과 하부 팔의 길이 L1, L2는 이미 결정되어 있으며, 색 마커가 부착된 우측 손목의 위치 P3는 카메라 시스템에 의해 구해지게 되므로, 결국은 신체의 동작성향 데이터베이스 및 관절한계 데이터베이스에 의해 P2가 추정된다. 이와 같이, P2가 추정되면 결국 팔에 대한 모든 3차원정보가 완료된다.
이와 같이 P1, P2및 P3가 구해지면 적절한 추정평면 P가 구해지고, 상부 팔과 하부 팔의 길이 L1, L2과 함께 각 관절의 상대각 θ2, θ3가 손쉽게 구해지며, 어깨의 회전각 θ1도 데이터베이스에 의해 적절히 추정한다.
한편, 머리와 몸통의 비틀림각의 측정은 상황에 따라 매우 중요할 수 있으며, 도 9에 도시된 바와 같은 색 마커를 이용하여 측정할 수 있다.
도 9를 참조하면, 머리에 부착되는 색 마커는 평면상으로 2등분하거나 4등분하여 적용한다. 허리에 부착되는 색 마커에도 2등분하여 적용할 수 있다. 각 등분된 색 마커는 각각 다른 색으로 구성할 수 있다.
이와 같이 하여 도 10에 도시된 바와 같이, 동작자가 머리나 몸통을 비틀지 않는 경우에는 정면 또는 측면에서 정중앙으로부터 나누어지는 각 색에 대하여 카메라에 판독되는 화상에서 면적비가 동일하다. 반면에, 머리나 몸통을 비트는 경우에는 비트는 방향에 따라 색면적비가 달라지므로 이를 이용하여 회전각과 회전방향을 계산해낼 수 있다. 즉, 다음과 같은 식을 이용하여 구할 수 있다.
r=
θ=sin-1
이어 현재동작 결정모듈(70)은 3차원 좌표연산모듈(60)에서 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스(96)와 연계 분석하여 현재 동작자의 운동형태, 자세정보 및 관절들의 위치를 결정한다(단계 S600).
최종적으로는, 선택적으로 동작보정모듈(80)이 현재동작 결정모듈(70)에서 결정된 동작자의 운동형태, 자세정보 및 관절들의 위치를 동작성향 데이터베이스
(92), 관절한계 데이터베이스(94) 및 모션 데이터베이스(96)를 참조하여 최종적으로 보정한다(단계 S700).
이와 같은 단계들을 거쳐 결정된 동작자의 운동형태, 자세정보 및 관절들의 위치는 다양한 방식으로 이용된다.
예를 들어, 결정된 정보들을 다른 시스템과 공유하고 연동 작업을 수행하기 위하여 다른 시스템으로 전송되거나, 결정된 정보들을 바로 3D 엔진 소프트웨어에 입력시켜 컴퓨터 내의 3D 가상세계에서의 3차원 신체 아바타의 운동을 제어한다. 또는 동작자의 현재 동작/자세가 즉시 요구되는 경우 결정된 정보로 운동형태와 자세를 인식하여 바로 기본 정보로 사용할 수 있다.
이상에서 설명한 바와 같이 본 발명에 따르면 여러 가지의 이점을 갖는다.
먼저, 기존의 모션 캡쳐장치들은 고가격, 고정밀도의 것이므로 일반사용자들이 손쉽게 사용하는 데에는 한계가 있지만, 본 발명에서는 다수의 센서를 부착하는 대신 수 개의 색 마커들을 신체 주요 부분에만 부착하여 이들로부터 3차원 정보를 얻고 나머지 정보는 신체의 동작성향 데이터베이스 및 관절한계 데이터베이스를 이용하여 추정할 수 있어 저렴한 가격으로 구형할 수 있다.
또한, 머리와 허리의 위치 분석으로 기본 몸통의 자세를 결정하는 것처럼 알려진 위치의 색 마커들의 상관관계를 이용하여 동작자의 동작 및 자세를 추정할 수 있어 부착되는 색 마커들의 개수를 최소화할 수 있다.
또한, 서로 다른 색의 마커들을 사용하여 복잡한 동작에 따른 색 마커의 위치가 혼동되는 상황이 발생할 확률을 줄일 수 있으며, 동작자가 기본동작부터 시작하지 않아도 각 색 마커의 부착위치를 미리 알고 있으므로 대략의 신체 동작 상황을 추정할 수 있다.
또한, 사용되는 색 마커는 단순한 밴드형태로 그 가격이 매우 저렴하고, 일회용을 이용할 수 있으며, 관리가 용이함과 동시에 매우 가벼우므로 동작자의 운동을 제한하거나 불쾌감을 유발하지 않는다.
특히 밴드타입의 마커는 설치되는 부분을 둘러싸는 형태로 착용되어 있으므로 신체가 마커를 가리는 현상이 크게 줄어들기 때문에 정확도가 향상되고 사용되는 카메라의 수를 줄이는 효과가 있다.

Claims (12)

  1. 동작자의 신체 주요부분에 설치된 색 마커로부터 적어도 하나 이상의 카메라 장치를 통하여 화상정보를 입력받는 단계;
    상기 입력받은 화상정보에서 배경 및 노이즈를 제거하는 단계;
    색 구별작업을 통하여 상기 화상정보를 각각 색상별로 분리하는 단계;
    상기 분리된 화상정보를 각각 수학적으로 분석하여 색 마커의 형상과 위치를 결정하는 단계;
    상기 결정된 색 마커의 형상과 위치를 참조하여 신체의 동작성향 데이터베이스 및 관절한계 데이터베이스와 연계하여 3차원 공간상의 색 마커의 위치를 계산하는 단계;
    상기 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스와 연계 분석하여 현재 동작자의 운동형태, 자세정보 및 관절들의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 3차원 신체동작 인식방법.
  2. 제 1 항에 있어서, 상기 색 마커의 형상과 위치를 결정하는 경우, 상기 동작자의 동작 중에 가려진 색 마커에 대해서는 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산하는 것을 특징으로 하는 3차원 신체동작 인식방법.
  3. 제 1 항에 있어서, 상기 결정된 동작자의 운동형태, 자세정보 및 관절들의 위치를 상기 동작성향 데이터베이스, 관절한계 데이터베이스 및 모션 데이터베이스를 참조하여 최종적으로 보정하는 단계를 더 포함하는 것을 특징으로 하는 3차원 신체동작 인식방법.
  4. 제 1 항에 있어서, 상기 동작성향 데이터베이스는 적용범위 및 상황에 따른 인체 각 관절의 동작성향을 데이터베이스화한 것이고, 상기 관절한계 데이터베이스는 인체의 각 관절의 운동범위와 인체 각 부위들의 상대 길이들을 데이터베이스화한 것이며, 상기 모션 데이터베이스는 동작자가 행하는 동작을 가상 3차원 공간 내의 아바타(avatar)가 따라할 수 있는 모든 동작 시퀀스를 데이터베이스한 것을 특징으로 하는 3차원 신체동작 인식방법.
  5. 제 1 항에 있어서, 상기 색 마커는 상기 동작자의 양 손목과 양 발목 및 허리에 밴드타입으로 감겨져서 설치되는 것을 특징으로 하는 3차원 신체동작 인식방법.
  6. 제 5 항에 있어서, 상기 동작자의 머리에 모자 형태로 상기 색 마커가 더 설치되는 것을 특징으로 하는 3차원 신체동작 인식방법.
  7. 제 1 항에 있어서, 상기 색 마커를 상기 동작자의 우측, 좌측 및 중앙위치에 대응하여 각각 그룹지어 동일한 색상을 부여하는 것을 특징으로 하는 3차원 신체동작 인식방법.
  8. 제 1 항에 있어서, 상기 3차원 공간상의 색 마커의 위치를 계산함과 동시에 머리와 몸통의 비틀림각을 계산하는 단계를 더 포함하는 것을 특징으로 하는 3차원 신체동작 인식방법.
  9. 제 8 항에 있어서, 상기 비틀림각의 계산은 정면 또는 측면에서 색 마커의 정중앙으로부터 나누어지는 각 색에 대하여 카메라에 판독되는 화상에서 면적비를 적용하여 이루어지는 것을 특징으로 하는 3차원 신체동작 인식방법.
  10. 적어도 하나 이상의 카메라 장치가 동작자의 동작에 따른 화상정보를 찍어 이미지 프레임 단위로 전송하는 화상정보에 포함된 배경과 불필요한 노이즈를 제거하는 노이즈 제거모듈(Background/Noise Removal module)과;
    상기 배경과 불필요한 노이즈가 제거된 화상정보를 색 구별작업을 통하여 색상별로 화상정보를 분리하는 색분리모듈(Color separation module)과;
    상기 색상별로 분리된 각각의 화상정보를 수학적으로 분석하여 색 마커의 형상과 위치를 결정하는 마커 추출모듈(Marker Object Finding module)과;
    상기 결정된 색 마커의 형상과 위치를 기준으로 동작성향 데이터베이스 및 관절한계 데이터베이스와 연계하여 3차원 공간상의 색 마커의 위치를 계산하는 3차원 좌표연산모듈(3D Coordinate Computation module) 및
    상기 3차원 좌표연산모듈에서 계산된 3차원 공간상의 색 마커들의 위치들을 모션 데이터베이스와 연계 분석하여 현재 동작자의 운동 종류 및 자세를 결정하는 현재동작 결정모듈(Current Motion Decision module)을 포함하는 것을 특징으로 하는 3차원 신체동작 인식시스템.
  11. 제 10 항에 있어서, 상기 동작자의 동작 중에 가려진 색 마커에 대해서 이전에 구해진 마커들의 위치정보와 연계하여 그 위치를 추정하고 연속성을 계산하는 마커 추적모듈(Marker Object Tracking module)을 더 포함하는 것을 특징으로 하는 3차원 신체동작 인식시스템.
  12. 제 10 항에 있어서, 상기 현재동작 결정모듈에서 결정된 동작자의 운동 종류와 자세를 상기 동작성향 데이터베이스, 관절한계 데이터베이스 및 모션 데이터베이스를 참조하여 최종적으로 보정하는 기능을 수행하는 동작보정모듈(Motion Compensation module)을 더 포함하는 것을 특징으로 하는 3차원 신체동작 인식시스템.
KR10-2001-0062178A 2001-10-09 2001-10-09 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템 KR100452917B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0062178A KR100452917B1 (ko) 2001-10-09 2001-10-09 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0062178A KR100452917B1 (ko) 2001-10-09 2001-10-09 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20010102881A true KR20010102881A (ko) 2001-11-17
KR100452917B1 KR100452917B1 (ko) 2004-10-14

Family

ID=45789041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0062178A KR100452917B1 (ko) 2001-10-09 2001-10-09 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100452917B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030073879A (ko) * 2002-03-13 2003-09-19 주식회사 엘지이아이 실시간 얼굴 검출 및 움직임 추적 방법
KR100453223B1 (ko) * 2001-12-20 2004-10-15 한국전자통신연구원 환자의 장애 예방 및 재활치료 시스템
KR100483806B1 (ko) * 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
KR100610199B1 (ko) * 2004-06-21 2006-08-10 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
KR100672288B1 (ko) * 2005-11-07 2007-01-24 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
US7239718B2 (en) 2002-12-20 2007-07-03 Electronics And Telecommunications Research Institute Apparatus and method for high-speed marker-free motion capture
KR100763578B1 (ko) * 2005-12-01 2007-10-04 한국전자통신연구원 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법
WO2010096554A2 (en) * 2009-02-23 2010-08-26 Wellcore Corporation Identifying a type of motion of an object
US7869646B2 (en) 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
KR101035793B1 (ko) * 2009-08-21 2011-05-20 중앙대학교 산학협력단 발 모션 추정 시스템 및 그 방법
KR101040130B1 (ko) * 2009-11-26 2011-06-09 충남대학교산학협력단 피부 무변형선 검출방법
KR101315220B1 (ko) * 2011-11-29 2013-10-08 엘지전자 주식회사 인체의 모션 처리 장치 및 그 방법
KR101339386B1 (ko) * 2012-06-19 2013-12-09 에이알비전 (주) 훈련자의 자세추적을 통한 몸동작 인식시스템
KR101398193B1 (ko) * 2012-07-26 2014-05-22 한국 한의학 연구원 캘리브레이션 장치 및 방법
KR20180106080A (ko) * 2017-03-17 2018-10-01 전자부품연구원 리볼버 사격 훈련을 위한 모션 트래킹 시스템 및 방법
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법
KR102615799B1 (ko) * 2023-07-07 2023-12-20 주식회사 위시 모션 캡쳐 시스템에서의 가상 공간 확장 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100453223B1 (ko) * 2001-12-20 2004-10-15 한국전자통신연구원 환자의 장애 예방 및 재활치료 시스템
KR20030073879A (ko) * 2002-03-13 2003-09-19 주식회사 엘지이아이 실시간 얼굴 검출 및 움직임 추적 방법
KR100483806B1 (ko) * 2002-07-18 2005-04-20 한국과학기술원 예제동작을 이용한 영상기반 동작복원방법
US7239718B2 (en) 2002-12-20 2007-07-03 Electronics And Telecommunications Research Institute Apparatus and method for high-speed marker-free motion capture
KR100610199B1 (ko) * 2004-06-21 2006-08-10 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
KR100672288B1 (ko) * 2005-11-07 2007-01-24 신믿음 마커간 융합을 이용하여 증강현실을 구현하는 방법 및 그장치
US7869646B2 (en) 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
KR100763578B1 (ko) * 2005-12-01 2007-10-04 한국전자통신연구원 구 투영기법을 이용한 인체 관절의 3차원 위치 추정 방법
WO2010096554A2 (en) * 2009-02-23 2010-08-26 Wellcore Corporation Identifying a type of motion of an object
WO2010096554A3 (en) * 2009-02-23 2011-01-13 Wellcore Corporation Identifying a type of motion of an object
KR101035793B1 (ko) * 2009-08-21 2011-05-20 중앙대학교 산학협력단 발 모션 추정 시스템 및 그 방법
KR101040130B1 (ko) * 2009-11-26 2011-06-09 충남대학교산학협력단 피부 무변형선 검출방법
KR101315220B1 (ko) * 2011-11-29 2013-10-08 엘지전자 주식회사 인체의 모션 처리 장치 및 그 방법
KR101339386B1 (ko) * 2012-06-19 2013-12-09 에이알비전 (주) 훈련자의 자세추적을 통한 몸동작 인식시스템
KR101398193B1 (ko) * 2012-07-26 2014-05-22 한국 한의학 연구원 캘리브레이션 장치 및 방법
KR20180106080A (ko) * 2017-03-17 2018-10-01 전자부품연구원 리볼버 사격 훈련을 위한 모션 트래킹 시스템 및 방법
KR20190027490A (ko) * 2017-09-07 2019-03-15 전자부품연구원 옥내 소화전 사용 훈련을 위한 키넥트 센서 및 imu 기반 모션 트래킹 방법
KR102615799B1 (ko) * 2023-07-07 2023-12-20 주식회사 위시 모션 캡쳐 시스템에서의 가상 공간 확장 장치 및 방법

Also Published As

Publication number Publication date
KR100452917B1 (ko) 2004-10-14

Similar Documents

Publication Publication Date Title
KR100452917B1 (ko) 색 마커를 이용한 3차원 신체 동작 인식방법 및 시스템
EP3459061B1 (en) Multi -joint tracking combining embedded sensors and an external
JP5641222B2 (ja) 演算処理装置、運動解析装置、表示方法及びプログラム
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
JP2014530047A (ja) ゴルフ・スイングを分析するための装置および方法
JPH10501156A (ja) 運動測定装置
JP7008342B2 (ja) 運動評価システム
CN110520822B (zh) 控制装置、信息处理系统、控制方法和程序
KR20090084035A (ko) 실시간 동작 인식 방법
KR100415884B1 (ko) 모션 캡쳐를 통하여 모션 데이터 파일을 생성하는 방법 및장치
EP1051108B1 (en) Motion measurement apparatus
KR101170236B1 (ko) Ｌｅｄ마커를 이용한 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치
JP2002063579A (ja) 画像解析装置及びその方法
JP6932267B2 (ja) コントローラ装置
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
KR100955539B1 (ko) 골프스윙의 자세분석 시스템 및 이를 이용한 자세분석 방법
JP7482471B2 (ja) 学習モデルの生成方法
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
KR20230137180A (ko) 자전거 라이딩 모션 분석 시스템 및 이와 관련된 분석 방법
KR20230044676A (ko) 정확도 개선을 위한 관절가동범위 측정 방법
KR20020037106A (ko) 신체와 신체가 조작하는 물체의 인입 선단부의 3차원 감지시스템
JP2024087325A (ja) 行動解析結果出力方法、行動解析結果出力プログラム、および行動解析結果出力システム
JP2022050776A (ja) 人体部位追跡方法及び人体部位追跡システム
JPWO2020021873A1 (ja) 処理装置、処理方法及びプログラム
Thi Kinect based character navigation in VR Game

Legal Events

Date Code Title Description
A201 Request for examination
G15R Request for early opening
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121005

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee