KR101226668B1 - 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 - Google Patents

스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 Download PDF

Info

Publication number
KR101226668B1
KR101226668B1 KR1020110026960A KR20110026960A KR101226668B1 KR 101226668 B1 KR101226668 B1 KR 101226668B1 KR 1020110026960 A KR1020110026960 A KR 1020110026960A KR 20110026960 A KR20110026960 A KR 20110026960A KR 101226668 B1 KR101226668 B1 KR 101226668B1
Authority
KR
South Korea
Prior art keywords
pointer
image
depth
pixel
unit
Prior art date
Application number
KR1020110026960A
Other languages
English (en)
Other versions
KR20120108728A (ko
Inventor
강인배
Original Assignee
주식회사 아이티엑스시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스시큐리티 filed Critical 주식회사 아이티엑스시큐리티
Priority to KR1020110026960A priority Critical patent/KR101226668B1/ko
Priority to PCT/KR2011/002145 priority patent/WO2012133962A1/ko
Publication of KR20120108728A publication Critical patent/KR20120108728A/ko
Application granted granted Critical
Publication of KR101226668B1 publication Critical patent/KR101226668B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법이 개시된다. 본 발명에 의한 3차원 동작 인식장치는 스테레오 카메라를 이용하여 추적하고자 하는 인체의 특정 부분인 포인터의 실제 위치와 이동방향, 이동거리 및 속도를 계산하는 방법으로 포인터의 움직임에 대한 정보를 계산할 수 있다. 본 발명에 의해 추출되고 계산된 정보는 사람이 3차원 공간상에서 움직이는 몸짓을 패턴화하고 정보화할 수 있게 한다.

Description

스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법{3 Dimensional Motion Recognition System and Method Using Stereo Camera}
본 발명은, 스테레오 카메라를 이용하여 사용자의 3차원 몸짓을 인식하여 정보화할 수 있는 3차원 동작 인식장치 및 인식방법에 관한 것이다.
컴퓨터를 포함하는 기계장치가 인간의 동작을 단순히 기록하는 것을 넘어 그 동작의 패턴을 인식할 수 있다는 것은 정보 기술의 새로운 혁신이 될 수 있을 것이다. 예컨대, 최근의 일부 게임기기가 사용자의 동작을 감지하여 그 동작에 반응하는 형태로 게임을 진행하는 것은 그 단편적인 예가 될 것이다.
이처럼, 사용자의 3차원 몸짓을 인식하는 기술은 일반적인 정보기기를 위한 사용자 인터페이스 영역뿐만 아니라 각종 로봇 등을 포함하여 그 활용범위의 한계를 미루어 짐작하기 힘든 정도이다.
이 분야에 대하여 종래에 이미 연구가 있었으나, 아직까지는 사용자가 별도의 착용 가능한 인터페이스 수단(Wearable Interface)을 사용하는 정도의 솔루션이 대부분이며, 카메라를 이용하여 사용자의 몸짓을 직접 해석하는 형태의 솔루션은 아직 제시되지 못한 상태이다. 그러나, 모니터나 홀로그램의 형태로 표시되는 3차원 입체 영상을 보면서 그 입체 영상으로 표시된 기기를 가상으로 조작하는 것과 같은 공상과학 영화 등에서나 나오던 것이 실제로 실현될 날도 멀지 않은 것만은 분명하다.
본 발명의 목적은 스테레오 카메라를 이용하여 사용자의 3차원 몸짓을 인식하여 정보화할 수 있는 3차원 동작 인식장치 및 인식방법을 제공함에 있다.
상기 목적을 달성하기 위한 스테레오 카메라를 이용한 3차원 동작 인식방법은, 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 단계; 상기 스테레오 영상에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 단계; 상기 스테레오 영상에서 상기 움직이는 객체를 추출하는 단계; 상기 영상에 대한 영상처리를 통해, 상기 영상의 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 단계; 상기 생성하는 단계에서 연속적으로 생성되는 영상 프레임 각각에 대해, 상기 심도 맵 데이터를 계산하는 단계 내지 포인터를 인식하는 단계를 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 단계; 및 상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 단계를 포함한다.
여기서, 상기 포인터를 인식하는 단계는, 상기 객체의 중심축을 추출한 다음, 상기 중심축의 단부를 포인터로 인식하는 것이 바람직하다.
또한, 상기 위치 변화를 추적하는 단계에서, 상기 포인터의 3차원 공간상의 위치는 상기 각 영상 프레임에서의 상기 포인터의 좌표와, 상기 심도 맵 데이터로부터 추출한 상기 좌표에서의 심도인 것이 바람직하다.
실시 예에 따라, 상기 출력하는 단계는, 상기 영상에서 상기 객체 영역의 단위 픽셀당 거리를 계산하여 상기 포인터가 이동한 픽셀 수를 곱하는 방법으로 상기 포인터의 실제 공간상 이동거리를 함께 계산하되, 상기 단위 픽셀당 거리는 다음의 수학식으로 구할 수 있다.
Figure 112011022054919-pat00001
여기서 상기 Lp(do)는 심도 do에 위치한 상기 객체 영역에 포함된 픽셀의 단위 길이, 상기 Qxy는 프레임 전체의 가로축 또는 세로축의 픽셀 수.
본 발명의 다른 실시 예에 따른 동작 인식장치는, 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 스테레오카메라부; 상기 스테레오카메라부로부터 연속적으로 입력되는 상기 스테레오 영상의 각 프레임에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 거리정보계산부; 상기 영상 프레임 각각에서 상기 움직이는 객체를 추출하는 객체추출부; 상기 객체추출부가 추출한 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 과정을 상기 영상 프레임 각각에 대해 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 모션추적부; 및 상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 모션정보출력부를 포함한다.
본 발명의 동작 인식장치는 3차원 공간 내에서 임의적으로 발생할 수 있는 인간의 3차원 몸짓을 인식하여, 특정 인체 부분이 움직이는 방향 및 그 속도에 관한 정보를 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 동작 인식 시스템의 블록도,
도 2는 본 발명의 3차원 동작 인식방법의 설명에 제공되는 흐름도,
도 3은 객체의 중심축 추출에 제공되는 도면,
도 4는 본 발명의 인식 시스템의 실제 동작상태를 예시적으로 도시한 도면,
도 5는 도 4에서 촬영한 영상들에 대한 영상처리 결과를 예시적으로 도시한 도면, 그리고
도 6은 객체의 면적 및 대표 길이의 계산에 제공되는 도면이다.
이하 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1을 참조하면, 동작인식장치(100)는 스테레오카메라부(110) 및 영상처리부(130)를 포함하여 3차원 공간상에서의 사용자의 3차원 모션을 인식하게 된다.
본 발명의 동작인식장치(100)는 도 4에서처럼 스테레오 카메라를 이용하여 사용자를 촬영하게 되고, 그 촬영한 영상에 대한 영상처리를 통해 사용자의 3 차원 몸짓(Motion)을 인식한다. 여기서, 3차원 몸짓의 인식이라 함은, 사용자 인체 중에서 추적 대상이 된 인체 부분(이하 '포인터(Pointer)'라 함)의 움직이는 방향, 움직이는 거리 및 그 속도에 관한 정보(이하, '모션 정보'라 함)를 생성함을 의미한다. 또한, 포인터(Pointer)는 예컨대, 손, 팔, 발, 다리, 머리, 손가락과 같은 신체 일부분을 의미하며 '두 손'과 같이 복수의 부분이 될 수도 있다. 움직이는 방향은 카메라 뷰(View)를 기준으로 한 3차원 가상공간에서의 상/하/좌/우/전방/후방을 포함하는 임의의 방향뿐만 아니라 회전을 포함한다.
도 4에서의 사용자는 팔을 움직여 손을 상하로 움직이고 있다. 만약 동작인식장치(100)에 사용자 손이 포인터로 설정되어 있다면, 동작인식장치(100)는 사용자 손이 Y 방향으로 얼마의 거리만큼 얼마의 속도로 이동하였음을 인식하고 그 정보를 생성하게 된다.
이러한 동작을 위해, 동작인식장치(100)는 스테레오 카메라를 구비하여 사용자에 대한 스테레오 영상을 생성하고 영상 처리를 수행한다.
도 1을 참조하면, 동작인식장치(100)는 스테레오카메라부(110) 및 영상처리부(130)를 포함하여 3차원 공간상에서의 사용자의 인체 포인터의 3차원 모션을 인식하게 된다.
스테레오카메라부(110)는 제1 카메라(111), 제2 카메라(113) 및 영상수신부(115)를 포함한다.
제1 카메라(111) 및 제2 카메라(113)는 동일한 영역을 촬영하도록 상호 이격되어 설치된 한 쌍의 카메라들로서, 소위 스테레오 카메라라고 한다. 제1 카메라(111) 및 제2 카메라(113)는 영역을 촬영한 아날로그 영상신호를 영상수신부(115)로 출력한다. 이러한 스테레오 카메라를 이용하여 피사체까지의 실제 거리를 추출할 수 있다.
영상수신부(115)는 제1 카메라(111) 및 제2 카메라(113)에서 입력되는 연속적인 프레임의 영상신호(또는 이미지)를 디지털 영상으로 변환하고, 그 프레임 동기를 맞추어 영상처리부(130)에게 제공한다.
실시 예에 따라, 스테레오카메라부(110)의 제1 카메라(111)와 제2 카메라(113)는 아날로그 영상이 아닌 디지털 영상신호를 생성하는 카메라일 수 있으며, 이 경우 영상수신부(115)는 다른 변환처리없이 영상처리부(130)와의 인터페이스를 제공하며 한 쌍의 영상의 프레임 동기를 맞추는 역할을 한다.
영상처리부(130)는 스테레오카메라부(110)로부터 연속적으로 출력되는 디지털 스테레오 영상을 이용하여 사용자의 포인터를 인식하고 그 포인터의 움직임을 추적함으로써 사용자의 3차원 모션을 인식한다.
이상의 처리를 위해, 영상처리부(130)는 거리정보계산부(131), 객체추출부(133), 객체인식부(135), 모션추적부(137) 및 모션정보출력부(139)를 포함한다. 이하에서는, 도 2를 참조하여 거리정보계산부(131), 객체추출부(133), 객체인식부(135), 모션추적부(137) 및 모션정보출력부(139)의 동작을 설명한다.
먼저, 제1 카메라(111) 및 제2 카메라(113)는 특정 공간을 촬영하도록 배치된다. 제1 카메라(111) 및 제2 카메라(113)가 아날로그 영상신호를 생성하면, 영상수신부(115)가 해당 아날로그 영상신호를 디지털 영상신호로 변환한 다음 프레임 동기를 맞추어 영상처리부(130)에게 제공한다(S201).
<심도 맵 데이터 생성: S203 단계>
모션 인식은 (1) 움직이는 객체 추출, (2) 객체가 인체인지 판단, (3) 인체인 경우, 기 설정된 포인터 부분 추적 (4) 포인터에 대한 모션 정보 생성의 순서로 이루어진다. 여기서, 위 (2) 내지 (4)의 과정에는 제1 및 제2 카메라(111, 113)로부터 해당 객체까지의 실측 거리정보가 필요하다.
이를 위해, 거리정보계산부(131)는, 영상수신부(115)로부터 실시간으로 입력받는 한 쌍의 디지털 영상을 이용하여 각 픽셀에 포착된 파사체까지의 거리정보를 픽셀 단위로 구하여, 3차원 심도 맵(3D Depth Map) 데이터를 계산한다. 따라서 심도 맵 데이터는 각 픽셀마다의 거리정보를 포함하게 된다.
여기서, 각 픽셀의 거리 정보는 종래에 알려진 스테레오 정합방법에 의해 구해지는 양안차 정보로서, 대한민국 등록특허 제0517876호의 "복수 영상 라인을 이용한 영상 정합 방법"이나 대한민국 등록특허 제0601958호의 "3차원 객체 인식을 위한 양안차 추정방법에 제시된 그래프 컷(Graph Cut) 알고리즘 등을 이용하여 계산할 수 있다. 따라서, 거리정보계산부(131)에서 계산한 심도 맵 데이터에는 각 픽셀에는 각 픽셀에 포착된 피사체까지의 실제 거리에 대한 정보가 포함된다.
<움직이는 객체의 추출 단계: S205 단계>
객체추출부(133)는 영상수신부(115)를 통해 입력되는 한 쌍의 디지털 이미지 중 어느 하나 이미지(또는 두 개 이미지 모두)에 대한 영상처리를 수행하여 움직이는 객체의 영역을 추출한다.
출원인은 이미 스테레오 카메라를 이용하여 움직이는 객체, 그 중에서도 특히 사람을 인식하는 방법에 관한 특허출원 제10-2010-0039302호 및 제10-2010-0039366호를 출원한 바 있다.
이에 의하면, 움직이는 객체의 추출은 새롭게 입력되는 영상에서 배경 영상을 뺀 차 영상(Different Image)를 구하는 방법으로 이루어진다. 다만, 본 발명에서 배경 영상은 고정 설정된 값일 수도 있으나, 움직이는 객체로 판단된 영역이 포함된 영상이더라도 포인터가 인식되지 않는 영상이라면 여기서의 배경 영상이 될 수 있다. 다만, 심도 맵 데이터를 구하거나, 심도 맵 데이터를 이용하여 아래에서 설명할 객체의 면적 또는 대표 길이를 구하기 위해 사용되는 기본 배경 영상은 기 설정된 영상이어야 한다.
<추출된 객체가 인체인지 판단: S207 단계>
객체가 추출되면, 객체추출부(133)와 객체인식부(135)는 추출된 객체가 인체인지 여부를 우선 판단한다. 예컨대, 해당 객체가 사람인지 동물인지 아니면 사물인지를 판단한다.
객체인식을 위해, 객체추출부(133)는 차 영상으로부터 객체의 외곽선을 검출하고, 객체인식부(135)는 객체추출부(133)가 추출한 객체의 외곽선과 거리정보계산부(131)가 계산한 심도 맵 데이터를 이용하여 객체의 면적 또는 객체의 대표 길이를 구한다.
객체인식부(135)는 계산된 객체의 면적 또는 대표 길이가 기 설정된 인체의 면적 또는 길이 범위 내에 속하는지를 판단하는 방법으로 추출된 객체가 인체인지를 판단할 수 있다.
객체의 외곽선 /면적 /대표 길이의 검출 및 계산에 대하여, 앞서 언급한 출원인의 특허출원 발명 제10-2010-0039302호 및 제10-2010-0039366호에는 외곽선 검출, 스테레오 카메라를 이용한 객체, 특히 사람을 인식하는 방법에 관하여 제시하고 있으며, 그 방법에 대하여 아래에서 다시 설명한다.
<객체의 중심선을 이용한 포인터 인식: S209 단계>
모션추적부(137)는 객체추출부(133)가 추출한 객체에 대해 골격화 또는 세선화 알고리즘을 적용하여 1 픽셀의 폭을 가지는 객체의 중심축(Medial Axis)을 추출한다. 골격화 알고리즘에는 외곽선을 이용하는 중심축변환(MAT: Medial Axis Transform)알고리즘 또는 Zhang Suen 알고리즘과 같이 기 알려진 다양한 방식을 적용할 수 있다.
예컨대, 중심축 변환에 의할 경우, 객체의 중심축(a)은 도 3에서처럼 객체(R) 내의 각 점(또는 픽셀)들 중에서 복수 개의 경계점을 가지는 점들의 집합이다. 여기서, 경계점은 외곽선(B) 상의 점들 중에서 객체 내의 해당 점과의 거리가 가장 가까운 점을 말하는 것으로, 외곽선상의 점 b1, b2는 객체(R) 내의 점 P1의 경계점이 된다. 따라서, 중심축 알고리즘은 경계점이 복수 개인 점들을 추출하는 과정이 되며 다음의 수학식 1과 같이 표현될 수 있다.
Figure 112011022054919-pat00002
여기서, Pma는 x의 집합으로 표시되는 중심축이고, x는 객체(R)내에 존재하는 점, bmin(x)는 점 x의 경계점의 수이다. 따라서, 중심축은 경계점의 수가 1보다 큰 점 x들의 집합이 된다. 여기서, 경계점을 계산하기 위해, 내부의 점 x에서 외곽선상의 임의의 픽셀까지의 거리를 구하는 방법(예컨대, 4-Distance, 8-Distance, Euclidean Distance 등)에 따라, 골격의 구조가 다소 바뀔 수 있다.
그 밖에도, 객체가 비교적 간단한 형태의 것인 경우, 객체에 대한 가우시안 값의 피크값을 추출하는 방법으로 중심선을 추출할 수 있으며, 이러한 알고리즘에 의할 경우 S207 단계의 외곽선 검출은 생략될 수도 있다.
모션추적부(137)는 객체의 중심축이 추출되면, 그 중심축 정보를 이용하여 포인터를 인식하게 된다. 포인터는 머리, 손, 발과 같이 인체의 중심선의 단부에 위치하는 것이 바람직하므로, 모션추적부(137)의 포인터 인식은 추출된 객체의 중심선의 단부를 인식하는 것에 해당할 수 있다.
<포인터의 움직임 추적: S211, S213 단계>
모션 인식은 움직임이 전제되므로, 모션추적부(137)가 인식한 포인터가 움직이지 않으면 해당 모션의 정보화도 없다. 따라서 일단 포인터가 인식된 후부터 추적이 종료될 때까지, 모션추적부(137)는 S201 단계에서 생성되어 연속적으로 입력되는 모든 영상 프레임에 대해, S203 내지 S209 단계의 영상처리를 반복 수행하면서 해당 포인터가 움직이는지를 판단한다(S211).
앞서 언급한 바와 같이, 포인터가 머리, 손, 발 중 적어도 하나에 지정된 경우, 모션추적부(137)의 포인터 추적은 도 5에 도시된 것처럼 연석적으로 입력되어 연속적으로 입력되어 영상처리된 각 프레임의 영상에서 중심선의 단부의 움직임을 추적하는 것에 해당한다.
도 5는 도 4의 사용자를 촬영한 영상들에 대한 영상처리 결과를 예시적으로 도시한 것이다. 도 5에는 순차적으로 영상처리되어 중심선(M1, M2, M3)이 추출된 영상(M1, M2, M3)이 도시되어 있으며, 사용자의 두 손이 포인터(m11, m12, m21, m22, m31, m32)로 설정된 경우이다. 따라서 모션추적부(137)는 각 영상(M1, M2, M3)에서 중심선의 두 단부(m11, m12, m21, m22, m31, m32)의 움직임을 추적한다.
도 5에서는 각 중심선(M1, M2, M3)에서 왼손에 해당하는 단부(m11, m21, m31)만이 움직이고 있으므로, 결국은 해당 포인터(m11, m21, m31)에 대한 모션 정보만이 생성될 것이다.
모션추적부(137)는 연속적으로 입력되어 영상처리된 각 프레임의 영상에서 포인터(m11, m12, m21, m22, m31, m32) 각각의 위치 정보를 추출하여 모션정보출력부(139)에게 제공한다. 여기서, 위치 정보는 영상에서의 포인터(또는 그 픽셀)의 좌표와, 해당 좌표 픽셀에서의 심도를 포함한다. 여기서, 심도는 해당 영상 프레임에 대하여 거리정보계산부(131)가 계산한 심도 맵 데이터로부터 추출한다. 이러한 모션추적부(137)의 포인터 추적은 포인터(m11, m12, m21, m22, m31, m32)가 움직이는 동안 계속된다.
<포인터의 모션정보 생성: S215 단계>
모션정보출력부(139)는 모션추적부(137)가 제공하는 각 프레임의 영상에서의 포인터(m11, m12, m21, m22, m31, m32) 각각의 위치정보를 기초로, 해당 포인터의 이동방향, 실제 이동거리를 포함하는 포인터의 모션 정보를 계산한다. 또한, 모션정보출력부(139)는 영상 프레임 주기에 기초하여 이동 속도를 계산한다.
이동 방향은 포인터의 좌표와 그 좌표의 심도 정보로 3차원 가상공간 상의 포인터의 이동 벡터를 그림으로써 당연히 추출할 수 있다.
포인터의 실제 이동 거리는 포인터 좌표 픽셀의 단위 픽셀당 가로방향 거리와 세로방향 거리, 그리고 심도 맵 데이터를 이용할 수 있다. 여기서, 단위 픽셀당 거리는 아래의 수학식 6 등을 이용할 수 있다. 수학식 6은 각 픽셀의 세로 길이이지만, 동일한 방법으로 가로 길이를 구할 수 있을 것이다.
앞서 설명한 바와 같이, 왼손 포인터(m11, m21, m31)만 움직이므로, 왼손 포인터(m11, m21, m31)에 대한 모션 정보만이 생성될 것이다.
이상의 방법으로 본 발명의 3차원 동작 인식장치(100)의 스테레오 카메라를 이용한 모션 인식방법이 수행된다.
이하에서는, S207 단계의 외곽선 검출, 객체의 면적 및 대표 길이 계산에 대하여 먼저 한 특허출원 제10-2010-0039302호 및 제10-2010-0039366호를 기초로 간단히 설명한다.
먼저, 추출된 객체의 외곽선 검출을 위해, 객체추출부(133)는 S205 단계의 뺄셈 연산의 결과 영상에서 외곽선 검출을 수행하여 움직이는 객체의 외곽선을 검출한다. 외곽선 검출은 객체의 경계선 넓이와 형태에 따라 여러 종류의 형태의 에지를 사용하여 처리된다.
객체추출부(133)는 외곽선 검출을 위해, 뺄셈 영상에 모폴로지(Morphology) 연산을 적용하여 잡음을 제거하고, 외각선이나 골격선을 간단하게 할 수 있다. 모폴로지 연산에는 기본적으로 잡음을 제거하는 침식(Erosion) 연산과 객체 내의 작은 구멍을 메우는 팽창(Dilation) 연산이 사용될 수 있다.
객체의 면적 계산은, S203 단계에서 추출된 객체가 위치한 거리(do)에서의 픽셀 당 실제 면적(이하, 픽셀의 '단위 면적'이라 함)을 구한 다음, 해당 객체의 외곽선 내부에 포함된 픽셀의 수를 곱하는 방법으로 이루어진다.
도 6을 참조하면, 기본 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임에 대응하는 실제면적(Nmax)과, 추출된 객체의 위치(do)에서의 전체 프레임에 대응하는 실제면적 N(do)이 표시되어 있다. 먼저 해당 객체가 위치하는 거리(do)에서의 프레임 전체에 대응되는 실제면적 N(do)은 다음의 수학식 2와 같이 구할 수 있다.
Figure 112011022054919-pat00003
여기서, Nmax은 기존 배경 영상을 기준으로 최대 거리(D)에서의 전체 프레임(예컨대, 720×640 픽셀)에 대응되는 실제 면적이다.
다음으로, 객체가 위치하는 거리(do)에서의 전체 프레임에 대응되는 실제 면적 N(do)을 프레임 전체의 픽셀 수(Q, 예컨대, 460,800=720×640)로 나눔으로써, 객체 영역에 포함된 픽셀의 단위 면적 Np ( do )을 다음의 수학식 3과 같이 구한다.
Figure 112011022054919-pat00004
여기서, Q는 전체 픽셀의 수이다. 수학식 3에 의하면, Np ( do )은 3차원 심도 맵 데이터의 거리 정보로부터 확인한 해당 객체까지의 거리(do)에 따라 달라짐을 알 수 있다.
마지막으로, 객체의 면적은 앞에서 설명한 것처럼 픽셀의 단위 면적 Np ( do )에 해당 외곽선 내부에 포함되는 픽셀의 수(qc)를 곱함으로써 다음의 수학식 4와 같이 구할 수 있다.
Figure 112011022054919-pat00005
여기서, qc는 객체에 포함된 픽셀의 수이다.
이하에서는 객체의 대표 길이를 계산하는 과정에 대하여 간단히 설명한다.
수학식 1을 중심으로 설명한 바와 같이 중심선이 추출되면, 심도 맵 데이터를 이용하여 객체의 대표 길이를 구한다. 객체의 대표 길이는 객체를 대표하는 것으로 설정된 객체의 실제 길이로서 영상으로부터 계산된 값이며, 중심축의 실제 길이, 객체의 실제 폭 또는 객체의 실제높이 등이 해당할 수 있다. 다만, 객체의 대표 길이는 카메라의 위치, 촬영각도 및 촬영영역의 특성 등에 따라 영향을 받게 된다.
나아가, 객체의 실제길이의 계산은, 객체가 위치한 거리(do)에서의 픽셀 당 실제 길이(이하, 픽셀의 '단위 길이'라 함)를 구한 다음, 해당 객체를 대표하는 픽셀의 수를 곱하는 방법으로 이루어진다. 여기서, 객체를 대표하는 픽셀의 수는 앞서 중심축을 형성하는 픽셀의 수, 해당 객체의 폭이나 높이가 되는 픽셀의 수 등이 해당할 수 있다.
객체를 대표하는 픽셀의 수로서의, 객체의 폭이나 높이는 객체 영역의 x축좌표의 범위 또는 y축좌표의 범위를 통해 구해질 수 있으며, 중심축의 길이는 예컨대 중심축에 포함된 픽셀의 수를 모두 더함으로써 구할 수 있다.
특정 픽셀의 단위 길이는 픽셀마다(정확하게는 픽셀의 심도에 따라) 달라지며, 도 6를 참조하여 다음과 같이 구할 수 있다. 여기서, 설명의 편리를 위해, 영상 프레임의 크기를 720×640 픽셀이라 가정한다.
도 6에서, 기본 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 Lmax와, 추출된 객체의 위치 l에서의 전체 프레임의 세로축(또는 가로축)에 대응하는 실제길이 L(do)가 표시되어 있다. 먼저 해당 객체가 위치하는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제길이 L(do)는 다음의 수학식 5와 같이 구할 수 있다.
Figure 112011022054919-pat00006
여기서, L(do)는 심도 do에서의 프레임 전체의 세로축(또는 가로축)에 대응되는 실제 길이이고, Lmax는 기존 배경영상을 기준으로 최대 심도(D)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이다.
다음으로, 객체가 위치하는 거리(do)에서의 전체 프레임의 세로축(또는 가로축)에 대응되는 실제 길이 L(do)을 프레임 전체의 세로축(또는 가로축)의 픽셀 수(Qx, Qy, 예에서 Qx=720, Qy=640)로 나눔으로써, 객체 영역에 포함된 픽셀의 단위 길이 Lp(do)을 다음의 수학식 6과 같이 구할 수 있다.
Figure 112011022054919-pat00007
여기서, Lp(do)는 심도 do에 위치한 객체 영역에 포함된 픽셀의 단위 길이, Qy는 프레임 전체의 세로축의 픽셀 수이다. 수학식 6에 의하면, Lp(do)은 3차원 심도 맵 데이터의 거리 정보로부터 확인한 해당 객체까지의 심도(do)와 맵 데이터 상의 최대 심도에 따라 달라짐을 알 수 있다.
앞서, S215 단계에서 구하는 포인터의 이동 거리를 계산하기 위해 사용되는 단위 픽셀의 세로축은 수학식 6을 그대로 이용하면 되고, 가로축 길이는 수학식 6에서 Qy를 대신하여 프레임 전체의 가로축 Qx를 입력함으로써 구해질 수 있을 것이다.
픽셀의 단위 길이가 구해지면, 객체인식부(135)는 객체의 대표 길이를 구한다. 객체의 대표 길이는 픽셀의 단위 길이 Lp(do)에 해당 객체를 대표하는 픽셀의 수 qo를 곱함으로써 다음의 수학식 7과 같이 구할 수 있다.
Figure 112011022054919-pat00008
여기서, qo는 해당 객체를 대표하는 픽셀의 수이다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (5)

  1. 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 단계;
    상기 스테레오 영상에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 단계;
    상기 스테레오 영상에서 상기 움직이는 객체를 추출하는 단계;
    상기 영상에 대한 영상처리를 통해, 상기 영상의 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 단계;
    상기 생성하는 단계에서 연속적으로 생성되는 영상 프레임 각각에 대해, 상기 심도 맵 데이터를 계산하는 단계 내지 포인터를 인식하는 단계를 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 단계; 및
    상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 단계를 포함하고,
    상기 출력하는 단계는, 상기 영상에서 상기 객체 영역의 단위 픽셀당 거리를 계산하여 상기 포인터가 이동한 픽셀 수를 곱하는 방법으로 상기 포인터의 실제 공간상 이동거리를 함께 계산하되,
    상기 단위 픽셀당 거리는 다음의 수학식
    Figure 112012066970533-pat00016
    으로 구하며,
    여기서 상기 Lp(do)는 심도 do에 위치한 상기 객체 영역에 포함된 픽셀의 단위 길이, 상기 Qxy는 영상 프레임 전체의 가로축 또는 세로축의 픽셀 수, 상기 L(do)는 심도 do에서의 영상 프레임 전체의 가로축 또는 세로축에 대응되는 실제 길이, 상기 D는 상기 움직이는 객체의 배경이 되는 배경 영상의 최대 심도, 상기 Lmax는 상기 최대 심도(D)에서의 전체 프레임의 가로축 또는 세로축에 대응되는 실제 길이인 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식방법.
  2. 제1항에 있어서,
    상기 포인터를 인식하는 단계는,
    상기 객체의 중심축을 추출한 다음, 상기 중심축의 단부를 포인터로 인식하는 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식방법.
  3. 제1항에 있어서,
    상기 위치 변화를 추적하는 단계에서, 상기 포인터의 3차원 공간상의 위치는 상기 각 영상 프레임에서의 상기 포인터의 좌표와, 상기 심도 맵 데이터에서 추출한 상기 포인터 좌표의 심도인 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식방법.
  4. 삭제
  5. 움직이는 객체를 스테레오 카메라로 촬영하여 스테레오 영상을 생성하는 스테레오카메라부;
    상기 스테레오카메라부로부터 연속적으로 입력되는 상기 스테레오 영상의 각 프레임에서의 각 픽셀에 대한 심도 맵 데이터를 계산하는 거리정보계산부;
    상기 영상 프레임 각각에서 상기 움직이는 객체를 추출하는 객체추출부;
    상기 객체추출부가 추출한 객체 영역 중에서 모션인식 대상이 되는 포인터를 인식하는 과정을 상기 영상 프레임 각각에 대해 수행하여 상기 포인터의 3차원 공간상의 위치 변화를 추적하는 모션추적부; 및
    상기 추적된 포인터의 변화된 3차원 공간상 위치 정보를 이용하여, 상기 포인터의 3차원상 이동방향에 대한 정보를 계산하고 출력하는 모션정보출력부를 포함하고,
    상기 모션정보출력부는, 상기 영상에서 상기 객체 영역의 단위 픽셀당 거리를 계산하여 상기 포인터가 이동한 픽셀 수를 곱하여 상기 포인터의 실제 공간상 이동거리를 함께 계산하되,
    상기 단위 픽셀당 거리는 다음의 수학식
    Figure 112012066970533-pat00017
    으로 구하며,
    여기서 상기 Lp(do)는 심도 do에 위치한 상기 객체 영역에 포함된 픽셀의 단위 길이, 상기 Qxy는 영상 프레임 전체의 가로축 또는 세로축의 픽셀 수, 상기 L(do)는 심도 do에서의 영상 프레임 전체의 가로축 또는 세로축에 대응되는 실제 길이, 상기 D는 상기 움직이는 객체의 배경이 되는 배경 영상의 최대 심도, 상기 Lmax는 상기 최대 심도(D)에서의 전체 프레임의 가로축 또는 세로축에 대응되는 실제 길이인 것을 특징으로 하는 스테레오 카메라를 이용한 3차원 동작 인식장치.
KR1020110026960A 2011-03-25 2011-03-25 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법 KR101226668B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110026960A KR101226668B1 (ko) 2011-03-25 2011-03-25 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
PCT/KR2011/002145 WO2012133962A1 (ko) 2011-03-25 2011-03-29 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110026960A KR101226668B1 (ko) 2011-03-25 2011-03-25 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법

Publications (2)

Publication Number Publication Date
KR20120108728A KR20120108728A (ko) 2012-10-05
KR101226668B1 true KR101226668B1 (ko) 2013-01-25

Family

ID=46931628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110026960A KR101226668B1 (ko) 2011-03-25 2011-03-25 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법

Country Status (2)

Country Link
KR (1) KR101226668B1 (ko)
WO (1) WO2012133962A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439056B1 (ko) 2013-09-30 2014-09-05 (주)디지엔터테인먼트 3차원 동작 인식 시스템 및 방법
US9552644B2 (en) 2014-11-17 2017-01-24 Samsung Electronics Co., Ltd. Motion analysis method and apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
KR101754126B1 (ko) * 2015-06-10 2017-07-19 주식회사 브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
KR102154720B1 (ko) * 2019-08-06 2020-09-10 농업협동조합중앙회 점포 내의 선반에 비치된 아이템의 구매자를 식별하는 방법 및 그 전자장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4275304B2 (ja) * 2000-11-09 2009-06-10 シャープ株式会社 インターフェース装置およびインターフェース処理プログラムを記録した記録媒体
KR100544677B1 (ko) * 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
KR100556930B1 (ko) * 2004-06-19 2006-03-03 엘지전자 주식회사 3차원 사물 인식장치와 방법 및 이를 이용한 게임 장치
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101439056B1 (ko) 2013-09-30 2014-09-05 (주)디지엔터테인먼트 3차원 동작 인식 시스템 및 방법
US9552644B2 (en) 2014-11-17 2017-01-24 Samsung Electronics Co., Ltd. Motion analysis method and apparatus

Also Published As

Publication number Publication date
WO2012133962A1 (ko) 2012-10-04
KR20120108728A (ko) 2012-10-05

Similar Documents

Publication Publication Date Title
US9286694B2 (en) Apparatus and method for detecting multiple arms and hands by using three-dimensional image
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
KR102317247B1 (ko) 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
JP5635736B2 (ja) 情報処理装置および情報処理方法
JP5167248B2 (ja) 深度マップによるヒューマノイド形状のモデル化
KR101616926B1 (ko) 영상 처리 장치 및 방법
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
JP6723061B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP2009536731A5 (ko)
KR101226668B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN105809664B (zh) 生成三维图像的方法和装置
JP2012103743A (ja) 仮想情報付与装置及び仮想情報付与プログラム
KR101203121B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR20200073031A (ko) 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법
KR20170001448A (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
JP7024876B2 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법
JP2017227687A (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
KR20160026565A (ko) 양 눈 시선 정보를 이용한 3차원 시선 추적 방법
JP3230292B2 (ja) ３次元物体の形状測定装置、３次元物体の形状復元装置、３次元物体の形状測定方法、および、３次元物体の形状復元方法
JP2023003929A (ja) 骨格認識方法、骨格認識プログラム、および体操採点支援システム
CN108140243B (zh) 用于构建3d手模型的方法、设备和系统
Wang et al. HFR-video-based Fingertip Velocimeter for Multi-finger Tapping Detection

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 8