KR102068552B1 - 동작 인식을 위한 센싱 장치 및 그 방법 - Google Patents

동작 인식을 위한 센싱 장치 및 그 방법 Download PDF

Info

Publication number
KR102068552B1
KR102068552B1 KR1020130060878A KR20130060878A KR102068552B1 KR 102068552 B1 KR102068552 B1 KR 102068552B1 KR 1020130060878 A KR1020130060878 A KR 1020130060878A KR 20130060878 A KR20130060878 A KR 20130060878A KR 102068552 B1 KR102068552 B1 KR 102068552B1
Authority
KR
South Korea
Prior art keywords
pixel
image
depth image
depth
value
Prior art date
Application number
KR1020130060878A
Other languages
English (en)
Other versions
KR20140140273A (ko
Inventor
최진욱
김정섭
권동욱
김경일
김민호
박정훈
이기상
이상보
이진경
정선태
진영구
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130060878A priority Critical patent/KR102068552B1/ko
Publication of KR20140140273A publication Critical patent/KR20140140273A/ko
Application granted granted Critical
Publication of KR102068552B1 publication Critical patent/KR102068552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동작 인식을 위한 센싱 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 뎁스 이미지의 일부 픽셀에 대한 픽셀 정보를 추출하고, 추출된 픽셀 정보에 대한 변화가 있는지 판단하여 픽셀 정보에 대한 변화가 있으면 픽셀 정보를 이용하여 자세 인식을 수행하며, 둘 이상의 뎁스 이미지에 대한 동작 인식을 수행함으로써 빠르고 효율적인 동작 인식을 수행할 수 있게 된다.

Description

동작 인식을 위한 센싱 장치 및 그 방법{SENSING DEVICE AND METHOD FOR MOTION RECOGNITION}
본 발명은 센싱 장치 및 방법에 관한 것으로, 특히 동작 인식을 위한 센싱 장치 및 방법에 관한 것이다.
일반적으로 사용자의 동작 인식을 위해서 동작 인식 장치는 사용자의 신체 부위별로 여러 개의 가속도 센서 또는 지자기 센서를 부착하고, 부착된 센서로부터 수신된 가속도 값과 방향 정보를 이용하여 사용자의 동작을 인식한다.
또한 동작 인식 장치는 센서를 이용하지 않고 카메라를 더 구비하여 카메라를 통해서 입력된 이미지로부터 신체 일부를 인식하고, 연속적으로 입력되는 이미지 프레임들의 픽셀값을 서로 비교하여 비교 결과에 따라 인식된 신체 일부에 대한 픽셀 값의 변화량에 대응하는 동작을 인식한다.
상기와 같이 종래에는 사용자의 신체에 센서를 부착하고, 센서로부터 수신되는 정보를 이용하여 사용자의 동작을 판단하거나 카메라를 이용하여 촬영된 연속적인 이미지로부터 신체의 동작을 인식하였다.
하지만 종래의 센서를 이용한 인식 방법에서는 사용자의 신체에 여러 개의 센서들을 신체에 부착하기 때문에 사용자가 움직이는데 불편하고, 동작을 인식하기 위해서 계속적으로 센서들을 몸에 부착하고 있어야 한다는 번거로움이 있다.
또한 종래의 카메라를 이용한 인식 방법에서는 카메라에 의해서 연속으로 촬영된 이미지들을 이용하여 픽셀값을 비교하기 때문에 고화질의 이미지를 서로 비교하기 위해서 사용되는 연산량이 늘어나고, 전력 소비가 증가한다는 단점이 있다.
따라서, 본 발명에서는 빠르고 효율적인 동작 인식을 위한 센싱 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 동작 인식을 위한 센싱 장치에 있어서, 자세 인식을 수행하는 자세 템플릿 매칭부와, 동작 인식을 수행하는 동작 템플릿 매칭부와, 이미지의 일부 픽셀에 대한 픽셀 정보를 추출하고, 상기 추출된 픽셀 정보를 이용하여 상기 자세 인식을 수행하도록 상기 자세 템플릿 매칭부를 제어하고, 둘 이상의 이미지에 대한 동작 인식을 수행하도록 상기 동작 템플릿 매칭부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 동작 인식을 위한 센싱 방법에 있어서, 이미지의 일부 픽셀에 대한 픽셀 정보를 추출하는 과정과, 상기 추출된 픽셀 정보를 이용하여 상기 자세 인식을 수행하는 과정과, 둘 이상의 이미지에 대한 동작 인식을 수행하는 과정을 포함하는 것을 특징으로 한다.
본 발명은 입력된 이미지의 일부 픽셀에 대한 픽셀 정보를 이용하여 빠르고 효율적인 동작 인식을 수행할 수 있다는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 동작 인식을 위한 센싱 장치에 대한 블록도,
도 2는 본 발명의 실시 예에 따라 이미지의 가로 픽셀열 및 세로 픽셀열을 구성하는 각 픽셀에 대한 뎁스값 및 색상값을 추출하는 과정을 설명하기 위한 예시도,
도 3은 본 발명의 실시 예에 따라 동작 인식을 위한 과정을 나타내는 흐름도.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 본 발명의 실시 예에 따른 동작 인식을 위한 센싱 장치에 대한 블록도이다.
본 발명의 실시 예에 따른 동작 인식을 위한 센싱 장치는 제어부(100), 이미지 센서부(110), 자세 템플릿 매칭부(120), 동작 템플릿 인식부(130), 저장부(140)를 포함한다.
제어부(100)는 센싱 장치의 동작을 제어하는데, 특히 이미지 센서부(110), 자세 템플릿 매칭부(120), 동작 템플릿 인식부(130), 저장부(140)의 동작을 제어한다.
제어부(100)는 이미지 센서부(110)를 통해서 입력되는 n번째 이미지로부터 해당 이미지를 구성하는 다수의 픽셀들 중 일부 픽셀에 대한 픽셀 값을 추출한다. 여기서, 이미지는 뎁스 이미지와 컬러 이미지를 포함하고, 뎁스 이미지는 깊이 정보를 나타내는 이미지를 의미하며, n은 자연수이다. 만약, 뎁스 이미지를 이용할 경우 픽셀 값은 뎁스값 및 색상값을 포함할 수 있다.
본 발명의 실시 예에서는 이미지가 뎁스 이미지인 것을 가정하여 설명하도록 한다. 본 발명의 실시 예에서는 뎁스 이미지로 설명하였으나, 컬러 이미지도 될 수 있으며, 이에 한정되지 않는다.
예를 들어, 1920(pixel)*1080(pixel) 해상도의 뎁스 이미지가 입력되면 제어부(100)는 뎁스 이미지의 제1번째 가로 픽셀열 및 제1번째 세로 픽셀열, 제30번째 가로 픽셀열 및 제30번째 세로 픽셀열, 제60번째 가로 픽셀열 및 제60번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다. 다시 말해서, 제어부(100)는 30픽셀 단위로 뎁스 이미지의 가로 픽셀열 세로 픽셀열에 대한 뎁스값 및 색상값을 추출할 수 있다. 본 발명의 실시 예에서는 제1번째, 제30번째, 제60번째 픽셀열과 같이 30픽셀 단위로 추출하는 것을 예로 설명하였으나 제1번째, 제30번째, 제60번째 픽셀열로 한정되지 않으며 다양하게 설정될 수 있다.
제어부(100)는 n-1번째 이미지로부터 추출된 픽셀 값과 n번째 뎁스 이미지로부터 추출된 픽셀 값을 서로 비교하여 픽셀 값의 차이값이 임계값 이상인지를 판단한다. 이때, n이 1인 경우 n-1번째 이미지는 사용자의 자세를 인식하기 위해서 미리 저장된 하나 이상의 자세 템플릿 이미지 중 어느 하나가 될 수 있다.
만약 픽셀 값의 차이값이 임계값 이상이면 제어부(100)는 n번째 이미지로부터 실루엣 이미지를 추출하고, 추출된 실루엣 이미지를 저장부(140)에 저장한다. 예를 들어, 제어부(100)는 n번째 뎁스 이미지의 각 픽셀들에 대한 뎁스 값 및 색상 값을 비교하여 에지를 산출하고, 산출된 에지에 대응하는 실루엣 이미지를 추출할 수 있다.
이후 제어부(100)는 추출된 실루엣 이미지에 대한 자세 인식을 위해서 추출된 실루엣 이미지와 미리 저장된 하나 이상의 자세 템플릿 이미지를 비교하도록 자세 템플릿 매칭부(120)를 제어한다. 이때, 자세 템플릿 매칭부(120)는 추출된 실루엣 이미지의 각 픽셀에 대한 뎁스 값 및 색상 값과 하나 이상의 자세 템플릿 이미지의 각 픽셀에 대한 뎁스 값 및 색상 값을 비교하여 추출된 실루엣 이미지와 유사한 자세 템플릿을 검출한다. 이에 따라, 본 발명의 실시 예에서는 추출된 실루엣 이미지에 대한 자세를 인식할 수 있게 된다. 여기서, 자세 템플릿 매칭부(120)의 자세 템플릿 매칭은 당업자에게 잘 알려진 기술이기 때문에 상세한 설명은 생략하도록 한다.
제어부(100)는 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지가 저장부(140)에 저장되었는지 판단하여 둘 이상의 실루엣 이미지가 저장되어 있으면 저장된 둘 이상의 실루엣 이미지를 이용하여 동작 템플릿 매칭을 수행하도록 동작 템플릿 매칭부(130)를 제어한다. 이때, 동작 템플릿 매칭부(130)는 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지의 각 픽셀에 대한 뎁스 값 및 색상값을 추출하고, 추출된 뎁스 값 및 색상값에 대한 차이값에 따라 동작을 인식할 수 있다. 여기서 동작 템플릿 매칭은 당업자에게 잘 알려진 기술이기 때문에 상세한 설명은 생략하도록 한다.
만약 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지가 저장되어 있지 않으면 제어부(100)는 이미지 센서부(110)로부터 n+1 번째 이미지를 수신하고, 수신된 n+1번째 이미지를 구성하는 다수의 픽셀들 중 일부 픽셀에 대한 픽셀 값을 추출한다.
예를 들어, 1920(pixel)*1080(pixel) 해상도의 뎁스 이미지가 입력되면 제어부(100)는 뎁스 이미지의 제2번째 가로 픽셀열 및 제2번째 세로 픽셀열, 제31번째 가로 픽셀열 및 제31번째 세로 픽셀열, 제61번째 가로 픽셀열 및 제61번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다.
만약 n+2번째 뎁스 이미지가 입력되면 제어부(100)는 뎁스 이미지의 제3번째 가로 픽셀열 및 제3번째 세로 픽셀열, 제32번째 가로 픽셀열 및 제32번째 세로 픽셀열, 제62번째 가로 픽셀열 및 제62번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다.
이와 같이 본 발명의 실시 예에서는 제어부(100)가 미리 설정된 픽셀 단위에 따라 입력된 이미지의 가로 픽셀열 및 세로 픽셀열을 구성하는 각 픽셀에 대한 픽셀 값을 추출할 수 있다.
이후 제어부(100)는 상기에서 설명한 바와 같이 자세 템플릿 매칭 및 동작 템플릿 매칭을 수행한다.
이미지 센서부(110)는 광 신호를 입력받아서 이미지를 출력한다.
자세 템플릿 매칭부(120)는 이미지로부터 추출된 실루엣 이미지와 저장부(140)에 미리 저장된 자세 템플릿 이미지를 비교하여 실루엣 이미지에 대한 자세를 인식한다.
동작 템플릿 인식부(130)는 둘 이상의 실루엣 이미지를 서로 비교하여 동작을 인식한다.
저장부(140)는 제어부(100)의 제어에 따라 이미지 센서부(110), 자세 템플릿 매칭부(120), 동작 템플릿 인식부(130)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 또한 저장부(140)는 센싱 장치 또는 제어부(100)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 특히 저장부(140)는 자세 템플릿 매칭을 위해서 사용되는 하나 이상의 자세 템플릿 이미지, 둘 이상의 실루엣 이미지를 저장할 수 있다.
도 2는 본 발명의 실시 예에 따라 이미지의 가로 픽셀열 및 세로 픽셀열을 구성하는 각 픽셀에 대한 뎁스값 및 색상값을 추출하는 과정을 설명하기 위한 예시도이다.
제어부(100)는 도 2의 (a)와 같이 1920(픽셀)x1080(픽셀) 해상도를 가지는 n번째 이미지의 각 픽셀에 대한 뎁스값과 색상값을 추출한다. 구체적으로, 제어부(100)는 1920(픽셀)x1080(픽셀)의 n번째 이미지에 대한 가로열, 세로열을 30픽셀열 단위로 각 픽셀에 대한 뎁스값과 색상값을 추출한다. 예를 들어, 제어부(100)는 현재 많이 사용하는 풀 HD급 1920(픽셀)x1080(픽셀) 해상도를 기준으로 가로열 및 세로열을 30 픽셀열 단위로 계산하면, 64x36 해상도를 가지는 30장의 이미지를 얻을 수 있다. 만약 1초에 30프레임의 이미지들을 처리할 수 있다고 가정하면 제어부(100)는 1초에 64x36 해상도를 가지는 30장의 이미지를 처리하여 1920x1080 해상도를 가지는 이미지 전체를 처리할 수 있다.
제어부(100)는 제1번째 가로열과 제1번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출하고, 제30번째 가로열과 제30번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출하고, 제60번째 가로열과 제60번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출한다.
이후 제어부(100)는 도 2의 (b)와 같이 1920(픽셀)x1080(픽셀) 해상도를 가지는 n+1번째 이미지의 각 픽셀에 대한 뎁스값과 색상값을 추출한다. 구체적으로, 제어부(100)는 n+1번째 이미지에 대한 가로열, 세로열을 30픽셀열 단위로 각 픽셀에 대한 뎁스값과 색상값을 추출한다. 예를 들어, 제어부(100)는 제2번째 가로열과 제2번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출하고, 제31번째 가로열과 제31번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출하고, 제61번째 가로열과 제61번째 세로열의 각 픽셀에 대한 뎁스값 및 색상값을 산출한다.
이와 같이 제어부(100)가 t시간부터 t+29시간까지 30 프레임의 뎁스 이미지를 픽셀열을 이동하면서 계산하게 되면 제n번째 뎁스 이미지와 제n+1번째 뎁스 이미지에 대해서 추출된 각 픽셀에 대한 뎁스값과 색상값간의 차이가 발생한다. 다시 말해서, 제어부(100)가 계산하는 각 픽셀간의 거리 차이가 발생하게 되는 것이다.
예를 들어, 각 픽셀간의 거리 차이 distance d(t+1)이 발생하는 경우 자세 템플릿 매칭 및 동작 템플릿 매칭을 수행할 시 오차가 발생하지 않도록 하기 위해서 제어부(100)는 하기의 수학식 1과 같은 연산을 수행하여 오차를 수정한다.
Figure 112013047656983-pat00001
여기서, d(t+1)은 t시간에 해당하는 제n번째 이미지와 t+1시간에 해당하는 제n+1번째 이미지간의 픽셀 거리 차이를 나타낸다.
즉, 제어부(100)는 0번째 픽셀에서 n번째 픽셀까지 d(t+1)를 곱하여 오차를 수정하여 업데이트할 수 있다.
이에 따라, 본 발명은 순차적으로 입력되는 이미지의 각 픽셀에 대한 뎁스값 및 색상값 산출에 의해서 발생되는 픽셀간의 거리 차이를 수정하여 업데이트함으로써 보다 정확한 자세 템플릿 매칭 및 동작 템플릿 매칭이 가능하게 된다.
도 3은 본 발명의 실시 예에 따라 동작 인식을 위한 과정을 나타내는 흐름도이다.
300단계에서 제어부(100)는 이미지 센서부(110)를 통해서 n번째 이미지를 입력받는다.
310단계에서 제어부(100)는 입력된 이미지로부터 일부 픽셀에 대한 뎁스값 및 색상값을 추출한다. 구체적으로, 제어부(100)는 n번째 이미지에 대한 가로열, 세로열을 미리 설정된 픽셀열 단위로 각 픽셀에 대한 뎁스값과 색상값을 추출한다.
예를 들어, 제어부(100)는 30픽셀 단위로 이미지의 가로 픽셀열 및 세로 픽셀열에 대한 뎁스값 및 색상값을 추출할 수 있다. 만약 1920(pixel)*1080(pixel) 해상도의 이미지가 입력되면 제어부(100)는 이미지의 제1번째 가로 픽셀열 및 제1번째 세로 픽셀열, 제30번째 가로 픽셀열 및 제30번째 세로 픽셀열, 제60번째 가로 픽셀열 및 제60번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다.
본 발명의 실시 예에서는 제1번째, 제30번째, 제60번째 픽셀열과 같이 30픽셀 단위로 추출하는 것을 예로 설명하였으나 제1번째, 제30번째, 제60번째 픽셀열로 한정되지 않으며 다양하게 설정될 수 있다.
또한 제어부(100)는 이전 이미지와 현재 이미지 간의 뎁스값 및 색상값 추출에 의해서 발생하는 픽셀간의 거리 차를 수정한다. 이러한 과정은 상기의 도 2에서 설명한 바와 같이 수행될 수 있다.
320단계에서 제어부(100)는 이전 이미지와 입력된 이미지간의 뎁스값 및 색상값에 대한 차이값이 임계값 이상인지 판단하여 차이값이 임계값 이상이면 340단계를 진행하고, 차이값이 임계값 미만이면 330단계를 진행하여 n+1 번째 이미지를 입력받은 후 310단계로 진행한다. 여기서, 제어부(100)는 이전에 저장된 이미지 또는 자세 템플릿 이미지와 입력된 이미지를 비교하여 각 픽셀간의 변화가 발생하는지 판단하는 것이다.
340단계에서 제어부(100)는 입력된 이미지로부터 실루엣 이미지를 추출한다. 다시 말해서, 차이값이 임계값 이상이면 제어부(100)는 n번째 이미지로부터 실루엣 이미지를 추출하고, 추출된 실루엣 이미지를 저장부(140)에 저장한다. 예를 들어, 제어부(100)는 n번째 이미지의 각 픽셀들에 대한 뎁스 값 및 색상 값을 비교하여 에지를 산출하고, 산출된 에지에 대응하는 실루엣 이미지를 추출할 수 있다.
350단계에서 제어부(100)는 추출된 실루엣 이미지와 자세 템플릿 이미지를 비교하여 실루엣 이미지의 자세를 판단한다. 다시 말해서, 제어부(100)는 추출된 실루엣 이미지에 대한 자세 인식을 위해서 추출된 실루엣 이미지와 미리 저장된 하나 이상의 자세 템플릿 이미지를 비교한다. 이때, 제어부(100)는 추출된 실루엣 이미지의 각 픽셀에 대한 뎁스값 및 색상값과 하나 이상의 자세 템플릿 이미지의 각 픽셀에 대한 뎁스값 및 색상값을 비교하여 추출된 실루엣 이미지와 유사한 자세 템플릿을 검출하도록 자세 템플릿 매칭부(120)를 제어한다.
360단계에서 제어부(100)는 동작 인식을 위해 필요한 둘 이상의 실루엣 이미지가 저장되었는지 판단하여 둘 이상의 실루엣 이미지가 저장되어 있으면 370단계로 진행하고, 하나의 실루엣 이미지가 저장되어 있으면 330단계로 진행하여 n+1번째 이미지를 입력받은 후 310단계로 진행한다.
370단계에서 제어부(100)는 저장된 둘 이상의 실루엣 이미지들간의 동작 매칭을 수행한다.
다시 말해서, 제어부(100)는 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지가 저장부(140)에 저장되었는지 판단하여 둘 이상의 실루엣 이미지가 저장되어 있으면 저장된 둘 이상의 실루엣 이미지를 이용하여 동작 템플릿 매칭을 수행한다. 이때, 제어부(100)는 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지의 각 픽셀에 대한 뎁스값 및 색상값을 추출하고, 추출된 뎁스값 및 색상값에 대한 차이값에 따라 동작을 인식하도록 동작 템플릿 매칭부(130)를 제어할 수 있다.
만약 동작 인식을 위해서 사용되는 둘 이상의 실루엣 이미지가 저장되어 있지 않으면 제어부(100)는 이미지 센서부(110)로부터 n+1 번째 이미지를 수신하고, 수신된 n+1번째 이미지를 구성하는 다수의 픽셀들 중 일부 픽셀에 대한 뎁스값 및 색상값을 추출한다.
예를 들어, 1920(pixel)*1080(pixel) 해상도의 이미지가 입력되면 제어부(100)는 이미지의 제2번째 가로 픽셀열 및 제2번째 세로 픽셀열, 제31번째 가로 픽셀열 및 제31번째 세로 픽셀열, 제61번째 가로 픽셀열 및 제61번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다.
만약 n+2번째 이미지가 입력되면 제어부(100)는 뎁스 이미지의 제3번째 가로 픽셀열 및 제3번째 세로 픽셀열, 제32번째 가로 픽셀열 및 제32번째 세로 픽셀열, 제62번째 가로 픽셀열 및 제62번째 세로 픽셀열에 대한 각 픽셀의 뎁스값 및 색상값을 추출할 수 있다.
이와 같이 본 발명은 입력된 이미지의 일부 픽셀에 대한 픽셀 정보를 이용하여 빠르고 효율적인 동작 인식을 수행할 수 있게 된다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 센싱 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 센싱 장치는 유선 또는 무선으로 연결되는 센싱 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 센싱 장치는 상기 센싱 장치가 기설정된 동작 인식 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 동작 인식 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 센싱 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 센싱 장치의 요청 또는 자동으로 해당 프로그램을 상기 센싱 장치로 전송하는 제어부를 포함할 수 있다.
100: 제어부
110: 이미지 센서부
120: 자세 템플릿 매칭부
130: 동작 템플릿 매칭부
140: 저장부

Claims (17)

  1. 동작 인식을 위한 센싱 장치에 있어서,
    자세 인식을 수행하는 자세 템플릿 매칭부와,
    동작 인식을 수행하는 동작 템플릿 매칭부와,
    제어부를 포함하고, 상기 제어부는,
    뎁스 이미지를 가용한 픽셀 줄 단위로 나누어, 제1 픽셀 줄 단위로 이동하면서 각 픽셀에 대한 뎁스 값 및 색상 값을 산출하고, 다음 뎁스 이미지가 입력되면 상기 입력된 다음 뎁스 이미지에서 제2 픽셀 줄 단위로 이동하면서 각 픽셀에 대한 뎁스 값 및 색상 값을 산출하고, 특정 픽셀 줄까지 각 픽셀에 대한 뎁스 값 및 색상 값이 산출되면 다시 상기 제1 픽셀 줄 단위로 이동하여, 상기 뎁스 이미지 및 상기 다음 뎁스 이미지의 픽셀 정보를 산출하고,
    상기 산출된 픽셀 정보를 이용하여 상기 자세 인식을 수행하도록 상기 자세 템플릿 매칭부를 제어하고, 둘 이상의 뎁스 이미지들에 대한 동작 인식을 수행하도록 상기 동작 템플릿 매칭부를 제어하는 것을 특징으로 하는 센싱 장치.
  2. 제1항에 있어서, 상기 제어부는,
    상기 뎁스 이미지를 구성하는 픽셀들 중 미리 설정된 픽셀열 단위로 가로 픽셀열과 세로 픽셀열의 상기 뎁스 이미지의 각 픽셀에 대한 픽셀 정보를 산출하는 것을 특징으로 하는 센싱 장치.
  3. 제2항에 있어서, 상기 제어부는,
    이전 뎁스 이미지의 각 픽셀에 대한 픽셀 정보와 상기 뎁스 이미지의 상기 산출된 픽셀 정보 간의 차이값이 존재하면 상기 차이값을 수정하는 것을 특징으로 하는 센싱 장치.
  4. 제3항에 있어서, 상기 제어부는,
    상기 이전 뎁스 이미지와 상기 뎁스 이미지 간의 픽셀 정보에 대한 차이값이 임계값 이상인지 판단하여 상기 차이값이 상기 임계값 이상이면 상기 뎁스 이미지로부터 실루엣 이미지를 추출하고, 상기 차이값이 상기 임계값 미만이면 상기 다음 뎁스 이미지를 입력받는 것을 특징으로 하는 센싱 장치.
  5. 제4항에 있어서, 상기 자세 템플릿 매칭부는,
    상기 추출된 실루엣 이미지와 상기 자세 인식을 위해 미리 저장된 자세 템플릿 이미지를 비교하여 상기 자세 인식을 수행하는 것을 특징으로 하는 센싱 장치.
  6. 제5항에 있어서, 상기 제어부는,
    상기 동작 인식을 위해 사용되는 둘 이상의 실루엣 이미지들이 저장되어 있는지를 판단하여 하나의 실루엣 이미지가 저장되어 있으면 상기 다음 뎁스 이미지를 입력받는 것을 특징으로 하는 센싱 장치.
  7. 제6항에 있어서, 상기 동작 템플릿 매칭부는,
    상기 둘 이상의 실루엣 이미지들이 저장되어 있으면 상기 둘 이상의 실루엣 이미지들 간의 동작 매칭을 수행하는 것을 특징으로 하는 센싱 장치.
  8. 삭제
  9. 제3항에 있어서, 상기 제어부는,
    상기 이전 뎁스 이미지와 상기 뎁스 이미지에 대한 픽셀 줄 단위 이동에 따라 픽셀 간의 거리 차이를 산출하고, 상기 산출된 거리 차이를 상기 뎁스 이미지의 각 픽셀에 업데이트하는 것을 특징으로 하는 센싱 장치.
  10. 동작 인식을 위한 센싱 방법에 있어서,
    뎁스 이미지를 가용한 픽셀 줄 단위로 나누어, 제1 픽셀 줄 단위로 이동하면서 각 픽셀에 대한 뎁스 값 및 색상 값을 산출하고, 다음 뎁스 이미지가 입력되면 상기 입력된 다음 뎁스 이미지에서 제2 픽셀 줄 단위로 이동하면서 각 픽셀에 대한 뎁스 값 및 색상 값을 산출하고, 특정 픽셀 줄까지 각 픽셀에 대한 뎁스 값 및 색상 값이 산출되면 다시 상기 제1 픽셀 줄 단위로 이동하여, 상기 뎁스 이미지 및 상기 다음 뎁스 이미지의 픽셀 정보를 산출하는 과정과,
    상기 산출된 픽셀 정보를 이용하여 자세 인식을 수행하는 과정과,
    둘 이상의 뎁스 이미지들에 대한 동작 인식을 수행하는 과정을 포함하는 것을 특징으로 하는 센싱 방법.
  11. 제10항에 있어서, 상기 픽셀 정보를 산출하는 과정은,
    상기 뎁스 이미지를 구성하는 픽셀들 중 미리 설정된 픽셀열 단위로 가로 픽셀열과 세로 픽셀열의 상기 뎁스 이미지의 각 픽셀에 대한 픽셀 정보를 추출하는 과정인 것을 특징으로 하는 센싱 방법.
  12. 제11항에 있어서, 상기 픽셀 정보를 산출하는 과정은,
    이전 뎁스 이미지의 각 픽셀에 대한 픽셀 정보와 상기 뎁스 이미지의 상기 산출된 픽셀 정보 간의 차이값이 존재하면 상기 차이값을 수정하는 과정을 더 포함하는 것을 특징으로 하는 센싱 방법.
  13. 제12항에 있어서, 상기 자세 인식을 수행하는 과정은,
    상기 이전 뎁스 이미지와 상기 뎁스 이미지 간의 픽셀 정보에 대한 차이값이 임계값 이상인지 판단하는 과정과,
    상기 차이값이 상기 임계값 이상이면 상기 뎁스 이미지로부터 실루엣 이미지를 추출하는 과정과,
    상기 차이값이 상기 임계값 미만이면 상기 다음 뎁스 이미지를 입력받는 과정을 포함하는 것을 특징으로 하는 센싱 방법.
  14. 제13항에 있어서, 상기 자세 인식을 수행하는 과정은,
    상기 추출된 실루엣 이미지와 상기 자세 인식을 위해 미리 저장된 자세 템플릿 이미지를 비교하여 상기 자세 인식을 수행하는 과정을 더 포함하는 것을 특징으로 하는 센싱 방법.
  15. 제14항에 있어서, 상기 동작 인식을 수행하는 과정은,
    상기 동작 인식을 위해 사용되는 둘 이상의 실루엣 이미지들이 저장되어 있는지를 판단하는 과정과,
    하나의 실루엣 이미지가 저장되어 있으면 상기 다음 뎁스 이미지를 입력받는 과정과,
    상기 둘 이상의 실루엣 이미지들이 저장되어 있으면 상기 둘 이상의 실루엣 이미지들 간의 동작 매칭을 수행하는 과정을 포함하는 것을 특징으로 하는 센싱 방법.
  16. 삭제
  17. 제12항에 있어서, 상기 차이값을 수정하는 과정은,
    상기 이전 뎁스 이미지와 상기 뎁스 이미지에 대한 픽셀 줄 단위 이동에 따라 픽셀간의 거리 차이를 산출하는 과정과,
    상기 산출된 거리 차이를 상기 뎁스 이미지의 각 픽셀에 업데이트하는 과정을 포함하는 것을 특징으로 하는 센싱 방법.
KR1020130060878A 2013-05-29 2013-05-29 동작 인식을 위한 센싱 장치 및 그 방법 KR102068552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130060878A KR102068552B1 (ko) 2013-05-29 2013-05-29 동작 인식을 위한 센싱 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130060878A KR102068552B1 (ko) 2013-05-29 2013-05-29 동작 인식을 위한 센싱 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140140273A KR20140140273A (ko) 2014-12-09
KR102068552B1 true KR102068552B1 (ko) 2020-01-21

Family

ID=52458179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130060878A KR102068552B1 (ko) 2013-05-29 2013-05-29 동작 인식을 위한 센싱 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102068552B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121287A (ko) 2015-04-10 2016-10-19 삼성전자주식회사 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
KR102411765B1 (ko) * 2021-12-01 2022-06-22 안수현 신경망을 이용한 바른 자세 추정 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096096A1 (en) * 2002-10-30 2004-05-20 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
US20040184677A1 (en) * 2003-03-19 2004-09-23 Ramesh Raskar Detecting silhouette edges in images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054784A (ko) * 2000-06-23 2000-09-05 이성환 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096096A1 (en) * 2002-10-30 2004-05-20 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
US20040184677A1 (en) * 2003-03-19 2004-09-23 Ramesh Raskar Detecting silhouette edges in images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dedeoglu et al. Silhouette based method for object classification and human action recognition in video. ECCV, 2006년 5월, pp. 64-77. 1부.*

Also Published As

Publication number Publication date
KR20140140273A (ko) 2014-12-09

Similar Documents

Publication Publication Date Title
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9240047B2 (en) Recognition apparatus, method, and computer program product
US20140328514A1 (en) Object tracking device
JP4775277B2 (ja) 画像処理装置及び画像処理方法
EP3376470B1 (en) Moving body tracking method, moving body tracking device, and program
CN104519278A (zh) 图像处理装置以及图像处理方法
US10115206B2 (en) Detection system, detection method, and program storage medium
KR101661211B1 (ko) 얼굴 인식률 개선 장치 및 방법
CN110866497A (zh) 基于点线特征融合的机器人定位与建图方法和装置
JP2017103688A5 (ko)
US20140185866A1 (en) Optical navigation method and device using same
CN113269163A (zh) 基于鱼眼图像的立体泊车位检测方法及装置
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR102068552B1 (ko) 동작 인식을 위한 센싱 장치 및 그 방법
JP2010211283A (ja) 車線認識装置及び方法
US8929590B2 (en) Object tracking device capable of tracking object accurately, object tracking method, and storage medium
US9652819B2 (en) Apparatus and method for generating multi-viewpoint image
KR101845280B1 (ko) 그림자 신호를 제거하는 차량번호 인식 시스템 및 방법
JP5126124B2 (ja) 画像処理装置
KR20140095601A (ko) 자세 분류 장치 및 자세 분류 방법
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
CN104281381B (zh) 控制配备有触摸屏的用户界面的装置和方法
JP6935690B2 (ja) 検出プログラム、方法、及び装置
JP2010020597A (ja) 対象物検出装置および対象物検出方法
JP2017027363A (ja) 映像処理装置、映像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant