KR20110030951A - 동작 검출 장치 및 방법 - Google Patents

동작 검출 장치 및 방법 Download PDF

Info

Publication number
KR20110030951A
KR20110030951A KR1020090088633A KR20090088633A KR20110030951A KR 20110030951 A KR20110030951 A KR 20110030951A KR 1020090088633 A KR1020090088633 A KR 1020090088633A KR 20090088633 A KR20090088633 A KR 20090088633A KR 20110030951 A KR20110030951 A KR 20110030951A
Authority
KR
South Korea
Prior art keywords
image
motion detection
distance
acquisition unit
motion
Prior art date
Application number
KR1020090088633A
Other languages
English (en)
Other versions
KR101634355B1 (ko
Inventor
조준기
김연호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090088633A priority Critical patent/KR101634355B1/ko
Priority to US12/801,085 priority patent/US20110069155A1/en
Priority to EP10166150.2A priority patent/EP2309454B1/en
Priority to CN201010205191.7A priority patent/CN102024263B/zh
Publication of KR20110030951A publication Critical patent/KR20110030951A/ko
Application granted granted Critical
Publication of KR101634355B1 publication Critical patent/KR101634355B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

스테레오 카메라를 이용한 동작 검출 장치 및 방법이 개시된다. 본 발명의 일 양상에 따른 동작 검출 장치는 스테레오 카메라를 이용하여 배경이 제외된 객체만의 영상인 객체 영상을 획득하는 것이 가능하다. 그리고 획득된 객체 영상에서 동작 검출 영역을 설정하고, 동작 검출 영역 내의 영상 변화 량을 파악하여 객체의 동작을 검출할 수 있다.
스테레오 카메라, 거리 영상, 객체 영상, 동작 검출 영역, 옵티컬 플로우

Description

동작 검출 장치 및 방법{Apparatus and Method for detecting a motion}
사람의 동작을 검출하고 인식하기 위한 기술과 관련된다.
시스템의 보다 편리한 사용을 위하여, 사람의 존재 여부 및 위치, 사람이 움직인 방향 또는 동작의 종류 등을 인식하여 사용자가 원하는 서비스를 제공하는 시스템이 등장하게 되었다.
이러한 시스템의 예로는 얼굴을 인식하여 출입자를 감지하는 보안 출입 시스템, 얼굴을 감지하여 로그인을 할 수 있는 카메라 장착 노트북, 얼굴을 검출하여 웃는 얼굴을 포착하는 카메라 등이 대표적이다.
최근에는 시스템에 카메라를 장착하고, 카메라로부터 획득한 영상 정보를 이용하여 사용자의 동작을 검출하는 기술이 등장하게 되었다.
이러한 기술은 영상에서의 특징 점을 검출하고 그 특징 점들의 위치를 추적하여 얻은 optical flow를 계산하여 사용자의 동작을 인식하는 방식이 주로 사용된다.
그러나 이러한 방식은 사용자의 뒤 배경 영상이 비교적 단순하거나 고정되어 있을 때는 가능하지만, 배경영상에 동일한 반복 패턴이 있거나, 또는 움직이는 영 상(예, TV 화면 등)이 있는 경우 이를 처리하기가 매우 곤란하다.
배경과 관계 없이 적은 계산 량으로도 사람의 동작을 검출 및 인식하는 장치 및 방법이 제공된다.
본 발명의 일 양상에 따른 동작 검출 장치는, 적어도 2 이상의 카메라로부터 얻어진 영상에 포함된 객체에 대한 거리 정보를 이용하여, 배경이 제거된 객체만의 영상인 객체 영상을 획득하는 객체 영상 획득부, 획득된 객체 영상에서 동작 검출 영역을 설정하는 동작 검출 영역 설정부 및 획득된 객체 영상들 간의 동작 검출 영역 내의 영상 변화 량을 파악하여 객체의 동작을 검출하는 동작 검출부를 포함할 수 있다.
이 때, 객체 영상 획득부는, 제 1 영상 획득부, 제 2 영상 획득부, 제 1 영상 획득부 또는 제 2 영상 획득부로부터 얻어진 영상에서 얼굴 영역을 검출하는 얼굴 영역 검출부, 제 1 영상 획득부 및 제 2 영상 획득부로부터 얻어진 영상으로부터 거리 영상을 획득하는 거리 영상 획득부 및 검출된 얼굴 영역 및 획득된 거리 영상을 이용하여 객체 영상을 생성하는 영상 필터링부를 포함할 수 있다.
또한, 객체 영상 획득부는, 제 1 영상 획득부, 제 2 영상 획득부, 제 1 영상 획득부 또는 제 2 영상 획득부로부터 얻어진 영상에서 얼굴 영역을 검출하는 얼굴 영역 검출부, 제 1 영상 획득부 및 제 2 영상 획득부로부터 얻어진 영상으로부터 거리 영상을 획득하는 거리 영상 획득부, 검출된 얼굴 영역 및 획득된 거리 영상을 이용하여 영상 마스크를 생성하는 마스크 생성부 및 생성된 영상 마스크를 이용하여 제 1 영상 획득부 또는 제 2 영상 획득부에서 얻어진 영상으로부터 객체 영상을 생성하는 영상 필터링부를 포함할 수도 있다.
본 발명의 일 양상에 따라, 동작 검출 영역은 객체의 얼굴 주변부에 설정되는 것이 가능하며, 영상 변화 량은 영상 간의 옵티컬 플로우(optical flow), 또는 특징 점의 위치 또는 거리 변화 량으로 정의되는 것이 가능하다.
한편, 본 발명의 일 양상에 따른 동작 검출 방법은, 적어도 2 이상의 카메라로부터 얻어진 영상에 포함된 객체에 대한 거리 정보를 이용하여, 배경이 제거된 객체만의 영상인 객체 영상을 획득하는 단계, 획득된 객체 영상에서 동작 검출 영역을 설정하는 단계 및 획득된 객체 영상들 간의 동작 검출 영역 내의 영상 변화 량을 파악하여 객체의 동작을 검출하는 단계를 포함할 수 있다.
개시된 내용에 의하면, 일정한 시간 간격으로 배경을 제외한 객체만의 영상인 제 1 객체 영상과 제 2 객체 영상을 획득하고, 각각의 객체 영상에서 얼굴 주변부에 동작 검출 영역을 설정하고, 동작 검출 영역 내의 영상 변화 량을 통해 동작을 검출하므로 배경 변화에 관계 없이 그리고 적은 계산 량으로 객체의 동작을 검출하는 것이 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 거리 영상을 도시한다.
도 1에서, 거리 영상(101)이란 각 지점이 거리 정보로 표현된 영상으로 정의될 수 있다. 거리 영상(101)에서 거리 정보는 색으로 표현될 수 있다. 예를 들어, 거리 영상(101)의 각 지점은 그 거리에 따라 명도가 다른 색으로 표현되는 것이 가능하다.
도 2는 본 발명의 일 실시 예에 따른 거리 영상을 획득하는 원리를 도시한다.
도 2에서, 거리 영상은 스테레오 카메라에 의해 얻어진 두 개의 영상으로부터 얻어질 수 있다. 스테레오 카메라란 사람의 눈과 같이 왼쪽 카메라와 오른쪽 카메라가 결합된 카메라가 될 수 있다. 예를 들어, C점에 왼쪽 카메라가 위치하고 C`점에 오른쪽 카메라가 위치하는 것이 가능하다. 즉, 참조 번호 102는 왼쪽 카메라로부터 얻어진 제 1 영상이 될 수 있고, 참조 번호 103은 오른쪽 카메라로부터 얻어진 제 2 영상이 될 수 있다. 이 때, 제 1 영상(102) 또는 제 2 영상(103)에서 특정한 지점(M)까지의 거리는 다음과 같은 식에 의해 구해질 수 있다.
z = (B/d)*F
수학식 1에서, z는 M점까지의 거리를 나타낸다. 그리고 B는 C점과 C`점 간의 거리를, d는 각 영상에서의 M점의 위치 좌표 차이(즉, X1과 X2의 차이)를, F는 카메라 렌즈의 초점 거리를 나타낸다. B 값은 상수(constant)로 주어지거나 측정 이 가능한 값이고, d 값은 SSD(sum of squared difference) 기법에 의해 구할 수 있고, F는 카메라 렌즈에 따라 결정되는 값이므로, 두 개의 영상으로부터 영상의 각 지점까지의 거리 z 값을 구하는 것이 가능하다.
이와 같이, 스테레오 카메라를 이용하여 두 개의 영상을 획득하고, 영상에서 각 지점의 거리를 계산하여 각 지점을 거리에 따라 다른 색으로 표현하면 도 1과 같은 거리 영상을 획득할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 동작 검출 장치를 도시한다.
도 3에서, 동작 검출 장치(100)는 객체 영상 획득부(301), 동작 검출 영역 설정부(302) 및 동작 검출부(303)를 포함할 수 있다.
객체 영상 획득부(301)는 적어도 2 이상의 카메라로부터 얻어진 영상에 포함된 객체에 대한 거리 정보를 이용하여, 배경이 제거된 객체만의 영상인 객체 영상을 획득한다.
본 실시 예에서, 객체 영상이란 배경과 객체를 포함하는 어떠한 영상에서 배경이 제외되고 객체만이 남은 영상이 될 수 있다. 이러한 객체 영상은 스테레오 카메라로부터 얻어진 각각의 영상에 기초하여 얻어진 얼굴 영역 정보 및 거리 영상을 통해 획득되는 것이 가능하다. 객체 영상은 객체 영상 획득부(301)에 의해 일정한 시간 간격을 가지고 연속적으로 얻어지는 것이 가능하다. 즉 t0 시점에서 제 1 객체 영상이 획득되고, t1 시점에서 제 2 객체 영상이 획득될 수 있다.
동작 검출 영역 설정부(302)는 획득된 객체 영상에서 동작 검출 영역을 설정 한다. 동작 검출 영역은 제 1 객체 영상과 제 2 객체 영상 간의 영상 변화 량을 파악하기 위한 기준 영역이 될 수 있다. 동작 검출 영역은 각각의 객체 영상에서 얼굴 주변부에 형성되는 것이 가능하다.
동작 검출부(303)는 획득된 객체 영상들 간의 영상 변화 량을 파악하여 객체의 동작을 검출한다. 예컨대, 동작 검출부(303)는 제 1 객체 영상과 제 2 객체 영상에 각각 설정된 동작 검출 영역 내의 영상 변화 량에 기초하여 객체의 동작을 검출하는 것이 가능하다. 이 때, 영상 변화 량은 영상 간의 옵티컬 플로우(optical flow), 특정한 특징 점의 위치 또는 거리 변화 량으로 정의될 수 있다.
검출되는 동작은 사람의 손이 움직이는 방향과 같은 동작의 종류를 포함할 수 있다. 따라서 동작 검출 장치(300)는 동작 검출부(303)에서 검출된 동작에 따라 소정의 제어 명령을 생성하는 동작 제어부(미도시)를 더 포함할 수도 있다.
이와 같이, 본 실시 예에 따른 동작 검출 장치(300)는 일정한 시간 간격으로 배경을 제외한 객체만의 영상인 제 1 객체 영상과 제 2 객체 영상을 획득하고, 각각의 객체 영상에서 얼굴 주변부에 동작 검출 영역을 설정하고, 동작 검출 영역 내의 영상 변화 량을 통해 동작을 검출하므로 배경 변화에 관계 없이 그리고 적은 계산 량으로 객체의 동작을 검출하는 것이 가능하다.
도 4는 본 발명의 일 실시 예에 따른 객체 영상 획득부를 도시한다.
도 4에서, 객체 영상 획득부(400)는 제 1 영상 획득부(401), 제 2 영상 획득부(402), 얼굴 영역 검출부(403), 거리 영상 획득부(404) 및 영상 필터링부(405)를 포함할 수 있다.
제 1 영상 획득부(401) 및 제 2 영상 획득부(402)는 동일한 영역을 동시에 촬영하는 스테레오 카메라가 될 수 있다. 예컨대, 제 1 영상 획득부(401)는 일정한 거리로 이격된 스테레오 카메라에서 좌-카메라가 될 수 있고 제 2 영상 획득부는 우-카메라가 될 수 있다. 설명의 편의를 위해, 제 1 영상 획득부(401)에서 얻어진 영상을 L 영상, 제 2 영상 획득부(402)에서 얻어진 영상을 R 영상이라고 지칭하기로 한다.
얼굴 영역 검출부(403)는 L 영상에서 얼굴 영역을 검출한다. 얼굴 검출 알고리즘은 특징 점에 관한 Boosted Cascade 기술 등과 같은 다양한 알고리즘이 이용될 수 있다. 예컨대, 얼굴 영역 검출부(403)는 L 영상 내에서 소정의 탐색 창(search window)을 스캐닝하여 얼굴 영역을 검출하는 것이 가능하다.
거리 영상 획득부(404)는 L 영상 및 R 영상을 이용하여 거리 영상을 획득한다. 거리 영상의 정의 및 획득 방법은 도 1 및 도 2에서 설명한 것과 같다.
영상 필터링부(405)는 얼굴 영역 검출부(403)에서 검출된 얼굴 영역 및 거리 영상 획득부(404)에서 획득된 거리 영상을 이용하여 전술한 객체 영상을 생성한다. 예컨대, 영상 필터링부(405)는 검출된 얼굴 영역에 대응되는 영역을 거리 영상에서 식별하고, 얼굴 영역에 대응되는 거리 영상의 거리 정보를 이용하여 객체까지의 거리를 산출한 후, 객체 이외의 배경에 해당하는 부분을 제거하는 것이 가능하다. 만약, 산출된 객체까지의 거리가 d라면, 사전에 정해진 임계값 th를 이용하여 d-th 보다 크고 d+th 보다 작은 거리로만 구성된 거리 영상을 객체 영상으로 사용하는 것도 가능하다.
도 5는 본 발명의 다른 실시 예에 따른 객체 영상 획득부를 도시한다.
도 5에서, 객체 영상 획득부(500)는 제 1 영상 획득부(401), 제 2 영상 획득부(402), 얼굴 영역 검출부(403), 거리 영상 획득부(404), 마스크 생성부(501) 및 영상 필터링부(502)를 포함할 수 있다.
제 1 영상 획득부(401), 제 2 영상 획득부(402), 얼굴 영역 검출부(403) 및 거리 영상 획득부(404)는 도 4에서 설명한 것과 동일하다.
마스크 생성부(501)는 얼굴 영역 검출부(403)에서 검출된 얼굴 영역 및 거리 영상 획득부(404)에서 획득된 거리 영상을 이용하여 필터링 마스크를 생성한다. 예컨대, 마스크 생성부(501)는 검출된 얼굴 영역에 대응되는 영역을 거리 영상에서 식별하고, 얼굴 영역에 대응되는 거리 영상의 거리 정보를 이용하여 객체까지의 거리를 산출한 후, 객체 이외의 배경에 해당하는 부분을 제거하는 것이 가능하다. 만약, 산출된 객체까지의 거리가 d라면, 사전에 정해진 임계값 th를 이용하여 d-th 보다 크고 d+th 보다 작은 거리에 해당하는 부분은 1로 설정하고 나머지 부분은 0으로 설정하여 필터링 마스크를 생성하는 것이 가능하다.
영상 필터링부(502)는 생성된 필터링 마스크를 R 영상에 마스킹하여 전술한 객체 영상을 생성한다.
도 6은 본 발명의 일 실시 예에 따른 동작 검출 장치의 동작 과정을 도시한다.
도 6을 참조하면, 제 1 영상 획득부(401) 및 제 2 영상 획득부(402)는 각각 L 영상(601) 및 R 영상(602)을 획득한다. 이 때, L 영상(601)과 R 영상(602)에는 객체와 배경이 모두 포함될 수 있다.
얼굴 영역 검출부(403)는 L 영상(601)에서 얼굴 영역(603)을 검출한다.
거리 영상 획득부(404)는 L 영상(601) 및 R 영상(602)을 이용하여 거리 영상(604)을 획득한다.
영상 필터링부(405)는 얼굴 영역(603)에 대응되는 거리 영상(604)의 거리 정보를 이용하여 객체 영상(605)을 획득한다.
객체 영상(605)이 획득되면, 동작 검출 영역 설정부(302)는 객체 영상(605)에서 동작 검출 영역(606)을 설정한다. 이 때, 동작 검출 영역은 객체 영상(605)에서 객체의 얼굴 주변부에 설정되는 것이 가능하다.
이 때, 객체 영상(605)의 획득 및 동작 검출 영역(606)의 설정은 일정한 시간 간격을 가지고 연속적으로 이루어질 수 있다. 즉 위와 같은 과정이 t0 시점에서 이루어져서 동작 검출 영역이 설정된 제 1 객체 영상이 획득되고, 그 이후에 t1 시점에서 동작 검출 영역이 설정된 제 2 객체 영상이 획득되는 것이 가능하다.
따라서 동작 검출부(303)는 제 1 객체 영상과 제 2 객체 영상 간의 동작 검출 영역 내의 영상 변화 량을 통해 객체의 동작을 검출하는 것이 가능하다.
도 7은 본 발명의 다른 실시 예에 따른 동작 검출 장치의 동작 과정을 도시한다.
도 7을 참조하면, 제 1 영상 획득부(401) 및 제 2 영상 획득부(402)는 각각 L 영상(701) 및 R 영상(702)을 획득한다. 이 때, L 영상(701)과 R 영상(702)에는 객체와 배경이 모두 포함될 수 있다.
얼굴 영역 검출부(403)는 L 영상(701)에서 얼굴 영역(703)을 검출한다.
거리 영상 획득부(404)는 L 영상(701) 및 R 영상(702)을 이용하여 거리 영상(704)을 획득한다.
마스크 생성부(501)는 얼굴 영역(703)에 대응되는 거리 영상(704)의 거리 정보를 이용하여 영상 마스크(705)를 생성한다. 예컨대, 영상 마스크(705)는 객체에 해당하는 영역은 1로 설정되고, 그 이외의 영역은 0으로 설정된 필터링 마스크가 될 수 있다.
영상 필터링부(502)는 영상 마스크(705)를 R 영상(702)에 마스킹하여 객체 영상(706)을 생성한다.
객체 영상(706)이 획득되면, 동작 검출 영역 설정부(302)는 객체 영상(706)에서 동작 검출 영역(707)을 설정한다. 이 때, 동작 검출 영역은 객체 영상(706)에서 객체의 얼굴 주변부에 설정되는 것이 가능하다.
이 때, 객체 영상(706)의 획득 및 동작 검출 영역(707)의 설정은 일정한 시간 간격을 가지고 연속적으로 이루어질 수 있다. 즉 위와 같은 과정이 t0 시점에서 이루어져서 동작 검출 영역이 설정된 제 1 객체 영상이 획득되고, 그 이후에 t1 시점에서 동작 검출 영역이 설정된 제 2 객체 영상이 획득되는 것이 가능하다.
따라서 동작 검출부(303)는 제 1 객체 영상과 제 2 객체 영상 간의 동작 검출 영역 내의 영상 변화 량을 통해 객체의 동작을 검출하는 것이 가능하다.
도 8은 본 발명의 일 실시 예에 따른 동작 검출 방법을 도시한다.
도 8을 참조하여 본 실시 예에 따른 동작 검출 방법을 살펴보면, 먼저, 객체 영상을 획득한다(801). 객체 영상은 배경과 객체를 포함하는 어떠한 영상에서 배경이 제외되고 객체만이 남은 영상이 될 수 있으며, 도 4 또는 도 5와 같은 구성을 통해 얻어지는 것이 가능하다.
그리고, 객체 영상에서 동작 검출 영역을 설정한다(802). 동작 검출 영역은 객체 영상 간의 영상 변화 량을 파악하기 위한 기준 영역이 될 수 있으며, 예컨대, 동작 검출 영역 설정부(302)가 객체 영상의 얼굴 주변부에 동작 검출 영역을 설정하는 것이 가능하다.
그리고, 객체 영상들 간의 동작 검출 영역 내의 영상 변화 량을 검출하여 객체의 동작을 검출한다(803). 예컨대, 동작 검출부(303)가 동작 검출 영역 내의 객체 영상들 간의 옵티컬 플로우, 특징점의 위치 또는 거리 변화 량을 통해 객체의 동작을 검출하는 것이 가능하다.
또한, 검출되는 동작은 동작의 종류를 포함할 수 있다. 따라서 전술한 단계 외에 검출된 동작의 종류에 따라 소정의 제어 명령을 생성하는 단계를 더 포함할 수 있으며, 본 실시 예에 따른 동작 검출 방법이 적용된 시스템은 검출된 동작의 종류에 따라 생성된 제어 명령에 따라 시스템의 각종 기능이 제어되는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
또한 전술한 실시 예들은 객체의 동작을 인식하여 송풍 방향을 제어하는 에어컨 등에 적용될 수도 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 거리 영상을 도시한다.
도 2는 본 발명의 일 실시 예에 따른 거리 영상을 획득하는 원리를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 동작 검출 장치를 도시한다.
도 4는 본 발명의 일 실시 예에 따른 객체 영상 획득부를 도시한다.
도 5는 본 발명의 다른 실시 예에 따른 객체 영상 획득부를 도시한다.
도 6은 본 발명의 일 실시 예에 따른 동작 검출 장치의 동작 과정을 도시한다.
도 7은 본 발명의 다른 실시 예에 따른 동작 검출 장치의 동작 과정을 도시한다.
도 8은 본 발명의 일 실시 예에 따른 동작 검출 방법을 도시한다.

Claims (9)

  1. 적어도 2 이상의 카메라로부터 얻어진 영상에 포함된 객체에 대한 거리 정보를 이용하여, 배경이 제거된 객체만의 영상인 객체 영상을 획득하는 객체 영상 획득부;
    상기 획득된 객체 영상에서 동작 검출 영역을 설정하는 동작 검출 영역 설정부; 및
    상기 획득된 객체 영상들 간의 상기 동작 검출 영역 내의 영상 변화 량을 파악하여 상기 객체의 동작을 검출하는 동작 검출부; 를 포함하는 동작 검출 장치.
  2. 제 1 항에 있어서,
    상기 객체 영상 획득부는
    제 1 영상 획득부;
    제 2 영상 획득부;
    상기 제 1 영상 획득부 또는 상기 제 2 영상 획득부로부터 얻어진 영상에서 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 제 1 영상 획득부 및 상기 제 2 영상 획득부로부터 얻어진 영상으로부터 거리 영상을 획득하는 거리 영상 획득부; 및
    상기 검출된 얼굴 영역 및 상기 획득된 거리 영상을 이용하여 상기 객체 영상을 생성하는 영상 필터링부; 를 포함하는 동작 검출 장치.
  3. 제 1 항에 있어서,
    상기 객체 영상 획득부는
    제 1 영상 획득부;
    제 2 영상 획득부;
    상기 제 1 영상 획득부 또는 상기 제 2 영상 획득부로부터 얻어진 영상에서 얼굴 영역을 검출하는 얼굴 영역 검출부;
    상기 제 1 영상 획득부 및 상기 제 2 영상 획득부로부터 얻어진 영상으로부터 거리 영상을 획득하는 거리 영상 획득부;
    상기 검출된 얼굴 영역 및 상기 획득된 거리 영상을 이용하여 영상 마스크를 생성하는 마스크 생성부; 및
    상기 생성된 영상 마스크를 이용하여 상기 제 1 영상 획득부 또는 상기 제 2 영상 획득부에서 얻어진 영상으로부터 상기 객체 영상을 생성하는 영상 필터링부; 를 포함하는 동작 검출 장치.
  4. 제 1 항에 있어서,
    상기 동작 검출 영역은 상기 객체의 얼굴 주변부에 설정되는 동작 검출 장치.
  5. 제 1 항에 있어서,
    상기 영상 변화 량은 영상 간의 옵티컬 플로우(optical flow), 또는 특징 점의 위치 또는 거리 변화 량으로 정의되는 동작 검출 장치.
  6. 적어도 2 이상의 카메라로부터 얻어진 영상에 포함된 객체에 대한 거리 정보를 이용하여, 배경이 제거된 객체만의 영상인 객체 영상을 획득하는 단계;
    상기 획득된 객체 영상에서 동작 검출 영역을 설정하는 단계; 및
    상기 획득된 객체 영상들 간의 상기 동작 검출 영역 내의 영상 변화 량을 파악하여 상기 객체의 동작을 검출하는 단계; 를 포함하는 동작 검출 방법.
  7. 제 6 항에 있어서,
    상기 객체 영상을 획득하는 단계는
    상기 카메라로부터 얻어진 영상에서 얼굴 영역을 검출하는 단계;
    상기 카메라로부터 얻어진 영상으로부터 거리 영상을 획득하는 단계; 및
    상기 검출된 얼굴 영역 및 상기 획득된 거리 영상을 이용하여 상기 객체 영상을 생성하는 단계; 를 포함하는 동작 검출 방법.
  8. 제 7 항에 있어서,
    상기 객체 영상을 생성하는 단계는 상기 검출된 얼굴 영역이 갖는 거리 정보를 통해 상기 거리 영상을 영상 필터링하는 과정을 포함하는 동작 검출 방법.
  9. 제 6 항에 있어서,
    상기 객체 영상을 획득하는 단계는
    상기 카메라로부터 얻어진 영상에서 얼굴 영역을 검출하는 단계;
    상기 카메라로부터 얻어진 영상으로부터 거리 영상을 획득하는 단계;
    상기 검출된 얼굴 영역 및 상기 획득된 거리 영상을 이용하여 영상 마스크를 생성하는 단계;
    상기 생성된 영상 마스크를 이용하여 상기 카메라로부터 얻어진 영상으로부터 상기 객체 영상을 생성하는 단계; 를 포함하는 동작 검출 방법.
KR1020090088633A 2009-09-18 2009-09-18 동작 검출 장치 및 방법 KR101634355B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090088633A KR101634355B1 (ko) 2009-09-18 2009-09-18 동작 검출 장치 및 방법
US12/801,085 US20110069155A1 (en) 2009-09-18 2010-05-20 Apparatus and method for detecting motion
EP10166150.2A EP2309454B1 (en) 2009-09-18 2010-06-16 Apparatus and method for detecting motion
CN201010205191.7A CN102024263B (zh) 2009-09-18 2010-06-22 用于检测运动的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090088633A KR101634355B1 (ko) 2009-09-18 2009-09-18 동작 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110030951A true KR20110030951A (ko) 2011-03-24
KR101634355B1 KR101634355B1 (ko) 2016-06-28

Family

ID=43227984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090088633A KR101634355B1 (ko) 2009-09-18 2009-09-18 동작 검출 장치 및 방법

Country Status (4)

Country Link
US (1) US20110069155A1 (ko)
EP (1) EP2309454B1 (ko)
KR (1) KR101634355B1 (ko)
CN (1) CN102024263B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241813B1 (ko) * 2012-01-10 2013-03-15 중앙대학교 산학협력단 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법
WO2013157685A1 (ko) * 2012-04-20 2013-10-24 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090310A1 (en) * 2009-10-19 2011-04-21 Lee Eun Seo Method and apparatus for reproducing adaptive motion effect using schema structure indicating information associated with performance of motion device
JP2013069224A (ja) * 2011-09-26 2013-04-18 Sony Corp 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
US9958176B2 (en) * 2013-02-07 2018-05-01 Trane International Inc. HVAC system with camera and microphone
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
CN104202533B (zh) 2014-09-24 2019-05-21 中磊电子（苏州）有限公司 移动检测装置及移动检测方法
CN106372608A (zh) * 2016-09-06 2017-02-01 乐视控股（北京）有限公司 物体状态变化的检测方法、装置及终端
US11450009B2 (en) * 2018-02-26 2022-09-20 Intel Corporation Object detection with modified image background
US11704965B2 (en) * 2020-03-11 2023-07-18 Lnw Gaming, Inc. Gaming systems and methods for adaptable player area monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101162A1 (en) * 2002-11-19 2004-05-27 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2006171929A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP2006228104A (ja) * 2005-02-21 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 存在・動作取得方法、装置、およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
DE69520329T2 (de) * 1994-11-17 2001-09-27 Canon Kk Kamerasteuervorrichtung und -Verfahren
JPH11243551A (ja) * 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
US6028910A (en) * 1998-01-19 2000-02-22 Foster-Miller, Inc. High resolution areal tomosynthesis
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
US6370195B1 (en) * 1998-04-14 2002-04-09 Hitachi, Ltd. Method and apparatus for detecting motion
US6512537B1 (en) * 1998-06-03 2003-01-28 Matsushita Electric Industrial Co., Ltd. Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
EP1056064B1 (en) * 1999-05-28 2007-12-12 Nippon Telegraph and Telephone Corporation Apparatus and method for speed measurement of vehicles with an image processing system
JP3808242B2 (ja) * 1999-07-26 2006-08-09 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
JP2001092972A (ja) * 1999-09-24 2001-04-06 Mamoru Minami 画像認識方法
WO2001055869A1 (en) * 2000-01-25 2001-08-02 Vistaprint Usa, Inc. Managing print jobs
JP4525878B2 (ja) * 2000-10-02 2010-08-18 日本電気株式会社 動画像符号化方法
US7139019B2 (en) * 2001-06-05 2006-11-21 Sony Corporation Image processing device
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
WO2006104033A1 (ja) * 2005-03-28 2006-10-05 Kyushu Institute Of Technology 動作検出装置及び動作検出方法
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
KR100801087B1 (ko) * 2006-07-05 2008-02-11 삼성전자주식회사 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
US20110199461A1 (en) * 2008-10-17 2011-08-18 Panasonic Corporation Flow line production system, flow line production device, and three-dimensional flow line display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101162A1 (en) * 2002-11-19 2004-05-27 Honda Motor Co., Ltd. Moving object detection device, moving object detection method, and moving object detection program
JP2006171929A (ja) * 2004-12-14 2006-06-29 Honda Motor Co Ltd 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP2006228104A (ja) * 2005-02-21 2006-08-31 Nippon Telegr & Teleph Corp <Ntt> 存在・動作取得方法、装置、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101241813B1 (ko) * 2012-01-10 2013-03-15 중앙대학교 산학협력단 Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법
WO2013157685A1 (ko) * 2012-04-20 2013-10-24 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법

Also Published As

Publication number Publication date
KR101634355B1 (ko) 2016-06-28
US20110069155A1 (en) 2011-03-24
EP2309454A3 (en) 2011-10-12
CN102024263B (zh) 2016-05-04
EP2309454A2 (en) 2011-04-13
CN102024263A (zh) 2011-04-20
EP2309454B1 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
KR20110030951A (ko) 동작 검출 장치 및 방법
JP4966820B2 (ja) 混雑推定装置および方法
JP4216668B2 (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
JP5876142B2 (ja) 存在センサ
KR101788269B1 (ko) 이상 상황을 감지하는 장치 및 방법
US9305217B2 (en) Object tracking system using robot and object tracking method using a robot
JP2009143722A (ja) 人物追跡装置、人物追跡方法及び人物追跡プログラム
KR101868903B1 (ko) 손 추적 장치 및 방법
WO2010030814A2 (en) Pixel-level based micro-feature extraction
JP2009500709A (ja) 物体の動きのパターンを認識する方法
KR20190118965A (ko) 시선 추적 시스템 및 방법
KR20190051128A (ko) 머신러닝 기법을 이용한 행동인지 기반 보행취약자 검출 방법 및 시스템
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
KR20110026214A (ko) 얼굴 검출 장치 및 방법
KR101146417B1 (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
Nguyen et al. Real-time human tracker based on location and motion recognition of user for smart home
Luo et al. Real-time stereo tracking of multiple moving heads
KR20220098677A (ko) 교통사고 예측 방법 및 시스템
JP2012128693A (ja) 映像処理装置、映像処理方法およびプログラム
KR101958927B1 (ko) 통행량을 기반으로 한 적응적 사람 계수 방법 및 장치
KR101658579B1 (ko) 얼굴 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4