KR101387892B1 - 온도 정보를 사용한 동작 인식 장치 및 방법 - Google Patents

온도 정보를 사용한 동작 인식 장치 및 방법 Download PDF

Info

Publication number
KR101387892B1
KR101387892B1 KR1020120071260A KR20120071260A KR101387892B1 KR 101387892 B1 KR101387892 B1 KR 101387892B1 KR 1020120071260 A KR1020120071260 A KR 1020120071260A KR 20120071260 A KR20120071260 A KR 20120071260A KR 101387892 B1 KR101387892 B1 KR 101387892B1
Authority
KR
South Korea
Prior art keywords
user
motion
image
thermal infrared
dimensional
Prior art date
Application number
KR1020120071260A
Other languages
English (en)
Other versions
KR20140003231A (ko
Inventor
김중락
유선진
이상윤
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to KR1020120071260A priority Critical patent/KR101387892B1/ko
Publication of KR20140003231A publication Critical patent/KR20140003231A/ko
Application granted granted Critical
Publication of KR101387892B1 publication Critical patent/KR101387892B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/605—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using visual determination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/06—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity
    • G01J5/061—Arrangements for eliminating effects of disturbing radiation; Arrangements for compensating changes in sensitivity by controlling the temperature of the apparatus or parts thereof, e.g. using cooling means or thermostats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/04—Systems determining presence of a target

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

온도 정보를 포함하는 열 적외선 영상과 깊이 정보를 포함하는 3차원 영상을 사용하여 사용자의 동작을 인식하는 장치 및 방법이 개시된다.
동작 인식 장치는 열 적외선 영상에서 주변 배경과 사용자 간의 온도 차를 사용하여 사용자를 검출하는 사용자 검출부; 및 3차원 영상에서 깊이 정보를 사용하여 사용자의 동작을 인식하는 동작 인식부를 포함할 수 있다.

Description

온도 정보를 사용한 동작 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING MOTION USING TEMPERATURE INFORMATION}
본 발명은 온도 정보를 사용하여 사용자의 동작을 인식하는 장치 및 방법에 관한 것으로, 보다 상세하게는 온도 정보를 포함하는 열 적외선 영상을 사용하여 사용자를 검출하고, 깊이 정보를 포함하는 3차원 영상을 사용하여 검출한 사용자의 동작을 인식하는 동작 인식 장치 및 방법에 관한 것이다.
최근 들어 사용자의 동작을 인식하기 위한 동작 인식 기술들이 개발되고 있다.
종래의 동작 인식 기술들은 대부분 2차원 영상을 사용하여 사용자의 동작을 인식하고 있으므로, 사용자가 다른 사물과 접촉한 경우, 사용자와 다른 사물을 구분하여 인식하기 어렵다는 한계가 있었다.
또한, 사용자의 동작과 무관하게 적어도 하나의 물체가 움직이는 경우, 물체의 움직임에 의하여 사용자의 동작을 인식하기 어려워질 수도 있었다.
따라서, 사용자를 주변 사물과 구분하여 인식할 수 있는 방법이 요청되고 있다.
본 발명은 열 적외선 영상의 온도 정보를 사용하여 사용자를 검출함으로써, 사용자가 주변 사물과 접촉한 경우에도 사용자만을 검출할 수 있는 장치 및 방법을 제공한다.
또한, 본 발명은 온도 정보로 검출한 사용자의 동작을 3차원 영상의 깊이 정보를 사용하여 인식함으로써, 전후 이동과 같은 사용자의 3차원 동작을 사용자와 접촉한 주변 사물과 구분하여 인식하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 동작 인식 장치는 열 적외선 영상에서 주변 배경과 사용자 간의 온도 차를 사용하여 사용자를 검출하는 사용자 검출부; 및 3차원 영상에서 깊이 정보를 사용하여 사용자의 동작을 인식하는 동작 인식부를 포함할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치의 사용자 검출부는 열 적외선 영상에 포함된 각 객체들의 온도 정보를 식별하고, 식별한 온도 정보를 사용자의 체온 정보와 비교하여 사용자 객체를 검출할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치의 동작 인식부는 깊이 정보를 사용하여 사용자의 3차원 좌표를 식별하고, 식별한 사용자 3차원 좌표를 사용하여 사용자의 동작을 인식할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치의 동작 인식부는 이전 프레임에서 식별한 사용자의 3차원 좌표와 현재 프레임에서 식별한 사용자의 3차원 좌표의 차이에 기초하여 사용자의 동작을 인식할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치의 동작 인식부는 인식한 사용자의 동작과 기 저장된 제스처 모션 정보를 비교하여 사용자의 동작에 대응하는 제스처를 식별할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치는 열 적외선 카메라가 생성한 열 적외선 영상과 3차원 깊이 센서가 생성한 3차원 영상을 정합하는 영상 정합부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 동작 인식 장치의 영상 정합부는 3차원 깊이 센서와 열 적외선 카메라의 위치, 회전, 각도, 및 움직임과 관련된 파라미터를 추출하고, 추출한 파라미터를 사용하여 열 적외선 영상과 3차원 영상을 정합할 수 있다.
본 발명의 일실시예에 따른 동작 인식 방법은 열 적외선 영상에서 주변 배경과 사용자 간의 온도 차를 사용하여 사용자를 검출하는 단계; 및 3차원 영상에서 깊이 정보를 사용하여 사용자의 동작을 인식하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 열 적외선 영상의 온도 정보를 사용하여 사용자를 검출함으로써, 사용자가 주변 사물과 접촉한 경우에도 사용자만을 검출할 수 있다.
또한, 본 발명의 일실시예에 의하면, 온도 정보로 검출한 사용자의 동작을 3차원 영상의 깊이 정보를 사용하여 인식함으로써, 전후 이동과 같은 사용자의 3차원 동작을 사용자와 접촉한 주변 사물과 구분하여 인식할 수 있다.
도 1은 본 발명의 일실시예에 따른 동작 인식 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 동작 인식 장치를 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 융합 정보의 일례이다.
도 4는 본 발명의 일실시예에 따른 동작 인식 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 동작 인식 방법은 동작 인식 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 동작 인식 시스템을 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 동작 인식 시스템은 동작 인식 장치(100), 3차원 깊이 센서(110), 및 열 적외선 카메라(120)를 포함할 수 있다.
3차원 깊이 센서(3D depth sensor)(110)는 실시간으로 객체의 깊이 정보를 측정하여 3차원 영상을 생성할 수 있다. 이때, 3차원 깊이 센서(110)는 객체의 3차원 동작을 인식하는 센서일 수 있다. 또한, 3차원 영상은 일반적인 컬러 영상과, 깊이 정보를 포함하는 깊이 영상을 포함할 수 있다.
예를 들어, 3차원 깊이 센서(110)는 전파 또는 초음파를 사용하여 객체와의 거리를 측정하여 깊이 정보를 생성하고, 생성한 깊이 정보를 카메라로 촬영한 영상에 포함시키는 time-of-flight 카메라일 수 있다.
또한, 3차원 깊이 센서(110)는 2차원 칼라 영상과 3차원 깊이 영상을 촬영하고, 촬영한 2차원 칼라 영상과 3차원 깊이 영상을 사용하여 사용자의 3차원 동작을 인식하는 Kinect 센서일 수 있다.
열 적외선(thermal-IR) 카메라(120)는 촬영하는 적어도 하나의 객체가 발산하는 열을 측정하여 열 적외선 영상을 생성할 수 있다. 이때, 열 적외선 영상은 열을 발산하는 객체 각각의 위치 정보 및 객체 각각의 온도 정보를 포함할 수 있다.
동작 인식 장치(100)는 열 적외선 카메라(120)가 생성한 열 적외선 영상을 사용하여 사용자를 식별하고, 3차원 깊이 센서(110)가 생성한 3차원 영상을 사용하여 사용자의 동작을 인식함으로써, 주변 조명이 변화하더라도 사용자의 동작을 정확하게 인식할 수 있다.
도 2는 본 발명의 일실시예에 따른 동작 인식 장치(100)를 도시한 블록 다이어그램이다.
도 2을 참고하면, 본 발명의 일실시예에 따른 동작 인식 장치(100)는 영상 정합부(210), 사용자 검출부(220), 및 동작 인식부(230)를 포함할 수 있다.
영상 정합부(210)는 열 적외선 카메라(120)가 생성한 열 적외선 영상과 3차원 깊이 센서(110)가 생성한 3차원 영상을 정합할 수 있다.
3차원 깊이 센서(110)의 위치와 열 적외선 카메라(120)의 위치에 따라 열 적외선 영상과 3차원 영상에서 픽셀(pixel) 간에 디스페리티(disparity)가 발생할 수 있다. 즉, 열 적외선 영상과 3차원 영상에서 동일한 객체의 위치가 다를 수 있다.
따라서, 영상 정합부(210)는 3차원 깊이 센서(110)와 열 적외선 카메라(120)의 위치, 회전, 각도, 및 움직임과 관련된 파라미터를 추출하고, 추출한 파라미터를 사용하여 열 적외선 영상과 3차원 영상을 정합할 수 있다.
또한, 영상 정합부(210)는 정합한 열 적외선 영상과 3차원 영상을 하나의 융합 정보로 융합할 수도 있다. 예를 들어 영상 정합부(210)는 3차원 영상에 포함된 객체 각각에 열 적외선 영상에 포함된 온도 정보를 추가함으로써, 깊이 정보와 온도 정보를 모두 포함하는 융합 정보를 생성할 수도 있다.
사용자 검출부(220)는 융합 정보 또는 3차원 영상과 정합한 열 적외선 영상에서 주변 배경과 사용자 간의 온도 차를 사용하여 사용자를 검출할 수 있다.
이때, 사용자 검출부(220)는 융합 정보 또는 3차원 영상과 정합한 열 적외선 영상에 포함된 객체들 각각의 온도 정보를 사용자의 체온 정보와 비교하여 사용자를 검출할 수 있다. 예를 들어 사용자 검출부(220)는 융합 정보 또는 3차원 영상과 정합한 열 적외선 영상에 포함된 객체들 중에서 온도 정보가 36도에 근접한 객체를 사용자로 검출할 수 있다.
또한, 사용자 검출부(220)는 융합 정보 또는 열 적외선 영상과 정합한 3차원 영상에 포함된 깊이 정보 및 컬러 영상을 사용하여 객체의 형상과 크기를 식별하고, 객체의 형상과 크기 및 온도 정보에 따라 사용자를 검출할 수도 있다. 예를 들어 사용자 검출부(220)는 온도 정보가 36도에 근접한 객체 중에서 동물 크기나 형상과 유사한 객체를 제외함으로써, 동물이 사용자로 검출되는 것을 방지할 수 있다.
동작 인식부(230)는 융합 정보 또는 열 적외선 영상과 정합한 3차원 영상에서 깊이 정보를 사용하여 사용자의 동작을 인식할 수 있다.
이때, 동작 인식부(230)는 융합 정보 또는 열 적외선 영상과 정합한 3차원 영상에 포함된 깊이 정보를 사용하여 사용자의 3차원 좌표를 식별하고, 식별한 사용자의 3차원 좌표를 사용하여 사용자의 동작을 인식할 수 있다. 이때, 동작 인식부(230)는 사용자의 손, 발과 같은 신체의 부위 별로 3차원 좌표를 식별하고, 신체의 부위 각각의 3차원 좌표 변화에 기초하여 사용자의 동작을 인식할 수 있다.
또한, 동작 인식부(230)는 컬러 영상을 사용하여 사용자의 X 좌표, 및 Y 좌표를 식별하고, 깊이 정보를 사용하여 사용자의 Z 좌표를 식별할 수 있다. 이때, 동작 인식부(230)는 영상의 이전 프레임에서 식별한 사용자의 X 좌표, Y 좌표 및 Z 좌표를 사용하여 사용자의 연속된 동작을 인식할 수도 있다.
그리고, 동작 인식부(230)는 인식한 사용자의 동작과 기 저장된 제스처 모션 정보를 비교하여 사용자의 동작에 대응하는 제스처를 식별할 수 있다.
이때, 동작 인식부(230)는 사용자의 손이나 팔 동작만을 기 저장된 제스처 모션 정보를 비교하여 손 제스처 또는 팔 제스처를 식별할 수도 있다.
그리고, 동작 인식부(230)는 융합 정보를 사용하여 사용자의 얼굴을 인식함으로써, 조명이나 포즈 변화에 의하여 얼굴에 음영이 생기더라도 사용자의 얼굴을 인식할 수 있다. 또한, 동작 인식부(230)는 정합한 3차원 영상과 열 적외선 영상을 모두 사용하여 사용자의 얼굴을 인식함으로써, 조명이나 포즈 변화에 의하여 얼굴에 음영이 생기더라도 사용자의 얼굴을 인식할 수도 있다.
도 3은 본 발명의 일실시예에 따른 융합 정보의 일례이다.
3차원 깊이 센서(110)가 생성한 3차원 영상(310)는 객체 각각의 형상이나 X 좌표, Y 좌표 및 깊이 정보를 포함하므로 사용자(311)의 세부 동작을 용이하게 식별할 수 있다.
그러나, 사용자(311)가 다른 객체와 접촉하는 경우, 다른 객체를 사용자(311)와 구분하여 식별하기 어려울 수 있다. 예를 들어 사용자(311)가 막대기를 들고 팔을 움직일 경우, 사용자(311)가 팔을 움직인 범위보다 막대기의 끝이 움직인 범위가 더 넓을 수 있다. 그러나, 3차원 영상(310)을 사용하여 사용자(311)를 식별하는 경우, 막대기와 사용자(311)의 팔을 따로 식별할 수 없다. 따라서, 3차원 영상(310)을 사용하여 사용자(311)를 식별하는 경우, 사용자(311)가 실제로 팔을 움직인 범위와 사용자의 동작을 다르게 인식할 가능성이 있다.
또한, 조명이 일정 이하로 어두운 경우, 다른 객체와 사용자(311)를 구분하여 식별하기 어려울 수 있다.
열 적외선 카메라(120)가 생성한 열 적외선 영상(320)은 도 3에 도시된 바와 같이 열을 발산하는 객체를 표시할 수 있다. 이때, 사용자(321)의 체온과 컴퓨터(322)가 발산하는 열은 온도 차가 있으므로 사용자(321)를 용이하게 식별할 수 있다. 그러나, 열 적외선 카메라(120)는 객체가 발산하는 열만을 측정하므로 사용자(321)이 뒤로 이동하거나 앞으로 전진하는 동작을 감지할 수는 없다.
따라서, 열 적외선 영상(320)을 사용하여 사용자(321)를 식별하는 경우, 사용자(321)의 전후 동작을 인식하지 못할 가능성이 있다.
본 발명에 따른 영상 정합부(210)는 3차원 영상(310)과 열 적외선 영상(320)을 융합하여 융합 정보(331)를 생성할 수 있다.
이때, 융합 정보(331)는 도 3에 도시된 바와 같이 3차원 영상에 포함된 객체 각각에 열 적외선 영상에 포함된 온도 정보를 추가한 영상일 수 있다.
이때, 사용자 검출부(220)는 온도 정보를 사용하여 사용자(331)를 검출하고, 3차원 영상에 포함된 깊이 정보를 사용하여 사용자(331)의 동작을 인식함으로써, 사용자의 동작을 정확하게 인식할 수 있다.
예를 들어 사용자가 막대기를 들고 움직이는 경우, 막대기는 온도가 사용자(331)의 체온보다 낮으므로 사용자 검출부(220)는 막대기와 사용자(331)를 구분하여 식별할 수 있다.
도 4는 본 발명의 일실시예에 따른 동작 인식 방법을 도시한 플로우차트이다.
단계(S410)에서 영상 정합부(210)는 열 적외선 카메라(120)가 생성한 열 적외선 영상과 3차원 깊이 센서(110)가 생성한 3차원 영상을 정합할 수 있다.
구체적으로, 영상 정합부(210)는 3차원 깊이 센서(110)와 열 적외선 카메라(120)의 위치, 회전, 각도, 및 움직임과 관련된 파라미터를 추출하고, 추출한 파라미터를 사용하여 열 적외선 영상과 3차원 영상을 정합할 수 있다.
이때, 영상 정합부(210)는 정합한 열 적외선 영상과 3차원 영상을 하나의 융합 정보로 융합할 수도 있다. 예를 들어 영상 정합부(210)는 3차원 영상에 포함된 객체 각각에 열 적외선 영상에 포함된 온도 정보를 추가함으로써, 깊이 정보와 온도 정보를 모두 포함하는 융합 정보를 생성할 수도 있다.
단계(S420)에서 사용자 검출부(220)는 단계(S410)에서 3차원 영상과 정합한 열 적외선 영상에서 주변 배경과 사용자 간의 온도 차를 사용하여 사용자를 검출할 수 있다.
이때, 사용자 검출부(220)는 단계(S410)에서 생성한 융합 정보 또는 단계(S410)에서 3차원 영상과 정합한 열 적외선 영상에 포함된 객체들 각각의 온도 정보를 사용자의 체온 정보와 비교하여 사용자를 검출할 수 있다.
단계(S430)에서 동작 인식부(230)는 단계(S410)에서 열 적외선 영상과 정합한 3차원 영상에서 깊이 정보를 사용하여 사용자의 동작을 인식할 수 있다.
이때, 동작 인식부(230)는 단계(S410)에서 생성한 융합 정보 또는 단계(S410)에서 열 적외선 영상과 정합한 3차원 영상에 포함된 깊이 정보를 사용하여 사용자의 3차원 좌표를 식별하고, 식별한 사용자의 3차원 좌표를 사용하여 사용자의 동작을 인식할 수 있다.
또한, 동작 인식부(230)는 컬러 영상을 사용하여 사용자의 X 좌표, 및 Y 좌표를 식별하고, 깊이 정보를 사용하여 사용자의 Z 좌표를 식별할 수 있다. 이때, 동작 인식부(230)는 영상의 이전 프레임에서 식별한 사용자의 X 좌표, Y 좌표 및 Z 좌표를 사용하여 사용자의 연속된 동작을 인식할 수도 있다.
단계(S440)에서 동작 인식부(230)는 단계(S430)에서 인식한 사용자의 동작과 기 저장된 제스처 모션 정보를 비교하여 사용자의 동작에 대응하는 제스처를 식별할 수 있다.
본 발명은 열 적외선 영상의 온도 정보를 사용하여 사용자를 검출함으로써, 사용자가 주변 사물과 접촉한 경우에도 사용자만을 검출할 수 있다.
또한, 본 발명은 온도 정보로 검출한 사용자의 동작을 3차원 영상의 깊이 정보를 사용하여 인식함으로써, 전후 이동과 같은 사용자의 3차원 동작을 사용자와 접촉한 주변 사물과 구분하여 인식할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 동작 인식 장치
110: 3차원 깊이 센서
120: 열 적외선 카메라
210: 영상 정합부
220: 사용자 검출부
230: 동작 인식부

Claims (14)

  1. 열 적외선 영상에 포함된 객체의 온도 정보를 사용자의 체온 정보와 비교하여 사용자를 검출하는 사용자 검출부; 및
    열 적외선 영상과 정합한 3차원 영상에 포함된 깊이 정보를 사용하여 사용자의 동작을 인식하는 동작 인식부
    를 포함하고,
    상기 사용자 검출부는,
    열 적외선 영상과 정합한 3차원 영상에 포함된 컬러 영상을 사용하여 열 적외선 영상에 포함된 객체의 형상과 크기를 식별하고, 객체의 형상과 크기 및 온도 정보에 따라 사용자를 검출하는 동작 인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 동작 인식부는,
    깊이 정보를 사용하여 사용자의 3차원 좌표를 식별하고, 식별한 사용자 3차원 좌표를 사용하여 사용자의 동작을 인식하는 동작 인식 장치.
  4. 제3항에 있어서,
    상기 동작 인식부는,
    이전 프레임에서 식별한 사용자의 3차원 좌표와 현재 프레임에서 식별한 사용자의 3차원 좌표의 차이에 기초하여 사용자의 동작을 인식하는 동작 인식 장치.
  5. 제1항에 있어서,
    상기 동작 인식부는,
    인식한 사용자의 동작과 기 저장된 제스처 모션 정보를 비교하여 사용자의 동작에 대응하는 제스처를 식별하는 동작 인식 장치.
  6. 제1항에 있어서,
    열 적외선 카메라가 생성한 열 적외선 영상과 3차원 깊이 센서가 생성한 3차원 영상을 정합하는 영상 정합부
    를 더 포함하는 동작 인식 장치.
  7. 제6항에 있어서,
    상기 영상 정합부는,
    3차원 깊이 센서와 열 적외선 카메라의 위치, 회전, 각도, 및 움직임과 관련된 파라미터를 추출하고, 추출한 파라미터를 사용하여 열 적외선 영상과 3차원 영상을 정합하는 동작 인식 장치.
  8. 열 적외선 영상에 포함된 객체의 온도 정보를 사용자의 체온 정보와 비교하여 사용자를 검출하는 단계; 및
    열 적외선 영상과 정합한 3차원 영상에 포함된 깊이 정보를 사용하여 사용자의 동작을 인식하는 단계
    를 포함하고,
    상기 사용자를 검출하는 단계는,
    열 적외선 영상과 정합한 3차원 영상에 포함된 컬러 영상을 사용하여 열 적외선 영상에 포함된 객체의 형상과 크기를 식별하고, 객체의 형상과 크기 및 온도 정보에 따라 사용자를 검출하는 동작 인식 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 사용자의 동작을 인식하는 단계는,
    깊이 정보를 사용하여 사용자의 3차원 좌표를 식별하고, 식별한 사용자 3차원 좌표를 사용하여 사용자의 동작을 인식하는 동작 인식 방법.
  11. 제10항에 있어서,
    상기 사용자의 동작을 인식하는 단계는,
    이전 프레임에서 식별한 사용자의 3차원 좌표와 현재 프레임에서 식별한 사용자의 3차원 좌표의 차이에 기초하여 사용자의 동작을 인식하는 동작 인식 방법.
  12. 제8항에 있어서,
    상기 사용자의 동작을 인식하는 단계는,
    인식한 사용자의 동작과 기 저장된 제스처 모션 정보를 비교하여 사용자의 동작에 대응하는 제스처를 식별하는 동작 인식 방법.
  13. 제8항에 있어서,
    열 적외선 카메라가 생성한 열 적외선 영상과 3차원 깊이 센서가 생성한 3차원 영상을 정합하는 단계
    를 더 포함하는 동작 인식 방법.
  14. 제13항에 있어서,
    상기 영상을 정합하는 단계는,
    3차원 깊이 센서와 열 적외선 카메라의 위치, 회전, 각도, 및 움직임과 관련된 파라미터를 추출하고, 추출한 파라미터를 사용하여 열 적외선 영상과 3차원 영상을 정합하는 동작 인식 방법.
KR1020120071260A 2012-06-29 2012-06-29 온도 정보를 사용한 동작 인식 장치 및 방법 KR101387892B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071260A KR101387892B1 (ko) 2012-06-29 2012-06-29 온도 정보를 사용한 동작 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071260A KR101387892B1 (ko) 2012-06-29 2012-06-29 온도 정보를 사용한 동작 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140003231A KR20140003231A (ko) 2014-01-09
KR101387892B1 true KR101387892B1 (ko) 2014-04-21

Family

ID=50139884

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071260A KR101387892B1 (ko) 2012-06-29 2012-06-29 온도 정보를 사용한 동작 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101387892B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210048361A (ko) * 2019-10-23 2021-05-03 한국전자통신연구원 색상 카메라와 열화상 카메라를 이용한 소방방재용 객체 탐색 장치 및 방법
KR102671706B1 (ko) * 2019-10-23 2024-06-04 한국전자통신연구원 색상 카메라와 열화상 카메라를 이용한 소방방재용 객체 탐색 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829543A (ja) * 1994-05-09 1996-02-02 Matsushita Electric Ind Co Ltd 熱物体検出装置および測定法
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
KR20100017212A (ko) * 2007-04-20 2010-02-16 소프트키네틱 에스.에이. 볼륨 인식 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829543A (ja) * 1994-05-09 1996-02-02 Matsushita Electric Ind Co Ltd 熱物体検出装置および測定法
KR20100017212A (ko) * 2007-04-20 2010-02-16 소프트키네틱 에스.에이. 볼륨 인식 방법 및 시스템
KR20090050567A (ko) * 2007-11-16 2009-05-20 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210048361A (ko) * 2019-10-23 2021-05-03 한국전자통신연구원 색상 카메라와 열화상 카메라를 이용한 소방방재용 객체 탐색 장치 및 방법
KR102671706B1 (ko) * 2019-10-23 2024-06-04 한국전자통신연구원 색상 카메라와 열화상 카메라를 이용한 소방방재용 객체 탐색 장치 및 방법

Also Published As

Publication number Publication date
KR20140003231A (ko) 2014-01-09

Similar Documents

Publication Publication Date Title
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
US9465444B1 (en) Object recognition for gesture tracking
KR101700817B1 (ko) 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
US9535538B2 (en) System, information processing apparatus, and information processing method
US10091489B2 (en) Image capturing device, image processing method, and recording medium
Lee et al. Low-cost 3D motion capture system using passive optical markers and monocular vision
JP4963964B2 (ja) 物体検出装置
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
US20130127705A1 (en) Apparatus for touching projection of 3d images on infrared screen using single-infrared camera
US9886769B1 (en) Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
Attamimi et al. Real-time 3D visual sensor for robust object recognition
TWI526879B (zh) 互動系統、遙控器及其運作方法
JP2017205135A (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
KR101755023B1 (ko) 3차원 동작 인식 장치 및 방법
JP2006236184A (ja) 画像処理による人体検知方法
JP2016177491A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP3988574B2 (ja) 画像処理装置
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
KR20150142475A (ko) 장애물 식별 장치 및 방법
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
KR101387892B1 (ko) 온도 정보를 사용한 동작 인식 장치 및 방법

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee