KR20130117411A - 사용자 인식 장치 및 그 방법 - Google Patents

사용자 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20130117411A
KR20130117411A KR1020120039713A KR20120039713A KR20130117411A KR 20130117411 A KR20130117411 A KR 20130117411A KR 1020120039713 A KR1020120039713 A KR 1020120039713A KR 20120039713 A KR20120039713 A KR 20120039713A KR 20130117411 A KR20130117411 A KR 20130117411A
Authority
KR
South Korea
Prior art keywords
image
visible light
infrared
user
clipped
Prior art date
Application number
KR1020120039713A
Other languages
English (en)
Inventor
김현곤
박준석
이해룡
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120039713A priority Critical patent/KR20130117411A/ko
Priority to US13/686,073 priority patent/US9432594B2/en
Publication of KR20130117411A publication Critical patent/KR20130117411A/ko

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적외선 카메라와 가시광선 카메라를 이용하여 사용자를 인식하는 장치 및 그 방법에 관한 것이다. 사용자 인식 장치는 가시광선 카메라를 이용하여 가시광선 영상을 획득하는 가시광선 영상 처리부, 적외선 카메라를 이용하여 적외선 영상을 획득하는 적외선 영상 처리부, 적외선 영상에서 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성하는 임계치 처리부, 클리핑된 적외선 영상과 가시광선 영상을 토대로 광흐름을 계산하고, 계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하는 광흐름 처리부 및 클리핑된 가시광선 영상을 토대로 사용자를 인식하는 가시광선 처리부를 포함한다.

Description

사용자 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING A USER}
본 발명은 사용자 인식 장치 및 그 방법에 관한 것이다. 보다 상세하게는 적외선 카메라와 가시광선 카메라를 이용하여 사용자를 인식하는 장치 및 그 방법에 관한 것이다.
스테레오 카메라는 두 개의 카메라로부터 획득되는 두 장의 이미지를 연산하여, 깊이 정보를 획득하는 분야에서 많이 사용된다. 두 장의 이미지를 이용하여 깊이 정보를 획득하는 방법에는 두 이미지 사이에서의 픽셀 간의 거리를 이용하여 깊이 정보를 추출하는 방법이 주로 이용되고 있다. 최근에는 두 장의 이미지에 광 흐름 방법을 적용시켜 깊이 정보를 추출해내는 방법이 등장하였다.
광흐름 방법을 이용하여 깊이 정보를 추출하는 방법은 픽셀 간의 거리를 이용하여 깊이 정보를 추출하는 방법에 비해서 정밀한 깊이 정보를 획득할 수는 없으나, 초기 설정이 간단하고 카메라 렌즈에 의한 왜곡 현상에 대해서 보정 작업이 필요하지 않다. 따라서, 광흐름 방법을 이용하여 획득한 깊이 정보는 정확한 깊이 정보를 필요로 하지 않는 모션 인식과 같은 분야에서 주로 사용되고 있다.
광 흐름 방법을 이용하여 깊이 정보를 획득하는 과정은 이미지의 크기가 좌우로 2배씩 상승할 때, 전체 픽셀이 이미지의 크기에 제곱씩 상승하게 되며, 이미지에 대응하는 광 흐름 방법의 연산량도 제곱씩 상승하게 된다. 비록, 모션 인식을 위하여 깊이 정보가 필요치 않는다 할지라도, 모션 인식을 위한 정보는 많은 픽셀의 정보를 포함할수록 더 정밀한 모션 인식을 가능케 한다. 따라서, 스테레오 카메라를 통해 획득한 두 장의 이미지는 크면 클수록 정교한 모션 인식을 가능하게 한다.
하지만, 이미지의 크기가 증가함에 따라 광 흐름 방법의 연산량 역시 크게 증가하게 되므로, 정밀도는 높아지는 반면에, 속도가 크게 떨어지는 단점을 가지고 있다. 이러한 단점을 해결하기 위해서, 적외선 카메라를 이용하여 획득한 적외선 영상의 배경을 삭제함으로써, 속도를 가속할 수 있다. 이와 같이 배경이 삭제된 적외선 영상은 전체 적외선 영상에 해당하는 광 흐름 방법의 연산 과정보다 빠르게 깊이 정보를 획득할 수 있게 한다.
하지만, 적외선 카메라를 이용하여 특정 광 영역대의 데이터를 수집하게 되는 경우에는 빛의 산란이나 광량의 변화에 민감하지 않은 데이터를 획득할 수 있는 반면에, 이미지부터 획득되는 칼라 채널이 적게 되고 영상의 칼라 값을 이용하여 처리를 수행할 수 있는 알고리즘을 적용하기 어려운 문제점이 있다.
본 발명의 목적은, 스테레오 카메라 즉, 적외선 카메라와 가시광선 카메라를 이용하여 적외선 이미지와 가시광선 이미지를 획득하고, 이를 이용하여 연산량을 최소화시키면서 깊이 정보를 생성하여, 깊이 정보를 토대로 사용자를 인식하는 장치 및 그 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 사용자 인식 장치는
가시광선 카메라를 이용하여 가시광선 영상을 획득하는 가시광선 영상 처리부; 적외선 카메라를 이용하여 적외선 영상을 획득하는 적외선 영상 처리부; 상기 적외선 영상에서 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성하는 임계치 처리부; 상기 클리핑된 적외선 영상과 상기 가시광선 영상을 토대로 광흐름을 계산하고, 계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하는 광흐름 처리부; 및 상기 클리핑된 가시광선 영상을 토대로 사용자를 인식하는 가시광선 처리부를 포함한다.
상기 가시광선 처리부는 상기 클리핑된 가시광선 영상을 가시광선 알고리즘에 적용하여 사용자를 인식하고, 인식한 결과를 토대로 사용자의 동작 상태를 인식하는 것을 특징으로 한다.
상기 광흐름 처리부는 상기 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출하고, 상기 가시광선 영상에 추출한 사용자의 특징점을 매핑하여 광흐름을 계산하는 것을 특징으로 한다.
상기 광흐름 처리부는 상기 광흐름의 벡터 길이를 토대로 깊이 정보를 생성하는 것을 특징으로 한다.
상기 사용자 인식 장치는 상기 적외선 카메라와 상기 가시광선 카메라를 동기화시켜, 상기 적외선 카메라와 상기 가시광선 카메라가 동시에 촬영 대상에 대응하는 영상을 획득할 수 있도록 하는 동기화부를 더 포함하는 것을 특징으로 한다.
상기 사용자 인식 장치는 상기 클리핑된 적외선 영상과 상기 가시광선 영상의 잡음을 제거하는 잡음 제거부를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 사용자 인식 방법은
가시광선 카메라를 이용하여 가시광선 영상을 획득하는 단계; 적외선 카메라를 이용하여 적외선 영상을 획득하는 단계; 상기 적외선 영상에서 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성하는 단계; 상기 클리핑된 적외선 영상과 상기 가시광선 영상을 토대로 광흐름을 계산하는 단계; 계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하는 단계; 및 상기 클리핑된 가시광선 영상을 토대로 사용자를 인식하는 단계를 포함한다.
상기 사용자를 인식하는 단계는 상기 클리핑된 가시광선 영상을 가시광선 알고리즘에 적용하여 사용자를 인식하는 단계; 및 상기 사용자를 인식한 결과를 토대로 사용자의 동작 상태를 인식하는 단계를 포함하는 것을 특징으로 한다.
상기 광흐름을 계산하는 단계는 상기 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출하고, 상기 가시광선 영상에 추출한 사용자의 특징점을 매핑하여 광흐름을 계산하는 것을 특징으로 한다.
상기 광흐름을 계산하는 단계는 상기 광흐름의 벡터 길이를 토대로 깊이 정보를 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 사용자 인식 방법은 상기 적외선 카메라와 상기 가시광선 카메라를 동기화시켜, 상기 적외선 카메라와 상기 가시광선 카메라가 동시에 촬영 대상에 대응하는 영상을 획득할 수 있도록 하는 것을 특징으로 한다.
상기 사용자 인식 방법은 상기 클리핑된 적외선 영상과 상기 가시광선 영상의 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 사용자 인식 장치 및 그 방법은 고해상도의 스테레오 이미지를 사용자 인식 과정에 이용함으로써 연산량을 감소시킬 수 있다.
또한, 본 발명의 실시예에 따르면 사용자 인식 장치 및 그 방법은 임계치가 적용된 적외선 영상으로만 처리하기 힘든 가시광선 영역에서 처리 할 수 있는 알고리즘을 같이 도입함으로써, 사용자 인식의 정확도를 증가시키고, 잡음을 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 인식 장치를 개략적으로 나타내는 구성도이다.
도 2 및 도 3은 본 발명의 실시예에 따른 스테레오 카메라를 통해 획득되는 영상을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 클리핑된 적외선 영상을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 클리핑된 가시광선 영상을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 사용자를 인식하는 방법을 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는, 본 발명의 실시예에 따른 사용자 인식 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 사용자 인식 장치를 개략적으로 나타내는 구성도이다.
도 1을 참고하면, 사용자 인식 장치는 적외선 카메라(10), 적외선 발광부(15), 가시광선 카메라(20), 동기화부(100), 적외선 영상 처리부(200), 임계치 처리부(250), 가시광선 영상 처리부(300), 잡음 제거부(400), 광흐름 처리부(500) 및 가시광선 처리부(600)을 포함한다.
적외선 카메라(10)와 가시광선 카메라(20)는 각각 도시되어 있으나, 하나의 스테레오 카메라에 해당할 수 있다.
적외선 발광부(15)는 적외선 카메라(10)가 촬영하고자 하는 촬영 대상 예를 들어, 사람이 적외선을 반사하여 적외선 카메라(10)에서 사람의 영상을 획득할 수 있도록, 적외선을 발광한다.
동기화부(100)는 적외선 카메라(10)와 가시광선 카메라(20)를 동기화 시킴으로써, 적외선 카메라(10)와 가시광선 카메라(20)가 동시에 촬영 대상에 대응하는 영상을 획득할 수 있도록 한다. 동기화부(100)에서는 적외선 카메라(10)와 가시광선 카메라(20)의 노출값, 밝기 등에 따라서 획득 속도가 각각 달라지므로, 적외선 카메라(10)와 가시광선 카메라(20)에 해당하는 각각의 영상을 동시에 획득할 수 있도록 적외선 카메라(10)와 가시광선 카메라(20)를 동기화한다.
동기화부(100)는 적외선 카메라(10)가 촬영한 적외선 영상과 가시광선 카메라(20)가 촬영한 가시광선 영상을 각각 적외선 영상 처리부(200)와 가시광선 영상 처리부(300)에 전달한다.
적외선 영상 처리부(200)는 적외선 카메라(10)가 촬영한 적외선 영상(예를 들어, 도 2와 같은 적외선 영상)을 전달받아, 적외선 영상을 저장하고 임계치 처리부(250)로 전달한다. 도 2를 참고하면, 적외선 영상에는 배경이 사라진 것을 확인할 수 있다. 적외선 발광부(15)에 의해서 발광된 적외선은 사람의 몸에 반사되어 적외선 카메라(10)에 노출되며, 일반적으로 적외선 발광부(15)에 가까울수록 밝은 값을 갖게 된다. 즉, 뒤에 있는 사용자들은 적외선 영상에 나타나지 않게 된다.
가시광선 영상 처리부(300)는 가시광선 카메라(20)가 촬영한 가시광선 영상(예를 들어, 도 3과 같은 가시광선 영상)을 전달받아, 가시광선 영상을 저장하고 잡음 제거부(400)로 전달한다.
임계치 처리부(250)는 적외선 영상에서 일정 임계치를 이용하여 배경을 제거한다. 여기서, 일정 임계치는 임계치 처리부(250)에서 이전에 설정한 임계치일 수 있으며, 이에 한정되지 않는다.
도 4는 본 발명의 실시예에 따른 적외선 영상에서 일정 임계치를 이용하여 배경을 제거 즉, 클리핑(Clipping)된 적외선 영상을 나타낸다.
본 발명은 도 4와 같이, 적외선 영상의 빗금친 영역의 사람만 클리핑하고, 클립핑된 영역을 제외한 나머지 영역을 사용자 인식에 사용하지 않는다. 여기서, 빗금친 영역은 적외선 영상에서 배경이 제거된 영역에 대응한다.
잡음 제거부(400)는 가시광선 영상과 클리핑된 적외선 영상의 잡음을 각각 제거한다.
광흐름 처리부(500)는 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출하고, 가시광선 영상에 추출한 사용자의 특징점을 매핑하여 광흐름을 계산한다. 여기서, 사용자의 특징점은 사용자의 얼굴(예를 들어 눈, 코, 입, 귀)의 위치 좌표, 손의 위치 좌표, 발의 위치 좌표 등과 같이 사용자의 모션을 인식할 수 있는 위치 좌표에 해당한다.
다음, 광흐름 처리부(500)는 계산한 광흐름의 벡터 길이를 토대로 깊이 정보를 생성한다. 여기서, 벡터 길이는 기준 길이보다 길수록 앞쪽에 있는 픽셀이고, 기준 길이보다 짧을수록 뒤에 있는 픽셀이다.
광흐름 처리부(500)는 계산한 광흐름을 토대로 클리핑된 가시광선 영상(예를 들어, 도 5과 같은 클리핑된 가시광선 영상)을 생성한다. 여기서, 클리핑된 가시광선 영상은 사용자의 얼굴, 손, 손가락을 인식하는데 사용되는 것으로, 가시광선 영상이 클리핑된 적외선 영상이 포함하는 사용자가 나타나고 있는 영상이다.
가시광선 처리부(600)는 클리핑된 가시광선 영상을 특정 가시광선 알고리즘에 적용하여 사용자의 얼굴, 손, 손가락 등을 인식하고, 이를 통해 사용자의 동작 상태를 인식할 수 있다.
가시광선 카메라(20)를 통해 획득한 가시광선 영상 전체를 사용자 인식에 사용하는 경우에는 인식하고자 하는 사용자 이외에 다른 사용자도 인식할 수 있을 뿐만 아니라, 사용자에 해당하는 배경 영역도 인식할 수 있게 된다. 즉, 본 발명의 실시예에 따른 클리핑된 적외선 영상을 토대로 생성한 클리핑된 가시광선 영상은 전체 가시광선 영상에 비하여 연산량도 적을뿐만 아니라, 배경 영역에 의한 잡음 발생도 크게 줄일 수 있다.
다음, 사용자를 인식하는 방법을 도 6을 참조하여 상세하게 설명한다.
도 6은 본 발명의 실시예에 따른 사용자를 인식하는 방법을 나타내는 흐름도이다.
도 6을 참고하면, 사용자 인식 장치는 적외선 카메라(10)와 가시광선 카메라(20)를 동기화 시킴으로써(S610), 적외선 카메라(10)와 가시광선 카메라(20)가 동시에 촬영 대상 즉, 사용자를 포함하는 영상을 획득할 수 있도록 한다. 사용자 인식 장치는 적외선 카메라(10)와 가시광선 카메라(20)의 노출값, 밝기 등에 따라서 획득 속도가 각각 달라지므로, 적외선 카메라(10)와 가시광선 카메라(20)를 동기화한다.
사용자 인식 장치는 적외선 카메라(10)가 촬영한 적외선 영상(예를 들어, 도 2와 같은 적외선 영상)을 획득한다(S620). 다음, 사용자 인식 장치는 적외선 영상에서 일정 임계치를 이용하여 배경을 제거한다(S630). S630단계에서 사용자 인식 장치는 적외선 영상에서 일정 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성한다.
사용자 인식 장치는 가시광선 카메라(20)가 촬영한 가시광선 영상(예를 들어, 도 3과 같은 가시광선 영상)을 획득한다(S640).
사용자 인식 장치는 클리핑된 적외선 영상과 가시광선 영상의 잡음을 각각 제거한다(S650).
사용자 인식 장치는 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출한다(S660). 여기서, 사용자의 특징점은 사용자의 얼굴(예를 들어 눈, 코, 입, 귀)의 위치 좌표, 손의 위치 좌표, 발의 위치 좌표 등과 같이 사용자의 모션을 인식할 수 있는 위치 좌표에 해당한다.
사용자 인식 장치는 가시광선 영상에 추출한 특징점을 매핑하여 광흐름을 계산한다(S670). 사용자 인식 장치는 계산한 광흐름의 벡터 길이를 토대로 깊이 정보를 생성한다(S680).
사용자 인식 장치는 계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하고, 생성한 클리핑된 가시광선 영상을 토대로 사용자를 인식한다(S690).
사용자 인식 장치는 생성한 클리핑된 가시광선 영상에 특정 가시광선 알고리즘에 적용하여 사용자의 얼굴, 손, 손가락 등을 인식하고, 이를 통해 사용자의 동작 상태를 인식할 수 있다.
이와 같이, 본 발명은 임계치가 적용된 적외선 영상으로만 처리하기 힘든 가시광선 영역에서 처리 할 수 있는 알고리즘을 같이 도입함으로써, 사용자 인식의 정확도를 증가시키고, 잡음을 감소시킬 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 적외선 카메라 15; 적외선 발광부
20; 가시광선 카메라
100; 동기화부 200; 적외선 영상 처리부
250; 임계치 처리부 300; 가시광선 영상 처리부
400; 잡음 제거부 500; 광흐름 처리부
600; 가시광선 처리부

Claims (12)

  1. 가시광선 카메라를 이용하여 가시광선 영상을 획득하는 가시광선 영상 처리부;
    적외선 카메라를 이용하여 적외선 영상을 획득하는 적외선 영상 처리부;
    상기 적외선 영상에서 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성하는 임계치 처리부;
    상기 클리핑된 적외선 영상과 상기 가시광선 영상을 토대로 광흐름을 계산하고, 계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하는 광흐름 처리부; 및
    상기 클리핑된 가시광선 영상을 토대로 사용자를 인식하는 가시광선 처리부
    를 포함하는 사용자 인식 장치.
  2. 청구항 1에 있어서,
    상기 가시광선 처리부는
    상기 클리핑된 가시광선 영상을 가시광선 알고리즘에 적용하여 사용자를 인식하고, 인식한 결과를 토대로 사용자의 동작 상태를 인식하는 것을 특징으로 하는 사용자 인식 장치.
  3. 청구항 1에 있어서,
    상기 광흐름 처리부는
    상기 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출하고, 상기 가시광선 영상에 추출한 사용자의 특징점을 매핑하여 광흐름을 계산하는 것을 특징으로 하는 사용자 인식 장치.
  4. 청구항 3에 있어서,
    상기 광흐름 처리부는
    상기 광흐름의 벡터 길이를 토대로 깊이 정보를 생성하는 것을 특징으로 하는 사용자 인식 장치.
  5. 청구항 1에 있어서,
    상기 적외선 카메라와 상기 가시광선 카메라를 동기화시켜, 상기 적외선 카메라와 상기 가시광선 카메라가 동시에 촬영 대상에 대응하는 영상을 획득할 수 있도록 하는 동기화부를 더 포함하는 것을 특징으로 하는 사용자 인식 장치.
  6. 청구항 1에 있어서,
    상기 클리핑된 적외선 영상과 상기 가시광선 영상의 잡음을 제거하는 잡음 제거부를 더 포함하는 것을 특징으로 하는 사용자 인식 장치.
  7. 가시광선 카메라를 이용하여 가시광선 영상을 획득하는 단계;
    적외선 카메라를 이용하여 적외선 영상을 획득하는 단계;
    상기 적외선 영상에서 임계치를 이용하여 배경을 제거하여 클리핑된 적외선 영상을 생성하는 단계;
    상기 클리핑된 적외선 영상과 상기 가시광선 영상을 토대로 광흐름을 계산하는 단계;
    계산한 광흐름을 토대로 클리핑된 가시광선 영상을 생성하는 단계; 및
    상기 클리핑된 가시광선 영상을 토대로 사용자를 인식하는 단계
    를 포함하는 사용자 인식 방법.
  8. 청구항 7에 있어서,
    상기 사용자를 인식하는 단계는
    상기 클리핑된 가시광선 영상을 가시광선 알고리즘에 적용하여 사용자를 인식하는 단계; 및
    상기 사용자를 인식한 결과를 토대로 사용자의 동작 상태를 인식하는 단계
    를 포함하는 것을 특징으로 하는 사용자 인식 방법.
  9. 청구항 7에 있어서,
    상기 광흐름을 계산하는 단계는
    상기 클리핑된 적외선 영상을 토대로 사용자의 특징점을 추출하고, 상기 가시광선 영상에 추출한 사용자의 특징점을 매핑하여 광흐름을 계산하는 것을 특징으로 하는 사용자 인식 방법.
  10. 청구항 9에 있어서,
    상기 광흐름을 계산하는 단계는
    상기 광흐름의 벡터 길이를 토대로 깊이 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 사용자 인식 방법.
  11. 청구항 7에 있어서,
    상기 적외선 카메라와 상기 가시광선 카메라를 동기화시켜, 상기 적외선 카메라와 상기 가시광선 카메라가 동시에 촬영 대상에 대응하는 영상을 획득할 수 있도록 하는 것을 특징으로 하는 사용자 인식 방법.
  12. 청구항 7에 있어서,
    상기 클리핑된 적외선 영상과 상기 가시광선 영상의 잡음을 제거하는 단계
    를 더 포함하는 것을 특징으로 하는 사용자 인식 방법.
KR1020120039713A 2012-04-17 2012-04-17 사용자 인식 장치 및 그 방법 KR20130117411A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120039713A KR20130117411A (ko) 2012-04-17 2012-04-17 사용자 인식 장치 및 그 방법
US13/686,073 US9432594B2 (en) 2012-04-17 2012-11-27 User recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120039713A KR20130117411A (ko) 2012-04-17 2012-04-17 사용자 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130117411A true KR20130117411A (ko) 2013-10-28

Family

ID=49324703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120039713A KR20130117411A (ko) 2012-04-17 2012-04-17 사용자 인식 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9432594B2 (ko)
KR (1) KR20130117411A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988551B1 (ko) * 2018-01-15 2019-06-12 충북대학교 산학협력단 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
CN104539914B (zh) * 2015-01-23 2018-11-02 济南和普威视光电技术有限公司 一种带自动同步的多波段监控器及其工作方法
JP6650691B2 (ja) * 2015-07-02 2020-02-19 キヤノン株式会社 撮像装置
CN106161996A (zh) * 2016-08-26 2016-11-23 张家港全智电子科技有限公司 一种高速适应性夜视图像增强系统
KR101713684B1 (ko) * 2016-09-21 2017-03-08 주식회사 에스카 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템
JP2018101206A (ja) * 2016-12-19 2018-06-28 東芝テック株式会社 情報処理装置およびプログラム
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
CN108921121A (zh) * 2018-07-13 2018-11-30 湖南创合未来科技股份有限公司 一种适用于强光环境下使用的近红外人脸识别系统及方法
CN109819229B (zh) * 2019-01-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US20210400210A1 (en) * 2020-06-23 2021-12-23 Immervision, Inc. Infrared wide-angle camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5265172A (en) * 1989-10-13 1993-11-23 Texas Instruments Incorporated Method and apparatus for producing optical flow using multi-spectral images
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
US7406184B2 (en) * 2002-07-03 2008-07-29 Equinox Corporation Method and apparatus for using thermal infrared for face recognition
US8212210B2 (en) * 2008-02-04 2012-07-03 Flir Systems Ab IR camera and method for presenting IR information
KR20110013916A (ko) 2009-08-04 2011-02-10 이상화 이종 영상 촬영장치를 이용한 실물 인식 시스템 및 실물 인식 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988551B1 (ko) * 2018-01-15 2019-06-12 충북대학교 산학협력단 스테레오 비전의 깊이 추정을 이용한 효율적 객체 검출 및 매칭 시스템 및 방법

Also Published As

Publication number Publication date
US20130271562A1 (en) 2013-10-17
US9432594B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
KR20130117411A (ko) 사용자 인식 장치 및 그 방법
US8787656B2 (en) Method and apparatus for feature-based stereo matching
WO2018161877A1 (zh) 处理方法、处理装置、电子装置和计算机可读存储介质
US10303973B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US9704251B2 (en) Depth determination method, depth determination device and electronic device
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US10701281B2 (en) Image processing apparatus, solid-state imaging device, and electronic apparatus
JP6248533B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102207856B1 (ko) 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
WO2014083721A1 (ja) 情報処理装置および情報処理方法
KR20040030081A (ko) 3ｄ 화상 회의 시스템
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2017045283A5 (ko)
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
CN108885339A (zh) 用于使用自适应焦平面渲染虚拟现实的配置
JP2016208098A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019011110A1 (zh) 逆光场景的人脸区域处理方法和装置
KR20080060656A (ko) 원격 포인팅 장치와 그 장치에서의 포인터 이동량 산출방법
CN111897433A (zh) 一种集成成像显示系统中实现动态手势识别与控制方法
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10447996B2 (en) Information processing device and position information acquisition method
US20190302598A1 (en) Projection device, projection method, and projection control program
KR20150041901A (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid