KR20120048021A - 이미지 분석을 위한 방법 및 시스템 - Google Patents

이미지 분석을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20120048021A
KR20120048021A KR1020127007030A KR20127007030A KR20120048021A KR 20120048021 A KR20120048021 A KR 20120048021A KR 1020127007030 A KR1020127007030 A KR 1020127007030A KR 20127007030 A KR20127007030 A KR 20127007030A KR 20120048021 A KR20120048021 A KR 20120048021A
Authority
KR
South Korea
Prior art keywords
images
sequence
analysis
image
value
Prior art date
Application number
KR1020127007030A
Other languages
English (en)
Inventor
빈센트 잔느
일호르 올레호비치 키렌코
지오반니 첸니니
링 샤오
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20120048021A publication Critical patent/KR20120048021A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이미지 분석 방법은: - 픽셀 데이터에 의해 각각 표현되는 이미지들의 시퀀스(37; 51)를 획득하는 단계; - 이미지들에 표현되는 대상의 상태를 분류하기 위한 데이터를 획득하기 위해 이미지들의 시퀀스(37; 51)의 적어도 하나에 대한 시각-기반 분석을 수행하는 단계; - 이미지들의 시퀀스(37; 51)의 적어도 일부에 표현되는 생명체의 생리적 파라미터의 적어도 하나의 값을 결정하는 단계; 및 - 시각-기반 분석으로 획득된 데이터 및 생리적 파라미터의 적어도 하나의 값을 이용하여 대상의 상태를 분류하는 단계를 포함한다. 생리적 파라미터의 적어도 하나의 값은, 시각-기반 분석이 수행되는 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스(37; 51)로부터 이미지 데이터의 분석을 통해 결정된다. 원격 광맥파계 분석을 가능하게 하는 방법은: - 적어도 하나의 카메라(3)로부터 이미지들의 시퀀스(37; 51)를 획득하는 단계로서, 이미지들의 각각은 적어도 제한된 범위의 파장들에서 반사된 주변광을 표현하는 픽셀 데이터에 의해 표현되는, 획득 단계; 및 - 적어도 하나의 측정 구역(41)에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 측정 구역(41)에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하는 단계를 포함한다. 이미지들의 시퀀스(37; 51)에 표현되는 선택된 대상의 적어도 일부가 추적되고, 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원(4)이 제어된다.

Description

이미지 분석을 위한 방법 및 시스템{METHOD AND SYSTEM FOR IMAGE ANALYSIS}
본 발명은 이미지 분석 방법, 이미지 분석을 위한 시스템, 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 또한 원격 광맥파계 분석(remote photoplethysmographic analysis)을 가능하게 하기 위한 방법 및 시스템에 관한 것이다.
미국 2009/0027493 A1은, 공공 장소들에 진입하는 사람들의 감시를 자동화하고, 공격자가 목표를 달성하는 것을 방지하기 위해 실시간으로 동작을 취하는 방법을 개시하고 있다. 이 방법은 시야가 위장된 장소들에서의 고화질 비디오 카메라들의 전략적 배치를 포함한다. 카메라들은, 기록된 필름들을 모니터링하는 중앙 위치에 지상 통신선들 또는 무선으로 접속된다. 정기적인 모니터링은 대부분 자동화되고 컴퓨터-제어된다. 컴퓨터 모니터링은 사람들의 거동, 얼굴 표정, 특이한 움직임 등의 분석을 포함한다. 미상적인 잡음, 단어들 또는 볼륨은 또한 훈련된 직원에게 그 현장의 이벤트들 상에 초점을 맞추도록 경고하기 위해 컴퓨터 프로그램에 경보할 수 있다. 가능하다면, 심박률 또는 동공 확장과 같은 더욱 복잡한 팩터들의 분석이 모니터링되어 서브-스크린 상에 디스플레이될 수 있다.
알려진 방법의 문제는, 심박률 또는 동공 확장을 얻기 위한 방법 및 미상적인 거동의 분석에 이용되는 비디오 푸티지(video footage)와 그러한 팩터들의 데이터 표현을 동기화하기 위한 방법을 개시하고 있지 않다는 점이다.
이미지들의 시퀀스로 표현되는 대상의 활동의 비교적 신뢰 가능한 분류를 획득하도록 효율적으로 구현될 수 있는 방법, 시스템 및 컴퓨터 프로그램을 제공하는 것이 바람직하다.
이 목적은, 본 발명에 따른 방법에 의해 달성되며, 이 방법은:
- 이미지들의 시퀀스를 획득하는 단계;
- 상기 이미지들에 표현되는 대상의 상태를 분류하기 위한 데이터를 획득하기 위해 상기 이미지들의 시퀀스의 적어도 하나에 대한 시각-기반 분석(vision-based analysis)을 수행하는 단계;
- 상기 이미지들의 시퀀스의 적어도 일부에 표현되는 생명체(living being)의 생리적 파라미터의 적어도 하나의 값을 결정하는 단계로서, 상기 생리적 파라미터의 적어도 하나의 값은, 상기 시각-기반 분석이 수행되는 상기 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스로부터 이미지 데이터의 분석을 통해 결정되는, 상기 결정 단계; 및
- 상기 시각-기반 분석으로 획득된 데이터 및 상기 생리적 파라미터의 적어도 하나의 값을 이용하여 상기 대상의 상태를 분류하는 단계를 포함한다.
용어 활동은 하나 이상의 동작들의 세트를 표시하기 위해 본 명세서에 이용되며, 활동들은 생명체, 예를 들면 인간의 표정들 및 거동을 포함할 수 있다. 따라서, 범주화는, 예를 들면 "달리기(running)"와 같은 동작, 예를 들면 "미소(smiling)"와 같은 표정, 또는 "동요(agitated)"나 "의심(suspicious)"과 같은 동작에 타입을 할당할 수 있다. 시각-기반 분석은 공간 및 시공간 분석 중 적어도 하나를 관련시킨다.
이미지에 표현되는 대상의 적어도 하나의 활동을 분류하고 이미지들의 시퀀스의 적어도 일부에 표현되는 생명체의 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 데이터를 획득하기 위하여 이미지들의 시퀀스 중 적어도 하나에 대한 시각-기반 분석을 수행함으로써, 인간 활동들의 자동화된 분류를 위한 데이터를 획득하기 위해 2개의 비교적 독립된 방법들이 이용된다. 각각은 이들 중 단 하나만 적용될 때 생길 수 있는 모호성을 해결한다. 예를 들면, 높은 맥박수는 달리기, 수영과 같은 활동들을 수반한다. 달리기 및 조깅은 시각-기반 분석을 이용하여 쉽게 구별될 수 없는 유사한 포즈들을 관련시킨다. 시각-기반 분석이 수행되는 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스로부터 이미지 데이터의 분석을 통해 생리적 파라미터의 적어도 하나의 값이 결정되기 때문에, 이 방법은 비교적 효율적이다. 이미지들의 시퀀스를 획득하기 위해 적어도 하나의 카메라 외에, 별도의 센서들은 요구되지 않는다. 또한, 이미지들의 동일 시퀀스의 이용으로 인해, 이미지들과 센서 신호들을 동기시키기 위한 수단도 역시 요구되지 않는다. 부가의 효과는, 생리적 파라미터가 신중한 방식으로 결정된다는 점이다. 측정은 시각-기반 분석처럼 비접촉식이어서, 이 방법은 대상의 활동에 영향을 미치지 않는다. 다른 효과는 이 방법이 비교적 적은 부가의 수고로 하나 이상의 사람의 활동을 분류하도록 스케일링될 수 있다는 점이다(이들이 이미지들의 시퀀스에서 둘다 표현된다고 가정할 때).
실시예에서, 대상의 상태를 분류하는 단계는 대상에 의해 착수되는 동작을 분류하는 단계를 포함한다.
이것은 유용한 방법 구현이며, 상이한 동작들이 유사한 포즈들에 의해 종종 특징지워지기 때문에 인간 활동 단독의 시각-기반 이미지 분석은 종종 잘못된 분류 결과를 유발한다. 달리 말하면, 시각-기반 분석 시스템들은 흔히 예를 들면 달리기와 조깅과 같은 상이한 타입들의 동작들을 구별할 수 없다.
실시예에서, 개별 분류자들이 생리적 파라미터들의 값들 및 시각-기반 분석을 수행함으로써 획득되는 데이터에 기초하여 데이터에 적용된다.
생리적 파라미터들의 값들에 기초한 데이터에 대해 및 시각-기반 분석을 수행함으로써 획득된 데이터에 대해 개별 분류자들을 제공하는 효과는 2 타입들의 분석 중 단 하나만을 다른 하나 없이 이용하는 것이 가능하다는 점이다. 이것은 두 방법들 중 하나가 많은 상황들에서 모호하지 않은 결과를 산출할 것이라는 점에서 계산적으로 더욱 효율적이다. 이것이 그 경우가 아닌 경우에만, 최종 결과를 생성하기 위해 두 분류자들의 결과들을 이용하는 추가적인 분류자 외에, 다른 분류자가 이용된다.
대안적인 실시예에서, 단일 분류자가 생리적 파라미터들의 값들 및 시각-기반 분석을 수행함으로써 획득된 데이터에 기초하여 데이터의 조합에 적용된다.
이것은 생리적 파라미터들의 값들과 시각-기반 분석을 수행함으로써 획득된 데이터 사이의 상관들이 분류 처리에 이용될 수 있다는 점에서 효과가 있다. 단일 분류자는 조합된 데이터 세트(즉, 생리적 파라미터들의 값들 및 시각-기반 분석을 수행함으로써 획득된 데이터 둘다)에 대해 트레이닝될 수 있다.
실시예에서, 이미지들의 시퀀스의 적어도 일부에서 표현되는 생명체의 생리적 파라미터의 적어도 하나의 값은 원격 광맥파계 분석을 이용하여 획득된다.
광맥파계 분석이 가시 주파수 영역에서 실행되는 특정 경우에, 보통 카메라, 예를 들면, CCD 또는 CMOS 센서 어레이를 포함하는 카메라가 이미지들의 시퀀스를 획득하기 위해 이용될 수 있다. 이것은 또한, 시각-기반 이미지 분석이 열 이미지들에 존재하지 않을 수 있는 에지들의 검출에 일반적으로 의존하기 때문에 유용하다. 또한, 원격 광맥파계 분석의 기본 형태를 구현하기 위해 특정 직사 광원들이 요구되지 않는다.
실시예는 가시 스펙트럼의 제한된 서브-레인지에서 발광하도록 구성된 광원을 가진 생명체의 적어도 일부를 조명하는 단계를 포함한다.
이미지 센서를 이용하여 맥박수를 원격으로 검출하기 위한 최상의 파장 범위는 약 500nm(가시 스펙트럼의 녹색 부분)에 위치된다는 것을 알았다. 따라서, 원격 맥박수 측정이 실행되고 있을 때 이 범위의 대상을 반사하기 위한 부가의 광을 제공하면 신호를 최대화할 것이다. 이미지들의 시퀀스를 획득하기 위해 이용되는 카메라의 채널은 직사 가능한 광원이 발광하도록 구성되는 파장 범위에 대응하는 파장 범위로 동조될 수 있다. 측정 구역의 적어도 다수의 연관된 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 획득하기 위해 이 채널에서만의 픽셀 데이터가 이용될 수 있다. 대안적으로, 이 채널의 픽셀 데이터는 다중 채널들로부터 픽셀 데이터의 가중된 합에서 초과 가중(overweighted)될 수 있다. 한편, 시각-기반 이미지 분석은, 직사 가능한 광원에 대응하는 파장 범위에 동조된 채널이 약간 불충분 가중되는(underweighted) 다중 채널들로부터 픽셀 데이터의 가중된 조합을 포함한 픽셀 데이터에 대해 실행될 수 있어서, 부가의 조명의 효과가 감소된다.
변형에서, 원격 광맥파계 분석은:
- 각각 상기 이미지들의 시퀀스의 각각에서 적어도 하나의 연관된 픽셀 값을 가지는 복수의 이미지 포인트들을 포함하는 적어도 하나의 측정 구역을 선택하는 단계; 및
- 상기 측정 구역에서의 적어도 다수의 연관된 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 획득하는 단계를 포함한다.
이 변형은, 피부 반사율의 변동들을 표현하는 비교적 강력한 신호 성분을 가지고 비교적 잡음이 없는 신호가 획득되는 효과가 있다. 이 신호 성분은 예를 들면 이미지들의 시퀀스에서 표현되는 대상의 맥박수 및/또는 호흡률을 결정하기 위해 이용될 수 있다.
실시예는 이미지들의 시퀀스에서 표현되는 선택된 대상의 적어도 일부를 추적하기 위해 이미지들의 시퀀스에 대한 시각-기반 이미지 분석을 수행하는 단계, 및 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원을 제어하는 단계를 포함한다.
이미지들의 시퀀스에서 표현되는 선택된 대상의 적어도 일부를 추적하기 위해 이미지들의 시퀀스에 대한 시각-기반 이미지 분석을 수행하는 단계, 및 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원을 제어하는 단계는, 광원이 측정 구역을 포함하는 생명체의 일부에 향해질 수 있기 때문에, 그림자들을 회피하도록 허용한다. 또한, 이미지들의 시퀀스에 여러 생명체들이 표현되어 있는 경우, 이들 중 하나의 적어도 일부의 선택적인 조명은 이들 중 한 하나의 생리적 파라미터의 값들을 결정하는데 이용하기 위한 신호를 제공하는데 기여한다.
이 방법의 실시예는 이미지들의 시퀀스의 적어도 하나를 표현하는 픽셀 데이터의 적어도 일부를 분석함으로써 선택된 대상의 일부를 선택하는 단계를 포함한다.
이 분석은 생리적 파라미터의 값들을 결정하기 위한 분석, 거동의 타입을 검출하기 위한 분석, 및 예를 들면 노출된 신체 부분의 표현의 존재를 검출하기 위한 분석 중 적어도 하나일 수 있다. 이 변형은 완전 자동화된 시스템이 부가의 조명을 위한 적합한 타겟을 결정하도록 허용하고, 그 후에, 예를 들면 원격 광맥파계 및 시각-기반 분석을 이용한 활동 분류가 실행된다. 예를 들면, 시스템은, 비정상적인 맥박수를 가진 누군가 또는 특정 종류의 거동을 나타내는 누군가가 이미지들의 시퀀스에 포현되는 것을 검출할 수 있고, 그 후에 그의 활동들을 결정하기 위해 이 사람을 추적할 수 있다.
다른 양태에 따라, 본 발명에 따른 이미지 분석을 위한 시스템은:
- 각각의 픽셀 데이터에 의해 표현된 이미지들의 시퀀스를 획득하기 위한 인터페이스;
- 상기 이미지들에 표현되는 대상의 적어도 하나의 동작을 분류하기 위한 데이터를 획득하기 위해 상기 이미지들의 시퀀스의 적어도 하나에 대한 시각-기반 분석을 수행하기 위한 제 1 이미지 분석 시스템; 및
- 상기 이미지들의 시퀀스의 적어도 일부에 표현되는 생명체의 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 시스템으로서, 상기 시각-기반 분석이 수행되는 상기 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스로부터 이미지 데이터의 분석에 의해 상기 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 제 2 이미지 분석 시스템을 포함하는 상기 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 시스템을 포함하고,
상기 이미지 분석을 위한 시스템은 상기 제 1 이미지 분석 시스템에 의해 제공된 데이터 및 상기 생리적 파라미터의 적어도 하나의 값을 이용하여 상기 대상의 활동을 분류하도록 구성된다.
실시예에서, 시스템은 본 발명에 따른 방법을 실행하도록 구성된다.
본 발명의 다른 양태에 따라, 기계 판독 가능한 매체에 포함될 때, 정보 처리 능력들을 가진 시스템으로 하여금 본 발명의 방법을 수행하도록 할 수 있는 명령들의 세트를 포함하는 컴퓨터 프로그램이 제공된다.
그림자들을 회피하기 위해 광원으로 사람을 추적하는 것( Tracking a person with a light source to avoid shadows )
2008년 12월, Optics Express 16(26), 21434쪽 내지 21445쪽, Verkruysse 등, "Remote photoplethysmographic imaging using ambient light"는 광맥파계 신호가 영화 모드의 간단한 디지털 소비자-레벨 포토 카메라 및 소스로서 정상적인 주변광으로 인간의 얼굴에 대해 원격으로 측정되는 방법을 개시한다. 640 x 480 또는 320 x 240의 픽셀 해상도와 초당 15 또는 30 프레임들로 기록되는 컬러 영화들은 카메라에 의해 AVI 포맷으로 저장되었고 개인용 컴퓨터에 이전되었다. 소프트웨어를 이용하여, 적색, 녹색 및 청색 채널들에 대한 픽셀 값들은 PV(x,y,t)의 세트를 제공하는 영화 프레임마다 판독되었고, 여기서 x 및 y는 각각 수평 또는 수직 위치들이고 t는 프레임 레이트에 대응하는 시간이다. 그래픽 사용자 인터페이스를 이용하여, 관심있는 영역들(ROI)이 스틸에서 선택되었고, 미가공 신호 PVraw(t)가 ROI에서 모든 픽셀 값들의 평균으로서 계산되었다. 전력 및 위상 스펙트럼들을 결정하기 위해 고속 퓨리에 변환들이 수행되었다.
알려진 방법의 문제점은 주변 조명이 광맥파계 분석에 이용되는 영역에서 음영을 유발하여, 결과들을 덜 신뢰할 수 있게 만들거나 부가의 이미지 처리를 요구할 수 있다는 점이다.
청구항 제 13 항 및 제 15 항의 방법 및 시스템은, 이미지들에 표현되는 개인의 맥박수 또는 호흡률과 같은 생리적 파라미터가 결정될 수 있는 비교적 강력하고 명확한 성분을 갖는 광맥파계 분석을 위한 신호를 제공한다.
본 발명의 다른 양태에 따라, 방법은:
- 적어도 하나의 카메라로부터 이미지들의 시퀀스를 획득하는 단계로서, 이미지들의 각각은 적어도 제한된 범위의 파장들에서 반사된 주변광(ambient light)을 표현하는 픽셀 데이터에 의해 표현되는, 상기 획득 단계;
- 적어도 하나의 측정 구역에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 상기 측정 구역에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하는 단계; 및
- 상기 이미지들의 시퀀스에 표현되는 선택된 대상의 적어도 일부를 추적하고, 상기 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원을 제어하는 단계를 포함한다.
시각-기반 분석은 공간 및 시공간 분석 중 적어도 하나를 관련시킨다.
적어도 하나의 카메라로부터, 각각이 적어도 제한된 범위의 파장들에서 반사된 주변광을 표현하는 픽셀 데이터에 의해 표현되는 이미지들의 시퀀스를 획득하고, 적어도 하나의 측정 구역에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 측정 구역에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값에서의 적어도 변동들을 표현하는 신호를 제공함으로써, 이 방법은 CCD 또는 CMOS-기반 카메라와 같은 카메라의 이용이 생명체의 피부의 반사율의 변동들을 결정하도록 허용한다. 따라서, 변조된 조명 신호를 제공할 필요도 없고, 센서로부터의 신호로부터 반사되는 변조된 조명 신호만을 분리할 필요도 없다. 이미지들의 시퀀스에서 표현되는 선택된 대상의 적어도 일부를 추적하는 단계 및 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원을 제어하는 단계는 광원이 관심있는 영역을 포함하는 생명체의 일부로 향해질 수 있기 때문에 그림자들을 회피하도록 허용한다. 또한, 이미지들의 시퀀스에 여러 생명체가 표현되어 있는 경우, 이들 중 하나의 적어도 일부의 선택적인 조명은 이들 중 단 한 하나의 생리적 파라미터의 값들을 결정하는데 이용하기 위한 신호를 제공하는데 기여한다. 또한, 광맥파계에 특히 적합한 스펙트럼의 범위에서 발광하도록 광원이 구성될 수 있고, 따라서 또한 더욱 강력한 신호를 제공한다.
생리적 파라미터를 결정하기 위하여 변조된 광빔으로 사람을 추적하고 반사되는 변조된 광빔을 캡처하는 것이 알려져 있다. 그 경우, 모든 비변조된 광이 캡처된 신호에서 제거된다. 따라서, 광빔 외에 주변광은 이용되지 않는다. 이 빔의 인터럽션은 이 방법의 일시적인 실패를 유발할 것이다. 또한, 반사된 광빔을 캡처하기 위해 특정, 감도 센서가 일반적으로 이용된다. 본 발명의 방법은, (주기적인) 생리적 현상을 특징짓는 파라미터의 값을 결정하기 위해 충분히 강력한 신호를 획득하기 위해 픽셀 값들의 조합 및 카메라를 이용한다.
실시예에서, 직사 가능한 광원은 광의 스펙트럼의 가시부의 제한된 서브-레인지에서 발광하도록 구성된다.
피부 반사율은 특정 주파수들에 대해 혈액 관류 변화들과 함께 더욱 강력하게 변화한다. 컬러 광원의 이용은 피부 반사율과 함께 변화하는 성분들이 더 강력한 세기 신호를 획득하기 위해 이 방법을 최적화하도록 허용한다.
변형에서, 이미지 데이터는 제한된 서브-레인지에 동조되는 채널들 중 하나를 갖는 카메라로부터 복수의 채널들로 수신된다.
따라서, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 측정 구역에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하는 단계는 (i) 단지 동조된 채널로부터의 픽셀 값들을 이용하는 단계 또는 (ii) 상이한 채널들로부터의 픽셀 값들의 가중된 조합으로서 합을 형성하는 단계 중 하나를 포함할 수 있으며, 동조된 채널로부터의 픽셀 값들은 초과 가중된다. 이것은 변화하는 피부 반사율 값들을 표현하는 강력한 성분들을 가진 세기 신호를 획득하도록 허용한다.
실시예는 선택된 대상의 적어도 일부를 선택하기 위해 이미지들의 시퀀스의 적어도 하나를 분석하는 단계를 포함한다.
분석은, 특정 기준에 기초하여 이들 중 적어도 하나이지만 전부보다는 소수를 선택하도록, 이미지들의 시퀀스에 표현되는 모든 대상들의 생리적 파라미터 값들을 결정하기 위해 분석될 수 있다. 분석은 또한 특정 자세, 형상 또는 움직임의 패턴을 가진 신체들 또는 신체 부분들을 식별하기 위한 시각-기반 분석이 될 수 있다. 이들 타입들의 분석은 자동화될 수 있어서, 이 실시예는 예를 들면 의료 또는 보안 목적으로 자동 감시 시스템에 적합하다.
실시예에서, 선택된 대상의 적어도 일부를 추적하는 단계는 이미지들의 시퀀스에서 선택된 대상의 적어도 일부를 표현하는 영역의 위치를 따르기 위해 이미지에 대한 시각-기반 분석을 수행하는 단계를 포함한다.
효과는 단일 이동 측정 구역이 이용될 수 있어서, 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 단 하나의 신호 세기가 획득되어야 한다는 점이다. 선택된 대상만의 생리적 파라미터의 값들이 결정되는 것을 보장하기 위하여 이미지들에 대한 측정 구역들의 격자를 오버레이할 필요가 없다.
실시예에서, 직사 가능한 광원은 카메라에 대해 제위치에 고정되고, 직사 가능한 광원을 제어하는 단계는 카메라의 시야 방향을 변경하기 위한 디바이스를 제어하는 단계를 포함한다.
이 실시예의 효과들은 시야 방향을 변경하는 단계가 광원에 의해 방출된 광의 방향을 변경한다는 점이다. 따라서, 대부분의 광은 또한, 카메라의 방향으로 다시 반사된다. 이것은, 그림자가 거의 존재하지 않고, 피부 반사율의 변동들을 표현하는 비교적 강력한 신호가 획득되는 것을 의미한다. 카메라의 시야 방향은 카메라의 서포트에 대해 카메라 하우징을 이동시킴으로써 제어되고, 직사 가능한 강원은 하우징에 대해 제위치에 고정된다.
다른 양태에 따라, 본 발명에 따른 원격 광맥파계 분석을 가능하게 하기 위한 시스템은:
- 적어도 하나의 카메라로부터 이미지들의 시퀀스를 획득하기 위한 적어도 하나의 카메라 인터페이스로서, 각각의 이미지는 적어도 제한된 범위의 파장들에서 반사된 주변광을 표현하는 픽셀 데이터에 의해 표현되는, 상기 적어도 하나의 카메라 인터페이스;
- 적어도 하나의 측정 구역에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 상기 측정 구역에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하도록 구성된 상기 픽셀 데이터 처리를 위한 시스템;
- 상기 이미지들의 시퀀스에 표현되는 선택된 대상의 적어도 일부를 추적하기 위한 시스템; 및
- 상기 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원을 제어하기 위한 시스템을 포함한다.
실시예에서, 시스템은 본 발명에 따른 방법을 실행하도록 구성된다.
본 발명의 다른 양태에 따라, 컴퓨터 프로그램으로서, 기계 판독 가능한 매체에 통합될 때, 정보 처리 능력들을 갖는 시스템으로 하여금 본 발명에 따른 방법을 수행하도록 할 수 있는 명령들의 세트를 포함하는 컴퓨터 프로그램이 제공된다.
본 발명은 지금부터 첨부 도면들을 참조하여 더욱 상세히 설명될 것이다.
도 1은 이미지들의 시퀀스에 표현되는 개인의 동작의 상태를 분류하기 위한 시스템의 개략적 블록도.
도 2는 도 1의 시스템에 의해 실행되는 방법의 개요를 제공하는 흐름도.
도 3은 도 2의 방법의 분류 단계를 상술하는 흐름도.
도 4는 도 2의 방법의 분류 단계의 대안적인 구현을 상술하는 흐름도.
도 5는 생리적 파라미터의 값들을 획득하기 위해 시스템의 일 실시예에서 실행되는 단계들을 도시한 흐름도.
도 6은 생리적 파라미터의 값들을 획득하기 위한 단계들의 대안적인 시퀀스를 도시한 흐름도.
생명체의 상태를 분류하기 위한 시스템(1)은 예의 방식으로 컴퓨터(2), 카메라(3) 및 직사 가능한 광원(4)을 포함하는 것으로서 도시된다.
컴퓨터(2)는 카메라 인터페이스(5) 및 광원(4)에 대한 인터페이스(6)가 구비되는 것을 제외하면, 임의 타입의 컴퓨팅 디바이스, 예를 들면 개인용 컴퓨터일 수 있다. 따라서, 컴퓨터(2)는 데이터 처리 유닛(7) 및 작업 메모리(8)뿐만 아니라, 비휘발성 데이터 저장 디바이스(9)를 포함한다. 출력은 오디오 및 비디오 출력 중 적어도 하나를 제공하기 위한 출력 디바이스(11)에 대한 인터페이스(10) 상에 제공된다. 사용자 입력은 사용자 입력 디바이스(13), 예를 들면 키보드, 터치 스크린 또는 포인터 디바이스에 대한 인터페이스(12)를 통해 획득된다. 카메라 인터페이스(5)는 컴퓨터(2)로 하여금 카메라(3)에 의해 캡처된 이미지들의 시퀀스를 표현하는 디지털 데이터를 획득하고 카메라(3)로 제어 신호들을 전송할 수 있게 한다. 광원 인터페이스(6)는 컴퓨터(2)로 하여금 광원(4)을 제어하도록 허용한다. 이미지들은 픽셀 데이터에 의해 표현된다.
일 실시예에서(상세히 도시되지 않음), 직사 가능한 광원(4)은 하나 이상의 램프들을 위한 하우징, 하우징에 접속된 서포트(support) 및 서포트에 대해 하우징을 이동시키기 위한 액추에이터들을 포함하는 디바이스이다. 서포트는 광원(4)을 제위치에 고정하기 위한 받침대 또는 버팀대일 수 있다. 컴퓨터(2)로부터의 제어 신호들은 액추에이터들을 제어한다. 다른 실시예에서, 하우징이 이동하는 것이 아니라, 광원(4)에서 생성되는 광빔을 원하는 위치로 향하게 하기 위한 반사 및/또는 굴절 광학 소자들이 제공된다.
실시예에서, 광원(4)은 카메라(3)에 대해 제위치에 고정되고, 카메라(3)는 서포트(예를 들면, 받침대 또는 버팀대)에 대해 이동 가능하다. 이러한 실시예에서, 광원(4)은 카메라(3)가 또한 향해지는 포인트에 광 빔을 향하도록 구성된다.
실시예에서, 광원(4)은 전자기 스펙트럼의 가시 범위에서 발광하도록, 특히 이 범위의 서브-레인지에서만 대부분의 에너지(예를 들면 70%, 80% 또는 심지어 90%)를 가지고 발광하도록 구성된다. 실시예에서, 서브-레인지는 인간 관찰자에 의해 녹색으로 지각되는 주파수들, 즉 450nm 내지 570nm의 파장에 대응하는 주파수들을 포함한다. 특정 실시예에서, 광원(4)의 스펙트럼은 480nm 내지 520nm의 범위 내에서 최대치를 가진다. 효과는 시스템(1)이 카메라(3)에 의해 캡처된 장면에 존재하는 생명체의 맥박수를 더욱 정확하게 결정할 수 있다는 점이다.
카메라(3)는 전자기 스펙트럼의 적어도 가시 범위에서 이미지들을 캡처하도록 구성된 임의 타입의 디지털 카메라일 수 있다. 실시예에서, 카메라는 복수의 채널들, 예를 들면 3개의 채널들로 이미지를 제공하도록 구성되고, 채널들 중 하나는 광원(4)이 발광하도록 구성되는 서브레인지에 대응하는 가시 스펙트럼의 제한된 서브-레인지에 동조된다. 이를 위해, 카메라(3)에는 그 채널에 대한 적합한 광학 필터가 구비된다. 본 기술분야의 통상의 기술자에게 알려진 바와 같이, 채널은 컬러 이미지를 형성하기 위한 단색 이미지이다. 동조된 채널 외에도, 예를 들면 적색 및 청색 채널이 있을 수 있다.
모든 다른 관점들에 대해, 카메라(3)는 예를 들면 CCD 또는 CMOS 기술에 기초한 통상적인 디지털 비디오 카메라일 수 있다.
도 2에 도시된 바와 같이, 시스템(1), 더욱 특히 컴퓨터(2)는 카메라(3)에 의해 캡처되는 장면에 표현되는 하나 이상의 생명체(들)를 선택하도록 구성된다(단계(14)). 선택은, 컴퓨터가 장면에 표현되는 신체 부분(예를 들면, 얼굴 또는 피부가 노출되고 또는 하나 이상의 기준을 선택적으로 충족하는 임의의 신체 부분)을 선택한다는 점에서 암시적일 수 있다. 일 실시예에서, 인간 조작자는 입력 디바이스(13)를 통해 적합한 사용자 입력을 제공함으로써 선택을 실행한다. 이미지들의 시퀀스의 하나 이상은 이 처리에서 조작자를 안내하기 위해 출력 디바이스(11) 상에 디스플레이될 수 있다. 다른 실시예에서, 컴퓨터(2)는 개인 또는 개인의 일부를 선택하기 위해 이미지들의 시퀀스의 적어도 하나를 분석한다. 예를 들면, 컴퓨터(2)는 이미지 세그먼테이션을 실행할 수 있고, 그 후에 각각의 세그먼트가 생명체의 피부 표면을 표현하는 세그먼트인지를 결정하기 위한 하나 이상의 분류 알고리즘들을 사용할 수 있다. 이것은 후보 세그먼트들의 세트를 생성한다. 일 변형에서, 생명체의 피부 표면에 대응하도록 결정되는 하나 이상의 후보 세그먼트들을 선택하기 위한 추가의 기준들이 평가된다. 다른 변형에서, 대부분의 동등한 후보 세그먼트가 선택된다. 또 다른 변형에서, 살아있는 대상의 표현 부분으로서 검출된 후보 세그먼트들 중 하나가 랜덤하게 선택된다. 후보 세그먼트들을 선택하기 위해 다른 타입들의 시각-기반 분석이 이용될 수 있음을 유념한다.
다른 실시예에서, 이동하는 오브젝트들에 대응하는 영역들을 결정하기 위해 움직임 검출이 이용된다. 이것은 추적을 위한 하나 이상의 후보 영역들을 생성하며, 그 중에서 하나 이상이 랜덤하게 또는 추가의 기준을 이용하여 선택될 수 있다.
대안적으로, 컴퓨터(2)는 생명체를 특징짓는 생리적 파라미터의 하나 이상의 값들의 시퀀스를 결정하고 추적될 생명체를 선택하기 위해 이 값들을 이용하도록 구성될 수 있다. 예를 들면, 특정 범위 내의 값으로 맥박수 또는 호흡률을 갖는 생명체가 추적을 위해 선택될 수 있다. 이들 방법들의 조합들이 가능하다. 예를 들면, 생리적 파라미터의 하나 이상의 값들에 기초하여 선택된 생명체는 인간 조작자가 생명체의 선택을 확인하도록 허용하기 위해 스크린 상에 하이라이팅될 수 있다.
생명체 또는 생명체의 일부가 선택되었으면, 직사 가능한 광원(4)은 대상이 이동할 때 카메라(3)에 의해 캡처되는 이미지들에 표현되는 선택된 대상의 적어도 일부를 조명하도록 제어된다(단계(15)). 동시에, 카메라(3)에 의해 캡처되고 컴퓨터(2)로 넘겨진 이미지들은 시각-기반 분석 및 대상을 특징짓는 생리적 파라미터의 적어도 하나의 값의 결정 둘다를 이용하여 대상의 상태를 분류하기 위해 분석된다(단계(16)).
이미 언급된 바와 같이, 일 실시예에서 직사 가능한 광원을 제어하는 단계(15)는 그에 부착된 광원(4)을 구비한 카메라(3)를 이동시키는 단계를 포함하여, 광원(4)으로부터의 빔이 선택된 대상의 적어도 일부에 일반적으로 고정된다. 이 실시예에서, 대상의 선택된 부분은 시각-기반 분석을 이용하여 추적되고, 그 부분이 카메라(3)에 의해 캡처된 이미지들의 각각에서 일반적으로 동일 위치에 남아 있는 것을 보장하기 위해 카메라(3)가 제어된다.
다른 실시예에서, 광원(4) 및 카메라(3)는 상이한 위치들에 배치되고, 카메라(3) 및 광원(4)의 환경을 모델링하는 수학식을 도출하고 컴퓨터(2)로 하여금 한 모델의 위치들에서 다른 모델의 위치들로 맵핑되도록 하기 위한 교정 패턴이 이용된다. 컴퓨터(2)는 시각-기반 이미지 분석에 의해 대상의 선택된 부분을 추적하고, 대상에 의한 이동을 광원(4)으로부터의 빔을 향하게 하기 위한 명령들로 변환한다.
또 다른 실시예에서, 광원(4)이 발광하도록 구성되는 서브-레인지에 대응하는 가시 스펙트럼의 제한된 서브-레인지로 동조되는 비디오 신호의 채널이 이용된다. 이 실시예에서, 빔 스폿의 위치가 이미지들에서, 적어도 동조된 채널의 이미지들의 성분들을 형성하는 프레임들에서 추적되는 점에서, 폐루프 제어의 형태가 구현된다. 추적되는 대상의 선택된 부분이 또한 식별되고, 광원(4)은 빔 스폿이 선택된 부분을 오버레이하도록 제어된다.
이미지의 선택된 부분을 추적하기 위한 시각-기반 이미지 분석은 다수의 알려진 기술들 중 어느 하나, 예를 들면, 1993년 10월, Video Techn. 제3권으로부터의 IEEE Trans, on Circ. and Syst., 368쪽 내지 388쪽, De Haan, G. 등에 의한 "True motion estimation with 3D-recursive search block-matching"에 기술된 기술을 이용하여 실행될 수 있다.
실시예에서, 이미지를 분석하고 활동의 상태를 분류하는 단계(16)는 도 3을 참조하여 구현된다. 이 실시예에서, 컴퓨터(2)는 이미지 또는 이미지들에 표현되는 생명체의 상태를 분류하기 위한 데이터를 획득하기 위해 카메라(3)에 의해 캡처된 이미지들의 시퀀스의 적어도 하나에 대해 시각-기반 분석을 수행한다. 컴퓨터는 또한, 동일한 소스, 즉 카메라(3)로부터의 이미지들을 이용하여 생명체의 생리적 파라미터의 적어도 하나의 값을 결정한다. 컴퓨터(2)는 시각-기반 분석을 적용함으로써 획득된 데이터에 기초한 데이터 및 생리적 파라미터들의 값들에 기초한 데이터 둘다를 입력으로 취하고 상태의 타입, 더욱 특히 대상에 의해 취해진 동작의 타입을 나타내는 데이터를 출력하는 분류 알고리즘을 구현한다.
도 3에 도시된 바와 같이, 이 방법은 새로운 이미지들이 카메라(3)로부터 수신될 때(단계(17)) 계속 실행된다. 가장 최근에 수신된 이미지들로부터 형성된 서브-시퀀스가 분석을 위해 이용된다. 이 방법은 또한, 각각의 새로운 이미지와 함께라기 보다는 특정 수의 이미지들이 수신될 때마다 실행될 수 있다.
예시된 실시예에서, 예를 들면 2008년 9월, Int. J. Comp. Vision, 79(3)의 299쪽 내지 318쪽, Niebles, J.C. 등에 의한 "Unsupervised learning of human action categories using spatialtemporal words"에 기술된 바와 같은 시공간 분석의 타입이 이용된다(단계(18)). 이 방법에서, 이미지들의 시퀀스는 공간-시간 관심 포인트들을 추출함으로써 시공간 단어들의 수집으로서 표현된다. 도 3의 실시예에서, 이러한 단어들의 세트는 제 1 특징 벡터들(19)로 어셈블링된다(단계(20)).
이미지들이 병렬 단계(18)에서 분석된 이미지들의 동일한 시퀀스로부터의 이미지를 이용하여(이미지들의 식별이 필요없다; 단지 이미지들이 동일한 시간 간격으로부터 나오는 동기화 및 이미지들의 소스의 식별이 필요할 뿐이다), 세기 신호는 하기에 상세히 논의될 도 5 및 도 6의 방법들 중 하나를 이용하여 추출된다(단계(21)). 세기 신호는 측정 구역의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하며, 측정 구역은 적어도 도시된 도 2의 방법에서 그리고 추적되는 영역에 위치된다.
인간의 피부는 적어도 2개의 층들을 가진 오브젝트로서 모델링될 수 있으며, 이들 중 하나는 외피(박피층) 및 다른 하나는 진피(외피 아래의 더 두꺼운 층)이다. 입사 광선의 대략 5%가 외피에서 반사되며, 이것은 모든 파장들 및 피부색들에 대한 경우이다. 나머지 광은 산란되고 신체 반사율(Dichromatic Reflection Model에 기술됨)로서 알려진 현상에서 2개의 피부층들 내에 흡수된다. 외피는 광학 필터와 같이 거동하며, 주로 광을 흡수한다. 진피에서, 광은 산란 및 흡수 둘다된다. 흡수는 혈액 합성에 의존하여, 흡수는 혈액 흐름 변동들에 민감하다. 진피의 광학 속성들은 일반적으로 모든 인종들에 대해 동일하다. 진피는 조밀한 혈관 망을 포함하며, 성인 전체 혈관 망의 약 10%이다. 이들 혈관들은 신체의 혈류에 따라 수축된다. 이들은 결과적으로 진피의 구조를 변경하며, 피부층들의 반사율에 영향을 미친다. 결과적으로, 맥박수는 피부 반사율 변동들로부터 결정될 수 있다.
세기 신호는 제 2 특징 벡터(22)를 형성하기 위해 이용된다(단계(23)). 이 특징 벡터(22)는, 예를 들면 우세한 주파수의 값의 변화의 추정 및 세기 신호의 우세한 주파수의 적어도 하나에 대응하는 하나 이상의 값들 또는 세기 신호를 표현하는 값들의 시퀀스를 포함할 수 있다. 일 실시예의 값들은 연속하는 시점들에 대응한다. 실시예에서, 세기 신호의 스펙트럼의 상이한 서브-레인지들의 여러 우세한 주파수들은 특징 벡터(22)에 진입된다. 따라서, 2개 이상의 주기적인 생리적 현상을 특징짓는 값들은 생명체(인간)의 상태를 결정하기 위한 기초로서 이용된다.
그 후에(단계(24)), 분류 알고리즘에 대한 입력으로서 이용하기 위한 연결 특징 벡터(25; joint feature vector)를 형성하기 위해 제 1 특징 벡터(19) 및 제 2 특징 벡터(22)가 연계된다. 추적되는 대상의 상태, 특히 이 대상에 의해 수행되는 동작을 결정하기 위해, 이 알고리즘이 후속적으로 적용된다(단계(26)).
일 실시예에서, 분류 알고리즘은 서포트 벡터 기계에 의해 구현된다. 다른 실시예에서, AdaBoost가 분류 알고리즘으로서 이용된다. 임의의 다른 타입의 기계 학습 알고리즘이 이용될 수 있다. 알고리즘은 먼저, 본 명세서에 상세히 도시되지 않았지만 처리에서 트레이닝 비디오들 및 인간 분류자를 이용하여 트레이닝된다. 도 3에 도시된 처리는, 사용자가 있는 상태를 결정하기 위해 생리적 신호와 시공간 계수들 사이의 상관들을 또한 이용할 수 있는 식별자를 이용한다.
이것은 반드시 도 4에 도시된 대안적인 방법에 대한 경우일 필요는 없다. 그러나, 도 4의 방법은 더 신속하고 계산적으로 더욱 효율적일 수 있다. 이 방법에서, 이미지들의 시퀀스가 다시 형성되고(단계(27)), 시공간 계수들이, 예를 들면 2008년 9월, Int. J. Comp. Vision, 79(3)의 299쪽 내지 318쪽, Niebles, J.C. 등에 의한 "Unsupervised learning of human action categories using spatial-temporal words"에 기술된 방법을 이용하여 획득된다(단계(28)). 그 후에, 제 1 특징 벡터(29)가 다시 형성된다(단계(30)).
다음에, 제 1의 개별 분류자가 제 1 특징 벡터(29)에 적용된다(단계(31)). 이 분류자는 또한 적어도 하나의 기계 학습 알고리즘에 기초한다. 특정 경우들에서, 이것은 모호한 결과들을 생성할 수 있다. 예를 들면, 단지 시각-기반 분석을 이용함으로써, 이미지들의 시퀀스에 표현되는 사람이 달리기하고 있는지 또는 조깅하고 있는지를 결정하는 것은 비교적 어렵다. 개별 이미지들에서의 사람의 자세는 어느 경우든 유사할 것이다. 제 1 분류 단계(31)가 특정 등급에 대한 불확실성을 나타내는 결과로서 적어도 하나의 미리 결정된 등급 중 하나를 생성하는 경우, 미리 결정된 등급의 하위-등급을 결정하기 위해 추가의 단계들(32 내지 34)이 실행된다. 따라서, 제 1 분류 단계(31)가 "달리기 또는 조깅"의 결과를 생성하는 경우, 두 등급들 중 어느 것이 옳은지를 결정하기 위해 추가의 단계들(32 내지 34)이 실행될 것이다. 이들 추가의 단계들(32 내지 34) 중 제 1 단계(32)에서, 세기 신호는 도 5 및 도 6에 개요된 방법들 중 하나를 이용하여 추출된다. 그 후에, 생리적 파라미터의 적어도 하나의 값이 세기 신호를 표현하는 데이터에 기초하여 결정된다(단계(33)). 그 후에, 예를 들면, 규칙들의 세트를 이용하여 정확한 상태가 결정된다(단계(34)). 대안적인 실시예에서, 기계 학습 알고리즘이 세기 신호에 기초하여 특징 벡터에 적용되고, 알고리즘의 결과가 최종 결과를 도출하기 위해 제 1 분류 단계(31)의 결과와 조합된다.
이제 도 5로 돌아가서, 세기 신호를 추출하는 단계들(21, 32)의 제 1 구현이 더욱 상세하게 설명될 것이다. 예시된 실시예는 초기화 단계를 포함하며, 이것은 시스템(1)이 시동될 때 실행될 수 있다. 이 초기 단계에서, 카메라(3)를 위한 적합한 설정들이 결정된다(단계(35)). 이를 위해, 컴퓨터(2)는, 디지털 이미지들의 시퀀스가 캡처될 때 카메라(3)의 프레임 레이트, 노출 시간, 픽셀 클록(픽셀 값들이 획득되는 레이트를 결정) 및 카메라 채널들의 이득 중 적어도 하나가 변경되게 한다. 시퀀스의 각각의 이미지의 적어도 일부의 (공간) 평균 밝기가 결정되고, 평균 밝기의 주기적인 파동들의 크기가 설정들의 새로운 값마다 결정된다. 배경 파동들이 적어도 국부적인 최소치를 보이는 설정들이 후속 이용을 위해 선택된다. 이미지의 적어도 일부의 공간 평균 밝기를 결정하는 대신에, 개별 픽셀의 밝기 파동들이 결정될 수 있다. 카메라(3)의 설정들을 선택하는 효과는 이 방법의 나머지가 적용되는 이미지들의 시퀀스로부터 가능한 최대 범위까지 주기적인 배경 조명 파동들이 부재한다는 점이다.
다음 단계(36)에서, 시퀀스(37) 이미지들이 카메라(3)로부터 획득된다. 이미지들의 시퀀스(37)는 정기적 또는 비정기적인 간격들일 수 있는 연속하는 시점들에서 캡처된 장면을 표현한다.
다음 단계(38)에서, 이미지들(37)은 비주기적인 배경 신호들을 제거하기 위해 처리된다. 이를 위해, 이미지들(37)의 일부 또는 전부의 시변 평균 밝기에 대응하는 보정 신호가 형성된다. 예시적인 실시예에서, 이미지들(37)의 픽셀 데이터는 그 후에 보정 신호로부터 탈상관된다. 비선형 교차-상관들을 소거하기 위한 알고리즘들이 알려져 있다. 이 단계(38)에서, 예를 들면 카메라 움직임을 보상하기 위해 추가의 이미지 처리가 발생할 수 있다.
도 2의 제 1 단계(14)가 이미 수행되어 추적되는 영역(39)이 식별되었다고 가정한다. 이 영역의 위치가 획득된다(단계(40)).
후속적으로, 선택되고 추적된 영역(39)마다, 영역(39) 내의 측정 구역(41)이 선택된다(단계(42)). 측정 구역(41)은 시퀀스(37)의 각각의 이미지에서 식별된다. 따라서, 이미지들의 각각의 어떤 픽셀이 측정 구역을 구성하는 모든 이미지 포인트들에 대해 측정 구역(41)의 특정 이미지 포인트에 대응하는지가 결정된다.
다음(단계(43))에, 측정 구역(41)의 이미지 포인트들에 대응하는 픽셀들의 시변 평균 밝기를 표현하는 신호(44)가 생성된다. 시퀀스(37)의 각 이미지에 대해, 측정 구역(41)에 포함되도록 결정된 픽셀들의 평균 밝기가 형성된다. 시퀀스(37)의 각각의 이미지가 시점을 표현하기 때문에, 따라서 시변(이산-시간) 신호가 획득된다. 대안적인 실시예에서, 특정 이미지 포인트들이 폐기되어, 측정 구역(41)에서의 전부보다 소수의 이미지 포인트들에서 픽셀 값들의 합이 취해진다. 일 실시예에서, 픽셀 값들의 가중된 합이 이용되며, 적어도 하나의 채널은 다른 채널들과는 상이한 가중을 갖는다. 이것은 광원(4)이 발광하도록 구성되는 가시 스펙트럼의 서브-레인지에 동조되는 채널에 초과 가중되도록 허용한다. 다른 실시예에서, 그 채널로부터의 값들만이 이용된다.
신호(44)는 그 후에 측정 구역(41)의 이미지 포인트들에 대응하는 픽셀들의 시변 평균 밝기를 표현하는 추가의 신호(46)를 생성하기 위해 그 평균값에 집중되어(단계(45)), 그 변동들을 관찰하기가 더 양호하다. 변형에서, 이 단계(45)는 또한 단계(38)에 대안적으로 포함되는 보정 신호와의 탈상관을 포함한다. 상이한 변형에서, 이 단계(45)는 필터링 동작, 예를 들면 신호의 미분에 대응하는 필터링 동작을 포함한다. 작은 진폭들을 가진 일시적 변동들을 추출하기 위한 다른 대안들도 가능하다.
최종적으로(단계(47)), 추가의 신호(46)로부터 맥박수 또는 호흡률을 표현하는 정보를 추출하기 위해 기본적인 신호 처리 기술들이 이용된다. 이들 중 어느 하나 또는 둘다는 호흡률 및 맥박수와 일반적으로 연관된 범위들 내의 우세한 주파수들을 각각 결정함으로써 추출될 수 있다.
도 6은 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 세기 신호를 추출하는 단계들(21, 32)의 대안적인 구현을 도시한다.
초기 단기들(48 내지 50)은 도 5의 방법의 대응하는 단계들(35, 36, 38)과 유사하다. 따라서, 이미지들의 시퀀스(51)가 획득되고(단계(49)) 및 보정된다(단계(50)).
그러나, 다음 단계(52)에서, 격자는 격자가 각각의 이미지를 복수의 측정 구역들 또는 잠재적 측정 구역들로 분할하는 이미지들(51)의 각각과 겹쳐진다. 각각의 측정 구역은 복수의 이미지 포인트들, 즉 다수의 픽셀 위치들을 포함한다.
그 후에(단계(53)), 일반적으로 전부를 제외한 적어도 하나의 측정 구역들이 선택되고, 측정 구역마다, 그 측정 구역의 이미지 포인트들에 대응하는 이미지들(51)의 픽셀들의 밝기 값들의 시변 공간 평균에 대응하는 각각의 신호(54a-n)가 확립된다.
그 후에, 각각의 제 1 신호(54a-n)는, 연관된 측정 구역의 이미지 포인트들에 대응하는 픽셀들의 시변 평균 밝기를 표현하는 추가의 신호(56a-n)를 생성하기 위하여 그 평균값에 집중되어(단계(55)), 그 변동들을 관찰하기가 더욱 양호하다. 변형에서, 이 단계(55)는 또한 이미지들(51)에 보정들을 적용하는 선행 단계(50)에 대안적으로 포함되는 보정 신호와의 탈상관을 포함한다. 상이한 변형에서, 이 단계(55)는 필터링 동작, 예를 들면 신호의 미분에 대응하는 필터링 동작을 포함한다. 작은 진폭들을 가진 일시적 변동들을 추출하기 위한 다른 대안들도 가능하다.
그 후에, 신호들(56a-n)의 스펙트럼이 특정 범위 내에서 국부적인 최대치를 가지는 주파수가 결정된다(단계(57)). 다시, 이 단계(57)는 또한, 2개의 각각의 범위들에서 우세한 주파수를 결정하여 예를 들면 맥박수 및 호흡률 둘다의 값들이 결정되는 단계를 수반한다.
이 실시예에서, 예를 들면, 측정 구역마다 결정된 우세한 주파수들을 비교하거나 상이한 세기 신호들(54a-n) 사이의 위상차들을 검출함으로써, 하나 이상의 사람들이 이미지들의 시퀀스(51)에 존재하는지의 여부를 결정하는 것이 가능하다. 하나의 생명체가 직사 가능한 광원(4)으로 추적될 것이므로, 가장 강력한 세기 신호(54a-n)는 특징 벡터를 형성하는 단계(23)(도 3) 또는 도 4의 방법에서 생리적 파라미터의 적어도 하나의 값을 결정하는 단계(33)에서 이용하기 위한 신호가 될 것이다.
이미지의 시퀀스(51)에 표현되는 모든 대상들의 생리적 파라미터들의 값들을 결정하는 가능성은, 그 상태가 결정되어야 하는 사람을 선택하기 위한 기준으로서 생리적 파라미터의 값을 이용하는 것이 가능하기 때문에, 도 6의 방법을 도 2의 방법의 제 1 단계(14)를 구현하기에 적합하게 한다. 실시예에서, 따라서, 도 6의 방법은 도 2의 제 1 단계(14)에서 이용되고, 도 5의 방법은 후속하는 분석 단계(16)에서 이용된다.
따라서, 상기에 제시된 방법들은 이미지들의 시퀀스(37, 51)에 표현되는 개인의 상태의 완전한 자동 결정을 가능하게 한다. 이것은 사람의 거동의 결정일 수 있으며, 시퀀스(37, 51) 또는 동작에 의해 더 긴 시간 범위에 미친다. 이 방법은 조심성 있는 특징에 비추어 보안을 위한 감시 시스템들에 적합하다. 이것은 또한, 누군가가 발작하고 있는지의 여부 등을 검출하기 위한 의료적 목적들을 위한 모니터링 시스템으로 이용 가능하다.
상기 언급된 실시예들은 본 발명을 제한하기보다는 예시하기 위한 것이고, 본 기술분야의 통상의 기술자는 첨부된 특허청구범위의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있을 것임을 유념한다. 특허청구범위에서, 괄호들 사이에 놓인 임의의 참조 부호들은 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 단어 "포함(comprising)"은 특허청구범위에 나열된 요소들 또는 단계들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞의 부정관사는 복수의 이러한 요소들의 존재를 배제하지 않는다. 특정 측정들이 서로 상이한 독립 청구항들에 기재된 단순한 사실은 이들 측정들의 조합이 이익을 위해 이용될 수 없음을 나타내지 않는다.
실시예에서, 광원(4), 실제로 전체 광원(4)으로 이미지들의 시퀀스에 표현되는 선택된 대상의 적어도 일부를 추적하는 단계(15)가 생략된다. 대신, 컴퓨터(2)는 그에 표현되는 생명체의 상태를 범주화하기 위해 이미지들의 시퀀스를 분석한다. 이 분석은 실시간으로 행해질 수 있거나, 기록된 이미지들의 시퀀스에 대해 실행될 수 있다.

Claims (15)

  1. 이미지 분석 방법에 있어서:
    - 이미지들의 시퀀스(37; 51)를 획득하는 단계;
    - 상기 이미지들에 표현되는 대상의 상태를 분류하기 위한 데이터를 획득하기 위해 상기 이미지들의 시퀀스(37; 51)의 적어도 하나에 대한 시각-기반 분석(vision-based analysis)을 수행하는 단계;
    - 상기 이미지들의 시퀀스(37; 51)의 적어도 일부에 표현되는 생명체(living being)의 생리적 파라미터의 적어도 하나의 값을 결정하는 단계로서, 상기 생리적 파라미터의 적어도 하나의 값은, 상기 시각-기반 분석이 수행되는 상기 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스(37; 51)로부터 이미지 데이터의 분석을 통해 결정되는, 상기 결정 단계; 및
    - 상기 시각-기반 분석으로 획득된 데이터 및 상기 생리적 파라미터의 적어도 하나의 값을 이용하여 상기 대상의 상태를 분류하는 단계를 포함하는, 이미지 분석 방법.
  2. 제 1 항에 있어서,
    상기 대상의 상태를 분류하는 단계는 상기 대상에 의해 착수되는 동작을 분류하는 단계를 포함하는, 이미지 분석 방법.
  3. 제 1 항에 있어서,
    개별 분류자들이 상기 생리적 파라미터들의 값들 및 상기 시각-기반 분석을 수행함으로써 획득된 데이터에 기초하여 데이터에 적용되는, 이미지 분석 방법.
  4. 제 1 항에 있어서,
    단일 분류자가 상기 생리적 파라미터들의 값들 및 상기 시각-기반 분석을 수행함으로써 획득된 데이터에 기초하여 데이터의 조합에 적용되는, 이미지 분석 방법.
  5. 제 1 항에 있어서,
    상기 이미지들의 시퀀스의 적어도 일부에 표현되는 생명체의 생리적 파라미터의 상기 적어도 하나의 값은 원격 광맥파계 분석(remote photoplethysmographic analysis)을 이용하여 획득되는, 이미지 분석 방법.
  6. 제 5 항에 있어서,
    가시 스펙트럼의 제한된 서브-레인지에서 발광하도록 구성된 광원(4)으로 상기 생명체의 적어도 일부를 조명하는 단계를 포함하는, 이미지 분석 방법.
  7. 제 5 항에 있어서,
    상기 원격 광맥파계 분석은:
    - 복수의 이미지 포인트들로서, 각각의 이미지는 픽셀 데이터에 의해 표현되고 각각은 상기 이미지들의 시퀀스(37; 51)의 각각에서 적어도 하나의 연관된 픽셀 값을 가지는, 상기 복수의 이미지 포인트들을 포함하는 적어도 하나의 측정 구역(41)을 선택하는 단계; 및
    - 상기 측정 구역(41)에서의 적어도 다수의 연관된 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 획득하는 단계를 포함하는, 이미지 분석 방법.
  8. 제 1 항에 있어서,
    상기 이미지들의 시퀀스(37; 51)에 표현되는 선택된 대상의 적어도 일부를 추적하기 위해 상기 이미지들의 시퀀스(37; 51)에 대한 시각-기반 이미지 분석을 수행하고, 상기 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원(4; directable light source)을 제어하는 단계를 포함하는, 이미지 분석 방법.
  9. 제 8 항에 있어서,
    각각의 이미지가 픽셀 데이터에 의해 표현되는, 상기 이미지들의 시퀀스(37; 51)의 적어도 하나를 표현하는 상기 픽셀 데이터의 적어도 일부를 분석함으로써 상기 선택된 대상의 일부를 선택하는 단계를 포함하는, 이미지 분석 방법.
  10. 이미지 분석을 위한 시스템에 있어서:
    - 이미지들의 시퀀스(37; 51)를 획득하기 위한 인터페이스(5);
    - 상기 이미지들에 표현되는 대상의 적어도 하나의 동작을 분류하기 위한 데이터를 획득하기 위해 상기 이미지들의 시퀀스(37; 51)의 적어도 하나에 대한 시각-기반 분석을 수행하기 위한 제 1 이미지 분석 시스템(2); 및
    - 상기 이미지들의 시퀀스(37; 51)의 적어도 일부에 표현되는 생명체의 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 시스템(2)으로서, 상기 시각-기반 분석이 수행되는 상기 적어도 하나의 이미지가 취해지는 이미지들의 동일한 시퀀스(37; 51)로부터 이미지 데이터의 분석에 의해 상기 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 제 2 이미지 분석 시스템을 포함하는 상기 생리적 파라미터의 적어도 하나의 값을 결정하기 위한 시스템(2)을 포함하고,
    상기 이미지 분석을 위한 시스템(2)은 상기 제 1 이미지 분석 시스템에 의해 제공된 데이터 및 상기 생리적 파라미터의 적어도 하나의 값을 이용하여 상기 대상의 활동을 분류하도록 구성되는, 이미지 분석을 위한 시스템.
  11. 제 10 항에 있어서,
    제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 실행하도록 구성되는, 이미지 분석을 위한 시스템.
  12. 컴퓨터 프로그램으로서, 기계 판독 가능한 매체에 통합될 때, 정보 처리 능력들을 갖는 시스템으로 하여금 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 수행하도록 할 수 있는 명령들의 세트를 포함하는 컴퓨터 프로그램.
  13. 원격 광맥파계 분석을 가능하게 하는 방법에 있어서:
    - 적어도 하나의 카메라(3)로부터 이미지들의 시퀀스(37; 51)를 획득하는 단계로서, 이미지들의 각각은 적어도 제한된 범위의 파장들에서 반사된 주변광(ambient light)을 표현하는 픽셀 데이터에 의해 표현되는, 상기 획득 단계;
    - 적어도 하나의 측정 구역(41)에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 상기 측정 구역(41)에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하는 단계; 및
    - 상기 이미지들의 시퀀스(37; 51)에 표현되는 선택된 대상의 적어도 일부를 추적하고, 상기 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원(4)을 제어하는 단계를 포함하는, 원격 광맥파계 분석을 가능하게 하는 방법.
  14. 제 13 항에 있어서,
    상기 직사 가능한 광원(4)은 상기 카메라(3)에 대해 제위치에 고정되고, 상기 직사 가능한 광원(4)을 제어하는 단계는 상기 카메라(3)의 시야 방향을 변경하기 위한 디바이스를 제어하는 단계를 포함하는, 원격 광맥파계 분석을 가능하게 하는 방법.
  15. 원격 광맥파계 분석을 가능하게 하기 위한 시스템에 있어서:
    - 적어도 하나의 카메라(3)로부터 이미지들의 시퀀스(37; 51)를 획득하기 위한 적어도 하나의 카메라 인터페이스(5)로서, 각각의 이미지는 적어도 제한된 범위의 파장들에서 반사된 주변광을 표현하는 픽셀 데이터에 의해 표현되는, 상기 적어도 하나의 카메라 인터페이스(5);
    - 적어도 하나의 측정 구역(41)에 대해, 생리적 파라미터의 적어도 하나의 값을 결정하는데 이용하기 위한 상기 측정 구역(41)에서의 적어도 다수의 이미지 포인트들에서 픽셀 값들의 조합의 시변 값의 적어도 변동들을 표현하는 신호를 제공하도록 구성된 상기 픽셀 데이터 처리를 위한 시스템;
    - 상기 이미지들의 시퀀스(37; 51)에 표현되는 선택된 대상의 적어도 일부를 추적하기 위한 시스템; 및
    - 상기 선택된 대상의 적어도 일부를 조명하는 직사 가능한 광원(4)을 제어하기 위한 시스템을 포함하는, 원격 광맥파계 분석을 가능하게 하기 위한 시스템.
KR1020127007030A 2009-08-20 2010-08-09 이미지 분석을 위한 방법 및 시스템 KR20120048021A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09168238 2009-08-20
EP09168238.5 2009-08-20

Publications (1)

Publication Number Publication Date
KR20120048021A true KR20120048021A (ko) 2012-05-14

Family

ID=43066646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127007030A KR20120048021A (ko) 2009-08-20 2010-08-09 이미지 분석을 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US8634591B2 (ko)
EP (2) EP2546780A1 (ko)
JP (1) JP5715132B2 (ko)
KR (1) KR20120048021A (ko)
CN (2) CN104123536B (ko)
WO (1) WO2011021128A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
KR20180004234A (ko) * 2015-05-11 2018-01-10 아르셀러미탈 슬래그 부분의 화학적 조성을 결정하는 방법
KR20190051256A (ko) * 2017-11-06 2019-05-15 주식회사 베이바이오텍 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
KR20200074351A (ko) * 2018-12-14 2020-06-25 한국철도기술연구원 무임 승객 정보 관리 시스템 및 그 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LV14514B (lv) * 2010-10-06 2012-08-20 Latvijas Universitāte Iekārta un metode sirdsdarbības parametru optiskai bezkontakta kontrolei
EP2691020A2 (en) 2011-03-30 2014-02-05 Koninklijke Philips N.V. Contactless sleep disorder screening system
EP2699146B1 (en) 2011-04-21 2018-12-26 Koninklijke Philips N.V. Device and method for vital sign measurement of a person
GB201114406D0 (en) 2011-08-22 2011-10-05 Isis Innovation Remote monitoring of vital signs
EP2748762B1 (en) * 2011-08-26 2019-05-15 Koninklijke Philips N.V. Distortion reduced signal detection
WO2013038326A1 (en) 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Distortion reduced signal detection
CN103890780B (zh) 2011-09-29 2018-01-02 皇家飞利浦有限公司 失真降低的信号检测
JP5822651B2 (ja) * 2011-10-26 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 個体判別装置および個体判別方法
TR201910637T4 (tr) * 2012-02-28 2019-08-21 Koninklijke Philips Nv Hayati belirtileri izlemek için cihaz ve yöntem.
JP6138920B2 (ja) 2012-05-01 2017-05-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔検出される特性信号から情報を抽出するデバイス及び方法
EP2879569A1 (en) * 2012-07-30 2015-06-10 Koninklijke Philips N.V. Device and method for extracting physiological information
US9770212B2 (en) * 2012-08-02 2017-09-26 Koninklijke Philips N.V. Device and method for extracting physiological information
WO2014045197A1 (en) 2012-09-21 2014-03-27 Koninklijke Philips N.V. Device and method for processing data derivable from remotely detected electromagnetic radiation
RU2649529C2 (ru) * 2012-10-23 2018-04-03 Конинклейке Филипс Н.В. Устройство и способ для получения информации о жизненно важных показателях живого существа
CN103054569B (zh) * 2012-12-20 2015-04-22 Tcl集团股份有限公司 基于可见光图像测量人体心率的方法、装置及手持设备
BR112015014945A2 (pt) 2012-12-21 2017-07-11 Koninklijke Philips Nv sistema de monitoramento remoto de fotoplestimografia, método de monitoramento remoto de fotoplestimografia, e programa de computador
CN105142501B (zh) 2013-03-06 2019-02-01 皇家飞利浦有限公司 用于确定生命体征信息的系统和方法
RU2675036C2 (ru) * 2013-03-14 2018-12-14 Конинклейке Филипс Н.В. Устройство и способ получения информации о показателях жизненно важных функций субъекта
EP2967376B1 (en) 2013-03-14 2023-02-15 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
US10238292B2 (en) 2013-03-15 2019-03-26 Hill-Rom Services, Inc. Measuring multiple physiological parameters through blind signal processing of video parameters
WO2015018657A1 (en) * 2013-08-06 2015-02-12 Koninklijke Philips N.V. System and method for extracting physiological information from remotely detected electromagnetic radiation
US9418279B2 (en) 2013-11-19 2016-08-16 Qualcomm Incorporated Detection of an object's varying features with a non-stationary device
BR112016020283B1 (pt) * 2014-03-06 2022-07-12 Koninklijke Philips N.V Aparelho de determinação de propriedade fisiológica, método de determinação de propriedade fisiológica, e mídia legível
WO2015185706A1 (en) * 2014-06-06 2015-12-10 Koninklijke Philips N.V. Device, system and method for detecting apnoea of a subject
US9609385B2 (en) * 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
US11304604B2 (en) 2014-10-29 2022-04-19 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
US10438215B2 (en) 2015-04-10 2019-10-08 International Business Machines Corporation System for observing and analyzing customer opinion
US10970590B2 (en) * 2015-06-05 2021-04-06 Schlumberger Technology Corporation Image-based wellsite equipment health monitoring
KR101788850B1 (ko) * 2015-08-24 2017-10-20 상명대학교산학협력단 영상 피부색 증폭을 통한 심박 신호 측정 방법
JP6849684B2 (ja) 2016-01-15 2021-03-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 対象のバイタルサイン情報を含むフォトプレチスモグラフ画像を生成するデバイス、システム、及び方法
GB201601143D0 (en) * 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for health and safety monitoring of a subject in a room
GB201601142D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating breathing rate
GB201601140D0 (en) 2016-01-21 2016-03-09 Oxehealth Ltd Method and apparatus for estimating heart rate
GB201601217D0 (en) 2016-01-22 2016-03-09 Oxehealth Ltd Signal processing method and apparatus
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
GB201615899D0 (en) 2016-09-19 2016-11-02 Oxehealth Ltd Method and apparatus for image processing
US10885349B2 (en) 2016-11-08 2021-01-05 Oxehealth Limited Method and apparatus for image processing
EP3589191A4 (en) * 2017-03-02 2020-11-11 Spectral MD Inc. AUTOMATIC LEARNING SYSTEMS AND TECHNIQUES FOR MULTISPECTRAL ANALYSIS OF AMPUTATION SITES
GB201706449D0 (en) 2017-04-24 2017-06-07 Oxehealth Ltd Improvements in or realting to in vehicle monitoring
CN107451553B (zh) * 2017-07-26 2019-08-02 北京大学深圳研究生院 一种基于超图转变的视频中暴力事件检测方法
GB201803508D0 (en) 2018-03-05 2018-04-18 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
WO2020123724A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. Machine learning systems and methods for assessment, healing prediction, and treatment of wounds
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
BR112021011113A2 (pt) 2018-12-14 2021-08-31 Spectral Md, Inc. Sistema e método para formação de imagem espectral de múltiplas aberturas de alta precisão
GB201900034D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
GB201900033D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Mrthod and apparatus for monitoring of a human or animal subject
GB201900032D0 (en) 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
CN111192141A (zh) * 2020-01-06 2020-05-22 深圳壹账通智能科技有限公司 基于远程光体积描述术的风险评估方法、装置及存储介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8628698D0 (en) 1986-12-01 1987-01-07 Kon Israel Pulse rate detector
US4958638A (en) 1988-06-30 1990-09-25 Georgia Tech Research Corporation Non-contact vital signs monitor
US5203328A (en) 1991-07-17 1993-04-20 Georgia Tech Research Corporation Apparatus and methods for quantitatively measuring molecular changes in the ocular lens
AU2186095A (en) 1994-03-24 1995-10-09 Minnesota Mining And Manufacturing Company Biometric, personal authentication system
US5507291A (en) * 1994-04-05 1996-04-16 Stirbl; Robert C. Method and an associated apparatus for remotely determining information as to person's emotional state
JP2001526073A (ja) 1997-12-22 2001-12-18 ビー・ティー・ジー・インターナショナル・リミテッド 光体積変動記録法におけるアーティファクト削減
US6067399A (en) 1998-09-02 2000-05-23 Sony Corporation Privacy mode for acquisition cameras and camcorders
WO2000044274A2 (en) 1999-01-29 2000-08-03 Pougatchev Vadim I Personal physiological monitor
US7904139B2 (en) 1999-08-26 2011-03-08 Non-Invasive Technology Inc. Optical examination of biological tissue using non-contact irradiation and detection
WO2001067960A2 (en) 2000-03-16 2001-09-20 Cedara Software Corp. System and method for processing an image sequence
US6996256B2 (en) 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
CN1543742A (zh) 2002-04-17 2004-11-03 ���µ�����ҵ��ʽ���� 运动检测装置、图像处理系统、运动检测方法、程序及记录介质
JP4200687B2 (ja) * 2002-05-13 2008-12-24 株式会社日立製作所 生体認証装置および該装置実現のためのプログラム
US20050054940A1 (en) 2003-04-23 2005-03-10 Almen Adam J. Apparatus and method for monitoring heart rate variability
US20050054935A1 (en) 2003-09-08 2005-03-10 Rice Robert R. Hyper-spectral means and method for detection of stress and emotion
US7388971B2 (en) * 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
GB0327100D0 (en) 2003-11-21 2003-12-24 King S College Hospital Nhs Tr Blood flow monitoring equipment
US8285359B2 (en) 2003-11-26 2012-10-09 General Electric Company Method and system for retrospective gating using multiple inputs
US20050113673A1 (en) 2003-11-26 2005-05-26 Avinash Gobal B. Method and system to reduce motion-related image artifacts during breath holding
JP2006034576A (ja) * 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 乗り物酔い対策装置および乗り物酔い対策方法
CN1613425A (zh) 2004-09-15 2005-05-11 南京大学 司机疲劳预警生物识别的方法和系统
CN100509083C (zh) 2005-01-31 2009-07-08 重庆微海软件开发有限公司 利用呼吸信号控制图像同步的方法及其装置
US7706683B2 (en) * 2005-05-31 2010-04-27 Brainlab Ag Self adjusting operation lamp system
JP2007034664A (ja) * 2005-07-27 2007-02-08 Sony Corp 感情推定装置および方法、記録媒体、および、プログラム
CN2817730Y (zh) * 2005-08-18 2006-09-20 中国人民解放军军事医学科学院卫生装备研究所 呼吸感应体积描记传感装置
US7840246B1 (en) 2005-09-20 2010-11-23 Pacesetter, Inc. Implantable self-calibrating optical sensors
US20090292220A1 (en) 2005-11-04 2009-11-26 Kabushiki Kaisha Toshiba Respiration monitoring apparatus, respiration monitoring system, medical processing system, respiration monitoring method and respiration monitoring program
CN101006915A (zh) * 2006-01-26 2007-08-01 香港中文大学 非接触式关键生理参数测量方法
US8155729B1 (en) * 2006-02-17 2012-04-10 General Electric Company Method and apparatus to compensate imaging data with simultaneously acquired motion data
CN101032395A (zh) * 2006-03-08 2007-09-12 香港中文大学 基于光电容积描记信号周期域特征参量的血压测量方法
CA2655782A1 (en) 2006-06-13 2007-12-21 Elfi-Tech Ltd. System and method for measurement of biological parameters of a subject
US8360986B2 (en) 2006-06-30 2013-01-29 University Of Louisville Research Foundation, Inc. Non-contact and passive measurement of arterial pulse through thermal IR imaging, and analysis of thermal IR imagery
US20100056887A1 (en) 2006-11-27 2010-03-04 Pioneer Corporation Emission sensor device and bioinformation detecting method
US20080260212A1 (en) * 2007-01-12 2008-10-23 Moskal Michael D System for indicating deceit and verity
US8557583B2 (en) 2007-03-15 2013-10-15 Dai Nippon Printing Co., Ltd. Cell culture support and manufacture thereof
CN101652097A (zh) 2007-04-12 2010-02-17 皇家飞利浦电子股份有限公司 与生命体征床旁监护仪结合的图像捕获
JP2010525444A (ja) 2007-04-18 2010-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療患者に対して私的な逸話を与える装置及び方法
US20080294012A1 (en) 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US8939920B2 (en) 2007-07-13 2015-01-27 C-Rad Positioning Ab Patient monitoring at radiation machines
US20090027493A1 (en) 2007-07-24 2009-01-29 Ahron Amar Method and device for security in public places
CN101112307A (zh) 2007-08-30 2008-01-30 复旦大学 利用高速ccd测量斑马鱼心率的方法
US8149273B2 (en) 2007-11-30 2012-04-03 Fuji Xerox Co., Ltd. System and methods for vital sign estimation from passive thermal video
CN101527034B (zh) 2008-03-07 2013-01-23 深圳迈瑞生物医疗电子股份有限公司 自适应帧相关的方法和装置
US20100158357A1 (en) 2008-12-19 2010-06-24 Qualcomm Incorporated Image processing method and system of skin color enhancement
JP5631901B2 (ja) 2009-03-06 2014-11-26 コーニンクレッカ フィリップス エヌ ヴェ 少なくとも１の生物体の画像の処理
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
EP3142067B1 (en) 2009-10-06 2020-01-01 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US20110251493A1 (en) 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093036A (ko) * 2014-02-06 2015-08-17 한국전자통신연구원 생체 정보 측정장치 및 측정방법
KR20180004234A (ko) * 2015-05-11 2018-01-10 아르셀러미탈 슬래그 부분의 화학적 조성을 결정하는 방법
KR20190051256A (ko) * 2017-11-06 2019-05-15 주식회사 베이바이오텍 이미지 분석 결과 및 학습된 피부 인식기에 기초하여 피부의 상태를 평가하는 방법 및 프로그램
KR20200074351A (ko) * 2018-12-14 2020-06-25 한국철도기술연구원 무임 승객 정보 관리 시스템 및 그 방법

Also Published As

Publication number Publication date
US8634591B2 (en) 2014-01-21
JP5715132B2 (ja) 2015-05-07
CN104123536B (zh) 2018-09-21
CN102473238B (zh) 2014-08-06
JP2013502633A (ja) 2013-01-24
EP2467805A2 (en) 2012-06-27
WO2011021128A3 (en) 2011-08-25
EP2467805B1 (en) 2020-08-05
WO2011021128A2 (en) 2011-02-24
CN104123536A (zh) 2014-10-29
EP2546780A1 (en) 2013-01-16
US20120141000A1 (en) 2012-06-07
CN102473238A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
US8634591B2 (en) Method and system for image analysis
EP2404283B1 (en) Processing images of at least one living being
US8818041B2 (en) Method of controlling a function of a device and system for detecting the presence of a living being
EP2486543B1 (en) Formation of a time-varying signal representative of at least variations in a value based on pixel values
US10497132B2 (en) Irradiation system, irradiation method, and program storage medium
Martínez-Martín et al. Robust motion detection in real-life scenarios
Al-Naji et al. Contactless cardiac activity detection based on head motion magnification
Kurihara et al. Non-contact heart rate estimation via adaptive rgb/nir signal fusion
JP2010199865A (ja) 異常検知システム、異常検知方法及び異常検知プログラム
Villamizar et al. Watchnet: Efficient and depth-based network for people detection in video surveillance systems
US20160364604A1 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
JP2023086273A (ja) 画像処理装置およびその制御方法
KR et al. SS MMk kTk StSTTTCTT

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application