KR20230069369A - 영상 기반의 생체 및 행태 데이터 통합 검출 방법 - Google Patents
영상 기반의 생체 및 행태 데이터 통합 검출 방법 Download PDFInfo
- Publication number
- KR20230069369A KR20230069369A KR1020210155339A KR20210155339A KR20230069369A KR 20230069369 A KR20230069369 A KR 20230069369A KR 1020210155339 A KR1020210155339 A KR 1020210155339A KR 20210155339 A KR20210155339 A KR 20210155339A KR 20230069369 A KR20230069369 A KR 20230069369A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- biometric
- image
- person
- detecting
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000003542 behavioural effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008921 facial expression Effects 0.000 claims description 13
- 230000017531 blood circulation Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 210000004709 eyebrow Anatomy 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 claims 1
- 238000009223 counseling Methods 0.000 abstract description 5
- 238000002360 preparation method Methods 0.000 abstract description 5
- 238000013480 data collection Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
환자 또는 범죄자를 촬영한 영상을 분석하여, 다수의 생체 및 행태 데이터를 검출하는 방법이 제공된다. 본 발명의 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 방법은, 영상 수집부가, 사람을 객체로 하여 촬영된 영상 데이터를 획득하는 단계; 및 프로세서가, 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하는 단계;를 포함한다. 이에 의해, 상담(취조)과정에서 촬영된 영상을 통해 피촬영자인 환자(범죄자)의 여러 생체 및 행태 데이터를 통합 검출과정을 통해 검출함으로써, 데이터 수집을 위해 신체의 센서 부착 등의 준비과정이 복잡하지 않고 복수의 센서 간의 노이즈가 존재 하지 않아 정확한 생체 및 행태 데이터 검출이 가능하도록 할 수 있다. 더불어, 통합된 환경에서 데이터를 취득하기 때문에 동일 시점의 데이터의 유사관계를 보다 쉽고 정확하게 분석할 수 있다.
Description
본 발명은 영상 기반의 생체 및 행태 데이터 통합 검출 방법에 관한 것으로, 더욱 상세하게는 환자 또는 범죄자를 촬영한 영상을 분석하여, 다수의 생체 및 행태 데이터를 검출하는 방법에 관한 것이다.
기존에는 환자(범죄자)의 상담(취조) 시, 환자(범죄자)의 신체에 다양한 종류의 센서를 부착한 상태로 환자(범죄자)의 상담(취조)를 진행하며, 환자(범죄자)의 상태를 파악하는데 신체에 부착된 센서의 측정 값들을 활용하였다.
그러나 상담(취조) 과정에서 환자(범죄자)의 다양한 생체 및 행태 데이터를 검출하기 위해서 여러 종류의 센서를 몸에 부착하게 되면, 이종 센서 간 중첩 및 환자(범죄자)의 센서에 대한 스트레스로 인해 정확한 데이터 검출의 어려움을 초래할 수 있다.
또한, 접촉식 생체 및 행태 데이터 검출 센서는 준비 과정 및 사용 방법이 복잡하여 상담(취조) 시간이 지연될 뿐만 아니라 전문가가 아니면 사용하기 어렵다는 단점이 존재한다.
그리고 기존의 영상 기반의 생체 및 행태 데이터 검출 기술들은 하나의 생체 및 행태 데이터 검출에 성능에 집중되어 연구가 진행되기 때문에, 통합된 환경에서 동작하지 않는 각각의 방법들은 취득 주기 및 처리 속도가 달라 동일 시점의 데이터의 유사관계를 분석하기 어렵다는 단점이 존재한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 상담(취조)과정에서 촬영된 영상을 통해 피촬영자인 환자(범죄자)의 여러 생체 및 행태 데이터를 통합 검출과정을 통해 검출할 수 있는 영상 기반의 생체 및 행태 데이터 통합 검출 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 기반의 생체 및 행태 데이터 통합 검출 방법은, 영상 수집부가, 사람을 객체로 하여 촬영된 영상 데이터를 획득하는 단계; 및 프로세서가, 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하는 단계;를 포함한다.
그리고 검출하는 단계는, 영상 데이터 내에 사람의 얼굴 영역에서 사람의 혈류량 변화를 관측하여 심박 신호를 측정할 수 있다.
또한, 검출하는 단계는, 심박 신호를 측정하기 위해, 영상 데이터 내에 사람의 얼굴 영역을 검출하는 단계; 검출된 얼굴 영역에서 혈류량 변화 관측이 어려운 영역인 머리카락, 눈썹, 수염에 해당하는 영역을 제외하기 위해, 피부색 영역만 분류하는 단계; 분류된 피부색 영역 중 상대적으로 다른 색상 성분보다 조명 밝기 변화에 민감하지 않은 색상 성분을 분리하는 단계; band-pass filtering를 이용하여 분리된 색상 성분 내 노이즈 성분을 제거하는 단계; 및 band-pass filtering를 통과한 부분을 혈류량 변화 신호로 활용하여, 심박 신호를 측정하는 단계;를 포함할 수 있다.
그리고 검출하는 단계는, 영상 데이터 내에 사람의 얼굴 영역 및 신체 영역에서 기설정된 주요 포인트 영역을 검출하고, 검출된 주요 포인트 영역을 분석하여, 얼굴 표정을 검출하거나 또는 시선 방향을 검출할 수 있다.
또한, 검출하는 단계는, CNN(Convolutional Neural Networks) 기반의 인식 모델을 기반으로 얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴 표정을 검출할 수 있다.
그리고 검출하는 단계는, 얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴의 방향 벡터와 눈이 바라보는 방향 벡터를 검출하고, 검출된 방향 벡터들을 기반으로 시선 방향을 검출할 수 있다.
본 발명의 일 실시예에 따른, 영상 기반의 생체 및 행태 데이터 통합 검출 방법은, 프로세서가, 검출된 데이터들을 기반으로 촬영된 사람의 집중 상태 또는 산만 상태를 수치적으로 산출하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 영상 기반의 생체 및 행태 데이터 통합 검출 시스템은, 사람을 객체로 하여 촬영된 영상 데이터를 획득하는 영상 수집부; 및 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 상담(취조)과정에서 촬영된 영상을 통해 피촬영자인 환자(범죄자)의 여러 생체 및 행태 데이터를 통합 검출과정을 통해 검출함으로써, 데이터 수집을 위해 신체의 센서 부착 등의 준비과정이 복잡하지 않고 복수의 센서 간의 노이즈가 존재 하지 않아 정확한 생체 및 행태 데이터 검출이 가능하도록 할 수 있다.
더불어, 통합된 환경에서 데이터를 취득하기 때문에 동일 시점의 데이터의 유사관계를 보다 쉽고 정확하게 분석할 수 있다.
도 1은, 본 발명의 일 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 시스템의 설명에 제공된 도면,
도 2는, 상기 도 1에 도시된 영상 수집부를 통해 영상을 획득하는 모습이 예시된 도면,
도 3 내지 도 4는, 상기 도 1에 도시된 프로세서의 구성 설명에 제공된 도면,
도 5는, 상기 도 3에 도시된 프로세서를 통해 인체 주요 포인트를 추출하는 모습이 예시된 도면,
도 6는, 상기 도 3에 도시된 프로세서를 통해, 피촬영자의 시선 방향을 검출하는 모습이 예시된 도면,
도 7은, 상기 도 3에 도시된 프로세서를 통해, 검출된 생체 및 형태 데이터가 표출된 모습이 예시된 도면,
도 8은, 본 발명의 일 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 방법의 설명에 제공된 도면, 그리고
도 9는, 상기 도 8에 도시된 영상 기반의 생체 및 행태 데이터 통합 검출 방법 중 생체 데이터를 검출하는 과정을 더욱 상세히 설명하기 위해 제공된 도면이다.
도 2는, 상기 도 1에 도시된 영상 수집부를 통해 영상을 획득하는 모습이 예시된 도면,
도 3 내지 도 4는, 상기 도 1에 도시된 프로세서의 구성 설명에 제공된 도면,
도 5는, 상기 도 3에 도시된 프로세서를 통해 인체 주요 포인트를 추출하는 모습이 예시된 도면,
도 6는, 상기 도 3에 도시된 프로세서를 통해, 피촬영자의 시선 방향을 검출하는 모습이 예시된 도면,
도 7은, 상기 도 3에 도시된 프로세서를 통해, 검출된 생체 및 형태 데이터가 표출된 모습이 예시된 도면,
도 8은, 본 발명의 일 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 방법의 설명에 제공된 도면, 그리고
도 9는, 상기 도 8에 도시된 영상 기반의 생체 및 행태 데이터 통합 검출 방법 중 생체 데이터를 검출하는 과정을 더욱 상세히 설명하기 위해 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은, 본 발명의 일 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 시스템의 설명에 제공된 도면이고, 도 2는, 상기 도 1에 도시된 영상 수집부를 통해 영상을 획득하는 모습이 예시된 도면이다.
본 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 시스템(이하에서는 '데이터 통합 검출 시스템'으로 총칭하기로 함)은, 사람(환자, 범죄자 등의 피촬영자)을 객체로 촬영하여 획득되는 영상 데이터를 분석하여 피촬영자의 생체 데이터 및 형태 데이터를 검출하기 위해 마련된다.
이를 위해, 데이터 통합 검출 시스템은, 영상 수집부(110), 프로세서(120) 및 저장부(130)를 포함할 수 있다.
영상 수집부(110)는, 사람을 객체로 하여 촬영된 영상 데이터를 획득하기 위해 마련된다. 예를 들면, 영상 수집부는 RGB 카메라로 구현되어, 도 2에 예시된 바와 같이 피촬영자를 촬영하여 영상 데이터를 획득할 수 있다.
저장부(130)는, 프로세서(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다.
프로세서(120)는, 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출할 수 있다.
예를 들면, 프로세서(120)는, 영상 데이터 내에 사람의 얼굴 영역에서 사람의 혈류량 변화를 관측하여 심박 신호를 측정할 수 있다.
또한, 프로세서(120)는, 영상 데이터 내에 사람의 얼굴 영역 및 신체 영역에서 기설정된 주요 포인트 영역을 검출하고, 검출된 주요 포인트 영역을 분석하여, 얼굴 표정을 검출하거나 또는 시선 방향을 검출할 수 있다.
또한, 프로세서(120)는, 검출된 생체 데이터 및 형태 데이터를 기반으로 피촬영자의 상태(ex. 집중 상태, 산만 상태 등)를 판단할 수 있다.
예를 들면, 프로세서(120)는, 검출된 생체 데이터 및 형태 데이터를 기반으로 촬영된 사람의 집중 상태 또는 산만 상태를 수치적으로 산출할 수 있다.
도 3 내지 도 4는, 상기 도 1에 도시된 프로세서의 구성 설명에 제공된 도면이고, 도 5는, 상기 도 3에 도시된 프로세서를 통해 인체 주요 포인트를 추출하는 모습이 예시된 도면이며, 도 6는, 상기 도 3에 도시된 프로세서를 통해, 피촬영자의 시선 방향을 검출하는 모습이 예시된 도면이며, 도 7은, 상기 도 3에 도시된 프로세서를 통해, 검출된 생체 및 형태 데이터가 표출된 모습이 예시된 도면이다.
도 3 내지 도 4를 참조하면, 프로세서(120)는, 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하고, 검출된 생체 데이터 및 형태 데이터를 기반으로 피촬영자의 상태를 판단하기 위해, 심박 신호 검출 모듈(121), 얼굴 표정 검출 모듈(122), 시선 방향 검출 모듈(123) 및 상태 판단 모듈(124)을 포함할 수 있다.
심박 신호 검출 모듈(121)은, 영상 데이터 내에 사람의 얼굴 영역에서 사람의 혈류량 변화를 관측하여 심박 신호를 측정할 수 있다.
구체적으로, 심박 신호 검출 모듈(121)은, 영상 데이터 내에 사람의 얼굴 영역을 관심 영역으로 지정하여, 영상 데이터 내에 관심 영역으로 지정된 사람의 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 혈류량 변화 관측이 어려운 영역인 머리카락, 눈썹, 수염에 해당하는 영역을 제외하기 위해, 피부색 영역만 분류할 수 있다.
심박 신호 검출 모듈(121)은, 피부색 영역만 분류되면, 분류된 피부색 영역 중 상대적으로 다른 색상 성분보다 조명 밝기 변화에 민감하지 않은 색상 성분을 분리하고, band-pass filtering를 이용하여 분리된 색상 성분 내 노이즈 성분을 제거할 수 있다.
다음으로, 심박 신호 검출 모듈(121)은, band-pass filtering를 통과한 부분을 혈류량 변화 신호로 활용하여, 심박 신호를 측정할 수 있다.
얼굴 표정 검출 모듈(122)은, CNN(Convolutional Neural Networks) 기반의 인식 모델을 기반으로 얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴 표정을 검출할 수 있다.
예를 들면, 얼굴 표정 검출 모듈(122)은, 특징 검출에 사용되는 속성 값을 파라미터로 저장되어, 영상 데이터 내에 사람의 얼굴 영역을 관심 영역으로 지정하고, 영상 데이터와 관심 영역으로 지정된 얼굴 영역에서 기저장된 파라미터에 따라 기설정된 주요 포인트 영역에서의 특징들을 검출하여, 얼굴 표정을 검출할 수 있다.
시선 방향 검출 모듈(123)은, 얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴의 방향 벡터와 눈이 바라보는 방향 벡터를 검출하고, 검출된 방향 벡터들을 기반으로 시선 방향을 검출할 수 있다.
예를 들면, 시선 방향 검출 모듈(123)은, 특징 검출에 사용되는 속성 값을 파라미터로 저장되어, 기저장된 파라미터에 따라 얼굴 영역 및 신체 영역에서 기설정된 주요 포인트 영역을 검출하고, 검출된 주요 포인트 영역을 분석하여, 시선 방향을 검출할 수 있다.
구체적으로 예를 들면, 시선 방향 검출 모듈(123)은, 도 5에 예시된 바와 같이 피촬영자의 얼굴 영역 내 눈동자가 바라보는 방향 및 이마의 중앙 또는 코에 해당하는 제1 지점이 향하는 (P1)의 방향, 양쪽 어깨에 해당하는 제2 지점(P2) 및 제3 지점(P3) 간의 수평 관계, 양쪽 팔꿈치에 해당하는 제4 지점(P4) 및 제5 지점(P5) 간의 수평 관계, 양쪽 손목에 해당하는 제6 지점(P6) 및 제7 지점(P7) 간의 수평 관계 등에 대한 특징 검출을 통하여, 시선 방향을 검출할 수 있다.
상태 판단 모듈(124)은, 심박수, 얼굴 표정, 시선 방향 등을 기반으로 촬영된 사람의 집중 상태 또는 산만 상태를 수치적으로 산출할 수 있다.
이를 통해, 데이터 수집을 위해 신체의 센서 부착 등의 준비과정이 복잡하지 않고 복수의 센서 간의 노이즈가 존재 하지 않아 정확한 생체 및 행태 데이터 검출이 가능하도록 할 수 있으며, 통합된 환경에서 데이터를 취득하기 때문에 동일 시점의 데이터의 유사관계를 보다 쉽고 정확하게 분석할 수 있다.
도 8은, 본 발명의 일 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 방법의 설명에 제공된 도면이다.
본 실시예에 따른 영상 기반의 생체 및 행태 데이터 통합 검출 방법(이하에서는 '데이터 통합 검출 방법'으로 총칭하기로 함)은, 도 1 내지 도 7을 참조하여 전술한 데이터 통합 검출 시스템에 의해 실행될 수 있다.
도 8을 참조하면, 데이터 통합 검출 방법은, 데이터 통합 검출 시스템을 통해 사람을 객체로 하여 촬영된 영상 데이터를 획득하고(S810), 획득된 영상 데이터를 기반으로 촬영된 사람(피촬영자)의 생체 데이터 및 형태 데이터를 검출할 수 있다(S820, S825).
여기서, 생체 데이터 및 형태 데이터를 검출하는 순서는, 도 3 내지 도 7을 참조하여 전술한 심박 신호 검출 모듈(121), 얼굴 표정 검출 모듈(122) 및 시선 방향 검출 모듈(123)을 통해 병렬적으로 수행될 수 있다.
그리고 데이터 통합 검출 방법은, 검출된 생체 데이터 및 형태 데이터를 기반으로 피촬영자의 집중 상태, 산만 상태 등을 판단할 수 있다(S830).
도 9는, 상기 도 8에 도시된 영상 기반의 생체 및 행태 데이터 통합 검출 방법 중 생체 데이터를 검출하는 과정을 더욱 상세히 설명하기 위해 제공된 도면이다. 이하에서는 도 9를 참조하여, 도 8을 참조하여 전술한 데이터 통합 검출 방법 중 심박 신호 검출 모듈을 이용하여 피촬영자의 생체 데이터인 심박 신호를 측정하는 과정을 더욱 상세히 설명하기로 한다.
데이터 통합 검출 방법은, 심박 신호 측정을 위해, 우선 영상 데이터 내에 사람의 얼굴 영역을 검출하고(S910), 검출된 얼굴 영역에서 혈류량 변화 관측이 어려운 영역인 머리카락, 눈썹, 수염에 해당하는 영역을 제외하기 위해, 피부색 영역만 분류할 수 있다(S920).
그리고 데이터 통합 검출 방법은, 분류된 피부색 영역 중 상대적으로 다른 색상 성분보다 조명 밝기 변화에 민감하지 않은 색상 성분을 분리하고(S930), band-pass filtering를 이용하여 분리된 색상 성분 내 노이즈 성분을 제거할 수 있다(S940).
또한, 노이즈 성분이 제거되면, 데이터 통합 검출 방법은, band-pass filtering를 통과한 부분을 혈류량 변화 신호로 활용하여, 심박 신호를 측정할 수 있다(S950).
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 영상 수집부
120 : 프로세서
121 : 심박 신호 검출 모듈
122 : 얼굴 표정 검출 모듈
123 : 시선 방향 검출 모듈
124 : 상태 판단 모듈
130 : 저장부
120 : 프로세서
121 : 심박 신호 검출 모듈
122 : 얼굴 표정 검출 모듈
123 : 시선 방향 검출 모듈
124 : 상태 판단 모듈
130 : 저장부
Claims (8)
- 영상 수집부가, 사람을 객체로 하여 촬영된 영상 데이터를 획득하는 단계; 및
프로세서가, 획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하는 단계;를 포함하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 1에 있어서,
검출하는 단계는,
영상 데이터 내에 사람의 얼굴 영역에서 사람의 혈류량 변화를 관측하여 심박 신호를 측정하는 것을 특징으로 하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 2에 있어서,
검출하는 단계는,
심박 신호를 측정하기 위해, 영상 데이터 내에 사람의 얼굴 영역을 검출하는 단계;
검출된 얼굴 영역에서 혈류량 변화 관측이 어려운 영역인 머리카락, 눈썹, 수염에 해당하는 영역을 제외하기 위해, 피부색 영역만 분류하는 단계;
분류된 피부색 영역 중 상대적으로 다른 색상 성분보다 조명 밝기 변화에 민감하지 않은 색상 성분을 분리하는 단계;
band-pass filtering를 이용하여 분리된 색상 성분 내 노이즈 성분을 제거하는 단계; 및
band-pass filtering를 통과한 부분을 혈류량 변화 신호로 활용하여, 심박 신호를 측정하는 단계;를 포함하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 1에 있어서,
검출하는 단계는,
영상 데이터 내에 사람의 얼굴 영역 및 신체 영역에서 기설정된 주요 포인트 영역을 검출하고, 검출된 주요 포인트 영역을 분석하여, 얼굴 표정을 검출하거나 또는 시선 방향을 검출하는 것을 특징으로 하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 4에 있어서,
검출하는 단계는,
CNN(Convolutional Neural Networks) 기반의 인식 모델을 기반으로 얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴 표정을 검출하는 것을 특징으로 하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 4에 있어서,
검출하는 단계는,
얼굴 영역 내 주요 포인트 영역을 분석하여 얼굴의 방향 벡터와 눈이 바라보는 방향 벡터를 검출하고, 검출된 방향 벡터들을 기반으로 시선 방향을 검출하는 것을 특징으로 하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 청구항 1에 있어서,
프로세서가, 검출된 데이터들을 기반으로 촬영된 사람의 집중 상태 또는 산만 상태를 수치적으로 산출하는 단계;를 더 포함하는 것을 특징으로 하는 영상 기반의 생체 및 행태 데이터 통합 검출 방법.
- 사람을 객체로 하여 촬영된 영상 데이터를 획득하는 영상 수집부; 및
획득된 영상 데이터를 기반으로 촬영된 사람의 생체 데이터 및 형태 데이터를 검출하는 프로세서;를 포함하는 영상 기반의 생체 및 행태 데이터 통합 검출 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210155339A KR102621990B1 (ko) | 2021-11-12 | 2021-11-12 | 영상 기반의 생체 및 행태 데이터 통합 검출 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210155339A KR102621990B1 (ko) | 2021-11-12 | 2021-11-12 | 영상 기반의 생체 및 행태 데이터 통합 검출 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230069369A true KR20230069369A (ko) | 2023-05-19 |
| KR102621990B1 KR102621990B1 (ko) | 2024-01-10 |
Family
ID=86546696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210155339A KR102621990B1 (ko) | 2021-11-12 | 2021-11-12 | 영상 기반의 생체 및 행태 데이터 통합 검출 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102621990B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190020779A (ko) * | 2016-06-23 | 2019-03-04 | 가부시키가이샤 가이아 시스템 솔루션 | 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치 |
| KR20200139039A (ko) * | 2019-06-03 | 2020-12-11 | 계명대학교 산학협력단 | 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법 |
| KR20210128358A (ko) * | 2020-04-16 | 2021-10-26 | 주식회사 에이비에이치 | 인공지능 기반 감정 인식 장치 및 방법 |
-
2021
- 2021-11-12 KR KR1020210155339A patent/KR102621990B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190020779A (ko) * | 2016-06-23 | 2019-03-04 | 가부시키가이샤 가이아 시스템 솔루션 | 인게이지먼트값 처리 시스템 및 인게이지먼트값 처리 장치 |
| KR20200139039A (ko) * | 2019-06-03 | 2020-12-11 | 계명대학교 산학협력단 | 카메라를 이용한 비접촉 ppg 신호 측정 시스템 및 그 구동 방법 |
| KR20210128358A (ko) * | 2020-04-16 | 2021-10-26 | 주식회사 에이비에이치 | 인공지능 기반 감정 인식 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102621990B1 (ko) | 2024-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105787420B (zh) | 用于生物认证的方法、装置以及生物认证系统 | |
| US10154818B2 (en) | Biometric authentication method and apparatus | |
| Tasli et al. | Remote PPG based vital sign measurement using adaptive facial regions | |
| KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
| JP2019194888A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR101644843B1 (ko) | 얼굴의 온도분포 특이성을 이용한 상태 분석 방법 | |
| CA3071819A1 (en) | Detailed eye shape model for robust biometric applications | |
| Guo et al. | Physiological parameter monitoring of drivers based on video data and independent vector analysis | |
| JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| Rumiński | Reliability of pulse measurements in videoplethysmography | |
| JP2015211829A (ja) | 動脈拍動波伝搬時間のｖｐｇおよびｅｃｇ／ｅｋｇ信号からの判定 | |
| WO2020070745A1 (en) | Remote prediction of human neuropsychological state | |
| Andreu-Cabedo et al. | Mirror mirror on the wall… An intelligent multisensory mirror for well-being self-assessment | |
| CN111429345A (zh) | 一种超低功耗视觉计算心率及心率变异性方法 | |
| Alzahrani et al. | Preprocessing realistic video for contactless heart rate monitoring using video magnification | |
| Li et al. | Daily life event segmentation for lifestyle evaluation based on multi-sensor data recorded by a wearable device | |
| Gupta et al. | Accurate heart-rate estimation from face videos using quality-based fusion | |
| CN108958489A (zh) | 一种基于脑电和眼动仪的图像感兴趣区域快速检出方法 | |
| Talukdar et al. | Evaluating visual photoplethysmography method | |
| Lazri et al. | Detecting essential landmarks directly in thermal images for remote body temperature and respiratory rate measurement with a two-phase system | |
| Jayawardena et al. | Automated filtering of eye gaze metrics from dynamic areas of interest | |
| KR102621990B1 (ko) | 영상 기반의 생체 및 행태 데이터 통합 검출 방법 | |
| JP6201520B2 (ja) | 生理指標を用いる視線分析システムおよび方法 | |
| Murashov et al. | Detecting events in video sequence of video-EEG monitoring | |
| KR102369059B1 (ko) | 비접촉식 심박 측정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |