KR20200080987A

KR20200080987A - 아기 행동 분석 시스템 및 그 방법

Info

Publication number: KR20200080987A
Application number: KR1020180171033A
Authority: KR
Inventors: 백성욱; 이미영; 칸 무하마드; 아민 울라; 탄베르 후세인; 박준렬
Original assignee: 세종대학교산학협력단
Priority date: 2018-12-27
Filing date: 2018-12-27
Publication date: 2020-07-07
Also published as: KR102150623B1

Abstract

본 발명은 아기 행동 분석 시스템 및 그 방법에 관한 것으로서, 특히 아기 행동 분석 방법은, 아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서, a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계; b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계; c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계; d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및 e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함할 수 있다.

Description

아기 행동 분석 시스템 및 그 방법{METHOD AND SYSTEM FOR ANALYZING BABY BEHAVIOR}

본 발명은 실시간 전송되는 아기 감지 영상으로부터 아기 행동을 분석할 수 있는 아기 행동 분석 시스템 및 그 방법에 관한 것이다.

최근, 아기 행동 모니터링 시스템은 보호자 또는 양육자의 노력을 최소화하면서 자동으로 아기를 모니터링 하여 아기 행동을 보호자 또는 양육자에게 즉시 알릴 수 있도록 한다.

아기 행동 모니터링 시스템 중 수면 장치는 아기들의 기분을 안정시키면서 평화로운 수면을 위한 소리를 재생하여 아기의 수면 시간을 조성하는 것이지만, 특수한 오디오 신호의 저장 장치, 처리 장치, 증폭 장치 및 보컬 장치로 이루어진다. 이러한 수면 장치는 특수한 오디오 신호, 즉 아기를 정서적으로 안정시키면서 수면시간을 증가시키는 모체(예를 들어, 자궁 속 소리)와 유사한 분위기를 조성하기 위한 소리를 출력하는 것이 중요하다.

아기 행동 모니터링 시스템 중 아기 행동 키트는 최소한 하나의 타임아웃 정의 장치, 복수 개의 스티커, 간병인 또는 베이비시터를 위한 교육 장치, 복수의 정지 신호 및 공 등의 도구를 포함한다. 이러한 아기 행동 키트는 집안이나 아기 활동 지역 내에 아기가 접촉해서 안되는 품목을 지정하고, 아기가 해당 품목에 접촉하면 타임아웃 정의 장치에 의해 정의된 타임 아웃 영역에서 즉시 아기를 보호 조치하게 된다. 이때, 아기행동 키트는 간병인 또는 베이비 시터는 전기 보드 등 아기에서 유해한 물건에 금지 스티커를 붙일 수 있다.

한편, 유아 모니터링 장치는 아기와 보호자간의 양방향 통신이 가능하고, 오디오 및 비디오 스트림을 전송할 수 있는 것으로서, 보호자측 장치는 외부 음성을 수신하기 위한 수신 장치, 마이크 장치, 제어 장치를 포함하고, 유아측 장치는 목걸이 형태로 제작되어 모션 센서, 보호자 음성 데이터 및 영상을 저장하는 플래시 메모리, 마이크, 온도 감지 장치 등을 포함한다. 이러한 유아 모니터링 장치는 보호자와 유아에게 착용되어 있는 마이크를 통해 의사 소통이 가능하고, 유아가 침대 등에서 떨어져 '쾅'하는 소리 등이 감지되면 긴급 신호로 제어 장치에 전달되고, 제어 장치는 마이크 또는 카메라를 사용하여 다른 소리를 녹음하여 유아 주변의 영상을 촬영한 후 보호자에게 전달한다.

유아 모니터링 장치는 유아의 몸에 아기를 관찰하기 위한 많은 장치들이 부착되어 있어 민감한 아기들에게 오히려 놀라게 하거나 부담이 될 수 있는 문제점이 있다.

이와 같이, 종래 기술의 아기 행동 모니터링 시스템은 아기의 생물학적 상태를 확인하거나, 정서적 안정이나 아기의 수면 시간을 개선하는 것으로서, 아기들의 몸에 착용하여 불편함이 원인이 될 수 있는 문제점이 있다. 또한, 아기 행동 모니터링 시스템은 소리 재생이나 녹음뿐만 아니라 아기 상태를 확인하기 위해 많은 장치와 센서를 사용하고 있어 서로 다른 데이터를 처리하므로 시스템 효율이 낮고, 그로 인해 실시간 구현에 제약이 발생되어 보호자가 아기의 행동을 모니터링 하는데 불충분하다는 문제점이 있다.

게다가, 종래의 아기 행동 모니터링 시스템 중 여러 전자 센서를 사용하는 경우, 유해 광선을 아기에게 방출하여 아기의 건강에 위험할 수 있는 문제점도 있다.

대한민국 등록특허 제 10-1652977 호(발명의 명칭 : 아기상태 실시간 모니터링 시스템)

대한민국 등록특허 제10-0791362호(발명의 명칭 : 베이비사인 인식 방법, 이를 이용한 양방향 멀티미디어 동화 구현 시스템 및 방법)

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 카메라 장치를 통해 실시간 입력되는 아기 감지 영상을 이용하여 아기의 움직임 영역을 검출하고, 이 움직임 영역의 강도와 크기에 따라 아기의 정상 또는 비정상적인 행동을 파악할 수 있도록 하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 아기 행동 분석 방법은, 아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서, a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계; b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계; c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계; d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및 e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함할 수 있다.

또한, 본 발명의 다른 일 실시예에 따른 아기 행동 분석 시스템은, 적어도 하나 이상의 카메라 장치를 이용한 아기 행동 분석 시스템에 있어서, 아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하고, 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하고, 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하며, 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하며, 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 것이다.

전술한 본 발명의 과제 해결 수단에 의하면, 아기에게 별도의 모니터링 장치를 착용하지 않고, 아기의 수면 장소 또는 활동 장소의 상부에 고정 설치된 카메라 장치로부터 실시간 전송되는 비디오 데이터를 이용하여 아기의 움직임을 분석하고, 아기의 정상 또는 비정상 행동을 예측할 수 있다.

또한, 본 발명은 아기의 비정상 행동이 검출될 경우, 즉시 보호자 단말에 아기의 비정상 행동을 보고함으로써 신속하고, 사용자 친화적이며 반응적인 프로세스를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 아기 행동 분석 시스템의 구성을 설명하는 도면이다.
도 2는 도 1의 일부 구성요소인 프로세서에서 처리되는 프로그램의 구성을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 아기 행동 분석 방법을 설명하는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘을 이용한 움직임 영역 검출 과정을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘의 전체 프레임 워크를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 아기 행동 분석 방법의 분석 과정 개요를 설명하는 도면이다.
도 7은 단일 구간의 아기 행동 관리도를 설명하는 예시도이다.
도 8은 구간별 아기 행동 관리도를 나타내는 예시도이다.
도 9는 아기 행동 관리도를 3차원 그래프를 사용하여 표현한 예시도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 아기 행동 분석 시스템의 구성을 설명하는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 아기 행동 분석 시스템 (100)은 통신 모듈(110), 프로세서(120), 메모리(130) 및 데이터베이스(140)를 포함한다.

상세히, 통신 모듈(110)은 통신망과 연동하여 아기 행동 분석 시스템(100)과 보호자 단말(300) 간에 송수신되는 신호를 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 보호자 단말(300)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.

여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(130)는 아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(120)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(130)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

프로세서(120)는 실시간으로 아기 행동 분석 방법을 제공하는 전체 과정을 제어한다. 프로세서(120)가 수행하는 각 단계에 대해서는 도 2 및 도3을 참조하여 후술하기로 한다.

여기서, 프로세서(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

데이터베이스(140)는 아기 행동 분석 방법을 수행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(140)에는 전문 데이터, 임계값 정보, 구간 분할, 움직임 영역 정보, 알림 통지 정보 등이 저장될 수 있다.

한편, 카메라 장치(200)는 침대 등의 아기 수면 장소, 놀이방 등의 아기 활동 장소의 상부면에 고정 설치되고, 실시간 아기 감지 영상에 대해 입력되는 비디오 스트림을 통신 모듈(110)을 통해 프로세서(120)에 전달되도록 한다.

또한, 보호자 단말(300)은 부모, 베이비 시터, 간병인 등의 보호자가 소지한 단말로서, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smart phone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다.

따라서, 보호자는 보호자 단말(300)을 통해 아기의 비정상 행동에 대한 보고를 받을 수 있고, 아기를 어느 때나 관찰할 수 있도록 모니터링할 수 있다.

도 2는 도 1의 일부 구성요소인 프로세서가 처리하는 프로그램의 구성을 설명하는 도면이다.

도 2를 참조하면, 프로세서(120)는 프로그램의 실행에 의하여 구간 처리 모듈(121), 움직임 감지 모듈(122), 아기 행동분석 모듈(123) 및 보고 모듈(124)을 포함하게 된다.

구간 처리 모듈(121)은 구간 선택 유닛(121a)과 아기 감지 및 세분화 유닛(121b)을 포함하고, 구간 선택 유닛(121a)에서 아기 감지 영상을 사용자에 의해 선택된 임계값에 따라 복수의 프레임을 포함하는 구간으로 분할하며, 아기 감지 및 세분화 유닛(121b)에서 카메라 장치(200)에서 아기의 위치까지의 거리 정보에 기반하여 프레임별로 아기 신체 영역과 배경을 분리한다. 여기서 거리 정보는 대략 90㎝가 될 수 있으나, 본 발명이 이에 제한되는 것은 아니다.

이때, 임계값(T)은 구간당 프레임의 수를 나타내고, 비디오 처리에 대한 사용자 선호도에 기반하여 증가 또는 감소될 수 있다.

움직임 감지 모듈(122)은 움직임 특징 추출 유닛(122a), 움직임 평가 유닛(122b), 데이터 매칭 유닛(122c) 및 타원 설정 유닛(122d)을 포함한다.

움직임 특징 추출 유닛(122a)은 움직임 감지 알고리즘을 통해 프레임 대 아기 신체 영역에 대한 비율, 즉 프레임의 총 픽셀에 대해 아기 신체 영역을 분할하여 계산하고, 분할된 아기 신체 영역에서 움직임 특징을 추출한다. 이때, 움직임 특징 추출 유닛(122a)은 아기 신체 영역을 분할하면 아기가 누워있는 변화나 움직임이 유일한 영역 계산시 처리 시간을 절약할 수 있고, 그로 인해 비용도 절감될 수 있다.

움직임 평가 유닛(122b)은 추출된 움직임 특징에 기초한 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출한다. 즉, 움직임 평가 유닛(122b)은 움직임 영역을 전문 데이터와 매칭하기 이전에 움직임 감지 알고리즘의 결과 값인 이진 움직임 추정 프레임에서 움직임이 감지된 아기의 각 신체 부위를 특정할 수 있다.

데이터 매칭 유닛(122c)은 아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터와 움직임 영역을 매칭하고, 타원 설정 유닛(122d)은 움직임이 감지된 아기 신체 부위에 타원을 설정하는데 움직임 영역의 크기에 기초하여 타원의 크기를 결정한다. 이때, 움직임 영역이 검출된 프레임은 PSNR 값을 이용하여 배경 프레임과 비교될 수 있다.

하기한 표 1은 전문 데이터를 나타내는 것으로서, 연령대별로 아기 신체 부위에 따라 표준 크기이지만, 경우에 따라 연령대별 표준 크기를 초과하는 아기, 연령대별 표준 크기의 미만인 아기들에게 적용될 수 있도록 전문 데이터를 세분화할 수도 있다.

[표 1]

아기 행동 분석 모듈(123)은 관리도 구성 유닛(123a)과 아기 행동 평가 유닛(123b)을 포함한다. 관리도 구성 유닛(123a)은 타원의 수와 크기를 이용하여 움직임 강도, 움직임 다양성 값, 시간에 대한 3차원 정보를 제공하는 아기 행동 관리도를 구성하고, 아기 행동 평가 유닛(123b)은 아기 행동 관리도에 기초하여 비정상 행동 구간과 정상 행동 구간에 대한 아기 행동을 평가한다.

보고 모듈(124)은 경보 감지 유닛(124a)과 알림 통지 유닛(124b)을 포함하고, 경보 감지 유닛(124a)에서 비정상 행동 구간이 검출된 경우에 경보 상태를 감지한 후 알림 통지 유닛(124b)에서 보호자 단말로 아기의 비정상 행동 알림을 즉시 통지한다.

도 3 은 본 발명의 일 실시예에 따른 아기 행동 분석 방법을 설명하는 순서도이다.

도 3을 참조하면, 아기 행동 분석 방법은 아기 수면 장소 또는 아기 활동 장소의 상부에 고정된 카메라 장치(200)로부터 아기 감지 영상이 실시간 입력되는데, 초당 20~30 프레임으로 입력되고 중복됨 프레임이 방지되도록 처리된다(S310).

아기 행동 분석 방법은 사용자에 의해 선택된 임계값(T)에 따라 T개수의 프레임으로 구간 분할을 수행하고(S320), 분할된 구간 중에 특정 구간을 선택한 후 움직임 감지 알고리즘을 이용하여 구간의 각 프레임에 대한 움직임 영역을 검출한다(S330).

아기 행동 분석 방법은 단일 구간의 T개의 프레임에 대해 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정한다(S340).

아기 행동 분석 방법은 해당 구간에 대해 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 구성한다(S350).

아기 행동 분석 방법은 아기 행동 관리도에 기초하여 움직임 강도 또는 움직임 다양성 값이 기설정된 상한 제어 한계값 또는 하한 제어 한계값을 초과하는 복수의 프레임이 포함된 구간인 경우 비정상 행동 구간으로 판단한 후 보호자 단말로 아기의 비정상 행동을 즉시 통보한다(S360, S70). 그러나, 아기 행동 분석 방법은 비정상 행동 구간이 검출되지 않으면 해당 구간을 정상 행동 구간으로 판단한다(S380).

아기 행동 분석 방법은 첫번째 구간부터 마지막 구간까지 단계 S310~S380을 수행함으로써 아기가 수면 상태이거나 활동중일 경우 아기의 움직임을 분석하고, 아기 행동관리도에 기반하여 아기의 정상 행동 또는 비정상 행동을 판별할 수 있다(S390).

도 4는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘을 이용한 움직임 영역 검출 과정을 설명하는 순서도이고, 도 5는 본 발명의 일 실시예에 따른 움직임 감지 알고리즘의 전체 프레임 워크를 나타내는 도면이다.

도 4및 도 5를 참조하면, 움직임 감지 알고리즘은 아기 감지 영상이 2개의 연속 프레임에 적용하여(S410, S420), 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450)을 수행한다.

제1 알고리즘(S430)은 움직임 변경을 계산하기 위해 연속되는 2개의 프레임 간의 절대차를 계산하고(S431), 움직임이 없는 픽셀을 억제한 결과 이미지를 2진수로 변환하기 위해 임계값을 적용한다(S432). 이러한 제1 알고리즘(S430)은 이진 변환된 움직임 추정 프레임을 출력한다(S433).

제2 알고리즘(S440)은 연속되는 2개의 프레임에 전처리를 수행한 후(S441), 연속되는 2개의 프레임들 사이의 광학 흐름을 계산한 후 이진 변환된 움직임 추정 프레임을 출력한다(S442, S443).

제3 알고리즘(S450)은 마지막 프레임과 첫 번째 프레임의 배경 감산을 통해 비교하여 이진 변환된 움직임 추정 프레임을 출력하는데, 이때 감산된 이미지의 임계값을 지정한다(S451, S452, S453).

움직임 감지 알고리즘은 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450)을 통해 출력되는 이진 움직임 추정 프레임들을 2진수 픽셀들간에 논리적 연산(예를 들어, AND)을 통해 통합하여 최종 움직임 추정 프레임을 계산할 수 있다(S460, S470). 이때, 움직임 알고리즘의 결과값인 최종 움직임 추정 프레임은 움직임 특징으로 추출된다.

이와 같이, 움직임 감지 알고리즘은 제1 알고리즘(S430), 제2 알고리즘(S440) 및 제3 알고리즘(S450) 중 적어도 하나 이상의 알고리즘을 조합하는 하이브리드 방식으로 구현될 수 있다.

한편 도 4 및 도 5의 단계 S410 내지 S470은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.

도 6은 본 발명의 일 실시예에 따른 아기 행동 분석 방법의 분석 과정 개요를 설명하는 도면이고, 도 7은 단일 구간의 아기 행동 관리도를 설명하는 예시도이다.

도 6을 참조하면, 아기 행동 분석 방법은, 아기 감지 영상이 입력되면 거리 정보를 이용하여 배경에서 아기 신체 영역만을 분리할 수 있고, 프레임 대 아기 신체 영역의 비율을 계산한 후 아기 신체 부위 별로 움직임 영역을 계산한다.

이때, 각 움직임 영역은 아기 신체 부위별 표준 크기, 즉 전문 데이터와 일치시킨 후에 타원으로 표시한다. 이때, 각 타원은 아기 신체 부위의 크기를 초과할 수 없도록 설정된다. 이러한 타원은 프레임 내에서 발생되는 움직임영역에 기반하여 그려지는 것으로서, 아기가 움직이지 않으면 타원이 그려지지 않는다.

움직임 영역은 이진 움직임 추정 프레임을 반환하는 제1 알고리즘, 제2 알고리즘 및 제3 알고리즘을 사용하여 계산된다. 이진 움직임 추정 프레임에는 동작 영역(흰색 영역)을 포함하고, 움직임 영역은 픽셀 단위 면적으로 계산되어 전문 데이터와 매칭된다. 따라서, 특정한 신체 부위에 움직임이 있는 경우, 해당 신체 부위에 표시되는 타원 크기가 전문 데이터에 설정된 신체 부위 크기를 초과하지 않도록, 움직임 영역을 전문 데이터 매칭한 후에 흰색영역의 픽셀 주변에 타원을 그리게 된다. 흰색 영역의 픽셀의 동일한 영역, 즉 아기의 동일한 신체 부위에 있지만 움직임 강도가 상이한 영역에 2 개의 타원이 표시된 경우, 최대 면적을 갖는 타원을 이후의 처리를 위해 선택한다.

이때, 각 프레임의 움직임 영역에 타원을 그리는 수식은 다음 수학식1과 같다.

[수학식 1]

cv2.circle (frame, (cX1, cY1), 빨강, (0, 255, 255), 3)

cv2.circle (frame, (cX2, cY2), 빨강, (0, 255, 255), 3)

cv2.circle (프레임, (cX3, cY3), 빨강, (0, 255, 255), 3)

상기한 수학식 1은 중심 좌표와 반경을 사용하여 파이썬 OpenCV(OpenCV(Open Source Computer Vision)에서 타원을 그리는 것을 일례로 설명한 것으로서, 파이썬 OpenCV 방식 외에도 다양한 실시간 이미지 프로세싱 방식을 통해 타원을 그릴 수 있다. 수학식 1에서 코드의 중심 좌표는 ([cX1, cY1], [cX2, cY2], [cX3, cY3])이고, 반지름은 빨강이 되며, 나머지 부분은 타원의 색과 선의 길이를 타나내는 것이다.

아기 행동 분석 방법은 타원의 수와 크기를 이용하여 아기 행동 관리도를 구성하는데, 타원의 크기(움직임 영역의 크기)에 비례하여 강도를 표시하고, 타원 개수(움직임 영역의 수)에 비례하여 다양성을 나타내고, 한 프레임 내에 타원의 수가 많을 경우에 최대 움직임 영역이 있는 타원을 플로팅 대상으로 선택한다.

도 7에 도시된 바와 같이, 아기 행동 관리도는 단일 구간 동안의 움직임 행동을 나타내는 것으로서, 챠트에 표시된 점들은 한 구간의 두 연속 프레임 사이의 움직임 차이에 기초하여 표시된다.

아기 행동 관리도에는 한도가 초과되어 보호자 단말에 아기의 비정상적인 행동에 대해 통보하기 위한 상한 제어 한계값(UCL)과 하한 제어 한계값(LCL)이 설정되어 있다. 상한 제어 한계값은 매우 높은 강도와 다양성 값을 나타내는 것이고, 하한 제어 한계값은 매우 낮거나 감지할 수 없는 움직임에 대한 강도와 다양성 값을 나타내는 것이다.

따라서, 아기 행동 분석 방법은 아기 행동 관리도의 상한 제어 한계값과 하한 제어 한계값을 초과하는 다수의 프레임이 포함된 구간이 있는 경우에, 해당 구간을 비정상 행동 구간으로 표시한다.

도 8은 구간별 아기 행동 관리도를 나타내는 예시도이고, 도 9는 아기 행동 관리도를 3차원 그래프를 사용하여 표현한 예시도이다.

도 8을 참조하면, 구간 1과 구간 2에 대한 아기 행동 관리도는 아기 움직임이 상한 제어 한계값과 하한 제어 한계값 이내에 있으므로 아기 행동은 정상 상태로서 구간 1 및 구간 2는 정상 행동 구간으로 판단한다.

구간 3에 대한 아기 행동 관리도는 첫번째 프레임의 움직임 영역이 상한 제어 한계값의 경계선에 위치하고, 동일한 구간의 나머지 프레임의 움직임 영역들이 상한 제어 한계값을 모두 초과하고 있으므로, 구간 3은 비정상 행동 구간으로 판단하여 보호자 단말에 즉시 알림 통보를 수행한다.

구간 4에 대한 아기 행동 관리도는 첫번째 프레임, 두번째 프레임, 세번째 프레임의 움직임 영역은 정상 상태이고, 네번째 프레임과 다섯번째 프레임의 움직임 영역이 매우 미미하게 하한 제어 한계값을 통과하지 않고 있지만, 전체적으로 구간 4는 정상 행동 구간으로 판단할 수 있다.

도 9를 참조하면, 시간에 대한 단일 구간의 아기 행동 관리도를 3차원 그래프를 사용하여 표현하면, 각 프레임의 움직임 영역은 X축은 움직임 강도, Z축은 움직임 다양성 값, Y축은 시간으로 사용하는 3차원 좌표계에서 점 (시간(T), 강도(I), 다양성(D))으로 표현된다. 아기 행동 관리도는 선택된 현재 구간에서 획득한 움직임의 강도와 다양성 값을 현재 처리된 프레임에 대해 점으로 표시하여 특정 구간에 대해 구성된다.

도 9에 도시된 바와 같이, 두번째 점과 세번째 점은 정상 범위에 있지만, 첫번째 점은 다양성과 강도가 하한 제어 한계값을 넘지 못하고, 네번째 점은 상한 제어 한계값과 교차하는 강도 값을 가지고 있으며, 마지막 점은 다양성과 강도가 상한 제어 한계값을 초과하고 있으므로 해당 구간은 비정상 행동 구간이며, 보호자 단말에 즉시 보고된다.

이상에서 설명한 본 발명의 실시예에 따른 아기 행동 분석 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 아기 행동 분석 시스템
110: 통신 모듈 120:프로세서
130: 메모리 140: 데이터베이스
200 : 카메라 장치 300 : 보호자 단말

Claims

아기 행동 모니터링을 위한 아기 행동 분석 시스템에 의해 수행되는 아기 행동 분석 방법에 있어서,
a) 적어도 하나 이상의 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하는 단계;
b) 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하는 단계;
c) 상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하는 단계;
d) 구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하는 단계; 및
e) 상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 단계를 포함하는 것인, 아기 행동 분석 방법.
제 1 항에 있어서,
상기 임계값은 구간당 프레임의 수를 나타내는 것인, 아기 행동 분석 방법.
제 1 항에 있어서,
상기 카메라 장치가 아기 수면 장소 또는 아기 활동 장소의 상부면에 고정 설치되고,
상기 a) 단계는, 제1 구간의 프레임에서 상기 아기의 위치와 카메라 장치간의 거리 정보가 입력되는 것인, 아기 행동 분석 방법.
제 3 항에 있어서,
상기 b) 단계는, 상기 거리 정보를 이용하여 상기 아기 신체 영역을 감지한 후 각 프레임에서 배경을 감산하여 상기 아기 신체 영역만 추출하는 것인, 아기 행동 분석 방법.
제 1 항에 있어서,
상기 b) 단계는,
상기 프레임 대 상기 아기 신체 영역에 대한 비율을 계산하고, 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출하는 것인, 아기 행동 분석 방법.
제 5 항에 있어서,
상기 움직임 감지 알고리즘은,
연속되는 복수 개의 프레임간의 절대차를 계산하여 이진 움직임을 추정하는 제1 알고리즘, 연속되는 복수 개의 프레임들 사이의 광학 흐름을 계산하여 이진 움직임을 추정하는 제2 알고리즘, 마지막 프레임과 첫 번째 프레임을 배경 감산을 통해 비교한 후 이진 움직임을 추정하는 제3 알고리즘 중 적어도 하나 이상의 알고리즘을 통해 추출된 이진 움직임이 추정된 이진 영상을 이진수 픽셀들간에 논리 연산으로 통합하여 최종 움직임 픽셀 정보를 포함하는 움직임 영역을 제공하는 것인, 아기 행동 분석 방법.
제 6 항에 있어서,
상기 제1 알고리즘 또는 제3 알고리즘은, 움직임이 없는 픽셀 정보를 억제하여 결과 이미지를 이진수로 변환하기 위한 임계값을 적용하는 것인, 아기 행동 분석 방법.
제 1 항에 있어서,
상기 c) 단계는,
아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터를 저장하고,
상기 움직임 영역을 상기 전문 데이터와 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 것인, 아기 행동 분석 방법.
제 8 항에 있어서,
상기 타원의 크기는 아기 신체 부위의 크기를 초과하지 않도록 결정되는 것인, 아기 행동 분석 방법.
제 1 항에 있어서,
상기 d) 단계는, 상기 타원의 수와 크기를 이용하여 아기 행동 관리도를 생성하되, 상기 아기 행동 관리도는 움직임 강도, 움직임 다양성 값, 시간에 대한 정보를 포함하는 3차원 정보를 제공되는 것인, 아기 행동 분석 방법.
적어도 하나 이상의 카메라 장치를 이용한 아기 행동 분석 시스템에 있어서,
아기 움직임에 대한 실시간 아기 행동 분석 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 카메라 장치를 통해 입력된 아기 감지 영상을 사용자에 의해 설정된 임계값에 따라 복수의 구간들로 분할하고, 각 구간 내 프레임에서 아기 신체 영역과 배경을 분리한 후 상기 아기 신체 영역에서 움직임 영역을 검출하고,
상기 검출된 움직임 영역에 대해 움직임이 감지되는 아기 신체 부위마다 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 상기 타원의 크기를 설정하며,
구간별로 시간에 따라 변화되는 타원의 개수 또는 크기를 표시하는 아기 행동 관리도를 제공하고, 상기 아기 행동 관리도에 기초하여 기설정된 상한 제어 한계값 보다 크거나 하한 제어 한계값 보다 작은 복수의 프레임이 포함된 구간인 비정상 행동 구간을 검출하며,
상기 비정상 행동 구간이 검출되지 않으면 정상 행동 구간으로 판단하고, 상기 비정상 행동 구간이 검출되면 보호자 단말로 아기의 비정상 행동을 통보하는 것인, 아기 행동 분석 시스템.
제 11 항에 있어서,
상기 프로세서는,
상기 아기 감지 영상을 상기 임계값에 따라 복수의 프레임을 포함하는 구간으로 분할하고, 상기 카메라 장치에서 아기의 위치까지의 거리 정보에 기반하여 프레임별로 아기 신체 영역과 배경을 분리하는 구간 처리 모듈;
상기 프레임 대 상기 아기 신체 영역에 대한 비율을 계산하고, 움직임 감지 알고리즘을 이용하여 움직임 영역을 검출하며, 아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터와 상기 검출된 움직임 영역을 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 상기 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 움직임 감지 모듈;
상기 타원의 수와 크기를 이용하여 움직임 강도, 움직임 다양성 값, 시간에 대한 3차원 정보를 제공하는 아기 행동 관리도를 생성하고, 상기 아기 행동 관리도에 기초하여 비정상 행동 구간과 정상 행동 구간에 대한 아기 행동을 평가하는 행동 분석 모듈; 및
상기 비정상 행동 구간이 검출된 경우에 경보 상태를 감지하여 상기 보호자 단말로 아기의 비정상 행동 알림을 즉시 통지하는 보고 모듈을 포함하는 것인, 아기 행동 분석 시스템.
제 12 항에 있어서,
상기 카메라 장치는 아기 수면 장소 또는 아기 활동 장소의 상부면에 고정 설치되고,
상기 구간 처리 모듈은 제1 구간의 프레임에서 상기 아기의 위치와 카메라 장치간의 거리 정보가 입력되고, 상기 거리 정보를 이용하여 상기 아기 신체 영역을 감지한 후 각 프레임에서 배경을 감산하여 상기 아기 신체 영역만 추출하는 것인, 아기 행동 분석 시스템.
제 12 항에 있어서,
상기 움직임 감지 모듈은,
연속되는 복수 개의 프레임간의 절대차를 계산하여 이진 움직임을 추정하는 제1 알고리즘, 연속되는 복수 개의 프레임들 사이의 광학 흐름을 계산하여 이진 움직임을 추정하는 제2 알고리즘, 마지막 프레임과 첫 번째 프레임을 배경 감산을 통해 비교한 후 이진 움직임을 추정하는 제3 알고리즘 중 적어도 하나 이상의 알고리즘을 통해 추출된 이진 움직임이 추정된 이진 영상을 이진수 픽셀들간에 논리 연산으로 통합하여 최종 움직임 픽셀 정보를 포함하는 움직임 영역을 제공하는 것인, 아기 행동 분석 시스템.
제 14 항에 있어서,
상기 제1 알고리즘 또는 제3 알고리즘은, 움직임이 없는 픽셀 정보를 억제하여 결과 이미지를 이진수로 변환하기 위한 임계값을 적용하는 것인, 아기 행동 분석 시스템.
제 12 항에 있어서,
상기 움직임 감지 모듈은,
아기 연령대별로 아기 신체 부위에 따라 표준 크기가 설정된 전문 데이터를 데이터베이스에 저장하고,
상기 움직임 영역을 상기 전문 데이터와 매칭하여 움직임이 감지된 아기 신체 부위에 타원을 설정하고, 움직임 영역의 크기에 기초하여 타원의 크기를 결정하는 것인, 아기 행동 분석 시스템.