KR101724876B1 - 신생아 영상제공 시스템 및 방법 - Google Patents
신생아 영상제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR101724876B1 KR101724876B1 KR1020150102538A KR20150102538A KR101724876B1 KR 101724876 B1 KR101724876 B1 KR 101724876B1 KR 1020150102538 A KR1020150102538 A KR 1020150102538A KR 20150102538 A KR20150102538 A KR 20150102538A KR 101724876 B1 KR101724876 B1 KR 101724876B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- detected
- newborn
- image data
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 18
- 238000010191 image analysis Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 claims 2
- 210000005069 ears Anatomy 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명에 따르면, 신생아를 대상으로 촬영하여 영상데이터를 획득하는 영상획득부(110)부; 및 상기 영상획득부(110)로부터 수신된 영상데이터를 취합하여 저장하며 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 영상데이터에 포함된 신생아를 객체로 검출하여 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드(Idle Mode)로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드(Run Mode)로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하는 메인단말(120);을 포함하는 신생아 영상제공 시스템을 개시한다.
Description
본 발명은 신생아 영상제공 시스템 및 방법에 관한 것으로, 보다 상세하게는 신생아를 촬영한 영상데이터를 취합 저장하여 통신망을 통해 접속된 클라이언트단말로 전송함으로써 시간과 장소에 구애받지 않고 신생아의 모습을 동영상으로 열람할 수 있도록 한 신생아 영상제공 시스템 및 방법에 관한 것이다.
일반적으로 산부인과나 산후조리원의 경우 면역력이 약한 신생아와 산모의 감염예방을 위해 면회시간 및 회수 제한을 두고 있어 정해지 면회시간에 맞추어 방문해야 하는 불편함이 있었다.
이러한 문제점을 해결하기 위해 종래에는 신생아를 촬영한 영상데이터를 지속적으로 TV로 방송하여 면회시간 이외에도 신생아의 모습을 볼 수 있도록 하기 위한 방송시스템이 개시된 바 있다.
이러한 방송시스템의 경우 지정된 면회시간 이외에도 신생아를 볼 수 있는 장점이 있는 반면에, 방송을 위해서는 신생아를 촬영하고 획득된 영상데이터를 저장한 후 이를 스트리밍하여 방송송출하는 절차가 지속되어야 하였다.
그러나, 일반적으로 신생아는 대부분의 시간동안 취침하고 잠에서 깨어있는 시간이 매우 짧기 때문에 카메라 영상의 대부분의 시간이 아무런 영상의 변화가 없는 무의미한 영상이 입력되고 있으며 이러한 상황에도 시스템이 불필요하게 많은 CPU, 메모리 자원 등의 리소스를 사용하는 문제점이 있었다.
더욱이, 지속적인 영상획득을 위해 많은 네트워크 자원을 사용하여 다채널 영상을 동시 처리할 경우 망부하가 발생될 수 있는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 신생아의 모습을 촬영한 영상데이터를 영상분석하여 신생아의 활동이 미미한 시기에는 낮은 프레임수의 영상데이터가 클라이언트단말로 제공되고, 활동이 활발한 시기에는 동영상을 표현할 수 있는 정도로 높은 프레임수의 영상데이터가 클라이언트로 제공됨으로써 신생아가 웃거나 울거나 하품하는 등의 퍼포먼스 활동모습을 정확하게 열람할 수 있으면서도 데이터 전송량과 시스템 사용량을 최소화하며 각 카메라 채널별 평균시스템 자원 사용률을 줄여 더 많은 카메라 채널을 지원하여도 더 적은 리소스로 안정적인 시스템 동작이 이루어질 수 있는 신생아 영상제공 시스템 및 방법을 제공하는 것에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 신생아 영상제공 시스템은, 신생아를 대상으로 촬영하여 영상데이터를 획득하는 영상획득부(110)부; 및 상기 영상획득부(110)로부터 수신된 영상데이터를 취합하여 저장하며 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 영상데이터에 포함된 신생아를 객체로 검출하여 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드(Idle Mode)로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드(Run Mode)로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하는 메인단말(120);을 포함한다.
여기서, 상기 메인단말(120)은, 상기 영상획득부(110)를 구동제어하여 영상프레임의 획득주기를 조절하되, 상기 아이들 모드로 동작시에는 상기 획득주기가 상대적으로 길어지도록 하며, 상기 런 모드로 동작시에는 정상구동시켜 상기 스트리밍프레임의 영상데이터가 획득될 수 있도록 제어할 수 있다.
또한, 상기 메인단말(120)은, 상기 영상획득부(110)를 통해 획득된 컷프레임의 영상데이터 중 이전 영상프레임과 현재 영상프레임을 비교하여 객체의 검출여부를 판단하고, 객체가 검출되지 않거나 객체 검출 후 연속적인 모션이 감지되지 않으면 상기 아이들 모드가 지속되도록 하며, 객체 검출 후 연속적인 모션이 감지되면 상기 런 모드로 전환하여 스트리밍프레임의 영상데이터를 전송하도록 제어할 수 있다.
또한, 상기 영상획득부(110)는, 촬영된 영상데이터와 함께 음성데이터를 획득하고, 상기 메인단말(120)은, 상기 런 모드로 동작시에는 획득된 음성데이터를 스트리밍프레임의 영상데이터와 매칭시켜 함께 전송하며, 상기 아이들 모드로 동작시에는 상기 컷프레임의 영상데이터만을 전송할 수 있다.
또한, 상기 메인단말(120)은 상기 런 모드로 동작시에는 상기 영상획득부(110)가 음성데이터를 획득하도록 하며, 상기 아이들모드로 동작시에는 음성데이터가 획득되지 않도록 구동제어할 수 있다.
또한, 상기 메인단말(120)은, 상기 영상획득부(110)로부터 획득된 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 신생아의 심박수를 측정하는 심박수측정부(130)를 포함하여 구비되며, 상기 심박수측정부(130)에서 측정된 심박수 데이터를 상기 영상데이터와 함께 매칭시켜 상기 클라이언트단말(20)로 전송할 수 있다.
또한, 상기 심박수측정부(130)는, 상기 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse)데이터를 추출하는 BVP추출부(131)와, 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출부(132)와, 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값선정부(133)와, 각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격들의 중간값이나 평균값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산부(134) 및, 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수환산부(135)를 포함하는 심박수측정부(130)를 포함할 수 있다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 신생아 영상제공 방법은, 영상획득부(110)를 통해 신생아를 대상으로 촬영하여 영상데이터를 획득하는 영상획득 단계(S210); 획득된 영상데이터를 데이터베이스에 저장하는 영상저장 단계(S220); 상기 영상데이터 내에 포함된 신생아를 객체로 검출하는 객체검출 단계(S230); 검출된 객체의 움직임을 감지하는 모션감지 단계(S240); 상기 영상데이터를 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 신생아의 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하는 영상전송 단계(S250);를 포함한다.
본 발명에 따른 신생아 영상제공 시스템 및 방법에 의하면,
신생아의 모습을 촬영한 영상데이터를 영상분석하여 신생아의 활동이 미미한 시기에는 낮은 프레임수의 영상데이터를 클라이언트단말로 제공하고, 활동이 활발한 시기에는 동영상을 표현할 수 있는 정도로 높은 프레임수의 영상데이터를 클라이언트단말로 제공함으로써, 데이터 전송량과 시스템 사용량을 최소화하며 각 카메라 채널별 평균시스템 자원 사용률을 줄여 더 많은 카메라 채널을 지원하여도 더 적은 리소스로 안정적인 시스템 동작이 이루어질 수 있다.
더욱이, 신생아가 취침하거나 움직임이 미미한 영상은 감축되더라도 웃거나 울거나 하품하는 등의 퍼포먼스 활동모습은 일반적인 동영상과 동일한 영상화질을 보장하기 때문에 서비스에 대한 퀄리티를 유지할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 신생아 영상제공 시스템의 구성을 나타낸 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 메인단말의 구성을 나타낸 블럭도,
도 3은 본 발명의 바람직한 실시예에 따른 영상획득부에서 신생아의 모습을 촬영한 사진,
도 4a 및 도 4b는 본 발명의 바람직한 실시예에 따른 신생아 영상제공 시스템의 동작원리를 나타낸 플로우챠트 및 시퀀스표,
도 5는 본 발명의 바람직한 실시예에 따른 심박수측정부의 구성을 나타낸 블럭도,
도 6 및 도 7은 본 발명의 바람직한 실시예에 따른 심박수측정부의 동작원리를 설명하기 위한 그래프,
도 8은 본 발명의 바람직한 실시예에 따른 신생아 영상제공 방법의 순서를 나타낸 순서도이다.
도 2는 본 발명의 바람직한 실시예에 따른 메인단말의 구성을 나타낸 블럭도,
도 3은 본 발명의 바람직한 실시예에 따른 영상획득부에서 신생아의 모습을 촬영한 사진,
도 4a 및 도 4b는 본 발명의 바람직한 실시예에 따른 신생아 영상제공 시스템의 동작원리를 나타낸 플로우챠트 및 시퀀스표,
도 5는 본 발명의 바람직한 실시예에 따른 심박수측정부의 구성을 나타낸 블럭도,
도 6 및 도 7은 본 발명의 바람직한 실시예에 따른 심박수측정부의 동작원리를 설명하기 위한 그래프,
도 8은 본 발명의 바람직한 실시예에 따른 신생아 영상제공 방법의 순서를 나타낸 순서도이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
먼저, 본 발명의 바람직한 실시예에 따른 신생아 영상제공 시스템의 구성 및 기능을 설명하기로 한다.
본 발명의 바람직한 실시예에 따른 신생아 영상제공 시스템은 종래와 같이 신생아의 활동모습은 동영상 형태로 열람할 수 있으면서도 데이터 전송량과 시스템 사용량을 최소화하며 적은 리소스로 안정적인 시스템 동작이 이루어질 수 있는 영상제공 시스템으로서, 도 1에 도시된 바와 같이 영상획득부(110) 및 메인단말(120)을 포함하여 구비된다.
상기 영상획득부(110)는 신생아를 대상으로 촬영하여 영상데이터를 획득하는 촬영수단으로서, 아날로그 카메라, CCTV, IP카메라와 같이 통상적인 영상촬영장치가 이용될 수 있으며, 촬영된 영상데이터는 클라이언트단말(20)에게 제공되기 위한 기초데이터로 이용된다.
여기서, 도면에서와 같이 신생아침대(10)의 일측에 배치되어 신생아의 모습에 대한 영상데이터를 획득하기 위해, 거치대를 통해 신생아침대(10)의 측부에 설치되어 침대 안쪽에 뉘어진 신생아를 촬영하거나, 브라켓을 통해 신생아침대(10)의 측벽 등에 설치되거나 신생아침대(10)에 일체형으로 장착될 수 있다.
또한, 산부인과 등의 병원이나 산후조리원같이 다수의 신생아가 밀집되어 배치된 신생아실인 경우 각 신생아침대(10)마다 1:1로 매칭되게 설치되어 신생아별로 독립된 영상이 확보될 수 있도록 한다.
더불어, 촬영된 영상데이터는 메인단말(120)과 신호연결된 유,무선의 통신라인을 통해 실시간으로 전송되어 저장될 수 있도록 한다.
그리고, 상기 클라이언트단말(20)은 각 신생아의 영상데이터를 수신하여 화면창에 디스플레이하는 통신단말로서, 일반적인 스마트폰, 테블릿 등의 휴대단말이나 PC, 노트북 등과 같이 지정된 통신네트워크를 통해 메인단말(120)에 접속하여 영상데이터를 스트리밍하면서 디스플레이하도록 하는 어플리케이션이 설치된 다양한 단말이 이용될 수 있다.
상기 메인단말(120)은 영상획득부(110)에서 촬영된 영상을 인증된 클라이언트단말(20)로 전송되도록 중앙제어하는 단말로서, 일반적인 PC나 서버 등을 이용할 수 있다.
여기서, 상기 메인단말(120)은 영상획득부(110)로부터 수신된 영상데이터를 취합하여 저장하며 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 영상데이터에 포함된 신생아를 객체로 검출하여 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드(Idle Mode)로 동작하여 초단위(예를 들면, 1.0s)로 컷프레임의 영상프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드(Run Mode)로 동작하여 움직임을 표현할 수 있는 스트리밍프레임(예를 들면, 33ms)의 영상데이터를 전송한다.
도 2에는 메인단말(120)의 기능적 세부 구성이 개시되어 있다. 도 2를 참조하면 상기 메인단말(120)은 객체검출부(121), 모션감지부(122), 영상처리부(123), 데이터베이스(124), 카메라제어부(125), 통신부(126), 단말인증부(127) 및 심박수측정부(130)를 포함하여 구비된다.
상기 객체검출부(121)는 영상데이터 내에서 신생아를 객체로 인식하여 검출하는 수단으로서, 도 3에 도시된 바와 같이 영상데이터를 영상 처리(Image processing)하여 신생아의 얼굴 상에서 눈,코,입,귀 및 머리카락 등의 특징점을 찾아서 신생아의 얼굴을 검출한다. 신생아의 얼굴의 배경(Background)이 되는 부분은 많이 바뀌지 않는 영역이므로 이를 이용하여 전경(Foreground)인 신생아의 얼굴을 찾는데 활용하는 것이 가능하다.
여기서, 신생아 얼굴의 관심 영역의 경우 신생아 얼굴의 좌우,상하 크기의 1,2배 내지 1.5배로 설정하는 것이 가능하며, 이러한 구성을 통해 해당 객체의 추적 객체 모델링을 통해서 얼굴관심영역 내에서 신생아 얼굴을 실시간으로 추적할 수 있다.
상기 모션감지부(122)는 검출된 객체의 움직임여부를 감지하는 구성으로서, 영상데이터 내에서 객체검출부(121)에 의해 검출된 신생아에 대한 전후 영상프레임을 비교하여 신생아의 움직임을 감지하고 움직임량을 측정함으로써 기저장된 모션판단 기준데이터와 측정된 움직임량을 비교하여 모션발생 여부를 정확하게 구별할 수 있다.
상기 영상처리부(123)는 모션감지에 따라 클라이언트단말(20)로 제공되는 영상의 프레임수를 조절하여 출력되도록 제어하는 구성으로서, 검출된 객체로부터 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하도록 제어한다.
상기 데이터베이스(124)는 영상획득부(110)에서 수신된 영상데이터를 포함하여 신생아 영상제공 시스템의 구동시키기 위한 각종 데이터가 저장되는 데이터 저장매체이다.
상기 카메라제어부(125)는 영상획득부(110)에서 촬영되는 영상프레임수를 조절하는 제어수단이다.
상기 통신부(126)는 영상처리부(123)의 제어에 따라 통신망을 통해 접속된 클라이언트단말(20)에게 영상데이터를 전송하는 통신수단이다.
상기 단말인증부(127)는 아이디 및 비밀번호 매칭여부 등의 기설정된 인증기준에 따라 접속된 클라이언트단말(20)을 인증하여 선택적으로 영상데이터를 전송할 수 있도록 하는 보안수단이다.
상기 심박수측정부(130)는 영상데이터를 영상분석하여 안면화소값을 통해 심박수를 측정하는 수단이며, 영상데이터와 함게 심박수 정보를 제공할 수 있도록 하기 위한 기초데이터를 제공한다.
이러한 메인단말(120)의 각 구성을 통해 도 4a 및 도 4b에 도시된 바와 같이 먼저, 영상데이터 내에서 유의미한 큰 변화(BiG Change)가 있는지를 판단하는데, 여기서 큰 변화는 신생아침대(10)에 뉘어진 신생아의 부재여부 또는 신생아의 교체여부에 따른 이미지변화를 의미한다.
즉, 기존의 신생아와 현재의 신생아가 동일한 인물인지 또는 신생아가 존재하는 중에 부재하게 되었는지 또는 부재 중에 존재하게 되었는지를 판단한다.
이후, 큰 변화가 있는 경우 객체검출부(121)를 통해 영상데이터 내에서 검출되는 객체의 존재여부를 판단하며 존재시에는 해당 객체의 모션여부를 판단하고 부재시에는 아이들 모드로 동작되도록 제어한다.
또한, 모션여부를 판단하여 모션이 감지된 경우 일정시간 내에 반복적인 모션인지를 판단하여 연속적인 모션인 것으로 판단되면 런 모드로 동작되도록 제어하며, 연속적인 모션이 아닌 것으로 판단되면 아이들 모드로 동작되도록 한다.
더불어, 상기 큰 변화후 객체가 검출되지 않으면 해당 신생아침대(10)에는 신생아가 부재한 것으로 판단하여 아이들 모드로 동작되도록 한다.
또한, 상기 메인단말(120)은 영상획득부(110)를 통해 획득된 컷프레임의 영상데이터 중 이전 영상프레임과 현재 영상프레임을 비교하여 객체의 검출여부를 판단하고, 객체가 검출되지 않거나 객체검출후 연속적인 모션이 감지되지 않으면 상기 아이들 모드가 지속되도록 하며, 객체 검출 후 연속적인 모션이 감지되면 상기 런 모드로 전환하여 스트리밍프레임의 영상데이터를 전송하도록 제어한다.
한편, 상기 메인단말(120)은 영상획득부(110)를 구동제어하여 영상프레임의 획득주기를 조절하되, 상기 아이들 모드 동작시에는 상기 획득주기가 상대적으로 길어지도록 하며, 상기 런 모드로 동작시에는 정상구동시켜 스트리밍프레임의 영상데이터가 획득될 수 있도록 한다. 이로 인해 신생아의 모션이 감지되지 않거나 부재중인 경우 높은 프레임수로 영상이 촬영됨으로써 영상획득부(110)에서 메인단말(120)로 전송되는 영상데이터가 불필요하게 과도해지는 것을 미연에 방지할 수 있다.
또한, 상기 영상획득부(110)는 촬영된 영상데이터와 함께 음성데이터를 획득하고, 상기 메인단말(120)은 상기 런 모드로 동작시에는 획득된 음성데이터를 스트리밍데이터의 영상프레임과 매칭시켜 함께 클라이언트단말(20)로 전송하며, 상기 아이들 모드로 동작시에는 상기 컷프레임의 영상데이터만을 전송하도록 제어한다.
더불어, 상기 메인단말(120)은 런 모드로 동작시에는 상기 영상획득부(110)가 음성데이터를 획득하도록 하며, 상기 아이들 모드 동작시에는 음성데이터가 획득되지 않도록 구동제어할 수 있다.
이로 인해, 신생아가 부재중이거나 비활동적인 모션을 보이는 경우 주변의 음성이 영상데이터와 함께 입력되면서 영상획득부(110)에서 메인단말(120)로 또는 메인단말(120)에서 각 클라이언트단말(20)로 전송되는 영상데이터의 부하가 과중해지는 것을 방지할 수 있다.
한편, 상기 메인단말(120)은 심박수측정부(130)를 통해 영상획득부(110)로부터 획득된 영상데이터의 영상분석으로 측정된 안면피부의 화소값을 이용하여 신생아의 심박수를 측정하며, 측정된 심박수 데이터를 상기 영상데이터와 함께 매칭시켜 상기 클라이언트단말(20)로 전송하도록 제어할 수 있다.
보다 구체적으로 설명하면, 도 5에 도시된 바와 같이 상기 심박수측정부(130)는, BVP추출부(131), 피크값후보 추출부(132), 피크값선정부(133), 가중평균값 연산부(134) 및 심박수환산부(135)를 포함하여 구비된다.
여기서, 도 6 및 도 7에 도시된 바와 같이 상기 BVP추출부(131)는 상기 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse)데이터를 추출한다.
상기 피크값후보 추출부(132)는 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하며, 상기 피크값선정부(133)는 시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.
상기 가중평균값 연산부(134)는 각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격들의 중간값이나 평균값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산한하며, 상기 심박수환산부(135)는 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출한다.
보다 구체적으로 설명하면, 상기 심박수측정부(130)는, 상기 영상데이터를 영상분석하여 측정된 신생아의 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse)데이터를 추출하고 추출된 BVP데이터를 이용하여 신생아의 심박수를 산출하며, 신생아의 표정 변화시 발생되는 심박수패턴 기준데이터와 산출된 심박수 데이터를 비교하여 신생아의 표정변화를 판단하고 판단된 결과에 따라 표정변화 구간에 대한 영상데이터를 선택적으로 저장하도록 제어한다.
여기서, 영상획득부(110)에서 획득된 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP데이터(도면에서 상부 곡선그래프)를 추출한다.
또한, 도 6에 도시된 바와 같이 추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하며 시간축선상으로 소정의 폭을 갖는 서브윈도우(도면에서 □ 형상 표시)를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정한다.
이후 도 7에 도시된 바와 같이 각 피크값의 시간간격값(tic)을 측정하고 측정된 시간간격값을 크기순으로 정렬하고 각 시간간격값들의 중간값이나 평균값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하며, 연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출한다. 여기서, 가중평균값이 심박주기이며 단위가 시간(초)이므로 이것을 1분당으로 환산함으로써 심박수를 산출할 수 있다.
여기서, 상기 피크값을 선정함에 있어서, 상기 서브윈도우가 갖는 시간축선상의 폭을 점차적으로 증가시키면서 상기 피크값 선정과정을 소정 횟수 반복한다. 즉, 상기 서브윈도우의 폭을 점차적으로 넓히면서 각 시간간격값(tic)의 편차를 비교하며, 이러한 절차를 통해 피크값 검출을 반복하여 최적의 서브윈도우의 폭을 결정할 수 있게 되며, 시간간격값(tic)의 편차가 가장 적은 서브윈도우를 적용대상으로 지정하여 피크값 선정에 반영한다.
다음으로는 본 발명의 바람직한 실시예에 따른 신생아 영상제공 방법을 설명하기로 한다.
도 8에 도시된 바와 같이 본 발명의 바람직한 실시예에 따른 신생아 영상제공 방법은 영상획득 단계(S210), 영상저장 단계(S220), 객체검출 단계(S230), 모션감지 단계(S240) 및 영상전송 단계(S250)를 포함하여 이루어진다.
먼저, 상기 영상획득 단계(S210)는 영상획득부(110)를 통해 신생아를 대상으로 촬영하여 영상데이터를 획득하는 단계로서, 촬영된 영상데이터는 메인단말(120)과 신호연결된 통신라인을 통해 실시간으로 전송된다.
상기 영상저장 단계(S220)는 영상획득 단계(S210)를 통해 획득된 영상데이터를 데이터베이스(124)에 저장하는 단계이다. 여기서, 상기 영상저장 단계(S220)에서는 영상처리부(123)의 제어에 따라 수신된 영상데이터 전체를 저장하거나 일부만 선택적으로 저장할 수 있다.
상기 객체검출 단계(S230)는 상기 영상데이터 내에 포함된 신생아를 객체로 검출하는 단계로서, 영상데이터 내에서 신생아를 객체로 인식하여 검출하는 수단으로서, 도 3에 도시된 바와 같이 영상데이터를 영상 처리(Image processing)하여 신생아의 얼굴 상에서 눈,코,입,귀 및 머리카락 등의 특징점을 찾아서 신생아의 얼굴을 검출한다.
상기 모션감지 단계(S240)는, 검출된 객체의 움직임여부를 감지하는 단계로서, 검출된 객체의 움직임여부를 감지하는 구성으로서, 영상데이터 내에서 객체검출부(121)에 의해 검출된 신생아에 대한 전후 영상프레임을 비교하여 신생아의 움직임을 감지하고 움직임량을 측정함으로써 기저장된 모션판단 기준데이터와 측정된 움직임량을 비교하여 모션발생 여부를 정확하게 구별할 수 있다.
상기 영상전송 단계(S250)는, 모션감지에 따라 클라이언트단말(20)로 제공되는 영상의 프레임수를 조절하여 출력되도록 제어하는 단계로서, 검출된 객체로부터 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하도록 제어한다.
여기서, 도면에는 포함되지 않았으나 본 발명의 바람직한 실시예에 따른 신생아 영상제공 방법은 상술한 신생아 영상제공 시스템의 각종 기능을 구현하기 위해 음성데이터 저장 및 전송단계, 심박수 측정 단계 등을 더 포함하여 이루어질 수 있는 것은 자명하다.
상술한 신생아 영상제공 시스템 및 방법을 통해, 신생아의 모습을 촬영한 영상데이터를 영상분석하여 신생아의 활동이 미미한 시기에는 낮은 프레임수의 영상데이터를 클라이언트단말로 제공하고, 활동이 활발한 시기에는 동영상을 표현할 수 있는 정도로 높은 프레임수의 영상데이터를 클라이언트단말로 제공함으로써, 데이터 전송량과 시스템 사용량을 최소화하며 각 카메라 채널별 평균시스템 자원 사용률을 줄여 더 많은 카메라 채널을 지원하여도 더 적은 리소스로 안정적인 시스템 동작이 이루어질 수 있다.
더욱이, 신생아가 취침하거나 움직임이 미미한 영상은 감축되더라도 웃거나 울거나 하품하는 등의 퍼포먼스 활동모습은 일반적인 동영상과 동일한 영상화질을 보장하기 때문에 서비스에 대한 퀄리티를 유지할 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10...신생아침대 20...클라이언트단말
110...영상획득부 120...메인단말
121...객체검출부 122...모션감지부
123...영상처리부 124...데이터베이스
125...카메라제어부 126...통신부
127...단말인증부 130...심박수측정부
110...영상획득부 120...메인단말
121...객체검출부 122...모션감지부
123...영상처리부 124...데이터베이스
125...카메라제어부 126...통신부
127...단말인증부 130...심박수측정부
Claims (8)
- 신생아를 대상으로 촬영하여 영상데이터를 획득하는 영상획득부(110)부; 및
상기 영상획득부(110)로부터 수신된 영상데이터를 취합하여 저장하며 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 영상데이터에 포함된 신생아를 객체로 검출하여 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드(Idle Mode)로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드(Run Mode)로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하는 메인단말(120);을 포함하며,
상기 메인단말(120)은,
상기 영상획득부(110)를 구동제어하여 영상프레임의 획득주기를 조절하되, 상기 아이들 모드로 동작시에는 상기 획득주기가 상대적으로 길어지도록 하며, 상기 런 모드로 동작시에는 정상구동시켜 상기 스트리밍프레임의 영상데이터가 획득될 수 있도록 제어하고,
상기 영상획득부(110)를 통해 획득된 컷프레임의 영상데이터 중 이전 영상프레임과 현재 영상프레임을 비교하여 객체의 검출여부를 판단하고, 객체가 검출되지 않거나 객체 검출 후 연속적인 모션이 감지되지 않으면 상기 아이들 모드가 지속되도록 하며, 객체 검출 후 연속적인 모션이 감지되면 상기 런 모드로 전환하여 스트리밍프레임의 영상데이터를 전송하도록 제어하며,
상기 영상획득부(110)는, 촬영된 영상데이터와 함께 음성데이터를 획득하고,
상기 메인단말(120)은, 상기 런 모드로 동작시에는 획득된 음성데이터를 스트리밍프레임의 영상데이터와 매칭시켜 함께 전송하며, 상기 아이들 모드로 동작시에는 상기 컷프레임의 영상데이터만을 전송하며,
상기 메인단말(120)을 통해, 상기 영상데이터를 영상 처리(Image processing)하여 신생아의 얼굴 상에서 눈, 코, 입, 귀 및 머리카락의 특징점을 찾아서 검출한 신생아 얼굴의 실시간 추적함으로써, 영상데이터 내에서 신생아 침대(10)에 뉘어진 신생아의 부재여부 또는 신생아의 교체여부에 따른 이미지변화인 신생아 부재 및 교체 변화가 있는지를 판단하여, 기존의 신생아와 현재의 신생아가 동일한 인물인지 또는 신생아가 존재하는 중에 부재하게 되었는지 또는 부재 중에 존재하게 되었는지를 판단하고, 상기 신생아 부재 및 교체 변화가 있는 경우 상기 메인단말(120)은 객체검출부(121)를 통해 영상데이터 내에서 검출되는 객체의 존재여부를 판단하며 존재시에는 해당 객체의 모션여부를 판단하고 부재시에는 아이들 모드로 동작되도록 제어하며,
상기 신생아 부재 및 교체 변화 후, 상기 메인단말(120)은, 객체가 검출되지 않으면 해당 신생아침대(10)에는 신생아가 부재한 것으로 판단하여 아이들 모드로 동작되도록 하는 것을 특징으로 하는 신생아 영상제공 시스템.
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 메인단말(120)은
상기 런 모드로 동작시에는 상기 영상획득부(110)가 음성데이터를 획득하도록 하며, 상기 아이들모드로 동작시에는 음성데이터가 획득되지 않도록 구동제어하는 것을 특징으로 하는 신생아 영상제공 시스템.
- 제 1항에 있어서,
상기 메인단말(120)은,
상기 영상획득부(110)로부터 획득된 영상데이터의 영상분석을 통해 측정된 안면피부의 화소값을 이용하여 신생아의 심박수를 측정하는 심박수측정부(130)를 포함하여 구비되며, 상기 심박수측정부(130)에서 측정된 심박수 데이터를 상기 영상데이터와 함께 매칭시켜 상기 클라이언트단말(20)로 전송하는 것을 특징으로 하는 신생아 영상제공 시스템.
- 제 6항에 있어서,
상기 심박수측정부(130)는,
상기 영상데이터를 영상분석하여 신생아의 얼굴영역을 추적하고 안면피부의 화소값을 이용하여 단위시간당 변화하는 BVP(Blood Volume Pulse)데이터를 추출하는 BVP추출부(131)와,
추출된 BVP데이터 상에서 기울기값을 이용하여 피크값후보를 추출하는 피크값후보 추출부(132)와,
시간축선상으로 소정의 폭을 갖는 서브윈도우를 각 피크값후보 위치에 배치하고 각 서브윈도우 내에서 최대 크기를 갖는 피크값후보를 피크값으로 선정하는 피크값선정부(133)와,
각 피크값의 시간간격값을 측정하고 측정된 시간간격값을 크기순으로 정렬하며 각 시간간격들의 중간값이나 평균값에 가중치를 반영하여 시간간격값에 대한 가중평균값을 연산하는 가중평균값 연산부(134) 및,
연산된 가중평균값을 심박주기로 지정하고 시간단위로 환산하여 심박수를 산출하는 심박수환산부(135)를 포함하는 심박수측정부(130)를 포함하는 것을 특징으로 하는 신생아 영상제공 시스템.
- 제 1항, 제 5항 내지 제 7항 중 어느 한 항에서 기재된 신생아 영상제공 시스템을 이용한 신생아 영상제공 방법에 있어서,
영상획득부(110)가 신생아를 대상으로 촬영하여 영상데이터를 획득하는 영상획득 단계(S210);
영상처리부(123)가 획득된 영상데이터를 데이터베이스에 저장하는 영상저장 단계(S220);
메인단말(120)이 상기 영상데이터 내에 포함된 신생아를 객체로 검출하는 객체검출 단계(S230);
상기 메인단말(120)이 검출된 객체의 움직임을 감지하는 모션감지 단계(S240);
상기 메인단말(120)이 상기 영상데이터를 통신망을 통해 접속된 클라이언트단말(20)에게 전송하되, 상기 신생아의 모션이 감지되지 않거나 일시적인 모션이 감지되면 아이들 모드로 동작하여 초단위로 컷프레임의 영상데이터를 전송하며, 연속적인 모션이 감지되면 런 모드로 동작하여 움직임을 표현할 수 있는 스트리밍프레임의 영상데이터를 전송하는 영상전송 단계(S250);를 포함하는 신생아 영상제공 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150102538A KR101724876B1 (ko) | 2015-07-20 | 2015-07-20 | 신생아 영상제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150102538A KR101724876B1 (ko) | 2015-07-20 | 2015-07-20 | 신생아 영상제공 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170010639A KR20170010639A (ko) | 2017-02-01 |
| KR101724876B1 true KR101724876B1 (ko) | 2017-04-10 |
Family
ID=58109322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150102538A KR101724876B1 (ko) | 2015-07-20 | 2015-07-20 | 신생아 영상제공 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101724876B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011130996A (ja) * | 2009-12-25 | 2011-07-07 | Denso Corp | 生体活動計測装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030072647A (ko) | 2002-03-06 | 2003-09-19 | 주식회사 오피소프트 | 산후조리원 신생아 영상전송 및 산후조리원내 방송에 관한방송 시스템 서비스 |
| KR101268191B1 (ko) * | 2012-09-07 | 2013-05-27 | 백정호 | 사람 감지 여부에 따른 전기기기 전원 제어 장치 및 방법 |
| KR101373274B1 (ko) * | 2012-11-08 | 2014-03-11 | 주식회사 크라스아이디 | 안경 제거를 통한 얼굴 인식 방법 및 상기 안경 제거를 통한 얼굴 인식 방법을 이용한 얼굴 인식 장치 |
| KR101479271B1 (ko) * | 2013-04-17 | 2015-01-05 | 주식회사 제론헬스케어 | 신생아 정보 전송 시스템 및 방법 |
-
2015
- 2015-07-20 KR KR1020150102538A patent/KR101724876B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011130996A (ja) * | 2009-12-25 | 2011-07-07 | Denso Corp | 生体活動計測装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170010639A (ko) | 2017-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11032457B2 (en) | Bio-sensing and eye-tracking system | |
| KR100776801B1 (ko) | 화상 처리 시스템에서의 제스처 인식 장치 및 방법 | |
| US8605961B2 (en) | Method and apparatus for determining a physiological parameter using a fingerprint sensor on a portable electronic device | |
| US11029830B2 (en) | Display control apparatus, display controlling method and display control program for providing guidance using a generated image | |
| CN107169419B (zh) | 基于机器视觉的非接触式人体体征检测方法及装置 | |
| US20230000358A1 (en) | Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods | |
| JP5072655B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| US10325144B2 (en) | Wearable apparatus and information processing method and device thereof | |
| KR20090001848A (ko) | 얼굴표정 감시 방법 및 얼굴표정 감시 시스템 | |
| JP2020120908A (ja) | 精神状態推定システム、精神状態推定方法、及び、プログラム | |
| WO2020015629A1 (zh) | 一种图像获取的方法、装置及终端 | |
| CN112022096A (zh) | 一种睡眠状态监测方法及装置 | |
| KR101741904B1 (ko) | 영상기반의 심박수 측정방법 및 이를 이용한 신생아 영상 시스템 | |
| WO2022184084A1 (zh) | 一种皮肤检测方法和电子设备 | |
| CN108986405A (zh) | 一种基于Zigbee网关的多参数控制方法 | |
| CN106974626A (zh) | 脉搏监测机器人 | |
| JP2014140587A (ja) | 自律神経機能評価装置、自律神経機能評価システム、自律神経機能評価サーバー、自律神経機能評価端末装置、自律神経機能評価装置プログラム、自律神経機能評価サーバープログラム、および、自律神経機能評価端末プログラム | |
| KR101724876B1 (ko) | 신생아 영상제공 시스템 및 방법 | |
| CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US11227148B2 (en) | Information processing apparatus, information processing method, information processing program, and information processing system | |
| KR102403012B1 (ko) | 개인 맞춤형 뷰티솔루션 제공을 위한 뷰티미러 및 그 미러의 구동방법 | |
| KR102558259B1 (ko) | 초음파 진단 장치의 제어 방법 및 초음파 진단 장치 | |
| WO2020015145A1 (zh) | 一种检测眼睛睁闭状态的方法及电子设备 | |
| JP7443044B2 (ja) | 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| GRNT | Written decision to grant |