KR20120036638A - Healthcare system integrated muti kinds sensor - Google Patents
Healthcare system integrated muti kinds sensor Download PDFInfo
- Publication number
- KR20120036638A KR20120036638A KR1020100098418A KR20100098418A KR20120036638A KR 20120036638 A KR20120036638 A KR 20120036638A KR 1020100098418 A KR1020100098418 A KR 1020100098418A KR 20100098418 A KR20100098418 A KR 20100098418A KR 20120036638 A KR20120036638 A KR 20120036638A
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- signal
- data
- board
- sensors
- Prior art date
Links
- 238000001931 thermography Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000036772 blood pressure Effects 0.000 claims description 6
- 208000008784 apnea Diseases 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000036387 respiratory rate Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 230000036760 body temperature Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Child & Adolescent Psychology (AREA)
- Theoretical Computer Science (AREA)
- Emergency Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
본 발명은 바이오 레이더, 열화상카메라, 마이크, 영상카메라를 포함하는 다종센서에서 감지된 생체신호를 하나의 데이터융합보드에서 일체로 수신하여 각 ID별로 복수 피측정자들의 생체신호를 수치화하여 저장하고, 이를 통해 피측정자들의 건강을 무접촉 방식으로 실시간 지속적 관리가 가능한 다종센서를 융합관리하는 헬스케어 시스템에 관한 것이다.
The present invention receives the bio-signals detected by multiple sensors including a bio radar, a thermal imaging camera, a microphone, a video camera integrally in one data fusion board and numerically stores and stores the bio-signals of a plurality of subjects for each ID, Through this, it relates to a healthcare system that converges and manages multiple sensors capable of real-time continuous management of the health of the subjects in a contactless manner.
의학 기술이 발달함에 따라 원격지에서 환자의 생체신호를 모니터링하기 위한 노력이 계속되고 있다. 예를 들어, 심장에 관계된 질병과 상태를 진단하기 위한 심전도 모니터링 시스템은 단시간 동안의 심전도 파형을 안내하므로, 간헐적으로 발생하는 부정맥 등과 같은 심장 이상을 관찰하기 위해서는 이를 연속적으로 장기간 기록하여 분석할 필요성이 요구되었다. As medical technology advances, efforts are being made to monitor the biosignals of patients remotely. For example, an ECG monitoring system for diagnosing heart-related diseases and conditions guides the ECG waveform for a short time, so it is not necessary to continuously record and analyze it continuously in order to observe cardiac abnormalities such as intermittent arrhythmias. Was required.
또한, 가정 등에서 수면 무호흡 등으로 인해 급박한 위험성이 발생한 경우에는 이를 대처할 어떠한 수단도 제시되지 못하였다.
In addition, if there is an urgent danger due to sleep apnea at home, etc., no means have been proposed to cope with this.
종래에는 피측정자의 생체신호를 실시간 측정이 불가능함은 물론이며 피측정자가 위급한 상태일 때에 이에 대한 조치를 바로 취할 수 없는 문제가 있었으며, 이를 개선하기 위해 다양한 연구개발이 지속되고 있다. Conventionally, there is a problem that it is not possible to measure the biological signal of the subject in real time, and that the measure cannot be taken immediately when the subject is in an emergency, and various research and development have been continued to improve this.
특허출원 제10-1995-0029913호 (발명의 명칭: 무선통신망을 이용한 실시간 생체신호 모니터링 시스템; 이하, '선행특허기술'이라 함)에서는 생체신호 측정장치를 통해 환자의 생체신호를 계속적으로 체크하여 이상이 있음을 나타낼 때만 무선 통신망을 통해 실시간으로 병원의 생체신호 모니터 서버장치로 전송하고, 병원의 생체신호 모니터링 센터에서 진단 및 응급 처치방법을 실시간으로 환자의 생체신호 측정장치로 전송함으로써, 환자의 질병에 대한 진단 및 예방이 가능하도록 한 기술을 개시한다.Patent Application No. 10-1995-0029913 (name of the invention: a real-time biosignal monitoring system using a wireless communication network; hereinafter referred to as a 'prior patent technology') by continuously checking the patient's biosignal through a biosignal measuring device Only when there is an abnormality is transmitted to the biosignal monitor server device of the hospital in real time through a wireless communication network, and the diagnostic and first aid methods in the hospital's biosignal monitoring center in real time to the patient's biosignal measuring device, Disclosed are techniques that enable the diagnosis and prevention of diseases.
그러나, 위 선행특허기술에서는 별도의 생체신호 측정장치에 의해 환자의 이상시에만 병원으로 무선 전송하는 방식으로서 일정기간 지속적인 관찰이 불가능하며, 복수의 피측정자에 동시 적용이 불가능한 문제점이 있다.
However, in the above prior patent technology, as a method of wirelessly transmitting to the hospital only when a patient has an abnormality by a separate biosignal measuring apparatus, continuous observation is impossible for a certain period of time, and there is a problem in that it cannot be simultaneously applied to a plurality of subjects.
본 발명은 바이오 레이더, 열화상카메라, 마이크, 영상카메라를 포함하는 다종센서에서 감지된 생체신호를 하나의 데이터융합보드에서 일체로 수신하여 각 ID별로 복수 피측정자들을 구분하여 각 피측정인의 생체신호를 수치화하여 저장하고, 이를 통해 피측정자들의 건강을 무접촉 방식으로 실시간 관리할 수 있는 다종센서를 융합관리하는 헬스케어 시스템을 제공함에 그 목적이 있다. According to the present invention, a biosignal detected by a multi-sensor including a bio radar, a thermal imaging camera, a microphone, and an image camera is integrally received from one data fusion board, thereby distinguishing a plurality of subjects by each ID. It is an object of the present invention to provide a healthcare system that converges and manages multiple sensors that can quantify and store signals, thereby real-time managing the health of the subjects in a contactless manner.
또한, 본 발명은 가정에 설치된 시스템의 각 데이터융합보드에서 소정의 신호처리과정을 거친 생체신호를 이더넷을 통해 외부서버로 전송함으로써, 외부의 관리기관 또는 재난방재 또는 공공 또는 사설 긴급구난체계에서 각 가정을 통합관리할 수 있는 다종센서를 융합관리할 수 있는 헬스케어 시스템으 제공함에 다른 목적이 있다.
In addition, the present invention transmits a bio-signal that has undergone a predetermined signal processing process in each data fusion board of a system installed in a home to an external server via Ethernet, so that each management agency or disaster prevention or public or private emergency rescue system Another purpose is to provide a healthcare system that can convergely manage multiple types of sensors that can manage homes.
본 발명은 바이오 레이더와 열화상카메라와 마이크와 영상카메라를 포함하는 다종센서에서는 주변상황에 따라 발생된 전기적 신호를 데이터융합보드로 전달하고, 신호제어를 위한 CPU와 RAM과 ROM 및 현장프로그래머블게이트어레이(field programmable gate array; FPGA)가 구비된 데이터융합보드에서는 신호처리보드를 통해 상기 다종센서에서 전달된 전기적 신호에서 노이즈를 제거하고 필요한 영역을 증폭하는 신호처리과정을 거쳐 DxR(Daily health Recorder)로 전달하며, 상기 DxR에서는 데이터융합보드로부터 전달된 변환신호에 따라 피측정자의 생체신호 분석하고 생체신호를 수치화하여 저장 및 출력하는 것을 그 기술적 특징으로 한다.
In the present invention, a multi-sensor including a bio radar, a thermal imaging camera, a microphone, and an imaging camera transfers electrical signals generated according to surrounding conditions to a data fusion board, a CPU, RAM, ROM, and field programmable gate array for signal control. In the data fusion board equipped with a field programmable gate array (FPGA), a signal processing board removes noise from the electrical signals transmitted from the multiple sensors and amplifies necessary areas to a DxR (Daily Health Recorder). In the DxR, the technical characteristics include analyzing the biosignal of the subject according to the converted signal transmitted from the data fusion board, digitizing the biosignal, and storing and outputting the digital signal.
본 발명에 의한 다종센서를 융합 관리하는 헬스케어 시스템은 가정, 사무실 또는 차량 등에 설치되어 바이오레이더, 열화상카메라, 마이크, 영상카메라를 포함하는 다종센서에 전달된 정보를 통해 피측정자의 생체신호를 무접촉 방식으로 실시간(real time) 감시할 수 있게 되며, 이를 일정기간동안 저장하고 normalizing하여 그 데이터를 분석함으로써 보다 효율적인 건강 점검을 가능하게 한다. The healthcare system for converging and managing multiple sensors according to the present invention is installed in a home, office or vehicle, and the biosignal of the subject through information transmitted to the multiple sensors including a bioradar, a thermal imaging camera, a microphone, and an image camera. Real-time monitoring can be performed in a contactless manner, which can be stored for a certain period of time and normalized to analyze the data for more efficient health checks.
특히, 취침시간 동안의 호흡수를 체크하여 갑작스런 무호흡증세에 대한 경보를 발생하거나, 생체신호에 의해 측정된 피측정자의 혈압이 일정기간 동안 감지된 평균혈압의 기준치보다 일정 임계치 이상 급변하는 등의 긴급한 건강 이상 증세에 대해 신속하게 대처할 수 있게 한다. In particular, the respiratory rate during bedtime is checked to generate an alarm for sudden apnea, or the blood pressure of the subject measured by the biosignal changes suddenly by a certain threshold or more than the reference value of the average blood pressure detected for a certain period of time. Allows you to respond quickly to health problems.
도 1은 본 발명에 의한 다종센서 융합시스템을 개략적으로 나타낸 구성도,
도 2는 본 발명에서 열화상카메라와 마이크와 영상카메라에서 전달된 생체신호에 의해 피측정자의 위치정보 및 ID를 확인하는 과정을 개략적으로 나타낸 블록도,
도 3은 본 발명의 DxR에서 ID와 단기상태를 출력하는 것을 개략적으로 나타낸 블록도,
도 4는 본 발명에 의한 다종센서 융합시스템의 사용상태 모식도.1 is a schematic view showing a multiple sensor fusion system according to the present invention;
FIG. 2 is a block diagram schematically illustrating a process of confirming location information and ID of a subject by a biological signal transmitted from a thermal imaging camera, a microphone, and an imaging camera in the present invention; FIG.
3 is a block diagram schematically illustrating outputting an ID and a short-term state in DxR of the present invention;
Figure 4 is a schematic view of the state of use of the multi-sensor fusion system according to the present invention.
본 발명의 바람직한 실시 예를 첨부된 도면을 통해 상세히 설명한다.Preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 다종센서를 융합 관리하는 헬스케어 시스템은 도 1에 도시된 바와 같이, 마이크(30)와 영상카메라(40)를 이용하여 개별 피측정인을 식별하고, 인체의 심박 및 호흡을 감지하여 전기적 신호로 변환하는 바이오 레이더(10)와, 주변에 있는 사람의 체온을 감지하여 자세 및 체온 정보를 추적하고 인체의 전체적인 열분포를 검출하는 열화상카메라(20)와, 주변에 있는 사람의 음성을 인식하여 전기적 신호로 변환하는 마이크(30)와, 상기 열화상 카메라(20)와 마이크(30)에서 검출된 사람의 위치를 추적하여 얼굴 촬영을 통한 사용자 인식 및 자세 분석을 하는 영상카메라(40)를 포함하는 다종센서의 감지신호를 데이터융합보드(100)에서 일괄적으로 신호처리하여 DxR(200)에 저장하고, 이를 통해 개인의 건강정보를 통합관리함에 그 기술적 특징이 있다.
As shown in FIG. 1, the healthcare system for fusion management of the multiple sensors of the present invention identifies individual subjects by using the
본 발명의 시스템이 설치된 일정 공간내에 피측정자가 진입하면 바이오 레이더(10)와 열화상카메라(20)와 마이크(30)와 영상카메라(40)를 포함하는 다종센서에서는 개별 피측정자로부터 감지된 생체신호를 데이터융합보드(100)로 전달한다.
When the subject enters a predetermined space in which the system of the present invention is installed, the
상기 데이터융합보드(100)에서는 신호제어를 위한 CPU와 RAM과 ROM 및 현장프로그래머블게이트어레이(Field Programmable Gate Array; FPGA)가 구비되어 있으며, 상기 데이터융합보드(100)에서 융합된 다종센서의 신호들은 에프피디피(Front Pannel Data Port; FPDP)에 의해 DxR(Daily health Recorder)(200)로 전달된다. The
이때, 데이터융합보드(100)에서는 신호처리보드(100)를 통해 상기 다종센서에서 전달된 전기적 신호에서 노이즈를 제거하고 필요한 영역을 증폭하는 신호처리과정을 거쳐 DxR(200)로 전달하며, 상기 DxR(200)에서는 데이터융합보드(100)로부터 전달된 변환신호에 따라 피측정자의 생체신호 분석하고 건강상태를 수치화하여 저장 및 출력하게 된다.
In this case, the
상기 ROM에는 피측정자에 따라 구분되는 ID와, 각 ID에 해당하는 기본데이터가 저장되어 복수의 사용자(예를 들어 가족구성원 일체)에 따라 구분하여 생체신호를 저장하게 되며, FPGA(Field-Programmable Gate Array)는 프로그램이 가능한 로직 칩으로서, 본 발명에 적용되는 신호처리의 알고리즘이 프로그램되어 있다. In the ROM, IDs classified according to a subject and basic data corresponding to each ID are stored, and the biosignals are stored according to a plurality of users (for example, all family members) and stored in a biological field. Array) is a programmable logic chip in which an algorithm for signal processing applied to the present invention is programmed.
따라서, 상기 씨피유에서는 FPGA에 저장된 알고리즘에 따라 신호처리보드(110)에서 신호처리과정을 거친 피측정자의 신호와 ROM의 기본데이터를 비교하여 ID에 따라 복수의 피측정자에 대한 생체신호를 DxR(200)에 구분하여 저장한다.
Accordingly, the CPI compares the signal of the subject subjected to the signal processing in the
상기 에프피디피는 센서 프로세싱 시스템에서 외부부품과 32비트 동기 데이타 전송이 가능한 전송 인터페이스로서, 최소의 소프트웨어 요구사항하에 하나의 송신기에서 다수의 수신기로 동시 전송이 가능하며, 저렴한 리본케이블만으로도 VME(Versa Module Eurocard) 또는 PMC(PCI Mezzanine Card)과 같은 다른 기술들의 프론트패널을 최대전송속도 160MBps로 접속한다.
The FPD is a transmission interface that enables 32-bit synchronous data transmission with external components in a sensor processing system. Simultaneous transmission from one transmitter to multiple receivers with minimum software requirements is possible. The front panel of other technologies such as Eurocard) or PMC (PCI Mezzanine Card) are connected at a maximum transfer rate of 160MBps.
한편, 상기 데이터융합보드(100)에는 외부서버(300)로 측정데이타를 전송할 수 있도록 이더넷(Ethernet)이 구비될 수 있으며, 상기 외부서버(300)에서는 바이오 레이더(10)를 통해 피측정자의 무호흡이 감지되거나, 혈압이 기준치보다 일정 임계치 이상 급변하는 경우(예를 들어, 기준치보다 20% 이상 상승 또는 하강) 구조신호를 발생하여 인근 병원이나 긴급구조기관에 전달하도록 구성될 수 있다. 이에 관한 긴급상황의 경보에 대한 기술적 사항은 종래 공지의 기술이므로 이하 구체적 설명은 생략한다. On the other hand, the
또한, 상기 외부서버(300)에서는 데이터융합보드(100)에서 식별, 분석, 저장된 피측정인의 생체정보를 일정기간 이상 데이터로 저장하여 장기간의 심박, 호흡, 음색, 체온 및 자세등의 변이 동향을 병원 또는 응급기관에 진단의 보조 데이터로 활용할 수 있도록 제공할 수도 있다.
In addition, the
본 발명은 다종의 센서(바이오레이터, 열화상카메라, 마이크, 영상카메라)에서 감지되는 피측정자의 생체신호를 하나의 데이터융합보드(100)에서 일괄처리하여 복수의 피측정자에 따라 구분되는 건강정보 관리시스템을 제공하기 위해 제안된 것이며, 본 발명에 적용된 신호처리보드(110)는 종래 당업계에서 필터를 통해 노이즈를 제거하고, 증폭회로를 통해 원하는 영역을 증폭하는 공지의 기술로서, 이하 구체적인 설명은 생략한다.
The present invention collectively processes the biometric signals of the subjects detected by a plurality of sensors (biographers, thermal imaging cameras, microphones, video cameras) in one
한편, 본 발명에서는 피측정자의 신원을 확인하여 정확한 생체신호를 획득하기 위한 일 실시례로서, 도 2에 도시된 바와 같이 마이크(30)와 영상카메라(40)로 개별 피측정자의 방향을 구분하여 ID를 식별하고, 열화상카메라(20)와 마이크(30) 및 영상카메라(40)에서 전달된 감지신호를 종합하여 위치정보 및 자세등을 분석하게 된다. Meanwhile, in the present invention, as an embodiment for acquiring an accurate biosignal by confirming an identity of a subject, the directions of individual subjects are divided by the
먼저, 마이크(30)를 통해 측정지역에 진입한 사용자의 음성을 획득하여 ROM에 미리 저장되어 있는 음성 ID와 비교한 후, 영상카메라(40)에서 획득한 영상을 다시 ROM에 저장된 얼굴인식(Face Recognizion) ID와 비교하여 피측정자의 ID를 확정한다.First, the voice of a user who enters the measurement area through the
이어서, 열화상카메라(20)를 통해 피측정자의 열화상 body를 추출하고, 영상카메라(40)에서 전달된 영상 face ROI를 추출하고, 마이크(30)에서 전달된 음성방향 direction을 추출하여 피측정자의 위치정보를 확인할 수 있게 된다.
Subsequently, the thermal image body of the subject is extracted through the
상기 열화상 body 추출이란, 열화상카메라에서 촬영된 영상의 국부 열원분포 해석을 통해 Body Shape Matching 기반의 사용자 자세인식 알고리즘이 적용되는 기술로서, 본 발명에서는 이를 응용하여 사용자의 위치를 확인하고, 체온을 측정하게 된다. The thermal image body extraction is a technology in which a user's posture recognition algorithm based on Body Shape Matching is applied through a local heat source distribution analysis of an image photographed by a thermal imaging camera. Will be measured.
상기 영상 face ROI(Region Of Interest) 추출이란, 피측정자의 얼굴을 시스템에서 요구되는 검출 영역의 안정적인 선택을 위한 방법이다. 즉, 일반적으로 디지털 카메라에 포함되는 ISP(Image Signal Processor)에서 실시간으로 처리되는 프로그레시브 입력 영상에서 얼굴 영역을 관심영역으로 간주하고 자동 초점(Auto-focus)하는 것이며, 얼굴 영역 검출을 위하여 학습에 포함되지 않은 기울어진 얼굴에 대한 검출방법과 검출 결과에 대한 후처리 방법, 관심영역이 흔들리지 않고 일정한 영역을 유지하도록 하기 위한 안정화 대책이 요구된다. 제안된 ROI 영역 안정화 알고리즘에 대한 성능을 평가하기 위하여 움직임이 있는 얼굴에 대하여 기준 궤적과의 차이를 보이고, 각 궤적의 회귀곡선과의 RMS 오차를 안정화 성능평가의 척도로 이용하는 에이다부스트 알고리즘이 적용된다. The image face ROI (Region Of Interest) extraction is a method for stably selecting a detection area required by the system for the face of the subject. In other words, in the progressive input image processed in real time by an ISP (Image Signal Processor) included in a digital camera, a face area is regarded as an area of interest and auto-focused, and is included in learning to detect a face area. There is a need for a detection method for an inclined face that is not inclined, a post-processing method for a detection result, and a stabilization measure for maintaining a constant area without the region of interest being shaken. In order to evaluate the performance of the proposed ROI region stabilization algorithm, the Adaboost algorithm is applied, which shows the difference from the reference trajectory for the moving face and uses the RMS error from the regression curve of each trajectory as a measure of stabilization performance evaluation. .
또한, 상기 음성방향 direction 추출이란, 사용자 위치 확인을 위한 Array Mic 기반 음원방향 탐지 기술로서, 다채널 마이크로폰 입력신호간의 Cross-correlation을 이용한 TDOA(Time Delay Mean Arrival)기반의 음원방향 탐지 알고리즘이 적용된다. In addition, the voice direction direction extraction is an array Mic-based sound source direction detection technology for user position identification, and a TDOA (Time Delay Mean Arrival) based sound source direction detection algorithm using cross-correlation between multi-channel microphone input signals is applied. .
이때, 본원 발명에서는 피측정자의 위치정보를 확인하기 위한 다양한 알고리즘이 모두 적용될 수 있으며, 전술한 특정 알고리즘에 의해 그 권리범위가 제한되는 것은 아니다.
At this time, in the present invention, various algorithms for confirming the location information of the subject can be applied, and the scope of the right is not limited by the above-described specific algorithm.
본 발명에 적용되는 바이오 레이더(10)는 열화상카메라(20) 및 마이크(30)에서 추적된 인체에 음파를 발신한 후 회신되는 반사파를 분석하는 도플러 레이더 기술을 이용하여 심박수 및 호흡수를 검출하게 된다.
The
또한, 상기 DxR(200)은 도 3에 도시된 바와 같이, 상기 바이오 레이더(10)와 열화상카메라(20)와 마이크(30) 및 영상카메라(40)에서 전달된 측정신호를 수치화하고, 데이터저장부(210)에 개인별 단기상태 모델링 및 경보에 관한 정보를 각 ID로 구분하여 타임테이블(time table)에 의해 일정기간동안 노말라이징(normalizing)하여 저장함으로써, 피측정자에게 나타나는 장시간 동안의 인체변화를 지속적으로 관리할 수 있게 된다.
In addition, as shown in FIG. 3, the
따라서, 본 발명은 도 4에 도시된 바와 같이, 가정 또는 사무실 등에 설치되어 바이오레이더(10), 열화상카메라(20), 마이크(30), 영상카메라(40)를 포함하는 다종센서에 전달된 정보를 통해 피측정자의 생체신호를 무접촉 방식으로 실시간(real time) 감시할 수 있게 되며, 이를 일정기간동안 저장하고 normalizing하여 그 데이터를 분석함으로써 보다 효율적인 건강 점검을 가능하게 한다. Therefore, the present invention is installed in a home or office, as shown in Figure 4, the
예를 들어, 본 발명이 적용된 시스템에서는 취침시간 동안의 호흡수를 체크하여 갑작스런 무호흡증세에 대한 경보를 발생하거나, 생체신호에 의해 측정된 피측정자의 혈압이 일정기간 동안 감지된 평균혈압의 기준치보다 일정 임계치 이상 급변하는 등의 이상 증세에 대해 신속하게 대처할 수 있게 한다.
For example, in the system to which the present invention is applied, the respiratory rate during bedtime is checked to generate an alarm for sudden apnea, or the blood pressure of the subject measured by the biosignal is higher than the reference value of the average blood pressure detected for a certain period of time. It allows you to quickly respond to abnormal symptoms such as sudden change over a certain threshold.
상기와 같은 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.
The present invention as described above is not limited to the above-described specific embodiments, and any person having ordinary skill in the art to which the present invention pertains may make various changes without departing from the gist of the present invention as claimed in the claims. will be.
10 : 바이오 레이더 20 : 열화상 카메라
30 : 마이크 40 : 영상 카메라
100: 데이터융합보드 110: 신호처리보드
200: DxR(Daily health Recorder) 210: 데이터저장부
300: 외부서버10: bio radar 20: thermal imaging camera
30: microphone 40: video camera
100: data fusion board 110: signal processing board
200: Daily health recorder (DxR) 210: Data storage unit
300: external server
Claims (6)
신호제어를 위한 CPU와 RAM과 ROM 및 현장프로그래머블게이트어레이(field programmable gate array; FPGA)가 구비된 데이터융합보드에서는 신호처리보드를 통해 상기 다종센서에서 전달된 전기적 신호에서 노이즈를 제거하고 필요한 영역을 증폭하는 신호처리과정을 거쳐 DxR(Daily health Recorder)로 전달하며,
상기 DxR에서는 데이터융합보드로부터 전달된 변환신호에 따라 피측정자의 생체신호 분석하고 생체신호를 수치화하여 저장 및 출력하는 것을 특징으로 하는 다종센서를 융합 관리하는 헬스케어 시스템.
In the multi-sensors including bio radar, thermal imaging camera, microphone and video camera, the electric signal generated according to the surrounding situation is transmitted to the data fusion board,
In a data fusion board equipped with a CPU, RAM, ROM, and a field programmable gate array (FPGA) for signal control, noise is removed from the electrical signals transmitted from the multiple sensors through a signal processing board. After signal processing to amplify and deliver to DxR (Daily health Recorder),
In the DxR, a healthcare system for fusion management of multiple types of sensors, characterized in that the biosignal of the subject is analyzed according to the converted signal transmitted from the data fusion board, and the digitized biosignal is stored and output.
상기 ROM에는 피측정자에 따라 구분되는 ID와 각 ID에 해당하는 기본데이터가 저장되되,
상기 씨피유에서는 신호처리보드에서 신호처리과정을 거친 피측정자의 신호와 ROM의 기본데이터를 비교하여 ID에 따라 복수의 피측정자에 대한 생체신호를 DxR에 구분하여 저장하는 것을 특징으로 하는 다종센서를 융합 관리하는 헬스케어 시스템.
The method of claim 1,
The ROM stores IDs and basic data corresponding to each ID according to the subject.
In the CPI, a multi-sensor is fused by comparing a signal of a subject subjected to a signal processing in a signal processing board with basic data of a ROM and storing bio signals for a plurality of subjects in DxR according to IDs. Managed healthcare system.
상기 DxR은 상기 바이오 레이더와 열화상카메라와 마이크 및 영상카메라에서 전달된 측정신호를 수치화하고, 데이터저장부에 개인별 단기상태 모델링 및 경보에 관한 정보를 각 ID로 구분하여 타임테이블(time table)에 의해 일정기간동안 노말라이징(normalizing)하여 저장하는 것을 특징으로 하는 다종센서를 융합관리하는 헬스케어 시스템.
The method of claim 2,
The DxR quantifies the measurement signals transmitted from the bio radar, the thermal imaging camera, the microphone, and the video camera, and divides the information about individual short-term state modeling and alarms into a data table in a time table. Health care system for fusion management of multiple sensors, characterized in that for normalizing (storing) for a certain period of time.
상기 바이오 레이더는 열화상카메라 및 마이크에서 추적된 인체에 음파를 발신한 후 회신되는 반사파를 분석하는 도플러 레이더 기술을 이용하여 심박수 및 호흡수를 검출하는 것을 특징으로 하는 다종센서를 융합 관리하는 헬스케어 시스템.
The method of claim 1,
The bio radar detects heart rate and respiratory rate using a Doppler radar technology that analyzes the reflected wave after transmitting sound waves to the human body tracked by a thermal imaging camera and a microphone, and manages the convergence management of multiple types of sensors. system.
상기 데이터융합보드에는 외부서버로 피측정인의 생체신호를 전송할 수 있도록 이더넷(Ethernet)이 구비되며,
상기 외부서버에서는 데이터융합보드에서 식별, 분석, 저장된 피측정인의 생체정보를 일정기간 이상 데이터로 저장하여 장기간의 심박, 호흡, 음색, 체온 및 자세등의 변이 동향을 병원 또는 응급기관에서 진단의 보조 데이터로 활용할 수 있도록 제공하는 것을 특징으로 하는 다종센서를 융합관리하는 헬스케어 시스템.
The method of claim 1,
The data fusion board is provided with Ethernet (Ethernet) to transmit the biological signal of the subject to the external server,
The external server stores the biometric information of the subject, which is identified, analyzed, and stored in the data fusion board as data for a certain period of time, so as to diagnose long-term changes in heart rate, respiration, tone, temperature, and posture in a hospital or emergency institution. Health care system for convergence management of multiple sensors, characterized in that provided to be utilized as ancillary data.
상기 외부서버에서는 바이오 레이더를 통해 피측정자의 무호흡이 감지되거나, 혈압이 기준치보다 일정 임계치 이상 급변하는 경우 구조신호를 발생하여 인근 병원에 전달하는 것을 특징으로 하는 다종센서를 융합관리하는 헬스케어 시스템.
6. The method of claim 5,
In the external server, the apnea of the subject is detected through the bio radar, or when the blood pressure suddenly changes more than a certain threshold than the threshold value generates a rescue signal and delivers to the nearby hospital, the healthcare system for fusion management of multiple types of sensors.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100098418A KR20120036638A (en) | 2010-10-08 | 2010-10-08 | Healthcare system integrated muti kinds sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100098418A KR20120036638A (en) | 2010-10-08 | 2010-10-08 | Healthcare system integrated muti kinds sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120036638A true KR20120036638A (en) | 2012-04-18 |
Family
ID=46138193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100098418A KR20120036638A (en) | 2010-10-08 | 2010-10-08 | Healthcare system integrated muti kinds sensor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120036638A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160012449A (en) | 2014-07-24 | 2016-02-03 | 쌍용자동차 주식회사 | Healthcare system of vehicle and method thereof |
| KR20190091778A (en) * | 2018-01-29 | 2019-08-07 | 건양대학교산학협력단 | Artificial intelligence diseases diagnostic system through biological information and video information cooperation |
| WO2020045709A1 (en) * | 2018-08-31 | 2020-03-05 | 엘지전자 주식회사 | Sleep measurement device, and sleep measurement system having same |
| KR102241569B1 (en) * | 2020-11-09 | 2021-04-21 | 주식회사 피플멀티 | Pedestrian monitoring system using gate apparatus |
| US20210396592A1 (en) * | 2020-06-22 | 2021-12-23 | DataGarden, Inc. | Method and Apparatus for Non-Contact Temperature Measurement and Analysis for Detection of Symptomatic Conditions |
| KR20220158496A (en) * | 2021-05-24 | 2022-12-01 | 주식회사 플렉스시스템 | Bed with bio-signal measurement function and bio-signal monitoring system using the same |
| US11982630B2 (en) | 2020-04-29 | 2024-05-14 | DataGarden, Inc. | Method and apparatus for cleanliness determination of areas and objects via video monitoring |
-
2010
- 2010-10-08 KR KR1020100098418A patent/KR20120036638A/en not_active Application Discontinuation
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160012449A (en) | 2014-07-24 | 2016-02-03 | 쌍용자동차 주식회사 | Healthcare system of vehicle and method thereof |
| KR20190091778A (en) * | 2018-01-29 | 2019-08-07 | 건양대학교산학협력단 | Artificial intelligence diseases diagnostic system through biological information and video information cooperation |
| WO2020045709A1 (en) * | 2018-08-31 | 2020-03-05 | 엘지전자 주식회사 | Sleep measurement device, and sleep measurement system having same |
| US11982630B2 (en) | 2020-04-29 | 2024-05-14 | DataGarden, Inc. | Method and apparatus for cleanliness determination of areas and objects via video monitoring |
| US20210396592A1 (en) * | 2020-06-22 | 2021-12-23 | DataGarden, Inc. | Method and Apparatus for Non-Contact Temperature Measurement and Analysis for Detection of Symptomatic Conditions |
| KR102241569B1 (en) * | 2020-11-09 | 2021-04-21 | 주식회사 피플멀티 | Pedestrian monitoring system using gate apparatus |
| KR20220158496A (en) * | 2021-05-24 | 2022-12-01 | 주식회사 플렉스시스템 | Bed with bio-signal measurement function and bio-signal monitoring system using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107529991B (en) | Device, system and method for detecting a cardiac and/or respiratory disease of a subject | |
| US10362997B2 (en) | System and method of extraction, identification, marking and display of heart valve signals | |
| KR20120036638A (en) | Healthcare system integrated muti kinds sensor | |
| US20190029588A1 (en) | Device, system and method for detection and monitoring of dysphagia of a subject | |
| Hadjem et al. | An ECG monitoring system for prediction of cardiac anomalies using WBAN | |
| US10524725B2 (en) | Device, system and method for detecting apnoea of a subject | |
| CN112804941A (en) | Apparatus and method for detecting physiological events | |
| EP3329845A1 (en) | Biological condition determination device and biological condition determination method | |
| WO2008036911A2 (en) | System and method for acoustic detection of coronary artery disease | |
| US20180116626A1 (en) | Heart Activity Detector for Early Detection of Heart Diseases | |
| US10813593B2 (en) | Using visual context to timely trigger measuring physiological parameters | |
| WO2017120138A1 (en) | System and method of extraction, identification, making and display of the heart valve signals | |
| US11232866B1 (en) | Vein thromboembolism (VTE) risk assessment system | |
| Lorato et al. | Camera-based on-line short cessation of breathing detection | |
| CN109640819B (en) | Apparatus, system and method for detecting asthma attack or asthma in a subject | |
| US20220151582A1 (en) | System and method for assessing pulmonary health | |
| AU2015416686A1 (en) | Method and system of measurement, correlation, and analysis of simultaneous and independent parasympathetic and sympathetic autonomic nervous system activity | |
| KR20240090322A (en) | Identification of biometric information based on cardiac signals | |
| Sujin et al. | Public e-health network system using arduino controller | |
| KR20150101323A (en) | Apparatus for analyzing physiological signals based on image processing and method thereof | |
| US20170367676A1 (en) | System for detecting disease of the internal organs from voice, waveform and physiological changes | |
| Li et al. | A multi-sensor based method for self-isolated patient monitoring | |
| CN106137245A (en) | A kind of auscultation method with reference to multiple cardiographic detector signal analysis | |
| Saddaoui et al. | Wireless Tag Sensor Network for Apnea Detection and Posture Recognition Using LSTM | |
| WO2019224113A1 (en) | Measuring movement in a subject |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |