KR20130118510A - 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법 - Google Patents

의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법 Download PDF

Info

Publication number
KR20130118510A
KR20130118510A KR1020120041432A KR20120041432A KR20130118510A KR 20130118510 A KR20130118510 A KR 20130118510A KR 1020120041432 A KR1020120041432 A KR 1020120041432A KR 20120041432 A KR20120041432 A KR 20120041432A KR 20130118510 A KR20130118510 A KR 20130118510A
Authority
KR
South Korea
Prior art keywords
patient
call
image
video chat
information
Prior art date
Application number
KR1020120041432A
Other languages
English (en)
Inventor
정연모
김태완
한재영
박형수
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020120041432A priority Critical patent/KR20130118510A/ko
Publication of KR20130118510A publication Critical patent/KR20130118510A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 의료용 화상 대화 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법에 관한 것으로서, 더욱 상세하게는 마이크로폰 어레이를 통해 환자의 음성 호출을 감지하고, 화상 카메라를 통해 촬영한 환자의 얼굴을 인식하여 신원을 파악하며, 파악된 환자에 대한 진료기록을 추출하여 담당 간호사 단말기에 디스플레이함과 동시에 환자와의 화상 대화 서비스를 제공함으로써, 간호사가 환자의 요구사항을 해당 환자의 진료기록에 기반하여 신속하게 대응할 수 있도록 지원가능한, 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법에 관한 것이다.
본 발명은 병실 내에 각각 설치되며, 환자의 음성 호출을 인식하고, 호출한 환자를 자동으로 촬영하는 다수개의 환자 호출 서버 및 상기 다수개의 환자 호출 서버와 유/무선 통신으로 연결되어, 상기 환자 호출 서버로부터 촬영된 영상을 전송받으면, 전송받은 영상을 분석하여 환자의 신원을 파악하고, 파악된 환자의 기 지정된 담당자 단말기에 상기 파악된 환자의 진료기록을 디스플레이함과 동시에 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 화상 대화 제공 서버를 포함하여 구성되되, 상기 환자 호출 서버는, 마이크로폰 어레이를 통해 호출한 환자의 음원 방향을 검출한 뒤, 검출된 음원방향으로 화상 카메라를 제어하여 상기 호출한 환자를 자동으로 촬영하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템을 제공한다.

Description

의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법{A system and the method for providing medical picture conversation}
본 발명은 의료용 화상 대화 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법에 관한 것으로서, 더욱 상세하게는 마이크로폰 어레이를 통해 환자의 음성 호출을 감지하고, 화상 카메라를 통해 촬영한 환자의 얼굴을 인식하여 신원을 파악하며, 파악된 환자에 대한 진료기록을 추출하여 담당 간호사 단말기에 디스플레이함과 동시에 환자와의 화상 대화 서비스를 제공함으로써, 간호사가 환자의 요구사항을 해당 환자의 진료기록에 기반하여 신속하게 대응할 수 있도록 지원가능한, 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법에 관한 것이다.
일반적으로, 종합병원 등과 같은 대형 병원에서는 많은 수의 환자가 병실에 입원해 있기 때문에 환자들을 보살피기 위하여 다수의 간호사 및 의사가 필요하게 된다. 이러한 간호사 및 의사들은 각각 담당하는 환자를 배정받아 진료 및 간호를 수행하고 있으며, 입원하고 있는 환자의 긴급 상황 시에 환자가 호출하면, 담당 간호사는 호출한 환자에게 달려가 환자의 긴급 상황에 따른 대처를 수행함으로써, 환자의 생명을 위협하는 긴급 상황에 따른 신속한 대응이 이루어지도록 하고 있다.
이를 위해 현재 병실내에는 침대에 누워있는 환자들이 간호사를 호출할 수 있도록 침대 근처에 호출기가 장착된 콘솔이 설치되어 있고, 호출기에서의 신호를 유선으로 전달받아 간호사가 인지할 수 있도록 간호사 스테이션에 인터폰이나 램프와 같은 수신기가 설치되어 있게 된다. 이에 따라, 간호사 스테이션으로 환자의 호출 신호가 전송되면 몇 호실 환자 누구인지를 알 수 있게 됨으로써, 담당 간호사가 입원실로 가서 환자의 요구 사항을 들어주게 되는 것이다.
그러나, 호출한 환자의 담당 간호사가 간호사 스테이션에 있지 않을 경우에는 다른 간호사가 이를 보고 담당 간호사를 무선호출기나 휴대전화 등으로 호출하고, 담당 간호사는 이를 통해 입원실로 가서 환자의 요구사항을 처리하게 됨으로써 환자가 담당 간호사를 기다려야 하는 시간이 길어지는 문제점이 있었다. 또한, 야간이나 담당 간호사가 부재하여, 환자의 담당 간호사가 아닐 경우에는 환자의 호출에 대응하는 간호사가 환자의 병명을 제대로 파악할 수 없기 때문에, 환자의 정보가 입력되거나 표기된 환자의 데이터베이스를 파악한 후 환자의 긴급 상황에 대처함으로써 대처시간이 더욱 지연되는 문제점이 있다.
더욱이, 단순히 담당 간호사와의 대화만으로도 환자의 요구사항이 해결되는 문제이거나, 간호사 자신의 능력으로부터 벗어난 긴급 상황이여서 담당 의사를 즉시 호출해야 하는 경우에도, 환자의 상태 및 요구사항을 즉시 알 수 없어 간호사가 환자의 병실로 일일이 방문해서 환자의 상태를 파악해야 하는 문제점이 있었다.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 마이크로폰 어레이를 통해 환자의 음성 호출을 감지하고, 화상 카메라를 통해 촬영한 환자의 얼굴을 인식하여 신원을 파악하며, 파악된 환자에 대한 진료기록을 추출하여 담당 간호사 단말기에 디스플레이함과 동시에 환자와의 화상 대화 서비스를 제공함으로써, 간호사가 환자의 요구사항을 해당 환자의 진료기록에 기반하여 신속하게 대응할 수 있도록 지원가능한, 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 병실 내에 각각 설치되며, 환자의 음성 호출을 인식하고, 호출한 환자를 자동으로 촬영하는 다수개의 환자 호출 서버 및 상기 다수개의 환자 호출 서버와 유/무선 통신으로 연결되어, 상기 환자 호출 서버로부터 촬영된 영상을 전송받으면, 전송받은 영상을 분석하여 환자의 신원을 파악하고, 파악된 환자의 기 지정된 담당자 단말기에 상기 파악된 환자의 진료기록을 디스플레이함과 동시에 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 화상 대화 제공 서버를 포함하여 구성되되, 상기 환자 호출 서버는, 마이크로폰 어레이를 통해 호출한 환자의 음원 방향을 검출한 뒤, 검출된 음원방향으로 화상 카메라를 제어하여 상기 호출한 환자를 자동으로 촬영하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템을 제공한다.
또한, 본 발명은 환자 호출 서버가 병실 내에 설치된 마이크로 어레이를 통해 환자의 호출 음성을 인지하는 단계와, 인지한 호출 음성을 분석하여 음원의 방향을 검출하는 단계와, 검출된 음원의 방향으로 화상 카메라를 제어하여 호출한 환자를 촬영하는 단계와, 촬영된 영상을 화상 대화 제공 서버로 전송하는 단계와, 화상 대화 제공 서버가 상기 환자 호출 서버로부터 전송받은 영상을 분석하여 환자 얼굴의 특징 정보를 추출하는 단계와, 상기 추출한 환자 얼굴의 특징 정보를 기 저장된 병원 내 환자들의 얼굴 특징 정보에 매칭시켜 비교하여 신원을 파악하는 단계 및 파악된 신원에 해당하는 환자의 신원정보와 진료기록을 추출하여, 기 지정된 환자의 담당자 단말기에 디스플레이함과 동시에, 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 단계를 포함하여 구성되는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법을 제공한다.
본 발명에 따른 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법은, 환자가 음성만으로 간호사의 호출이 가능하여 신체가 불편한 환자들도 용이하게 간호사를 호출할 수 있으며, 간호사는 환자의 상태 및 요구사항을 호출을 받은 즉시 현재 자리에서 파악할 수 있게 됨으로써, 환자의 요구사항에 신속하고 유연하게 대처할 수 있다.
또한, 환자의 호출 즉시 간호사 단말기에 해당 환자의 진료기록이 디스플레됨과 동시에 환자와의 화상 대화가 이루어지므로, 호출한 환자의 병명 및 진료기록을 바로 파악할 수 있게 되어, 해당 환자의 담당 간호사가 아니더라도 환자의 상태 및 요구사항에 신속하게 대응할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 의료용 화상 대화 제공 시스템의 개략적인 구성도.
도 2는 본 발명의 일실시예에 따른 병실 내를 음원 존재 가능 구역으로 나눈 예를 보여주는 도면.
도 3은 도 1에 도시된 화상 대화 제공 서버의 내부구성도를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 의료용 화상 대화 서비스 제공 방법을 나타낸 순서도.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 의료용 화상 대화 제공 시스템의 개략적인 구성도이며, 도 2는 본 발명의 일실시예에 따른 병실 내를 음원 존재 가능 구역으로 나눈 예를 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 의료용 화상 대화 제공 시스템은, 각각의 병실 내에 각각 구비되어 환자의 음성 호출을 인식하고, 호출한 환자를 자동으로 촬영하는 다수의 환자 호출 서버(100)와, 상기 다수의 환자 호출 서버(100)와 유/무선 통신으로 연결되어 환자 호출 서버(100)로부터 촬영된 영상을 전송받으며, 촬영된 영상을 분석하여 호출한 환자의 신원을 파악하고, 파악된 환자에 대한 진료기록을 추출하여 기 지정된 환자의 담당자 단말기(300)에 디스플레이함과 동시에 해당 환자 호출 서버와(100)의 화상 대화를 제공하는 화상 대화 제공 서버(200)를 포함하여 구성된다.
이러한 의료용 화상 대화 제공 시스템을 통해, 담당자 단말기(300)에는 해당 환자의 진료기록이 디스플레이됨과 동시에 환자의 촬영 영상이 실시간으로 중계됨으로, 환자의 담당 의사 또는 간호사(이하, 담당자)는 환자의 상태 및 요구사항을 호출을 받은 즉시 현재 자리에서 파악할 수 있게 되며, 환자의 요구사항을 해당 환자의 진료기록에 기반하여 신속하게 대응할 수 있게 된다.
먼저, 환자 호출 서버(100)는 병원 내 각각의 병실마다 구비되며, 마이크로폰 어레이(110)와, 카메라모듈(120), 통신모듈(130), 출력모듈(140) 및 제어모듈(150)을 포함하여 구성된다.
마이크로폰 어레이(110)는 환자의 호출 음성을 인지하여 호출 여부 및 호출한 환자의 음원 방향을 검출하기 위한 수단으로서, 제어모듈(150)은 음성인식 기술 및 음원국지화 기술을 이용하여 마이크로폰 어레이(110)를 통해 들어온 신호를 분석하여 환자의 담당자 호출 유무 및 음원의 방향을 검출한다. 이러한 음성인식 기술 및 음원국지화 기술은, 이미 넓게 쓰이고 있는 음성 인지 기술로 여기에서는 그에 대한 상세한 설명은 생략하기로 한다.
이와 같이, 본 발명에서는 마이크로폰 어레이(110)를 통해 환자의 담당자 호출을 인식하고, 호출한 환자의 음원 방향을 검출하는데, 이를 위해 각각의 병실에는 다수의 마이크로폰이 설치된다. 이러한 마이크로폰의 설치는 병실의 크기 및 환자수, 침대위치 등 다양한 기준을 가지고 각각 설치될 수 있으며, 본 발명의 실시예에서는 병실내를 음원 존재 가능 구역으로 각각 나누고, 각각의 구역을 인식할 수 있도록 마이크로폰을 설치한다. 예를 들어, 도 2에 도시된 바와 같이 병실 내에 음원 존재 가능 구역을 8개(A~H)로 가정하였을 경우, 구역의 중심점에 해당하는 병실 중앙 상부에 4개의 마이크로폰을 십자 형상으로 배치하여 설치함으로써, 각각의 구역을 4개의 마이크로폰을 이용하여 인식할 수 있도록 구현할 수도 있다.
또한, 병실내 환자와 간병인의 대화 또는 환자 간의 대화에 따른 음성 발생시 마이크로폰 어레이(110)를 통한 담당자 호출 인식의 오작동을 방지하기 위하여, 음성인식 기술을 통해 마이크로폰 어레이를 기 설정된 특정 단어에만 반응하여 호출 환자의 음원 방향을 검출시키도록 구현할 수도 있으며, 병실 내의 상황에 따라 환자의 음성이 기 설정된 소리크기(db) 이상으로 인지될 때에만 마이크로폰 어레이(110)가 반응하도록 구현될 수도 있다.
카메라모듈(120)은 호출한 환자를 촬영하도록 화상 카메라가 구비되며, 상술한 마이크로폰 어레이(110)를 통해 검출된 음원 방향으로 카메라가 이동하여 피사체를 촬영할 수 있도록 제어모듈(150)에 의해 제어가능 하도록 구성된다. 상기 카메라모듈(120)에 구비된 화상 카메라는 적어도 한 개 이상이 구비되며, 병실의 크기 및 환자수, 침대위치 등 다양한 기준에 따라 설치되어, 환자의 영상을 촬영함에 있어 사각지대가 발생되지 않도록 설치되는 것이 바람직하다. 또한, 카메라모듈(120)은 병실 내에 두 대 이상의 카메라가 구비되어 있을 경우, 환자의 위치 영역에 따라 촬영이 우선적으로 수행되는 카메라 정보가 저장되어 있을 수도 있다.
통신모듈(130)은 화상 대화 제공 서버(200)와 유/무선 통신을 담당하기 위한 네트워크 인터페이스를 제공하며, 카메라모듈(120)을 통해 촬영되는 영상 및 마이크로폰 어레이(110)를 통해 인식되는 음성을 화상 대화 제공 서버(200)로 실시간 전송한다.
출력모듈(140)은 담당자 단말기(300)로부터 화상 대화 제공 서버(200)를 통해 전송되는 담당자의 음성 또는 음성 및 영상을 출력할 수 있는 장치로서, 스피커, 디스플레이 또는 스피커와 디스플레이가 동시에 구비된 단말기를 포함한다.
제어모듈(150)은 마이크로폰 어레이(110)를 통해 환자의 담당자 호출 유무 및 호출한 환자의 음원 방향을 검출하고, 검출된 음원 방향으로 카메라모듈(120)을 제어하여 호출한 환자를 촬영한다. 예를 들어, 앞서 도시한 도 2와 같이, 마이크로폰 어레이(110)를 통해 C영역에서 음성 방향을 인지하였을 경우, 제어모듈(150)은 카메라모듈(120)에 구비된 한 개 이상의 화상 카메라 중 C영역에 위치한 환자를 촬영하기 가장 용이한 화상 카메라를 제어하여 C영역에 위치한 환자를 촬영한다.
이어서, 제어모듈(150)은 촬영한 영상을 통신모듈(130)을 통해 화상 대화 제공 서버(200)로 전송하며, 담당자 단말기(300)로부터 화상 대화 제공 서버(200)를 통해 전송되는 담당자의 음성 또는 음성 및 영상을 출력모듈(140)을 통해 출력시킨다.
담당자 단말기(300)는, 화상 대화 제공 서버(200)로부터 환자의 진료기록 및 대화 요청 메시지를 수신하여 해당 환자의 담당자에게 디스플레이하는 무선 인터넷 통신이 가능한 컴퓨터 장치로서, 넷북, 이동통신단말기, PDA(Personal Digital Assistant) 등을 포함한다. 또한, 본 발명에 따른 담당자 단말기(300)는 환자의 진료기록이 디스플레이됨과 동시에 환자와의 화상대화가 가능한 전용 어플리케이션이 설치되어 있는 것이 바람직하며, 환자와 담당자 간의 상호 화상 대화를 수행할 수 있도록 통상의 CCD(Charge-coupled device)를 사용하는 소형카메라가 구비될 수도 있다.
본 발명에서 상기 유/무선 통신망은 그 종류에 있어서 특정한 제약을 받지 않으며 본 발명의 적용 분야에 따라서 적절히 선정될 수 있다. 예를 들어, 대단히 넓은 지역을 담당하는 경우에는 통상의 인터넷을 사용하는 것이 바람직할 수 있고, 건물 하나 정도의 지역을 담당하는 경우에는 건물의 내부망, 예컨대 케이블망을 사용하는 것이 더 바람직할 수 있다. 이와 더불어, 본 발명에서는 환자 호출 서버 및 화상 대화 제공 서버가 유/무선 통신망에 연결되는 방식이나 담당자 단말기가 유/무선 통신망에 연결되는 방식에 대해서 어떠한 제약도 가하지 않는다.
화상 대화 제공 서버(200)는 병실 내에 설치된 다수의 환자 호출 서버(100)와 유/무선 통신으로 연결되어, 상기 환자 호출 서버(100)로부터 촬영된 영상을 전송받아 호출한 환자의 신원을 파악하고, 파악된 환자에 대한 진료기록을 추출하여 해당 환자의 담당자 단말기(300)에 디스플레이함과 동시에 해당 환자와의 화상 대화를 제공한다. 상기 화상 대화 제공 서버(200)는, 얼굴 정보 데이터베이스, 환자 정보 데이터베이스, 담당자 정보 데이터베이스, 영상분석부, 메시지 처리부, 통신부 및 제어부를 포함하여 구성되며, 이러한 화상 대화 제공 서버의 세부구성에 대해서는 후술하여 상세히 설명하기로 한다.
도 3은 도 1에 도시된 화상 대화 제공 서버의 내부구성도를 나타낸 도면이다.
도 3에 도시된 바와 같이, 화상 대화 제공 서버는 얼굴 정보 데이터베이스(210), 환자 정보 데이터베이스(220), 담당자 정보 데이터베이스(230), 영상분석부(240), 메시지 처리부(250), 통신부(260) 및 제어부(270)를 포함하여 구성된다.
영상분석부(240)는 통신부(260)를 통해 환자 호출 서버로부터 전송되는 환자 촬영 영상에서 얼굴의 특징적인 부분을 추출하여 제어부(270)로 전송함으로써, 제어부(270)가 얼굴 정보 데이터베이스(210)에서 해당 환자의 고유 ID를 파악할 수 있도록 제공한다. 이를 위해, 영상분석부(240)는 환자 호출 서버로부터 전송받은 환자 촬영 영상에서 프레임 영상을 생성하고, 생성된 프레임 영상에서 배경을 제외시키며, 얼굴만을 추출하기 위해 얼굴영역이 지니는 색상의 특징(feature), 윤곽선(boundary)정보, 에지(edge)정보를 활용하여 얼굴영역만을 배경화면에서 분리해 얼굴만 추출한다. 이어서, 얼굴만 추출된 영상에서 사람마다 다른 얼굴의 특징인 얼굴의 골격, 눈썹 정보, 눈과 코 사이의 거리, 입술 등의 사람의 얼굴을 식별할 수 있는 주요 세부 특징을 추출하여 특징벡터화 시킨다.
얼굴 정보 데이터베이스(210)에는 병원의 병실에 입원된 환자들 별로 얼굴 이미지의 주요 세부 특징들이 추출되어 특징벡터화 된 정보가 환자의 고유 ID에 매칭되어 저장되어 있다. 이에 따라, 제어부(270)는 영상분석부(240)를 통해 추출된 호출 환자 얼굴의 특징벡터 정보와 얼굴 정보 데이터베이스(210)에 저장된 환자들의 얼굴 특징벡터 정보를 각각 비교하여, 유사도가 가장 높은 특징벡터 정보에 해당하는 환자의 고유 ID를 추출함으로써, 담당자를 호출한 환자의 신원을 파악할 수 있게 된다. 이러한, 유사도 비교는 웨이블릿 등 이미 공지된 다양한 유사도 비교 기술 중 하나를 이용하여 수행된다.
환자 정보 데이터베이스(220)에는 환자의 고유 ID와 매칭되어, 환자의 성함, 성별, 나이, 보호자 연락처 등의 신원정보와, 입원일자, 병력, 치료기록 및 진료 스케쥴 등의 진료기록 및 환자의 담당 간호사와 담당 의사 정보인 담당자 정보가 저장되어 있다.
담당자 정보 데이터베이스(230)에는, 상기 담당자 정보에 매칭된 담당자 단말기 정보가 저장되어 있으며, 특히 자신이 담당하는 환자의 호출 시 우선적으로 연결될 수 있는 담당자 단말기 정보가 저장되어 있다. 즉, 담당자의 근무시간 내에는 환자의 호출시 본인에게 바로 연결이 가능한 이동통신단말기를 담당자 단말기로 우선 지정할 수도 있으며, 퇴근 후나 휴가시에는 간호사 스테이션에 위치하는 단말기를 담당자 단말기로 우선 지정하여, 자신 이외에 간호사가 환자의 호출에 즉시 대응할 수 있도록 선택할 수 있다.
메시지 처리부(250)는 담당자 단말기에게 호출 관련 내역을 웹브라우저를 통해 열람할 수 있도록 팝업, 알림, 쪽지 등의 형태로 전송하기 위한 수단이며, 담당자 단말기가 이동통신단말기일 경우 이동통신사의 이동통신시스템을 이용하여 담당 간호사에게 호출 관련 내역을 SMS 문자로 전송하기 위한 수단이다. 상기 호출 관련 내역은 호출한 환자의 기본 신원정보와 진료기록을 포함하며, 간호사로부터 화상 대화 수락을 요청하기 위한 확인 메시지를 포함한다.
통신부(260)는 다수의 담당자 단말기 및 다수의 환자 호출 서버와 유/무선 통신을 담당하기 위한 네트워크 인터페이스를 제공한다.
제어부(270)는 환자 호출 서버로부터 전송된 촬영 영상을 영상분석부(240)를 통해 특징벡터 처리하여 얼굴 정보 데이터베이스(210)에 기저장된 환자들의 특징벡터 정보 중에서 비교·분석하여 가장 유사도가 높은 특징벡터 정보의 고유 ID를 파악한다. 이어서, 파악된 고유 ID에 해당하는 환자의 신원정보와 진료기록 정보를 환자 정보 데이터베이스(220)에서 추출하고, 메시지 처리부(250)를 통해 담당자 단말기에게 메시지를 전송하여 호출 환자의 신원정보와 진료기록을 디스플레이함과 동시에 담당자와 환자와의 화상 대화를 제공한다.
도 4는 본 발명의 일실시예에 따른 의료용 화상 대화 서비스 제공 방법을 나타낸 순서도이다.
먼저, 환자 호출 서버의 마이크로폰 어레이를 통해 환자의 담당 간호사 호출음성을 인식할 경우(S412), 제어모듈은 마이크로폰을 통해 들어온 신호를 분석하여 음원의 방향을 검출한다(S414). 이어서, 제어모듈은 검출된 음원의 방향으로 카메라모듈을 제어하여 호출한 환자를 촬영하며(S416), 통신모듈을 통해 화상 대화 제공 서버로 촬영 영상을 실시간 전송한다(S418).
화상 대화 제공 서버의 영상분석부는 통신부를 통해 환자 호출 서버로부터 전송받은 촬영 영상에서 프레임 영상을 생성하고, 생성된 프레임 영상에서 얼굴의 특징적인 부분을 추출하여 특징벡터화 시킨 후 제어부로 전송한다(S420). 이어서 제어부는 영상분석부에서 전송받은 특징벡터 정보를 얼굴 정보 데이터베이스에 저장되어 있는 환자 얼굴들의 특징벡터 정보와 매칭시켜, 해당 환자의 고유 ID를 추출한다(S422).
다음으로, 중앙처리부는 해당 환자의 신원정보와 진료기록 및 담당자 정보를 환자 정보 데이터베이스에서 추출한 뒤(S424), 메시지 처리부를 통해 호출한 환자의 기본 신상정보와 진료기록 및 화상 대화 수락 요청을 위한 메시지를 생성하여 담당자 단말기로 전송한다(S426). 이때, 메시지 처리부는 해당 환자의 담당자 정보에 따라 담당자 정보 데이터베이스에서 담당자가 지정한 단말기 형태에 맞추어 메시지를 생성할 수도 있다.
이어서, 메시지를 전송받은 담당자 단말기는 호출한 환자의 기본 신상정보와 진료기록을 화면의 측면 또는 전면에 디스플레이함과 동시에 담당자가 화상 대화를 수락할 경우(S428), 현재 환자 호출 서버의 카메라모듈을 통해 촬영되고 있는 환자의 촬영 영상 및 음성을 실시간으로 중계하고, 대화를 수행하는 간호사의 음성 또는 음성 및 영상을 환자 호출 서버로 화상 대화 서버를 통해 전송함으로써 호출 환자와 화상 대화를 수행할 수 있도록 제공한다(S430). 이에 따라, 호출한 환자 역시 환자 출력 서버에 구비된 출력모듈을 통해 담당 간호사와의 대화를 수행할 수 있게 된다.
상술한 과정을 통해, 본 발명에 따른 의료용 화상 대화 제공 서비스를 이용하는 병원 내의 간호사 또는 의사들은, 환자의 호출 즉시 본인의 단말기에 해당 환자의 진료기록이 디스플레이됨과 동시에 환자의 촬영 영상이 실시간으로 중계됨으로, 환자의 상태 및 요구사항을 현재 자리에서 즉시 파악할 수 있게 되며, 환자의 요구사항을 해당 환자의 진료기록에 기반하여 신속하게 대응할 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 취한, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
100 : 환자 호출 서버 110 : 마이크로폰 어레이
120 : 카메라모듈 130 : 통신모듈
140 : 출력모듈 150 : 제어모듈
200 : 화상 대화 제공 서버 210 : 얼굴 정보 데이터베이스
220 : 환자 정보 데이터베이스 230 : 담당자 정보 데이터베이스
240 : 영상분석부 250 : 메시지 처리부
260 : 통신부 270 : 제어부
300 : 담당자 단말기

Claims (16)

  1. 적어도 한 개 이상의 담당자 단말기와 유/무선 통신으로 연결되어 환자와의 화상 대화를 제공하는 의료용 화상 대화 제공 시스템에 있어서,
    병실 내에 각각 설치되며, 환자의 음성 호출을 인식하고, 호출한 환자를 자동으로 촬영하는 다수개의 환자 호출 서버; 및
    상기 다수개의 환자 호출 서버와 유/무선 통신으로 연결되어, 상기 환자 호출 서버로부터 촬영된 영상을 전송받으면, 전송받은 영상을 분석하여 환자의 신원을 파악하고, 파악된 환자의 기 지정된 담당자 단말기에 상기 파악된 환자의 진료기록을 디스플레이함과 동시에 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 화상 대화 제공 서버;
    를 포함하여 구성되되,
    상기 환자 호출 서버는,
    마이크로폰 어레이를 통해 호출한 환자의 음원 방향을 검출한 뒤, 검출된 음원방향으로 화상 카메라를 제어하여 상기 호출한 환자를 자동으로 촬영하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  2. 제 1항에 있어서,
    상기 환자 호출 서버는,
    다수개의 마이크로폰이 구비되어 환자의 호출 음성을 인지하는 마이크로폰 어레이;
    적어도 한 개 이상의 화상 카메라를 구비하여 환자를 촬영하는 카메라모듈;
    상기 화상 대화 제공 서버와 유/무선 통신을 담당하기 위한 네트워크 인터페이스를 제공하는 통신모듈;
    상기 화상 대화 제공 서버로부터 전송받은 데이터를 구비된 출력기기에 맞춰 출력하는 출력모듈; 및
    상기 마이크로폰 어레이를 통해 인지한 환자의 호출 음성을 분석하여 음원 방향을 검출하며, 검출된 음원방향으로 상기 카메라모듈을 제어하여 상기 호출한 환자를 촬영하고, 촬영한 영상을 상기 통신모듈을 통해 상기 화상 대화 제공 서버로 실시간 전송하는 제어모듈;
    을 포함하여 구성되는 것을 특징으로 하는 의료용 화상 대화 제공 시스템
  3. 제 2항에 있어서,
    상기 마이크로폰 어레이는,
    4개의 마이크로폰을 십자 형상으로 배치하여 설치되는 것을 특징으로 하는 의료용 화상 대화 제공 시스템
  4. 제 2항에 있어서,
    상기 마이크로폰 어레이는,
    기 설정된 단어에만 반응하여 환자의 호출 음성을 인지하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  5. 제 2항에 있어서,
    상기 마이크로폰 어레이는,
    기 설정된 소리크기 이상일 때 환자의 호출 음성을 인지하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  6. 제 2항에 있어서,
    상기 카메라 모듈은,
    상기 구비된 화상 카메라가 두 개 이상일 경우,
    환자의 위치 영역에 따라 촬영이 우선적으로 수행되는 화상 카메라 정보가 저장되어 있는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  7. 제 2항에 있어서,
    상기 출력모듈은,
    스피커 또는 디스플레이 또는 스피커 및 디스플레이가 동시에 구비된 단말기 중 하나 인 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  8. 제 1항에 있어서,
    상기 화상 대화 제공 서버는,
    병원의 병실에 입원된 환자들 별로 얼굴이미지의 특징적인 부분이 추출된 정보가 환자의 고유 ID와 매칭되어 저장되어 있는 얼굴 정보 데이터베이스;
    환자의 신원정보, 진료기록 및 담당자 정보가 저장되어 있는 환자 정보 데이터베이스;
    상기 환자 정보 데이터베이스에 저장되어 있는 담당자 정보와 매칭되어 담당자 단말기 정보가 저장되어 있는 담당자 정보 데이터베이스;
    상기 환자 호출 서버로부터 전송되는 영상에서 얼굴의 특징적인 부분을 추출한 정보를 중앙처리부로 전송하는 영상분석부;
    담당자가 담당자 단말기를 통해 환자 호출을 인지할 수 있도록 메시지를 전송하는 메시지 처리부;
    상기 다수의 담당자 단말기 및 다수의 환자 호출 서버와 유/무선 통신을 담당하기 위한 네트워크 인터페이스를 제공하는 통신부; 및
    상기 얼굴 정보 데이터베이스에 저장된 정보 중 상기 영상분석부를 통해 전송받은 정보와 가장 유사도가 높은 정보에 해당하는 환자의 고유 ID를 추출하고, 상기 추출된 환자의 고유 ID에 해당하는 신원정보, 진료기록 및 담당자 정보를 환자 정보 데이터베이스에서 추출하고, 상기 담당자 정보에 해당하는 담당자 단말기에 상기 추출된 신원정보 및 진료기록을 디스플레이함과 동시에 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 제어부;
    를 포함하여 구성되는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  9. 제 8항에 있어서,
    상기 영상분석부는,
    상기 전송받은 영상에서 프레임 영상을 생성하고, 생성된 프레임 영상에서 얼굴영역만을 배경화면에서 분리해 추출한 뒤, 추출된 영상에서 얼굴의 특징적인 부분을 추출하여 특징벡터화 시키는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  10. 제 9항에 있어서,
    상기 얼굴의 특징적인 부분은,
    얼굴의 골격, 눈썹 정보, 눈과 코 사이의 거리, 입술을 포함하는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  11. 제 8항에 있어서,
    상기 담당자 정보 데이터베이스에는,
    환자의 호출시 우선적으로 연결될 수 있는 담당자 단말기 정보가 저장되어 있는 것을 특징으로 하는 의료용 화상 대화 제공 시스템.
  12. 한 개 이상의 담당자 단말기와 유/무선 통신으로 연결되어 있으며, 다수개의 환자 호출 서버와 화상 대화 제공 서버를 포함하여 구성된 의료용 화상 대화 제공 시스템을 이용하여 의료용 화상 대화 서비스를 제공하는 방법에 있어서,
    환자 호출 서버가 병실 내에 설치된 마이크로 어레이를 통해 환자의 호출 음성을 인지하는 단계와;
    인지한 호출 음성을 분석하여 음원의 방향을 검출하는 단계와;
    검출된 음원의 방향으로 화상 카메라를 제어하여 호출한 환자를 촬영하는 단계와;
    촬영된 영상을 화상 대화 제공 서버로 전송하는 단계와;
    화상 대화 제공 서버가 상기 환자 호출 서버로부터 전송받은 영상을 분석하여 환자 얼굴의 특징 정보를 추출하는 단계와;
    상기 추출한 환자 얼굴의 특징 정보를 기 저장된 병원 내 환자들의 얼굴 특징 정보에 매칭시켜 비교하여 신원을 파악하는 단계; 및
    파악된 신원에 해당하는 환자의 신원정보와 진료기록을 추출하여, 기 지정된 환자의 담당자 단말기에 디스플레이함과 동시에, 상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법.
  13. 제 12항에 있어서,
    상기 환자의 호출 음성을 인지하는 단계에서는,
    기 설정된 단어에만 반응하여 환자의 호출 음성을 인지하는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법.
  14. 제 12항에 있어서,
    상기 환자의 호출 음성을 인지하는 단계에서는,
    기 설정된 소리크기 이상일 때 환자의 호출 음성을 인지하는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법.
  15. 제 12항에 있어서,
    상기 환자 얼굴의 특징 정보를 추출하는 단계에서는,
    상기 전송받은 영상에서 프레임 영상을 생성하고, 생성된 프레임 영상에서 얼굴영역만을 배경화면에서 분리해 추출한 뒤, 추출된 영상에서 얼굴의 특징적인 부분을 추출하여 특징벡터화 시키는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법.
  16. 제 12항에 있어서,
    상기 환자 호출 서버와 상기 담당자 단말기와의 화상 대화를 제공하는 단계는,
    담당자 단말기에 화상 대화 수락 요청 메시지를 전송하여, 담당자가 화상 대화를 수락할 경우 화상 대화를 제공하는 것을 특징으로 하는 의료용 화상 대화 서비스 제공 방법.
KR1020120041432A 2012-04-20 2012-04-20 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법 KR20130118510A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120041432A KR20130118510A (ko) 2012-04-20 2012-04-20 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120041432A KR20130118510A (ko) 2012-04-20 2012-04-20 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법

Publications (1)

Publication Number Publication Date
KR20130118510A true KR20130118510A (ko) 2013-10-30

Family

ID=49636769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120041432A KR20130118510A (ko) 2012-04-20 2012-04-20 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR20130118510A (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032812A1 (en) 2017-08-10 2019-02-14 Nuance Communications, Inc. SYSTEM AND METHOD FOR AUTOMATED CLINICAL DOCUMENTATION (ACD)
CN111599460A (zh) * 2020-05-29 2020-08-28 詹俊鲲 远程医疗方法及系统
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11222716B2 (en) 2018-03-05 2022-01-11 Nuance Communications System and method for review of automated clinical documentation from recorded audio
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11250383B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11515020B2 (en) 2018-03-05 2022-11-29 Nuance Communications, Inc. Automated clinical documentation system and method
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
WO2023282401A1 (ko) * 2021-07-06 2023-01-12 주식회사 에이치디정션 병원 정보 시스템, 메시지 서비스 시스템 및 메신저를 이용한 의료 정보 관리 방법
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11295839B2 (en) 2017-08-10 2022-04-05 Nuance Communications, Inc. Automated clinical documentation system and method
US11853691B2 (en) 2017-08-10 2023-12-26 Nuance Communications, Inc. Automated clinical documentation system and method
EP3665904A4 (en) * 2017-08-10 2021-04-21 Nuance Communications, Inc. AUTOMATED CLINICAL DOCUMENTATION (ACD) SYSTEM AND PROCESS
US11605448B2 (en) 2017-08-10 2023-03-14 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019032812A1 (en) 2017-08-10 2019-02-14 Nuance Communications, Inc. SYSTEM AND METHOD FOR AUTOMATED CLINICAL DOCUMENTATION (ACD)
US11482311B2 (en) 2017-08-10 2022-10-25 Nuance Communications, Inc. Automated clinical documentation system and method
US11482308B2 (en) 2017-08-10 2022-10-25 Nuance Communications, Inc. Automated clinical documentation system and method
US11404148B2 (en) 2017-08-10 2022-08-02 Nuance Communications, Inc. Automated clinical documentation system and method
US11322231B2 (en) 2017-08-10 2022-05-03 Nuance Communications, Inc. Automated clinical documentation system and method
US11257576B2 (en) 2017-08-10 2022-02-22 Nuance Communications, Inc. Automated clinical documentation system and method
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11494735B2 (en) 2018-03-05 2022-11-08 Nuance Communications, Inc. Automated clinical documentation system and method
US11270261B2 (en) 2018-03-05 2022-03-08 Nuance Communications, Inc. System and method for concept formatting
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11250383B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
US11222716B2 (en) 2018-03-05 2022-01-11 Nuance Communications System and method for review of automated clinical documentation from recorded audio
US11295272B2 (en) 2018-03-05 2022-04-05 Nuance Communications, Inc. Automated clinical documentation system and method
US11515020B2 (en) 2018-03-05 2022-11-29 Nuance Communications, Inc. Automated clinical documentation system and method
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
CN111599460A (zh) * 2020-05-29 2020-08-28 詹俊鲲 远程医疗方法及系统
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
WO2023282401A1 (ko) * 2021-07-06 2023-01-12 주식회사 에이치디정션 병원 정보 시스템, 메시지 서비스 시스템 및 메신저를 이용한 의료 정보 관리 방법

Similar Documents

Publication Publication Date Title
KR20130118510A (ko) 의료용 화상 대화 제공 시스템 및 이를 이용한 의료용 화상 대화 서비스 제공 방법
US10284820B2 (en) Covert monitoring and recording of audio and video in controlled-environment facilities
US20150194034A1 (en) Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
US20220181020A1 (en) System and method for remote patient monitoring
WO2012005392A1 (en) Object recognition and tracking based apparatus and method
JP6579411B1 (ja) 介護設備又は病院用の監視システム及び監視方法
JP2018163644A (ja) ベッド出口監視システム
US20200118689A1 (en) Fall Risk Scoring System and Method
KR20090001848A (ko) 얼굴표정 감시 방법 및 얼굴표정 감시 시스템
WO2015184701A1 (zh) 单呼即通实况通信终端、方法及工具
JP2010226541A (ja) 応対装置、来訪者応対方法、来訪者応対制御プログラム
US20160022227A1 (en) Method of Transmitting an Emergency Audiovisual Alert to an Emergency Contact and Emergency Medical Services
KR20110137469A (ko) 얼굴 검출을 이용한 지능형 영상출입장치 및 그 출입제어방법
US20180285632A1 (en) Information processing apparatus, information processing method, information processing program, and information processing system
WO2020241034A1 (ja) 監視システム及び監視方法
KR101720762B1 (ko) 장애인용 홈네트워크 시스템
JP2014081689A (ja) 異常事態通知装置及びプログラム
KR101394168B1 (ko) 청각 장애인을 위한 얼굴 정보 제공 시스템 및 얼굴 정보 제공 서비스 방법
JP7210189B2 (ja) 居住者見守りシステム
JP7268387B2 (ja) 見守り装置および見守り装置用プログラム
JP7354549B2 (ja) 見守り装置および見守りプログラム
JP2023107007A (ja) ナースコールシステム
JP7366776B2 (ja) 放送制御装置、放送システム、及び放送制御方法
JP7110669B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
JP7425413B2 (ja) 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application