KR101906398B1 - Method for Sharing Endoscope Medical Information Using Real Time Object Tracing - Google Patents

Method for Sharing Endoscope Medical Information Using Real Time Object Tracing Download PDF

Info

Publication number
KR101906398B1
KR101906398B1 KR1020180017008A KR20180017008A KR101906398B1 KR 101906398 B1 KR101906398 B1 KR 101906398B1 KR 1020180017008 A KR1020180017008 A KR 1020180017008A KR 20180017008 A KR20180017008 A KR 20180017008A KR 101906398 B1 KR101906398 B1 KR 101906398B1
Authority
KR
South Korea
Prior art keywords
information
medical
terminal
endoscopic
medical care
Prior art date
Application number
KR1020180017008A
Other languages
Korean (ko)
Inventor
최춘기
Original Assignee
주식회사 파인트리시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 파인트리시스템 filed Critical 주식회사 파인트리시스템
Priority to KR1020180017008A priority Critical patent/KR101906398B1/en
Application granted granted Critical
Publication of KR101906398B1 publication Critical patent/KR101906398B1/en
Priority to PCT/KR2019/001668 priority patent/WO2019156531A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074—Interface software

Abstract

The present invention relates to a method for realizing sharing and prescribing in real time with a guardian by using real-time object tracing technology regarding endoscopic treatment information of an in-patient by hospital medical staff. According to the present invention, real-time object tracing is applied during real-time treatment information sharing between the medical staff performing endoscopy and the patient and the guardian and endoscopy is performed through consultation, and thus diagnosis, treatment and operation can become more objective based on provided base data. According to the present invention, video and sound information regarding endoscopy is shared in real time between the patient, the guardian, and the medical staff during conscious sedation endoscopy-based diagnosis, treatment, and operation, object tracing is applied during real-time endoscopy, consultation-based treatment is performed with consultative treatment and lesion diagnosis. In addition, the operation process is recorded and played back so that the guardian and the patient of the endoscopy can be provided with a more effective and improved tailored medical service.

Description

실시간 객체추적을 이용한 내시경 진료정보 공유 방법{Method for Sharing Endoscope Medical Information Using Real Time Object Tracing}TECHNICAL FIELD [0001] The present invention relates to a method for sharing endoscopic medical care information using real-time object tracking,

본 발명은 실시간으로 내시경의 진료정보를 공유하는 방법에 관한 것으로, 더욱 상세하게는 병원의 의료진에 의해 내진환자의 내시경 진료정보를 실시간 객체추적 기술을 이용하여 보호자와 실시간으로 공유 및 처방을 수행하는 방법에 관한 것이다.The present invention relates to a method of sharing medical information of an endoscope in real time, and more particularly, to a method of sharing endoscopic medical care information of an endocardial patient with a guardian in real time using a real- ≪ / RTI >

일반적으로 내시경은 내장 장기나 체강 내부를 직접 관찰할 수 있는 의료기구이다. 원래는 수술하거나 또는 부검하지 않고는 직접 병변을 볼 수 없는 장기에 대해 기계를 삽입하여 관찰하도록 창안된 기구이다. 내시경의 종류로는 기관지경, 식도경, 위경, 십이지장경, 직장경, 방광경, 복강경 등이 있고, 그 밖에 특수한 것으로 흉강경, 종격경, 심장경, 등이 있다. 내시경에는 직달경이라 하여 하나의 통으로 되어 있어 장기를 직접 육안으로 볼 수 있는 형, 렌즈 시스템을 이용한 형, 카메라를 직접 장기에 삽입하는 형과 유리섬유를 사용한 파이버스코프 등이 있다. 최근 위암의 조기발견 진단에 위카메라, 위파이버스코프 등이 크게 활용되고 있다. 위카메라는 위 안으로 소형 카메라를 삽입하여 직접 위의 점막을 촬영하고 기록하여 미세한 위의 병변을 발견하고 진단할 수 있다. 위파이버스코프는 해상력이 좋고, 점막상태를 관찰하면서 병변부 조직편을 절단해 검사할 수 있는 장치도 부착시킬 수 있다.In general, the endoscope is a medical instrument that can directly observe the internal organs or body cavity. Originally, it is an apparatus designed to observe and insert a machine for organs that can not directly see lesions without surgery or autopsy. Types of endoscopy include bronchoscopy, esophagus, stomach, duodenal, rectum, cystoscopy, and laparoscopy. Other specialties include thoracoscopy, mediastinum, and heart. Endoscopes include a type that can be viewed directly by the naked eye, a type using a lens system, a type for directly inserting the camera into a organ, and a fiber scope using glass fiber. Recently, stomach cancer and gastric fibroscopy have been widely used for diagnosis of early gastric cancer. The above camera can be used to detect and diagnose fine stomach lesions by inserting a small camera in the stomach and photographing and recording the mucous membrane directly on the stomach. The fibroscope above has good resolution and can be equipped with a device for cutting and inspecting the lesion tissue while observing mucosal status.

이러한 내시경 의료시술에 있어서 효과적인 업무를 수행하고 의료서비스의 질을 높이기 위한 전략적 목표를 달성하기 위하여 일정 규모 이상의 의료기관들은 해당 의료기관에 적합한 내시경장비를 도입하여 수면 내시경의 의료시술을 수행하고 있다. 그리고 기존의 내시경 장비로 내시경 시술 때에 내진환자는 수면상태로 있고 내진환자의 보호자가 시술실의 밖에서 대기하고 있다가 진료가 종료되거나 특별한 이상소견이 발생하면 의료진의 호출에 의하여 내진환자의 상태에 관하여 소견을 듣거나 처치를 진행하는 과정을 통해 내시경 의료시술이 이루어진다.In order to accomplish effective tasks in the endoscopic medical treatment and to achieve strategic goals for improving the quality of medical service, medical institutions of a certain scale or more are performing medical treatment of the endoscopic endoscope by introducing endoscopic equipment suitable for the medical institution concerned. If endoscopically operated endoscopic device is in sleep state and the protector of seismic patient is waiting outside the treatment room, if the end of the treatment or special abnormal findings occur, Endoscopic medical treatment is performed through the process of listening to the findings or proceeding.

그러나 종래의 내시경 의료시술 시스템과 프로세서는 내시경 의료시술을 수행하는 동안 내진환자의 상태를 보호자와 의료진이 대면하여 협의하고 처치하여야 하는 번거로운 문제가 있었다.However, in the conventional endoscopic medical treatment system and the processor, there is a troublesome problem that the protector and the medical staff must face each other and treat the state of the seismic patient while performing the endoscopic medical treatment.

대한민국 등록특허공보 제10-1257784호(2013.04.24., 공고)Korean Registered Patent No. 10-1257784 (April 24, 2014, Announcement) 대한민국 공개특허공보 제10-2015-0038850호(2015.04.09., 공개)Korean Patent Laid-Open Publication No. 10-2015-0038850 (published on April 28, 2015) 대한민국 등록특허공보 제10-1580559호(2015.12.28., 공고)Korean Registered Patent No. 10-1580559 (issued on December 28, 2015)

본 발명은 상기 문제를 해결하기 위한 것으로, 내시경 진료를 수행하는 의료진과 더불어 시술대상자와 그 보호자에게 진료정보를 실시간으로 공유하는 동안 실시간 객체추적(Realtime Object Tracing) 기술을 적용하여 협의과정을 통해 내시경 의료시술을 진행함으로써 보다 객관적인 진찰, 진료 및 시술이 이루어지도록 하는 근거자료를 제공하기 위한 것이 목적이다.In order to solve the above problem, the present invention is to solve the above-mentioned problem, and it is an object of the present invention to provide a medical treatment center for endoscopic treatment, The purpose of this study is to provide a basis for more objective examination, treatment and treatment by conducting medical treatment.

또한, 본 발명은 실시간을 통하여 내시경 진료정보를 공유함으로써 진료과정에서 보다 효과적이고 향상된 맞춤의료 서비스를 고객에게 제공하기 위한 것이 다른 목적이다.It is another object of the present invention to provide a customized medical service to a customer that is more effective and improved in a medical procedure by sharing endoscopic medical care information in real time.

본 발명은 상기 목적을 달성하기 위하여, 수면 내시경 시술의료진에 의하여 내진환자의 내장 장기나 체강 내부를 내시경을 통해 실시간 객체추적모듈의 객체추적(Real Time Object Tracing) 기술을 적용하여 협의 처치 및 변병에 대한 진료와 체크포인트(Check Point)를 수행하여 촬영된 동영상정보를 인터넷을 통해 진료공유서버를 거쳐 보호자단말기로 전송하는 내시경단말시스템; 인터넷을 통해 실시간으로 제공되는 내진환자의 내시경 시술정보로 의료진단말기와 음성을 송수신하고 설치된 의료정보애플리케이션의 실행으로 진료정보공유서버에 접속하여 진료정보를 열람 및 다운로드받는 보호자단말기; 내진환자의 내장 장기나 체강 내부를 상기 내시경단말시스템으로 실시간으로 시술진료하고 설치된 시술정보애플리케이션의 실행으로 인터넷을 통해 보호자단말기와 음성을 송수신하며 내시경 시술에 따른 소견을 입력하는 의료진단말기; 상기 보호자단말기가 인터넷을 통해 진료정보공유서버에 접속하기 위하여 ID정보를 입력하면 발급된 ID정보와 비교하여 접속여부를 인증하는 로그인인증모듈과, 상기 내시경단말시스템에서 수신된 동영상정보와 의료진단말기의 음성정보를 인터넷으로 접속된 보호자단말기로 실시간 전송하는 진료정보공유모듈과, 상기 진료정보공유모듈을 통해 실시간으로 송수신되는 동영상정보와 음성정보를 포함한 내시경 시술진료를 받은 내진환자와 관련 진료정보 및 결과를 클라우드서버에 저장하는 진료정보저장모듈과, 내진환자의 진료정보와 관련된 각종 의료정보를 내진환자와 보호자에게 서비스로 제공하는 의료정보제공모듈을 포함하는 진료정보공유애플리케이션이 설치된 진료정보공유서버; 상기 진료정보공유서버에 접속되어 실시간 내시경 진료정보의 공유와 각종 의료정보의 제공을 관리하고 내진환자의 내시경 동영상 및 음성을 USB메모리에 저장하여 보호자에게 제공하는 관리자단말기; 상기 진료정보저장모듈을 통해 내시경 관련 진료정보를 저장 및 전송하고 의료정보제공모듈을 통해 진료정보와 관련된 각종 의료정보를 저장 및 전송하는 클라우드서버, 및 상기 진료정보공유서버가 설치된 병원과 관련된 각종 의료정보를 인터넷을 통해 보호자단말기로 전송하는 진료병원서버를 포함하는 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템으로 실시간 객체추적을 이용한 내시경 진료정보를 공유하는 방법에 있어서, (a) 내진환자의 상기 보호자단말기가 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보의 입력으로 로그인인증모듈에서 보호자단말기의 접속인증을 위한 로그인을 수행하는 단계; (b) 상기 수면 내시경 시술의료진의 의료진단말기가 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보의 입력으로 로그인인증모듈에서 의료진단말기의 접속인증을 위한 로그인을 수행하고, 수면 내시경 시술의료진에 의하여 내시경단말시스템이 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보를 입력하여 로그인인증모듈에서 내시경단말시스템의 접속인증을 위한 로그인을 수행하는 단계; (c) 상기 수면 내시경 시술의료진에 의하여 내진환자의 내시경 의료시술을 수행하는 동안 실시간 객체추적모듈에서 객체추적된 진료영상에서 RGB(Red, Green, Blue)색상 값으로부터 HSB[Hue(색상), Saturation(채도), Brightness(명도)]값을 도출 및 비교분석하여 명암 및 채도의 조합으로 분석 검출함으로써 내장 장기나 체강 내부의 용종 및 변병을 구분하여 실시간으로 추적하는 단계; (d) 상기 수면 내시경 시술의료진에 의하여 내진환자의 내시경 의료시술을 수행하는 동안 상기 진료정보공유서버의 진료정보공유모듈은 마이크로폰과 스피커가 구비된 보호자단말기와 의료진단말기 사이에 주고받은 음성과 더불어 내시경단말시스템에서 실시간으로 발생되는 실시간 객체추적된 동영상을 포함하는 진료정보를 인터넷을 통해 공유하는 단계; (e) 상기 진료정보공유서버의 진료정보저장모듈은 진료정보공유모듈을 통해 공유된 음성정보와 동영상정보를 포함하는 진료정보를 클라우드서버에 저장하는 단계; (f) 상기 진료정보공유서버는 클라우드서버에 저장된 진료정보를 인터넷으로 접속된 보호자단말기로 전송하는 단계, 및 (g) 상기 보호자단말기에 설치된 진료정보공유애플리케이션의 실행으로 진료정보공유서버에 접속한 후 해당 내진환자의 진료정보를 검색하면, 진료정보공유서버의 진료정보공유모듈은 클라우드서버에 저장된 정보를 검색하여 해당하는 내진환자의 진료정보를 전송하는 단계를 포함하여 이루어진 실시간 객체추적을 이용한 내시경 진료정보 공유 방법을 제공한 것이 특징이다.In order to achieve the above-mentioned object, the present invention provides a method for realizing an object tracking method using a real-time object tracing technology of a real-time object tracking module through an endoscope, An endoscopic terminal system for performing a medical examination and a check point and transmitting the photographed moving image information to the caregiver terminal via the medical care sharing server via the Internet; A guardian terminal for transmitting and receiving voice to and from a medical care terminal using endoscopic procedure information of a seismic patient provided in real time via the Internet, and accessing and displaying medical information by accessing a medical information sharing server through execution of an installed medical information application; A medical treatment terminal for performing a procedure of a built-in organ or body cavity of a seismic patient in real time in the endoscope terminal system, sending and receiving voice to the guardian terminal through the Internet by executing the installed procedure information application and inputting the findings according to the endoscopic procedure; A login authentication module for comparing the ID information with the issued ID information when the parent terminal inputs ID information for accessing the service information sharing server through the Internet and authenticating whether or not to access the terminal; A medical information sharing module for transmitting voice information to a guardian terminal connected to the Internet in real time; and a medical information sharing module for providing medical information and results related to a seismic patient who has received endoscopic treatment, including video information and voice information transmitted and received in real time via the medical information sharing module A medical information sharing server in which a medical information sharing application including a medical information providing module for providing various medical information related to medical information of a seismic patient to a seismic patient and a carer as a service is installed in a cloud server; A manager terminal connected to the medical care information sharing server for managing the sharing of real-time endoscopic medical care information and the provision of various kinds of medical information, storing an endoscopic video and voice of a seismic patient in a USB memory and providing the data to a guardian; A cloud server that stores and transmits endoscopic-related medical care information through the medical care information storage module, stores and transmits various medical information related to the medical care information through the medical information providing module, and various medical services related to the hospital where the medical care information sharing server is installed A method for sharing endoscopic medical care information using real-time object tracking with an endoscopic medical care information sharing system using real-time object tracking including a medical care hospital server transmitting information to a guardian terminal via the Internet, the method comprising the steps of: (a) Performing login for connection authentication of a guardian terminal in a login authentication module by inputting registered ID information after a terminal accesses a treatment information sharing server through the Internet; (b) a medical terminal of the sleep endoscopic procedure medical doctor accesses the medical care information sharing server via the Internet, performs login for access authentication of the medical care terminal in the login authentication module by inputting the registered ID information, Performing login for access authentication of the endoscope terminal system in the login authentication module by inputting the registered ID information after the endoscope terminal system accesses the medical care information sharing server via the Internet; (c) The HSB [Hue (Color), Saturation (Hue), and Saturation (Hue) values are extracted from RGB (Red, Green, Blue) color values in the medical image tracked by the object in the real-time object tracking module during the endoscopic medical treatment procedure of the patient, (Brightness, brightness)] values of the intestine or the body cavity of the intestine or the body cavity to detect and analyze them in real time; (d) While performing the endoscopic medical treatment of the seismic patient by the endoscope medical staff, the medical care information sharing module of the medical care information sharing server includes voice transmitted and received between the guardian terminal equipped with the microphone and speaker and the medical care terminal, Sharing clinical information including real-time object-tracked moving images generated in real time in a terminal system through the Internet; (e) the medical care information storage module of the medical care information sharing server stores medical care information including voice information and moving image information shared by the medical care information sharing module in the cloud server; (f) the medical care information sharing server transmits the medical care information stored in the cloud server to the parent-guarded terminal connected to the Internet; and (g) accessing the medical care information sharing server by executing the medical care information sharing application installed in the parent- The clinical information sharing module of the medical information sharing server searches the information stored in the cloud server and transmits the medical information of the corresponding seismic patient to the endoscope using the real time object tracking, It is characterized by providing a method for sharing medical information.

또한, 본 발명에서, 상기 (e) 단계에서, 상기 의료진단말기는 수면 내시경 시술의료진에 의하여 입력된 소견서를 진료정보공유서버의 진료정보저장모듈을 거쳐 클라우드서버에 저장되도록 할 수 있다.Also, in the present invention, in the step (e), the medical service terminal may store the recommendation input by the sleep endoscopic procedure medical staff in the cloud server via the medical care information storage module of the medical care information sharing server.

또한, 본 발명에서, (h) 상기 보호자단말기에 설치된 의료정보애플리케이션은 진료정보공유서버에 접속하여 로그인 후에 클라우드서버로부터 내진환자와 관련된 진료기록의 열람, 의료진의 소견서열람, 진단서 발급요청, 진료비용 및 영수증 발급요청, 진료예약, 의료진정보, 처방기록, 병원 및 진료과목 열람, 건강검진 신청 및 결과열람, 입원 및 퇴원과 병실정보의 열람, 내시경 시술에 따른 세포조직의 표본 채취정보, 내진환자의 병력정보, 내진환자에 의하여 작성된 설문 또는 문진정보를 저장하고 열람할 수 있는 기능을 포함할 수 있다.(H) The healthcare information application installed in the guardian terminal may access the health care information sharing server and access the health care information server from the cloud server after browsing the health care information related to the seismic patient, reading the health care staff consultation report, And the receipt request, the medical appointment, the medical staff information, the prescription record, the examination of the hospital and the medical examination course, the examination of the medical examination application result and the result, the reading of the hospital and discharge and the patient information, the sampling information of the cell tissue according to the endoscopic procedure, History information, a questionnaire prepared by a seismic patient, or a function of storing and viewing the questionnaire information.

또한, 본 발명에서, 상기 (h) 단계에서, 의료진의 소견서에는 내시경 시술을 한 주 의료진이 작성한 의학적 소견 및 처방정보와 더불어 해당 내시경 시술과 관련된 부 의료진 또는 상급의료진에 의하여 작성한 의학적 소견 및 처방정보를 모두 포함할 수 있다.Further, in the present invention, in the step (h) of the step (h), the referral data of the medical staff includes the medical findings and prescription information prepared by the main medical staff who performed the endoscopic procedure and the medical findings and prescription information . ≪ / RTI >

또한, 본 발명에서, 상기 (d) 단계에서, 진료정보공유모듈은 내시경단말시스템의 실시간 객체추적모듈에서 생성된 동영상 위에 의료진단말기를 통해 표시된 기호나 특수문자 또는 소견정보를 포함하는 진료정보를 공유할 수 있다.Also, in the present invention, in the step (d), the medical care information sharing module may share the medical care information including the symbol, special character, or remark information displayed on the medical care terminal over the moving image generated by the real time object tracking module of the endoscope terminal system can do.

본 발명에 따르면, 수면 내시경을 이용하여 진찰, 진료 및 시술하는 동안 내시경 시술대상자의 보호자와 의료시술을 수행하는 의료진 사이에 실시간으로 내시경 의료시술에 대한 동영상정보와 음성정보를 공유함과 동시에 실시간 내시경 시술과정에서 객체추적 기술을 적용하여 협의 처치 및 변병에 대한 진료와 함께 협의에 의한 처치를 수행함과 더불어 시술과정을 녹화 및 재생하여 내시경 의료시술에 따른 내시경 시술대상자와 그 보호자에게 더욱 효과적이고 향상된 맞춤형 의료서비스를 제공한 이점이 있다.According to the present invention, video information and audio information about an endoscopic medical treatment procedure are shared in real time between a guardian of an endoscopic procedure subject and a medical staff performing medical treatment during a medical examination, a medical treatment, and a procedure using a surface endoscope, During the procedure, the object tracking technology is applied to perform consultation and consultation with the consultation and amendment. In addition, the procedure is recorded and reproduced, so that the endoscopic treatment according to the endoscopic medical treatment method is more effective and improved There is an advantage in providing medical services.

도 1은 본 발명에 따른 실시 예로, 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템을 나타낸 구성도이다.
도 2는 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 실시간 객체추적 기술을 적용한 논리적 구성을 나타낸 것이다.
도 3 및 도 4는 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 방법을 나타낸 흐름도이다.
도 5는 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 내시경단말시스템의 모니터 초기화면을 나타낸 사진이다.
도 6은 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 보호자단말기의 모니터 초기화면을 나타낸 사진이다.
도 7은 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 보호자단말기가 진료정보공유서버를 통해 내시경단말시스템에 정상적으로 로그인되어 접속되었을 때 모니터 화면을 나타낸 사진이다.
도 8은 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 내시경 의료시술에 관한 모든 정보를 녹화하고 저장하는 화면을 나타낸 사진이다.
도 9는 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 관리자의 로그인 화면을 나타낸 것이다.
도 10은 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템에서 실시간 객체추적 기술이 적용되어 HSB값에 의한 관심영역이 체크포인트되어 검출된 화면이다.
도 11은 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 방법에서 색상, 채도, 명도(HSB)의 색 공간에서 명도 값의 변화에 따른 주황색의 변화를 나타낸 도표이다.
도 12는 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 방법에서 색상의 R, G, B값과 채도 값을 고정한 상태에서 색상, 채도, 명도(HSB)의 색 공간에서 명도 값의 변화에 따른 색의 변화를 나타낸 도표이다.1 is a block diagram illustrating an endoscopic medical care information sharing system using real-time object tracking according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a logical configuration using a real-time object tracking technology in an endoscopic medical care information sharing system using real-time object tracking according to the present invention.
FIG. 3 and FIG. 4 are flowcharts illustrating a method of sharing endoscopic medical care information using real-time object tracking according to the present invention.
5 is a photograph showing an initial monitor screen of an endoscope terminal system in an endoscope medical care information sharing system using real-time object tracking according to the present invention.
6 is a photograph showing an initial monitor screen of a guardian terminal in an endoscopic care information sharing system using real-time object tracking according to the present invention.
FIG. 7 is a photograph showing a monitor screen when a guardian terminal is normally logged in and connected to an endoscope terminal system through a care information sharing server in an endoscopic care information sharing system using real-time object tracking according to the present invention.
FIG. 8 is a photograph showing a screen for recording and storing all information related to the endoscopic medical treatment in the endoscopic medical care information sharing system using real-time object tracking according to the present invention.
9 is a login screen of an administrator in an endoscopic medical care information sharing system using real-time object tracking according to the present invention.
FIG. 10 is a screen in which an ROI object tracking technique is applied to an endoscopic medical care information sharing system using real-time object tracking according to the present invention, and the ROI is checked and detected by an HSB value.
FIG. 11 is a chart showing a change in orange color according to a change in brightness value in a color space of hue, saturation, and brightness (HSB) in a method of sharing endoscopic medical care information using real-time object tracking according to the present invention.
FIG. 12 is a graph showing changes in brightness values in color space, color saturation, and brightness (HSB) in a state where R, G, and B values and saturation values of colors are fixed in a method of sharing endoscopic medical care information using real- Fig.

이하, 본 발명에 따른 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템의 실시 예에 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, an endoscopic medical care information sharing system using real-time object tracking according to the present invention will be described in detail with reference to the accompanying drawings.

도 1 및 도 2에서, 본 발명은 내시경단말시스템(10)과 진료정보공유서버(40) 및 보호자단말기(20)와 의료진단말기(30)가 인터넷으로 연결되어 실시간으로 내시경 진료정보를 공유할 수 있도록 하는 것이다. 인터넷은 유선이나 무선 또는 유무선통합망으로 원격 접속될 수 있다.1 and 2, the present invention can be applied to an endoscope terminal system 10, a medical care information sharing server 40, a guardian terminal 20, and a medical care terminal 30 connected to the Internet to share endoscopic medical care information in real time . The Internet can be remotely connected to a wired or wireless or wired / wireless integrated network.

내시경단말시스템(10)은 수면 내시경 시술의료진에 의하여 내진환자의 내장 장기나 체강 내부를 내시경을 통해 실시간 객체추적모듈(11)의 객체추적(Real Time Object Tracing) 기술을 적용하여 협의 처치 및 변병에 대한 진료와 체크포인트(Check Point)를 수행하여 촬영된 동영상정보를 인터넷을 통해 진료정보공유서버(40)를 거쳐 보호자단말기(20)로 전송하는 것이다. 내시경단말시스템(10)은 의료진이 내시경 시술대상자인 내진환자를 진료하는 내시경장비와, 의료진의 음성을 수신하는 마이크로폰, 그리고 실시간으로 촬영된 진료영상이 표시되는 모니터와, 촬영된 영상을 인터넷을 통해 진료정보공유서버(40)로 전송하는 송신기 등이 포함된다. 더욱이 내시경단말시스템(10)에는 내시경 의료시술을 위한 애플리케이션, 즉, 실시간 객체추적모듈(11)이 설치된다. 또한, 내시경단말시스템(10)은 병렬통신으로 연결 PACS(Picture Archiving and Communication System) 게이트웨이 단말에 설치되는 프로그램(Program)에 의해 의료진에 의해 내시경장비를 통한 실시간 객체추적 기술에 따른 진료시술 전 과정을 실시간으로 전송받는 기능을 포함한다. 즉, 내시경단말시스템(10)은 대부분의 병, 의원에 구축된 내시경장비를 운용할 때 내시경장비와 함께 시스템화되어 구축 운용 중인 PACS 의학영상정보시스템의 게이트웨이 단말에 함께 설치되어 운용된다. 참고로, PACS은 내시경, MRI, CT 등의 의료기기를 통해 생성된 자료를 DICOM(Digital Imaging and Communications in Medicine) 이라는 국제표준규약의 프로토콜(Protocal)로 변환시키고 대용량 기억장치에 저장시켜 영상의학과 전문가가 모니터를 통해 판독할 수 있도록 하는 시스템이다. 이때, 의료기기, 예컨대, 내시경장비에서 촬영된 사진이나 이미지들을 DICOM 프로토콜로 변환시켜주는 프로그램이 설치되는 단말을 게이트웨이라 하고, 일반적으로 내시경장비 바로 옆에 위치한다. 즉, 본 발명의 내시경단말시스템은 내시경장비와 별도로 구축된 게이트웨이 단말에 설치하거나 또는 PACS의 DICOM 변환 게이트웨이 단말에 함께 설치하여 운용하는 것이 좋다.The endoscope terminal system 10 uses a real-time object tracing technique of a real-time object tracking module 11 through an endoscope to diagnose a visceral organs or body cavity of a seismic patient by a sleep endoscopic procedure medical staff, And transmits the photographed moving image information to the caregiver terminal 20 via the medical care information sharing server 40 via the Internet by performing a medical examination and a check point. The endoscope terminal system 10 includes an endoscopic instrument for a medical staff to perform an endoscopic procedure, a microphone for receiving a voice of a medical staff, a monitor for displaying a medical image photographed in real time, And a transmitter for transmitting to the medical care information sharing server 40 and the like. Furthermore, an application for endoscopic medical treatment, that is, a real-time object tracking module 11, is installed in the endoscope terminal system 10. In addition, the endoscope terminal system 10 includes a program installed in the PACS gateway terminal by parallel communication, and the whole process of medical treatment according to the real-time object tracking technology through endoscopic equipment is performed by the medical staff And includes the function of receiving in real time. That is, the endoscope terminal system 10 is installed and operated together with the endoscopic equipment when operating the endoscope equipment installed in most hospitals and clinics, together with the gateway terminal of the PACS medical image information system, which is being constructed and operated. For reference, PACS converts data generated through medical devices such as endoscopes, MRI, CT into protocols (Protocal) of international standard protocol called DICOM (Digital Imaging and Communications in Medicine) and stores them in mass storage device, To be read through the monitor. At this time, a terminal on which a program for converting a photograph or an image photographed in a medical instrument, for example, an endoscope apparatus into a DICOM protocol is installed is called a gateway, and is generally located next to the endoscope apparatus. That is, the endoscope terminal system of the present invention may be installed in a gateway terminal separately provided from the endoscopic equipment, or installed together in the DICOM conversion gateway terminal of the PACS.

따라서 도 5에서, 내시경단말시스템(10)의 모니터 화면은 내시경장비를 통해 전송되는 내진환자의 실시간 객체추적된 내장 장기나 체강 내부의 실시간 촬영 동영상, ID정보, 녹화버튼, 마이크로폰 버튼, 음량조절버튼, 음소거버튼, 진료버튼, 캐드캠 등의 기능선택, 의료진 정보, 접속자 화면 및 공유된 화면 등이 각각 표시된다.5, the monitor screen of the endoscope terminal system 10 includes a real-time object of a seismic patient transmitted through an endoscope apparatus, a real-time image of a built-in organ or body cavity, ID information, a recording button, a microphone button, , A mute button, a medical treatment button, a CADCAM, and the like, medical staff information, a contact person screen, and a shared screen, respectively.

한편, 본 발명에서, 실시간 객체추적(Real Time Object Tracing) 기술을 적용하여 의료시술을 하는 의료진과 더불어 시술대상자와 그 보호자에게 시술정보를 실시간으로 공유하는 동안 보다 효과적이고 향상된 의료서비스를 고객에게 제공할 뿐만 아니라, 객관적인 진찰, 진료 및 시술이 이루어지는 근거자료를 제공한다. 더욱이 실시간 객체추적(Real Time Object Tracing) 기술은 비디오 입력영상으로부터 관심영역을 세그먼트(Segmenting)하는 것과, 모션(Motion), 포지셔닝(Positioning) 그리고 오클루전(Occlusion)에 관한 상황들에 대한 추적을 지속하여 추적하는 것 주된 내용으로 하는데, 이러한 실시간 객체추적(Real Time Object Tracing) 기술은 주로 비디오 감시시스템(Video Surveillance System)이나 로봇비젼(Robot Vision), 트래픽모니터링(Traffic Monitoring), 비디오복원(Video Inpainting)과 애니메이션(Animation), 증강현실 등 다양한 영역에 적용 기술이다. 반면에 객체를 탐지하는데 있어서 가장 먼저 이루어져야 하는 것은 관심영역(Identification of Regions of Interest)을 인식하는 것이다. 객체를 인식하는데 있어 가장 잘 알려져 있는 객체검출 알고리즘(Object Detection Algorithm)을 이용하여 검출하는 것이 바람직하지만, 컬러(Color), 형상(Shape), 질감(Texture) 등 많은 변수가 존재하기 때문에 정확하게 체크포인트(Check Point) 영역을 검출하는 과정은 어려울 수밖에 없다. 그렇기 때문에 현실적으로 실시간 객체추적 기술을 활용한 다양한 시스템들은 컴퓨터비전시스템(Computer Vision System)들과 같이 카메라 환경을 고정시켜 놓고, 검출처리(Detection Process)를 적용하고 있다. 이와 관련하여 내시경 카메라인 위파이버스코프(Gastrofiberscope)의 경우는 고정되어 있지 않은 채 채장이나 장기 내부를 이동하면서 관심영역을 인식해야 함과 동시에 체크포인트되어 검출된 영역은 위파이버스코프의 이동과는 무관하게 검출된 영역을 지속적으로 마킹(Marking)하고 있어야하는 어려움이 있다. 또한, 채장 내부에 발견된 용종이나 병변 그리고 채장 내부 자체가 모두가 동일한 색상, 즉, 붉은 색을 띄우고 있기에 검출된 영역이 용종이나 변병을 주변의 색상(Color), 모양(Shape), 텍스처(Texture)와 명확하게 구분하여 체크포인트된 영역을 동적으로 검출하기에 기술적으로 어려운 점이 있다.Meanwhile, in the present invention, in addition to a medical staff performing medical treatment by applying a real time object tracing technique, effective and improved medical services are provided to a customer while sharing procedural information in real time with a patient to be treated and its caregiver As well as provide objective evidence of physical examination, treatment and procedures. Furthermore, the Real Time Object Tracing technology can be used to segment the region of interest from the video input image and to track situations related to Motion, Positioning, and Occlusion. The main purpose of this is to keep track of the contents of the video. This real time object tracking technology is mainly used for video surveillance system, robot vision, traffic monitoring, Inpainting, animation, and augmented reality. On the other hand, the first thing to do in detecting an object is to recognize the Identification of Regions of Interest. It is desirable to detect using the object detection algorithm which is best known for object recognition. However, since there are many variables such as color, shape, and texture, It is difficult to detect the check point area. Therefore, in reality, various systems using real-time object tracking technology fix the camera environment like Computer Vision System and apply Detection Process. In this regard, in the case of Gastrofiberscope, which is an endoscopic camera, it is necessary to recognize a region of interest while moving in a quadrangle or a long term without being fixed, and at the same time, the region to be checked is detected regardless of the movement of the upper scopeoscope There is a difficulty in continuously marking the detected area. In addition, since the polyps, lesions, and the inside of the quarry found inside the quarry all have the same color, that is, red color, the detected area indicates the polyps, the surrounding color, the shape, ), It is technically difficult to dynamically detect the checkpointed area.

보호자단말기(20)는 인터넷을 통해 실시간으로 제공되는 내진환자의 내시경 시술정보로 의료진단말기(30)와 음성을 송수신하고, 보호자단말기(20)에 설치된 의료정보애플리케이션(21)의 실행으로 진료정보공유서버(40)에 접속하여 진료정보를 열람 및 다운로드받는다. 즉, 보호자단말기(20)는 의료진이 운용하는 내시경단말시스템(10)과 원격으로 접속되는 것이다. 보호자단말기(20)는 진료정보공유서버(40)에 로그인하여 접속한 후에 내시경단말시스템(10)으로부터 동영상 및 음성정보 등을 수신한다. 그리고 보호자단말기(20)는 필요에 따라 인터넷으로 연결된 진료정보공유서버(40)를 통해 내시경단말시스템(10)과 음성정보를 송수신한다. 즉, 보호자는 의료진과 소통을 통해 진료에 대한 의문사항을 질문할 수 있도록 한다. 그리고 보호자단말기(20)에는 내시경 의료시술 정보를 시청각적으로 표시하기 위한 의료정보애플리케이션(21)이 설치된다. 보호자단말기(20)는 데스크톱PC, 노트북PC, 태블릿PC 또는 스마트폰 등이 될 수 있다.The guardian terminal 20 transmits and receives voice to and from the medical care terminal 30 with the endoscopic procedure information of the seismic patient provided in real time via the Internet and transmits medical information through the execution of the medical information application 21 installed in the guardian terminal 20 And accesses the server 40 to view and download the medical care information. That is, the guardian terminal 20 is remotely connected to the endoscope terminal system 10 operated by the medical staff. The guardian terminal 20 receives moving picture and voice information from the endoscope terminal system 10 after logging into the medical care information sharing server 40 and accessing it. Then, the caregiver terminal 20 transmits and receives voice information to and from the endoscope terminal system 10 through the medical care information sharing server 40 connected to the Internet as needed. That is, the caregiver can ask questions about medical care through communication with the medical staff. The caregiver terminal (20) is provided with a medical information application (21) for visually and visually displaying endoscopic medical treatment information. The guardian terminal 20 may be a desktop PC, a notebook PC, a tablet PC, or a smart phone.

더욱이 도 6에서, 보호자단말기(20)는 진료정보공유서버(40)에 로그인을 위하여 보호자단말기(20)의 접근 ID정보와 사용자이름을 입력하여 접근 및 접속한다. 그리고 진료정보공유서버(40)는 보호자단말기(20)의 접속을 위하여 ID정보를 보호자단말기(20)로 전송한다. 또한, 인터넷으로 연결된 보호자단말기(20)의 사용자인 보호자는 내시경단말시스템(10)이 설치된 시술실로부터 근거리의 공간에서 간호사와 함께 배석하여 신원 확인절차를 거친 후 헤드셋을 장착하면, 의료진단말기(30)를 통해 실시간으로 통화를 할 수 있다. 내시경단말시스템(10)의 모니터에 표시된 ID정보를 채팅을 통해 문자나 헤드셋을 통해 음성을 보호자에게 알려주면 보호자는 보호자단말기(20)에 해당 ID정보를 입력하여 내시경단말시스템(10)의 해당 의료진과 소통이 가능한 접속이 이루어진다.6, the guardian terminal 20 accesses and accesses the care information sharing server 40 by inputting the access ID information and the user name of the guardian terminal 20 for login. The care information sharing server 40 transmits the ID information to the guardian terminal 20 for connection to the guardian terminal 20. The guardian who is the user of the guardian terminal 20 connected to the Internet places the headset together with the nurse in a close space from the procedure room where the endoscope terminal system 10 is installed, ) In real time. When the ID information displayed on the monitor of the endoscope terminal system 10 is notified to the guardian through a character or a headset through chat, the guardian inputs the ID information to the guardian terminal 20, A connection is established.

도 5에서, 보호자단말기(20)에는 내진환자의 내시경 진료시술 정보를 가시적으로 표시된다. 그리고 도 7에서, 의료진은 내진환자에 대한 실시간 내시경 진료시술 정보를 보호자와 음성으로 통화를 통해 공유하는 동안 해당하는 실시간 객체추적된 동영상 정보데이터와 통화내역은 진료정보공유서버(40)에서 클라우드서버(50)에 실시간으로 녹화하고 저장한다. 이러한 과정을 통하여 저장된 동영상 및 음성정보는 의료진 또는 관리자에 의하여 별도의 저장매체로서 CD나 USB메모리(61) 등에 저장되어 보호자에게 제공될 수 있다.5, the guardian terminal 20 is visibly displayed with the endoscopic medical treatment information of the seismic patient. In FIG. 7, while the medical practitioner shares the real-time endoscopic medical treatment information about the seismic patient with the protector through voice communication, the real-time object tracked video information data and the call history are transmitted from the clinical information sharing server 40 to the cloud server (50) in real time. The video and audio information stored through the process can be stored in a CD or a USB memory 61 as a separate storage medium by the medical staff or the administrator and can be provided to the caregiver.

의료진단말기(30)는 내진환자의 내장 장기나 체강 내부를 상기 내시경단말시스템(10)으로 실시간으로 시술진료하고 인터넷을 통해 보호자단말기(20)와 통화음성을 송수신하며 내시경 시술에 따른 소견을 입력하는 것이다. 의료진단말기(30)는 내시경단말시스템(10)과 연결될 수 있다. 즉, 의료진단말기(30)는 의료진이 운용하는 내시경단말시스템(10)과 직접 또는 원격으로 접속된다. 의료진단말기(30)는 진료정보공유서버(40)에 로그인하여 접속한 후에 내시경단말시스템(10)으로부터 동영상 및 음성정보 등을 송수신한다. 그리고 의료진단말기(30)는 필요에 따라 인터넷으로 연결된 진료정보공유서버(40)를 통해 보호자단말기(20)와 음성정보를 송수신한다. 즉, 의료진은 보호자와 소통을 통해 진료에 관한 보호자의 의문사항을 답변할 수 있도록 한다. 그리고 의료진단말기(30)에는 내시경 의료시술 정보를 시청각적으로 표시하기 위한 시술정보애플리케이션(31)이 설치될 수 있다. 보호자단말기(20)는 데스크톱PC, 노트북PC, 태블릿PC 또는 스마트폰 등이 될 수 있다.The medical service terminal 30 treats the internal organs of the seismic patient or the inside of the body cavity in real time in the endoscope terminal system 10 and sends and receives voice calls to the guardian terminal 20 via the Internet and inputs the findings according to the endoscopic procedure will be. The medical care terminal 30 may be connected to the endoscope terminal system 10. That is, the medical care terminal 30 is directly or remotely connected to the endoscope terminal system 10 operated by the medical staff. The medical care terminal 30 transmits and receives video and audio information and the like from the endoscope terminal system 10 after logging in and connecting to the medical care information sharing server 40. [ The medical care terminal 30 transmits / receives voice information to / from the caregiver terminal 20 through the medical care information sharing server 40 connected to the Internet as needed. In other words, the medical staff can communicate with the carer to answer the carer's questions about the carer. In addition, the medical care terminal 30 may be provided with a procedure information application 31 for visually and visually displaying the endoscopic medical procedure information. The guardian terminal 20 may be a desktop PC, a notebook PC, a tablet PC, or a smart phone.

진료정보공유서버(40)는 인터넷으로 접속된 내시경단말시스템(10)과 보호자단말기(20) 사이에 내시경 의료시술과 관련된 정보데이터를 송수신하여 공유하고 저장하며 전송하는 것이다. 진료정보공유서버(40)는 인터넷을 통해 복수의 보호자단말기(20)가 접속되어 내진환자의 내시경 의료시술 과정을 공유할 수 있도록 한다. 진료정보공유서버(40)는 보호자단말기(20)의 로그인을 위한 ID정보를 생성하는데, ID정보는 접속시간을 근거로 단방향 함수를 통해 매번 새롭게 생성하여 전송한다.The medical care information sharing server 40 transmits / receives information data related to the endoscopic medical treatment procedure between the endoscope terminal system 10 connected to the Internet and the caregiver terminal 20, and shares, stores and transmits the information data. The care information sharing server 40 is connected to a plurality of guardian terminals 20 through the Internet to share an endoscopic medical treatment procedure of a seismic patient. The care information sharing server 40 generates ID information for log-in of the guardian terminal 20. The ID information is newly generated and transmitted through the unidirectional function based on the connection time.

진료정보공유서버(40)에는 로그인인증모듈(42), 진료정보공유모듈(43), 진료정보저장모듈(44) 및 의료정보제공모듈(45)을 포함하는 진료정보공유애플리케이션(41)이 설치된다. 진료정보공유애플리케이션(41)은 진료정보공유서버(40) 내에 설치되어 인터넷을 통해 접속된 보호자단말기(20), 의료진단말기(30) 및 내시경단말시스템(10), 그리고 병원서버(70) 등과 데이터를 송수신하는 것이다.The medical care information sharing application 40 is provided with a medical care information sharing application 41 including a login authentication module 42, a medical care information sharing module 43, a medical care information storage module 44 and a medical information providing module 45 do. The medical care information sharing application 41 is provided in the medical care information sharing server 40 and is connected to the parent terminal 20, the medical care terminal 30 and the endoscope terminal system 10, the hospital server 70, .

로그인인증모듈(21)은 보호자단말기(20)가 인터넷을 통해 진료정보공유서버(40)에 접속하기 위하여 ID정보를 입력하면 발급된 ID정보와 비교하여 접속여부를 인증하는 것이다. 진료정보공유모듈(22)은 내시경단말시스템(10)에서 수신된 동영상정보와 음성정보를 인터넷으로 접속된 하나 이상의 보호자단말기(20)로 실시간 전송하는 것이다. 그리고 진료정보저장모듈(23)은 진료정보공유모듈(22)을 통해 실시간 송수신되는 동영상정보와 음성정보를 포함한 내시경 의료시술을 받은 내진환자와 관련 진료정보 및 결과를 클라우드서버(50)에 저장하는 것이다.The login authentication module 21 authenticates whether the parent terminal 20 is connected or not by comparing it with the issued ID information when the parent terminal 20 inputs the ID information to access the care information sharing server 40 via the Internet. The medical care information sharing module 22 transmits the moving picture information and the voice information received from the endoscope terminal system 10 to one or more guardian terminals 20 connected to the Internet in real time. Then, the medical care information storage module 23 stores the seismic patient and related medical care information and the result of the endoscopic medical treatment including the moving picture information and voice information transmitted and received in real time through the medical care information sharing module 22 in the cloud server 50 will be.

또한, 의료전보제공모듈(45)은 내진환자의 진료정보와 관련된 각종 의료정보를 내진환자와 보호자에게 서비스로 제공하는 것이다. 더욱이 의료전보제공모듈(45)은 보호자에 의하여 보호자단말기(20)에 설치된 의료정보애플리케이션(21)의 실행으로 보호자가 원하는 다양한 의료정보를 제공하는 것으로, 의료전보제공모듈(45)은 보호자단말기(20)가 진료정보공유서버(40)에 접속하여 로그인 후에 클라우드서버(50)로부터 내진환자와 관련된 진료기록의 열람, 의료진의 소견서열람, 진단서 발급요청, 진료비용 및 영수증 발급요청, 진료예약, 의료진정보, 처방기록, 병원 및 진료과목 열람, 건강검진 신청 및 결과열람, 입원 및 퇴원과 병실정보의 열람, 내시경 시술에 따른 세포조직의 표본 채취정보, 내진환자의 병력정보, 내진환자에 의하여 작성된 설문 또는 문진정보를 저장하고 열람할 수 있도록 하는 기능을 제공한다. 더욱이 의료전보제공모듈(45)은 병원서버(70)로부터 의료정보의 제공을 위한 정보를 수집하거나 해당 정보를 링크시켜 제공한다.In addition, the medical-information providing module 45 provides various medical information related to the medical information of the seismic patient to the seismic patient and the caregiver as a service. Further, the medical-information providing module 45 provides a variety of medical information desired by the caregiver by executing the medical information application 21 installed on the caregiver terminal 20 by the caregiver, and the medical- 20 accesses the medical care information sharing server 40 and logs in, the medical care history reading of the medical staff, a request for issuing a medical certificate, a request for a medical treatment fee and a receipt issuance, a medical treatment reservation, Information on prescriptions, views of hospital and medical subjects, application for medical examination and review of results, examination of hospital and hospital and hospital information, sampling of cell tissue by endoscopy, history of seismic patients, questionnaire prepared by seismic patients Or to store and read document information. Further, the medical telegram providing module 45 collects information for providing medical information from the hospital server 70 or links the information.

클라우드서버(50)는 진료정보저장모듈(44)을 통해 내시경 관련 진료정보를 저장 및 전송하고, 의료전보제공모듈(45)을 통해 진료정보와 관련된 각종 의료정보를 저장 및 전송하며, 의료전보제공모듈(45)을 통해 각종 의료정보를 제공한다. 클라우드서버(50)는 의료정보와 관련된 문서, 사진, 동영상 등의 다양한 콘텐츠를 입출력한다.The cloud server 50 stores and transmits endoscopic-related medical care information through the medical care information storage module 44, stores and transmits various medical information related to the medical care information through the medical-medical-information providing module 45, Module 45 to provide various medical information. The cloud server 50 inputs and outputs various contents such as documents, photographs, and moving pictures related to medical information.

진료정보공유서버(40)에 접속된 관리자단말기(60)는 실시간 내시경 진료정보의 공유와 각종 의료정보의 제공을 관리하고 내진환자의 내시경 동영상 및 음성을 USB메모리(61)에 저장하여 보호자에게 제공한다. 관리자단말기(60)는 의료진에 의하여 관리되는 것이 좋다.The administrator terminal 60 connected to the medical care information sharing server 40 manages the sharing of the real-time endoscopic medical care information and the provision of various medical information, stores the endoscopic video and voice of the seismic patient in the USB memory 61, do. The administrator terminal 60 is preferably managed by a medical staff.

진료병원서버(70)는 진료정보공유서버(40)가 설치된 병원과 관련된 각종 의료정보를 인터넷을 통해 보호자단말기(20)로 전송하는 것이다. 진료병원서버(70)는 진료정보공유서버(40)와 데이터를 공유한다. 진료병원서버는 병원이나 의원 또는 종합병원에 설치된다.The clinic hospital server 70 transmits various medical information related to the hospital where the medical care information sharing server 40 is installed to the caregiver terminal 20 via the Internet. The medical care hospital server 70 shares data with the medical care information sharing server 40. Hospital The hospital server is installed in hospital, clinic or general hospital.

도 8에서, 내시경단말시스템(10)의 관리창에는 의료진과 보호자가 접속된 상태를 나타낸다. 클라우드서버(50)에 의료진의 정보 및 내진환자의 보호자 정보 및 접속 및 종료 정보에 더하여 시스템관리자, 즉, 관리자단말기(60)의 정보도 저장된다. 또한, 진료정보공유서버(40)의 로그인인증모듈(42)은 인터넷을 통해 로그인정보가 입력되면, 클라우드서버(50)에 저장된 정보를 참조하여 시스템관리자 인증을 수행한다. 클라우드서버(50)에 저장되는 시스템관리자 정보는 관리자의 개인정보 및 관리자 인증을 위한 아이디와 패스워드를 포함한다. 더욱이 시스템관리자는 본 발명에서 실시간 내시경 진료정보 공유 시스템을 사용하는 의료진과 별개로 시스템 개발회사의 구성원이거나 실시간 내시경 진료정보 공유 시스템을 사용하는 의료진이 관리자일 수 있고, 이 경우에는 별도의 아이디 및 패스워드는 불필요하고, 의료진의 정보에 관리자라는 별도의 기록만 추가되면 족하다. 시스템관리자가 진료정보공유서버(40)에 접속하여 아이디와 패스워드를 입력하면, 클라우드서버(50)에 저장된 관리자의 아이디 및 패스워드에 일치하는지 판단하고, 일치하는 경우에는 시스템관리자로서 인증하고, 시스템 관리창에 접근할 수 있도록 한다. 시스템관리자로서 인증되면, 내진환자의 보호자와 및 의료진의 접속정보를 확인할 수 있는 연결 보고서 및 현재 접속되어 대기 중인 단말로서 컴퓨터 및 연락처 정보 및 의료진 및 내진환자의 단말에 대한 자산관리를 정보를 포함 한 모니터링 등의 관리가 가능하다. 또한, 시스템관리자가 실시간 내시경단말시스템(10)의 사용 구성원인 경우에 내시경단말시스템(10)에서 내진환자의 단말에 직접 연결을 등을 설정할 수 있을 것이다.8, the management window of the endoscope terminal system 10 shows a state in which a medical staff and a guardian are connected. The information of the system administrator, that is, the manager terminal 60, is stored in the cloud server 50 in addition to the information of the medical staff, the guardian information of the seismic patient, and the connection and termination information. When login information is input via the Internet, the login authentication module 42 of the health care information sharing server 40 performs system administrator authentication with reference to the information stored in the cloud server 50. [ The system administrator information stored in the cloud server 50 includes personal information of an administrator and an ID and a password for administrator authentication. In addition, the system administrator may be a member of the system development company separately from the medical staff using the real-time endoscopic medical care information sharing system or the medical staff using the real-time endoscopic medical care information sharing system in the present invention. In this case, It is unnecessary and only a separate record of the manager is added to the information of the medical staff. When the system administrator accesses the management information sharing server 40 and inputs the ID and password, it is determined whether or not the ID and the password match the ID and password of the administrator stored in the cloud server 50. If they match, Allow access to the window. If it is authenticated as a system administrator, the connection report that can confirm the connection information of the patient with the guardian of the seismic patient and the connection report of the medical staff, and the computer and contact information as the currently connected pending terminal and the asset management of the medical staff and the terminal of the seismic patient, Monitoring, and so on. In addition, when the system administrator is a user of the real-time endoscope terminal system 10, the endoscope terminal system 10 may establish a direct connection to the endoscope patient's terminal.

이와 같이 이루어진 본 발명의 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템을 이용하여 실시간 객체추적을 이용하여 내시경 진료정보를 공유하는 방법에 관하여 도 2 내지 도 12를 참조하여 설명한다.A method for sharing endoscopic medical care information using real-time object tracking using the endoscopic care information sharing system using the real-time object tracking according to the present invention will now be described with reference to FIGS. 2 to 12. FIG.

먼저, 도 3에서, 관리자단말기(60)는 진료정보를 공유하는 보호자단말기(20), 의료진단말기(30) 및 내시경단말시스템(10)이 진료정보공유서버(40)에 접속 및 인증하기 위한 ID정보를 설정하고 등록한다(S1). 그리고 보호자단말기(20), 의료진단말기(30) 및 내시경단말시스템(10)의 ID정보는 클라우드서버(50)에 저장된다. 클라우드서버(50)는 진료정보공유서버(40)에 접속하는 기기들의 인증을 위하여 ID정보의 생성, 발급 및 관리에 따른 보안시스템이 구축되어 있는 것이 좋다. 관리자단말기(60)에는 진료정보의 공유와 관련된 관리용 애플리케이션이 설치된다.3, the administrator terminal 60 includes an ID for accessing and authenticating the caregiver terminal 20, the medical care terminal 30, and the endoscope terminal system 10 to the medical care information sharing server 40, Information is set and registered (S1). The ID information of the guardian terminal 20, the medical care terminal 30, and the endoscope terminal system 10 is stored in the cloud server 50. It is preferable that the cloud server 50 has a security system for generating, issuing and managing ID information for authentication of devices connected to the health information sharing server 40. [ The management terminal 60 is provided with a management application related to the sharing of the medical care information.

내진환자의 보호자는 보호자단말기(20)로 인터넷을 통해 진료정보공유서버(40)에 접속한다. 그리고 관리자단말기(60)에 의하여 설정 등록된 ID정보의 입력으로 로그인인증모듈(42)에서 보호자단말기(20)의 접속인증을 위한 로그인을 수행한다(S2). 더욱이 진료정보공유서버(40)는 ID정보를 보호자단말기(20)로 전송하여 보호자단말기(20)가 ID정보로 로그인인증모듈(42)을 통해 인증을 수행할 수 있도록 한다.The guardian of the seismic patient connects to the care information sharing server 40 via the Internet with the guardian terminal 20. Then, the login authentication module 42 performs login for connection authentication of the guardian terminal 20 by inputting the ID information set and registered by the administrator terminal 60 (S2). Further, the medical care information sharing server 40 transmits the ID information to the guardian terminal 20 so that the guardian terminal 20 can perform the authentication through the login authentication module 42 with the ID information.

그리고 수면 내시경 시술의료진은 의료진단말기(30)로 인터넷을 통해 진료정보공유서버(40)에 접속한다. 그리고 관리자단말기(60)에 의하여 설정 등록된 ID정보의 입력으로 로그인인증모듈(42)에서 의료진단말기(30)의 접속인증을 위한 로그인을 수행한다(S3). 더욱이 진료정보공유서버(40)는 ID정보를 의료진단말기(30)로 전송하여 의료진단말기(30)가 ID정보로 로그인인증모듈(42)을 통해 인증을 수행할 수 있도록 한다. 또한, 수면 내시경 시술의료진에 의하여 내시경단말시스템(10)이 인터넷을 통해 진료정보공유서버(40)에 접속한다. 그리고 관리자단말기(60)에 의하여 설정 등록된 ID정보를 입력하여 로그인인증모듈(42)에서 내시경단말시스템(10)의 접속인증을 위한 로그인을 수행한다(S4). 보호자단말기(20), 의료진단말기(30), 내시경단말시스템(10)에서 진료정보공유서버(40)의 로그인인증모듈(42)을 통해 ID정보를 입력하면 로그인인증모듈(42)은 클라우드서버(50)에 저장된 해당 기기의 ID정보와 비교하여 인증을 수행한다.Then, the medical endoscopic surgeon accesses the medical care information sharing server 40 via the Internet with the medical terminal 30. Then, the log-in authentication module 42 performs login for connection authentication of the medical care terminal 30 by inputting the ID information set and registered by the administrator terminal 60 (S3). Further, the medical care information sharing server 40 transmits the ID information to the medical care terminal 30 so that the medical care terminal 30 can perform the authentication through the login authentication module 42 with the ID information. Further, the endoscope terminal system 10 connects to the medical care information sharing server 40 via the Internet by the endoscope medical staff. The ID information set and registered by the administrator terminal 60 is input, and the login authentication module 42 performs login for connection authentication of the endoscope terminal system 10 (S4). When the ID information is input through the log-in authentication module 42 of the care-of-information sharing server 40 in the guardian terminal 20, the medical care terminal 30 and the endoscope terminal system 10, the login authentication module 42 transmits the ID information to the cloud server 50, and performs authentication.

진료정보의 공유를 위한 인증이 완료된 후, 수면 내시경 시술의료진에 의하여 내시경단말시스템(10)으로 내진환자의 내시경 의료시술을 수행하는 동안 내시경단말시스템(10)의 실시간 객체추적모듈(11)에 의하여 발생된 실시간 객체추적된 동영상을 진료정보공유모듈(43)로 전송한다(S5). 이때, 수면 내시경 시술의료진에 의하여 내진환자의 내시경 의료시술을 수행하는 동안 실시간 객체추적모듈(11)에서 객체추적된 진료영상으로부터 내장 장기나 체강 내부의 붉은색 바탕과 마찬가지의 붉은색 용종과 암을 색상으로 구분하여 추적(Tracing)하기 어려운 부분이 상존한다고 할 수 있다. 이를 극복하기 위하여 RGB(Red, Green, Blue)색상 값으로부터 HSB[Hue(색상), Saturation(채도), Brightness(명도)]값을 도출 및 비교분석하여 명암 및 채도의 조합으로 분석 검출함으로써 내장 장기나 체강 내부의 용종 및 변병을 구분하여 실시간으로 추적한다. 즉, 도 11에서, HSB, 즉, 색상(Hue), 채도(Saturation), 명도(Brightness)의 색 공간에서 명도 값 B의 변화에 따라 주황색의 변화를 알 수 있다.After the authentication for sharing the medical information is completed, the endoscopic endoscopic medical treatment staff performs the endoscopic medical treatment of the seismic patient with the endoscopic end terminal system 10 by the real-time object tracking module 11 of the endoscopic end terminal system 10 The generated real-time object tracked moving image is transmitted to the clinical information sharing module 43 (S5). At this time, during the endoscopic medical treatment of the seismic patient by the endoscopic surgeon, the real-time object tracking module 11 detects the red polyp and cancer of the internal organs or internal cavity of the body cavity, It can be said that there is a part which is difficult to trace by color. In order to overcome this problem, HSB [Hue (Color), Saturation, Brightness] values are derived from RGB (Red, Green, Blue) The polyps inside the body cavity and the lesions are separated and tracked in real time. That is, in FIG. 11, the change of the orange color can be recognized in accordance with the change of the brightness value B in the color space of HSB, i.e., hue, saturation, and brightness.

또한, 도 12에서, 색상(Hue)의 R(빨강), G(초록), B(파랑)값과 채도(Saturation) 값을 고정한 상태에서 HSB의 색 공간에서 명도 값 B의 변화에 따라 색의 변화를 알 수 있다.12, in a state where R (red), G (green), B (blue) values and saturation values of a hue are fixed, You can see the change.

또한, 수면 내시경 시술의료진에 의하여 내시경단말시스템(10)으로 내진환자의 내장 장기나 체강 내부를 실시간으로 객체추적하는 동안 진료정보공유서버(40)의 진료정보공유모듈(43)은 마이크로폰과 스피커, 예컨대, 음성을 무선이나 유선으로 송수신할 수 있는 헤드셋 등이 구비된 보호자단말기(20)와 의료진단말기(30) 사이에 주고받은 음성을 인터넷을 통해 공유한다(S6, S7). 더욱이 시술의료진은 내진환자의 내장 장기나 체강 내부를 내시경단말시스템(10)으로 시술하는 과정에서 의료진단말기(30)를 통해 주요 병변이나 이상소견 등을 보호자단말기(20)와 음성으로 통화를 하고, 보호자는 보호자단말기(20)를 통해 의료진단말기(30)로 보호자의 의견을 음성으로 통화를 한다. 더욱이 복수의 보호자단말기(20)가 진료정보공유서버(40)에 접속하여 진료정보를 공유할 수 있다.In addition, the medical care information sharing module 43 of the medical care information sharing server 40 during the object tracking of the internal organs or the body cavity of the seismic patient by the endoscope endoscopic medical staff in the endoscope terminal system 10 in real time, For example, voice transmitted and received between the caregiver terminal 20 and the medical care terminal 30 including a headset capable of transmitting and receiving voice by wireless or wire is shared through the Internet (S6, S7). In addition, during the operation of the internal organs or body cavity of the seismic patient by the endoscope terminal system 10, the medical care doctor communicates with the caregiver terminal 20 through the medical care terminal 30 through the medical care terminal 30 for a major lesion or abnormality, The guardian speaks to the medical care terminal 30 through the guardian terminal 20 by voice of the guardian. Furthermore, a plurality of guardian terminals 20 can access the medical care information sharing server 40 and share the medical care information.

따라서 시술의료진의 의료서비스에 대하여 내진환자의 보호자는 보다 정확하고 명쾌한 시술진료를 시청각적으로 판단할 수 있어 이해의 폭을 넓히고 시술의료진에 대한 신뢰를 받을 수 있고, 또, 보호자는 시술진료에 관한 시청각정보에 대한 의문 등에 대한 질문과 대답을 들을 수 있으며, 시술의료진은 시술진료에 관한 의료사고를 미연에 방지할 수 있다.Therefore, the protector of the seismic patient can be judged more clearly and clearly by the audiovisual judgment about the medical service of the medical practitioner, so that the understanding can be broadened and the trust of the medical practitioner can be obtained. You can listen to questions and answers about questions about audiovisual information, and practitioners can prevent medical accidents related to medical treatment.

또한, 진료정보공유서버(40)의 진료정보공유모듈(43)은 공유된 보호자단말기(20), 의료진단말기(30) 및 내시경단말시스템(10)을 통한 음성정보와 동영상정보를 포함하는 진료정보를 진료정보저장모듈(44)로 전송한다(S8). 진료정보저장모듈(44)은 수신된 진료정보를 클라우드서버(50)에 실시간으로 저장한다(S9). 이때, 진료정보저장모듈(44)은 보호자단말기(20)가 인터넷을 통해 진료정보공유서버(40)에 접속한 시간과 종료한 시간의 정보를 클라우드서버(50)에 전송하여 저장되도록 한다.The medical care information sharing module 43 of the medical care information sharing server 40 also stores medical information including voice information and moving image information through the shared parent terminal 20, the medical care terminal 30 and the endoscope terminal system 10, To the medical care information storage module 44 (S8). The medical care information storage module 44 stores the received medical care information in real time in the cloud server 50 (S9). At this time, the care information storage module 44 transmits information of the time when the guardian terminal 20 accesses the care information sharing server 40 via the Internet and the time when the guardian terminal 20 has finished, to the cloud server 50 and stores the information.

또한, 시술의료진은 의료진단말기(30)를 통해 내진환자의 내시경 시술진료를 관한 소견을 담은 소견서를 진료정보공유서버(40)의 진료정보저장모듈(44)을 거쳐 클라우드서버(50)에 저장되도록 한다(S10). 더욱이 진료정보공유모듈(43)은 내시경단말시스템(10)의 실시간 객체추적모듈(11)에서 생성된 동영상 위에 의료진단말기(30)를 통해 시술의료진이 표시한 기호나 특수문자 또는 소견정보를 포함하는 진료정보도 공유할 수 있도록 저장한다. 또한, 시술의료진의 소견서에는 내시경 시술을 수행한 주 의료진이 작성한 의학적 소견 및 처방정보와 더불어 해당 내시경 시술과 관련된 부 의료진 또는 상급의료진에 의하여 작성한 의학적 소견 및 처방정보를 보호자에게 제공함으로써 보호자는 보다 객관적인 판단을 할 수 있을 것이다.In addition, the medical practitioner may transmit the recommendation report containing the findings related to the endoscopic procedure medical treatment of the seismic patient to the medical server terminal 30 through the medical care information storage module 44 of the medical care information sharing server 40 so as to be stored in the cloud server 50 (S10). Further, the medical care information sharing module 43 may include a symbol, special character, or feature information displayed on the medical care terminal 30 on the moving image generated by the real time object tracking module 11 of the endoscope terminal system 10, Care information is also stored so that it can be shared. In addition, the findings of the medical practitioner include the medical findings and prescription information prepared by the main medical practitioner who has performed the endoscopic procedure, and the medical opinion and the prescription information prepared by the medical staff or senior medical staff related to the endoscopic procedure, You will be able to make judgments.

그리고 진료정보공유서버(40)는 클라우드서버(50)에 저장된 진료정보를 인터넷으로 접속된 보호자단말기(20)로 전송한다(S11). 이때, 보호자단말기(20)는 클라우드서버(50)로부터 전송받은 진료정보를 저장할 수 있다.Then, the care information sharing server 40 transmits the care information stored in the cloud server 50 to the guardian terminal 20 connected to the Internet (S11). At this time, the guardian terminal 20 can store the care information transmitted from the cloud server 50. [

다음으로, 도 3에서, 보호자는 보호자단말기(20)에 설치된 진료정보공유애플리케이션(41)의 실행하고(S21), 진료정보공유서버(40)의 로그인인증모듈(42) 설정 등록된 ID정보를 입력하여 로그인을 수행한다(S22). 그리고 보호자는 내진환자의 진료정보를 검색하면(S23), 진료정보공유서버(40)의 진료정보공유모듈(43)은 클라우드서버(50)에 저장된 정보를 검색하여 해당하는 내진환자의 진료정보를 전송한다(S24).3, the caregiver executes the medical care information sharing application 41 installed in the caregiver terminal 20 (S21), registers the ID information registered in the login authentication module 42 of the medical care information sharing server 40 And performs login (S22). Then, the caregiver searches the medical information of the seismic patient (S23), and the medical care information sharing module 43 of the medical care information sharing server 40 searches the information stored in the cloud server 50 and obtains the medical care information of the corresponding seismic patient (S24).

이와 더불어 보호자단말기(20)에 설치된 의료정보애플리케이션(21)의 실행으로 진료정보공유서버(40)에 접속하여 로그인 후에 의료정보제공모듈(45)을 통해 클라우드서버(50)로부터 내진환자와 관련된 진료기록을 열람할 수 있다. 이때, 의료진의 소견서를 열람하거나 담당 의료진의 진단서 발급을 요청할 수 있다. 또한, 의료정보애플리케이션(21)의 다른 기능으로, 내진환자가 내시경 시술에 관한 진료비용의 내역이나 영수증의 발급을 요청하거나 처방기록을 열람할 수 있다. 또, 내진환자의 다음 진료를 예약하거나 입원 및 퇴원과 병실정보를 열람할 수 있고, 해당 병원의 의료진정보나, 병원 및 진료과목 열람, 건강검진 신청 및 건강검진 결과 등을 열람할 수 있다. 클라우드서버(50)는 병원서버(70)와 접속되어 내진환자나 보호자가 원하는 각종 의료정보나 병원정보를 실시간으로 제공할 수 있다.In addition, the medical information application 21 installed in the guardian terminal 20 connects to the medical care information sharing server 40, and after logging in, the medical care information providing module 45 receives the medical care related to the seismic patient from the cloud server 50 The records can be viewed. At this time, it is possible to view the medical staff report or request the medical staff to issue a medical report. Further, with the other function of the medical information application 21, the seismic patient can request the breakdown of the medical treatment costs relating to the endoscopic procedure, the issuance of the receipt, or the prescription record. In addition, it is possible to reserve the next medical treatment of the seismic patient, to read the inpatient, discharge, and ward information, and to view the medical information of the hospital, the hospital and the medical examination course, the medical examination application and the medical examination result. The cloud server 50 is connected to the hospital server 70 and can provide various kinds of medical information and hospital information desired by the seismic patient or the guardian in real time.

그리고 관리자단말기(60)는 진료정보공유서버(40)에 접속하여 로그인인증모듈(42)을 거쳐 로그인을 수행한 후(S31), 내진환자들의 진료정보를 진료정보공유모듈(43)을 통해 검색하고(S32), 검색된 내진환자의 내시경 의료시술 정보와 결과를 클라우드서버(50)로부터 전송받는다(S33). 그리고 관리자단말기(60)는 클라우드서버(50)에서 전송받은 진료정보를 보호자단말기(20)로 전송하거나 또는 USB메모리(61)에 저장한 후 보호자가 직접 수령할 수 있도록 한다(S34). USB메모리(61)에 저장된 진료정보는 보호자가 보호자단말기(20) 또는 별도의 컴퓨터시스템에 접속하여 열람할 수 있다.Then, the manager terminal 60 accesses the care information sharing server 40 and performs login through the login authentication module 42 (S31). After that, the manager terminal 60 searches the health information of the seismic patients through the care information sharing module 43 (S32), and receives the endoscopic medical treatment information and the result of the seismic patient that is searched for from the cloud server 50 (S33). Then, the administrator terminal 60 transmits the medical care information received from the cloud server 50 to the guardian terminal 20 or stores the medical care information in the USB memory 61 and allows the guardian to directly receive the medical care information (S34). The care information stored in the USB memory 61 can be accessed by a guardian by connecting to the guardian terminal 20 or a separate computer system.

이와 같이 본 발명에서는 모바일(Mobile)을 통하거나 또는 클라우드(Cloud) 환경에서 실시간 스트림데이터(Stream Data)를 실시간 저장하여 인증된 사용자로 하여금 언제든 어디서든 장소와 시간의 제약 없이 의료진, 및 내진환자의 보호자와도 협치된 내용을 확인하고, 리뷰(Review)할 수 있도록 한 것이다. 더욱이 본 발명은 클라우드(Cloud) 환경에 내진환자의 내장 장기나 체강 내부를 실시간 추적된 영역에 대한 지속적인 관찰과 시간적 변화에 따른 병변의 변화 상태를 데이터베이스화하여 축적된 데이터베이스를 분석 및 통계적 수치를 통해 빅데이터(Big Data)화 함으로써 의료진에게 내장 장기나 체강 내부의 점막, 용종, 암, 등의 병변에 대한 예측과 판단을 조언해주는 인공지능(AI)을 갖는 시스템으로도 발전 가능할 것이다.As described above, according to the present invention, real-time stream data is stored in real time in a mobile environment or a cloud environment, thereby enabling an authenticated user to access the medical staff and the seismic patient It is also possible to review and review the content cooperated with the protector. Further, according to the present invention, continuous observation of the visceral organs or body cavity of a seismic patient in a cloud environment and continuous observation of the real-time tracked area and the change state of the lesion according to the temporal change are stored in a database, By making big data, it can be developed as a system having artificial intelligence (AI) that advises the medical staff about the prediction and judgment of lesions such as mucosa, polyp, cancer, etc. in the visceral organs or body cavity.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 이 기술분야에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described with respect to the specific embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Anyone with it will know easily.

10: 내시경단말시스템 11: 실시간 객체추적모듈 20: 보호자단말기 21: 의료정보애플리케이션 30: 의료진단말기 40: 진료정보공유서버 41: 진료정보공유애플리케이션 42: 로그인인증모듈 43: 진료정보공유모듈 44: 진료정보저장모듈 45: 의료정보제공모듈 50: 클라우드서버 60: 관리자단말기 61: USB메모리 70: 병원서버A medical care information application 30, a medical care terminal 40, a medical care information sharing server 41, a medical care information sharing application 42, a login authentication module 43, a medical care information sharing module 44, a medical care information sharing module 44, An information storage module 45, a medical information providing module 50, a cloud server 60, an administrator terminal 61, a USB memory 70,

Claims (5)

수면 내시경 시술의료진에 의하여 내진환자의 내장 장기나 체강 내부를 내시경을 통해 실시간 객체추적모듈의 객체추적(Real Time Object Tracing) 기술을 적용하여 협의 처치 및 변병에 대한 진료와 체크포인트(Check Point)를 수행하여 촬영된 동영상정보를 인터넷을 통해 진료공유서버를 거쳐 보호자단말기로 전송하는 내시경단말시스템;
인터넷을 통해 실시간으로 제공되는 내진환자의 내시경 시술정보로 의료진단말기와 음성을 송수신하고 설치된 의료정보애플리케이션의 실행으로 진료정보공유서버에 접속하여 진료정보를 열람 및 다운로드받는 보호자단말기;
내진환자의 내장 장기나 체강 내부를 상기 내시경단말시스템으로 실시간으로 시술진료하고 설치된 시술정보애플리케이션의 실행으로 인터넷을 통해 보호자단말기와 음성을 송수신하며 내시경 시술에 따른 소견을 입력하는 의료진단말기;
상기 보호자단말기가 인터넷을 통해 진료정보공유서버에 접속하기 위하여 ID정보를 입력하면 발급된 ID정보와 비교하여 접속여부를 인증하는 로그인인증모듈과, 상기 내시경단말시스템에서 수신된 동영상정보와 의료진단말기의 음성정보를 인터넷으로 접속된 보호자단말기로 실시간 전송하는 진료정보공유모듈과, 상기 진료정보공유모듈을 통해 실시간으로 송수신되는 동영상정보와 음성정보를 포함한 내시경 시술진료를 받은 내진환자와 관련 진료정보 및 결과를 클라우드서버에 저장하는 진료정보저장모듈과, 내진환자의 진료정보와 관련된 각종 의료정보를 내진환자와 보호자에게 서비스로 제공하는 의료정보제공모듈을 포함하는 진료정보공유애플리케이션이 설치된 진료정보공유서버;
상기 진료정보공유서버에 접속되어 실시간 내시경 진료정보의 공유와 각종 의료정보의 제공을 관리하고 내진환자의 내시경 동영상 및 음성을 USB메모리에 저장하여 보호자에게 제공하는 관리자단말기;
상기 진료정보저장모듈을 통해 내시경 관련 진료정보를 저장 및 전송하고 의료정보제공모듈을 통해 진료정보와 관련된 각종 의료정보를 저장 및 전송하는 클라우드서버, 및
상기 진료정보공유서버가 설치된 병원과 관련된 각종 의료정보를 인터넷을 통해 보호자단말기로 전송하는 진료병원서버를 포함하는 실시간 객체추적을 이용한 내시경 진료정보 공유 시스템으로 실시간 객체추적을 이용한 내시경 진료정보를 공유하는 방법에 있어서,
(a) 내진환자의 상기 보호자단말기가 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보의 입력으로 로그인인증모듈에서 보호자단말기의 접속인증을 위한 로그인을 수행하는 단계;
(b) 상기 수면 내시경 시술의료진의 의료진단말기가 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보의 입력으로 로그인인증모듈에서 의료진단말기의 접속인증을 위한 로그인을 수행하고, 수면 내시경 시술의료진에 의하여 내시경단말시스템이 인터넷을 통해 진료정보공유서버에 접속한 후 등록된 ID정보를 입력하여 로그인인증모듈에서 내시경단말시스템의 접속인증을 위한 로그인을 수행하는 단계;
(c) 상기 수면 내시경 시술의료진에 의하여 내진환자의 내시경 의료시술을 수행하는 동안 실시간 객체추적모듈에서 객체추적된 진료영상에서 RGB(Red, Green, Blue)색상 값으로부터 HSB[Hue(색상), Saturation(채도), Brightness(명도)]값을 도출 및 비교분석하여 명암 및 채도의 조합으로 분석 검출함으로써 내장 장기나 체강 내부의 용종 및 변병을 구분하여 실시간으로 추적하는 단계;
(d) 상기 수면 내시경 시술의료진에 의하여 내진환자의 내시경 의료시술을 수행하는 동안 상기 진료정보공유서버의 진료정보공유모듈은 마이크로폰과 스피커가 구비된 보호자단말기와 의료진단말기 사이에 주고받은 음성과 더불어 내시경단말시스템에서 실시간으로 발생되는 실시간 객체추적된 동영상을 포함하는 진료정보를 인터넷을 통해 공유하는 단계;
(e) 상기 진료정보공유서버의 진료정보저장모듈은 진료정보공유모듈을 통해 공유된 음성정보와 동영상정보를 포함하는 진료정보를 클라우드서버에 저장하는 단계;
(f) 상기 진료정보공유서버는 클라우드서버에 저장된 진료정보를 인터넷으로 접속된 보호자단말기로 전송하는 단계, 및
(g) 상기 보호자단말기에 설치된 진료정보공유애플리케이션의 실행으로 진료정보공유서버에 접속한 후 해당 내진환자의 진료정보를 검색하면, 진료정보공유서버의 진료정보공유모듈은 클라우드서버에 저장된 정보를 검색하여 해당하는 내진환자의 진료정보를 전송하는 단계를 포함하여 이루어진, 실시간 객체추적을 이용한 내시경 진료정보 공유 방법.
The object of the real-time object tracing of the real-time object tracking module through the endoscope is to apply the technique and check point to the consultation treatment and the break-up by the medical staff of the sleep endoscopic treatment practitioner. And transmitting the photographed moving image information to the guardian terminal via the medical care sharing server via the Internet;
A guardian terminal for transmitting and receiving voice to and from a medical care terminal using endoscopic procedure information of a seismic patient provided in real time via the Internet, and accessing and displaying medical information by accessing a medical information sharing server through execution of an installed medical information application;
A medical treatment terminal for performing a procedure of a built-in organ or body cavity of a seismic patient in real time in the endoscope terminal system, sending and receiving voice to the guardian terminal through the Internet by executing the installed procedure information application and inputting the findings according to the endoscopic procedure;
A login authentication module for comparing the ID information with the issued ID information when the parent terminal inputs ID information for accessing the service information sharing server through the Internet and authenticating whether or not to access the terminal; A medical information sharing module for transmitting voice information to a guardian terminal connected to the Internet in real time; and a medical information sharing module for providing medical information and results related to a seismic patient who has received endoscopic treatment, including video information and voice information transmitted and received in real time via the medical information sharing module A medical information sharing server in which a medical information sharing application including a medical information providing module for providing various medical information related to medical information of a seismic patient to a seismic patient and a carer as a service is installed in a cloud server;
A manager terminal connected to the medical care information sharing server for managing the sharing of real-time endoscopic medical care information and the provision of various kinds of medical information, storing an endoscopic video and voice of a seismic patient in a USB memory and providing the data to a guardian;
A cloud server that stores and transmits endoscopic-related medical care information through the medical care information storage module and stores and transmits various medical information related to the medical care information through the medical information providing module,
And a medical hospital server for transmitting various medical information related to the hospital in which the medical care information sharing server is installed to the caregiver terminal via the Internet. The endoscopic medical care information sharing system using real time object tracking shares endoscopic medical care information using real time object tracking In the method,
(a) performing a login for access authentication of a guardian terminal in a login authentication module by inputting registered ID information after the guardian terminal of a seismic patient accesses a healthcare information sharing server through the Internet;
(b) a medical terminal of the sleep endoscopic procedure medical doctor accesses the medical care information sharing server via the Internet, performs login for access authentication of the medical care terminal in the login authentication module by inputting the registered ID information, Performing login for access authentication of the endoscope terminal system in the login authentication module by inputting the registered ID information after the endoscope terminal system accesses the medical care information sharing server via the Internet;
(c) The HSB [Hue (Color), Saturation (Hue), and Saturation (Hue) values are extracted from RGB (Red, Green, Blue) color values in the medical image tracked by the object in the real-time object tracking module during the endoscopic medical treatment procedure of the patient, (Brightness, brightness)] values of the intestine or the body cavity of the intestine or the body cavity to detect and analyze them in real time;
(d) While performing the endoscopic medical treatment of the seismic patient by the endoscope medical staff, the medical care information sharing module of the medical care information sharing server includes voice transmitted and received between the guardian terminal equipped with the microphone and speaker and the medical care terminal, Sharing clinical information including real-time object-tracked moving images generated in real time in a terminal system through the Internet;
(e) the medical care information storage module of the medical care information sharing server stores medical care information including voice information and moving image information shared by the medical care information sharing module in the cloud server;
(f) transmitting the medical care information stored in the cloud server to the guardian terminal connected to the Internet, and
(g) accessing the service information sharing server by executing the service information sharing application installed on the protector terminal and searching the service information of the earthquake patient, the service information sharing module of the service information sharing server searches information stored in the cloud server And transmitting medical information of the corresponding seismic patient. The method of sharing endoscopic medical care information using real-time object tracking.
제1항에 있어서, 상기 (e) 단계에서, 상기 의료진단말기는 수면 내시경 시술의료진에 의하여 입력된 소견서를 진료정보공유서버의 진료정보저장모듈을 거쳐 클라우드서버에 저장되도록 하는, 실시간 객체추적을 이용한 내시경 진료정보 공유 방법.
2. The method according to claim 1, wherein, in the step (e), the medical service terminal stores real-time object tracking information, which is stored in a cloud server via a medical care information storage module of a medical care information sharing server, How to share endoscopic care information.
제1항에 있어서, (h) 상기 보호자단말기에 설치된 의료정보애플리케이션은 진료정보공유서버에 접속하여 로그인 후에 클라우드서버로부터 내진환자와 관련된 진료기록의 열람, 의료진의 소견서열람, 진단서 발급요청, 진료비용 및 영수증 발급요청, 진료예약, 의료진정보, 처방기록, 병원 및 진료과목 열람, 건강검진 신청 및 결과열람, 입원 및 퇴원과 병실정보의 열람, 내시경 시술에 따른 세포조직의 표본 채취정보, 내진환자의 병력정보, 내진환자에 의하여 작성된 설문 또는 문진정보를 저장하고 열람할 수 있는 기능을 모두 포함하는, 실시간 객체추적을 이용한 내시경 진료정보 공유 방법.
The health care information application program according to claim 1, wherein the medical information application installed in the protector terminal comprises at least one of: browsing a medical record related to a seismic patient from a cloud server after logging into a medical information sharing server, reading a medical consultation report, And the receipt request, the medical appointment, the medical staff information, the prescription record, the examination of the hospital and the medical examination course, the examination of the medical examination application result and the result, the reading of the hospital and discharge and the patient information, the sampling information of the cell tissue according to the endoscopic procedure, A method of sharing endoscopic medical care information using real-time object tracking, which includes all the functions of storing history information, a questionnaire prepared by seismic patients, or document information.
제3항에 있어서, 상기 (h) 단계에서, 의료진의 소견서에는 내시경 시술을 한 주 의료진이 작성한 의학적 소견 및 처방정보와 더불어 해당 내시경 시술과 관련된 부 의료진 또는 상급의료진에 의하여 작성한 의학적 소견 및 처방정보를 모두 포함하는, 실시간 객체추적을 이용한 내시경 진료정보 공유 방법.
4. The method according to claim 3, wherein, in the step (h), the advice sheet of the medical staff includes the medical findings and the prescription information prepared by the main medical staff who performed the endoscopic procedure, the medical findings prepared by the subordinate medical staff or the senior medical staff related to the endoscopic surgery, A method for sharing an endoscopic medical care information using real-time object tracking.
제1항에 있어서, 상기 (d) 단계에서, 진료정보공유모듈은 내시경단말시스템의 실시간 객체추적모듈에서 생성된 동영상 위에 의료진단말기를 통해 표시된 기호나 특수문자 또는 소견정보를 포함하는 진료정보를 공유하는, 실시간 객체추적을 이용한 내시경 진료정보 공유 방법.
2. The method according to claim 1, wherein in step (d), the medical care information sharing module shares medical information including a symbol, special character, or remark information displayed on the medical care terminal over the moving image generated by the real time object tracking module of the endoscope terminal system A method of sharing endoscopic medical care information using real - time object tracking.
KR1020180017008A 2018-02-12 2018-02-12 Method for Sharing Endoscope Medical Information Using Real Time Object Tracing KR101906398B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180017008A KR101906398B1 (en) 2018-02-12 2018-02-12 Method for Sharing Endoscope Medical Information Using Real Time Object Tracing
PCT/KR2019/001668 WO2019156531A1 (en) 2018-02-12 2019-02-12 Method for sharing endoscopic treatment information by using real-time object tracing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180017008A KR101906398B1 (en) 2018-02-12 2018-02-12 Method for Sharing Endoscope Medical Information Using Real Time Object Tracing

Publications (1)

Publication Number Publication Date
KR101906398B1 true KR101906398B1 (en) 2018-10-08

Family

ID=63864266

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180017008A KR101906398B1 (en) 2018-02-12 2018-02-12 Method for Sharing Endoscope Medical Information Using Real Time Object Tracing

Country Status (2)

Country Link
KR (1) KR101906398B1 (en)
WO (1) WO2019156531A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658667A (en) * 2021-08-17 2021-11-16 岱川医疗(深圳)有限责任公司 Endoscope workstation and cloud storage device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750537A (en) * 2019-10-30 2021-05-04 北京凡星光电医疗设备股份有限公司 Remote medical guide system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578817B2 (en) * 2004-02-06 2010-11-10 オリンパス株式会社 Surgical lesion identification system
KR101443357B1 (en) * 2012-09-28 2014-09-29 주식회사 유비샘 System for providing the health of a patient using cloud computing
KR20150038850A (en) * 2013-10-01 2015-04-09 주식회사 정상 Method for sharing diagnostic medical image
KR101580559B1 (en) * 2014-06-02 2015-12-28 조선대학교산학협력단 Medical image and information real time interaction transfer and remote assist system
KR20170122981A (en) * 2016-04-28 2017-11-07 주식회사 파인트리시스템 System for Sharing Real Time Endoscope Medical Information and Method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658667A (en) * 2021-08-17 2021-11-16 岱川医疗(深圳)有限责任公司 Endoscope workstation and cloud storage device

Also Published As

Publication number Publication date
WO2019156531A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
US10133914B2 (en) Identification and de-identification within a video sequence
US20150087926A1 (en) System and Method for Facilitating Remote Medical Diagnosis and Consultation
US8078667B2 (en) Method and system for data transfer, auxiliary server and examination device
US20070041626A1 (en) Healthcare administration communication systems and methods
CN108348148A (en) It is a kind of to measure and report integrated form Medical Devices in relation to the important physiological data of patient by tele-medicine and based on the system of family
EP2172859A1 (en) Home health system
CN110147676B (en) Safety management system and method for medical information
US20040220464A1 (en) Method and apparatus for carrying out a televisit
KR101906398B1 (en) Method for Sharing Endoscope Medical Information Using Real Time Object Tracing
US7738940B2 (en) Medical image recording system
JP2023521971A (en) Systems and methods for video and audio analysis
KR20200068992A (en) Method, Apparatus and Recording For Computerizing Of Electro-Magnetic Resonance
CN106777904A (en) Remote visualization data interactive method
US20230270389A1 (en) Telemedicine system
EP4179547A1 (en) Systems and methods for supporting medical procedures
JP2023526412A (en) Information processing method, electronic device, and computer storage medium
KR20170122981A (en) System for Sharing Real Time Endoscope Medical Information and Method thereof
JP4597161B2 (en) Ultrasonic video real-time service system and method and recording medium storing computer program related to the method
CN108109706A (en) A kind of remote hierarchical medical system
CN112185496A (en) Endoscopic surgery information processing method, system and readable storage medium
CN112750537A (en) Remote medical guide system
JP2021117612A (en) Endoscopic diagnosis data management system
WO2020183727A1 (en) Medical examination notebook system, patient terminal, and control method
US20200069181A1 (en) I-Examination
Israni et al. Human‐Machine Interaction in Leveraging the Concept of Telemedicine

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant