KR101102242B1 - Patient information display device - Google Patents

Patient information display device Download PDF

Info

Publication number
KR101102242B1
KR101102242B1 KR1020090114625A KR20090114625A KR101102242B1 KR 101102242 B1 KR101102242 B1 KR 101102242B1 KR 1020090114625 A KR1020090114625 A KR 1020090114625A KR 20090114625 A KR20090114625 A KR 20090114625A KR 101102242 B1 KR101102242 B1 KR 101102242B1
Authority
KR
South Korea
Prior art keywords
unit
patient
information
doctor
hand
Prior art date
Application number
KR1020090114625A
Other languages
Korean (ko)
Other versions
KR20110057978A (en
Inventor
전국진
Original Assignee
주식회사 프라이머스코즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 프라이머스코즈 filed Critical 주식회사 프라이머스코즈
Priority to KR1020090114625A priority Critical patent/KR101102242B1/en
Publication of KR20110057978A publication Critical patent/KR20110057978A/en
Application granted granted Critical
Publication of KR101102242B1 publication Critical patent/KR101102242B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users

Abstract

본 발명은 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법에 관한 것으로서, 특히, 수술실 내에 설치되고, 의사의 손동작을 인식하여 제어패턴을 판단하여 환자정보 출력수단에 공급하는 동작인식수단과; 환자와 관련된 여러가지 정보를 저장하고 있으면서 동작인식수단으로 부터 공급되는 제어패턴에 따라 프로그램을 동작시켜 환자정보를 모니터를 통해 출력하는 환자정보 출력수단; 으로 구성한 것을 특징으로 한다.The present invention relates to an operating room patient information display device controlled by a doctor's hand gesture and a control method thereof, in particular, installed in the operating room, the operation recognition means for recognizing the hand gesture of the doctor to determine the control pattern and supply to the patient information output means and; Patient information output means for outputting patient information through a monitor by operating a program according to a control pattern supplied from the motion recognition means while storing various information related to the patient; Characterized in that configured.

본 발명에 의하면, 수술을 집도하는 의사의 손동작을 인식하고, 그에 대응하는 제어패턴을 판단하여 원격으로 환자와 관련된 영상 및 데이타를 화면에 출력해줄 수 있게되어 의사가 키보드 또는 마우스와 같은 제어명령 입력수단을 손으로 직접 잡지 않아도 되므로 환자가 수술도중 세균에 감염되는 위험으로 부터 벗어날 수 있고, 제어명령 입력수단 조작을 위한 별도의 관리자가 수술실에 투입되지 않아도 되며, 또한 매우 편리하게 의사가 환자 정보를 확인할 수 있게되는 효과를 기대할 수 있다.According to the present invention, it is possible to remotely output the image and data related to the patient on the screen by recognizing the hand gesture of the surgeon conducting the operation, determining the control pattern corresponding to the operation, the doctor inputs a control command such as a keyboard or a mouse. Since the user does not need to hold the device by hand, the patient can be free from the risk of infection during the operation, and there is no need for a separate manager for operating the control command input means to enter the operating room. You can expect the effect to be confirmed.

환자 정보, 손동작, 패턴인식, 제어패턴, 동작인식센서, 동작DB, Patient information, hand motion, pattern recognition, control pattern, motion recognition sensor, motion DB,

Description

의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법{Patient information display device}Patient information display device for operating room controlled by doctor's hand gesture and control method thereof {Patient information display device}

본 발명은 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법에 관한 것으로서, 더욱 상세하게는 수술을 집도하는 의사의 손동작을 인식하여 제어패턴을 판단하고, 그 판단된 제어패턴에 따라 수술 환자와 관련된 영상, 차트, 검사정보를 모니터상에 출력하도록 구성하므로서, 수술실에서 환자와 관련된 여러가지 정보를 의사가 보려고 할 때 마우스 또는 키보드와 같은 입력수단을 이용하지 않고 손동작으로 디스플레이장치를 원격제어하여 원하는 환자 정보를 볼 수 있게 되어 의사의 손이 오염되지 않게 되어 청결한 상태로 수술을 계속해서 집도할 수 있고, 디스플레이장치 조작을 위한 별도의 관리자가 수술실에 입실하지 않아도 되는 부가적인 효과를 기대할 수 있도록 한 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법에 관한 것이다.The present invention relates to an operating room patient information display device controlled by a doctor's hand gesture and a method of controlling the same. More particularly, the present invention relates to a doctor's hand gesture to determine a control pattern by recognizing a doctor's hand gesture and to operate according to the determined control pattern. It is configured to output the image, chart and examination information related to the patient on the monitor, so when the doctor wants to see various information related to the patient in the operating room, the display device can be remotely controlled by hand without using input means such as a mouse or keyboard. The patient's information can be viewed so that the doctor's hands are not contaminated and the operation can be continued in a clean state, and a separate manager for operating the display device can expect the additional effect of not having to enter the operating room. Operating room patient information controlled by one doctor's hand gesture It relates to a display apparatus and a control method thereof.

일반적으로 환자정보 디스플레이 장치라 함은 수술실에서 수술 환자의 환부를 촬영한 영상사진, 환자의 진료기록, 환자의 검사자료를 모니터를 통해 출력해주 는 장치를 말한다.In general, the patient information display device refers to a device that outputs an image photograph of a patient's affected part, a patient's medical record, and a patient's examination data through a monitor.

환자정보 디스플레이 장치는 일반적으로 제어명령을 입력하기 위한 키보드 와 마우스, 환자와 관련된 정보를 저장하고 있는 데이타베이스, 사용자의 키보드 또는 마우스 조작에 의해 데이타베이스에 저장되어 있는 소정의 정보를 모니터를 통해 출력하는 제어장치부, 상기 제어장치부의 제어에 따라 환자정보를 화면상에 출력하는 모니터로 구성된다.The patient information display apparatus generally outputs a keyboard and mouse for inputting control commands, a database storing patient-related information, and predetermined information stored in the database by a user's keyboard or mouse operation through a monitor. And a monitor for outputting patient information on the screen according to the control of the control unit.

상기 제어장치부는 키보드 또는 마우스 조작에 따라 데이타베이스에 저장되어 있는 각종 환자정보를 화면에 출력할 수 있는 프로그램이 내장되어 있다.The control unit has a built-in program that can output a variety of patient information stored in the database on the screen according to the keyboard or mouse operation.

이와같이 구성되는 종래의 환자정보 디스플레이 장치는 수술실 내부에 키보드, 마우스 및 모니터가 설치되고, 사용자가 키보드 또는 마우스를 조작하는 것에 의해 환자에 대한 각종 정보를 모니터를 통해 출력하도록 구성된다.The conventional patient information display device configured as described above is provided with a keyboard, a mouse, and a monitor inside an operating room, and is configured to output various information about the patient through a monitor by a user operating a keyboard or a mouse.

그러나, 종래의 환자정보 디스플레이 장치는 사용자가 손으로 키보드 또는 마우스를 조작해야만 원하는 환자정보를 볼 수 있게되어 있기 때문에 수술을 집도하는 의자가 직접 키보드 또는 마우스를 조작하기 위해서는 손에 착용하고 있는 장갑을 벗고 다른 장갑으로 갈아 낀 후 키보드 또는 마우스를 조작해야만 하여 그 조작이 매우 번거로웠고, 이러한 번거로움을 해소하기 위해 수술 의사가 원하는 환자정보가 표시될 수 있도록 디스플레이장치를 조작하는 별도의 관리자가 수술실에 추가적으로 투입되는 문제점이 발생하고 있었다.However, in the conventional patient information display apparatus, since the user needs to operate the keyboard or the mouse to view the desired patient information, the chair performing the surgery directly wears the gloves worn on the hand to operate the keyboard or the mouse. The operation was very cumbersome because the user had to operate the keyboard or mouse after removing it and changing it with other gloves, and in order to solve this trouble, a separate manager who manipulates the display device so that the patient's desired patient information can be displayed There was a problem that is added to the additional.

즉, 수술실에서 수술을 집도하는 의사는 수술과정에서 환자가 세균에 감염되는 것을 최대한 방지하기 위하여 손을 깨끗이 씻고, 청결한 장갑을 손에 착용한 상태에서 수술을 진행하게되고, 수술 도중에는 감염을 억제하기 위하여 수술도구(나이프, 가위 등) 이외에는 손으로 잡지 않는 것이 일반적이다.In other words, the doctor conducting the operation in the operating room is to wash the hands thoroughly and to perform the operation while wearing clean gloves to prevent the infection of the patient as much as possible during the operation, and to suppress the infection during the operation. For this purpose, other than surgical instruments (knifes, scissors, etc.) is generally not held by hand.

이러한 이유로 수술 도중 의사가 환자의 영상사진 또는 진료기록을 보기 위해서는 추가적으로 수술실에 입실해있는 관리자에게 원하는 환자정보를 요청하여 모니터를 통해 확인하거나 아니면 손에 끼고있는 장갑을 벗고 새것으로 갈아 낀 후 직접 키보드 또는 마우스를 조작하여 원하는 환자정보를 조회하여 확인하는 것이다.For this reason, in order to see the patient's image or medical record during surgery, the doctor additionally asks the manager in the operating room for the desired patient information and checks it on the monitor or removes the gloves from his hands and replaces them with a new one. Alternatively, you can use the mouse to look up the patient information you want.

상기 설명과 같으 종래의 환자정보 디스플레이 장치는 수술 도중 의사가 직접 키보드 또는 마우스를 조작하는 것이 매우 불편하여 능률이 떨어지는 문제점이 있었고, 자칫 잘못하면 키보드 또는 마우스를 조작하는 과정에서 세균이 감염되어 환자에게 악영향을 미치는 문제점이 있었고, 별도의 관리자가 수술실에 투입되는 것은 인적자원의 낭비를 초래하게되는 문제점이 발생하고 있었다. As described above, the conventional patient information display device has a problem in that the doctor directly manipulates the keyboard or the mouse during the operation, which is very inefficient, and if it is wrong, bacteria are infected in the process of operating the keyboard or the mouse, which adversely affects the patient. There was a problem that caused a problem, and the input of a separate manager to the operating room was a problem that causes a waste of human resources.

따라서, 상기 문제점을 해결하기 위한 본 발명은 수술실에서 환자와 관련된 여러가지 정보를 의사가 보려고 할 때 마우스 또는 키보드와 같은 입력수단을 이용하지 않고 손동작으로 디스플레이장치를 원격제어하여 원하는 환자 정보를 볼 수 있게 되어 의사의 손이 오염되지 않게 되어 청결한 상태로 수술을 계속해서 집도할 수 있고, 디스플레이장치 조작을 위한 별도의 관리자가 수술실에 입실하지 않아도 되는 부가적인 효과를 기대할 수 있도록 한 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법을 제공함을 목적으로 한다.Accordingly, the present invention for solving the above problems is to allow the doctor to view a variety of information related to the patient in the operating room to remotely control the display device by hand without using input means such as a mouse or keyboard to view the desired patient information The doctor's hands are not contaminated so that the operation can be continued in a clean state, and the surgery is controlled by the doctor's hand operation so that a separate manager for operating the display device can expect the additional effect of not having to enter the operating room. It is an object of the present invention to provide a practical patient information display device and a control method thereof.

상기 목적달성을 위한 본 발명은, According to an aspect of the present invention,

수술실 내에 설치되고, 의사의 손동작을 인식하여 제어패턴을 판단하여 환자정보 출력수단에 공급하는 동작인식수단과;An operation recognition unit installed in an operating room and recognizing a hand gesture of a doctor to determine a control pattern and supply the same to the patient information output unit;

환자와 관련된 여러가지 정보를 저장하고 있으면서 동작인식수단으로 부터 공급되는 제어패턴에 따라 프로그램을 동작시켜 환자정보를 모니터를 통해 출력하는 환자정보 출력수단; 으로 구성한 것을 특징으로 한다.Patient information output means for outputting patient information through a monitor by operating a program according to a control pattern supplied from the motion recognition means while storing various information related to the patient; Characterized in that configured.

본 발명에 의하면, 수술을 집도하는 의사의 손동작을 인식하고, 그에 대응 하는 제어패턴을 판단하여 원격으로 환자와 관련된 영상 및 데이타를 화면에 출력해줄 수 있게되어 의사가 키보드 또는 마우스와 같은 제어명령 입력수단을 손으로 직접 잡지 않아도 되므로 환자가 수술도중 세균에 감염되는 위험으로 부터 벗어날 수 있고, 제어명령 입력수단 조작을 위한 별도의 관리자가 수술실에 투입되지 않아도 되며, 또한 매우 편리하게 의사가 환자 정보를 확인할 수 있게되는 효과를 기대할 수 있다.According to the present invention, it is possible to remotely output the image and data related to the patient on the screen by recognizing the hand movements of the doctor conducting the operation, determine the control pattern corresponding to the operation, the doctor inputs a control command such as a keyboard or a mouse Since the user does not need to hold the device by hand, the patient can be free from the risk of infection during the operation, and there is no need for a separate manager for operating the control command input means to enter the operating room. You can expect the effect to be confirmed.

이하, 첨부된 도면 도 1 내지 도 5 를 참조하여 본 발명의 바람직한 실시예를 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings, FIGS. 1 to 5.

본 발명을 설명함에 있어서 정의되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 것으로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.The terms defined in describing the present invention have been defined in consideration of the functions of the present invention and should not be construed to limit the technical elements of the present invention.

상기 도면에 의하면, 본 발명은 의사의 손동작을 인식하는 동작인식수단(1), 동작인식수단(1)에서 인식된 제어정보에 따라 환자정보를 모니터(25)를 통해 출력하는 환자정보 출력수단(2)으로 대별 구성된다.According to the drawings, the present invention provides a patient information output means for outputting the patient information through the monitor 25 in accordance with the motion recognition means (1) for recognizing the hand gesture of the doctor, the control information recognized by the motion recognition means ( 2) consists of roughly.

상기 동작인식수단(1)은 수술실 내에 설치되고, 의사의 손동작을 인식하여 제어패턴을 판단하여 환자정보 출력수단(2)에 공급하는 것으로서,The motion recognition means (1) is installed in the operating room, and recognizes the hand gesture of the doctor to determine the control pattern to supply to the patient information output means (2),

수술실의 천정에 설치되어 의사의 손동작을 촬영하고, 그 촬영영상을 영상캡춰부(12)로 출력하는 동작인식센서(11)와;An operation recognition sensor 11 installed on the ceiling of the operating room to photograph the hand gesture of the doctor and output the captured image to the image capturing unit 12;

상기 동작인식센서(11)에서 촬영된 영상신호를 소정의 시간 단위로 캡춰링하여 출력하는 영상캡춰부(12)와;An image capture unit 12 for capturing and outputting the image signal photographed by the motion recognition sensor 11 at predetermined time units;

상기 영상캡춰부(12)에서 캡춰링된 영상정보에서 의사의 손모양을 판단하고, 그 판단정보를 종합판단부(16)로 공급하는 패턴판단부(13)와;A pattern determination unit 13 for determining a doctor's hand shape from the image information captured by the image capture unit 12 and supplying the determination information to the comprehensive determination unit 16;

상기 영상캡춰부(12)에서 캡춰링된 영상정보에서 의사의 손이 움직이는 방향정보를 판단하고, 그 판단된 움직임정보를 종합판단부(16)로 공급하는 움직임판단부(14)와;A motion determining unit 14 for determining the direction information of a doctor's hand moving from the image information captured by the image capturing unit 12 and supplying the determined motion information to the comprehensive judging unit 16;

의사가 손으로 표현할 수 있는 여러가지 손모양패턴 및 움직임에 대응하는 제어패턴정보를 저장하고 있는 동작DB(15)와;An operation DB 15 for storing control pattern information corresponding to various hand-shaped patterns and movements that a doctor can express by hand;

상기 패턴판단부(13)와 움직임판단부(14)에서 판단된 손모양패턴 및 움직임정보를 입력받고, 그 입력된 손모양패턴 및 움직임정보와 동작DB(15)에 저장되어 있는 데이타를 비교하여 의사의 손동작에 대응하는 제어패턴정보를 최종적으로 판단하여 출력하는 종합판단부(16)와;Receives the hand pattern and the motion information determined by the pattern determination unit 13 and the movement determination unit 14, and compares the input hand shape pattern and motion information with the data stored in the operation DB (15) A comprehensive judging unit 16 which finally determines and outputs control pattern information corresponding to a surgeon's hand gesture;

상기 종합판단부(16)에서 출력되는 제어패턴정보를 환자정보 출력수단(2)으로 공급하는 출력부(17); 로 구성된다.An output unit 17 for supplying the control pattern information output from the comprehensive determination unit 16 to the patient information output means 2; It consists of.

상기 동작DB(15)에는 도 4 에 도시된 바와같이 미리 약속된 여러가지의 손동작패턴과 그에 대응하는 제어패턴정보가 저장되어 있다.As shown in FIG. 4, the operation DB 15 stores various predetermined hand gesture patterns and control pattern information corresponding thereto.

도 4 에 도시된 동작패턴과 제어패턴정보를 예를들어 설명하면,For example, the operation pattern and control pattern information illustrated in FIG. 4 will be described.

의사가 손을 주먹쥐고 전진시키게 되면 전진을 나타내는 제어패턴이며, 전진 제어패턴은 영상을 확대시키는 명령으로 사용되고,When the doctor presses his hand and advances, it is a control pattern that represents the advance, and the forward control pattern is used as a command to enlarge the image.

의사가 손을 주먹쥐고 후진시키게되면 후진을 나타내는 제어패턴이며, 후진 제어패턴은 영상을 축소시키는 명령으로 사용되며,When the doctor presses his hand and moves backward, it is a control pattern indicating backward, and the backward control pattern is used as a command to reduce the image.

의사가 손을 주먹쥐고 위로 상승시키게되면 위를 나타내는 제어패턴이며, 위 제어패턴은 마우스포인터를 위로 이동시키는 명령으로 사용되고,When the doctor raises his hand and lifts up, it is a control pattern that indicates the stomach. The control pattern is used as a command to move the mouse pointer upward.

의사가 손을 주먹쥐고 아래로 하강시키게되면 아래를 나타내는 제어패턴이며, 아래 제어패턴은 마우스포인터를 아래로 이동시키라는 명령으로 사용되며,When the doctor raises his hand and lowers it, it is a control pattern that indicates the bottom. The control pattern below is used as a command to move the mouse pointer down.

의사가 손을 주먹쥐고 오른쪽으로 이동시키면 오른쪽을 나타내는 제어패턴이며, 오른쪽 제어패턴은 마우스포인터를 오른족으로 이동시키라는 명령으로 사용된다.When the doctor grabs his hand and moves to the right, the control pattern indicates the right side. The right control pattern is used as a command to move the mouse pointer to the right side.

이밖에도 의사가 손을 주먹쥐고 시계방향으로 회전시키면 오른쪽 회전을 나타내는 제어패턴이며, 오른쪽 제어패턴은 화면에 출력되어 있는 영상을 시계방향(오른쪽)으로 회전시키라는 명령으로 사용될 수 있다.In addition, when the doctor clenched his hand and rotates clockwise, the control pattern indicates the right rotation, and the right control pattern may be used as a command to rotate the image displayed on the screen clockwise (right).

상기 설명된 동작패턴 이외에도 여러가지 약속된 동작패턴을 추가적으로 사용할 수 있으며, 그 사용되는 동작패턴이 새롭게 추가된다고 하여도 본 발명의 권리범위를 벗어날 수 없을 것이다. In addition to the above-described operation pattern, various promised operation patterns may be additionally used, and even if the used operation patterns are newly added, the scope of the present invention may not be exceeded.

한편, 상기 환자정보 출력수단(2)은 환자와 관련된 여러가지 정보를 저장하고 있으면서 동작인식수단(1)으로 부터 공급되는 제어패턴에 따라 프로그램을 동작시켜 환자정보를 모니터(25)를 통해 출력하는 것으로서, On the other hand, the patient information output means 2 is to output the patient information through the monitor 25 by operating the program according to the control pattern supplied from the motion recognition means 1 while storing various information related to the patient as ,

환자와 관련한 여러가지 정보를 저장하는 데이타베이스(21)와;A database 21 for storing various information relating to the patient;

환자정보를 출력하는 모니터(25)와;A monitor 25 for outputting patient information;

제어명령을 입력하기 위한 수단인 키보드(27) 및 마우스(28)와;A keyboard 27 and a mouse 28 which are means for inputting control commands;

동작인식수단(1)의 출력부(17)에서 출력된 제어패턴정보를 입력받아 제어장치부(26)에 공급하는 제어패턴 입력부(29)와;A control pattern input unit 29 which receives the control pattern information output from the output unit 17 of the operation recognition unit 1 and supplies the control pattern information to the control unit 26;

데이타베이스(21)에 저장되어 있는 환자정보를 모니터(25)상에 출력하기 위한 프로그램을 내장하고 있으며, 상기 제어패턴 입력부(29)를 통해 입력되는 제어패턴정보에 따라 데이타베이스(21)에 저장되어 있는 소정의 환자정보를 모니터(25)를 통해 출력하는 제어장치부(26); 로 구성된다.Built-in program for outputting the patient information stored in the database 21 on the monitor 25, and stored in the database 21 in accordance with the control pattern information input through the control pattern input unit 29 A control unit 26 for outputting predetermined patient information through the monitor 25; It consists of.

그리고, 상기 데이타베이스(21)는 환자의 진료기록을 저장하고 있는 진료기록 저장부(22)와, 환자의 환부를 촬영한 영상정보를 저장하고 있는 영상사진 저장부(23)와, 환자의 검사자료를 저장하고 있는 검사자료 저장부(24)로 구성된다.The database 21 includes a medical record storage unit 22 storing a medical record of the patient, an image photo storage unit 23 storing image information of the affected part of the patient, and a test of the patient. It consists of an inspection data storage unit 24 for storing the data.

상기 구성된 환자정보 출력수단(2)의 제어장치부(26)는 키보드(27) 또는 마우스(28)에 의해 입력되는 제어명령에 따라 내부 프로그램이 작동하여 데이타베이스(21)에 저장되어 있는 환자정보를 인출하여 모니터(25)를 통해 출력할 수 있고, 또한 상기 동작인식수단(1)으로 부터 제공되는 제어패턴에 따라 내부 프로그램이 작동하여 데이타베이스(21)에 저장되어 있는 환자정보를 인출하여 모니터(25)를 통해 출력할 수 있도록 구성된다.The control unit 26 of the configured patient information output means 2 operates the internal program according to the control command input by the keyboard 27 or the mouse 28 to store the patient information stored in the database 21. Can be outputted through the monitor 25, and the internal program is operated in accordance with the control pattern provided from the operation recognition means (1) to retrieve the patient information stored in the database (21) It is configured to output through 25.

이와같이 구성된 본 발명의 동작을 설명하면 다음과 같다.Referring to the operation of the present invention configured as described above is as follows.

본 발명이 수술실에 설치되는 것을 도 2 에 예시하였으며, 도 2 를 참조하여 수술실에는 수술 환자가 누워있는 수술침대(3)가 설치되어 있고, 본 발명에 적용된 동작인식센서(11)는 수술침대(3)의 직상방에 위치하도록 수술실의 천정에 고정시켜 설치하며, 환자정보를 출력하는 모니터(25)는 의사가 잘 볼 수 있는 장소에 설치한다.2 illustrates that the present invention is installed in the operating room, the operating room 3 is installed in the operating room lying on the operating patient with reference to Figure 2, the motion recognition sensor 11 applied to the present invention is the operating bed ( 3) is fixed to the ceiling of the operating room so as to be located directly above, and the monitor 25 for outputting patient information is installed in a place where the doctor can see well.

제어장치부(26)는 수술실 내부에 설치될 수도 있고, 수술실 외부에 설치될 수도 있다.The control unit 26 may be installed inside the operating room or may be installed outside the operating room.

의사는 수술도중 자신이 원하는 환자 정보를 보기 위하여 미리 약속된 손동작을 취하게 된다.The doctor takes prearranged hand gestures to see the patient information he / she wants during the surgery.

의사의 손동작은 동작인식센서(11)에서 촬영되고, 동작인식센서(11)는 촬영된 손동작 영상신호를 영상캡춰부(12)로 출력하고, 상기 영상캡춰주(12)는 입력되는 손동작 영상신호를 소정의 시간단위로 캡춰링하여 패턴판단부(13)와 움직임판단부(14)로 공급한다.The hand gesture of the doctor is photographed by the motion recognition sensor 11, the motion recognition sensor 11 outputs the photographed hand motion video signal to the image capturing unit 12, and the image capturing column 12 receives the input hand motion video signal. Is captured by a predetermined time unit and supplied to the pattern determination unit 13 and the movement determination unit 14.

상기 영상캡춰부(12)에서 동작인식센서(11)에서 촬영된 동영상정보를 시간단위로 캡춰링하는 것은 후단의 패턴판단부(13)와 움직임판단부(14)가 소정 시간단위로 공급되는 캡춰링된 정지영상을 이용하여 손모양과 움직임방향을 정확하게 판단할 수 있도록 하기 위함이다.Capturing the video information captured by the motion recognition sensor 11 by the image capturing unit 12 in units of time is a capture in which the pattern determination unit 13 and the movement determination unit 14 at the rear end are supplied in predetermined time units. The purpose is to accurately determine the shape of the hand and the direction of movement using the ringed still image.

상기 영상캡춰부(12)로 부터 캡춰링된 정지영상을 입력받은 패턴판단부(13)는 그 정지영상을 이용하여 의사의 손이 어떤 모양을 하고 있는지를 판단하고, 그 판단정보를 종합판단부(16)로 공급하고, 상기 움직임판단부(14)는 영상캡춰부(12) 로 부터 공급되는 정지영상을 이용하여 손의 움직임방향을 판단하여 종합판단부(16)로 공급한다.The pattern judging unit 13 that receives the still image captured by the image capturing unit 12 determines the shape of the doctor's hand using the still image, and determines the judgment information based on the comprehensive judging unit. 16, the motion determining unit 14 determines the direction of movement of the hand using the still image supplied from the image capturing unit 12, and supplies the same to the comprehensive determining unit 16.

상기 종합판단부(16)는 패턴판단부(13)로 부터 공급되는 손모양, 즉, 손 패턴정보과 움직임판단부(14)에서 공급되는 손의 움직임방향정보를 입력받고, 그 입력된 손 패턴 및 움직임방향정보를 동작DB(15)에 저장되어 있는 자료와 비교하여 최종적으로 의사가 지시하고자 하는 제어패턴을 판단하여 출력부(17)로 공급한다.The comprehensive determination unit 16 receives the shape of the hand supplied from the pattern determination unit 13, that is, the hand pattern information and the movement direction information of the hand supplied from the movement determination unit 14. The motion direction information is compared with the data stored in the operation DB 15 to finally determine the control pattern to be instructed by the doctor and supply it to the output unit 17.

상기 종합판단부(16)에서 판단하는 것을 예시하면, 의사가 주먹을 쥔 상태로 전진시키게되면, 패턴판단부(13)는 손패턴이 주먹상태인 것을 판단하고, 움직임판단부(14)는 주먹이 전진하는 움직임방향정보를 판단하게되는 것이며, 종합판단부(16)는 주먹과 전진을 종합하여 의사가 전진명령을 내리기 위한 제어패턴을 취한것으로 판단하는 것이다.For example, when the decision is made by the comprehensive judgment unit 16, when the doctor advances to the fist state, the pattern decision unit 13 determines that the hand pattern is in the fist state, and the movement decision unit 14 is the fist. The forward movement direction information is determined, and the comprehensive judgment unit 16 determines that the doctor has taken a control pattern for giving a forward command by combining the fist and the forward.

상기 설명과 같이 종합판단부(16)에서 출력된 제어패턴정보는 출력부(17)를 통해 출력되어 환자정보 출력수단(2)의 제어패턴 입력부(29)로 입력되고, 제업장치부(26)는 제어패턴 입력부(29)를 통해 입력되는 제어패턴에 따라 현재 모니터(25)를 통해 출력중인 영상을 확대제어하게 된다.As described above, the control pattern information output from the comprehensive judgment unit 16 is output through the output unit 17 and input to the control pattern input unit 29 of the patient information output unit 2, and the manufacturing apparatus unit 26. According to the control pattern input through the control pattern input unit 29 to enlarge the control of the image currently being output through the monitor (25).

상기 설명과 같이 본 발명은 의사의 손동작에 따라 제어장치부(26)가 다양한 제어명령을 수행하여 데이타베이스(21)에 저장되어 있는 각종 환자정보, 예를들면 진료기록 저장부(22)에 저장되어 있는 환자의 진료기록, 영상사진 저장부(23)에 저장되어 있는 환자의 환부를 촬영한 영상사진, 검사자료 저장부(24)에 저장되어 있는 환자에 대한 각종 검사자료정보를 인출하여 모니터(25)를 통해 출력할 수 있 게되는 것이다.As described above, the present invention stores various patient information stored in the database 21, for example, the medical record storage 22, by the control unit 26 performing various control commands according to the hand gesture of the doctor. The patient's medical records, image pictures taken in the patient's affected part stored in the image picture storage unit 23, and retrieves various test data information for the patient stored in the test data storage unit 24 and monitor ( 25) can be printed.

도 5 는 본 발명에 의해 환자정보 디스플레이 장치가 작동되는 실시예를 도시한 것이다.5 shows an embodiment in which the patient information display apparatus is operated according to the present invention.

도 5a는 환자정보 디스플레이 장치의 초기화면을 도시한 것이고, 도 5b는 환자에 대한 정보 리스트를 모니터(25)상에 출력한 상태를 예시한 것이다.FIG. 5A illustrates an initial screen of the patient information display apparatus, and FIG. 5B illustrates a state in which a list of information about a patient is output on the monitor 25.

도 5c는 의사가 손동작으로 마우스를 원격 이동시켜 환자에 대한 영상사진을 선택한 상태이고, 도 5d는 의사가 손동작으로 도 5c에서 선택한 영상사진을 메인화면에 출력되도록 한 실시예이며, 도 5e는 도 5d에서 출력된 영상사진의 밝기를 손동작으로 가변시킨 상태를 예시한 도면이고, 도 5f는 손동작으로 영상의 특정부분을 확대시킨 상태를 예시한 도면이다.FIG. 5C is a state in which the doctor remotely moves the mouse to select an image photograph of the patient. FIG. 5D is an embodiment in which the doctor outputs the image photograph selected in FIG. 5C to the main screen by the hand gesture. FIG. 5D is a view illustrating a state in which the brightness of an image photograph output from 5D is changed by a hand gesture, and FIG. 5F is a diagram illustrating a state in which a specific portion of the image is enlarged by a hand gesture.

그리고 도 5g 와 도 5h는 도 5f에서 확대시킨 영상에서 세부사항을 정밀하게 변환시킨 제어상태를 도시한 것으로서, 의사가 손동작을 이용해서도 마우스를 이용하여 제어하는 것과 마찬가지로 매우 정밀한 제어명령을 수행할 수 있게된다.5G and 5H illustrate a control state in which details are precisely converted in the image magnified in FIG. 5F, and a doctor may perform a very precise control command similarly to control using a mouse even using hand gestures. Will be.

또한 도 5i와 도 5j는 환자의 다른 영상사진을 출력한 상태를 예시한 것이고, 도 5k와 도 5l은 환자에 대해 촬영된 다른 종류(초음파사진)의 영상사진을 선택하여 출력한 실시예를 나타낸다.In addition, FIGS. 5I and 5J illustrate a state in which another image of the patient is output, and FIGS. 5K and 5L illustrate an embodiment in which a different kind of image (ultrasound picture) photographed for the patient is selected and output. .

이상에서 설명한 바와같이 본 발명은 수술실에서 수술을 집도하는 의사가 키보드 또는 마우스를 손으로 잡지않고 미리 약속된 손동작으로 제어패턴을 지시하여 환자에 관련한 여러가지 영상정보, 진료기록, 검사자료를 모니터(25)를 통해 출력시켜 확인할 수 있게되므로, 의사가 손으로 키보드 또는 마우스를 잡는것에 의해 발생할지도 모르는 세균감염을 걱정하지 않아도 되고, 또한 수술실 내부에 환자기록 출력을 위한 별도의 관리자가 투입되지 않아도 되는 부가적인 효과를 기대할 수 있게된다.As described above, the present invention monitors various image information, medical records, and examination data related to a patient by instructing a control pattern with a predetermined hand movement without the doctor holding the keyboard or the mouse by hand. Can be printed and confirmed, so that doctors don't have to worry about bacterial infections that may be caused by holding the keyboard or mouse with their hands, and additional administrators do not need to add a separate manager to print patient records inside the operating room. You can expect a positive effect.

도 1 은 본 발명의 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치를 보인 블럭도.1 is a block diagram showing a patient information display device for the operating room controlled by the doctor's hand gesture of the present invention.

도 2 는 본 발명이 수술실에 설치된 상태를 보인 도면.2 is a view showing a state in which the present invention is installed in the operating room.

도 3 은 본 발명의 제어과정을 보인 플로우챠트.3 is a flow chart showing a control process of the present invention.

도 4 는 본 발명에 적용된 동작DB에 저장되어 있는 손동작에 대응하는 제어패턴정보의 실시예를 보인 도면.4 is a view showing an embodiment of control pattern information corresponding to a hand gesture stored in an operation DB applied to the present invention.

도 5 는 본 발명에 의해 환자정보가 표시되는 실시예를 보인 도면.5 is a view showing an embodiment in which patient information is displayed by the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

1: 동작인식수단, 2: 환자정보 출력수단,1: motion recognition means, 2: patient information output means,

11: 동작인식센서, 12: 영상캡춰부,11: motion recognition sensor, 12: video capture unit,

13: 패턴판단부, 14: 움직임판단부,13: pattern judgment part, 14: motion judgment part,

15: 동작DB, 16: 종합판단부,15: action DB, 16: comprehensive judgment,

17: 출력부, 21: 데이타베이스, 17: output, 21: database,

22: 진료기록 저장부, 23: 영상사진 저장부,22: medical record storage, 23: video photo storage,

24: 검사자료 저장부, 25: 모니터,24: inspection data storage, 25: monitor,

26: 제어장치부, 27: 키보드,26: control unit, 27: keyboard,

28: 마우스, 29: 제어패턴 입력부,28: mouse, 29: control pattern input unit,

Claims (5)

수술실 내에 설치되고, 의사의 손동작을 인식하여 제어패턴을 판단하여 환자정보 출력수단(2)에 공급하는 동작인식수단(1)과;An operation recognition means (1) installed in the operating room and recognizing a hand gesture of a doctor to determine a control pattern and to supply the patient information output means (2); 환자와 관련된 여러가지 정보를 저장하고 있으면서 동작인식수단(1)으로 부터 공급되는 제어패턴에 따라 프로그램을 동작시켜 환자정보를 모니터(25)를 통해 출력하는 환자정보 출력수단(2); 으로 구성한 것을 특징으로 하는 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치.Patient information output means (2) for outputting patient information through the monitor (25) by operating a program according to a control pattern supplied from the motion recognition means (1) while storing various information related to the patient; Patient information display device for the operating room controlled by the doctor hand gesture, characterized in that configured as. 제 1 항에 있어서, 상기 동작인식수단(1)은,The method of claim 1, wherein the motion recognition means (1), 수술실의 천정에 설치되어 의사의 손동작을 촬영하고, 그 촬영영상을 영상캡춰부(12)로 출력하는 동작인식센서(11)와;An operation recognition sensor 11 installed on the ceiling of the operating room to photograph the hand gesture of the doctor and output the captured image to the image capturing unit 12; 상기 동작인식센서(11)에서 촬영된 영상신호를 소정의 시간 단위로 캡춰링하여 출력하는 영상캡춰부(12)와;An image capture unit 12 for capturing and outputting the image signal photographed by the motion recognition sensor 11 at predetermined time units; 상기 영상캡춰부(12)에서 캡춰링된 영상정보에서 의사의 손모양을 판단하고, 그 판단정보를 종합판단부(16)로 공급하는 패턴판단부(13)와;A pattern determination unit 13 for determining a doctor's hand shape from the image information captured by the image capture unit 12 and supplying the determination information to the comprehensive determination unit 16; 상기 영상캡춰부(12)에서 캡춰링된 영상정보에서 의사의 손이 움직이는 방향정보를 판단하고, 그 판단된 움직임정보를 종합판단부(16)로 공급하는 움직임판단부(14)와;A motion determining unit 14 for determining the direction information of a doctor's hand moving from the image information captured by the image capturing unit 12 and supplying the determined motion information to the comprehensive judging unit 16; 의사가 손으로 표현할 수 있는 여러가지 손모양패턴 및 움직임에 대응하는 제어패턴정보를 저장하고 있는 동작DB(15)와;An operation DB 15 for storing control pattern information corresponding to various hand-shaped patterns and movements that a doctor can express by hand; 상기 패턴판단부(13)와 움직임판단부(14)에서 판단된 손모양패턴 및 움직임정보를 입력받고, 그 입력된 손모양패턴 및 움직임정보와 동작DB(15)에 저장되어 있는 데이타를 비교하여 의사의 손동작에 대응하는 제어패턴정보를 최종적으로 판단하여 출력하는 종합판단부(16)와;Receives the hand pattern and the motion information determined by the pattern determination unit 13 and the movement determination unit 14, and compares the input hand shape pattern and motion information with the data stored in the operation DB (15) A comprehensive judging unit 16 which finally determines and outputs control pattern information corresponding to a surgeon's hand gesture; 상기 종합판단부(16)에서 출력되는 제어패턴정보를 환자정보 출력수단(2)으로 공급하는 출력부(17); 로 구성된 것을 특징으로 하는 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치.An output unit 17 for supplying the control pattern information output from the comprehensive determination unit 16 to the patient information output means 2; Patient information display device for the operating room controlled by the doctor hand gesture, characterized in that consisting of. 제 1 항에 있어서, The method of claim 1, 상기 환자정보 출력수단(2)은,The patient information output means 2, 환자와 관련한 여러가지 정보를 저장하는 데이타베이스(21)와;A database 21 for storing various information relating to the patient; 환자정보를 출력하는 모니터(25)와;A monitor 25 for outputting patient information; 제어명령을 입력하기 위한 수단인 키보드(27) 및 마우스(28)와;A keyboard 27 and a mouse 28 which are means for inputting control commands; 동작인식수단(1)의 출력부(17)에서 출력된 제어패턴정보를 입력받아 제어장치부(26)에 공급하는 제어패턴 입력부(29)와;A control pattern input unit 29 which receives the control pattern information output from the output unit 17 of the operation recognition unit 1 and supplies the control pattern information to the control unit 26; 데이타베이스(21)에 저장되어 있는 환자정보를 모니터(25)상에 출력하기 위한 프로그램을 내장하고 있으며, 상기 제어패턴 입력부(29)를 통해 입력되는 제어 패턴정보에 따라 데이타베이스(21)에 저장되어 있는 소정의 환자정보를 모니터(25)를 통해 출력하는 제어장치부(26); 로 구성된 것을 특징으로 하는 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치.Built-in program for outputting the patient information stored in the database 21 on the monitor 25, and stored in the database 21 according to the control pattern information input through the control pattern input unit 29 A control unit 26 for outputting predetermined patient information through the monitor 25; Patient information display device for the operating room controlled by the doctor hand gesture, characterized in that consisting of. 제 3 항에 있어서, 상기 데이타베이스(21)는 환자의 진료기록을 저장하고 있는 진료기록 저장부(22)와, 환자의 환부를 촬영한 영상정보를 저장하고 있는 영상사진 저장부(23)와, 환자의 검사자료를 저장하고 있는 검사자료 저장부(24)로 구성된 것을 특징으로 하는 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치.4. The database 21 according to claim 3, wherein the database 21 includes a medical record storage unit 22 storing a medical record of the patient, an image photo storage unit 23 storing image information of the affected part of the patient; The patient information display device for the operating room controlled by the doctor's hand, characterized in that consisting of a test data storage unit 24 for storing the test data of the patient. 동작인식센서(11)가 의사의 손동작을 촬영하는 제 1 과정과;A first process in which the motion recognition sensor 11 photographs a hand gesture of a doctor; 동작인식센서(11)에서 촬영된 영상을 영상캡춰부(12)가 수신하여 소정 시간단위로 캡춰링하는 제 2 과정과;A second process of capturing the image captured by the motion recognition sensor 11 by the image capturing unit 12 and capturing the captured image by a predetermined time unit; 상기 제 2 과정에서 캡춰링된 영상을 이용하여 손패턴, 움직임을 판단하고, 종합판단부(16)는 손패턴과 움직임에 대응하는 제어패턴정보를 동작패턴DB(15)로 부터 검출하여 제어장치부(26)로 전송하는 제 3 과정과;The hand pattern and the movement are determined by using the image captured in the second process, and the comprehensive determination unit 16 detects the control pattern information corresponding to the hand pattern and the movement from the operation pattern DB 15 and controls the device. A third process of transmitting to the unit 26; 상기 제어장치부(26)가 종합판단부(16)로 부터 입력되는 제어패턴정보에 따라 데이타베이스(21)에 저장되어 있는 환자의 진료기록, 영상사진, 검사자료 정보 를 인출하여 모니터(25)상에 출력하는 제 4 과정; 으로 구성된 것을 특징으로 하는 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치 제어방법.The control unit 26 retrieves the medical record, image photograph, and examination data information of the patient stored in the database 21 according to the control pattern information inputted from the comprehensive determination unit 16 and monitors 25. A fourth process of outputting to the image; Control method of the patient information display device for the operating room controlled by the doctor hand gesture, characterized in that consisting of.
KR1020090114625A 2009-11-25 2009-11-25 Patient information display device KR101102242B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090114625A KR101102242B1 (en) 2009-11-25 2009-11-25 Patient information display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090114625A KR101102242B1 (en) 2009-11-25 2009-11-25 Patient information display device

Publications (2)

Publication Number Publication Date
KR20110057978A KR20110057978A (en) 2011-06-01
KR101102242B1 true KR101102242B1 (en) 2012-01-03

Family

ID=44393533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090114625A KR101102242B1 (en) 2009-11-25 2009-11-25 Patient information display device

Country Status (1)

Country Link
KR (1) KR101102242B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101513407B1 (en) * 2012-02-06 2015-04-17 신닛테츠스미킨 카부시키카이샤 Finishing assistance apparatus, finishing assistance method and finishing assistance system

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101302595B1 (en) * 2012-07-03 2013-08-30 한국과학기술연구원 System and method for predict to surgery progress step
KR101501955B1 (en) * 2013-09-02 2015-03-18 신지원 Remote Control System of Surgical Operating Room Equippments and Control Method therefor
DE102014208540A1 (en) 2014-05-07 2015-11-12 Siemens Aktiengesellschaft Device and method for contactless control of a patient table
JP7200939B2 (en) * 2017-07-19 2023-01-10 ソニーグループ株式会社 Surgical system, control method, surgical equipment, and program
KR101926123B1 (en) * 2017-12-28 2018-12-06 (주)휴톰 Device and method for segmenting surgical image
KR101953730B1 (en) * 2019-01-15 2019-06-17 재단법인 아산사회복지재단 Medical non-contact interface system and method of controlling the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (en) * 1995-04-28 1999-01-25 모리시타요우이치 Interface device
KR20080041049A (en) * 2006-11-06 2008-05-09 주식회사 시공테크 Apparatus and method for generating user-interface based on hand shape recognition in a exhibition system
KR20090018378A (en) * 2007-08-17 2009-02-20 주식회사 대우아이에스 Navigation system using of gesture recognition and the control method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990008158A (en) * 1995-04-28 1999-01-25 모리시타요우이치 Interface device
KR20080041049A (en) * 2006-11-06 2008-05-09 주식회사 시공테크 Apparatus and method for generating user-interface based on hand shape recognition in a exhibition system
KR20090018378A (en) * 2007-08-17 2009-02-20 주식회사 대우아이에스 Navigation system using of gesture recognition and the control method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101513407B1 (en) * 2012-02-06 2015-04-17 신닛테츠스미킨 카부시키카이샤 Finishing assistance apparatus, finishing assistance method and finishing assistance system

Also Published As

Publication number Publication date
KR20110057978A (en) 2011-06-01

Similar Documents

Publication Publication Date Title
KR101102242B1 (en) Patient information display device
US11786319B2 (en) Multi-panel graphical user interface for a robotic surgical system
US20220334787A1 (en) Customization of overlaid data and configuration
JP5904812B2 (en) Surgeon assistance for medical display
JP4869951B2 (en) Medical device data analyzer
CA3079816C (en) Multi-panel graphical user interface for a robotic surgical system
JP6950707B2 (en) Information processing equipment and methods, and programs
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
CN110741334B (en) Display control device, display control method, and display control program
US20230225816A1 (en) Graphical user guidance for a robotic surgical system
JP5959367B2 (en) Medical support system
US11219491B2 (en) Centralized control apparatus and method of controlling one or more controlled apparatuses including medical device
US9916076B2 (en) Endoscopic image display device
WO2021010193A1 (en) Medical instrument control system, control apparatus, and control program
WO2018087977A1 (en) Information processing device, information processing method, and program
JP2006271885A (en) System controller
WO2020246181A1 (en) Image processing device, image processing method, and program
JP2005115289A (en) Image display processing apparatus
JP2023066017A (en) Modality control apparatus and display control program
WO2017033605A1 (en) Touch panel device and endoscope system
JP2019111163A (en) Medical image display system and medical image display device
EP2796107A1 (en) Adjustable overlay patterns for medical display

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141229

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee