KR20160023015A - Method of providing medical image - Google Patents

Method of providing medical image Download PDF

Info

Publication number
KR20160023015A
KR20160023015A KR1020140108490A KR20140108490A KR20160023015A KR 20160023015 A KR20160023015 A KR 20160023015A KR 1020140108490 A KR1020140108490 A KR 1020140108490A KR 20140108490 A KR20140108490 A KR 20140108490A KR 20160023015 A KR20160023015 A KR 20160023015A
Authority
KR
South Korea
Prior art keywords
mode
image
pedal
control
control mode
Prior art date
Application number
KR1020140108490A
Other languages
Korean (ko)
Other versions
KR101611484B1 (en
Inventor
김남국
장택진
이상민
서준범
박준연
최익수
이승수
Original Assignee
울산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단 filed Critical 울산대학교 산학협력단
Priority to KR1020140108490A priority Critical patent/KR101611484B1/en
Publication of KR20160023015A publication Critical patent/KR20160023015A/en
Application granted granted Critical
Publication of KR101611484B1 publication Critical patent/KR101611484B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

The present invention relates to a medical image provision method comprising the steps of: selecting a control mode of an image on a display according to a signal inputted by a contact-type input device; and recognizing operation, inputted by a non-contact operation sensing device, as a signal to convert and display the image according to the selected control mode. According to the present invention, provided is the medical image provision method with reliability and convenience through non-contact control.

Description

의료영상의 제공방법{METHOD OF PROVIDING MEDICAL IMAGE}METHOD OF PROVIDING MEDICAL IMAGE [0002]

본 개시(Disclosure)는 전체적으로 영상의 제공방법에 관한 것으로, 특히, 영상제어의 안정성과 편의성을 향상한 의료영상의 제공방법에 관한 것이다.Disclosure relates to a method of providing an image as a whole, and more particularly, to a method of providing a medical image that improves the stability and convenience of image control.

여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).Herein, the background art relating to the present disclosure is provided, and these are not necessarily meant to be known arts.

의료영상을 사용하여 수술장에서 의료영상에 의해 의료도구를 가이드 또는 모니터링 하거나 수술장 외의 공간에서 의료영상을 사용하여 병변을 연구 또는 상태를 평가하는 등의 방법이 사용되고 있다. A medical image is used to guide or monitor a medical tool by a medical image in a surgical field, or a medical image is used in a space outside a surgical field to study a lesion or to evaluate a condition.

도 1은 미국 공개특허공보 제2012/0265071호에 개시된 의료 워크스테이션의 일 예를 나타내는 도면으로서, 로봇암에 이미징 장치(2)와 의료도구(7)가 구비되어 있고, 제어 장치(3)는 이미징 장치가 의료도구를 따라 움직이도록 로봇팔을 제어한다. 이와 같은 수술장에서는 복수의 의료영상을 모니터링 하면서 시술자나 보조자가 의료영상을 제어하게 된다. 이러한 의료영상에는 의료도구에 구비된 이미징 장치로부터 전달된 이미지뿐만 아니라 진단 및/또는 수술 계획에 사용된 의료영상들이 필요에 따라 디스플레이되며, 제어될 필요가 있다. 1 is a diagram showing an example of a medical work station disclosed in U.S. Patent Application Publication No. 2012/0265071, in which a robot arm is provided with an imaging device 2 and a medical tool 7, And controls the robot arm so that the imaging device moves along with the medical instrument. In such an operation site, a surgeon or an assistant controls medical images while monitoring a plurality of medical images. Such medical images need to be displayed and controlled as needed, as well as medical images used in diagnosis and / or surgery planning, as well as images transmitted from imaging devices provided in medical instruments.

도 2는 미국 공개특허공보 제2009/0217207호에 개시된 의료 이미지 디스플레이의 일 예를 나타내는 도면으로서, 의료 이미지 디스플레이는 프로세싱유닛, 디스플레이(6), 리모트 콘트롤(10), 커뮤니케이션 인터페이스 및 소프트웨어 모듈을 포함한다. 프로세싱 유닛은 의료영상을 처리하고 디스플레이에 표시한다. 리모트 콘트롤은 적어도 하나의 모션 감지 센서에 의해 사용자의 움직임을 등록한다. 커뮤니케이션 인터페이스는 사용자의 움직임을 프로세싱 유닛으로 전송한다. 소프트웨어 모듈은 사용자의 움직임과 디스플레이된 의료영상을 조화시켜 사용자 움직임을 의료영상의 움직임으로 재생한다. 그러나 시술자가 손으로 리모트 콘트롤을 만지는 것은 무균상태(aseptic condition)을 저해하며, 시술자가 리모트 콘트롤 조작하면 시술에 집중에 방해가 된다. 추가로 보조자를 두어 보조자가 리모트 콘트롤을 사용하면, 시술자가 원하는 것을 따로 지시를 하거나 요청을 해야하는 불편함이 있다.2 shows an example of a medical image display as disclosed in U.S. Patent Application Publication No. 2009/0217207, which includes a processing unit, a display 6, a remote control 10, a communication interface and a software module do. The processing unit processes the medical image and displays it on the display. The remote control registers the movement of the user by at least one motion detection sensor. The communication interface transfers the user's movement to the processing unit. The software module reconciles the user's movement with the displayed medical image and reproduces the user's movement as the motion of the medical image. However, when the operator touches the remote control by hand, it disturbs the aseptic condition, and when the operator manipulates the remote control, the operation is disturbed. If an assistant is additionally provided and the assistant uses the remote control, there is a disadvantage that the practitioner needs to separately instruct or make a request.

한편, 마우스나 키보드를 사용하여 영상을 제어하는 경우, 전술한 것과 같은 무균상태, 집중 방해, 별도의 커뮤니케이션의 필요 등의 문제 이외에도 2차원 접촉형 장치인 마우스나 키보드의 사용만으로는 3차원 의료영상의 공간적인 제어가 불일치하거나 불충분한 문제점이 있다. 예를 들어, 마우스만으로는 의료영상의 회전, 줌, 윈도 레벨(window level) 등을 3차원적으로 제어하기 위한 수단이 충분하지 못하다. 한편, 3차원적인 제어를 하더라도 의료의 특성에 맞도록 간결하고 명확한 영상제어가 필요하다.On the other hand, in the case of controlling an image using a mouse or a keyboard, the use of a mouse or a keyboard, which is a two-dimensional contact type device, in addition to the above-mentioned aseptic condition, concentration disturbance, There is a problem that the spatial control is inconsistent or insufficient. For example, a means for three-dimensionally controlling the rotation, zooming, window level, etc. of a medical image is not sufficient with a mouse alone. On the other hand, even in the case of three-dimensional control, a simple and clear image control is required to suit the characteristics of medical care.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.

여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).SUMMARY OF THE INVENTION Herein, a general summary of the present disclosure is provided, which should not be construed as limiting the scope of the present disclosure. of its features).

본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 의료영상의 제공방법에 있어서, 접촉형 입력 장치를 통해 입력된 신호에 따라 디스플레이 상에서 영상의 제어모드를 선택하는 단계; 그리고 비접촉 동작감지 장치를 통해 입력된 동작을 신호로 하여, 선택된 제어모드에 따라 영상을 변형하여 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 의료영상의 제공방법이 제공된다.According to one aspect of the present disclosure, there is provided a method of providing a medical image comprising: selecting a control mode of an image on a display according to a signal input through a contact input device; And modifying the image according to the selected control mode and displaying the modified image on the display by using the operation input through the non-contact motion sensing device as a signal.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.This will be described later in the Specification for Implementation of the Invention.

도 1은 미국 공개특허공보 제2012/0265071호에 개시된 의료 워크스테이션의 일 예를 나타내는 도면,
도 2는 미국 공개특허공보 제2009/0217207호에 개시된 의료 이미지 디스플레이의 일 예를 나타내는 도면,
도 3은 본 개시에 따른 영상의 제공방법의 일 예를 설명하는 블록도,
도 4는 본 개시에 따른 영상의 제공방법의 일 예로 의료영상의 제공방법의 일 예를 설명하는 도면,
도 5는 접촉형 입력 장치 및 비접촉 동작감지 장치의 일 예를 설명하는 도면,
도 6은 본 개시에 따른 의료영상의 제공방법의 다른 예를 설명하기 위한 블록도,
도 7은 의료영상의 제공방법의 다른 예를 설명하기 위한 순서도,
도 8, 도 9 및 도 10은 본 개시에 따른 영상의 제어 방법에서 페달 없이 손동작만 사용하였을 때의 오류를 설명하기 위한 도면들,
도 11 및 도 12는 회전모드의 일 예를 설명하는 도면들,
도 13 및 도 14는 Window Level 조절모드의 일 예를 설명하는 도면들,
도 15 및 도 16은 줌모드의 일 예를 설명하는 도면들,
도 17은 본 개시에 따른 의료영상의 제공방법의 또 다른 예를 설명하는 도면,
도 18은 줌 및 회전모드의 일 예를 설명하기 위한 도면,
도 19 및 도 20은 Zoom with Scale모드의 일 예를 설명하기 위한 도면들.
1 is a diagram illustrating an example of a medical workstation disclosed in U.S. Patent Application Publication No. 2012/0265071,
2 is a diagram showing an example of a medical image display disclosed in U.S. Patent Application Publication No. 2009/0217207,
3 is a block diagram illustrating an example of a method of providing an image according to the present disclosure;
4 is a view for explaining an example of a method of providing a medical image, as an example of a method of providing images according to the present disclosure;
5 is a view for explaining an example of a contact type input device and a noncontact motion sensing device,
6 is a block diagram for explaining another example of a method of providing a medical image according to the present disclosure;
7 is a flowchart for explaining another example of a method of providing a medical image,
FIGS. 8, 9 and 10 are views for explaining an error when only a hand movement is performed without a pedal in a method of controlling an image according to the present disclosure,
11 and 12 are diagrams illustrating an example of a rotation mode,
13 and 14 are diagrams for explaining an example of the Window Level adjustment mode,
FIGS. 15 and 16 are diagrams illustrating an example of a zoom mode,
17 is a view for explaining another example of a method of providing a medical image according to the present disclosure,
18 is a diagram for explaining an example of a zoom and rotation mode,
FIGS. 19 and 20 are diagrams for explaining an example of a Zoom with Scale mode. FIG.

이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)). The present disclosure will now be described in detail with reference to the accompanying drawings.

도 3은 본 개시에 따른 영상의 제공방법의 일 예를 설명하는 블록도로서, 영상의 제공방법에서, 제어부(150)는 외부(102)로부터 접촉형 입력 장치(130)를 통해 입력된 신호(131)에 따라 디스플레이(170) 상에서 영상의 제어모드를 선택한다(151). 이후, 제어모드가 정해진 영상을 외부(101)로부터 비접촉 동작감지 장치(110)를 통해 입력된 제어 신호(111)에 따라 변형하여 디스플레이에 표시한다(171). 접촉형 입력 장치(130)는 단순히 영상을 선택하는 것에 한정되는 것이 아니라, 비접촉 동작감지 장치(110)에 의해 감지되는 동작 신호(예: 사용자의 손동작)가 영상을 어떻게 제어할 것인지를 정하는 제어모드를 선택하도록 한다.3 is a block diagram illustrating an example of a method of providing an image according to the present disclosure. In the method of providing an image, the control unit 150 receives a signal (e.g., The control mode of the image is selected on the display 170 in accordance with the control mode (Step 131). Thereafter, the image for which the control mode has been determined is modified according to the control signal 111 inputted from the outside 101 through the non-contact motion sensing device 110 and displayed on the display (171). The contact type input device 130 is not limited to simply selecting an image, but may be a control mode for determining how an operation signal (e.g., a user's hand motion) sensed by the noncontact motion sensing device 110 controls an image .

접촉형 입력 장치(130), 비접촉 동작감지 장치(110) 및 디스플레이(170)는 제어부(150; 예: 컴퓨터)에 의해 서로 연동되어 있으며, 외부로부터 접촉형 입력 장치(130)로 입력된 신호에 따라 제어부(150)는 영상의 제어모드, 예를 들어, 영상의 회전(rotation)모드, 영상의 이미지 처리모드, 영상을 확대 또는 축소하는 줌(Zoom)모드 중 적어도 하나를 선택한다. 외부로부터 비접촉 동작감지 장치(110)를 통해 사용자의 동작이 감지되고, 제어부(150)는 비접촉 동작감지 장치(110)가 감지한 동작을 제어 신호(111)로 읽고 선택된 제어모드에서 영상을 변형하여 디스플레이(170)에 표시한다(171). 예를 들어, 비접촉 동작감지 장치(110)는 사용자의 손동작을 감지하는 장치로서 손의 병진 운동, 회전 운동 등의 동작을 제어 신호(111)로 변환할 수 있는 장치라면 특별히 제한되지는 않는다. 비접촉 동작감지 장치(110)로 립모션(leap motion; 도 5b 참조) 장치를 예로 들 수 있다. 접촉형 입력 장치(130)로는 페달(도 5a 참조)을 예로 들 수 있다.The contact type input device 130, the noncontact motion sensing device 110 and the display 170 are interlocked with each other by a control unit 150 (e.g., a computer) and are connected to a signal input from the outside to the contact input device 130 The control unit 150 selects at least one of a control mode of the image, for example, a rotation mode of the image, an image processing mode of the image, and a zoom mode of enlarging or reducing the image. The operation of the user is sensed from the outside through the non-contact motion sensing device 110, and the controller 150 reads the motion sensed by the non-contact motion sensing device 110 by the control signal 111, modifies the image in the selected control mode And displays it on the display 170 (171). For example, the noncontact motion sensing device 110 is a device that senses a user's hand gesture, and is not particularly limited as long as it is an apparatus that can convert an operation such as translational motion, rotational motion, etc. of a hand into a control signal 111. [ The non-contact motion sensing device 110 may be a leap motion device (see FIG. 5B). As the contact input device 130, a pedal (see FIG. 5A) is exemplified.

본 개시에 따른 영상의 제공방법은 의료영상, 게임 영상, 연구용 영상, 건축이나 디자인 등을 위한 영상의 제공방법으로 사용될 수 있다.The method of providing images according to the present disclosure can be used as a method of providing images for medical images, game images, research images, architecture, and design.

도 4는 본 개시에 따른 영상의 제공방법의 일 예로 의료영상의 제공방법의 일 예를 설명하는 도면이다. 도 4에는 의료영상의 제공방법이 실행되는 구체적인 의료영상 제공 시스템이 예시되어 있다. 예를 들어, 의료영상 제공 시스템은 환자로부터 의료영상을 획득하는 의료영상 촬영 장치(200)를 구비하며, 디스플레이(170) 장치가 구비되어 있고, 접촉형 입력 장치(130)로서 페달(130)과 비접촉 동작감지 장치(110)로서 립모션 장치(110)가 예시되어 있다. 의료영상 촬영 장치(200), 디스플레이(170), 접촉형 입력 장치(130) 및 비접촉 동작감지 장치(110)는 컴퓨터(150; 제어부)에 의해 연동될 수 있다. 4 is a view for explaining an example of a method of providing a medical image as an example of a method of providing images according to the present disclosure. FIG. 4 illustrates a specific medical image providing system in which a medical image providing method is executed. For example, the medical image providing system includes a medical image photographing apparatus 200 for acquiring a medical image from a patient, and includes a display 170, a pedal 130 as a contact input device 130, A lip motion device 110 is illustrated as a non-contact motion sensing device 110. The medical imaging device 200, the display 170, the contact input device 130, and the noncontact motion sensing device 110 may be interlocked by the computer 150 (control unit).

의료영상의 제어는 영상의학과 판독실 등에서 이루어질 수도 있지만 수술장에서도 이루어질 수 있다. 다른 사람에게 지시하여 의료영상을 볼 수도 있지만 추가적인 의사소통이 필요하여 불편하다. 따라서, 시술자나 사용자가 직접 의료영상을 제어하여 보고 싶은 의료영상과 방향, 이미지 처리 및 사이즈 등을 자유롭게 즉시 및 직관적으로 변경하며 보는 것이 바람직하다. 특히, 수술장과 같은 장소에서 의사나 시술자는 손이 외부 물체에 접촉되는 것이 무균상태 유지에 좋지 않고, 또한, 위치한 그 자리에서 다른 사람에 의하지 않고 직접 의료영상을 직접 제어할 필요가 있다. 따라서 손동작으로, 즉 비접촉으로 의료영상을 제어하면 좋다. 또한, 의료 분야의 특성상 명확하고 심플한(simple) 제어가 바람직하다. 즉, 혼동을 주지 않고 필요한 제어 동작을 간편하게 할 수 있는 것이 바람직하다.The control of the medical image can be done in the radiology department, the reading room, etc., but it can also be done in the operation field. You may be able to see medical images by directing to others, but it is inconvenient because you need additional communication. Therefore, it is preferable that a medical practitioner or a user directly controls the medical image and directly and intuitively changes the medical image, direction, image processing, size and the like freely. In particular, in a place such as a surgical field, a doctor or an operator needs to directly touch a medical image directly on the spot where the hand contacts the external object. Therefore, the medical image may be controlled by hand motion, that is, in a non-contact manner. In addition, because of the nature of the medical field, a clear and simple control is desirable. That is, it is desirable that the necessary control operation can be simplified without confusion.

도 5는 접촉형 입력 장치 및 비접촉 동작감지 장치의 일 예를 설명하는 도면으로서, 접촉형 입력 장치(130)로는 도 5a에 제시된 바와 같은 페달(130)이 사용될 수 있다. 사용자의 손은 의료영상의 회전, 줌 등에 사용되므로 발로 밟을 수 있는 페달(130)이 접촉형 입력 장치(130)로서 적합하다. 페달(130)에는 여러 가지 선택을 할 수 있는 복수의 페달부가 구비될 수 있다. 도 5a에는 제1, 제2 및 제3 페달부(135,136,137)가 구비된 페달(130)이 예시되어 있다. 페달(130)은 제어부(150)와 전선(138)으로 연결될 수 있다.5 is a view for explaining an example of a contact type input device and a non-contact type motion sensing device. As the contact type input device 130, a pedal 130 as shown in FIG. 5A may be used. Since the user's hand is used for rotating, zooming or the like of the medical image, the pedal 130, which can be stepped on the foot, is suitable as the contact-type input device 130. The pedal 130 may be provided with a plurality of pedal units capable of various selections. 5A illustrates a pedal 130 having first, second, and third pedal portions 135, 136, and 137. The pedal 130 may be connected to the control unit 150 via a wire 138.

비접촉 동작감지 장치(110)로는 도 5b에 제시된 바와 같은 립모션(leap motion) 장치를 예로 들 수 있다. 립모션 장치(110)는 매우 정교한 손동작 인식 센서를 지닌 사용자 인터페이스로서 작은 아이팟 크기의 장치로 8입방 피트(cubic feet)의 3차원 공간을 매우 정확하게 읽어낼 수 있다. 이러한 립모션 장치(110)를 도 4에 도시된 바와 같이 사용자의 손 아래에 두고 손동작을 감지하도록 한다. 립모션 장치(110)는 전선(118)에 의해 제어부(150)에 연결될 수 있다. 제어부(150)에는 립모션 장치(110)의 작동을 위한 소프트웨어가 설치될 수 있다. 전술한 바와 같이, 비접촉 동작감지 장치(110)는 립모션 장치 외에도 동작을 감지할 수 있는 장치이면 특별히 제한되지 않는다. 또한, 비접촉 동작감지 장치(110)를 설치하는 위치도 사용자의 손 아래 외에 디스플레이(170)의 정면에 설치되거나 주변 장치에 부착될 수도 있다.The non-contact motion sensing device 110 may be, for example, a leap motion device as shown in FIG. 5B. The lip motion device 110 is a user interface with a very sophisticated hand gesture recognition sensor that can very accurately read 8 cubic feet of three-dimensional space with a small iPod-sized device. Such a lip motion device 110 is placed under the user's hand as shown in Fig. 4 so that the hand motion is detected. The lip motion device 110 may be connected to the control unit 150 by a wire 118. Software for the operation of the lip motion device 110 may be installed in the control unit 150. As described above, the noncontact motion sensing device 110 is not particularly limited as long as it is an apparatus capable of sensing motion in addition to the lip motion device. In addition, the position where the noncontact motion sensing device 110 is installed may be installed on the front of the display 170 or attached to the peripheral device in addition to the user's hand.

도 6은 본 개시에 따른 의료영상의 제공방법의 다른 예를 설명하기 위한 블록도 이고, 도 7은 의료영상의 제공방법의 다른 예를 설명하기 위한 순서도 이다. 접촉형 입력 장치로서 제1, 제2, 및 제3 페달부(135,136,137)가 사용되며, 비접촉 동작감지 장치(110)로 전술된 립모션 장치가 사용될 수 있다. 페달(135,136,137), 립모션 장치(110), 및 디스플레이(170)는 제어부(150)에 의해 연동되어 있다. 먼저, 디스플레이(170)에 의료영상이 표시되며(10), 사용자는 제3 페달(137)을 밟아(11) 디스플레이에 표시될 창을 전환한다. 창전환은 디스플레이에서 분할된 영역을 번갈아 선택하는 창전환과, 영상의 종류 자체를 변경하는 창전환이 있을 수 있다. 이후, 전환된 창을 보고(20) 2번 페달(136)을 밟아(21) 제어모드를 변환한다(30). 제어모드는 손동작에 따라 영상이 회전되는 회전(rotation)모드, 손동작에 따라 영상 처리하는 이미지 처리모드(image processiong mode), 및 손동작에 따라 영상을 확대 또는 축소하는 줌(Zoom)모드 중 적어도 하나를 포함하며, 바람직하게는 이들을 모두 포함한다. 이외에도 더 다양한 제어모드가 포함될 수 있다. 계속해서, 원하는 제어모드가 선택되었으면, 1번 페달(135)을 밟아 영상을 활성화한다(31). 활성화 상태에서 손동작으로(41) 의료영상을 선택된 제어모드(회전, 이미지 처리, 줌 등)로 변형하여 제공한다(40).FIG. 6 is a block diagram for explaining another example of a method of providing a medical image according to the present disclosure, and FIG. 7 is a flowchart for explaining another example of a method of providing a medical image. The first, second, and third pedal portions 135, 136, and 137 may be used as the contact input device, and the lip motion device described above may be used for the noncontact motion sensing device 110. The pedals 135, 136, and 137, the lip motion device 110, and the display 170 are interlocked by the control unit 150. First, the medical image is displayed 10 on the display 170, and the user steps on the third pedal 137 (11) to switch the window to be displayed on the display. Window switching may be window switching for alternately selecting divided areas in the display, and window switching for changing the type of the image itself. Thereafter, the controller 20 displays the converted window (20), steps on the second pedal 136 (21), and changes the control mode (30). The control mode includes at least one of a rotation mode in which an image is rotated according to a hand motion, an image procession mode in which an image is processed according to a hand motion, and a zoom mode in which an image is enlarged or reduced according to a hand motion And preferably include all of them. In addition, more control modes may be included. Subsequently, when the desired control mode is selected, the pedal 135 is depressed to activate the image (31). (41) the medical image is transformed into a selected control mode (rotation, image processing, zoom, etc.) by the hand operation in the activated state (40).

도 8, 도 9 및 도 10은 본 개시에 따른 영상의 제어 방법에서 페달 없이 손동작만 사용하였을 때의 오류를 설명하기 위한 도면들이다. 예를 들어, 페달 없이 사용했을 때 손동작만으로 회전, 줌 등을 통해 원하는 시점(view point)으로 영상을 조정하기 위해 손모양을 도 8에 제시된 바와 같이 손을 편 상태로 조작하여, 도 9에 제시된 바와 같이 원하는 시점으로 이동한다(예: 도 9는 도 8의 175에 대응). 이 상태에서 시점이 고정될 수 있도록 손모양을 도 10에 제시된 바와 같이 주먹을 쥐면 손동작으로 인한 제어가 멈추고(Freeze) 손을 치워도 되도록 하고자 한다. 그러나 손모양을 변형하는 중에 상하(V), 좌우(H), 및 앞뒤(D)로 손이 조금이라도 움직일 수밖에 없고, 비접촉 입력 장치가 손동작의 변형을 감지하게 되어 영상이 고정되지 못하고 시점이 변형된다. 도 9에 비하여 도 10에 나타난 영상(예: 도 10은 도 8의 176에 대응)은 좌측 아래로 회전된 것, 즉 시점이 이동된 것을 확인할 수 있다. 따라서, 사용자가 원하는 위치(position)나 각도를 잡아 놓은 그 상태로 영상이 고정되지 못하는 문제가 발생한다. 시점이 변형된 각도 값은 손을 폈다가 주먹을 쥐게 될 때의 손가락 길이나 손동작에 비례해서 이동되도록 설정한 값에 따라 달라지만 중요한 점은 원치않는 시점이동이 발생한다는 점이다. FIGS. 8, 9, and 10 are diagrams for explaining an error when only a hand movement is performed without a pedal in the method of controlling an image according to the present disclosure. For example, in order to adjust an image to a desired view point through rotation, zoom, or the like using only a hand motion when using a pedal without a pedal, a hand shape is manipulated as shown in Fig. 8, (E.g., FIG. 9 corresponds to 175 in FIG. 8). In this state, as shown in FIG. 10, when the fist is held so that the viewpoint can be fixed, the control due to the hand motion is stopped (freeze) so that the hand can be removed. However, during the transformation of the hand shape, the hand must move a little bit in the up and down (V), left and right (H), and back and forth (D), and the contactless input device senses the deformation of the hand movement, do. 10, the image shown in FIG. 10 (corresponding to, for example, 176 in FIG. 8 corresponds to 176 in FIG. 8) is rotated downward to the left, that is, the viewpoint is moved. Therefore, there arises a problem that the image can not be fixed in a state where the user holds a desired position or angle. The modified angle value depends on the length of the finger when the hand is held and the fist held, or the value set to move in proportion to the hand movement, but the important point is that the unwanted point shift occurs.

의료영상이 단순히 보는 것뿐만 아니라 의료영상 기반 중재수술이나 시술장의 항법 장치와 관련된 인터페이스로 사용되는 경우 이러한 의도하지 않은 시점의 변형, 이동 또는 흔들림은 결과에 중대한 오류를 유발한다. 또한, 원하는 시점에서 틀어져서 사용자가 다시 맞추어야 하는 불편함도 야기된다. 즉, 의료영상제어의 안정성이 저해된다.When medical images are used not only for viewing, but also for interfaces related to medical image-based interventions or navigational devices, such unintentional changes, movements or fluctuations can cause serious errors in the results. In addition, it inconveniences the user to adjust again at a desired point in time. That is, the stability of the medical image control is deteriorated.

본 예에 따른 영상의 제어 방법에 의하면, 접촉형 입력 장치(예: 페달)를 통해 선택된 제어모드에서, 비접촉 손동작의 유무로 영상의 변형 여부를 결정함으로써, 손동작만으로 제어모드를 전환할 때 전술한 문제점이 방지된다. 본 예에서는 의료영상의 제어모드의 선택과 제어모드의 실행을 서로 다른 입력 장치를 통해 수행함으로써 이러한 불안정성을 해소한다. 예를 들어, 페달에 의해 활성화된 상태에서만 회전, 줌 등이 되도록(active/de-active)하고, 원하는 시점으로 이동된 영상을 고정하기 위해 페달을 사용하여 영상을 비활성화하면, 손동작에 반응하지 않고 영상이 고정된다. 이와 같이, 고정된 상태에서 회전모드, 줌모드 등 모드전환은 페달로 수행하기 때문에, 전술된 것과 같이, 의도하지 않게 의료영상이 원하는 위치에서 벗어나는 것을 방지한다. 이와 함께, 본 예에서는 제어할 대상이 되는 의료영상의 창(window)을 변경하는 것을 페달(130)과 같은 별개의 입력 장치로 수행한다. 페달은 다른 사람을 통하지 않고 손동작하는 사람이 함께 사용할 수 있다.According to the image control method according to this example, in the control mode selected through the contact type input device (e.g., pedal), whether or not the image is deformed is determined by the presence or absence of the non- Problems are prevented. In this example, this instability is solved by selecting the control mode of the medical image and executing the control mode through different input devices. For example, if the pedal is used to activate / de-activate only the pedal in an active state and the pedal is used to deactivate the moved image to a desired position, The image is fixed. As described above, since the mode switching between the rotation mode and the zoom mode in the fixed state is performed by the pedal, the medical image is prevented from inadvertently deviating from the desired position as described above. In addition, in this example, the window of the medical image to be controlled is changed by a separate input device such as the pedal 130. [ The pedal can be used by a person who does not go through the other person but is hand-operated.

본 예에서 비접촉으로 의료영상을 회전, 이미지 처리, 줌 등의 제어를 하므로 편리하며, 외부 물체(예: 의료영상을 제어하기 위한 리모콘, 마우스, 키보드 등)와의 접촉을 피하면서 의료영상을 제어하므로 무균상태 유지에 도움이 된다. 또한, 시술장 이외에도, 진단실, 연구실, 게임, 디자인, 건축 등 다양한 장소나 분야에서도 원치않는 영상의 시점 등이 이동되는 것을 방지하도록 비접촉 제어와 접촉형 제어로 확실히 안정되게 영상을 제어할 수 있다. 또한, 본 개시에 따른 영상의 제공방법에 의하면, 의료영상의 제어에 있어서, 마우스 등의 2차원 인터페이스에 비해 좀더 의학에 맞게 적용할 수 있다. 특히, 3차원 공간에서 더욱 직관적이고 직접적 제어가 가능하여, 마우스로 회전 및 줌 등을 별개로 각각 해야하는 번거로움이 없고, 마우스 등 2차원 입력 장치로 달성하기 힘든 3차원에 적합한 제어 방법을 제공한다. 또한, 다양한 의료 또는 임상의 종류별로 맞춤하여 손동작과 페달의 조작 순서나 방식을 설계할 수 있는 장점이 있다.In this example, medical images are controlled while avoiding contact with an external object (e.g., remote controller, mouse, keyboard, etc.) for controlling medical images, It helps to maintain sterility. In addition, in addition to the treatment field, it is possible to reliably and stably control the image by noncontact control and contact-type control to prevent the movement of the viewpoint of unwanted images in various places and fields such as a diagnosis room, a laboratory, a game, a design and an architecture. Further, according to the method of providing an image according to the present disclosure, the medical image can be more suitably applied to medicine than a two-dimensional interface such as a mouse in the control of a medical image. Particularly, it is possible to provide a control method suitable for three dimensions, which is more intuitive and directly controllable in a three-dimensional space, and which does not require the separate rotation and zooming of the mouse, and is difficult to achieve with a two-dimensional input device such as a mouse . In addition, there is an advantage in that it is possible to design a manipulation procedure and a method of a hand movement and a pedal by fitting them to various medical or clinical types.

도 11 및 도 12는 회전모드의 일 예를 설명하는 도면들로서, 예를 들어, 제3 페달부(137)가 밟혀서 창이 전환된다. 창 전환에 의해 디스플레이 상의 제어 영역이 전환되거나, 뇌 영상, 폐 영상, 간 영상, 뼈 영상 등의 의료영상이 바뀔 수 있다. 제2 페달부(136)가 밟혀 회전모드가 선택되고, 제1 페달부(135)가 밟혀 의료영상이 활성화되어 제어 신호에 반응할 수 있는 상태가 된다. 회전모드에서 활성화된 상태에서 손동작에 의해 의료영상 내에 뇌 영상, 폐 영상, 간 영상, 뼈 영상 등의 의료영상이 회전한다. 도 11 및 도 12에는 두개골 영상이 예시되어 있다. 손동작과 제어 신호를 매칭하는데 있어서 손동작은 디스플레이(170)를 기준으로 좌우(H), 상하(V), 앞뒤(D) 동작 등 병진 운동이 기본이 될 수 있으며, 이와 다른 회전 등의 손동작이 사용될 수도 있다. 다만, 의료영상의 제어의 안정성을 위해 간단 명료한 동작을 제어 신호로 매칭하는 것이 좋을 것이다. 예를 들어, 손이 우측으로 이동하면 도 11a에 도시된 바와 같이 두개골 영상이 우측으로 회전하고, 손이 좌측으로 이동하면 도 11b에 도시된 바와 같이 두개골 영상이 좌측으로 회전한다. 따라서 사용자는 편리하고 안정적으로 보고자 하는 방향에서 의료영상을 볼 수 있다. 손을 상하로 움직이면 두개골 영상이 위로 및 아래로 회전하도록 매칭할 수 있는 것은 물론이며, 사선 방향으로 회전하는 것도 물론 가능하다.Figs. 11 and 12 are diagrams for explaining an example of the rotation mode. For example, the third pedal 137 is depressed to switch the window. The control area on the display may be switched by the window switching or the medical image such as the brain image, the lung image, the liver image, and the bone image may be changed. The second pedal portion 136 is stepped on to select the rotation mode and the first pedal portion 135 is depressed to activate the medical image and to be in a state capable of responding to the control signal. Medical images such as brain image, lung image, liver image, and bone image are rotated in the medical image by the hand operation while being activated in the rotation mode. Figures 11 and 12 illustrate skull images. In the matching of the hand operation and the control signal, the hand movement may be based on translational movement such as left, right (H), up and down (V), back and forth (D) operations based on the display 170, It is possible. However, in order to stabilize the control of the medical image, it is preferable to match a simple and clear operation with a control signal. For example, when the hand moves to the right, the skull image rotates to the right as shown in FIG. 11A, and when the hand moves to the left, the skull image rotates to the left as shown in FIG. 11B. Therefore, the user can view the medical image in a direction which is convenient and stable to view. It is of course possible to match the skull image so that the image of the skull rotates up and down when the hand is moved up and down, and of course it is also possible to rotate in the diagonal direction.

도 13 및 도 14는 Window Level 조절모드의 일 예를 설명하는 도면들로서, 예를 들어, 제2 페달부(136)가 밟혀 이미지 처리모드가 선택되고, 제1 페달부(135)가 밟혀 의료영상이 활성화되어 제어 신호에 반응할 수 있는 상태가 된다. 이미지 처리모드의 일 예로, 윈도레벨(window level)모드에서 활성화된 상태에서 손동작에 의해 의료영상 내에 두개골 영상에서 윈도레벨이 변경된다. 윈도레벨은 HU(Hounsfield units) 값을 세팅하는 CT 값(CT number)으로서, 의료영상의 그레이 스케일(gray scale)을 포함한다. 폐를 이미징하는 전형적인 윈도레벨은 -500이며, 복부는 윈도레벨이 0이다. 윈도레벨 이외에도, 이미지 처리는, 예를 들어, 손이 위로 움직이면 두개골을 더욱 선명하게 보이도록 콘트라스트가 연속적 또는 불연속적으로 변화된다. 또한, 손을 아래로 움직이면, 두개골에 피부가 붙은 상태로 디스플레이(170)되며, 피부의 톤이나 색상이 변경되는 등의 이미지 처리가 이루어진다. 이 외에도, 이미지 처리 방식에는 WWL(Window width leveling) 및 OTF(Opacity Transfer function change) 등이 포함될 수 있다.13 and 14 are diagrams for explaining an example of the window level adjustment mode. For example, when the image processing mode is selected by depressing the second pedal portion 136, and the first pedal portion 135 is depressed, Is activated and becomes in a state capable of responding to the control signal. As an example of the image processing mode, the window level in the skull image in the medical image is changed by the hand operation in the activated state in the window level mode. The window level is the CT value (CT number) setting the Hounsfield units (HU) value, which includes the gray scale of the medical image. A typical window level for imaging the lung is -500, and the abdomen is zero at the window level. In addition to the window level, the image processing can also change the contrast continuously or discontinuously, for example, so that when the hand is moved upward, the skull becomes more vivid. When the user's hand is moved downward, the display 170 is displayed with the skin attached to the skull, and image processing such as changing the tone or color of the skin is performed. In addition, the image processing method may include a window width leveling (WWL) and an opacity transfer function change (OTF).

도 15 및 도 16은 줌모드의 일 예를 설명하는 도면들로서, 예를 들어, 제2 페달부(136)가 밟혀 줌모드가 선택되고, 제1 페달부(135)가 밟혀 의료영상이 활성화되어 제어 신호에 반응할 수 있는 상태가 된다. 예를 들어, 줌모드에서 활성화된 상태에서 디스플레이(170)에 손이 가까워지면 두개골 영상이 축소되고 멀어지면 확대된다.Figs. 15 and 16 are diagrams for explaining an example of the zoom mode. For example, when the second pedal portion 136 is stepped on and the zoom mode is selected, the first pedal portion 135 is depressed, It becomes a state capable of responding to the control signal. For example, when the hand is nearer to the display 170 in the active state in the zoom mode, the skull image is reduced, and when it is farther away, it is enlarged.

한편, 도 11 내지 도 16에 예시된 의료영상에서 우측 상단은 3차원 두개골 영상이고, 좌측 상단 및 하단에는 단면 영상 또는 2차원 의료영상이 나타나 있다. 이러한 2차원 의료영상은 3차원 의료영상의 특정 방향에서 단면일 수 있다. 예를 들어, 2차원 및 3차원 의료영상은 MPR(multi-planar reconstruction) 영상일 수 있고, 엑시얼(axial), 코로날(coronal) 및 세지털(sagittal) 영상을 포함할 수 있다.On the other hand, in the medical images exemplified in Figs. 11 to 16, the right upper side is a 3D skull image, and the upper left and lower right side sectional images or 2D medical images are shown. Such a two-dimensional medical image may be a cross-section in a specific direction of the three-dimensional medical image. For example, the 2D and 3D medical images can be multi-planar reconstruction (MPR) images and can include axial, coronal, and sagittal images.

예를 들어, 제3 페달부(137)가 밟혀 3차원 의료영상이나 2차원 의료영상 중 어떤 영상(예, 엑시얼, 코로날, 세지털 영상 등)을 제어 대상으로 할지 창전환이 이루어진다. 또는, 제3 페달부(137)가 밟힌 상태에서 현재 제어 대상 창에 대해 손동작으로 이미지 넘기기 등을 매칭시켜 다른 의료영상으로 전환하는 것도 고려할 수 있다. 창전환이 이루어져 나타난 현재 제어 대상 의료영상에 대해 제2 페달부(136)가 밟혀 회전, 이미지 처리, 줌 등의 제어모드가 선택된다. 예를 들어, 2차원 의료영상의 경우 제어부(150)는 제2 페달이 밟힐 때마다 Slab모드, 이미지 처리모드, Zoom모드 순서로 바꿀 수 있다. Slab모드에서는 손동작에 의해 Slab Rotation, Slab Translation, Slab Thickness Change 등과 같이 의료영상이 제어될 수 있다. 3차원 의료영상의 경우 제어부(150)는 제2 페달이 밟힐 때마다 회전모드, 이미지 처리모드, Zoom모드 순서로 바꿀 수 있다. 이후, 선택된 제어모드에서 제1 페달부(135)가 밟혀 의료영상이 활성화된 상태에서 손동작으로 의료영상의 회전, 이미지 처리 및 줌 등의 동작을 실행할 수 있다.For example, when the third pedal 137 is stepped on, a window switching operation is performed to determine which one of three-dimensional medical images or two-dimensional medical images (e.g., exiseric, coronal, caged image, etc.) is to be controlled. Alternatively, it may be considered that the third pedal 137 is switched to another medical image by matching an image turning or the like to the current control target window by hand operation. The second pedal 136 is stepped on to select the control mode of rotation, image processing, zoom, and the like for the current control target medical image appearing after the window switching. For example, in the case of a two-dimensional medical image, the controller 150 can change the order of the slab mode, the image processing mode, and the zoom mode each time the second pedal is depressed. In the Slab mode, medical images can be controlled by hand motion such as Slab Rotation, Slab Translation, Slab Thickness Change, and so on. In the case of the three-dimensional medical image, the controller 150 can change the order of the rotation mode, the image processing mode, and the zoom mode every time the second pedal is depressed. Then, in the selected control mode, when the first pedal 135 is depressed and the medical image is activated, the operation such as rotation, image processing and zooming of the medical image can be performed by hand operation.

도 17은 본 개시에 따른 의료영상의 제공방법의 또 다른 예를 설명하는 도면으로서, 예를 들어, 디스플레이(170)에는 여러 개의 창이 있을 수 있고, 창에는 의료영상이 표시된다(S11). 제3 페달부(137)가 밟히면 제어부(150)가 제어의 대상이 될 의료영상이 표시되는 창을 바꿀 수 있다(S12). 또는, 동일한 창에서 의료영상을 넘기는 것도 가능하다. 제2 페달부(136)가 밟혀 제어부(150)가 회전, 이미지 처리, 줌 등 제어모드가 전환된다. 디스플레이(170)에는 2차원 및/또는 3차원 의료영상이 표시되며, 2차원 의료영상의 경우 제어부(150)는 제2 페달부(136)가 밟힐 때마다 Slab모드, 이미지 처리모드, Zoom모드 순서로 바꾸고, 3차원 의료영상의 경우, 제어부(150)는 제2 페달부(136)가 밟힐 때마다 회전모드, 자유 회전모드, Pan모드, 이미지 처리모드(Window width leveling; WWL, Opacity Transfer function change; OTF 등), Zoom, Zoom with Scale, Zoom+Pan, 회전+Zoom모드, Measurement모드, Free Mouse With Click모드 등의 순서로 바꿀 수 있다. 예를 들어, 회전모드로 전환된 상태(S13)에서 제1 페달부(135)가 밟혀 의료영상이 활성화된다(S14). 활성화된 상태에서 비접촉 동작감지 장치(110)로 입력된 손동작에 따라 제어부(150)가 의료영상을 선택된 제어모드에서 변형하여 디스플레이(170)에 표시한다. 예를 들어, 회전모드에서 사용자가 손동작을 함에 따라 제어부(150)는 활성화된 의료영상을 디스플레이(170) 상에서 회전한다(S15). 이후, 2번 페달을 밟아 이미지 처리모드로 전환한 후(S16), 1번 페달을 밟아 활성화 하고(S17) 사용자가 손동작을 함에 따라 제어부(150)는 활성화된 의료영상의 윈도레벨(window level, brightness, contrast, image rendering 등을 디스플레이(170) 상에서 변경한다(S18). 다음으로 2번 페달을 밟아 줌모드로 전환한 후(S19), 1번 페달을 밟아 활성화 하고(S20), 줌(Zoom)모드에서 사용자가 손동작을 함에 따라 제어부(150)는 활성화된 의료영상을 디스플레이(170) 상에서 확대 또는 축소한다(S21).17 is a view for explaining another example of a method of providing a medical image according to the present disclosure. For example, the display 170 may have a plurality of windows, and a medical image is displayed on the window (S11). If the third pedal 137 is depressed, the control unit 150 can change the window in which the medical image to be controlled is displayed (S12). Alternatively, it is also possible to pass medical images in the same window. The second pedal 136 is stepped on, and the control unit 150 switches the control mode such as rotation, image processing, zoom, and the like. In the case of the two-dimensional medical image, the controller 150 displays the slab mode, the image processing mode, the Zoom mode sequence, and the Zoom mode sequence every time the second pedal unit 136 is depressed. The control unit 150 controls the rotation mode, the free rotation mode, the pan mode, the window width leveling (WWL), and the Opacity Transfer function change (WWL) every time the second pedal unit 136 is depressed. ; OTF, etc.), Zoom, Zoom with Scale, Zoom + Pan, Rotate + Zoom mode, Measurement mode, Free Mouse With Click mode. For example, the first pedal 135 is depressed in the state of being switched to the rotation mode (S13), and the medical image is activated (S14). The control unit 150 modifies the medical image in the selected control mode and displays the modified medical image on the display 170 according to the hand operation inputted into the non-contact motion sensing apparatus 110 in the activated state. For example, as the user performs a hand motion in the rotation mode, the controller 150 rotates the activated medical image on the display 170 (S15). Then, the pedal is depressed to switch to the image processing mode (S16), the pedal # 1 is activated to depress the pedal # 1 (S17), and the controller 150 controls the window level of the activated medical image, brightness, contrast, and image rendering are changed on the display 170. Next, the pedal # 2 is depressed to switch to the zoom mode (S19), the pedal # 1 is depressed to activate (S20) ) Mode, the controller 150 enlarges or reduces the activated medical image on the display 170 (S21).

이와 같이, 사용자는 영상을 원하는 방향으로 회전하고, 이미지 처리하며 확대 축소하여 볼 수 있다. 물론, 회전, 이미지 처리, 줌은 그 순서를 필요에 따라 달리하는 것이 가능하다.Thus, the user can rotate the image in a desired direction, image-processed, and magnify and view the image. Of course, rotation, image processing, and zooming can be done differently depending on the order.

도 18은 줌 및 회전모드의 일 예를 설명하기 위한 도면으로서, 제어모드는 전술된 것들 이외에도 다양한 제어모드가 사용될 수 있다. 예를 들어, 도 18에 제시된 바와 같이, Zoom+Pan 또는 회전+Zoom모드는 비접촉 동작감지 장치가 3차원을 감지하는 장점을 가지는 점을 활용하여 1차원 Zoom과 2차원 Pan 또는 회전을 동시에 수행한다. 이를 위해 손을 병진 및 회전을 동시에 할 수 있다. 또는, 기존의 회전의 중심을 기준으로 위아래 또는 좌우방향의 회전뿐 아니라, 이에 추가해서 View point를 고정한 채로 시계 방향 및 반시계 방향의 회전 운동을 할 수 있는 등의 자유회전모드도 사용할 수 있다. 이러한 모드에 의하면 의료영상의 제어에 있어서, 마우스 등의 2차원 인터페이스에 비해 좀더 의학에 맞게 적용할 수 있다. 특히, 마우스로 회전 및 줌을 별개로 각각 하는 번거로움이 없고, 3차원 공간에서 더욱 직관적 직접적 제어가 가능하여 마우스로 달성하기 힘든 3차원에 적합한 제어 방법을 제공한다. Fig. 18 is a view for explaining an example of the zoom and rotation mode. The control mode may be various control modes other than those described above. For example, as shown in FIG. 18, the Zoom + Pan or Rotation + Zoom mode simultaneously performs a one-dimensional zoom and a two-dimensional pan or rotation utilizing the advantage that the noncontact motion sensing device has three- . To do this, you can translate and rotate your hand at the same time. Alternatively, it is possible to use not only a rotation in the up-and-down direction or the left-right direction based on the center of the existing rotation, but also a free-rotation mode in which a clockwise and counterclockwise rotation can be performed while fixing the view point. According to this mode, the medical image can be more suitably applied to the medical image than the two-dimensional interface such as a mouse. In particular, it provides a control method suitable for three dimensions that is difficult to achieve with a mouse because it is possible to perform more intuitive direct control in a three-dimensional space without having to separately rotate and zoom the mouse.

또한, 수술장에서 매우 필요한 두 점 사이의 거리 또는 세 점 사이의 각도 등을 측정하는 다양한 측정모드도 사용될 수 있으며, 기존의 마우스를 대체할 수 있는 Free Mouse With Click모드 등을 사용함으로써 비접촉 인터페이스(예: 비접촉 동작감지 장치)로 제어할 수 있는 기능 등을 포괄하는 모드를 사용할 수 있다. In addition, various measurement modes can be used to measure distances between two points or angles between three points, which are very necessary in a surgical field. By using the Free Mouse With Click mode, which can replace a conventional mouse, For example, a noncontact motion detection device) can be used.

도 19 및 도 20은 Zoom with Scale모드의 일 예를 설명하기 위한 도면들로서, Zoom with Scale의 경우는 zooming rate를 조절하는 것으로 3차원 디바이스(예: 비접촉 동작감지 장치)의 깊이(D)를 이용하여 도 19과 같이, 사용자와 비접촉 동작감지 장치가 멀리 떨어진 경우 큰 scale로 zoom이 되게 조절하고, 도 20과 같이, 사용자와 비접촉 동작감지 장치가 가까운 경우 작은 scale로 zoom이 되게 조절한다.FIGS. 19 and 20 are diagrams for explaining an example of a Zoom with Scale mode. In the case of Zoom with Scale, a zooming rate is controlled to use a depth (D) of a three-dimensional device As shown in FIG. 19, when the user and the non-contact motion sensing apparatus are far away, the zoom is controlled to a large scale. When the user and the non-contact motion sensing apparatus are close to each other, as shown in FIG.

이외에도 페달부와 손동작의 다양한 조합으로 의료영상제어의 안정성과 편의성을 향상할 수 있다. 예를 들어, 제2 페달부(136)가 밟힐 때마다 제어모드가 전환되지만 어떤 제어모드에서 제2 페달부(136)가 밟힌 상태에서 손동작으로 해당 제어모드에 대한 더 세부적인 선택을 하도록 매칭할 수도 있다.In addition, the stability and convenience of the medical image control can be improved by various combinations of the pedal portion and the hand operation. For example, each time the second pedal portion 136 is depressed, the control mode is switched, but in a certain control mode, the second pedal portion 136 is manually depressed to match a more detailed selection of the corresponding control mode It is possible.

이외에도 Zoom with scale 등과 같이 3차원 인터페이스의 장점을 이용하여 쓰지 않는 차원을 zooming/panning/rotation rate 등을 바꾸면서 사용할 수 있게 하거나, 손모양의 제스쳐 등을 이용하거나 페달과 조합으로 사용하는 방법 등이 있을 수 있다.In addition, there are ways to use the dimension without zooming / panning / rotation rate by using the advantage of 3D interface such as Zoom with scale, using hand-shaped gesture or using with pedal .

전술된 의료영상을 제어하는 방법은 비접촉 동작감지 장치, 접촉형 입력 장치 및 디스플레이를 제어하는 소프트웨어 및 사용자 인터페이스에 의해 구현될 수 있으며, 이러한 소프트웨어는 제어부 또는 컴퓨터로 읽을 수 있는 기록 매체에 설치될 수 있다.The above-described method of controlling the medical image can be implemented by a noncontact motion detection device, a contact input device and software and a user interface for controlling the display, and the software can be installed in a control unit or a computer readable recording medium have.

이하 본 개시의 다양한 실시 형태에 대하여 설명한다.Various embodiments of the present disclosure will be described below.

(1) 의료영상의 제공방법에 있어서, 접촉형 입력 장치를 통해 입력된 신호에 따라 디스플레이 상에서 영상의 제어모드를 선택하는 단계; 그리고 비접촉 동작감지 장치를 통해 입력된 동작을 신호로 하여, 선택된 제어모드에 따라 영상을 변형하여 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 의료영상의 제공방법.(1) A method of providing a medical image, the method comprising: selecting a control mode of an image on a display according to a signal input through a contact input device; And transforming the image according to the selected control mode and displaying the transformed image on the display, using the operation input through the non-contact motion sensing device as a signal.

(2) 접촉형 입력 장치를 통해 선택된 제어모드에서, 비접촉 손동작의 유무로 영상의 변형 여부를 결정함으로써, 손동작만으로 제어모드 전환과 제어모드 실행을 수행할 때의 제어모드 실행과 제어모드 전환의 구분 오류를 방지한 것을 특징으로 하는 의료 의료영상의 제공방법.(2) In the control mode selected through the contact-type input device, whether or not the image is deformed is determined by the presence or absence of the non-contact hand operation. Thus, the control mode switching and the control mode switching Wherein the error is prevented.

(3) 접촉형 입력 장치를 통해 선택된 제어모드에서, 비접촉 손동작의 유무로 영상의 변형 여부를 결정함으로써, 선택된 제어모드에서 손동작으로 다른 제어모드로 전환할 때 의도하지 않은 영상의 시점의 이동을 방지한 것을 특징으로 하는 의료영상의 제공방법.(3) In the control mode selected through the contact type input device, it is determined whether or not the image is deformed by the presence of the non-contact hand gesture, thereby preventing the unintentional movement of the viewpoint of the image when switching from the selected control mode to the other control mode Wherein the medical image is provided to a user.

(4) 비접촉 동작감지 장치는 사용자의 손동작을 감지하는 립모션(leap motion) 장치인 것을 특징으로 하는 의료영상의 제공방법.(4) The non-contact motion sensing device is a leap motion device for sensing the user's hand motion.

(5) 제어모드는: 손동작에 따라 영상이 회전되는 회전(rotation)모드; 손동작에 따라 영상 처리하는 이미지 처리모드; 그리고 손동작에 따라 영상을 확대 또는 축소하는 줌(Zoom)모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.(5) The control mode includes: a rotation mode in which the image is rotated according to a hand motion; An image processing mode for performing image processing in accordance with a hand motion; A zoom mode for enlarging or reducing an image according to a hand motion; The method comprising the steps of:

(6) 접촉형 입력 장치, 비접촉 동작감지 장치 및 디스플레이는 제어부에 의해 서로 연동되어 있으며, 접촉형 입력 장치는 사용자가 밟을 수 있는 페달로서, 제1, 제2 및 제3 페달부를 구비하며, 제1 페달부가 밟혀 영상이 활성화되며, 활성화된 상태에서만 비접촉 동작감지 장치로 입력된 손동작에 따라 제어부가 선택된 제어모드에서 영상을 변형하여 디스플레이에 표시하는 것을 특징으로 하는 의료영상의 제공방법.(6) The contact type input device, the contactless motion detection device, and the display are interlocked with each other by the control unit, and the contact type input device is a pedal that can be stepped by the user and includes first, second and third pedal portions, Wherein the first pedal step is activated so that the image is activated and the control unit modifies the image in the selected control mode according to the hand operation inputted to the non-contact motion detection device only in the activated state, and displays the deformed image on the display.

(7) 제2 페달부가 밟힐 때마다 제어부가 다른 제어모드로 전환하는 것을 특징으로 하는 의료영상의 제공방법.(7) The method of providing a medical image according to any one of claims 1 to 5, wherein the control unit switches to another control mode every time the second pedal is depressed.

(8) 제3 페달부가 밟힐 때마다 제어부가 다른 영상이 표시되도록 창(window)을 전환하는 것을 특징으로 하는 의료영상의 제공방법.(8) The method of providing a medical image according to any one of claims 1 to 7, wherein the controller switches the window so that another image is displayed every time the third pedal is depressed.

(9) 제어모드를 선택하는 단계는: 제3 페달부가 밟히면 제어부가 다른 영상이 표시되도록 창(window)을 전환하는 과정; 전환된 창에서, 제2 페달부가 밟히면 제어부가 제어모드를 전환하는 과정; 그리고 전환된 제어모드에서, 제1 페달부가 밟히면 영상을 활성화하는 과정;을 포함하는 것을 특징으로 하는 의료영상의 제공방법.(9) The step of selecting the control mode includes: a step of switching the window so that the control unit displays another image when the third pedal is depressed; Switching the control mode of the control unit when the second pedal unit is depressed in the switched window; And activating an image when the first pedal is depressed in the switched control mode.

(10) 이미지 처리모드는: WWL(Window width leveling)모드; 명암비를 변경하는 명암비(brightness)모드; image rendering모드; 그리고 OTF(Opacity Transfer function change)모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.(10) Image processing modes include: WWL (window width leveling) mode; A brightness mode for changing the contrast ratio; image rendering mode; And an Opacity Transfer function change (OTF) mode; The method comprising the steps of:

(11) 제어모드는: 손동작에 따라 영상의 회전 및 줌이 동시에 실행되는 줌 및 회전모드; 그리고 View point을 고정한 채로 시계 방향 및/또는 반시계 방향의 영상 회전 운동을 하는 자유회전모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.(11) The control mode includes: a zooming and rotating mode in which rotation and zooming of an image are simultaneously performed according to a hand movement; And a free rotation mode in which the image is rotated clockwise and / or counterclockwise while the view point is fixed; The method comprising the steps of:

(12) 디스플레이에 2차원 영상이 표시된 때는, 제어부는 제2 페달이 밟힐 때마다 Slab모드, 이미지 처리모드, Zoom모드 순서로 제어모드를 전환하고, 디스플레이에 3차원 영상이 표시된 때는, 제어부는 제2 페달이 밟힐 때마다 회전모드, 이미지 처리모드, Zoom모드 순서로 제어모드를 전환하는 것을 특징으로 하는 의료영상의 제공방법.(12) When a two-dimensional image is displayed on the display, the control unit switches the control mode in the order of the slab mode, the image processing mode, and the zoom mode each time the second pedal is depressed. When the three- And the control mode is switched in the order of the rotation mode, the image processing mode, and the zoom mode every time the second pedal is depressed.

(13) 제어모드는: 디스플레이와의 거리와 무관하게 손동작의 크기에 따라 영상의 회전량이 정해지는 기본 회전모드; 디스플레이로부터 거리에 따라 손동작에 대한 회전량이 달라지는 스케일 회전모드; 디스플레이와의 거리와 무관하게 손동작의 크기에 따라 영상의 줌량이 정해지는 기본 줌모드; 디스플레이로부터 거리에 따라 손동작에 대한 줌량이 달라지는 스케일 줌모드; WWL(Window width leveling)모드, 명암비를 변경하는 명암비(brightness)모드, image rendering모드, 및 OTF(Opacity Transfer function change)모드 중 적어도 하나를 포함하는 이미지 처리모드; 그리고 손동작에 따라 회전 및 줌이 동시에 실행되는 줌 및 회전모드;를 포함하는 것을 특징으로 하는 의료영상의 제공방법.(13) The control mode includes: a basic rotation mode in which the rotation amount of the image is determined according to the size of the hand movement regardless of the distance from the display; A scale rotation mode in which the amount of rotation with respect to the hand movement is changed according to the distance from the display; A basic zoom mode in which the zoom amount of the image is determined according to the size of the hand movement regardless of the distance from the display; A scale zooming mode in which the zoom amount for the hand movement is changed according to the distance from the display; An image processing mode including at least one of a window width leveling (WWL) mode, a brightness mode for changing a contrast ratio, an image rendering mode, and an opacity transfer function change (OTF) mode; And a zoom and rotation mode in which rotation and zoom are performed simultaneously according to a hand movement.

본 개시에 따른 하나의 영상의 제공방법에 의하면, 영상제어의 안정성이 향상되고 3차원 영상제어에 적합한 영상 제공방법이 제공된다.According to the method of providing one image according to the present disclosure, stability of image control is improved and an image providing method suitable for three-dimensional image control is provided.

본 개시에 따른 다른 하나의 의료영상의 제공방법에 의하면, 의료영상제어의 안정성이 향상되고, 직관적이고 직접적인 의료영상제어 방법이 제공된다.According to another medical image providing method according to the present disclosure, the stability of medical image control is improved, and an intuitive and direct medical image control method is provided.

본 개시에 따른 다른 하나의 의료영상의 제공방법에 의하면, 비접촉 제어에 의한 안전성과 편리성을 갖는 의료영상 제공방법이 제공된다.According to another medical image providing method according to the present disclosure, a medical image providing method having safety and convenience by noncontact control is provided.

110: 비접촉 동작감지 장치 130: 접촉형 입력 장치
150: 제어부 170: 디스플레이
110: Non-contact motion sensing device 130: Contact input device
150: control unit 170: display

Claims (13)

의료영상의 제공방법에 있어서,
접촉형 입력 장치를 통해 입력된 신호에 따라 디스플레이 상에서 영상의 제어모드를 선택하는 단계; 그리고
비접촉 동작감지 장치를 통해 입력된 동작을 신호로 하여, 선택된 제어모드에 따라 영상을 변형하여 디스플레이에 표시하는 단계;를 포함하는 것을 특징으로 하는 의료영상의 제공방법.
A method for providing a medical image,
Selecting a control mode of an image on a display according to a signal input through a contact input device; And
And modifying the image according to the selected control mode and displaying the deformed image on the display by using the operation input through the non-contact motion detection device as a signal.
청구항 1에 있어서,
접촉형 입력 장치를 통해 선택된 제어모드에서, 비접촉 손동작의 유무로 영상의 변형 여부를 결정함으로써, 손동작만으로 제어모드 전환과 제어모드 실행을 수행할 때의 제어모드 실행과 제어모드 전환의 구분 오류를 방지한 것을 특징으로 하는 의료 의료영상의 제공방법.
The method according to claim 1,
In the control mode selected through the contact type input device, whether or not the image is deformed is determined by the presence of non-contact hand movements, thereby preventing discrimination errors between control mode execution and control mode switching when performing control mode switching and control mode execution only by manual operation Wherein the medical image includes a plurality of images.
청구항 2에 있어서,
접촉형 입력 장치를 통해 선택된 제어모드에서, 비접촉 손동작의 유무로 영상의 변형여부를 결정함으로써, 선택된 제어모드에서 손동작으로 다른 제어모드로 전환할 때 의도하지 않은 영상의 시점의 이동을 방지한 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 2,
It is possible to prevent the unintentional movement of the viewpoint of the image when switching from the selected control mode to the other control mode by determining whether or not the image is deformed in the control mode selected through the contact type input device, The method comprising the steps of:
청구항 2에 있어서,
비접촉 동작감지 장치는 사용자의 손동작을 감지하는 립모션(leap motion) 장치인 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 2,
Wherein the non-contact motion sensing device is a leap motion device for sensing a user's hand motion.
청구항 4에 있어서,
제어모드는:
손동작에 따라 영상이 회전되는 회전(rotation)모드;
손동작에 따라 영상 처리하는 이미지 처리모드; 그리고
손동작에 따라 영상을 확대 또는 축소하는 줌(Zoom)모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 4,
The control mode is:
A rotation mode in which an image is rotated according to a hand motion;
An image processing mode for performing image processing in accordance with a hand motion; And
A zoom mode for enlarging or reducing an image according to a hand operation; The method comprising the steps of:
청구항 2에 있어서,
접촉형 입력 장치, 비접촉 동작감지 장치 및 디스플레이는 제어부에 의해 서로 연동되어 있으며,
접촉형 입력 장치는 사용자가 밟을 수 있는 페달로서, 제1, 제2 및 제3 페달부를 구비하며,
제1 페달부가 밟혀 영상이 활성화되며,
활성화된 상태에서만 비접촉 동작감지 장치로 입력된 손동작에 따라 제어부가 선택된 제어모드에서 영상을 변형하여 디스플레이에 표시하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 2,
The contact type input device, the noncontact motion sensing device, and the display are interlocked with each other by the control unit,
The contact input device is a user-depressible pedal having first, second and third pedal portions,
The first pedal section is stepped on to activate the image,
Wherein the control unit modifies the image in the selected control mode according to the hand operation input to the non-contact motion detection device only in the activated state, and displays the modified image on the display.
청구항 6에 있어서,
제2 페달부가 밟힐 때마다 제어부가 다른 제어모드로 전환하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 6,
And the control unit switches to another control mode every time the second pedal is depressed.
청구항 6에 있어서,
제3 페달부가 밟힐 때마다 제어부가 다른 영상이 표시되도록 창(window)을 전환하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 6,
And the control unit switches the window so that another image is displayed every time the third pedal is depressed.
청구항 6에 있어서,
제어모드를 선택하는 단계는:
제3 페달부가 밟히면 제어부가 다른 영상이 표시되도록 창(window)을 전환하는 과정;
전환된 창에서, 제2 페달부가 밟히면 제어부가 제어모드를 전환하는 과정; 그리고
전환된 제어모드에서, 제1 페달부가 밟히면 영상을 활성화하는 과정;을 포함하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 6,
The step of selecting a control mode comprises:
Switching the window so that the control unit displays another image when the third pedal is depressed;
Switching the control mode of the control unit when the second pedal unit is depressed in the switched window; And
And activating an image when the first pedal is depressed in the switched control mode.
청구항 5에 있어서,
이미지 처리모드는:
WWL(Window width leveling)모드;
명암비를 변경하는 명암비(brightness)모드;
image rendering모드; 그리고
OTF(Opacity Transfer function change)모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 5,
Image processing modes are:
WWL (window width leveling) mode;
A brightness mode for changing the contrast ratio;
image rendering mode; And
Opacity Transfer function change (OTF) mode; The method comprising the steps of:
청구항 5에 있어서,
제어모드는:
손동작에 따라 영상의 회전 및 줌이 동시에 실행되는 줌 및 회전모드; 그리고
View point을 고정한 채로 시계 방향 및/또는 반시계 방향의 영상 회전 운동을 하는 자유회전모드; 중 적어도 하나를 포함하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 5,
The control mode is:
A zooming and rotating mode in which rotation and zooming of an image are performed simultaneously according to a hand movement; And
A free rotation mode in which the image rotation motion in the clockwise direction and / or the counterclockwise direction is performed while the view point is fixed; The method comprising the steps of:
청구항 6에 있어서,
디스플레이에 2차원 영상이 표시된 때는, 제어부는 제2 페달이 밟힐 때마다 Slab모드, 이미지 처리모드, Zoom모드 순서로 제어모드를 전환하고,
디스플레이에 3차원 영상이 표시된 때는, 제어부는 제2 페달이 밟힐 때마다 회전모드, 이미지 처리모드, Zoom모드 순서로 제어모드를 전환하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 6,
When the two-dimensional image is displayed on the display, the control unit switches the control mode in the order of the slab mode, the image processing mode, and the zoom mode each time the second pedal is depressed,
Wherein when the three-dimensional image is displayed on the display, the control unit switches the control mode in the order of the rotation mode, the image processing mode, and the zoom mode each time the second pedal is depressed.
청구항 9에 있어서,
제어모드는:
디스플레이와의 거리와 무관하게 손동작의 크기에 따라 영상의 회전량이 정해지는 기본 회전모드;
디스플레이로부터 거리에 따라 손동작에 대한 회전량이 달라지는 스케일 회전모드;
디스플레이와의 거리와 무관하게 손동작의 크기에 따라 영상의 줌량이 정해지는 기본 줌모드;
디스플레이로부터 거리에 따라 손동작에 대한 줌량이 달라지는 스케일 줌모드;
WWL(Window width leveling)모드, 명암비를 변경하는 명암비(brightness)모드, image rendering모드, 및 OTF(Opacity Transfer function change)모드 중 적어도 하나를 포함하는 이미지 처리모드; 그리고
손동작에 따라 회전 및 줌이 동시에 실행되는 줌 및 회전모드;를 포함하는 것을 특징으로 하는 의료영상의 제공방법.
The method of claim 9,
The control mode is:
A basic rotation mode in which the rotation amount of the image is determined according to the size of the hand movement regardless of the distance from the display;
A scale rotation mode in which the amount of rotation with respect to the hand movement is changed according to the distance from the display;
A basic zoom mode in which the zoom amount of the image is determined according to the size of the hand movement regardless of the distance from the display;
A scale zooming mode in which the zoom amount for the hand movement is changed according to the distance from the display;
An image processing mode including at least one of a window width leveling (WWL) mode, a brightness mode for changing a contrast ratio, an image rendering mode, and an opacity transfer function change (OTF) mode; And
And a zoom and rotation mode in which rotation and zoom are simultaneously performed according to a hand movement.
KR1020140108490A 2014-08-20 2014-08-20 Method of providing medical image KR101611484B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140108490A KR101611484B1 (en) 2014-08-20 2014-08-20 Method of providing medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140108490A KR101611484B1 (en) 2014-08-20 2014-08-20 Method of providing medical image

Publications (2)

Publication Number Publication Date
KR20160023015A true KR20160023015A (en) 2016-03-03
KR101611484B1 KR101611484B1 (en) 2016-04-12

Family

ID=55535098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140108490A KR101611484B1 (en) 2014-08-20 2014-08-20 Method of providing medical image

Country Status (1)

Country Link
KR (1) KR101611484B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210102658A (en) * 2020-02-12 2021-08-20 중앙대학교 산학협력단 Asceptic operating system using gaze-tracking, gesture, or voice
US11415938B2 (en) * 2018-01-23 2022-08-16 Fujifilm Business Innovation Corp. Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
WO2024019374A1 (en) * 2022-07-19 2024-01-25 재단법인 아산사회복지재단 Method and device for providing cross-sectional medical image

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10334073A1 (en) 2003-07-25 2005-02-10 Siemens Ag Medical technical control system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11415938B2 (en) * 2018-01-23 2022-08-16 Fujifilm Business Innovation Corp. Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
KR20210102658A (en) * 2020-02-12 2021-08-20 중앙대학교 산학협력단 Asceptic operating system using gaze-tracking, gesture, or voice
WO2024019374A1 (en) * 2022-07-19 2024-01-25 재단법인 아산사회복지재단 Method and device for providing cross-sectional medical image

Also Published As

Publication number Publication date
KR101611484B1 (en) 2016-04-12

Similar Documents

Publication Publication Date Title
US10229753B2 (en) Systems and user interfaces for dynamic interaction with two-and three-dimensional medical image data using hand gestures
US11662830B2 (en) Method and system for interacting with medical information
CN106572827B (en) Intelligent display
CN110515513B (en) Display apparatus and image display method using the same
US11678860B2 (en) System for visualization and control of surgical devices utilizing a graphical user interface
US20140055448A1 (en) 3D Image Navigation Method
US20230031641A1 (en) Touchscreen user interface for interacting with a virtual model
KR101611484B1 (en) Method of providing medical image
US20220117662A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
EP3803540A1 (en) Gesture control of medical displays
JP6112689B1 (en) Superimposed image display system
CN108778135B (en) Optical camera selection in multi-modal X-ray imaging
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
EP2662025A1 (en) Ultrasonic diagnostic apparatus and control method thereof
US20210378748A1 (en) Anatomical structure visualization systems and methods
JP6142462B1 (en) Superimposed image display system
De Paolis Augmented visualization and touchless interaction with virtual organs
De Paolis Advanced navigation and augmented visualization in minimally invasive surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190717

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200211

Year of fee payment: 5