KR20130137435A - Method, system and apparatus for compensating medical image - Google Patents
Method, system and apparatus for compensating medical image Download PDFInfo
- Publication number
- KR20130137435A KR20130137435A KR1020120061050A KR20120061050A KR20130137435A KR 20130137435 A KR20130137435 A KR 20130137435A KR 1020120061050 A KR1020120061050 A KR 1020120061050A KR 20120061050 A KR20120061050 A KR 20120061050A KR 20130137435 A KR20130137435 A KR 20130137435A
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- medical
- image
- compensation
- communication unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 78
- 230000033001 locomotion Effects 0.000 claims abstract description 46
- 230000001133 acceleration Effects 0.000 claims abstract description 29
- 230000005484 gravity Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000002059 diagnostic imaging Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 12
- 206010044565 Tremor Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000001015 abdomen Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 210000005075 mammary gland Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000001685 thyroid gland Anatomy 0.000 description 4
- 238000002583 angiography Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000003902 lesion Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000012879 PET imaging Methods 0.000 description 1
- 229910052788 barium Inorganic materials 0.000 description 1
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007459 endoscopic retrograde cholangiopancreatography Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012636 positron electron tomography Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4494—Means for identifying the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/56—Details of data transmission or power supply, e.g. use of slip rings
- A61B6/563—Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Networks & Wireless Communication (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
본 실시예는 의료 영상 보상 방법, 시스템 및 장치에 관한 것이다. 더욱 상세하게는, 일반적인 의료용 장비에서 치료를 위해 인체의 특정 부분(두부, 흉부, 복부, 뼈, 유선, 갑상샘 등 연부조직 등)을 촬영할 때 환자가 호흡 등으로 움직이게 되는 경우 인체에 떨림이 발생하여 정확한 영상을 촬영하기 어렵다. 이에 따라, 환자들의 떨림 존재 시에 떨림에 해당하는 오차만큼을 제거하도록 하여 정확한 의료용 영상을 제공할 수 있도록 하는 의료 영상 보상 방법, 시스템 및 장치에 관한 것이다.This embodiment relates to a medical image compensation method, system and apparatus. More specifically, tremors occur when a patient moves by breathing when photographing certain parts of the human body (such as head, chest, abdomen, bone, mammary gland, or thyroid gland) for treatment in general medical equipment. It is difficult to take accurate images. Accordingly, the present invention relates to a medical image compensation method, system, and apparatus for providing an accurate medical image by removing an error corresponding to tremor in the presence of tremors of patients.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.
근래 의료분야에서는 각종 질병의 조기 진단 또는 수술을 목적으로 인체의 생체 조직에 대한 정보를 영상화하여 획득하기 위한 각종 영상 장치가 널리 이용되고 있다. 이러한 의료 영상 장치의 대표적인 예로는 자기공명 촬영장치(Magnetic Resonance Imaging), 양전자 방출 단층촬영장치(Positron Emission Tomography), X선 단층촬영장치(X-ray Computer Tomography) 등을 들 수 있다. 이들 장치는 각기 고유한 장점과 단점을 갖기 때문에 최근에 와서는 이러한 각각의 영상 장치를 통합한 PET-MRI, PET-CT와 같은 통합형 영상장치에 관한 연구개발도 많이 진행되고 있다.Recently, in the medical field, various imaging apparatuses for imaging and obtaining information about biological tissues of the human body have been widely used for the purpose of early diagnosis or surgery of various diseases. Representative examples of such medical imaging apparatuses include magnetic resonance imaging, positron emission tomography, and X-ray tomography. Since these devices have their own advantages and disadvantages, research and development on integrated imaging devices such as PET-MRI and PET-CT incorporating each of these imaging devices has been progressing in recent years.
한편, 이러한 의료영상장치는 기본적으로 촬영대상이 고정된 상태라는 가정하에 인체의 생체조직 정보를 전기신호로 획득한 후 이를 다시 영상으로 재구성하는 장치라는 점에서 공통된다. 따라서, 영상장치가 인체를 스캔(Scan)하면서 신호를 획득하는 동안 인체의 움직임이 있으면 영상은 전체적 또는 부분적으로 영향을 받아 영상의 왜곡과 같은 오류를 일으키게 된다.On the other hand, such a medical imaging apparatus is common in that it is basically a device that acquires biological tissue information of a human body as an electric signal and reconstructs it into an image under the assumption that the photographing target is fixed. Therefore, if the human body moves while acquiring a signal while the imaging apparatus scans the human body, the image may be affected in whole or in part to cause an error such as distortion of the image.
특히, 주파수 성분으로 신호를 획득하는 MRI의 경우에는 이러한 움직임이 영상 전체에 영향을 주게 되고, 하나의 영상을 얻는데 많은 시간이 소요되는 PET의 경우에도 이러한 움직임은 심각한 문제를 유발한다. 예컨대, PET 영상 획득 시 움직임에 의한 병변의 번짐은 병변의 부피를 과대하게 평가하거나 병변의 정도를 과소 평가하도록 하여 진단 결과를 바꾼다거나 수술 시 종양조직을 과대 혹은 과소평가한 나머지 정상 조직에 불필요한 피해를 끼칠 수 있다. 특히, 뇌수술의 전 단계로서 진행된 촬영에 있어서 나타날 수 있는 이러한 영상의 오류는 인체에 회복 불능의 피해를 가져올 수 있다는 점에서 더욱 심각한 문제가 된다. In particular, in the case of MRI that acquires a signal with frequency components, such movement affects the entire image, and even in the case of PET, which takes a long time to acquire one image, such movement causes serious problems. For example, bleeding caused by movement during PET imaging can result in an overestimation of the volume of the lesion or an underestimation of the extent of the lesion, altering the results of the diagnosis, or over- or underestimating the tumor tissue during surgery. Can cause. In particular, the error of the image that may appear in the imaging proceeded as a pre-stage of brain surgery is a more serious problem in that it can cause irreparable damage to the human body.
본 실시예는, 일반적인 의료용 장비에서 치료를 위해 인체의 특정 부분(두부, 흉부, 복부, 뼈, 유선, 갑상샘 등 연부조직 등)을 촬영할 때 환자가 호흡 등으로 움직이게 되는 경우 인체에 떨림이 발생하여 정확한 영상을 촬영하기 어렵다. 이에 따라, 환자들의 떨림 존재 시에 떨림에 해당하는 오차만큼을 제거하도록 하여 정확한 의료용 영상을 제공할 수 있도록 하는 의료 영상 보상 방법, 시스템 및 장치를 제공하는 데 주된 목적이 있다.This embodiment, when taking a specific part of the human body (head, chest, abdomen, bone, mammary gland, soft tissues such as thyroid gland, etc.) for treatment in general medical equipment, when the patient moves by breathing, etc. It is difficult to take accurate images. Accordingly, a main object of the present invention is to provide a medical image compensation method, a system, and an apparatus for providing an accurate medical image by removing an error corresponding to tremor in the presence of tremors of patients.
본 실시예의 일 측면에 의하면, 의료 장치 및 카메라 모듈과 연동하며, 상기 의료 장치에 체결된 의료 장치 통신부로부터 상기 대상체에 대한 의료용 영상을 수신하며, 상기 카메라 모듈에 구비된 카메라 통신부로부터 상기 대상체에 대해 획득된 이미지를 수신하는 통신부; 상기 대상체의 움직임을 센싱한 센싱 정보를 생성하는 센서부; 및 상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하여 상기 의료 장치로 전송하도록 제어하는 보상부를 포함하는 것을 특징으로 하는 의료 영상 보상 장치를 제공한다.According to an aspect of the present embodiment, interlocked with the medical device and the camera module, and receives a medical image of the object from the medical device communication unit coupled to the medical device, and for the object from the camera communication unit provided in the camera module A communication unit for receiving the acquired image; A sensor unit generating sensing information sensing the movement of the object; And if it is determined that the object is moved based on the sensing information or the acquired image, generating a compensation medical image in which the error due to the movement of the object is removed from the medical image and transmitting the generated compensation medical image to the medical device. It provides a medical image compensation device comprising a unit.
또한, 본 실시에의 다른 측면에 의하면, 통신부에서 의료 장치에 체결된 의료 장치 통신부로부터 대상체에 대한 의료용 영상을 수신하는 과정; 상기 통신부에서 카메라 모듈에 구비된 카메라 통신부로부터 상기 대상체에 대해 획득된 이미지를 수신하는 과정; 센서부에서 상기 대상체의 움직임을 센싱한 센싱 정보를 생성하는 과정; 보상부에서 상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하는 과정; 및 상기 통신부에서 상기 보상 의료용 영상을 상기 의료 장치에 체결된 상기 의료 장치 통신부로 전송하는 과정을 제공한다.In addition, according to another aspect of the present invention, the communication unit for receiving a medical image of the object from the medical device communication unit coupled to the medical device; Receiving an image acquired with respect to the object from a camera communication unit provided in the camera module in the communication unit; Generating sensing information by sensing a movement of the object in a sensor unit; Generating, by the compensation unit, a compensation medical image from which an error due to the movement of the object is removed from the medical image when the object is determined to be moved based on the sensing information or the acquired image; And transmitting, by the communication unit, the compensating medical image to the medical device communication unit coupled to the medical device.
또한, 본 실시에의 다른 측면에 의하면, X-선을 이용해서 대상체를 촬영한 의료용 영상을 생성하며, 체결된 의료 장치 통신부를 이용하여 상기 의료용 영상을 전송하는 의료 장치; 상기 대상체를 촬영한 이미지를 획득하고, 구비된 카메라 통신부를 이용하여 획득된 상기 이미지를 전송하는 카메라 모듈; 및 상기 의료 장치로부터 상기 의료용 영상을 수신하고, 상기 카메라 모듈로부터 획득된 상기 이미지를 수신하며, 상기 대상체의 움직임을 센싱한 센싱 정보를 생성한 후 상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하여 상기 의료 장치로 전송하는 의료 영상 보정 장치를 포함하는 것을 특징으로 하는 의료 영상 보상 시스템을 제공한다.In addition, according to another aspect of the present invention, a medical device for generating a medical image of the object taken by using the X-ray, and transmits the medical image using the fastened medical device communication unit; A camera module for acquiring an image of the object and transmitting the acquired image using a provided camera communication unit; And receiving the medical image from the medical device, receiving the image acquired from the camera module, generating sensing information sensing the movement of the object, and then based on the sensing information or the acquired image. When it is confirmed that the movement, the medical image compensation system comprising a medical image correction device for generating a compensation medical image to remove the error due to the movement of the object to the medical image to the medical device; do.
이상에서 설명한 바와 같이 본 실시예에 의하면, 일반적인 의료용 장비에서 치료를 위해 인체의 특정 부분(두부, 흉부, 복부, 뼈, 유선, 갑상샘 등 연부조직 등)을 촬영할 때 환자가 호흡 등으로 움직이게 되는 경우 인체에 떨림이 발생하여 정확한 영상을 촬영하기 어렵다. 이에 따라, 환자들의 떨림 존재 시에 떨림에 해당하는 오차만큼을 제거하도록 하여 정확한 의료용 영상을 제공할 수 있는 효과가 있다.As described above, according to the present embodiment, when a patient moves by breathing when photographing a specific part of the human body (head, chest, abdomen, bone, mammary gland, thyroid gland, soft tissue, etc.) for treatment in general medical equipment. It is difficult to capture accurate images due to tremors in the human body. Accordingly, there is an effect of providing an accurate medical image by removing as much as the error corresponding to the shaking in the presence of the shaking of the patients.
도 1은 본 실시예에 따른 의료 영상 보상 시스템을 개략적으로 나타낸 블럭 구성도,
도 2는 본 실시예에 따른 의료 영상 보상 장치를 개략적으로 나타낸 블럭 구성도,
도 3은 본 실시예에 따른 의료 영상 보상 방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 의료 영상 보상 장치를 인체에 부착하는 방식을 설명하기 위한 예시도,
도 5는 본 실시예에 따른 의료 영상 보상 장치의 영상 처리를 설명하기 위한 예시도이다.1 is a block diagram schematically showing a medical image compensation system according to the present embodiment;
2 is a block diagram schematically illustrating a medical image compensating apparatus according to an exemplary embodiment;
3 is a flowchart illustrating a medical image compensation method according to the present embodiment;
4 is an exemplary view for explaining a method of attaching a medical image compensating apparatus according to the present embodiment to a human body;
5 is an exemplary diagram for describing image processing of the medical image compensating apparatus according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.
도 1은 본 실시예에 따른 의료 영상 보상 시스템을 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically illustrating a medical image compensation system according to an exemplary embodiment.
본 실시예에 따른 의료 영상 보상 시스템은 의료 장치(110), 카메라 모듈(130) 및 의료 영상 보상 장치(120)를 포함한다. 본 실시예에서는 의료 영상 보상 시스템이 의료 장치(110), 카메라 모듈(130) 및 의료 영상 보상 장치(120)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 의료 영상 보상 시스템에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.The medical image compensation system according to the present embodiment includes a
의료 장치(110)는 X-선을 이용해서 대상체(환자)를 촬영한 의료용 영상을 생성하는 장치를 말한다. 이러한, 의료 장치(110)는 X-선을 사용해서 행하는 생체의 정태적, 동태적 검사를 총칭하며, 크게 분류하면 단순촬영(두부, 흉부, 복부, 뼈, 기타), 연선촬영(유선, 갑상샘 등 연부조직), 단층촬영 등 조영제를 사용하지 않는 촬영법과 혈관조영, 바륨검사(통상 Upper Gl과 Baenema), IVP(또는 IP), DIC, 기타 ERCP, HSG, 림프관조영, PTC 등 각부에 조영제를 주입해서 행하는 조영검사, 그리고 X-선 CT를 사용하는 CT 검사 등을 수행할 수 있는 장치를 총칭한다. 한편, 의료 장치(110)에서 이용하는 엑스선 또는 엑스레이(X-ray)는 파장이 10 ~ 0.01 나노미터이며, 주파수는 30 페타헤르츠 ~ 120 엑사헤르츠(30 × 1015 Hz ~ 30 × 1018 Hz) 전자기파의 형태를 말한다. 이는 자외선보다 짧은 파장의 영역이다. 이러한, 엑스레이는 투과력에 따라 분류되며, 약 0.12 ~ 12 keV는 연엑스선, 약 12 ~ 120 keV는 경엑스선으로 분류된다.The
한편, 본 실시예에 따른 의료 장치(110)는 동글(Dongle) 형태로 구현된 의료 장치 통신부(112)를 체결한 상태에서, 의료 영상 보상 장치(120)와 통신할 수 있는 장치를 말한다. 즉, 의료 장치(110)는 체결된 의료 장치 통신부(112)를 이용하여 생성된 의료용 영상을 의료 영상 보상 장치(120)로 전송하고, 의료 영상 보상 장치(120)로부터 의료용 영상에 대응하는 보상 의료용 영상을 수신하여 디스플레이한다.On the other hand, the
여기서, 의료 장치 통신부(112)는 의료 장치(110)와 통신하기 위한 기본 소프트웨어, 즉, 무선통신을 수행하기 위해 송수신하는 메시지를 처리하는 프로토콜 소프트웨어 등을 저장한다. 이러한, 의료 장치 통신부(112)는 USB(Universal Serial Bus)를 지원하여 스틱(Stick) 형태로 구현되어 의료 장치(110)에 체결되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.Here, the medical
이때, 의료 장치(110)에 체결된 의료 장치 통신부(112)는 근거리 통신을 이용하여 의료 영상 보상 장치(120)와 통신을 수행할 수 있다. 여기서, 근거리 통신이란 전파를 이용하여 근거리의 기기들 간에 데이터를 무선으로 교환하게 하는 통신을 말한다. 즉, 근거리에 위치한 장치 간에 상호 무선 네트워크로 연결되어 전선(유선) 없이도 양방향 통신이 가능한 무선 통신 규격을 의미한다. 이러한, 근거리 통신으로는, RFID, 와이파이(Wi-Fi), 무선랜(WLAN), 블루투스(Bluetooth), 적외선 통신(IrDA), 지그비(ZigBee), UWB(Ultra Wide Band), NFC(Near Field Communication), RFID(Radio Frequency Identification), 와이맥스(WiMAX) 및 와이브로(WiBro) 중 적어도 하나 이상의 통신 방식이 이용될 수 있다.In this case, the medical
이러한, 의료 장치(110)는 대상체(환자)를 촬영한 의료용 영상을 생성하기 위해 사용자 입력부, 영상 처리부, 디스플레이, 제어부 및 저장부를 포함할 수 있다. 즉, 사용자 입력부는 사용자의 조작 또는 입력에 의한 명령(Instruction)을 입력받는다. 여기서, 사용자 명령은 의료 장치(110)를 제어하기 위한 설정 명령 등이 될 수 있다. 또한, 영상 처리부는 X 선을 이용하여 대상체에 대한 이미지이 형성되도록 하며, 구비된 디스플레이부를 통해 이를 출력하도록 동작한다. 저장부는 의료 장치(110)를 구동하기 위한 기본 소프트웨어를 저장하며, 의료 장치(110)에서 발생하는 데이터를 저장하는 기능을 수행한다. 제어부는 의료 장치(110)의 전반적인 동작을 제어하는 제어 수단을 말한다. The
카메라 모듈(130)은 대상체를 촬영하기 위한 렌즈, 이미지 처리 모듈 및 메모리를 포함한다. 카메라 모듈(130)은 의료 영상 보상 장치(120)와 별도로 구현되어, 대상체를 촬영할 수 있는 위치에 설치될 수 있다. 즉, 카메라 모듈(130)은 대상체의 정면에 위치하여 대상체를 촬영하는 것이 바람직하나 대상체와 직교하는 형태로 설치되어, 대상체를 촬영할 수도 있다. 카메라 모듈(130)은 대상체의 정면에 설치되거나 대상체와 직교하는 형태로 설치되어, 대상체의 이미지를 획득하며, 획득한 이미지를 근거리 통신을 이용하여 의료 영상 보상 장치(120)로 전송할 수 있는데, 이러한 카메라 모듈(130)은 의료 장치(110) 내에 포함될 수 있다. 또한, 카메라 모듈(130)은 카메라 통신부(132)를 포함하며, 카메라 통신부(132)를 이용하여 의료 영상 보상 장치(120)와 통신을 수행한다. 여기서, 카메라 통신부(132)는 근거리 통신을 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 또한, 도 1에서는 카메라 모듈(130)과 의료 장치(110)는 별개의 장치로 개시하고 있으나, 이러한 카메라 모듈(130)이 의료 장치(110) 내에 포함되는 자립형(Stand Alone) 장치로 구현될 수 있을 것이다.The
의료 영상 보상 장치(120)는 의료 장치(110) 및 카메라 모듈(130)과 연동하며, 의료 장치(110)에 체결된 의료 장치 통신부(112)로부터 대상체에 대한 의료용 영상을 수신하며, 카메라 모듈(130)에 구비된 카메라 통신부(132)로부터 대상체에 대해 획득된 이미지를 수신한다. 또한, 의료 영상 보상 장치(120)는 대상체의 움직임을 센싱한 센싱 정보를 생성하며, 센싱 정보 또는 획득된 이미지에 근거하여 대상체가 움직인 것으로 확인되는 경우, 의료 장치(110)로부터 수신된 의료용 영상에 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성한 후 의료 장치(110)로 전송한다. 이때, 의료 영상 보상 장치(120)는 RFID, 와이파이, 무선랜, 블루투스, 적외선 통신, 지그비, UWB, NFC, RFID, 와이맥스 및 와이브로 중 적어도 하나 이상의 통신 방식을 이용하여 의료 장치(110)와 통신한다.The medical
이하, 의료 영상 보상 장치(120)가 대상체의 움직임을 센싱하여 대상체의 움직임 여부를 확인하는 동작 과정에 대해 설명하자면 다음과 같다. 의료 영상 보상 장치(120)는 대상체에 대한 각속도(Angular Velocity)를 측정한 센싱 정보를 생성하거나 대상체에 대한 중력 가속도(Gravitational Acceleration)를 측정한 센싱 정보를 생성한다. 이후, 의료 영상 보상 장치(120)는 대상체에 대한 각속도 및 중력 가속도 중 적어도 하나 이상의 정보에 근거하여 대상체의 절대적인 공간인 기준좌표를 산출하고, 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치를 초과하는 경우 대상체가 움직이는 것으로 확인한다. 여기서, 제 1 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 각속도 또는 중력 가속도 값을 말한다. 만약, 의료 영상 보상 장치(120)는 설정된 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 의료 영상 보상 장치(120)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다.Hereinafter, a description will be given of an operation process of the medical
이하, 의료 영상 보상 장치(120)가 대상체를 촬영하여 대상체의 움직임 여부를 확인하는 동작 과정에 대해 설명하자면 다음과 같다. 의료 영상 보상 장치(120)는 카메라 모듈(130)을 통해 획득된 이미지 내의 객체(Object)에 대한 제 1 위치값을 산출하고, 이전 프레임(Previous Frame)내의 객체에 대한 제 2 위치값을 산출한 후 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치를 초과하는 경우, 촬영 시 대상체가 움직이는 것으로 확인한다. 여기서, 제 2 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 위치값을 말한다. 만약, 의료 영상 보상 장치(120)는 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 의료 영상 보상 장치(120)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다.Hereinafter, a description will be given of an operation process of the medical
여기서, 의료 영상 보상 장치(120)가 촬영된 이미지 내의 객체 위치를 인식하는 과정에 대해 설명하자면, 의료 영상 보상 장치(120)는 회절격자(Diffracting Grating)를 기준면(Reference Plane)으로 설정하고 기준면에 주사시킨 프린지(Fringe) 무늬와 대상체의 높이로 인하여 기준면에 위상이 변형되는 경우, 이미지 내의 객체의 위상값을 주기적으로 측정한 후 변형된 위상과 다른 위상의 차이를 객체의 높이로 인식하여 제 1 위치값 또는 제 2 위치값을 산출한다. 이때, 의료 영상 보상 장치(120)는 제 1 위치값 또는 제 2 위치값을 산출하기 위해 [수학식 1]을 이용한다.Here, the process of recognizing the position of the object in the photographed image by the medical
(zm: 객체의 높이, p: 프린지 무늬의 한 주기 길이, N: 이미지 내의 객체의 위치(일반적으로 N = 0), θ1: 카메라 모듈과 좌표계 상의 z축 사이의 각, θp: 광원(Light Source)과 좌표계 상의 z축 사이의 각, φ: 위상)(z m is the height of the object, p is the length of one period of the fringe pattern, N is the position of the object in the image (usually N = 0), θ 1 is the angle between the camera module and the z axis on the coordinate system, θ p is the light source) Angle between (Light Source) and the z-axis in the coordinate system, φ: phase)
이하, 의료 영상 보상 장치(120)가 의료용 영상에서 대상체 움직임에 따라 오차를 제거하는 동작 과정에 대해 설명하도록 한다. 의료 영상 보상 장치(120)는 의료용 영상에서 대상체 움직임에 따라 오차인 DC 오프셋(Offset)을 제거하여 보상 의료용 영상을 생성한다. 이때, 의료 영상 보상 장치(120)는 DC 오프셋을 제거하기 위해 칼만 필터(Kalman Filter) 또는 인공신경망(ANN: Artificial Neural Network) 필터를 이용한다. Hereinafter, the medical
여기서, 칼만 필터는 대상 시스템의 스토캐스틱 모델(Stochastics Model)과 측정값을 이용하여 시스템의 상태변수를 찾아내는 최적 추정기법을 말한다. 이러한, 칼만 필터에 대해 보다 구체적으로 설명하자면, 칼만 필터는 물체의 측정값에 확률적인 오차가 포함되고, 또한 물체의 특정 시점에서의 상태는 이전 시점의 상태와 선형적인 관계를 가지고 있는 경우에 적용이 가능하다. 예컨대, 레이더 추적의 경우 특정 물체의 위치, 속도, 가속도 등을 측정할 수 있지만 이 측정값에 오차가 포함되어 있을 수 있다. 이 경우, 연속적으로 측정하는 값들을 칼만 필터를 이용해서 해당 물체의 위치를 추정할 수 있는 방식을 말한다.Here, the Kalman filter is an optimal estimation method for finding the state variables of the system using the Stochastics Model and the measured values of the target system. To describe the Kalman filter in more detail, the Kalman filter is applied when the measured value of the object includes a probabilistic error, and the state at a specific point in time of the object has a linear relationship with the state of the previous point in time. This is possible. For example, in the case of radar tracking, the position, velocity, acceleration, etc. of a specific object may be measured, but the measurement may include an error. In this case, it means the method of estimating the position of the object by using Kalman filter on the continuously measured values.
한편, 인공신경망 필터는 뇌기능의 특성 몇 가지를 컴퓨터 시뮬레이션으로 표현하는 것을 목표로 하는 일종의 수학 모델(Mathematical Model)을 말한다. 즉, 인공신경망 필터는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스(Synapse)의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 말한다. 좁은 의미에서는 오차역전파법(Backpropagation)을 이용한 다층퍼셉트론(Multilayer Perceptron)을 가리키는 경우도 있지만, 인공신경망은 이에 한정되지 않는다. 또한, 인공신경망에는 교사 신호(정답)의 입력에 의해서 문제에 최적화되어 가는 교사 학습과 교사 신호를 필요로 하지 않는 비교사 학습이 있다. 이러한, 인공신경망은 특수한 컴퓨터를 사용하여 구성될 수도 있으나 대부분 일반 컴퓨터에서 응용소프트웨어에 의해 구현될 수 있다.An artificial neural network filter, on the other hand, is a kind of mathematical model that aims to express some of the characteristics of the brain function by computer simulation. That is, the artificial neural network filter refers to a general model having a problem solving ability by changing the strength of synapses by artificial neurons (nodes) that have formed a network by combining synapses. In a narrow sense, it may refer to a multilayer perceptron using backpropagation, but the artificial neural network is not limited thereto. In addition, artificial neural networks include teacher learning that is optimized for a problem by inputting teacher signals (correct answers) and comparative teacher learning that does not require teacher signals. The neural network may be configured using a special computer, but most of the artificial neural networks may be implemented by application software in a general computer.
한편, 의료 영상 보상 장치(120)는 복수 개의 카메라 모듈(130)로부터 복수 개의 의료용 영상을 수신하거나 복수 개의 광원을 이용할 수 있다. 즉, 의료 영상 보상 장치(120)는 복수 개의 카메라 모듈(130)로부터 복수 개의 의료용 영상을 수신하거나 복수 개의 광원을 이용함으로써 보다 정확하게 대상체의 움직임 여부를 확인할 수 있다.The medical
도 2는 본 실시예에 따른 의료 영상 보상 장치를 개략적으로 나타낸 블럭 구성도이다.2 is a block diagram schematically illustrating a medical image compensating apparatus according to an exemplary embodiment.
본 실시예에 따른 의료 영상 보상 장치(120)는 통신부(210), 센서부(220) 및 보상부(230)를 포함한다. 본 실시예에서는 의료 영상 보상 장치(120)가 통신부(210), 센서부(220) 및 보상부(230)만을 포함하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 의료 영상 보상 장치(120)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.The medical
통신부(210)는 의료 장치(110) 및 카메라 모듈(130)과 연동하며, 의료 장치(110)에 구비된 의료 장치 통신부(112)로부터 대상체에 대한 의료용 영상을 수신하며, 카메라 모듈(130)에 구비된 카메라 통신부(132)로부터 대상체에 대해 획득된 이미지를 수신한다. 즉, 통신부(210)는 RFID, 와이파이, 무선랜, 블루투스, 적외선 통신, 지그비, UWB, NFC, RFID, 와이맥스 및 와이브로 중 적어도 하나 이상의 통신 방식을 이용하여 의료 장치(110)와 통신한다.The
센서부(220)는 대상체의 움직임을 센싱한 센싱 정보를 생성한다. 이러한 센서부(220)는 자이로 센서(Gyro Sensor)(222) 및 가속도 센서(Acceleration Sensor)(224)를 포함한다. 여기서, 자이로 센서(222)는 대상체에 대한 각속도를 측정한 센싱 정보를 생성하며, 가속도 센서(224)는 대상체에 대한 중력 가속도를 측정한 센싱 정보를 생성한다.The
보상부(230)는 센싱 정보 또는 획득된 이미지에 근거하여 대상체가 움직인 것으로 확인되는 경우, 의료용 영상에 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하여 통신부(210)를 통해 의료 장치(110)로 전송하도록 제어한다. 이하, 보상부(230)가 대상체의 움직임을 센싱하여 대상체의 움직임 여부를 확인하는 동작 과정에 대해 설명하자면 다음과 같다. 보상부(230)는 대상체에 대한 각속도를 측정한 센싱 정보를 생성하거나 대상체에 대한 중력 가속도를 측정한 센싱 정보를 생성한다. 이후, 보상부(230)는 대상체에 대한 각속도 및 중력 가속도 중 적어도 하나 이상의 정보에 근거하여 대상체의 절대적인 공간인 기준좌표를 산출하고, 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치를 초과하는 경우 대상체가 움직이는 것으로 확인한다. 여기서, 제 1 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 각속도 또는 중력 가속도 값을 말한다. 만약, 보상부(230)는 설정된 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 보상부(230)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다.When it is determined that the object is moved based on the sensing information or the acquired image, the
이하, 보상부(230)가 대상체를 촬영하여 대상체의 움직임 여부를 확인하는 동작 과정에 대해 설명하자면 다음과 같다. 보상부(230)는 카메라 모듈(130)을 통해 획득된 이미지 내의 객체에 대한 제 1 위치값을 산출하고, 이전 프레임 내의 객체에 대한 제 2 위치값을 산출한 후 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치를 초과하는 경우, 촬영 시 대상체가 움직이는 것으로 확인한다. 여기서, 제 2 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 위치값을 말한다. 만약, 보상부(230)는 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 보상부(230)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다.Hereinafter, an operation process of confirming whether the object is moved by capturing the object by the
여기서, 보상부(230)가 촬영된 이미지 내의 객체 위치를 인식하는 과정에 대해 설명하자면, 보상부(230)는 회절격자를 기준면으로 설정하고 기준면에 주사시킨 프린지 무늬와 대상체의 높이로 인하여 기준면에 위상이 변형되는 경우, 이미지 내의 객체의 위상값을 주기적으로 측정한 후 변형된 위상과 다른 위상의 차이를 객체의 높이로 인식하여 제 1 위치값 또는 제 2 위치값을 산출한다. 이때, 보상부(230)는 제 1 위치값 또는 제 2 위치값을 산출하기 위해 [수학식 1]을 이용한다.Here, the process of recognizing the position of the object in the photographed image by the
이하, 보상부(230)가 의료용 영상에서 대상체 움직임에 따라 오차를 제거하는 동작 과정에 대해 설명하도록 한다. 보상부(230)는 의료용 영상에서 대상체 움직임에 따라 오차인 DC 오프셋을 제거하여 보상 의료용 영상을 생성한다. 이때, 보상부(230)는 DC 오프셋을 제거하기 위해 칼만 필터 또는 인공신경망 필터를 이용한다. Hereinafter, the
한편, 보상부(230)는 복수 개의 카메라 모듈(130)로부터 복수 개의 의료용 영상을 수신하거나 복수 개의 광원을 이용할 수 있다. 즉, 보상부(230)는 복수 개의 카메라 모듈(130)로부터 복수 개의 의료용 영상을 수신하거나 복수 개의 광원을 이용함으로서 보다 정확하게 대상체의 움직임 여부를 확인할 수 있다.The
도 3은 본 실시예에 따른 의료 영상 보상 방법을 설명하기 위한 순서도이다.3 is a flowchart illustrating a medical image compensation method according to the present embodiment.
의료 영상 보상 장치(120)는 의료 장치(110)에 체결된 의료 장치 통신부(112)로부터 대상체에 대한 의료용 영상을 수신한다(S310). 단계 S310에서 의료 영상 보상 장치(120)는 의료 장치(110)에 체결된 의료 장치 통신부(112)와 통신하기 위해 RFID, 와이파이, 무선랜, 블루투스, 적외선 통신, 지그비, UWB, NFC, RFID, 와이맥스 및 와이브로 중 적어도 하나 이상의 통신 방식을 이용한다.The medical
의료 영상 보상 장치(120)는 카메라 모듈(130)에 구비된 카메라 통신부(132)로부터 대상체에 대해 획득된 이미지를 수신한다(S320). 단계 S320에서 의료 영상 보상 장치(120)는 카메라 모듈(130)에 구비된 카메라 통신부(132)와 통신하기 위해 RFID, 와이파이, 무선랜, 블루투스, 적외선 통신, 지그비, UWB, NFC, RFID, 와이맥스 및 와이브로 중 적어도 하나 이상의 통신 방식을 이용한다. 의료 영상 보상 장치(120)는 대상체의 움직임을 센싱한 센싱 정보를 생성한다(S330). 단계 S330에서 의료 영상 보상 장치(120)는 대상체에 대한 각속도를 측정한 센싱 정보를 생성하거나 대상체에 대한 중력 가속도를 측정한 센싱 정보를 생성한다. The medical
의료 영상 보상 장치(120)는 센싱 정보 또는 획득된 이미지에 근거하여 대상체가 움직인 것으로 확인되는 경우, 의료 장치(110)로부터 수신된 의료용 영상에 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성한다(S340). 단계 S340에서 의료 영상 보상 장치(120)는 센싱 정보를 이용하여 대상체의 움직임 여부를 확인하기 위해 의료 영상 보상 장치(120)는 대상체에 대한 각속도 및 중력 가속도 중 적어도 하나 이상의 정보에 근거하여 대상체의 절대적인 공간인 기준좌표를 산출하고, 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치를 초과하는 경우 대상체가 움직이는 것으로 확인한다. 여기서, 제 1 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 각속도 또는 중력 가속도 값을 말한다. 만약, 의료 영상 보상 장치(120)는 설정된 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 의료 영상 보상 장치(120)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다.When the medical
한편, 단계 S340에서 의료 영상 보상 장치(120)는 획득된 이미지를 이용하여 대상체의 움직임 여부를 확인하기 위해 카메라 모듈(130)을 통해 획득된 이미지 내의 객체에 대한 제 1 위치값을 산출하고, 이전 프레임 내의 객체에 대한 제 2 위치값을 산출한 후 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치를 초과하는 경우, 촬영 시 대상체가 움직이는 것으로 확인한다. 여기서, 제 2 임계치는 대상체의 움직임 여부를 확인하기 위해 기 설정된 위치값을 말한다. 만약, 의료 영상 보상 장치(120)는 제 1 위치값과 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치 미만인 경우 대상체가 멈춘 것으로 확인한다. 즉, 의료 영상 보상 장치(120)는 대상체의 촬영 시 대상체가 움직이지 않은 것으로 인식하여 의료용 영상에 대상체의 움직임에 따른 오차를 제거를 수행하지 않는다. 이때, 의료 영상 보상 장치(120)가 촬영된 이미지 내의 객체 위치를 인식하기 위해, 의료 영상 보상 장치(120)는 회절격자를 기준면으로 설정하고 기준면에 주사시킨 프린지 무늬와 대상체의 높이로 인하여 기준면에 위상이 변형되는 경우, 이미지 내의 객체의 위상값을 주기적으로 측정한 후 변형된 위상과 다른 위상의 차이를 객체의 높이로 인식하여 제 1 위치값 또는 제 2 위치값을 산출한다. 이때, 의료 영상 보상 장치(120)는 제 1 위치값 또는 제 2 위치값을 산출하기 위해 [수학식 1]을 이용한다.In operation S340, the medical
한편, 단계 S340에서 의료 영상 보상 장치(120)는 의료용 영상에서 대상체 움직임에 따라 오차인 DC 오프셋을 제거하여 보상 의료용 영상을 생성한다. 이때, 의료 영상 보상 장치(120)는 DC 오프셋을 제거하기 위해 칼만 필터 또는 인공신경망 필터를 이용한다. In operation S340, the medical
의료 영상 보상 장치(120)는 보상 의료용 영상을 의료 장치(110)로 전송한다(S350). 단계 S350에서 의료 영상 보상 장치(120)는 의료 장치(110)에 체결된 의료 장치 통신부(112)와 통신하기 위해 RFID, 와이파이, 무선랜, 블루투스, 적외선 통신, 지그비, UWB, NFC, RFID, 와이맥스 및 와이브로 중 적어도 하나 이상의 통신 방식을 이용한다.The medical
도 3에서는 단계 S310 내지 단계 S350을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S350 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, steps S310 to S350 are described as being sequentially executed. However, these are merely illustrative examples of the technical idea of the present embodiment. 3 may be modified and modified by changing the order described in FIG. 3 or executing one or more steps of steps S310 to S350 in parallel without departing from the essential characteristics thereof. It is not limited.
전술한 바와 같이 도 3에 기재된 본 실시예에 따른 의료 영상 보상 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 의료 영상 보상 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.As described above, the medical image compensation method according to the present embodiment described in FIG. 3 may be implemented in a program and recorded in a computer-readable recording medium. The computer-readable recording medium having recorded thereon a program for implementing the medical image compensation method according to the present embodiment includes all kinds of recording devices storing data that can be read by a computer system. Examples of such computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also implemented in the form of a carrier wave (e.g., transmission over the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment can be easily inferred by programmers in the technical field to which the present embodiment belongs.
도 4는 본 실시예에 따른 의료 영상 보상 장치를 인체에 부착하는 방식을 설명하기 위한 예시도이다.4 is an exemplary view for explaining a method of attaching a medical image compensation apparatus to a human body according to the present embodiment.
도 4에 도시된 바와 같이, 의료 영상 보상 장치(120)는 대상체(즉, 환자)에 부착될 수 있는데 탈부착을 용이하게 하기 위해 벨크로 테이프(Velcro Tape) 등을 이용할 수 있다. 보다 구체적으로 설명하자면, 대상체(즉, 환자)는 의료 장치(110)를 통해 의료용 영상을 촬영하기 전에, 예컨대, 암벨크로 테이프가 장착된 밴드 또는 벨트를 착용하고, 수벨크로 테이프가 장착된 의료 영상 보상 장치(120)를 해당 밴드 또는 벨트에 장착할 수 있다. 장착된 의료 영상 보상 장치(120)는 대상체의 움직임을 센싱한 센싱 정보를 생성하며, 센싱 정보에 근거하여 대상체가 움직인 것으로 확인되는 경우, 의료 장치(110)로부터 수신된 의료용 영상에 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성한 후 의료 장치(110)로 전송할 수 있는 것이다.As illustrated in FIG. 4, the medical
즉, 의료 영상 보상 장치(120)는 장착된 환자에 대한 각속도를 측정한 센싱 정보를 생성하거나 장착된 환자에 대한 중력 가속도를 측정한 센싱 정보를 생성한다. 이후, 의료 영상 보상 장치(120)는 장착된 환자에 대한 각속도 및 중력 가속도 중 적어도 하나 이상의 정보에 근거하여 대상체의 절대적인 공간인 기준좌표를 산출하고, 기준좌표와 각속도 또는 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치를 초과하는 경우 장착된 환자가 움직이는 것으로 확인하여 의료용 영상에 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하는 것이다.That is, the medical
도 5는 본 실시예에 따른 의료 영상 보상 장치의 영상 처리를 설명하기 위한 예시도이다.5 is an exemplary diagram for describing image processing of the medical image compensating apparatus according to the present embodiment.
의료 영상 보상 장치(120)가 촬영된 이미지 내의 객체 위치를 인식하는 과정에 대해 도 5를 통해 설명하자면, 의료 영상 보상 장치(120)는 회절격자를 기준면으로 설정하고 기준면에 주사시킨 프린지 무늬와 대상체의 높이로 인하여 기준면에 위상이 변형되는 경우, 이미지 내의 객체의 위상값을 주기적으로 측정한 후 변형된 위상과 다른 위상의 차이를 객체의 높이로 인식한다. 이러한, 의료 영상 보상 장치(120)는 촬영된 이미지 내의 객체 위치를 인식하기 위해 모아레(Moire) 측정법을 이용할 수 있다. 즉, 도 5에 도시된 zm은 이미지 내의 객체의 높이, p는 프린지 무늬의 한 주기 길이, N은 이미지 내의 객체의 위치(일반적으로 N = 0), θ1는 카메라 모듈과 좌표계 상의 z축 사이의 각, θp는 광원과 좌표계 상의 z축 사이의 각, φ는 위상을 나타낸다. Referring to FIG. 5, the medical
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.
110: 의료 장치 112: 의료 장치 통신부
120: 의료 영상 보상 장치
130: 카메라 모듈 132: 카메라 통신부
210: 통신부 220: 센서부
230: 보상부110: medical device 112: medical device communication unit
120: medical image compensation device
130: camera module 132: camera communication unit
210: communication unit 220: sensor unit
230:
Claims (15)
상기 대상체의 움직임을 센싱한 센싱 정보를 생성하는 센서부; 및
상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하여 상기 의료 장치로 전송하도록 제어하는 보상부
를 포함하는 것을 특징으로 하는 의료 영상 보상 장치.A communication unit interworking with a medical device and a camera module, receiving a medical image of the object from a medical device communication unit coupled to the medical device, and receiving an image acquired for the object from a camera communication unit provided in the camera module;
A sensor unit generating sensing information sensing the movement of the object; And
When it is determined that the object is moved based on the sensing information or the acquired image, a compensation unit configured to generate a compensation medical image in which the error due to the movement of the object is removed and transmit the same to the medical device.
Medical image compensation device comprising a.
상기 센서부는,
상기 대상체에 대한 각속도(Angular Velocity)를 측정한 상기 센싱 정보를 생성하는 자이로 센서(Gyro Sensor); 및
상기 대상체에 대한 중력 가속도(Gravitational Acceleration)를 측정한 상기 센싱 정보를 생성하는 가속도 센서(Acceleration Sensor)
를 포함하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 1,
The sensor unit includes:
A gyro sensor for generating the sensing information measuring an angular velocity with respect to the object; And
Acceleration sensor for generating the sensing information measuring the gravitational acceleration (Gravitational Acceleration) for the object
Medical image compensation device comprising a.
상기 보상부는,
상기 대상체에 대한 상기 각속도 및 상기 중력 가속도 중 적어도 하나 이상의 정보에 근거하여 상기 대상체의 절대적인 공간인 기준좌표를 산출하고, 상기 기준좌표와 상기 각속도 또는 상기 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치를 초과하는 경우 상기 대상체가 움직이는 것으로 확인하는 것을 특징으로 하는 의료 영상 보상 장치.3. The method of claim 2,
Wherein the compensation unit comprises:
Calculating a reference coordinate that is an absolute space of the object based on at least one of the angular velocity and the gravitational acceleration of the object, and setting a difference value comparing the reference coordinate with the angular velocity or the gravity acceleration; The medical image compensation device, characterized in that for confirming that the object is moving when the threshold is exceeded.
상기 보상부는,
상기 기준좌표와 상기 각속도 또는 상기 중력 가속도를 비교한 차이값이 기 설정된 제 1 임계치 미만인 경우 상기 대상체가 멈춘 것으로 확인하는 것을 특징으로 하는 의료 영상 보상 장치.3. The method of claim 2,
Wherein the compensation unit comprises:
And determining that the object is stopped when the difference value comparing the reference coordinate with the angular velocity or the acceleration of gravity is less than a first threshold.
상기 보상부는,
획득된 상기 이미지 내의 객체(Object)에 대한 제 1 위치값을 산출하고, 이전 프레임(Previous Frame)내의 객체에 대한 제 2 위치값을 산출한 후 상기 제 1 위치값과 상기 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치를 초과하는 경우, 상기 대상체가 움직이는 것으로 확인하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 1,
Wherein the compensation unit comprises:
Computing a first position value for the object in the obtained image, calculating a second position value for the object in a previous frame, and then comparing the first position value with the second position value. The medical image compensating apparatus of claim 1, wherein the object is moved when the difference exceeds a second threshold.
상기 보상부는,
상기 제 1 위치값과 상기 제 2 위치값의 비교한 차이값이 기 설정된 제 2 임계치 미만인 경우 상기 대상체가 멈춘 것으로 확인하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 5, wherein
Wherein the compensation unit comprises:
And determining that the object is stopped when the difference between the first position value and the second position value is less than a preset second threshold.
상기 보상부는,
회절격자(Diffracting Grating)를 기준면(Reference Plane)으로 설정하고 상기 기준면에 주사시킨 프린지(Fringe) 무늬와 상기 대상체의 높이로 인하여 상기 기준면에 위상이 변형되는 경우, 상기 이미지 내의 객체의 위상값을 주기적으로 측정한 후 변형된 위상과 다른 위상의 차이를 상기 객체의 높이로 인식하여 상기 제 1 위치값 또는 상기 제 2 위치값을 산출하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 5, wherein
Wherein the compensation unit comprises:
When the diffraction grating is set as a reference plane and the phase is deformed on the reference plane due to the fringe pattern scanned on the reference plane and the height of the object, the phase value of the object in the image is periodically And measuring the first position value or the second position value by recognizing the difference between the deformed phase and another phase as the height of the object after the measurement.
상기 보상부는,
상기 제 1 위치값 또는 상기 제 2 위치값을 산출하기 위해,
(zm: 상기 객체의 높이, p: 프린지 무늬의 한 주기 길이, N: 상기 이미지 내의 객체의 위치(일반적으로 N = 0), θ1: 상기 카메라 모듈과 좌표계 상의 z축 사이의 각, θp: 광원(Light Source)과 좌표계 상의 z축 사이의 각, φ: 위상)
의 수학식을 이용하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 7, wherein
Wherein the compensation unit comprises:
To calculate the first position value or the second position value,
(z m : height of the object, p: length of one fringe of the fringe, N: position of the object in the image (generally N = 0), θ 1 : angle between the camera module and the z axis on the coordinate system, θ p : angle between the light source and the z axis on the coordinate system, φ: phase)
Medical image compensation device, characterized in that using the equation.
상기 보상부는,
복수 개의 상기 카메라 모듈로부터 복수 개의 상기 의료용 영상을 수신하거나 복수 개의 상기 광원을 이용하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 1,
Wherein the compensation unit comprises:
Medical image compensation device, characterized in that for receiving a plurality of medical images from a plurality of the camera module or using a plurality of the light source.
상기 보상부는,
상기 의료용 영상에서 상기 대상체 움직임에 따라 오차인 DC 오프셋(Offset)을 제거하여 상기 보상 의료용 영상을 생성하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 1,
Wherein the compensation unit comprises:
And the compensation medical image is generated by removing a DC offset that is an error according to the movement of the object in the medical image.
상기 보상부는,
상기 DC 오프셋을 제거하기 위해 칼만 필터(Kalman Filter) 또는 인공신경망(ANN: Artificial Neural Network) 필터를 이용하는 것을 특징으로 하는 의료 영상 보상 장치.11. The method of claim 10,
Wherein the compensation unit comprises:
And a Kalman filter or an artificial neural network (ANN) filter to remove the DC offset.
상기 통신부는,
RFID, 와이파이(Wi-Fi), 무선랜(WLAN), 블루투스(Bluetooth), 적외선 통신(IrDA), 지그비(ZigBee), UWB(Ultra Wide Band), NFC(Near Field Communication), RFID(Radio Frequency Identification), 와이맥스(WiMAX) 및 와이브로(WiBro) 중 적어도 하나 이상의 통신 방식을 이용하여 상기 의료 장치와 통신하는 것을 특징으로 하는 의료 영상 보상 장치.The method of claim 1,
Wherein,
RFID, Wi-Fi, Wireless LAN (WLAN), Bluetooth, Infrared Communication (IrDA), ZigBee, Ultra Wide Band (UWB), Near Field Communication (NFC), Radio Frequency Identification ), The medical image compensating device for communicating with the medical device using at least one communication method of WiMAX and WiBro.
상기 통신부에서 카메라 모듈에 구비된 카메라 통신부로부터 상기 대상체에 대해 획득된 이미지를 수신하는 과정;
센서부에서 상기 대상체의 움직임을 센싱한 센싱 정보를 생성하는 과정;
보상부에서 상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하는 과정; 및
상기 통신부에서 상기 보상 의료용 영상을 상기 의료 장치에 체결된 상기 의료 장치 통신부로 전송하는 과정
을 포함하는 것을 특징으로 하는 의료 영상 보상 방법.Receiving a medical image of the object from the medical device communication unit coupled to the medical device in the communication unit;
Receiving an image acquired with respect to the object from a camera communication unit provided in the camera module in the communication unit;
Generating sensing information by sensing a movement of the object in a sensor unit;
Generating, by the compensation unit, a compensation medical image from which an error due to the movement of the object is removed from the medical image when the object is determined to be moved based on the sensing information or the acquired image; And
Transmitting, by the communication unit, the compensating medical image to the medical device communication unit coupled to the medical device;
Medical image compensation method comprising a.
상기 대상체를 촬영한 이미지를 획득하고, 구비된 카메라 통신부를 이용하여 획득된 상기 이미지를 전송하는 카메라 모듈; 및
상기 의료 장치로부터 상기 의료용 영상을 수신하고, 상기 카메라 모듈로부터 획득된 상기 이미지를 수신하며, 상기 대상체의 움직임을 센싱한 센싱 정보를 생성한 후 상기 센싱 정보 또는 획득된 상기 이미지에 근거하여 상기 대상체가 움직인 것으로 확인되는 경우, 상기 의료용 영상에 상기 대상체의 움직임에 따른 오차를 제거한 보상 의료용 영상을 생성하여 상기 의료 장치로 전송하는 의료 영상 보정 장치
를 포함하는 것을 특징으로 하는 의료 영상 보상 시스템.A medical device for generating a medical image of the object by using X-rays and transmitting the medical image by using a connected medical device communication unit;
A camera module for acquiring an image of the object and transmitting the acquired image using a provided camera communication unit; And
After receiving the medical image from the medical device, receiving the image acquired from the camera module, generating sensing information sensing the movement of the object, the object is based on the sensing information or the acquired image. If it is confirmed that the movement, the medical image correction device for generating a compensation medical image to remove the error according to the movement of the object on the medical image to transmit to the medical device
Medical imaging compensation system comprising a.
상기 카메라 모듈은,
상기 대상체의 정면에 위치하도록 상기 의료 장치에 설치되거나 상기 대상체와 직교하는 형태로 상기 의료 장치에 설치되어, 상기 대상체의 상기 이미지를 획득하는 것을 특징으로 하는 의료 영상 보상 시스템.
15. The method of claim 14,
The camera module includes:
The medical image compensation system of claim 1, wherein the medical image compensation system is installed in the medical apparatus so as to be located in front of the object or installed in the medical apparatus in a form orthogonal to the subject to obtain the image of the object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120061050A KR101361805B1 (en) | 2012-06-07 | 2012-06-07 | Method, System And Apparatus for Compensating Medical Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120061050A KR101361805B1 (en) | 2012-06-07 | 2012-06-07 | Method, System And Apparatus for Compensating Medical Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130137435A true KR20130137435A (en) | 2013-12-17 |
| KR101361805B1 KR101361805B1 (en) | 2014-02-21 |
Family
ID=49983673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120061050A KR101361805B1 (en) | 2012-06-07 | 2012-06-07 | Method, System And Apparatus for Compensating Medical Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101361805B1 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016024797A1 (en) * | 2014-08-13 | 2016-02-18 | 주식회사 고영테크놀러지 | Tracking system and tracking method using same |
| KR20170034299A (en) * | 2015-09-18 | 2017-03-28 | 가시오게산키 가부시키가이샤 | Posture estimating apparatus, posture estimating method and computer program stored in recording medium |
| KR20170054608A (en) * | 2015-11-09 | 2017-05-18 | (주)엠아이웨어 | Digital image recorder for two-wheeled vehicle with image stabilization function |
| KR20170089992A (en) * | 2016-01-27 | 2017-08-07 | (주)엠아이웨어 | Digital image recorder for automotive with image stabilization function |
| KR20200009592A (en) * | 2018-07-19 | 2020-01-30 | 주식회사 에이치엘메디텍 | Pulsatile RF signal generating apparatus for catheter to stimulate spinal nerves |
| KR20210004085A (en) * | 2019-07-03 | 2021-01-13 | 제이피아이헬스케어 주식회사 | X-ray Image Processing Method and Computer Readable Storage Medium |
| EP4212123A1 (en) * | 2022-01-18 | 2023-07-19 | Stryker European Operations Limited | Technique for determining a need for a re-registration of a patient tracker tracked by a camera system |
| US11737839B2 (en) | 2020-02-10 | 2023-08-29 | Medipixel, Inc. | Method and apparatus for training machine learning model for determining operation of medical tool control device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102200484B1 (en) * | 2019-01-03 | 2021-01-08 | 오스템임플란트 주식회사 | System And Method For Tracking The Position Of A Device Using A Magnetic Field |
| WO2024106770A1 (en) * | 2022-11-14 | 2024-05-23 | 삼성전자 주식회사 | X-ray imaging device comprising camera, and operation method therefor |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010057573A (en) * | 2008-09-02 | 2010-03-18 | Hitachi Medical Corp | X-ray diagnostic apparatus |
| JP2012005695A (en) * | 2010-06-25 | 2012-01-12 | Toshiba Corp | Radiographic system |
-
2012
- 2012-06-07 KR KR1020120061050A patent/KR101361805B1/en not_active IP Right Cessation
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016024797A1 (en) * | 2014-08-13 | 2016-02-18 | 주식회사 고영테크놀러지 | Tracking system and tracking method using same |
| KR20160020065A (en) * | 2014-08-13 | 2016-02-23 | 주식회사 고영테크놀러지 | Tracking system and tracking method using the tracking system |
| US10799299B2 (en) | 2014-08-13 | 2020-10-13 | Koh Young Technology Inc. | Tracking system and tracking method using same |
| US11730547B2 (en) | 2014-08-13 | 2023-08-22 | Koh Young Technology Inc. | Tracking system and tracking method using same |
| KR20170034299A (en) * | 2015-09-18 | 2017-03-28 | 가시오게산키 가부시키가이샤 | Posture estimating apparatus, posture estimating method and computer program stored in recording medium |
| KR20170054608A (en) * | 2015-11-09 | 2017-05-18 | (주)엠아이웨어 | Digital image recorder for two-wheeled vehicle with image stabilization function |
| KR20170089992A (en) * | 2016-01-27 | 2017-08-07 | (주)엠아이웨어 | Digital image recorder for automotive with image stabilization function |
| KR20200009592A (en) * | 2018-07-19 | 2020-01-30 | 주식회사 에이치엘메디텍 | Pulsatile RF signal generating apparatus for catheter to stimulate spinal nerves |
| KR20210004085A (en) * | 2019-07-03 | 2021-01-13 | 제이피아이헬스케어 주식회사 | X-ray Image Processing Method and Computer Readable Storage Medium |
| US11737839B2 (en) | 2020-02-10 | 2023-08-29 | Medipixel, Inc. | Method and apparatus for training machine learning model for determining operation of medical tool control device |
| EP4212123A1 (en) * | 2022-01-18 | 2023-07-19 | Stryker European Operations Limited | Technique for determining a need for a re-registration of a patient tracker tracked by a camera system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101361805B1 (en) | 2014-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101361805B1 (en) | Method, System And Apparatus for Compensating Medical Image | |
| CN109077752B (en) | Mobile robot arm | |
| CN111374675B (en) | System and method for detecting patient state in a medical imaging session | |
| EP3288465B1 (en) | In-device fusion of optical and inertial positional tracking of ultrasound probes | |
| US8767057B2 (en) | Image processing device, image processing method, and program | |
| CN110009709B (en) | Medical image imaging method and system | |
| JP6714006B2 (en) | Camera system for automatically measuring patient biometric and physiological parameters for use in medical imaging modalities | |
| US9230334B2 (en) | X-ray CT apparatus and image processing method | |
| CN108968996A (en) | Motion gate medical imaging | |
| JP2014138908A (en) | CT device and method based on motion compensation | |
| KR20110067416A (en) | Monitoring system and method for moving and balancing of human body using sensor node | |
| CN110545730A (en) | Pressure-sensitive patient table for tomographic imaging | |
| CN101352348A (en) | Method for recording measured data of a patient while taking account of movement operations, and an associated medical device | |
| CN110446453A (en) | The cardiac motion signal derived from optical imagery | |
| KR20150120214A (en) | Medical image apparatus and operating method for the same | |
| CN114287955A (en) | CT three-dimensional image generation method and device and CT scanning system | |
| KR101455687B1 (en) | Three-dimensional ultrasound image generated method using smartphone | |
| US9636076B2 (en) | X-ray CT apparatus and image processing method | |
| JP7090327B2 (en) | Information processing equipment, information processing method, program | |
| US11730440B2 (en) | Method for controlling a medical imaging examination of a subject, medical imaging system and computer-readable data storage medium | |
| KR101611449B1 (en) | Method for Controlling Medical Imaging Apparatus Having Probe and Medical Imaging Apparatus Thereof | |
| Jawaid et al. | Advancements in medical imaging through Kinect: a review | |
| CN103908293B (en) | For measuring the medical image system and method for medical image | |
| EP3747387B1 (en) | Wrong level surgery prevention | |
| US20230074624A1 (en) | Subject motion measuring apparatus, subject motion measuring method, medical image diagnostic apparatus, and non-transitory computer readable medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170203 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |