KR20200023968A - X-ray Image Display Method Based On Augmented Reality - Google Patents
X-ray Image Display Method Based On Augmented Reality Download PDFInfo
- Publication number
- KR20200023968A KR20200023968A KR1020180100529A KR20180100529A KR20200023968A KR 20200023968 A KR20200023968 A KR 20200023968A KR 1020180100529 A KR1020180100529 A KR 1020180100529A KR 20180100529 A KR20180100529 A KR 20180100529A KR 20200023968 A KR20200023968 A KR 20200023968A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- radiographic
- trainee
- augmented reality
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/08—Auxiliary means for directing the radiation beam to a particular spot, e.g. using light beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
Abstract
Description
본 발명은 증강현실 기반의 엑스선 영상 표시 방법에 관한 것이다.The present invention relates to a method for displaying augmented reality based x-ray images.
방사선 촬영은 환자의 상태를 빠르고 확실하게 파악을 할 수 있는 반드시 필요한 의료기술이지만, 사용 시 인체에 일정 해를 가하는 위험한 기술이기도 하다. 따라서, 정확하고 안전한 방사선 촬영과 정확한 결과물은 방사선사의 가장 큰 과업이라 할 수 있다. 하지만, 방사선사의 촬영 기술의 숙련은 결국 수많은 환자 등을 대상으로 한 반복적인 촬영 실패와 재촬영(fail and repeat)을 통해 얻어질 수 밖에 없기 때문에, 반복적인 재촬영으로 인한 공공의 피해가 발생하게 된다. 이에 따라, 식약처를 중심으로 한 국가 기관에서는 의료 방사선 피폭량을 줄이기 위한 방안에 고심하고 있다.Radiography is an essential medical technique that can quickly and reliably determine a patient's condition, but it is also a dangerous technique that harms the human body when using it. Therefore, accurate and safe radiography and accurate results are the biggest task of radiologists. However, since the radiologist's skill in photographing can only be achieved through repeated shooting failures and failures and re-taking of a large number of patients, the public damage caused by repeated re-taking can occur. do. Accordingly, national agencies centered on KFDA are struggling to reduce medical radiation exposure.
본 발명은 증강현실 기반의 엑스선 영상 표시 방법을 제공한다.The present invention provides an augmented reality-based X-ray image display method.
본 발명에 따른 증강현실 기반의 엑스선 영상 표시 방법은 방사선 촬영을 수행하는 방사선 카메라와, 상기 방사선 카메라의 적어도 일측에 위치하여 인체의 이미지를 촬영하는 주 카메라를 포함하는 증강현실 기반의 엑스선 영상 표시 방법으로서, 인체의 위치별로 매칭되어 있는 카메라 이미지와 방사선 이미지를 갖는 기준 이미지 데이터베이스를 획득하는 단계; 실제 환자 또는 피실습자의 카메라 이미지를 상기 기준 이미지 데이터베이스의 카메라 이미지와 비교하는 단계; 및 상기 기준 이미지데이터베이스의 카메라 이미지 중에서 상기 실제 환자 또는 피실습자의 카메라 이미지와 유사도가 가장 높은 카메라 이미지를 선택하고, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함할 수 있다.Augmented reality-based X-ray image display method according to the present invention is augmented reality-based X-ray image display method comprising a radiation camera for performing a radiography, and a main camera to take an image of the human body located on at least one side of the radiation camera A method comprising: obtaining a reference image database having a camera image and a radiation image matched for each position of a human body; Comparing camera images of actual patients or trainees with camera images in the reference image database; And selecting a camera image having the highest similarity to the camera image of the real patient or the trainee from among the camera images of the reference image database, and using the radiation image matched to the selected camera image as the expected radiation image. And synthesizing and displaying the image.
그리고 상기 기준 이미지 데이터베이스를 획득하는 단계는 상기 방사선 카메라의 방사선 이미지를 기준으로 상기 주 카메라의 카메라 이미지를 보정하는 단계; 상기 방사선 이미지와 카메라 이미지를 매칭하는 단계; 및 상기 방사선 이미지와 카메라 이미지의 쌍으로써 상기 기준 이미지 데이터베이스에 저장하는 단계를 포함할 수 있다.The acquiring of the reference image database may include correcting a camera image of the main camera based on the radiation image of the radiation camera; Matching the radiation image with the camera image; And storing the radiographic image as a pair of camera images in the reference image database.
또한, 상기 기준 이미지 데이터베이스를 획득하는 단계는 인체의 3D 영상 및 뼈의 형상을 모델링하고, 상기 3D 영상 및 뼈의 형상을 방사선 촬영 자세로 위치시켜서, 상기 방사선 이미지 및 카메라 이미지를 획득하는 것일 수 있다.The acquiring of the reference image database may include modeling a 3D image and a shape of a bone of the human body and positioning the 3D image and the shape of the bone in a radiographic position to acquire the radiographic image and the camera image. .
또한, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는 상기 실제 환자 또는 피실습자의 카메라 영상을 기준으로 상기 선택된 카메라 이미지를 보정하고, 상기 선택된 카메라 이미지의 보정에 부합하도록 상기 매칭된 방사선 이미지를 보정하여 표시하는 것일 수 있다.The synthesizing and displaying the radiographic image matched with the selected camera image as the expected radiographic image to the camera image of the real patient or the trainee corrects the selected camera image based on the camera image of the real patient or the trainee. And correcting and displaying the matched radiographic image so as to match the correction of the selected camera image.
또한, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는 상기 실제 환자 또는 피실습자의 카메라 이미지에 대해 보조 카메라의 열화상 영상을 매칭하여 인체의 영역 분할을 수행하는 것일 수 있다.In addition, synthesizing and displaying a radiographic image matched to a selected camera image as a predicted radiographic image to a camera image of the real patient or a participant matches a thermal image of a secondary camera with respect to the camera image of the real patient or a participant. It may be to perform the segmentation of the human body.
또한, 상기 색상에서 기준값 이상의 변화가 있는 경우, 상기 실제 환자 또는 피실습자가 옷을 입을 것으로 판단하고, 기준값 미만의 변화만 있는 경우 상기 실제 환자 또는 피실습자가 옷을 입지 않은 것으로 판단하여, 상기 기준 이미지데이터베이스로부터 해당되는 상황의 방사선 이미지를 추출하여 표시하는 것일 수 있다.In addition, when there is a change in the color above the reference value, it is determined that the actual patient or the trainee is dressed, and when there is only a change below the reference value, it is determined that the actual patient or the trainee is not dressed. It may be to extract and display a radiographic image of a corresponding situation from an image database.
본 발명에 의한 증강현실 기반의 방사선 영상 표시 방법은 미리 획득한 데이터베이스의 인체 위치별 카메라 이미지 및 방사선 이미지를 실제 환자 또는 피실습자의 카메라 이미지와 비교하고, 방사선 이미지를 예상하여 표시함으로써, 방사선에 노출됨이 없이 환자가 방사선 촬영을 위한 위치를 확인하거나, 피실습자가 방사선 촬영 연습을 수행하도록 할 수 있다.The augmented reality-based radiographic image display method according to the present invention is exposed to radiation by comparing a camera image and a radiographic image of a pre-obtained database with a camera image of an actual patient or a patient, and predicting and displaying a radiographic image. Without this, the patient can confirm the location for radiography or have the trainee perform radiography exercises.
도 1은 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법의 플로우차트이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 데이터베이스 획득 단계의 세부 단계를 도시한 플로우챠트이다.
도 3a는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에 사용되는 촬영 장비를 도시한 개략도이다.
도 3b는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 카메라 이미지의 보정을 수행하는 과정을 도시한 개념도이다.
도 3c 및 도 3d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지를 획득하기 위해 카메라 이미지와 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 예측 가능한 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.
도 5는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 가이드 라인을 함께 표시하는 단계를 도시한 개념도이다.1 is a flowchart of a method for displaying augmented reality-based radiographic images according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating detailed steps of acquiring a reference image database in the augmented reality-based radiographic image display method according to an embodiment of the present invention.
Figure 3a is a schematic diagram showing the imaging equipment used in the augmented reality-based radiographic image display method according to an embodiment of the present invention.
3B is a conceptual diagram illustrating a process of correcting a camera image in an augmented reality based radiographic image display method according to an embodiment of the present invention.
3C and 3D are conceptual views illustrating a step of matching a camera image and a radiographic image to obtain a reference image in the augmented reality based radiographic image display method according to an embodiment of the present invention.
4A to 4D are conceptual views illustrating a step of matching a predictable radiographic image with respect to a camera image of an actual patient in an augmented reality based radiographic image display method according to an embodiment of the present invention.
FIG. 5 is a conceptual diagram illustrating a step of displaying guide lines with respect to a camera image of an actual patient in a method for displaying augmented reality-based radiographic images according to an exemplary embodiment of the present invention.
본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily practice the present invention.
도 1은 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법의 플로우차트이다. 도 2는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 데이터베이스 획득 단계의 세부 단계를 도시한 플로우챠트이다. 1 is a flowchart of a method for displaying augmented reality-based radiographic images according to an exemplary embodiment of the present invention. 2 is a flowchart illustrating detailed steps of acquiring a reference image database in the augmented reality-based radiographic image display method according to an embodiment of the present invention.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법은 기준 이미지 데이터베이스 획득 단계(S1), 실제 촬영 이미지 비교 단계(S2), 예상 방사선 이미지 표시 단계(S3)를 포함할 수 있다.First, referring to FIG. 1, the augmented reality-based radiographic image display method according to an exemplary embodiment of the present invention includes a reference image database acquisition step S1, an actual photographed image comparison step S2, and an expected radiographic image display step S3. It may include.
한편, 도 1과 도 2를 함께 참조하면, 상기 기준 이미지 데이터베이스 획득 단계(S1)는 카메라 이미지 보정 단계(S11), 카메라 영상과 방사선 이미지 매칭 단계(S12), 기준 이미지 저장 단계(S13)를 포함하여 이루어질 수 있다.Meanwhile, referring to FIGS. 1 and 2 together, the reference image database acquisition step S1 includes a camera image correction step S11, a camera image and radiographic image matching step S12, and a reference image storage step S13. It can be done by.
도 3a는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에 사용되는 촬영 장비를 도시한 개략도이다 도 3b는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 카메라 이미지의 보정을 수행하는 과정을 도시한 개념도이다. 도 3c 및 도 3d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지를 획득하기 위해 카메라 이미지와 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.Figure 3a is a schematic diagram showing the imaging equipment used in the augmented reality-based radiographic image display method according to an embodiment of the present invention Figure 3b is a correction of the camera image in the augmented reality-based radiation image display method according to an embodiment of the present invention It is a conceptual diagram showing the process performed. 3C and 3D are conceptual views illustrating a step of matching a camera image and a radiographic image to obtain a reference image in the augmented reality based radiographic image display method according to an embodiment of the present invention.
먼저, 상기 기준 이미지 데이터베이스 획득 단계(S1) 중 상기 카메라 이미지 보정 단계(S11)는 도 3a의 촬영 장비를 통해 카메라 이미지와 방사선 이미지를 함께 획득하는 것으로 시작될 수 있다. 여기서, 카메라 이미지는 방사선 카메라의 측면에 위치한 주 카메라 또는 보조 카메라(혹은 센서)를 통해 촬영될 수 있다. 또한, 주 카메라 또는 보조 카메라는 촬영을 위해 가시광선, 열화상 카메라를 사용하거나, 또는 경우에 따라 초음파 센서를 사용하는 것이 가능할 수 있다.First, the camera image correction step S11 of the reference image database acquisition step S1 may be started by acquiring a camera image and a radiation image together through the photographing equipment of FIG. 3A. Here, the camera image may be photographed by the main camera or the auxiliary camera (or sensor) located on the side of the radiation camera. In addition, it may be possible for the main camera or the auxiliary camera to use a visible light, a thermal imaging camera, or in some cases, an ultrasonic sensor for imaging.
한편, 방사선 이미지는 장비 중앙에 위치한 방사선 카메라를 통해 촬영될 수 있다. 다만, 주 카메라 및 보조 카메라는 실제 방사선 카메라와 각도에서 차이가 있기 때문에, 촬영된 카메라 이미지에서 왜곡이 발생할 수 있다. 이 경우, 도 3b와 같이 실제 카메라 이미지를 방사선 이미지와 비교하고, 방사선 이미지를 기준으로 카메라 이미지의 형태를 보정하여, 왜곡 오차를 줄이는 보정이 수행될 수 있다.Meanwhile, the radiographic image may be captured by a radiation camera located at the center of the equipment. However, since the main camera and the auxiliary camera are different in angle from the actual radiation camera, distortion may occur in the captured camera image. In this case, as illustrated in FIG. 3B, the actual camera image may be compared with the radiographic image, and the shape of the camera image may be corrected based on the radiographic image, thereby reducing the distortion error.
또한, 도 3c와 같이, 기준 이미지를 얻을 전체 크기는 카세트(네모난 모양)의 크기로 잘라내게 되는데, i) 카세트를 사용할 때에는, 에지 검출(edge detection) 또는 형태(shape) 인식 방법 등을 사용하여 카세트 크기, 모양을 인식하여 이미지를 잘라 저장할 수 있고, ii) 카세트를 사용하지 않거나 몸으로 카세트를 완전히 덮어 보이지 않는 경우에는, 엑스선 조사야 (촬영할 때, 촬영 영역에 네모난 빛을 쏘아 촬영 영역을 설정함)의 빛 영역, 기존에 촬영방법에 따라 설정된 값, 엑스선 사진의 촬영범위로 역산출된 영역 값, 또는 수동 설정 등으로 카세트 위치와 영역을 산출할 수 있다.In addition, as shown in Figure 3c, the total size to obtain the reference image is cut out to the size of the cassette (square), i) When using the cassette, using an edge detection (shape) or shape recognition method, etc. Image by recognizing the cassette size and shape, and ii) if the cassette is not used or the cassette is not completely covered by the body, X-ray irradiation (when shooting, The location and area of the cassette may be calculated by using a light area, a value set according to a conventional photographing method, an area value inversely calculated as a photographing range of an X-ray photograph, or manual setting.
또한, 생성된 최종적으로 후 처리된 인체 이미지에 대해 촬영된 방사선 이미지를 함께 매칭하여, 최종적인 이미지를 저장할 수 있다.In addition, the generated radiographic image may be matched with the generated post-processed human body image to store the final image.
그리고 도 3d와 같이, 각 인체의 위치 및 자세 별로 카메라 이미지와 방사선 이미지를 각각 매칭하여, 후처리 이미지로서 학습을 진행, 또는 경우에 따라 가시광선 영상 원본, 보조 카메라 (열화상) 영상 원본, 보조 카메라 (열화상) 후처리 영상을 통해 학습을 진행하면, 최종적인 기준 영상 데이터 베이스를 획득하는 것이 가능하게 된다.As shown in FIG. 3D, the camera image and the radiographic image are matched for each position and posture of each human body, and the learning is performed as a post-processing image, or in some cases, a visible light image source, an auxiliary camera (thermal image) image source, and an auxiliary image. By learning through a camera (thermal image) post-processing image, it is possible to obtain a final reference image database.
한편, 여기서, 데이터 베이스를 획득하는 단계(S1)는 실제 방사선 조사를 통한 이미지 외에도 인체의 3D 영상, 뼈의 모형을 모델링하는 방법을 사용 가능하다. 인체의 3D 영상과 뼈의 모형을 통해 방사선 촬영 자세를 만들고, 여기에 따른 방사선 영상을 매칭하여 데이터베이스를 획득할 수 있다. 또한, 기존의 실제 환자의 데이터를 기반으로, 위의 3D 영상, 뼈의 모형에 대해 체형별(나이, 인종, 성별, 키, 몸무게)로 반복하여 진행 및 저장하는 것이 가능하다. 그리고 데이터베이스에서 저장된 영상의 위치, 각도, 크기 등을 변경해가면서 러닝(심층 학습)을 수행하는 것도 가능하다.Meanwhile, in the step S1 of obtaining a database, a method of modeling a 3D image of a human body and a model of a bone may be used in addition to an image through actual irradiation. A radiographic posture may be created using a 3D image of a human body and a model of a bone, and a database may be obtained by matching the radiographic image according to the same. In addition, based on the existing data of the actual patient, it is possible to repeatedly process and store by the body type (age, race, sex, height, weight) for the above 3D image, bone model. It is also possible to perform learning (depth learning) by changing the position, angle and size of the image stored in the database.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 예측 가능한 방사선 이미지를 매칭하는 단계를 도시한 개념도이다. 도 5는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 가이드 라인을 함께 표시하는 단계를 도시한 개념도이다.4A to 4D are conceptual views illustrating a step of matching a predictable radiographic image with respect to a camera image of an actual patient in an augmented reality based radiographic image display method according to an embodiment of the present invention. FIG. 5 is a conceptual diagram illustrating a step of displaying guide lines with respect to a camera image of an actual patient in a method for displaying augmented reality-based radiographic images according to an exemplary embodiment of the present invention.
도 1과 함께 도 4a 내지 도 4d를 함께 참조하면, 상기 실제 촬영 이미지 비교 단계(S2)는 실제 환자의 방사선 촬영 또는 해당 장비를 이용한 실습 과정에서 피실습자의 방사선 촬영 연습에서 촬영된 카메라 이미지를 상기 기준 이미지 데이터베이스의 카메라 이미지와 비교하는 단계이다. 여기서, 실제 방사선 촬영을 진행하기 전이기 때문에, 환자 또는 피실습자는 방사선에 노출되지 않을 수 있다. 또한, 도 4a와 같이, 환자 또는 피실습자의 카메라 영상에서 에지 검출 또는 이와 함께 열화상 카메라 화면을 통한 이미지를 획득하고, 상기 데이터베이스로부터 이와 유사한 카메라 이미지를 검색할 수 있다.Referring to FIGS. 4A to 4D together with FIG. 1, the comparing of the actual photographed image (S2) may be performed by recognizing a camera image photographed by a radiographer of a trainee during a radiograph of a real patient or a training process using the corresponding equipment. Comparing with the camera image of the reference image database. Here, the patient or the trainee may not be exposed to radiation because it is before the actual radiographic imaging. In addition, as shown in FIG. 4A, an edge detection may be performed on a camera image of a patient or a trainee, or an image may be acquired through a thermal camera screen, and a similar camera image may be retrieved from the database.
또한, 상기 예상 방사선 이미지 표시 단계(S3)는 검색된 카메라 이미지와 매칭된 방사선 이미지를 화면에 표시하는 단계이다. 여기서, 환자 또는 피실습자의 인체 위치는 데이터베이스 획득을 위한 카메라 이미지의 촬영시의 인체(또는 3D 영상)와 비교할 때, 위치에서 차이가 있을 수 있다. 이 경우, 도 4b 및 도 4c와 같이, 데이터베이스의 카메라 이미지를 실제 환자 또는 피실습자의 카메라 이미지와 비교하고, 데이터베이스의 카메라 이미지를 이에 맞게 변형하는 것이 가능하다. 또한, 데이터베이스의 카메라 이미지에 매칭되는 방사선 이미지 역시 이에 따라 변형될 수 있고, 결과적으로 실제 환자 또는 피실습자의 카메라 이미지에 대응되는 예상 방사선 이미지가 도출될 수 있다.In addition, the expected radiographic image display step (S3) is a step of displaying the radiographic image matched with the retrieved camera image on the screen. Here, the position of the human body of the patient or the trainee may be different in position when compared to the human body (or 3D image) when the camera image is captured for database acquisition. In this case, as shown in Fig. 4b and 4c, it is possible to compare the camera image of the database with the camera image of the actual patient or trainee, and to modify the camera image of the database accordingly. In addition, a radiographic image matching the camera image in the database may also be modified accordingly, resulting in a predicted radiographic image corresponding to the camera image of the actual patient or trainee.
한편, 주 카메라의 카메라 이미지와 보조 카메라의 열화상 이미지는 실제 환자 또는 피실습자의 인체 위치 파악에 도움을 줄 수 있다. 구체적으로, 보조 카메라의 열화상 이미지를 통해 피부의 온도를 측정하여 색상으로서 시각화할 수 있고, 이를 가시광선을 통해 얻은 주 카메라의 이미지에 대해 색상을 입혀서 인체 영역 분할(segmentation)을 보다 정확하게 수행할 수 있다.On the other hand, the camera image of the primary camera and the thermal image of the secondary camera may help to locate the human body of the actual patient or trainee. In detail, the temperature of the skin may be measured and visualized as a color through a thermal image of a secondary camera, and the image of the main camera obtained through visible light may be colored to more accurately perform segmentation of the human body. Can be.
또한, 만약 가시광선을 통해 표시된 색상에서 기준값 이상의 급격한 변화가 없다면 실제 환자 또는 피실습자가 해당 인체에 대해 옷을 입지 않은 것으로 판단하여 기존 데이터베이스의 모델을 그대로 사용할 수 있다. 반면, 색상에서 변화가 기준값 이상인 급격한 변화가 있다면, 실제 촬영되는 이미지로부터 옷 부분의 범위의 비율을 계산하는 단계가 이루어질 수 있다. 그리고 만약 옷의 비율이 기준값 미만일 때는 옷 부분을 제거하고 나머지 인체에 대해서만 예측 모델을 적용한다. 반면, 옷의 비율이 기준값 이상일 때, 사전에 정의된 데이터베이스로부터 옷이 있는 경우를 가정한 예측 모델을 검색하여 적용하는 것이 가능할 수 있다.In addition, if there is no drastic change over the reference value in the color displayed through visible light, it may be determined that the actual patient or trainee is not dressed for the human body and may use the model of the existing database as it is. On the other hand, if there is a sudden change in which the change in color is more than the reference value, the step of calculating the ratio of the range of the clothes portion from the actual image can be made. If the proportion of clothes is less than the reference value, the clothes are removed and the prediction model is applied only to the rest of the body. On the other hand, when the ratio of clothes is greater than or equal to the reference value, it may be possible to search for and apply a predictive model assuming that there is clothes from a predefined database.
한편, 도 5를 참조하면, 예상 방사선 이미지 외에도 실제 환자 또는 피실습자의 카메라 이미지에 대해 방사선 촬영에 적합한 위치를 가이드하기 위한 라인이 더 표시될 수 있다. 여기서 가이드 라인은 상기 데이터베이스에 저장되어 있는 카메라 이미지로부터 생성되며, 실제 영상과 구별되는 선으로 표시하여, 환자 또는 피실습자가 자신의 인체 위치를 이에 따라 변경하도록 유도할 수 있다. .또한, 추가로 촬영되는 영역과 유사도를 측정하고, 유사도가 낮은 경우 유사도 점수가 낮음을 표시하여, 환자나 피실습자에게 방사선 촬영 전에 촬영 대상 영역이 아님, 혹은 자세가 잘못 되었음을 방사선사, 실제 환자 혹은 실습자에게 재확인 할 수 있다.Meanwhile, referring to FIG. 5, a line for guiding a location suitable for radiography may be further displayed on a camera image of an actual patient or a trainee in addition to the expected radiographic image. Here, the guide line is generated from a camera image stored in the database, and displayed as a line distinguished from the actual image, thereby inducing a patient or a trainee to change his or her body position accordingly. In addition, by measuring similarity with the additionally photographed area, if the similarity is low, the similarity score is low, indicating that the patient or the subject is not the area to be photographed before the radiography, or that the posture is incorrect. Reconfirmation with the patient or practitioner is possible.
또한, 이 경우, 촬영 대상영역이 아닌 경우 기존의 영상 데이터베이스에서 현재 촬영영역이 어느 위치인지 판단(인식)하고, 촬영대상 영역이 어디인지를 디스플레이로 제안하는 것도 가능하다.In this case, it is also possible to determine (recognize) where the current photographing area is in the existing image database and to suggest where the photographing area is in the display if it is not the photographing subject area.
이상에서 설명한 것은 본 발명에 의한 증강현실 기반의 엑스선 영상 표시 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.What has been described above is just one embodiment for implementing the augmented reality-based X-ray image display method according to the present invention, the present invention is not limited to the above embodiment, as claimed in the following claims Without departing from the gist of the invention, those skilled in the art to which the present invention pertains to the technical spirit of the present invention to the extent that various modifications can be made.
Claims (6)
인체의 위치별로 매칭되어 있는 카메라 이미지와 방사선 이미지를 갖는 기준 이미지 데이터베이스를 획득하는 단계;
실제 환자 또는 피실습자의 카메라 이미지를 상기 기준 이미지 데이터베이스의 카메라 이미지와 비교하는 단계; 및
상기 기준 이미지데이터베이스의 카메라 이미지 중에서 상기 실제 환자 또는 피실습자의 카메라 이미지와 유사도가 가장 높은 카메라 이미지를 선택하고, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함하는 증강현실 기반의 엑스선 영상 표시 방법.An augmented reality-based X-ray image display method comprising a radiation camera for performing a radiography and a main camera positioned on at least one side of the radiation camera to take an image of a human body,
Obtaining a reference image database having a camera image and a radiation image matched for each position of the human body;
Comparing camera images of actual patients or trainees with camera images in the reference image database; And
From the camera images of the reference image database, the camera image having the highest similarity to the camera image of the real patient or the trainee is selected, and the radiographic image matched to the selected camera image is the expected radiographic image of the real patient or the trainee. Augmented reality-based X-ray image display method comprising the steps of synthesizing and displaying.
상기 기준 이미지 데이터베이스를 획득하는 단계는
상기 방사선 카메라의 방사선 이미지를 기준으로 상기 주 카메라의 카메라 이미지를 보정하는 단계;
상기 방사선 이미지와 카메라 이미지를 매칭하는 단계; 및
상기 방사선 이미지와 카메라 이미지의 쌍으로써 상기 기준 이미지 데이터베이스에 저장하는 단계를 포함하는 증강현실 기반의 엑스선 영상 표시 방법.The method of claim 1,
Acquiring the reference image database
Correcting a camera image of the main camera based on the radiation image of the radiation camera;
Matching the radiation image with the camera image; And
And storing the radiographic image as a pair of camera images in the reference image database.
상기 기준 이미지 데이터베이스를 획득하는 단계는
인체의 3D 영상 및 뼈의 형상을 모델링하고, 상기 3D 영상 및 뼈의 형상을 방사선 촬영 자세로 위치시켜서, 상기 방사선 이미지 및 카메라 이미지를 획득하는 증강현실 기반의 엑스선 영상 표시 방법.The method of claim 1,
Acquiring the reference image database
An augmented reality-based X-ray image display method of modeling the shape of the 3D image and the bone of the human body, and the shape of the 3D image and the bone in a radiographic position to obtain the radiographic image and the camera image.
선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는
상기 실제 환자 또는 피실습자의 카메라 영상을 기준으로 상기 선택된 카메라 이미지를 보정하고, 상기 선택된 카메라 이미지의 보정에 부합하도록 상기 매칭된 방사선 이미지를 보정하여 표시하는 증강현실 기반의 엑스선 영상 표시 방법.The method of claim 1,
Displaying a radiographic image matched to a selected camera image by combining it with a camera image of the actual patient or trainee as an expected radiographic image
An augmented reality-based X-ray image display method of correcting the selected camera image based on the camera image of the actual patient or the trainee, and corrected and displayed the matched radiographic image to match the correction of the selected camera image.
선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는
상기 실제 환자 또는 피실습자의 카메라 이미지에 대해 보조 카메라의 열화상 영상을 매칭하여 인체의 영역 분할을 수행하는 증강현실 기반의 엑스선 영상 표시 방법.The method of claim 1,
Displaying a radiographic image matched to a selected camera image by combining it with a camera image of the actual patient or trainee as an expected radiographic image
An augmented reality-based X-ray image display method of performing segmentation of a human body by matching a thermal image of an auxiliary camera to a camera image of the actual patient or a trainee.
상기 색상에서 기준값 이상의 변화가 있는 경우, 상기 실제 환자 또는 피실습자가 옷을 입을 것으로 판단하고, 기준값 미만의 변화만 있는 경우 상기 실제 환자 또는 피실습자가 옷을 입지 않은 것으로 판단하여, 상기 기준 이미지데이터베이스로부터 해당되는 상황의 방사선 이미지를 추출하여 표시하는 증강현실 기반의 엑스선 영상 표시 방법.The method of claim 5, wherein
If there is a change in the color above the reference value, it is determined that the actual patient or the trainee is dressed, and if there is only a change below the reference value, it is determined that the actual patient or the trainee is not dressed, and the reference image database Augmented reality-based X-ray image display method for extracting and displaying a radiographic image of the situation from the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (en) | 2018-08-27 | 2018-08-27 | X-ray Image Display Method Based On Augmented Reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (en) | 2018-08-27 | 2018-08-27 | X-ray Image Display Method Based On Augmented Reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200023968A true KR20200023968A (en) | 2020-03-06 |
| KR102204309B1 KR102204309B1 (en) | 2021-01-19 |
Family
ID=69802556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (en) | 2018-08-27 | 2018-08-27 | X-ray Image Display Method Based On Augmented Reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102204309B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021200000A1 (en) * | 2020-03-30 | 2021-10-07 | 富士フイルム株式会社 | Imaging assistance device, operating method therefor, and operating program |
| KR102366326B1 (en) * | 2021-03-25 | 2022-02-23 | 박준 | Medical Treatment System Using AI Big Data Based on Mixed Reality and Lesion information providing Method Using the Same |
| KR102629703B1 (en) * | 2022-11-28 | 2024-01-29 | 제이피아이헬스케어 주식회사 | Apparatus for cone beam computed tomography including thermo camera and the opesration method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140084675A (en) * | 2012-12-27 | 2014-07-07 | 전자부품연구원 | Multiple Human Face Detection Method And Electronic Device supporting the same |
| KR20170132028A (en) * | 2016-05-23 | 2017-12-01 | 건양대학교산학협력단 | Virtual x-ray radiography system for practical training in medical imaging |
| KR101834081B1 (en) * | 2016-08-30 | 2018-03-02 | 오주영 | Method for displaying 3d image and radiography guide system and method using 3d image |
| KR20180057203A (en) * | 2016-11-22 | 2018-05-30 | 오주영 | Radiography guide system and method using camera image |
-
2018
- 2018-08-27 KR KR1020180100529A patent/KR102204309B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140084675A (en) * | 2012-12-27 | 2014-07-07 | 전자부품연구원 | Multiple Human Face Detection Method And Electronic Device supporting the same |
| KR20170132028A (en) * | 2016-05-23 | 2017-12-01 | 건양대학교산학협력단 | Virtual x-ray radiography system for practical training in medical imaging |
| KR101834081B1 (en) * | 2016-08-30 | 2018-03-02 | 오주영 | Method for displaying 3d image and radiography guide system and method using 3d image |
| KR20180057203A (en) * | 2016-11-22 | 2018-05-30 | 오주영 | Radiography guide system and method using camera image |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021200000A1 (en) * | 2020-03-30 | 2021-10-07 | 富士フイルム株式会社 | Imaging assistance device, operating method therefor, and operating program |
| KR102366326B1 (en) * | 2021-03-25 | 2022-02-23 | 박준 | Medical Treatment System Using AI Big Data Based on Mixed Reality and Lesion information providing Method Using the Same |
| KR102629703B1 (en) * | 2022-11-28 | 2024-01-29 | 제이피아이헬스케어 주식회사 | Apparatus for cone beam computed tomography including thermo camera and the opesration method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102204309B1 (en) | 2021-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3406196A1 (en) | X-ray system and method for standing subject | |
| JP5145170B2 (en) | Medical image evaluation device | |
| US7881508B2 (en) | Method, apparatus, and program for judging medical images | |
| KR20200023968A (en) | X-ray Image Display Method Based On Augmented Reality | |
| CN111757701B (en) | System and method for detecting anatomical regions | |
| KR101879169B1 (en) | Radiography guide system and method using camera image | |
| EP3900617A1 (en) | A method and apparatus based on 3d camera for automated measurement preparation in mri system | |
| CN107752979B (en) | Automatic generation method of artificial projection, medium and projection image determination device | |
| CN109925054B (en) | Auxiliary method, device and system for determining target point path and readable storage medium | |
| US20170270678A1 (en) | Device and method for image registration, and non-transitory recording medium | |
| US11779288B2 (en) | Methods, systems, and apparatus for determining radiation doses | |
| JP2001157199A (en) | Image processor, photographing device, system and method for processing image and storage medium | |
| CN109925053B (en) | Method, device and system for determining surgical path and readable storage medium | |
| KR20180071838A (en) | Simulation system for X-ray imaging apparatus | |
| US20240062367A1 (en) | Detecting abnormalities in an x-ray image | |
| CN111261303B (en) | Method and apparatus for guiding a patient | |
| RU2762146C1 (en) | Medical image processing device, medical image processing method and data carrier | |
| JP2021097864A (en) | Image determination device, image determination method, and program | |
| KR101834081B1 (en) | Method for displaying 3d image and radiography guide system and method using 3d image | |
| EP3968215A1 (en) | Determining target object type and position | |
| WO2021100906A1 (en) | Method for displaying virtual x-ray image by using deep neural network | |
| KR20190143657A (en) | Apparatus and method for alignment of bone suppressed chest x-ray image | |
| EP4144298A1 (en) | Object visualisation in x-ray imaging | |
| WO2023023956A1 (en) | Method and apparatus for visualization of touch panel to object distance in x-ray imaging | |
| EP4179976A1 (en) | Assisting scapula positioning in chest x-ray imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |