KR102204309B1 - 증강현실 기반의 엑스선 영상 표시 방법 - Google Patents
증강현실 기반의 엑스선 영상 표시 방법 Download PDFInfo
- Publication number
- KR102204309B1 KR102204309B1 KR1020180100529A KR20180100529A KR102204309B1 KR 102204309 B1 KR102204309 B1 KR 102204309B1 KR 1020180100529 A KR1020180100529 A KR 1020180100529A KR 20180100529 A KR20180100529 A KR 20180100529A KR 102204309 B1 KR102204309 B1 KR 102204309B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- radiation
- radiation image
- trainee
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 230000005855 radiation Effects 0.000 claims abstract description 91
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 238000002601 radiography Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/08—Auxiliary means for directing the radiation beam to a particular spot, e.g. using light beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명에서는 증강현실 기반의 엑스선 영상 표시 방법이 개시된다.
일 예로, 방사선 촬영을 수행하는 방사선 카메라와, 상기 방사선 카메라의 적어도 일측에 위치하여 인체의 이미지를 촬영하는 주 카메라를 포함하는 증강현실 기반의 엑스선 영상 표시 방법으로서, 인체의 위치 별로 카메라 이미지와 방사선 이미지가 매칭되어 학습되어 있는 방사선 이미지 예측 모델을 획득하는 단계; 실제 환자 또는 피실습자의 카메라 이미지를 방사선 이미지 예측 모델에 입력하여 예측하는 단계; 및 상기 방사선 이미지 예측모델에서 상기 실제 환자 또는 피실습자의 카메라 이미지를 적용하여 방사선 이미지를 예측하여 생성하고, 생성된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함하는 증강현실기반의 엑스선 영상 표시 방법이 개시된다.
일 예로, 방사선 촬영을 수행하는 방사선 카메라와, 상기 방사선 카메라의 적어도 일측에 위치하여 인체의 이미지를 촬영하는 주 카메라를 포함하는 증강현실 기반의 엑스선 영상 표시 방법으로서, 인체의 위치 별로 카메라 이미지와 방사선 이미지가 매칭되어 학습되어 있는 방사선 이미지 예측 모델을 획득하는 단계; 실제 환자 또는 피실습자의 카메라 이미지를 방사선 이미지 예측 모델에 입력하여 예측하는 단계; 및 상기 방사선 이미지 예측모델에서 상기 실제 환자 또는 피실습자의 카메라 이미지를 적용하여 방사선 이미지를 예측하여 생성하고, 생성된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함하는 증강현실기반의 엑스선 영상 표시 방법이 개시된다.
Description
본 발명은 증강현실 기반의 엑스선 영상 표시 방법에 관한 것이다.
방사선 촬영은 환자의 상태를 빠르고 확실하게 파악을 할 수 있는 반드시 필요한 의료기술이지만, 사용 시 인체에 일정 해를 가하는 위험한 기술이기도 하다. 따라서, 정확하고 안전한 방사선 촬영과 정확한 결과물은 방사선사의 가장 큰 과업이라 할 수 있다. 하지만, 방사선사의 촬영 기술의 숙련은 결국 수많은 환자 등을 대상으로 한 반복적인 촬영 실패와 재촬영(fail and repeat)을 통해 얻어질 수 밖에 없기 때문에, 반복적인 재촬영으로 인한 공공의 피해가 발생하게 된다. 이에 따라, 식약처를 중심으로 한 국가 기관에서는 의료 방사선 피폭량을 줄이기 위한 방안에 고심하고 있다.
본 발명은 증강현실 기반의 엑스선 영상 표시 방법을 제공한다.
본 발명에 따른 증강현실 기반의 엑스선 영상 표시 방법은 방사선 촬영을 수행하는 방사선 카메라와, 상기 방사선 카메라의 적어도 일측에 위치하여 인체의 이미지를 촬영하는 주 카메라를 포함하는 증강현실 기반의 엑스선 영상 표시 방법으로서, 인체의 위치별로 카메라 이미지와 방사선 이미지가 매칭되어 학습되어 있는 방사선 이미지 예측 모델을 획득하는 단계; 실제 환자 또는 피실습자의 카메라 이미지를 방사선 이미지 예측 모델에 입력하여 예측하는 단계; 및 상기 방사선 이미지 예측 모델에서 상기 실제 환자 또는 피실습자의 카메라 이미지를 적용하여 방사선 이미지를 예측하여 생성하고 생성된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함할 수 있다.
그리고 상기 방사선 이미지 예측모델을 획득하는 단계는 상기 방사선 카메라의 방사선 이미지를 기준으로 상기 주 카메라의 카메라 이미지를 보정하는 단계; 상기 방사선 이미지와 카메라 이미지를 매칭하는 단계; 및 상기 방사선 이미지와 카메라이미지의 쌍으로써 학습용 이미지 데이터 베이스에 저장되어 방사선 이미지 예측 모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 방사선 이미지 예측 모델을 획득하는 단계는 인체의 3D 영상 및 뼈의 형상을 모델링하고, 상기 3D 영상 및 뼈의 형상을 방사선 촬영 자세로 위치시켜서, 상기 방사선 이미지 및 카메라 이미지를 학습용 이미지 데이터 베이스에 저장하여 학습하는 것일 수 있다.
또한, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는 상기 실제 환자 또는 피실습자의 카메라 영상을 기준으로 상기 선택된 카메라 이미지를 보정하고, 상기 선택된 카메라 이미지의 보정에 부합하도록 상기 매칭된 방사선 이미지를 보정하여 표시하는 것일 수 있다.
또한, 선택된 카메라 이미지에 매칭된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는 상기 실제 환자 또는 피실습자의 카메라 이미지에 대해 보조 카메라의 열화상 영상을 매칭하여 인체의 영역 분할을 수행하는 것일 수 있다.
또한, 상기 색상에서 기준값 이상의 변화가 있는 경우, 상기 실제 환자 또는 피실습자가 옷을 입을 것으로 판단하고, 기준값 미만의 변화만 있는 경우 상기 실제 환자 또는 피실습자가 옷을 입지 않은 것으로 판단하여, 상기 기준 이미지데이터베이스로부터 해당되는 상황의 방사선 이미지를 추출하여 표시하는 것일 수 있다.
본 발명에 의한 증강현실 기반의 방사선 영상 표시 방법은 미리 학습한 인체 위치별 카메라 이미지에서 예측할 수 있는 방사선 이미지 예측 모델을 실제 환자 또는 피실습자의 카메라 이미지에 적용하고 방사선 이미지를 예측하여 표시함으로써, 방사선에 노출됨이 없이 환자가 방사선 촬영을 위한 위치를 확인하거나, 피실습자가 방사선 촬영 연습을 수행하도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법의 플로우차트이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 데이터베이스 획득 단계에서 방사선 이미지 예측 모델 획득의 세부 단계를 도시한 플로우챠트이다.
도 3a는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에 사용되는 촬영 장비를 도시한 개략도이다.
도 3b는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 카메라 이미지의 보정을 수행하는 과정을 도시한 개념도이다.
도 3c 및 도 3d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 학습용 이미지를 획득하기 위해 카메라 이미지와 방사선 이미지를 사전 촬영된 카메라 이미지 또는 3D 모델영상을 이용하여 심층학습을 통해 학습하여 매칭하는 단계를 도시한 개념도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 학습된 모델을 토대로 예측된 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.
도 5는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 가이드 라인을 함께 표시하는 단계를 도시한 개념도이다.
도 2는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 데이터베이스 획득 단계에서 방사선 이미지 예측 모델 획득의 세부 단계를 도시한 플로우챠트이다.
도 3a는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에 사용되는 촬영 장비를 도시한 개략도이다.
도 3b는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 카메라 이미지의 보정을 수행하는 과정을 도시한 개념도이다.
도 3c 및 도 3d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 학습용 이미지를 획득하기 위해 카메라 이미지와 방사선 이미지를 사전 촬영된 카메라 이미지 또는 3D 모델영상을 이용하여 심층학습을 통해 학습하여 매칭하는 단계를 도시한 개념도이다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 학습된 모델을 토대로 예측된 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.
도 5는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 가이드 라인을 함께 표시하는 단계를 도시한 개념도이다.
본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법의 플로우차트이다. 도 2는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 데이터베이스 획득 단계에서 방사선 이미지 예측 모델 학습 의 세부 단계를 도시한 플로우챠트이다.
먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법은 기준 이미지 데이터베이스 획득 단계(S1), 실제 촬영 이미지 비교 단계(S2), 예상 방사선 이미지 표시 단계(S3)를 포함할 수 있다.
한편, 도 1과 도 2를 함께 참조하면, 상기 기준 이미지 데이터베이스 획득 단계(S1)는 카메라 이미지 보정 단계(S11), 카메라 영상과 방사선 이미지 매칭 단계(S12), 기준 이미지 저장 단계(S13)를 포함하여 이루어질 수 있다.
도 3a는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에 사용되는 촬영 장비를 도시한 개략도이다 도 3b는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 카메라 이미지의 왜곡 보정을 수행하는 과정을 도시한 개념도이다. 도 3c 및 도 3d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 기준 이미지 예측 모델을 학습하여 획득하기 위해 카메라 이미지와 방사선 이미지를 매칭하는 단계를 도시한 개념도이다.
먼저, 상기 기준 이미지 데이터베이스 획득 단계(S1) 중 상기 카메라 이미지 보정 단계(S11)는 도 3a의 촬영 장비를 통해 카메라 이미지와 방사선 이미지를 함께 획득하는 것으로 시작될 수 있다. 여기서, 카메라 이미지는 방사선 카메라의 측면에 위치한 주 카메라 또는 보조 카메라(혹은 센서)를 통해 촬영될 수 있다. 또한, 주 카메라 또는 보조 카메라는 촬영을 위해 가시광선, 열화상 카메라를 사용하거나, 또는 경우에 따라 초음파 센서를 사용하는 것이 가능할 수 있다.
한편, 방사선 이미지는 장비 중앙에 위치한 방사선 카메라를 통해 촬영될 수 있다. 다만, 주 카메라 및 보조 카메라는 실제 방사선 카메라와 각도에서 차이가 있기 때문에, 촬영된 카메라 이미지에서 왜곡이 발생할 수 있다. 이 경우, 도 3b와 같이 실제 카메라 이미지를 방사선 이미지와 비교하고, 방사선 이미지를 기준으로 카메라 이미지의 형태를 보정하여, 왜곡 오차를 줄이는 보정이 수행될 수 있다.
또한, 도 3c와 같이, 기준 이미지를 얻을 전체 크기는 카세트(네모난 모양)의 크기로 잘라내게 되는데, i) 카세트를 사용할 때에는, 에지 검출(edge detection) 또는 형태(shape) 인식 방법 등을 사용하여 카세트 크기, 모양을 인식하여 이미지를 잘라 저장할 수 있고, ii) 카세트를 사용하지 않거나 몸으로 카세트를 완전히 덮어 보이지 않는 경우에는, 엑스선 조사야 (촬영할 때, 촬영 영역에 네모난 빛을 쏘아 촬영 영역을 설정함)의 빛 영역, 기존에 촬영방법에 따라 설정된 값, 엑스선 사진의 촬영범위로 역산출된 영역 값, 또는 수동 설정 등으로 카세트 위치와 영역을 산출할 수 있다.
또한, 생성된 최종적으로 후 처리된 인체 이미지에 대해 촬영된 방사선 이미지를 함께 매칭하여, 최종적인 이미지를 학습하여 방사선 이미지 예측 모델을 저장를 저장할 수 있다.
그리고 도 3d와 같이, 각 인체의 위치 및 자세 별로 카메라 이미지와 방사선 이미지를 각각 매칭하여 필터링을 진행하여 만들어진 후처리 이미지로서 학습을 진행, 또는 경우에 따라 가시광선 영상 원본 보조 카메라(열화상) 영상 원본 보조 카메라(열화상)을 통해 필터링을 진행하여 후처리 영상을 통해 학습을 진행하면, 최종적인 방사선 이미지 예측 모델을 획득하는 것이 가능하게 된다.
한편, 여기서, 데이터 베이스를 획득하는 단계(S1)는 실제 방사선 조사를 통한 이미지 외에도 인체의 3D 영상, 뼈의 모형을 모델링하는 방법을 사용 가능하다. 인체의 3D 영상과 뼈의 모형을 통해 방사선 촬영 자세를 만들고, 여기에 따른 방사선 영상을 매칭하여 학습용 이미지 데이터베이스를 획득할 수 있다. 또한, 기존의 실제 환자의 데이터를 기반으로, 위의 3D 영상, 뼈의 모형에 대해 체형별(나이, 인종, 성별, 키, 몸무게)로 반복하여 진행 및 저장하는 것이 가능하다. 그리고 데이터 베이스에서 저장된 영상의 위치, 각도, 크기 등을 변경해 가면서 자료를 증대(Data augmentation)할 수 있다. 마지막으로 인체와 뼈의 모형을 영역 분할(segmentation)하고 향후 카메라 영상에서 적용될 필터와 같은 필터 처리를 통해저장하여 심층학습을 수행하는 것도 가능하다.
도 4a 내지 도 4d는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 예측 가능한 방사선 이미지를 매칭하는 단계를 도시한 개념도이다. 도 5는 본 발명의 실시예에 따른 증강현실 기반 방사선 영상 표시 방법에서 실제 환자의 카메라 영상에 대해 가이드 라인을 함께 표시하는 단계를 도시한 개념도이다.
도 1과 함께 도 4a 내지 도 4d를 함께 참조하면, 상기 실제 촬영 이미지 비교 단계(S2)는 실제 환자의 방사선 촬영 또는 해당 장비를 이용한 실습 과정에서 피실습자의 방사선 촬영 연습에서 촬영된 카메라 이미지를 상기 방사선 이미지 예측 모델에 입력하여 예측하는 단계이다. 여기서, 실제 방사선 촬영을 진행하기 전이기 때문에, 환자 또는 피실습자는 방사선에 노출되지 않을 수 있다. 또한, 도 4a와 같이, 환자 또는 피실습자의 카메라 영상에서 에지 검출 또는 이와 함께 열화상 카메라 화면을 통한 이미지를 획득하고, 상기 방사선 이미지 예측 모델로부터 이와 유사한 방사선 이미지를 예측할 수 있다.
또한, 상기 예상 방사선 이미지 표시 단계(S3)는 검색된 카메라 이미지와 매칭된 예상 방사선 이미지를 화면에 표시하는 단계이다. 여기서, 환자 또는 피실습자의 인체 위치는 학습에서 사용된 카메라 이미지의 촬영시의 인체(또는 3D 영상)와 비교할 때, 위치에서 차이가 있을 수 있다. 이 경우, 도 4b 및 도 4c와 같이, 환자 또는 피실습자의 카메라 이미지의 위치를 옮기거나 필터링하여 후처리된 영상을 방사선 예측 모델에 입력할 수 있다. 결과적으로 실제 환자 또는 피실습자의 카메라 이미지에 대응되는 예상 방사선 이미지가 도출될 수 있다.
한편, 주 카메라의 카메라 이미지와 보조 카메라의 열화상 이미지는 실제 환자 또는 피실습자의 인체 위치 파악에 도움을 줄 수 있다. 구체적으로, 보조 카메라의 열화상 이미지를 통해 피부의 온도를 측정하여 색상으로서 시각화할 수 있고, 이를 가시광선을 통해 얻은 주 카메라의 이미지에 대해 색상을 입혀서 인체 영역 분할(segmentation)을 보다 정확하게 수행할 수 있다.
또한, 만약 가시광선을 통해 표시된 색상에서 기준값 이상의 급격한 변화가 없다면 실제 환자 또는 피실습자가 해당 인체에 대해 옷을 입지 않은 것으로 판단하여 기존 방사선 이미지 예측 모델을 그대로 사용할 수 있다. 반면, 색상에서 변화가 기준값 이상인 급격한 변화가 있다면, 실제 촬영되는 이미지로부터 옷 부분의 범위의 비율을 계산하는 단계가 이루어질 수 있다. 그리고 만약 옷의 비율이 기준값 미만일 때는 옷 부분을 제거하고 나머지 인체에 대해서만 예측 모델을 적용한다. 반면, 옷의 비율이 기준값 이상일 때, 옷이 있는 경우를 가정한 예측 모델을 검색하여 적용하는 것이 가능할 수 있다.
한편, 도 5를 참조하면, 예상 방사선 이미지 외에도 실제 환자 또는 피실습자의 카메라 이미지에 대해 방사선 촬영에 적합한 위치를 가이드하기 위한 라인이 더 표시될 수 있다. 여기서 가이드 라인은 상기 학습용 이미지 데이터베이스에 저장되어 있는 카메라 이미지로부터 생성되며, 실제 영상과 구별되는 선으로 표시하여, 환자 또는 피실습자가 자신의 인체 위치를 이에 따라 변경하도록 유도할 수 있다. .또한, 추가로 촬영되는 영역과 유사도를 측정하고, 유사도가 낮은 경우 유사도 점수가 낮음을 표시하여, 환자나 피실습자에게 방사선 촬영 전에 촬영 대상 영역이 아님, 혹은 자세가 잘못 되었음을 방사선사, 실제 환자 혹은 실습자에게 재확인 할 수 있다.
또한, 이 경우, 촬영 대상영역이 아닌 경우 기존의 영상 데이터베이스에서 현재 촬영영역이 어느 위치인지 판단(인식)하고, 촬영대상 영역이 어디인지를 디스플레이로 제안하는 것도 가능하다.
이상에서 설명한 것은 본 발명에 의한 증강현실 기반의 엑스선 영상 표시 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
Claims (6)
- 인체의 이미지를 촬영하는 주 카메라를 포함하는 증강현실 기반의 엑스선 영상 표시 방법으로서,
인체의 위치별로 후처리된 카메라 이미지와 방사선 이미지가 매칭되어 학습되어 있는 방사선 이미지 예측 모델을 획득하는 단계;
실제 환자 또는 피실습자의 카메라 이미지를 방사선 이미지 예측 모델에 입력하여 예측하는 단계; 및
상기 방사선 이미지 예측모델에서 상기 실제 환자 또는 피실습자의 카메라 이미지를 적용하여 방사선 이미지를 예측하여 생성하고, 생성된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계를 포함하는 증강현실 기반의 엑스선 영상 표시 방법. - 제 1 항에 있어서,
상기 방사선 이미지 예측 모델을 획득하는 단계는
방사선 카메라의 방사선 이미지를 기준으로 상기 주 카메라의 카메라 이미지 왜곡을 보정하는 단계;
상기 방사선 이미지와 카메라 이미지를 매칭하는 단계; 및
상기 방사선 이미지와 카메라 이미지의 쌍으로써 상기 방사선 이미지 예측모델로 학습하는 단계를 포함하는 증강현실 기반의 엑스선 영상 표시 방법. - 제 1 항에 있어서,
상기 방사선 이미지 예측 모델을 획득하는 단계는
인체의 3D 영상 및 뼈의 형상을 모델링하고, 상기 3D 영상 및 뼈의 형상을 방사선 촬영 자세로 위치시키고 필터를 적용하여, 학습을 위한 방사선 이미지 및 카메라 이미지를 획득하는 증강현실 기반의 엑스선 영상 표시 방법. - 제 1 항에 있어서,
카메라 이미지를 통해 예측된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는
상기 실제 환자 또는 피실습자의 카메라 영상을 보정하고, 필터를 적용하여 예측된 방사선 이미지 모델에 입력하고, 상기 보정된 방사선 이미지를 표시하는 증강현실 기반의 엑스선 영상 표시 방법. - 제 1 항에 있어서,
카메라 이미지를 통해 예측된 방사선 이미지를 예상 방사선 이미지로서 상기 실제 환자 또는 피실습자의 카메라 이미지에 합성하여 표시하는 단계는
상기 실제 환자 또는 피실습자의 카메라 이미지에 대해 보조 카메라의 열화상 영상을 매칭하여 인체의 영역 분할을 수행하는 증강현실 기반의 엑스선 영상 표시 방법. - 제 5 항에 있어서,
상기 열화상 영상의 색상에서 기준값 이상의 변화가 있는 경우, 상기 실제 환자 또는 피실습자가 옷을 입을 것으로 판단하고, 기준값 미만의 변화만 있는 경우 상기 방사선 이미지 예측 모델로부터 해당되는 상황의 방사선 이미지를 예측하여 표시하는 증강현실 기반의 엑스선 영상 표시 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (ko) | 2018-08-27 | 2018-08-27 | 증강현실 기반의 엑스선 영상 표시 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (ko) | 2018-08-27 | 2018-08-27 | 증강현실 기반의 엑스선 영상 표시 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200023968A KR20200023968A (ko) | 2020-03-06 |
| KR102204309B1 true KR102204309B1 (ko) | 2021-01-19 |
Family
ID=69802556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180100529A KR102204309B1 (ko) | 2018-08-27 | 2018-08-27 | 증강현실 기반의 엑스선 영상 표시 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102204309B1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115413230A (zh) * | 2020-03-30 | 2022-11-29 | 富士胶片株式会社 | 摄影辅助装置、其工作方法及工作程序 |
| KR102366326B1 (ko) * | 2021-03-25 | 2022-02-23 | 박준 | 혼합현실 기반의 인공지능 빅데이터를 활용한 의료 진료 시스템 및 이를 이용한 병변 정보 제공방법 |
| KR102629703B1 (ko) * | 2022-11-28 | 2024-01-29 | 제이피아이헬스케어 주식회사 | 열화상장치를 포함하는 cbct 장치 및 장치의 동작 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101834081B1 (ko) | 2016-08-30 | 2018-03-02 | 오주영 | 3d 영상 디스플레이 방법 및 3d 영상을 이용한 방사선 촬영 가이드 시스템 및 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101427616B1 (ko) * | 2012-12-27 | 2014-08-11 | 전자부품연구원 | 다중 사용자 얼굴 검출 방법 및 이를 지원하는 단말 장치 |
| KR101806026B1 (ko) * | 2016-05-23 | 2017-12-07 | 건양대학교산학협력단 | 엑스선 촬영 실습용 가상 엑스선 촬영 시스템 |
| KR101879169B1 (ko) * | 2016-11-22 | 2018-07-17 | 오주영 | 카메라 영상을 이용한 방사선 촬영 가이드 시스템 및 방법 |
-
2018
- 2018-08-27 KR KR1020180100529A patent/KR102204309B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101834081B1 (ko) | 2016-08-30 | 2018-03-02 | 오주영 | 3d 영상 디스플레이 방법 및 3d 영상을 이용한 방사선 촬영 가이드 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200023968A (ko) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11017547B2 (en) | Method and system for postural analysis and measuring anatomical dimensions from a digital image using machine learning | |
| US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| US10507002B2 (en) | X-ray system and method for standing subject | |
| KR102264014B1 (ko) | 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램 | |
| US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| US9858667B2 (en) | Scan region determining apparatus | |
| US11430564B2 (en) | Personalized patient positioning, verification and treatment | |
| KR102204309B1 (ko) | 증강현실 기반의 엑스선 영상 표시 방법 | |
| US9230322B2 (en) | Image processor, treatment system, and image processing method | |
| CN111757701B (zh) | 用于检测解剖区域的系统和方法 | |
| CN109925053B (zh) | 手术路径的确定方法、装置和系统、可读存储介质 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN107752979B (zh) | 人工投影的自动生成方法、介质和投影图像确定装置 | |
| US20230169666A1 (en) | Methods and systems for image registration | |
| CN109934798A (zh) | 体内目标物信息标注方法及装置、电子设备、存储介质 | |
| KR20160057024A (ko) | 마커리스 ３차원 객체추적 장치 및 그 방법 | |
| US20240062367A1 (en) | Detecting abnormalities in an x-ray image | |
| CN111261303B (zh) | 用于指导患者的方法和装置 | |
| US11803970B2 (en) | Image judgment device, image judgment method, and storage medium | |
| CN108143501A (zh) | 一种基于体表静脉特征的解剖投影方法 | |
| KR20220169134A (ko) | 인공지능 기반 온쓸개관돌의 단층 촬영 이미지 판독 장치, 시스템, 방법 및 프로그램 | |
| GB2602163A (en) | System for determining body measurements from images | |
| WO2021100906A1 (ko) | 심층신경망을 이용한 가상 엑스레이 영상 표시 방법 | |
| KR101834081B1 (ko) | 3d 영상 디스플레이 방법 및 3d 영상을 이용한 방사선 촬영 가이드 시스템 및 방법 | |
| CN113643788B (zh) | 基于多个图像获取设备确定特征点的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |