KR102643131B1 - 엑스선 영상과 형광 영상 정합 장치 및 그 방법 - Google Patents

엑스선 영상과 형광 영상 정합 장치 및 그 방법 Download PDF

Info

Publication number
KR102643131B1
KR102643131B1 KR1020160146946A KR20160146946A KR102643131B1 KR 102643131 B1 KR102643131 B1 KR 102643131B1 KR 1020160146946 A KR1020160146946 A KR 1020160146946A KR 20160146946 A KR20160146946 A KR 20160146946A KR 102643131 B1 KR102643131 B1 KR 102643131B1
Authority
KR
South Korea
Prior art keywords
image
checkerboard
ray
ray image
fluorescence
Prior art date
Application number
KR1020160146946A
Other languages
English (en)
Other versions
KR20180050138A (ko
Inventor
신기영
진승오
강동구
배영민
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020160146946A priority Critical patent/KR102643131B1/ko
Publication of KR20180050138A publication Critical patent/KR20180050138A/ko
Application granted granted Critical
Publication of KR102643131B1 publication Critical patent/KR102643131B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A61B6/5241—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT combining overlapping images of the same imaging modality, e.g. by stitching
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/42—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4266—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a plurality of detector units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/485—Diagnostic techniques involving fluorescence X-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54—Control of apparatus or devices for radiation diagnosis

Abstract

본 발명은 엑스선 영상과 형광 영상 정합 장치 및 그 방법에 관한 것으로, 특히 체커보드(checker board) 패턴을 이용하여 호모그래피 행렬(Homography matrix)을 산출하여 엑스선 영상과 형광 영상을 정합하는 엑스선 영상과 형광 영상 정합 장치 및 그 방법에 관한 것이다.
또한, 본 발명에 따르면, 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 형광 영상 획득 모듈; 피검체로 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 영상 획득 모듈; 및 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성한 후에 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 데이터 처리부를 포함하는 엑스선 영상과 형광 영상 정합 장치 및 방법을 제공한다.

Description

엑스선 영상과 형광 영상 정합 장치 및 그 방법{Co-registration apparatus and method for x-ray image and fluorescence image}
본 발명은 엑스선 영상과 형광 영상 정합 장치 및 그 방법에 관한 것으로, 특히 체커보드(checker board) 패턴을 이용하여 호모그래피 행렬(Homography matrix)을 산출하여 엑스선 영상과 형광 영상을 정합하는 엑스선 영상과 형광 영상 정합 장치 및 그 방법에 관한 것이다.
종래 엑스선 영상과 형광 영상을 동시에 촬영하기 위해 융합 영상 시스템이 개발되었다.
이 융합 시스템은 카메라와 X-선 디텍터라는 서로 다른 하드웨어에서 영상이 촬영되며, 실제 실험에서는 두 개의 영상장치에서 나온 영상을 하나로 융합하여야 임상적인 의미를 가진다.
종래 일부 장비에서는 형광 영상과 엑스선 영상을 동일한 카메라를 이용하여 영상을 획득하였기 때문에 별도의 정합(co-registration) 과정이 필요하지 않을 수 있으나, 이 경우에 엑스선 영상은 X-ray를 빛으로 변환시키는 신틸레이터를 통해 카메라로 X선 영상을 획득할 수 있어, 신틸레이터의 빛 산란 등으로 해상도에 한계가 있기 때문에 형광영상은 카메라로, 엑스선 영상은 디텍터를 사용하는 것이 바람직하다.
이처럼 서로 다른 촬영 장치를 사용하는 경우에 정합이 필요하며, 상용 소프트웨어에서는 자동화된 알고리즘에 의해 정합이 지원되지 않아 사용자가 영상의 스케일 조절, 회전, 이동의 과정을 거쳐 두 영상을 정합시켰다.
이와 관련하여 최근 논문에서는 실험체 주위에 두가지 이상의 장비에서 인식가능한 마커를 2개이상 배치하여 정합을 위한 정보를 획득하여 정합하는 기술과 서로 다른 영상기법에 의해 획득한 영상에서 외곽선 정보를 추출하여 Euclidean affine transformation 파라미터를 계산하여 정합시키는 기술을 개시하고 있다.
그러나 이와 같은 종래기술은 1) 변환 행렬을 계산하기 위한 마커 또는 특징점의 수가 제한적이기 때문에 변환 행렬의 정확도가 제한적이며, 2) Euclidean Affine Transformation 가정이 벗어날 경우 오차가 증가할 수 있고, 3) 변환 행렬을 매 실험마다 계산하여 정합하여야 하기 때문에 사용하기에 불편하다.
한국 등록특허 KR 10-0702148호 미국 출원 US 13/576175호 미국 출원 US 13/576178호
1. Ayelet Akselrod-Ballin et. al., Multimodal correlative preclinical whole body imaging and segmentation, Scientific reports, vol. 6, 2016. 2. Xiao Tong, Co-registration of fluorescence diffuse optical tomograpyh(fFOT) with Positron emmission tomography(PET) and development of multi-angle fDOT, Doctor's thesis, 2012. 3. Zheng Xiz et. al., Registration of 3-D CT and 2-D Flat Images of Mouse via Affine Transformation, IEEE transactions on information technology in biomedicine, vol. 12, pp. 569-578, 2008.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 카메라와 X선 디텍터에 모두 영상 획득이 가능한 체커보드(checker board) 패턴을 이용하여 호모그래피 행렬(Homography matrix)을 산출하여 엑스선 영상과 형광 영상을 정합하는 엑스선 영상과 형광 영상 정합 장치 및 그 방법을 제공하는데 있다.
본 발명의 일 측면은 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 형광 영상 획득 모듈; 피검체로 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 영상 획득 모듈; 및 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성한 후에 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 데이터 처리부를 포함한다.
또한, 본 발명의 일 측면은 상기 엑스선 영상 획득 모듈을 내부에 구비하고 있으며, 상기 형광 영상 획득 모듈을 위한 광원의 입출입이 가능한 입구를 구비한 차단부; 상기 차단부의 입구를 개방 또는 폐쇄하는 차단판; 및 상기 형광 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 개방되도록 상기 차단판을 이동시키고, 상기 엑스선 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 폐쇄되도록 이동시키는 차단판 구동부를 포함한다.
또한, 본 발명의 일 측면의 상기 형광 영상 획득 모듈은 피검체인 체커보드를 촬영하여 체커보드 형광 영상을 생성하는 카메라; 상기 카메라에서 생성한 형광 영상을 수집하여 상기 데이터 처리부로 전송하는 형광 영상 수집부; 상기 카메라를 기준으로 양쪽으로 일정 간격을 두고 평행하게 설치되고, 상기 피검체에 빛을 조사하는 제1 광원과 제2 광원을 구비하고, 상기 제1 광원과 제2 광원의 수직 방향의 광축을 기준으로 일정 각도로 빛을 굴절시켜 상기 피검체가 위치한 조사 영역에 조사하여 상기 굴절된 빛이 상기 조사 영역에서 겹쳐지도록 하는 제1 조사광학계와 제2 조사광학계; 및 상기 카메라, 제1 조사광학계 및 제2 조사 광학계를 제어하여 체커보드 형광 영상이 선명하게 촬영되도록 하는 카메라 제어부를 포함한다.
또한, 본 발명의 일 측면의 상기 카메라 제어부는 상기 카메라의 앞에 위치한 광학 필터를 조절하여 선명한 영상이 얻어지도록 하거나, 상기 제1 조사 광학계와 제2 조사 광학계의 앞에 위치한 광학 필터를 조절하여 선명한 영상을 얻도록 한다.
또한, 본 발명의 일 측면의 상기 엑스선 영상 획득 모듈은 소정의 X선을 발생하여 피검체인 체커보드를 향하여 방사하는 X선관; 상기 피검체인 체커보드를 통과한 X선을 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 검출부; 상기 엑스선 검출부에서 획득한 엑스선 영상을 데이터 처리부로 전달하는 엑스선 영상 수집부; 및 상기 X선관과 엑스선 검출부를 제어하는 엑스선 제어부를 포함한다.
또한, 본 발명의 일 측면은 상기 X선관과 엑스선 검출부 그리고 피검체가 설치되는 베드를 내부에 포함하고 있는 회전체; 및 상기 회전체를 회전시키면서 분할 영상을 획득하거나 상기 베드를 회전체측으로 이동시키면서 분할 영상을 획득하도록 하는 회전 제어부를 더 포함하며, 상기 엑스선 영상 수집부는 분할 영상을 스티칭하여 체커보드 엑스선 영상을 획득한다.
또한, 본 발명의 일 측면의 상기 엑스선 영상 수집부는 이전의 분할 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 분할 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상을 생성한다.
또한, 본 발명의 일 측면의 상기 데이터 처리부는 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하는 체커 패턴 특징점 추출부; 상기 제1 체커보드 코너 특징점과 제2 체커보드 코너 특징점을 이용하여 호모그래피 변환 행렬을 생성하는 변환 행렬 산출부; 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 데이터 정합부; 및 상기 형광 영상 획득 모듈에서 체커보드 형광 영상이 전송되면 이를 상기 체커 패턴 특징점 추출부로 전송하고, 상기 엑스선 영상 획득 모듈에서 체커보드 엑스선 영상이 전송되면 이를 체커 패턴 특징점 추출부로 전송하며, 임의의 형광 영상과 그에 대응되는 엑스선 영상이 입력되는 경우에 상기 데이터 정합부로 제공하여, 상기 데이터 정합부에서 영상 정합이 가능하도록 하는 데이터 처리 제어부를 포함한다.
한편, 본 발명의 다른 측면은 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 형광 영상 획득 모듈; 피검체로 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 영상 획득 모듈; 및 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성한 후에 임의의 엑스선 영상에 호모그래피 변환 행렬을 적용하여 대응되는 형광 영상과 융합하여 정합 영상을 생성하는 데이터 처리부를 포함한다.
한편, 본 발명의 다른 측면은 (A) 형광 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 단계; (B) 엑스선 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 단계; (C) 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성하는 단계; 및 (D) 데이터 처리부가 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 단계를 포함한다.
또한, 본 발명의 다른 측면의 상기 (A) 단계 이전에 (E) 차단판 구동부가 상기 형광 영상 획득 모듈이 체커보드 형광 영상을 획득하는 경우에는 입구가 개방되도록 상기 차단판을 이동시키는 단계를 더 포함한다.
또한, 본 발명의 다른 측면의 상기 (B) 단계 이전에 (F)차단판 구동부가 상기 엑스선 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 폐쇄되도록 이동시키는 단계를 더 포함한다.
또한, 본 발명의 다른 측면의 상기 (B) 단계는 (B-1) 회전 제어부는 엑스선 영상 획득 모듈을 내부에 포함하고 있는 회전체를 회전시키면서 분할 영상을 획득하거나 피검체가 설치된 베드를 이동하면서 분할 영상을 획득하는 단계; 및 (B-2) 상기 엑스선 영상 획득 모듈은 분할 영상을 스티칭하여 체커보드 엑스선 영상을 획득하는 단계를 포함한다.
또한, 본 발명의 다른 측면의 상기 (B-2) 단계는 상기 엑스선 영상 획득 모듈이 이전의 분할 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 분할 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상을 생성한다.
또한, 본 발명의 다른 측면의 상기 (C) 단계는 (C-1) 상기 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하는 단계; 및 (C-2) 상기 데이터 처리부가 상기 제1 체커보드 코너 특징점과 제2 체커보드 코너 특징점을 이용하여 호모그래피 변환 행렬을 생성하는 단계를 포함한다.
또한, 본 발명의 다른 측면의 상기 (D) 단계는 (D-1) 상기 데이터 처리부는 임의의 피검체에 대한 형광 영상과 이에 대응되는 엑스선 영상이 입력되는 경우에 형광 영상을 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환시키는 단계; 및 (D-2) 상기 데이터 처리부는 형광 영상에서 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환된 영상을 해당하는 엑스선 영상과 정합하여 정합 영상을 생성하는 단계를 포함한다.
또한, 본 발명의 다른 측면의 상기 (D) 단계 이후에, (G) 상기 데이터 처리부가 두 영상이 융합된 부분 또는 관심 있는 영역 추출하는 단계를 더 포함한다.
한편, 본 발명의 다른 측면은 (A) 형광 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 단계; (B) 엑스선 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 단계; (C) 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성하는 단계; 및 (D) 데이터 처리부가 임의의 엑스선 영상에 호모그래피 변환 행렬을 적용하여 대응되는 형광 영상과 융합하여 정합 영상을 생성하는 단계를 포함한다.
상기와 같은 본 발명에 따르면, 호모그래피 행렬 계산이 Euclidean 공간으로 한정되지 않기 때문에 오차가 줄어들 수 있다.
또한, 본 발명에 따르면, 두가지 영상 장치간의 좌표계에 대해 한번 설정하면 매 실험마다 변환 행렬을 계산할 필요없이 지속적으로 적용할 수 있어 간편한다.
또한, 본 발명에 따르면, 별도의 마커가 영상에 나타나서 불필요한 정보가 제공되는 것을 막을 수 있다.
도 1은 본 발명의 일 실시예에 따른 엑스선 영상과 형광 영상 정합 장치의 구성도이다.
도 2는 본 발명에 이용되는 체커보드의 일 실시예이다.
도 3은 도 1의 엑스선 영상과 형광 영상의 정합 장치에서 차단판이 차단부의 입구를 개방한 상태를 나타내는 도면이다.
도 4a는 분할 영상을 촬영하기 위한 피검체가 놓이는 베드의 초기 위치를 보여주는 도면이고, 도 4b는 베드가 회전체측으로 이동되는 과정을 보여주는 도면이다.
도 5a는 베드를 이동시키면서 촬영한 엑스선 영상이고, 도 5b는 분할 영상을 스티칭한 영상을 보여주는 도면이다.
도 6a는 형광 영상에서 체커보드 코너 특징점을 보여주는 도면이고, 도 6b는 엑스선 영상에서 체커보드 코너 특징점을 보여주는 도면이다.
도 7a는 엑스선 영상을 보여주고, 도 7b는 형광 영상을 보여주며, 도 7c는 형광 영상에 있어서 정합 영역을 보여주는 도면이며, 도 7d는 형광 영상 위로 엑스선 영상을 정합한 영상을 보여준다.
도 8은 본 발명의 일 실시예에 따른 엑스선 영상과 형광 영상 정합 방법의 흐름도이다.
도 9a는 본 발명에 따른 엑스선 영상과 형광 영상의 정합 결과를 보여주는 도면이며, 도 9b 내지 9d는 정합 영상에 컬러로 표현할 수 있는 LUT(look up table)을 적용한 예시도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 엑스선 영상과 형광 영상 정합 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 엑스선 영상과 형광 영상 정합 장치는 엑스선 제어부(115)의 제어에 따라 X선을 방사하는 X선관(110), 피검체(113)의 형광 영상을 획득하는 카메라(130), 피검체(113)를 조사하기 위한 조사 광학계(131, 132), 상기 카메라(130)와 조사 광학계(131, 132)를 제어하는 카메라 제어부(135), 상기 카메라(130)에서 획득된 형광 영상을 수집하는 형광 영상 수집부(136), 피검체(113)를 투과한 X선을 검출하는 엑스선 검출부(140), 상기 검출된 X선을 수집하여 엑스선 영상을 형성하는 엑스선 영상 수집부(145), 상기 형광 영상 수집부(135)에서 수집된 형광 영상과 상기 엑스선 영상 수집부(145)에서 수집한 엑스선 영상을 처리하는 데이터 처리부(150), 각 구성요소들을 탑재하여 회전제어부(165)의 제어에 따라 회전하는 회전체(160), 상기 회전체(160)를 제어하는 회전 제어부(165), 엑스선을 차단하기 위한 차단부(170), 차단부(170)의 입구를 차단하기 위한 차단판(171), 상기 차단판(171)을 입구로 이동시키기 위한 차단판 구동부(175)를 포함한다.
상기 제1 조사광학계(131)와 제2 조사광학계(132)는 상기 카메라(130)을 기준으로 양쪽으로 일정 간격을 두고 평행하게 설치되고, 상기 피검체(113)에 빛을 조사하여 형광 물질을 여기시키는 광원을 구비하고, 상기 광원의 수직 방향의 광축을 기준으로 일정 각도로 빛을 굴절시켜 상기 피검체(113)가 위치한 조사 영역에 조사하여 상기 굴절된 빛이 상기 조사 영역에서 겹쳐지도록 한다.
이러한 제1 조사 광학계(131)와 제2 조사 광학계(132)는 원하는 파장대의 광이 피검체(113)에 투사되도록 하기 위한 광학 필터를 구비할 수 있다.
상기 카메라(130)는 형광 물질이 주입된 피검체(113)에서 방출되는 상기 형광 물질을 영상으로 촬영하여 촬영된 형광 영상을 형광 영상 수집부(136)로 제공한다.
특히, 본 발명에서는 피검체(113)로 도 2에 도시된 체커보드를 사용하여 변환 행렬을 산출할 수 있다.
즉, 본 발명에서 카메라(130)는 도 2에 도시된 체커 보드가 피검체(113)로 설치되면 이를 촬영하여 형광 영상을 생성하여 형광 영상 수집부(136)로 제공한다.
도 2는 본 발명에 의한 체커 보드의 일실시예를 도시하고 있다. 상기 체커보드는 사각형 형태를 가지며, 상기 사각형 내에 작은 사각형들이 격자형태로 배치된다. 상기 격자형태의 배치는 서로 다른 두 가지 색깔이 서로 번갈아 가며 위치하되, 상기 격자형태의 사각형의 코너에 위치한 사각형들은 동일한 색깔을 가진다. 여기서 상기 두 가지 색깔은 서로 구별될 수 있는 색이면 가능하나, 상기 실시예에서는 흑색과 백색을 가짐이 바람직하다. 상기 백색은 납 또는 금속 마스크로 형성할 수 있다.
이처럼 체커보드의 패턴은 형광 영상과 엑스선 영상에서 모두 영상을 획득할 수 있도록 하기 위해 한쪽 열은 검정색 사각형의 패턴을 만들고, 두번째 열은 납 등의 금속 마스크로 패턴을 만들 수 있다.
한편, 상기 카메라 제어부(135)는 카메라(130), 제1 조사 광학계(131) 및 제2 조사 광학계(132)를 제어하여 피검체(113)의 형광 영상을 획득한다.
이때, 카메라 제어부(135)는 형광 영상 수집부(136)에서 형광 영상을 입력받아 카메라(130), 제1 조사 광학계(131) 및 제2 조사 광학계(132)를 적절하게 제어하면서 가장 선명한 영상을 얻을 수 있다.
특히, 카메라 제어부(135)는 피검체(113)로 체커보드가 놓이는 경우에 체커보드를 가장 선명하게 촬영할 수 있는 조명 파장대를 선택할 수 있다.
이를 위해 카메라 제어부(135)는 카메라(130)의 앞단에 놓이는 광학 필터를 조절하여 선명한 영상이 얻어지도록 하거나, 제1 조사 광학계(131)와 제2 조사 광학계(132)의 앞에 놓여지는 광학 필터를 조절하여 선명한 영상을 얻도록 할 수 있다.
그리고, 형광 영상 수집부(136)는 카메라(135)를 통하여 획득된 피검체(113)의 형광 영상을 데이터 처리부(150)로 전송한다.
여기에서, 카메라(130), 제1 조사 광학계(131), 제2 조사 광학계(132), 카메라 제어부(135), 형광 영상 수집부(136)는 형광 영상 획득 모듈로 통칭할 수 있다.
이러한 형광 영상을 획득하기 위해서는 차단판(171)이 차단부(170)의 입구에 놓여있지 않아야 하며 이를 위해 차단판 구동부(175)는 차단판(171)이 차단부(170)의 입구에 놓이지 않도록 도 3에서 처럼 이동시킨다.
다음으로, X선관(110)과 엑스선 검출부(140)는 회전체(160)상에 탑재되어 회전제어부(165)의 제어에 따라 회전한다.
이처럼 상기 각 구성요소들을 탑재한 회전체(160)는 피검체(113)를 중심으로 미소한 각도 간격으로 회전하게 되며, 이에 따라 엑스선 검출부(140)는 각 위치에서 지속적으로 X선 투과정보(엑스선 영상)를 획득할 수 있도록 한다.
상기 X선관(110)은 엑스선 제어부(115)의 제어에 따라 소정의 X선을 발생하여 피검체(113)를 향하여 방사한다.
피검체(113)를 구성하는 조직들에 방사되는 엑스선(X-ray)의 에너지 대역이 다르면, 조직들 각각에 엑스선이 흡수되는 정도가 다르다.
상기 X선관(110) 및 엑스선 검출부(140)는 이러한 특성을 이용하여 적어도 두 가지 이상의 에너지 대역들 중 서로 다른 에너지 대역의 엑스선 각각을 조직들에 방사하여 엑스선들에 의한 다수의 의료 영상들을 획득하거나, 또는 적어도 두 가지 이상의 에너지 대역들을 가지는 엑스선을 한번 방사하고, 조직들을 통과한 엑스선을 에너지 분해 검출기를 이용하여 각각의 에너지 대역별로 검출하고, 각각의 에너지 대역 별 감쇠 특성이 반영된 다수의 단층 영상들을 획득할 수 있다.
특히, 본 발명에서는 X선관(110)은 피검체(113)로 체커보드를 향하여 X선을 조사하며, 이에 따라 엑스선 검출부(140)는 체커보드의 엑스선 영상을 획득할 수 있다.
상기 엑스선 검출부(140)는 에너지 분해 검출기가 될 수 있다. 본 실시예에 따른 엑스선 검출부(140))는 피검체(113)를 통과한 엑스선을 복수의 에너지 대역들 각각에 대하여 검출하는 광자 계수 디텍터(Photon-Counting Detector)일 수 있다.
광자 계수 디텍터는 반도체 센서(semiconductor sensor), 플립 칩 범프(flip-chip bump)의 본딩 연결(bonding connections), 독출 칩(read-out chip)으로 구성될 수 있고, 독출칩은 단일 픽셀 독출 셀(single pixel read-out cell)을 포함할 수 있다. 이에 따라, 엑스선 검출부(140)는 X선관(110)에서 생성된 엑스선의 에너지 대역을 적어도 두 개 이상으로 분할하고, 분할된 각 에너지 대역 별로 엑스선을 검출하고, 검출된 엑스선을 이용하여 에너지 대역들 각각에 대한 단층 영상을 생성한다.
또한, 엑스선 검출부(140)는 적어도 두 가지 이상의 에너지 대역들 각각에 대한 단층 영상들뿐만 아니라 X선관(110)에서 생성된 엑스선의 에너지 대역 전체에 대한 단층 영상을 생성할 수도 있다. 이에 따라, 엑스선 검출부(140)는 피검체(113)에 대하여 서로 다른 정보를 가지는 복수의 단층 영상을 생성할 수 있다.
이때, X선관(110)로부터 피검체(113)에 방사되는 방사선은 멀티-에너지 엑스선(multi-energy X-ray) 또는 다파장 엑스선(polychromatic X-ray)을 모두 포함할 수 있으며, 여기에서는 이를 다중 에너지 엑스선(spectral X-ray)라고 칭한다.
상기 방사되는 X선은 시준제어부의 제어에 따라 시준이 조정되는 시준기를 통하여 상기 피검체(113)를 투과하여 상기 엑스선 검출부(140)에 전달된다.
상기 시준기는 상기 엑스선 검출부(140)의 형태에 따라 적정하게 시준되어 상기 X선을 투과시킨다.
상기 엑스선 검출부(140)에서 검출된 X선은 엑스선 데이터 수집부(145)에 의해서 수집된다.
한편, 피검체의 진단 부위에 대해 엑스선 영상을 획득하고자 할 때, 엑스선 조사 영역이 진단 부위보다 좁은 경우, 엑스선 검출 영역이 진단 부위보다 좁은 경우 등 다양한 원인에 의해 한 번의 촬영으로 원하는 진단 부위를 모두 촬영할 수 없는 경우가 있다.
이 경우, 진단 부위를 복수의 영역으로 분할하고, 각 영역에 대해 엑스선 촬영을 하여 획득된 엑스선 영상을 스티칭(stitching)하는 방식으로 원하는 진단 부위에 대한 하나의 엑스선 영상을 얻을 수 있다.
이와 같이 분할 촬영을 통해 하나의 엑스선 영상을 생성하려면, 분할된 각 영역에 대한 엑스선 촬영을 위해 X선관(110)과 엑스선 검출부(140)의 위치 또는 각도가 조절되어야 하며, 회전 제어부(165)가 회전체(160)를 구동시켜 각 분할 촬영 시 마다 위치 또는 각도를 조절한다.
이와 달리 도 4a에 도시된 피검체(113)(여기에서는 일예로 쥐나 동물등)가 놓이는 베드를 초기 위치에서 도 4b에 도시된 바와 같이 회전체(160)측으로 이동시키면서 분할 영상을 촬영할 수도 있다.
상기 스티칭 과정은 엑스선 영상 수집부(145)에서 수행된다.
상기 엑스선 영상 수집부(145)는 이전의 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수(correlation)를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상을 생성한다.
상기 엑스선 영상 수집부(145)는 엑스선 검출부(140)에서 N개의 영상을 획득한 경우에 N-2번으로 위의 과정을 반복하면서 합성 영상을 획득한다.
이와 같은 과정을 통하여 얻어진 엑스선 영상을 엑스선 영상 수집부(145)는 데이터 처리부(150)로 제공한다.
도 5a는 분할 촬영으로 획득된 분할된 엑스선 영상을 보여주며, 도 5b는 스티칭된 엑스선 영상을 보여준다.
여기에서, X선관(110), 엑스선 제어부(115), 엑스선 검출부(140), 엑스선 영상 수집부(145)는 엑스선 영상 획득 모듈로 통칭할 수 있다.
이러한 엑스선 영상을 획득하기 위해서는 차단판(171)이 차단부(170)의 입구에 놓여있어야 하며 이를 위해 차단판 구동부(175)는 차단판(171)이 차단부(170)의 입구에 놓이도록 이동시킨다.
한편, 데이터 처리부(150)는 형광 영상 획득 모듈에서 획득한 체커보드 형광 영상에서, 즉 형광 영상 수집부(136)로부터 전송받은 체커보드 형광 영상에서 코너 특징점을 획득한다.
그리고, 데이터 처리부(150)는 엑스선 영상 획득 모듈에서 획득한 체커보드 엑스선 영상에서, 즉 엑스선 영상 수집부(145)에서 전송받은 체커보드 엑스선 영상에서 코너 특징점을 획득한다.
그리고, 데이터 처리부(150)는 획득된 2개의 코너 특징점을 이용하여 형광 영상의 좌표를 엑스선 영상의 좌표로 변환하기 위한 호모그래피 변환 행렬을 구하며, 이와 같이 호모그래피 변환 행렬이 구해지면, 임의의 형광 영상에 이를 적용하여 대응되는 엑스선 형광 영상에 정합시킨다.
이를 위하여, 데이터 처리부(150)는 데이터 처리 제어부(151), 체커패턴 특징점 추출부(152), 변환 행렬 산출부(153), 데이터 정합부(154) 및 메모리(155)를 구비하고 있다.
상기 데이터 처리 제어부(151)는 형광 영상 수집부(136)에서 체커보드 형광 영상이 전송되면 이를 체커 패턴 특징점 추출부(152)로 전송하고, 엑스선 영상 수집부(145)에서 체커보드 엑스선 영상이 전송되면 이를 체커 패턴 특징점 추출부(152)로 전송한다.
그리고, 데이처 처리 제어부(151)는 변환 행렬 산출부(153)에서 산출된 호모그래피 변환 행렬을 메모리(155)에 저장하며 이후에 임의의 형광 영상과 그에 대응되는 엑스선 영상이 입력되는 경우에 데이터 정합부(154)로 제공하여, 데이터 정합부(154)에서 영상 정합이 가능하도록 한다.
상기 체커 패턴 특징점 추출부(152)는 형광 영상 획득 모듈에서 획득한 체커보드 형광 영상에서, 즉 형광 영상 수집부(136)로부터 전송받은 체커보드 형광 영상에서 코너 특징점을 획득한다.
또한, 체커 패턴 특징점 추출부(152)는 엑스선 영상 획득 모듈에서 획득한 체커보드 엑스선 영상에서, 즉 엑스선 영상 수집부(145)에서 전송받은 체커보드 엑스선 영상에서 코너 특징점을 획득한다.
여기서, 상기 코너 특징점은 영상에서 독특하고 유일한 점을 뜻하며, 상기 코너 특징점은 직교하는 방향으로 미분값이 크게 나타나는 점 또는 화소(pixel) 값의 변화량이 큰 점일 수 있다.
이때, 체커 패턴 특징점 추출부(152)가 특징점을 추출하기 위해서는 해리스(Harris) 코너 검출기를 사용할 수 있으며, 도 6a는 엑스선 영상에서 획득된 코너 특징점이 적색으로 도시되어 있으며, 도 6b는 형광 영상에서 획득된 코너 특징점이 적색으로 도시되어 있다.
다음으로, 변환 행렬 산출부(153)는 상기 체커 패턴 특징점 추출부(152)에서 추출한 체커보드 형광 영상의 코너 특징점과 체커보드 엑스선 영상의 코너 특징점을 이용하여 호모그래피 변환 행렬을 산출하여 메모리(155)에 저장한다.
평면 표면(Planer surface) 물체의 경우에는 3차원 공간에서의 2차원 영상으로의 임의의 원근투영변환(perspective projective transformation)을 두 영상 사이의 호모그래피(homography) 변환 행렬로 모델링할 수 있다.
즉, 어떤 평면 표면이 서로 다른 위치에 대해 영상 A와 영상 B로 투영되었다면 영상 A와 영상 B의 관계를 호모그래피로 표현할 수 있다.
그래서 호모그래피를 평면 호모그래피라고도 부르며, 호모그래피는 평면 물체의 2차원 영상 변환관계를 설명할 수 있는 가장 일반적인 모델이다.
이처럼 체커보드 형광 영상을 체커보드 엑스선 영상에 투영하기 위한 호모그래피 변환 행렬은 아래 수학식 1로 표현된다.
(수학식 1)
Figure 112016108180548-pat00001
여기에서, 체커보드 형광 영상에서의 코너 특징점들은 X = (xi, yi)(n은 자연수), 체커보드 엑스선 영상에서 X에 대응되는 코너 특징점들을 X' = (xi', yi')라 할때, h11~h33은 호모그래피 변환 행렬의 행렬값이며, w는 가중치이다.
호모그래피 변환행렬은 자유도가 8이며 따라서 호모그래피 변환 행렬의 ㅎ해행렬값들을 결정하기 위해서는 최소 4개의 매칭쌍을 필요하다.
주어진 매칭쌍들로부터 호모그래피 변환 행렬의 행렬값을 구하는 실제 과정에 대해서는 Elan Dubrofsky, "Homography Estimation", 2009에 호모그래피 변환 행렬의 행렬값을 구할 수 있는 다양한 방법들이 개시되어 있다.
한편, 데이터 정합부(154)는 이후에 임의의 피검체(113)에 대한 형광 영상과 이에 대응되는 엑스선 영상이 입력되는 경우에 형광 영상을 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환시킨 다음에 해당하는 엑스선 영상과 정합시킨다.
도 7a는 엑스선 영상을 보여주고, 도 7b는 형광 영상을 보여주며, 도 7c는 형광 영상에 있어서 정합 영역을 보여주는 도면이며, 도 7d는 형광 영상 위에 엑스선 영상이 정합된 정합 영상을 보여준다.
도 7a의 엑스선 영상보다 도 7b의 형광 영상의 FOV가 더 넓기 때문에 엑스선 영상을 형광 영상위에 정합시킨다.
호모그래피 행렬과 엑스선 영상의 4 모서리의 좌표를 이용하여 엑스선 영상이 형광영상의 어느 영역에 정합될 지 확인 할 수 있다.
상기 데이터 처리 제어부(151)는 두 영상이 융합된 부분 또는 관심 있는 영역 추출한다.
도 8은 본 발명의 일 실시예에 따른 엑스선 영상과 형광 영상 정합 방법의 흐름도이다.
도 8을 참조하면, 도 8은 본 발명의 일 실시예에 따른 엑스선 영상과 형광 영상 정합 방법은 먼저 형광 영상을 획득하기 위해서는 차단판(171)이 차단부(170)의 입구에 놓여있지 않아야 하며 이를 위해 차단판 구동부(175)는 차단판(171)이 차단부(170)의 입구에 놓이지 않도록 도 3에서 처럼 이동시킨다(S100).
다음으로, 형광 영상 획득 모듈의 카메라 제어부(135)는 피검체(113)로 체커보드가 놓이는 경우에 체커보드를 가장 선명하게 촬영할 수 있는 조명 파장대를 선택하여 설정한다(S102).
이를 위해 카메라 제어부(135)는 카메라(130)의 앞단에 놓이는 광학 필터를 조절하여 선명한 영상이 얻어지도록 하거나, 제1 조사 광학계(131)와 제2 조사 광학계(132)의 앞에 놓여지는 광학 필터를 조절하여 선명한 영상을 얻도록 할 수 있다.
그리고, 형광 영상 획득 모듈의 카메라(130)는 체커 보드를 촬영하여 촬영된 체커 보드 형광 영상(Icam)을 형광 영상 수집부(136)로 제공한다(S104).
이후에, 엑스선 영상을 획득하기 위해서는 차단판(171)이 차단부(170)의 입구에 놓여있어야 하며 이를 위해 차단판 구동부(175)는 차단판(171)이 차단부(170)의 입구에 놓이도록 이동시킨다(S106).
다음으로, X선관(110)과 엑스선 검출부(140)는 회전체(160)상에 탑재되어 회전제어부(165)의 제어에 따라 회전한다.
이처럼 상기 각 구성요소들을 탑재한 회전체(160)는 피검체(113)를 중심으로 미소한 각도 간격으로 회전하게 되며, 이에 따라 엑스선 검출부(140)는 각 위치에서 지속적으로 X선 투과정보(엑스선 영상)를 획득할 수 있도록 한다.
한편, 피검체의 진단 부위에 대해 엑스선 영상을 획득하고자 할 때, 엑스선 조사 영역이 진단 부위보다 좁은 경우, 엑스선 검출 영역이 진단 부위보다 좁은 경우 등 다양한 원인에 의해 한 번의 촬영으로 원하는 진단 부위를 모두 촬영할 수 없는 경우가 있다.
이 경우, 진단 부위를 복수의 영역으로 분할하고, 각 영역에 대해 엑스선 촬영을 하여 획득된 엑스선 영상을 스티칭(stitching)하는 방식으로 원하는 진단 부위에 대한 하나의 엑스선 영상을 얻을 수 있다.
이와 같이 분할 촬영을 통해 하나의 엑스선 영상을 생성하려면, 분할된 각 영역에 대한 엑스선 촬영을 위해 X선관(110)과 엑스선 검출부(140)의 위치 또는 각도가 조절되어야 하며, 회전 제어부(165)가 회전체(160)를 구동시켜 각 분할 촬영 시 마다 위치 또는 각도를 조절한다.
특히, 본 발명에서는 X선관(110)은 피검체(113)로 체커보드를 향하여 X선을 조사하며, 이에 따라 엑스선 검출부(140)는 체커보드의 엑스선 영상을 획득할 수 있다(S108)(이때 n장을 획득할 수 있다).
상기 스티칭 과정은 엑스선 영상 수집부(145)에서 수행된다(S110).
상기 엑스선 영상 수집부(145)는 이전의 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수(correlation)를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상(Ixray)을 생성한다.
상기 엑스선 영상 수집부(145)는 엑스선 검출부(140)에서 N개의 영상을 획득한 경우에 N-2번으로 위의 과정을 반복하면서 합성 영상을 획득한다.
이와 같은 과정을 통하여 얻어진 엑스선 영상을 엑스선 영상 수집부(145)는 데이터 처리부(150)로 제공한다.
한편, 데이터 처리부(150)는 형광 영상 획득 모듈에서 획득한 체커보드 형광 영상에서, 즉 형광 영상 수집부(136)로부터 전송받은 체커보드 형광 영상에서 코너 특징점(Pcam)을 획득한다.
그리고, 데이터 처리부(150)는 엑스선 영상 획득 모듈에서 획득한 체커보드 엑스선 영상에서, 즉 엑스선 영상 수집부(145)에서 전송받은 체커보드 엑스선 영상에서 코너 특징점(Pxray)을 획득한다(S112).
그리고, 데이터 처리부(150)는 획득된 2개의 코너 특징점을 이용하여 형광 영상의 좌표를 엑스선 영상의 좌표로 변환하기 위한 호모그래피 변환 행렬(H)을 구하며(S114), 이와 같이 호모그래피 변환 행렬이 구해지면, 임의의 형광 영상(Imgcam)에 이를 적용하여 엑스선 영상 좌표계로 변환한 후에(HImgxray)(S116) 대응되는 엑스선 형광 영상(Imgxray)에 정합시킨다(S118).
상기 데이터 처리부(150)는 두 영상이 융합된 부분 또는 관심 있는 영역 추출한다(S120).
이를 좀더 상세히 살펴보면, 상기 데이터 처리 제어부(151)는 형광 영상 수집부(136)에서 체커보드 형광 영상이 전송되면 이를 체커 패턴 특징점 추출부(152)로 전송하고, 엑스선 영상 수집부(145)에서 체커보드 엑스선 영상이 전송되면 이를 체커 패턴 특징점 추출부(152)로 전송한다.
상기 체커 패턴 특징점 추출부(152)는 형광 영상 획득 모듈에서 획득한 체커보드 형광 영상에서, 즉 형광 영상 수집부(136)로부터 전송받은 체커보드 형광 영상에서 코너 특징점을 획득한다.
또한, 체커 패턴 특징점 추출부(152)는 엑스선 영상 획득 모듈에서 획득한 체커보드 엑스선 영상에서, 즉 엑스선 영상 수집부(145)에서 전송받은 체커보드 엑스선 영상에서 코너 특징점을 획득한다.
여기서, 상기 코너 특징점은 영상에서 독특하고 유일한 점을 뜻하며, 상기 코너 특징점은 직교하는 방향으로 미분값이 크게 나타나는 점 또는 화소(pixel) 값의 변화량이 큰 점일 수 있다.
이때, 체커 패턴 특징점 추출부(152)가 특징점을 추출하기 위해서는 해리스(Harris) 코너 검출기를 사용할 수 있으며, 도 6a는 엑스선 영상에서 획득된 코너 특징점이 적색으로 도시되어 있으며, 도 6b는 형광 영상에서 획득된 코너 특징점이 적색으로 도시되어 있다.
다음으로, 변환 행렬 산출부(153)는 상기 체커 패턴 특징점 추출부(152)에서 추출한 체커보드 형광 영상의 코너 특징점과 체커보드 엑스선 영상의 코너 특징점을 이용하여 호모그래피 변환 행렬을 산출하여 메모리(155)에 저장한다.
한편, 데이터 정합부(154)는 이후에 임의의 피검체(113)에 대한 형광 영상과 이에 대응되는 엑스선 영상이 입력되는 경우에 형광 영상을 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환시킨 다음에 해당하는 엑스선 영상과 정합시킨다.
상기 데이터 처리 제어부(151)는 두 영상이 융합된 부분 또는 관심 있는 영역 추출한다.
한편, 도 8에서는 형광영상을 엑스선 영상쪽으로 변환시켜 엑스선 영상과 정합(co-registration)하는 방법을 설명하고 있으며, 이와 반대로 엑스선 영상을 형광 영상쪽으로 변환시켜 정합(co-registration) 할 수도 있다. 이때 변환행렬은 H의 역행렬(H-1)을 사용할 수 있다.
도 9a는 본 발명에 따른 엑스선 영상과 형광 영상의 정합 결과를 보여주는 도면이며, 도 9b 내지 도 9d는 컬러로 표현할 수 있는 룩업테이블을 적용한 결과를 보여준다.
도 9a 내지 9d에서 알 수 있는 바와 같이 영상 자체에 마커 등의 불필요한 정보없이 X선 영상과 형광영상이 정합됨을 알 수 있다.
상기와 같은 본 발명에 따르면, 호모그래피 행렬 계산이 Euclidean 공간으로 한정되지 않기 때문에 오차가 줄어들 수 있다.
또한, 본 발명에 따르면, 두가지 영상 장치간의 좌표계에 대해 한번 설정하면 매 실험마다 변환 행렬을 계산할 필요없이 지속적으로 적용할 수 있어 간편한다.
또한, 본 발명에 따르면, 별도의 마커가 영상에 나타나서 불필요한 정보가 제공되는 것을 막을 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : X선관 113 : 피검체
115 : 엑스선 제어부 130 : 카메라
131, 132 : 조사 광학계 135 : 카메라 제어부
136 : 형광 영상 수집부 140 : 엑스선 검출부
145 : 엑스선 영상 수집부 150 : 데이터 처리부
151 : 데이터 처리 제어부 152 : 체커 패턴 특징점 추출부
153 : 변환 행렬 산출부 154 : 데이터 정합부
155 : 메모리 160 : 회전체
165 : 회전체 제어부 170 : 차단부
171 : 차단판 175 : 차단판 구동부

Claims (18)

  1. 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 형광 영상 획득 모듈;
    피검체로 상기 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 영상 획득 모듈; 및
    상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성한 후에 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 데이터 처리부를 포함하고,
    상기 체커보드는 상기 형광 영상 획득 모듈 및 상기 엑스선 영상 획득 모듈에서 영상을 획득할 수 있는 패턴을 포함하는 엑스선 영상과 형광 영상 정합 장치.
  2. 청구항 1항에 있어서,
    상기 엑스선 영상 획득 모듈을 내부에 구비하고 있으며, 상기 형광 영상 획득 모듈을 위한 광원의 입출입이 가능한 입구를 구비한 차단부;
    상기 차단부의 입구를 개방 또는 폐쇄하는 차단판; 및
    상기 형광 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 개방되도록 상기 차단판을 이동시키고, 상기 엑스선 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 폐쇄되도록 이동시키는 차단판 구동부를 포함하는 엑스선 영상과 형광 영상 정합 장치.
  3. 청구항 1항에 있어서,
    상기 형광 영상 획득 모듈은
    피검체인 체커보드를 촬영하여 체커보드 형광 영상을 생성하는 카메라;
    상기 카메라에서 생성한 형광 영상을 수집하여 상기 데이터 처리부로 전송하는 형광 영상 수집부;
    상기 카메라를 기준으로 양쪽으로 일정 간격을 두고 평행하게 설치되고, 상기 피검체에 빛을 조사하는 제1 광원과 제2 광원을 구비하고, 상기 제1 광원과 제2 광원의 수직 방향의 광축을 기준으로 일정 각도로 빛을 굴절시켜 상기 피검체가 위치한 조사 영역에 조사하여 상기 굴절된 빛이 상기 조사 영역에서 겹쳐지도록 하는 제1 조사광학계와 제2 조사광학계; 및
    상기 카메라, 제1 조사광학계 및 제2 조사 광학계를 제어하여 체커보드 형광 영상이 선명하게 촬영되도록 하는 카메라 제어부를 포함하는 엑스선 영상과 형광 영상 정합 장치.
  4. 청구항 3항에 있어서,
    상기 카메라 제어부는 상기 카메라의 앞에 위치한 광학 필터를 조절하여 선명한 영상이 얻어지도록 하거나, 상기 제1 조사 광학계와 제2 조사 광학계의 앞에 위치한 광학 필터를 조절하여 선명한 영상을 얻도록 하는 엑스선 영상과 형광 영상 정합 장치.
  5. 청구항 1항에 있어서,
    상기 엑스선 영상 획득 모듈은
    소정의 X선을 발생하여 피검체인 체커보드를 향하여 방사하는 X선관;
    상기 피검체인 체커보드를 통과한 X선을 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 검출부;
    상기 엑스선 검출부에서 획득한 엑스선 영상을 데이터 처리부로 전달하는 엑스선 영상 수집부; 및
    상기 X선관과 엑스선 검출부를 제어하는 엑스선 제어부를 포함하는 엑스선 영상과 형광 영상 정합 장치.
  6. 청구항 5항에 있어서,
    상기 X선관과 엑스선 검출부 그리고 피검체가 설치되는 베드를 내부에 포함하고 있는 회전체; 및
    상기 회전체를 회전시키면서 분할 영상을 획득하거나 상기 베드를 회전체측으로 이동시키면서 분할 영상을 획득하도록 하는 회전 제어부를 더 포함하며,
    상기 엑스선 영상 수집부는 분할 영상을 스티칭하여 체커보드 엑스선 영상을 획득하는 엑스선 영상과 형광 영상 정합 장치.
  7. 청구항 6항에 있어서,
    상기 엑스선 영상 수집부는 이전의 분할 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 분할 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상을 생성하는 엑스선 영상과 형광 영상 정합 장치.
  8. 청구항 1항에 있어서,
    상기 데이터 처리부는
    상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하는 체커 패턴 특징점 추출부;
    상기 제1 체커보드 코너 특징점과 상기 제2 체커보드 코너 특징점을 이용하여 호모그래피 변환 행렬을 생성하는 변환 행렬 산출부;
    임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 데이터 정합부; 및
    상기 형광 영상 획득 모듈에서 체커보드 형광 영상이 전송되면 이를 상기 체커 패턴 특징점 추출부로 전송하고, 상기 엑스선 영상 획득 모듈에서 체커보드 엑스선 영상이 전송되면 이를 체커 패턴 특징점 추출부로 전송하며, 임의의 형광 영상과 그에 대응되는 엑스선 영상이 입력되는 경우에 상기 데이터 정합부로 제공하여, 상기 데이터 정합부에서 영상 정합이 가능하도록 하는 데이터 처리 제어부를 포함하는 엑스선 영상과 형광 영상 정합 장치.
  9. 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 형광 영상 획득 모듈;
    피검체로 상기 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 엑스선 영상 획득 모듈; 및
    상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성한 후에 임의의 엑스선 영상에 호모그래피 변환 행렬을 적용하여 대응되는 형광 영상과 융합하여 정합 영상을 생성하는 데이터 처리부를 포함하고,
    상기 체커보드는 상기 형광 영상 획득 모듈 및 상기 엑스선 영상 획득 모듈에서 영상을 획득할 수 있는 패턴을 포함하는 엑스선 영상과 형광 영상 정합 장치.
  10. (A) 형광 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 단계;
    (B) 엑스선 영상 획득 모듈이 피검체로 상기 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 단계;
    (C) 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성하는 단계; 및
    (D) 데이터 처리부가 임의의 형광 영상에 호모그래피 변환 행렬을 적용하여 대응되는 엑스선 영상과 융합하여 정합 영상을 생성하는 단계를 포함하고,
    상기 체커보드는 상기 형광 영상 획득 모듈 및 상기 엑스선 영상 획득 모듈에서 영상을 획득할 수 있는 패턴을 포함하는 엑스선 영상과 형광 영상 정합 방법.
  11. 청구항 10항에 있어서,
    상기 (A) 단계 이전에
    (E) 차단판 구동부가 상기 형광 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 개방되도록 상기 차단판을 이동시키는 단계를 더 포함하는 엑스선 영상과 형광 영상 정합 방법.
  12. 청구항 10항에 있어서,
    상기 (B) 단계 이전에
    (F)차단판 구동부가 상기 엑스선 영상 획득 모듈이 체커보드 엑스선 영상을 획득하는 경우에는 입구가 폐쇄되도록 이동시키는 단계를 더 포함하는 엑스선 영상과 형광 영상 정합 방법.
  13. 청구항 10항에 있어서,
    상기 (B) 단계는
    (B-1) 회전 제어부는 엑스선 영상 획득 모듈을 내부에 포함하고 있는 회전체를 회전시키면서 분할 영상을 획득하거나 피검체가 설치된 베드를 이동하면서 분할 영상을 획득하는 단계; 및
    (B-2) 상기 엑스선 영상 획득 모듈은 분할 영상을 스티칭하여 체커보드 엑스선 영상을 획득하는 단계를 포함하는 엑스선 영상과 형광 영상 정합 방법.
  14. 청구항 13항에 있어서,
    상기 (B-2) 단계는 상기 엑스선 영상 획득 모듈이 이전의 분할 영상의 하단부분에서 일부 영상을 샘플 영상으로 추출한 후에 이후의 분할 영상의 상단 부분에서부터 하단을 향하여 샘플 영상을 스캔해서 내려가면서 상관계수를 획득하여, 상관계수가 가장 높은 지점에 두 영상을 중첩시켜 하나의 영상을 생성하는 엑스선 영상과 형광 영상 정합 방법.
  15. 청구항 10항에 있어서,
    상기 (C) 단계는
    (C-1) 상기 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하는 단계; 및
    (C-2) 상기 데이터 처리부가 상기 제1 체커보드 코너 특징점과 제2 체커보드 코너 특징점을 이용하여 호모그래피 변환 행렬을 생성하는 단계를 포함하는 엑스선 영상과 형광 영상 정합 방법.
  16. 청구항 10항에 있어서,
    상기 (D) 단계는
    (D-1) 상기 데이터 처리부는 임의의 피검체에 대한 형광 영상과 이에 대응되는 엑스선 영상이 입력되는 경우에 형광 영상을 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환시키는 단계; 및
    (D-2) 상기 데이터 처리부는 형광 영상에서 호모그래피 변환 행렬을 사용하여 엑스선 영상 좌표계로 변환된 영상을 해당하는 엑스선 영상과 정합하여 정합 영상을 생성하는 단계를 포함하는 엑스선 영상과 형광 영상 정합 방법.
  17. 청구항 10항에 있어서,
    상기 (D) 단계 이후에,
    (G) 상기 데이터 처리부가 두 영상이 융합된 부분 또는 관심 있는 영역 추출하는 단계를 더 포함하는 엑스선 영상과 형광 영상 정합 방법.
  18. (A) 형광 영상 획득 모듈이 피검체로 체커보드를 촬영하여 체커보드 형광 영상을 획득하는 단계;
    (B) 엑스선 영상 획득 모듈이 피검체로 상기 체커보드를 촬영하여 체커보드 엑스선 영상을 획득하는 단계;
    (C) 데이터 처리부가 상기 체커보드 형광 영상에서 제1 체커보드 코너 특징점을 추출하고, 상기 체커보드 엑스선 영상에서 제2 체커보드 코너 특징점을 추출하여 호모그래피 변환 행렬을 생성하는 단계; 및
    (D) 데이터 처리부가 임의의 엑스선 영상에 호모그래피 변환 행렬을 적용하여 대응되는 형광 영상과 융합하여 정합 영상을 생성하고,
    상기 체커보드는 상기 형광 영상 획득 모듈 및 상기 엑스선 영상 획득 모듈에서 영상을 획득할 수 있는 패턴을 포함하는 단계를 포함하는 엑스선 영상과 형광 영상 정합 방법.
KR1020160146946A 2016-11-04 2016-11-04 엑스선 영상과 형광 영상 정합 장치 및 그 방법 KR102643131B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160146946A KR102643131B1 (ko) 2016-11-04 2016-11-04 엑스선 영상과 형광 영상 정합 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160146946A KR102643131B1 (ko) 2016-11-04 2016-11-04 엑스선 영상과 형광 영상 정합 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180050138A KR20180050138A (ko) 2018-05-14
KR102643131B1 true KR102643131B1 (ko) 2024-03-04

Family

ID=62187928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160146946A KR102643131B1 (ko) 2016-11-04 2016-11-04 엑스선 영상과 형광 영상 정합 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102643131B1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1376178A (en) 1916-01-24 1921-04-26 Hugo Junkers Radiator
US1357617A (en) 1920-01-28 1920-11-02 William G Crush Method and apparatus for vulcanizing tires
JPH0620489Y2 (ja) * 1991-08-05 1994-06-01 雄三 山本 小動物用ｘ線撮影台におけるｘ線防護装置
KR100702148B1 (ko) 2004-12-30 2007-03-30 한국전기연구원 단층영상과 입체 표면영상을 동시에 얻을 수 있는 엑스선단층 촬영장치
KR20150144090A (ko) * 2014-06-16 2015-12-24 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법
JP2016099308A (ja) * 2014-11-26 2016-05-30 株式会社日立ハイテクサイエンス 蛍光ｘ線分析装置及び蛍光ｘ線分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Akselrod-Ballin A, 외. Multimodal Correlative Preclinical Whole Body Imaging and Segmentation. Sci Rep. 2016.(2016.06.21. 공개)*

Also Published As

Publication number Publication date
KR20180050138A (ko) 2018-05-14

Similar Documents

Publication Publication Date Title
KR101687971B1 (ko) 유방 촬영 장치 및 그 방법
CN104224212B (zh) Ct系统、其扫描定位方法及校准方法
CN104812307B (zh) 计算机断层摄影系统
US9604077B2 (en) Visualizing radiation therapy beam in real-time in the context of patient's anatomy
CN105640582B (zh) 一种深部组织x射线激发多光谱断层成像系统及方法
US8872116B2 (en) Methods and apparatus for multi-camera X-ray flat panel detector
US6801597B2 (en) Method and system for creating task-dependent three-dimensional images
CN103845067B (zh) X射线成像设备和用于控制该x射线成像设备的方法
CN107709968A (zh) 荧光活检样本成像仪及方法
JP3380609B2 (ja) 放射線画像の照射野領域抽出装置
CN103181775B (zh) 用于检测病人体标位置的方法和系统
US10772576B2 (en) X-ray imaging apparatus and control method thereof
CN106659448A (zh) 用于配置x射线成像系统的方法和系统
KR102096410B1 (ko) 의료 영상 장치 및 그 제어 방법
CN106422088B (zh) 辐射治疗装置和辐射治疗方法
CN105997113A (zh) 放射线摄像系统及放射线摄影系统
CN106999727A (zh) 标定用于放射治疗设备的患者监测系统的方法
US10067238B2 (en) Method and apparatus for ion beam Bragg Peak measurement
CN109171789A (zh) 一种用于影像诊断设备的校准方法和校准系统
KR102126355B1 (ko) 방사선 촬영 장치 및 방사선 영상 생성 방법
CN108135554A (zh) 用于采用多头照相装置成像的系统和方法
US10009593B2 (en) Device and method for obtaining densitometric images of objects by a combination of radiological systems and depth-sensing cameras
WO2019200180A1 (en) X-ray backscatter systems and methods for performing imaging tomosynthesis
KR102643131B1 (ko) 엑스선 영상과 형광 영상 정합 장치 및 그 방법
KR101133503B1 (ko) 광학 및 ｘ선 융합 ｃｔ 장치와 그 데이터의 재구성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant