KR101504162B1 - 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법 - Google Patents

의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법 Download PDF

Info

Publication number
KR101504162B1
KR101504162B1 KR1020120031469A KR20120031469A KR101504162B1 KR 101504162 B1 KR101504162 B1 KR 101504162B1 KR 1020120031469 A KR1020120031469 A KR 1020120031469A KR 20120031469 A KR20120031469 A KR 20120031469A KR 101504162 B1 KR101504162 B1 KR 101504162B1
Authority
KR
South Korea
Prior art keywords
subject
positions
sternum
acquired
image
Prior art date
Application number
KR1020120031469A
Other languages
English (en)
Other versions
KR20120112119A (ko
Inventor
료 이시카와
타카아키 엔도
키요히데 사토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20120112119A publication Critical patent/KR20120112119A/ko
Application granted granted Critical
Publication of KR101504162B1 publication Critical patent/KR101504162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

정보처리장치는 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 제1의 취득 수단과, 상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과, 상기 제1의 취득 수단에 의해 취득된 복수의 위치에 근거해 상기 3차원 화상에 있어서 상기 흉골의 방향과 상기 제2의 취득 수단에 의해 취득된 상기 복수의 체표의 위치에 근거해 상기 피검체에 있어서 상기 흉골의 방향을 이용함으로써 상기 피검체와 상기 3차원 화상 사이의 대응 관계를 산출하는 산출 수단을 구비한다.

Description

의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법{INFORMATION PROCESSING APPARATUS FOR MEDICAL IMAGES, IMAGING SYSTEM FOR MEDICAL IMAGES, AND INFORMATION PROCESSING METHOD FOR MEDICAL IMAGES}
본 발명은 다양한 의료용 화상 촬영 장치로 촬영한 의료용 화상을 처리하는 정보처리장치, 정보처리방법, 정보처리를 컴퓨터에 실행시키기 위한 프로그램, 및 의료용 화상을 촬영하는 촬영 시스템에 관한 것이다.
환자의 검사나 병변부의 관찰을 위해, 복수의 의료용 화상 촬영 장치(모달리티(modalities))에 의해 취득된 화상이 이용되고 있다. 여기서 의료용 분야에 있어 이용되는 모달리티로서는 단순 X선 촬영 장치, X선 컴퓨터 단층 촬영장치(X선 CT), 자기 공명 영상(MRI) 장치, 초음파 화상 진단 장치(US) 등을 들 수 있다.
이러한 다른 복수의 모달리티로 취득되는 화상끼리를 관련짓는 것으로, 개업 의사가 피검자의 동일 부위를 다른 복수 종류의 화상으로 관찰하는 것이 가능해진다. 예를 들면, 미리 촬영된 3차원 MRI 화상으로부터, 초음파 촬영 장치로 촬영되는 초음파 화상과 대응하는 MRI 단층 화상을 취득하면, 의사는 양쪽 화상을 비교하면서 진단하는 것이 가능해진다.
이것을 실현하기 위한 기술로서 미국공개특허 US2007/0010743에는, 위치 센서의 기준 물체와 환자가 누워 있는 베드(bed)와의 위치 관계를 설정하고, 위치 센서가 부착된 초음파 프로브(probe)로 체표(body surface) 상의 기정(predetermined)의 1점을 지정함으로써 초음파 화상과 MRI 화상 간의 대응 관계를 얻는 기술이 개시되어 있다. 이러한 기술에서는, 베드 상에서 환자가 자신의 방향이나 자세를 변경하면, 에러를 일으킬 우려가 있다.
본 발명의 일 국면에 의하면, 정보처리장치는, 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 제1의 취득 수단과, 상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과, 상기 제1의 취득 수단에 의해 취득된 복수의 위치에 근거해 상기 3차원 화상에 있어서 상기 흉골의 방향과 상기 제2의 취득 수단에 의해 취득된 상기 복수의 체표의 위치에 근거해 상기 피검체에 있어서 상기 흉골의 방향을 이용함으로써 상기 피검체와 상기 3차원 화상 사이의 대응 관계를 산출하는 산출 수단을 구비한다.
본 발명의 또 다른 특징 및 국면은 첨부도면을 참조하면서 이하의 예시적인 실시예의 상세한 설명으로부터 밝혀질 것이다.
도 1은 본 발명의 제1 실시예에 따른 화상 진단 시스템의 구성을 나타내는 도면이다.
도 2는 화상 진단 시스템의 하드웨어 구성을 나타내는 도면이다.
도 3은 화상 진단 시스템의 촬영 기능을 나타내는 도면이다.
도 4는 화상 진단 시스템의 피사체의 위치를 측정하는 기능을 나타내는 도면이다.
도 5는 제1 실시예에 따른 화상 진단 시스템에 의한 처리를 나타내는 플로차트이다.
도 6은　제1 실시예에 따른 좌표 변환의 산출 처리를 상세하게 가리키는 플로차트이다.
도 7은　늑골에 근거하는 위치의 좌표의 취득 처리를 나타내는 플로차트이다.
도 8은　표시 제어부에 의해 모니터(표시부)에 표시되는 화상을 나타내는 도면이다.
도 9는　제1 또는 제2 특징 위치 취득부에 의한 좌표 위치의 취득 처리의 성공 또는 실패를 판정하는 판정부에 의한 처리를 나타내는 플로차트이다.
도 10은 본 발명의 제2 실시예에 따른 화상 진단 시스템에 의한 처리를 나타내는 플로차트이다.
도 11은　제2 실시예에 따른 좌표 변화의 산출 처리를 상세하게 나타내는 플로차트이다.
도 12는 본 발명의 제3 실시예에 따른 화상 진단 시스템에 의한 처리를 나타내는 플로차트이다.
도 13은　제3 실시예에 따른 좌표 변환의 산출 처리를 상세하게 나타내는 플로차트이다.
이하, 첨부도면을 참조하면서 다양한 예시적인 실시예, 특징 및 국면에 대해서 좀더 상세히 설명한다.
도 1은, 제1 실시예에 따른 화상 진단 시스템(1)의 구성을 설명한다. 화상 진단 시스템(1)은 정보처리장치(100), MRI 장치(110), 초음파 화상 촬영 장치(120), 위치 자세 계측 장치(130), 표시부(1400), 및 조작부(1500)를 갖는다.
MRI 장치(110)는, 피검체(예를 들면, 인체) 내부의 3차원 영역에 관한 정보를 핵자기 공명(NMR)법을 이용해서 취득한. 즉, MRI 장치(110)는 MRI 화상을 취득한다. MRI 화상에는, 기준이 되는 좌표계(MRI 화상 좌표계)가 정해져 있고, 그 좌표계에 있어서의 상기 3차원 영역의 정보는 복수의 화소로 나타낸다.
초음파 화상 촬영 장치(120)는 초음파를 송수신하는 (도 3에 나타낸) 초음파 프로브를 피검체에 접촉시키는 경우, 피검체의 내부의 초음파 화상을 촬영한다. 본 실시예에 있어서, 초음파 화상 촬영 장치(120)는, 피검체의 단면 영역을 나타내는 2차원의 B-모드 초음파 화상을 촬영한다.
위치 자세 계측 장치(130)는 3차원 공간에 있어서의 상기 초음파 프로브의 위치와 자세를 계측한다. 위치 자세 계측 장치(130)는 예를 들면 자기식이나 광학식의 6 자유도 계측 장치를 초음파 프로브에 장착하는 것으로 구성된다. 여기서 초음파 프로브의 위치와 자세란, 초음파 프로브를 기준으로서 정하는 좌표계(프로브 좌표계)와 위치 자세 계측 장치(130)를 기준으로서 정하는 좌표계(센서 좌표계)와의 사이의 상대적인 위치와 자세의 관계를 의미한다.
프로브 좌표계에서는, 초음파 프로브의 촬영면(피검체와 접하는 면)의 중심을 원점으로 하고, 초음파 빔이 초음파 프로브로부터 방사되는 방향을 Y축으로 한다. 또, 초음파 화상 촬영 장치(120)가 촬영하는 초음파 화상의 촬영면에 포함되어 상기 Y축과 직교하는 방향을 X축으로 한다. 그리고, X축과 Y축의 외적(cross product)의 방향을 Z축으로 한다. 프로브 좌표계는 X, Y, 및 Z축으로 상술한 바와 같이 정한 3D 직교 좌표계이다. 센서 좌표계는, 위치 자세 계측 장치(130)를 기준으로서 정한 직교 좌표계이다. 예를 들면, 계측을 행하는 3차원 공간에 고정해 설치되는 (미도시의) 계측 스테이션이 기준으로서 사용된다.
정보처리장치(100)는 MRI 화상 취득부(1010), 제1 특징 위치 취득부(1020), 계측값 취득부(1030), 제2 특징 위치 취득부(1040), 변환 규칙 산출부(1050), 대응 단면 화상 생성부(1060), 초음파 화상 취득부(1070), 표시 화상 생성부(1080), 표시 제어부(1090), 판정부(1100), 및 출력부(1110)를 갖는다.
MRI 화상 취득부(1010)는, MRI 장치(110)가 촬영한 피검체의 MRI 화상을 취득한다. 제1 특징 위치 취득부(1020)는, MRI 화상 취득부(1010)가 취득한 MRI 화상에 묘사되는 피검체의 흉골 및 늑골에 근접하는 체표의 위치를, MRI 화상 좌표계(제1의 좌표계)에 있어서의 흉골 및 늑골에 근거하는 위치의 좌표로서 취득한다.
계측값 취득부(1030)는, 위치 자세 계측 장치(130)가 초음파 프로브의 위치와 자세의 값을 계측한 후에, 그 값을 병진과 회전으로 나타낸 4 x 4의 강체 변환 행렬로서 취득한다. 다만, 상기 계측값은 센서 좌표계를 기준으로 한다. 제2 특징 위치 취득부(1040)는, 계측값 취득부(1030)가 취득한 계측값을 이용해, 피검체의 흉골 및 늑골에 근접하는 체표의 위치를, 센서 좌표계(제2의 좌표계)에 있어서의 피검체의 흉골 및 늑골에 근거하는 위치의 좌표로서 취득한다.
변환 규칙 산출부(1050)는, 제1 및 제2 특징 위치 취득부(1020, 1040)가 취득한 정보에 근거해, 센서 좌표계와 MRI 화상 좌표계와의 사이의 위치 좌표의 변환 규칙을 산출한다. 즉, 변환 규칙 산출부(1050)는 피검체와 3차원 화상과의 위치의 대응 관계를 산출한다.
대응 단면 화상 생성부(1060)는, 계측값 취득부(1030)가 취득한 초음파 프로브의 위치와 자세의 정보와, 변환 규칙 산출부(1050)가 산출한 변환 규칙과, MRI 화상 취득부(1010)가 취득한 MRI 화상에 근거해, 대응 단면 화상을 생성한다. 대응 단면 화상이란, MRI 화상으로부터 잘라낸 화상이며, 이 잘라낸 화상은 초음파 프로브가 촬영한 피검체의 영역에 대응한다.
초음파 화상 취득부(1070)는, 초음파 화상 촬영 장치(120)가 취득한 피검체의 내부의 초음파 화상을 취득한다. 표시 화상 생성부(1080)는, 대응 단면 화상 생성부(1060)가 생성한 대응 단면 화상 및 초음파 화상 취득부(1070)가 취득한 초음파 화상에 근거해, 표시 화상을 생성한다.
표시 제어부(1090)는, 생성된 표시 화상을 표시부(1400)에 표시시킨다. 판정부(1100)는, 제2 특징 위치 취득부(1040)가 취득하는 피검체의 위치가, 변환 규칙 산출부(1050)에 의해 정확한 변환 규칙을 산출하는데 있어 충분한지 적당한지 여부를 판정한다. 그 위치가 부족하거나 부적당하면, 출력부(1110)는 표시부(1400)에 경고 메시지를 표시시킨다. 표시부(1400)는 경고 메시지를 표시하는 대신에, 음성 등을 출력해도 된다.
도 2는, 본 제1 실시예에 따른 화상 진단 시스템(1)의 하드웨어 구성을 나타내는 도면이다. 본 제1 실시예에 따른 화상 진단 시스템(1)은 정보처리장치(100), MRI 장치(110), 초음파 화상 촬영 장치(120), 위치 자세 계측 장치(130), 모니터(140), 마우스(150), 및 키보드(160)로 구성된다.
정보처리장치(100)는, 중앙처리장치(CPU)(211), 주메모리(212), 자기 디스크(213), 및 표시 메모리(214)를 갖는다. 또, 정보처리장치(100)는 모니터(140), 마우스(150), 및 키보드(160)에 접속되어 있다. 이들 구성요소는 공통 버스(218)에 의해 서로 통신 가능하게 접속되어 있다.
CPU(211)는, 단일의 주프로세서, 전용 마이크로프로세서의 어레이 또는 그것의 결합으로서 구현될 수도 있다. 벡터 또는 어레이 프로세싱은 전용 마이크로프로세서의 어레이로 구현될 수도 있고; 이것은 데이터 강화 화상의 병렬 처리에 유리할 수 있지만, 하드웨어의 관점에서는 구현이 복합하고 비용이 많이 든다. 반면, 단일의 주프로세서는 구현이 용이하다. 어떤 경우에든, CPU(211)는 주로 정보처리장치(100)의 각 구성요소의 동작을 제어한다. 주메모리(212)는, 도 5 및 도 6에 나타내는 플로차트의 처리를 실현하기 위한 프로그램을 기억하고 있다. 또, 주메모리(212)는 CPU(211)에 의한 프로그램 실행시의 작업 영역을 제공한다. 자기 디스크(213)는, 오퍼레이팅 시스템(OS), 주변기기의 디바이스 드라이브, 및 후술하는 처리 등을 행하기 위한 프로그램을 포함한 각종 어플리케이션 소프트웨어 등을 저장한다.
표시 메모리(214)는, 모니터(140) 상에 표시된 데이터를 일시 기억한다. 예를 들면, 모니터(140)는, CRT(cathode-ray tube) 모니터나 액정 모니터 등이며, 표시 메모리(214)로부터 공급된 데이터에 근거해 화상을 표시한다. 예를 들면, 마우스(150)는 유저가 지적한 정보를 입력하고, 키보드(160)는 유저가 입력한 문자나 커멘드를 입력한다.
주메모리(212)에 기억된 프로그램이 CPU(211)에 의해 전개되어 실행되는 경우, 정보처리장치(100)의 하드웨어와 소프트웨어가 협동한다. 그 결과, 정보처리장치(100)는 전체의 도 1에 나타내는 기능을 실현한다. 예를 들면, 모니터(140)는 표시부(1400)로서 기능한다. 또, 후술하는 도 5 및 도 6에 기재된 처리가 정보처리장치(100)에 의해 실현된다.
다음에, 도 3을 참조해서 상술의 화상 진단 시스템(1)의 촬영기능을 설명한다. 초음파 화상 촬영 장치(120)에는 촬영면 3020을 갖는 초음파 프로브 3000가 포함되어 있다. 초음파 화상 촬영 장치(120)는 촬영면 3020을 피검체 3030에 접촉시켜 촬영면 3020을 통해서 피검체 3030의 신호를 취득하는 것으로 피검체 3030의 초음파 화상을 촬영한다.
초음파 프로브 3000 상에는 위치 자세 계측 장치(130)의 위치 자세 센서 3010이 고정해 장착된다. 이것에 의해, 위치 자세 계측 장치(130)는, 위치 자세 계측 기준 3040을 기준으로서 사용해 초음파 프로브 3000의 위치와 자세를 계측한다.
검사자는 피검체 3030으로부터, 초음파 및 MRI 화상의 2종류의 화상을 촬영한다. 좀더 구체적으로는, 검사자는 초음파 화상 촬영 장치(120)의 초음파 프로브 3000을 피검체(3030)의 체표에 접촉하도록 보유하면서 피검체 3030으로부터 초음파 화상을 촬영한다. 그 결과, 검사자는 초음파 화상 촬영 영역 3100을 덮는 피검체 3030의 초음파 화상 3110을 취득할 수 있다. 검사자가 초음파 프로브 3000을 체표에 접촉시켰을 경우, 초음파 화상 촬영 영역 3100은 피검체 3030의 내부의 단층 화상을 나타낸다.
이 초음파 화상 3110에 대해서는, 초음파 화상 좌표계 3120이 정의된다. 이 좌표계에서는, 예를 들면, 초음파 화상 3110의 좌상의 화소의 위치를 원점으로 하고, 횡방향을 X축, 종방향을 Y축, X축과 Y축의 외적 방향을 Z축으로 한다.
위치 자세 계측 장치(130)는, 초음파 프로브 3000의 위치와 자세를, 위치 자세 계측 기준 3040을 기준으로 한 계측값으로서 취득한다. 이것에 의해, 초음파 프로브 3000에 의해 정해진 초음파 화상의 촬영 영역 3100의 위치와 자세도, 위치 자세 계측 기준 3040을 기준으로 한 계측값으로서 취득된다. 위치 자세 계측 기준 3040을 기준으로 하는 좌표계(센서 좌표계)와 초음파 화상 좌표계와의 사이의 관계는, 위치 자세 계측 장치(130)의 계측 결과에 의거해 유일하게 결정된다.
MRI 화상을 촬영할 때는, 유저가 초음파 화상 촬영 장치(120)의 촬영 영역 3200을 설정한다. 유저가, 촬영 영역 3200에 있어서의 피검체 3030의 복수의 MRI 화상 3210을 촬영할 수 있다. 이 MRI 화상 3210의 각각은 피검체 3200의 3D 구조를 나타내는 3D 화상이다.
MRI 화상에는, MRI 화상 좌표계 3220이 정의된다. 이 좌표계는 예를 들면 초음파 화상 촬영 장치(120)가 기준으로서 사용된다. MRI 화상 좌표계 3220와 센서 좌표계와의 사이의 관계를 취득할 수 있으면, MRI 화상 좌표계 3220와 초음파 화상 좌표계 3120과의 사이의 관계도 취득할 수 있다. 그것에 의해, MRI 화상 3210과 초음파 화상 3110의 각각에 묘사되는 피검체 3030의 내부의 화상을 얼라인, 비교, 및 관찰할 수 있게 된다.
도 4를 참조해 MRI 화상 좌표계 3220와 센서 좌표계와의 사이의 관계를 취득하기 위한 계측 처리의 개요를 설명한다. 우선, MRI 화상 좌표계(제1의 좌표계)와 센서 좌표계(제2의 좌표계)의 각각에 있어서, 정보처리장치(100)는 피검체(인체)의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 다음에, 취득한 위치에 근거해, 정보처리장치(100)는 상기 좌표계 간의 좌표 변환을 산출한다.
피검체 3030의 내부에는 흉골 4050과 늑골 4060이 존재한다. 검사자는 초음파 프로브 3000의 촬영면 3020을 피검체 3030의 흉골 부근의 적어도 2개의 계측점 4070 및 피검체 3030의 늑골 부근의 적어도 2개의 계측점 4080에 접촉시킨다. 다음에, 위치 자세 계측 장치(130)는 촬영면 3020의 위치와 자세를 계측한다. 이것에 의해, 위치 자세 계측 장치(130)는 위치 자세 계측 기준 3040을 기준으로 한 피검체 3030의 흉골 및 늑골 부근의 계측점 4070과 계측점 4080의 위치를 계측한다.
흉골 부근의 체표의 위치를 측정하는 것이 바람직하다. 이것은, 초음파 프로브 3000 등, 체외로부터 비침습성으로 피사체의 위치를 특정하는 경우에, 검사자는 흉골의 위치를 지정하기 쉽기 때문이다. 또, 피검체가 드러눕는 자세와 엎드리는 자세를 바꾸어도, 흉골의 위치를 변경하기 어렵기 때문이다. 특히, 검사자가 흉부의 진단을 행하는 경우에는, 흉골의 위치가 흉부 근처에 있고 또 검사자가 정밀하게 흉골의 위치를 지정할 수 있기 때문에, 흉골을 이용하는 것이 바람직하다. 또, 흉골 중 제2 늑골의 기저에 있는 흉골 부근의 체표 위치는 체외로부터도 특히 정확하게 지정될 수 있고, 또 그러한 위치의 계측은 피검체에의 부담도 적다. 또, 명치 부근(흉골의 하단)의 체표 위치도 정밀하게 지정하는 것이 용이하기 때문에, 그러한 위치는, 계측해야 할 또 다른 바람직한 위치이다.
늑골 부근의 위치도, 피검체의 체외로부터 쉽게 계측될 수 있다. 또, 그러한 위치의 계측은 피검체의 자세의 변화에 덜 영향받기 때문에, 늑골 부근의 위치는 3차원 화상과의 위치 맞춤에는 매우 적합하게 이용될 수 있다. 특히, 좌우의 늑골이 피검체의 몸 축에 대해 대략 대칭이라고 가정하면, 검사자는 흉골에 대해서 대칭인 한 쌍의 좌우의 늑골 부근의 점을 지정할 수 있다. 이것에 의해, 위치 맞춤의 정밀도를 향상시킬 수다. 또, 검사자는 위치를 쉽게 지정할 수 있다. 늑골 부근의 위치를 지정하는 것은, 제1 실시예에 있어서의 단지 하나의 예이다. 검사자가 늑골의 위치를 지정하지 않는 또 다른 예에 대해서 이하에 설명한다.
또한, 상술한 것처럼 취득된 피검체의 위치와 MRI 화상에 의해 지정된 위치와의 대응 관계를 취득하는 것으로, 정보처리장치(100)는 초음파 프로브에 의해 촬영된 초음파 화상과 이 초음파 화상에 대응하는 MRI 화상과의 대응 영역(대응 단면)을 취득할 수 있다. 이것에 의해, MRI 화상과 초음파 화상의 양쪽 모두를 이용해, 검사자는 폐나 가슴 등의 흉부의 화상 진단을 정밀하고 효율적으로 행할 수가 있다.
다음에, 정보처리장치(100)가 행하는 처리를 도 5의 플로차트를 참조해서 설명한다. 상술한 대로, CPU(211)는 주메모리(212)에 기억되어 있는 각 부의 기능을 실현하는 프로그램을 실행함으로써 상기의 처리를 실현한다. 또, 이하에 설명하는 정보처리장치(100)가 행하는 각 스텝의 결과는, 주메모리(212)에 기억 및 기록된다.
덧붙여, 계측값 취득부(1030)는 처리의 스텝에 관계없이, 위치 자세 계측 장치(130)가 계측한 초음파 프로브의 위치와 자세의 값을 순서대로 취득하다. 계측값 취득부(1030)는 그 값에 대한 정보를 기억하고, 다른 처리부로부터의 요구에 응답해서 최신의 계측 결과를 출력한다. 또, 초음파 화상 취득부(1070)도 이와 같은 처리의 스텝에 관계없이 초음파 화상 촬영 장치(120)가 촬영한 초음파 화상을 순서대로 취득한다. 초음파 화상 취득부(1070)는 화상에 대한 정보를 기억하고, 다른 처리부로부터의 요구에 응답해 최신의 초음파 화상을 출력한다.
스텝 S500에 있어서, MRI 장치(110)는 피검체를 촬영하고, MRI 화상 취득부(1010)는 3차원의 MRI 화상을 취득한다. MRI 화상은 복수의 화소로 구성되고, 각 화소는 휘도값과 위치 정보를 갖는다. 여기서 각 화소의 위치는 MRI 화상을 기준으로 하는 좌표계(MRI 화상 좌표계)에 있어서의 3차원의 위치 좌표로 표현된다.
스텝 S510에 있어서, 제1 특징 위치 취득부(1020)는 MRI 화상에 묘사되는 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 MRI 화상 좌표계에 있어서의 위치로서 취득한다. 피검체의 흉골 및 늑골에 근접하는 체표의 위치란, 예를 들면 피검체의 체표 중에서, 흉골 및 늑골의 표면 위치에 공간적으로 가장 가까운 위치이다. 여기서, 흉골에 근접하는 체표의 위치로서는, 피검체의 흉골의 상단 및 흉골의 하단에 각각 근접하는 체표의 위치를 사용할 수가 있다. 또, 늑골에 근접하는 체표의 위치로서는, 예를 들면 피검체의 좌우 각각의 제2 늑골에 근접하는 체표의 위치를 사용할 수가 있다. 그러나, 늑골에 근접하는 체표의 위치는 반드시 피검체의 제2 늑골 부근의 체표의 위치가 아니어도 된다. 예를 들면, 피검체의 제1 늑골이나 제3 늑골 등 임의의 늑골에 근접하는 체표의 위치를 사용해도 된다. 다만, 후에 설명하는 스텝 S520에 있어서 사용된 늑골과 같은 늑골을 사용하는 것이 바람직하다.
예를 들면, 제1 특징 위치 취득부(1020)는 흉골 및 늑골에 근접하는 체표의 위치를 아래와 같이 취득할 수가 있다. 우선, 정보처리장치(100)는 모니터(140)에 MRI 화상의 액시얼 상(axial image), 사지탈 상(sigittal image), 코로날 상(coronal image) 등, 임의로 자른 단면 화상을 표시한다. 다음에, 유저는 마우스(150)나 키보드(160) 등을 조작해 상기 단면 화상의 위치나 자세를 바꾼다. 다음에, 유저는 마우스(150) 등을 조작해 그 단면 화상에 묘사된 흉골 및 늑골에 근접하는 체표의 위치를 지정한다. 제1 특징 위치 취득부(1020)는, 상기 단면 화상에 있어서 유저가 지정한 위치와 단면 화상의 위치 및 자세에 근거해, MRI 화상 좌표계에 있어서의 흉골 및 늑골에 근접하는 체표의 위치를 산출한다.
이상의 설명에서는, 유저가 마우스(150)의 조작 등에 의해, 늑골 및 흉골에 근접하는 체표의 위치를 MRI 화상 상에서 지정함으로써, 제1 특징 위치 취득부(1020)가 지정된 위치를 취득한다. 그렇지만, 제1 실시예는 이러한 예에 한정되지 않는다. 예를 들면, 제1 특징 위치 취득부(1020)는, 유저가 마우스(150)의 조작 등에 의해 흉골 및 늑골의 위치를 지정하고, 그 위치에 대한 정보를 취득한다. 다음에, 제1 특징 위치 취득부(1020)는, 그 위치에 근접하는 체표의 위치를 화상 처리 등에 의해 산출해도 된다. 예를 들면, MRI 화상을 처리하는 것으로 피검체의 체표의 형상을 조밀한 점 군 등으로서 추출해도 된다. 이렇게 함으로써, 제1 특징 위치 취득부(1020)는, 그 점 군 중에서, 유저가 지정한 위치에 근접하는 점을 선택할 수 있다.
정보처리장치(100)는 스텝 S510에서 취득되고 MRI 화상 좌표계에 있는 흉골의 상단(제2 늑골의 기저)에 근접하는 체표 위치를 pM1로서 기록한다. 이와 같이, 정보처리장치(100)는 흉골의 하단에 근접하는 체표 위치를 pM2로서 기록한다. 또한, 정보처리장치(100)는 좌우 제 2 늑골에 근접하는 체표 위치를 pM3 및 pM4로서 각각 기록한다. 여기서, 위치 pM3와 pM4는 피검체의 몸 축에 대해서 대칭이 되는 것이 바람직하다. 이 이유에 대해서는 이하의 스텝 S533를 설명할 때 자세하게 설명할 것이다. 정보처리장치(100)는 4개의 위치 pM1, pM2, pM3, pM4를 유저가 그 위치를 지정한 순서대로 기록해도 된다. 선택적으로, 정보처리장치(100)는 유저에 의해 키보드(160)에 입력된 지시에 근거해 임의의 순으로 그 위치를 기록해도 된다. 여기서, 정보처리장치(100)는 위치 pM1, pM2, pM3, pM4를, 3차원 공간에 있어서의 위치를 나타내는 확장 벡터로서 기록한다. 상기 4개의 점의 모든 위치의 입력을 끝내면, 스텝 S520로 처리를 진행시킨다.
이상의 설명에서는, 유저의 입력 조작에 근거해 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 그렇지만, 제1 실시예는 이러한 예에 한정되지 않는다. 예를 들면, 상기 데이터를 외부의 기록 장치 등에 미리 기억시켜도 된다. 이것에 의해, 유저가 그 데이터를 정보처리장치(100)에 입력하면, 제1 특징 위치 취득부(1020)는 그 데이터를 취득할 수 있다.
스텝 S520에 있어서, 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 이 처리는 예를 들면 이하와 같이 실행된다. 유저는 피검체의 흉골의 상단(제2 늑골의 기저)에 근접하는 체표의 위치에 초음파 프로브의 촬영면의 중심이 접하도록 초음파 프로브를 보유한다. 다음에, 유저가 키보드(160) 등을 조작해 위치를 취득하기 위한 명령을 입력한다. 다음에, 계측값 취득부(1030)가 센서 좌표계에 있어서의 초음파 프로브의 위치와 자세에 관한 최신의 계측 결과를 취득한다. 그리고, 정보처리장치(100)는 초음파 프로브의 촬영면의 중심 위치를 pU1로서 기록한다. 이와 같이, 정보처리장치(100)는 흉골의 하단에 근접하는 체표의 위치를 pU2로서 기록한다. 또한, 정보처리장치(100)는 좌우 제2 늑골에 근접하는 체표의 위치를 "pU3" 및 "pU4"로서 각각 기록한다. 여기서, 위치 pU3와 pU4는 피검체의 몸 축에 대해서 대칭이 되는 것이 바람직하다. 이 이유에 대해서는 이하에 스텝 S533을 설명할 때 자세하게 설명한다. 정보처리장치(100)는 상기 4개의 위치 pU1, pU2, pU3, pU4를 유저가 상기의 위치를 지정한 순으로 기록해도 된다. 선택적으로, 정보처리장치(100)는 유저에 의해 키보드(160)에 입력된 지시에 근거해 임의의 순으로 그 위치를 기록해도 된다. 여기서 정보처리장치(100)는 위치 pU1, pU2, pU3, pU4를, 3차원 공간에 있어서의 위치를 나타내는 확장 벡터로서 기록한다.
이상의 설명에서는, 센서 좌표계에 있어서 위치와 자세가 계측되는 초음파 프로브를 이용하고, 그 초음파 프로브의 촬영면의 중심의 위치를 취득함으로써, 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 그렇지만, 제1 실시예는 이러한 예에 한정되지 않는다. 예를 들면, 초음파 프로브 대신에, 스타일러스(stylus) 등의 장치를 이용해도 된다. 이 경우, 상기 스타일러스의 선단을 센서 좌표계에 있어서 계측해도 된다. 좀더 구체적으로, 상기 피검체의 소정의 부위에 상기 스타일러스의 선단을 접촉시켰을 때의, 상기 스타일러스의 선단의 위치를 취득해도 된다. 이상의 처리에 의해, 스텝 S520에 있어서, 제2 특징 위치 취득부(1040)는 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 다음에, 처리를 스텝 S530로 진행한다.
스텝 S530에 있어서, 변환 규칙 산출부(1050)는 센서 좌표계와 MRI 화상 좌표계와의 사이의 좌표 변환에 관한 변환 규칙을 산출한다. 바꾸어 말하면, 변환 규칙 산출부(1050)는 제1 특징 위치 취득부(1020)가 취득한 흉골 및 늑골에 근거하는 복수의 위치와 제2 특징 위치 취득부(1040)가 취득한 흉골 및 늑골에 근거하는 복수의 위치와의 대응 관계를 산출함으로써, 피검체와 상기 3차원 화상과의 위치의 대응 관계를 산출한다. 스텝 S530에 대해서는 도 6을 참조해서 이하에 자세히 설명한다.
스텝 S540에 있어서, 대응 단면 화상 생성부(1060)는, 소정의 프레임 레이트(frame rate)에 근거해 순서대로 입력되는 초음파 화상에 대응하는 MRI의 대응 단면 화상을, 초음파 프로브의 위치 및 자세와 스텝 S530에서 취득한 변환 규칙을 이용해 생성한다. 한층 더, 표시 화상 생성부(1080)는 대응 단면 화상과 초음파 화상을 비교해 관찰하도록 표시 화상을 생성한다. 보다 구체적으로는 이하의 처리를 실행한다.
우선, 대응 단면 화상 생성부(1060)는, 프로브 좌표계에 있어서의 초음파 화상의 촬영 영역을 취득한다. 예를 들면, 초음파 화상이 구형인 경우에는, 대응 단면 화상 생성부(1060)는, 그 화상의 4코너의 위치를 취득한다. 다음에, 대응 단면 화상 생성부(1060)는, 계측값 취득부(1030)로부터 초음파 프로브의 위치와 자세에 관한 최신의 계측값을 취득한다. 다음에, 대응 단면 화상 생성부(1060)는, 그 값에 근거해, 상기 4코너의 위치를 센서 좌표계에서 산출한다.
게다가, 대응 단면 화상 생성부(1060)는, 스텝 S530에서 산출한 변환 규칙 M4에 근거해, 상기 위치를 MRI 화상 좌표계에서의 위치로 변환한다. 이것에 의해, 대응 단면 화상 생성부(1060)는, MRI 화상 좌표계에 있어서의 4코너의 위치를 산출한다. 다음에, 대응 단면 화상 생성부(1060)는, 그 4코너의 위치를 연결함으로써 형성되는, MRI 화상 좌표계에 있어서의 구형 영역을 산출한다. 대응 단면 화상 생성부(1060)는, 그 영역에 있어서의 MRI 화상을 자르는 것으로, 대응 단면 화상을 생성한다.
다음에, 표시 화상 생성부(1080)는 초음파 화상 취득부(1070)가 취득한 최신의 초음파 화상을 취득한다. 다음에, 표시 화상 생성부(1080)는 대응 단면 화상 생성부(1060)가 취득한 대응 단면 화상과 상기 초음파 화상을 비교해 관찰할 수 있도록 한 표시 화상을 생성한다. 표시 화상 생성부(1080)는, 그 표시 화상을 모니터(140) 등에 표시한다. 예를 들면, 표시 화상 생성부(1080)는 표시 화상에 있어서 나란히 대응 단면 화상과 초음파 화상을 표시해도 된다. 선택적으로, 표시 화상 생성부(1080)는, 그 화상들 중의 하나를 다른 화상에 중첩해도 된다.
이것에 의해, 유저가 초음파 화상과 이 초음파 화상에 대응하는 MRI 단면 화상을 비교해 관찰할 수 있다. 스텝 S540는, 소정의 커멘드를 유저가 입력할 때까지, 시시각각으로 입력되는 초음파 화상에 대해서 반복해 실행된다.
스텝 S550에 있어서, 정보처리장치(100)는, 처리를 종료했는지 아닌지를 판정한다. 처리가 종료라고 판정했을 경우에는(스텝 S550에서 YES), 처리를 종료시킨다. 그렇지 않은 경우에는(스텝 S550에서 NO), 스텝 S520로 처리를 되돌린다. 정보처리장치(100)는, 유저에 의한 마우스(150)나 키보드(160)에 의한 입력 조작에 근거해 이 판정을 행할 수가 있다. 따라서, 유저는 스텝 S540에 있어서 모니터(140)에 표시한 초음파 화상과 대응 단면 화상을 관찰해, 스텝 S530에서 좌표 변환이 적절히 실행되었는지 아닌지를 판단할 수 있다. 즉, 유저는 정보처리장치(100)가 실행한 처리를 바꿀 수가 있다. 예를 들면, 유저가 좌표 변환이 적절히 실행되었다고 판정했을 경우에는(스텝 S550에서 YES), 정보처리장치(100)는 처리를 종료시킨다. 그렇지 않은 경우에는(스텝 S550에서 NO), 정보처리장치(100)는 제2 특징 위치 취득부(1040)에게 센서 좌표계에 있어서의 흉골 및 늑골의 각각에 근접하는 체표의 위치를 다시 취득시키고, 변환 규칙 산출부(1050)에게 좌표 변환을 다시 산출시킬 수가 있다.
또, 정보처리장치(100)는, 유저가 좌표 변환이 적절히 실행되었다고 판정했을 경우에, 처리를 종료시키는 것이 아니라, 처리를 계속해도 된다. 예를 들면, 정보처리장치(100)는 MRI 화상과 초음파 화상을 이용해, 피검체의 자세의 변화에 관한 보정을 포함한, 보다 정밀하게 좌표 변환을 보정하는 처리를 한층 더 실행해도 된다. 그 경우, 정보처리장치(100)는 스텝 S530에서 산출한 좌표 변환에 관한 변환 규칙을 초기값으로서 이용할 수가 있다.
다음에, 도 6의 플로차트를 참조해서 스텝 S530의 처리 순서를 상세하게 설명한다. 스텝 S531에 있어서, 변환 규칙 산출부(1050)는 센서 좌표계에 있어서의 흉골의 상단에 근접하는 체표의 위치 pU1를, MRI 화상 좌표계에 있어서의 흉골의 상단(제2 늑골의 기저)에 근접하는 체표의 위치 pM1와 위치 맞추도록 좌표 변환을 산출한다. 그러한 제2 늑골의 기저 부근의 점은 체외로부터 가장 정밀하고 용이하게 지정될 수 있기 때문에, 해당 점을 우선적으로 위치 맞춤에 이용한다. 여기서 좌표 변환은 강체 변환 행렬 M1로 나타낸다. 강체 변환 행렬 M1는 수식(1)의 관계를 충족하는 4 x 4 행렬이다.
Figure 112012024688432-pat00001
(1)
한층 더, 변환 규칙 산출부(1050)는, 강체 변환 행렬 M1를 이용해, 센서 좌표계에 있어서의 흉골과 늑골에 근접하는 체표의 위치 pU1, pU2, pU3, pU4를 강체 변환한 위치 pU1', pU2', pU3', pU4'를 산출한다. 덧붙여, 본 제1 실시예에 따른 변환에서는, 위치 pU1와 pU1'는 동일한 위치를 나타낸다.
스텝 S532에 있어서, 변환 규칙 산출부(1050)는 스텝 S531에서 좌표 변화한 흉골의 상단 및 하단에 근접하는 체표의 위치를 연결하는 직선(흉골 축)을, 거기에 대응하는 MRI 좌표계에 있어서의 흉골 축과 일치시키는 좌표 변환을 산출한다. 좀더 구체적으로는, 변환 규칙 산출부(1050)는 다음과 같은 좌표 변환을 산출한다. 우선, 변환 규칙 산출부(1050)는, 스텝 S531에서 좌표 변환한 흉골의 상단(제2 늑골의 기저)에 근접하는 체표의 위치와 흉골의 하단에 근접하는 체표의 위치로 정의되는 흉골의 방향의 벡터 dU2를, 수식(2)에 근거해서 산출한다.
Figure 112012024688432-pat00002
(2)
이와 같이, 변환 규칙 산출부(1050)는, MRI 화상 좌표계에 있어서의, 흉골의 상단 및 하단에 근접하는 체표의 위치로 정의되는 흉골의 방향의 벡터 dM2를, 수식(3)에 근거해서 산출한다.
Figure 112012024688432-pat00003
(3)
다음에, 변환 규칙 산출부(1050)는, 벡터 dU2(위치 자세 계측 장치(130)로 계측된 피검체의 흉골 방향)와 벡터 dM2(3차원 MRI 화상에 있어서 지정된 피검체의 흉골 방향)을 일치시키기 위한 회전축의 방향을 나타내는 벡터, 즉 벡터 da2의 외적(cross product)을, 수식(4)에 근거해 산출한다.
Figure 112012024688432-pat00004
(4)
다음에, 변환 규칙 산출부(1050)는, 수식(4)에 근거해 산출된 벡터 da2가 나타낸 방향을 축으로 한 회전량(회전각) θ2를 수식(5)에 근거해서 산출한다.
Figure 112012024688432-pat00005
(5)
다음에, 변환 규칙 산출부(1050)는, 스텝 S531에서 좌표 변화한 흉골의 상단에 근접하는 체표의 위치 pU1'를 중심으로 하고, 벡터 da2의 방향을 축으로 하여, 회전량 θ2만큼 회전시키는 강체 변환 행렬 M2를 산출한다. 여기서 강체 변환 행렬 M2는 4 x 4 행렬이며, 기존의 방법에 의해 산출될 수 있다. 강체 변환 행렬 M2는, 피검체와 3차원 화상과의 대응 관계를 나타내고, 제1 특징 위치 취득부(1020)에 의해 취득된 피검체의 제2 늑골의 기저에 근거하는 위치와 제2 특징 위치 취득부(1040)에 의해 취득된 3차원 MRI 화상에 있어서의 제2 늑골의 기저에 근거하는 위치를 얼라인한다. 흉골의 상단(제2 늑골의 기저)에 근접하는 위치의 계측값을 가장 신뢰할 수 있는 값으로 하고, 흉골의 하단에 근접하는 위치의 계측값을 두 번째의 가장 신뢰할 수 있는 값으로 해서, 그러한 흉골의 위치를 사용하면, 정확한 위치 맞춤을 할 수가 있다.
한층 더, 변환 규칙 산출부(1050)는, 스텝 S531에서 강체 변환한 흉골과 늑골에 근접하는 체표의 위치 pU1', pU2', pU3', pU4'의 각각을 강체 변환하도록 강체 변환 행렬 M2를 이용해, 위치 pU1", pU2", pU3", pU4"를 산출한다. 덧붙여, 본 제1 실시예에 따른 변환에서는, 위치 pU1와 pU1'와 pU1"는 동일한 위치를 나타낸다.
스텝 S533에 있어서, 변환 규칙 산출부(1050)는 MRI 화상 좌표계에 있어서의 흉골 및 늑골에 근접하는 체표의 위치 및, 스텝 S532에서 산출한 흉골 및 늑골에 근접하는 체표의 위치에 근거해, 흉골 축에 대한 회전을 보정하는 좌표 변환을 산출한다.
도 7은 스텝 S510에서 취득한 흉골 및 늑골에 근접하는 체표의 위치 pM1, pM3, pM4, 및 스텝 S520에서 취득한 흉골 및 늑골에 근접하는 체표의 위치 pU1, pU3, pU4의 개략을 나타내는 도면이다. 실제의 피검체의 위치는 3차원 공간에 존재하지만, 여기에서는 설명의 형편상, 도 7에 나타낸 바와 같이, 피검체의 액시얼(axial) 단면 상에 상기 위치를 투영한다. 또, 위치 pU1, pU3, pU4와 위치 pM1, pM3, pM4는 각각 다른 좌표계에 있어서의 위치이지만, 도 7은 피검체 상의 개개의 위치를 나타낸다. 도 7에 있어서, 좌우 늑골에 근접하는 체표 700 및 710은 각각 피검체의 전체 체표 730 상에서, 늑골에 근접하는 부위를 나타낸다. 도 7에 나타낸 바와 같이, 피검체의 좌우의 늑골에 근접하는 피검체 체표 700 및 710은, 3차원 공간 내에 있어서, 피검체의 몸 축에 대해 대략 대칭인 곡선으로서 파악될 수가 있다.
스텝 S510에서 취득한 위치 pM3는 좌측 제1 늑골에 근접하는 곡선의 체표 700 상에 존재하고, 스텝 S510에서 취득한 위치 pM4는, 우측 제2 늑골에 근접하는 곡선의 체표 710 상에 존재한다. 이와 같이, 스텝 S520에서 취득한 위치 pU3은 좌측 제2 늑골에 근접하는 곡선의 체표 700 상에 존재하고, 스텝 S520에서 취득한 위치 pU4은 우측 제2 늑골에 근접하는 곡선의 체표 710 상에 존재한다. 다만, 도 7에 나타낸 바와 같이, 위치 pM3와 pU3(pM4와 pU4)는 반드시 피검체의 동일한 부위를 나타내지 않는다. 그 때문에, 만일 취득한 pM3, pM4, pU3, pU4가 좌측 제2 늑골에 근접하는 체표 상에서 완전한 자유도를 갖는 경우에는, 이러한 점을 이용해 흉골 축에 대한 회전을 보정하는 좌표 변환을 산출하는 것은 용이하지 않다. 따라서, 본 제1 실시예에서는, 스텝 S510 및 스텝 S520에 있어서는, 유저가 좌우의 늑골에 근접하는 체표의 위치를 취득하고, 이 위치는 피검체의 몸 축으로 대해 대략 대칭이다. 이와 같이, 변환 규칙 산출부(1050)는 간단한 처리를 이용해서 상기 좌표 변환을 산출할 수 있다.
다음에, 변환 규칙 산출부(1050)가 행하는 스텝 S533에 대해서 상세히 설명한다. 우선, 스텝 S532에서 산출한 흉골의 상단 및 하단에 근접하는 체표의 위치, 및 좌측 제2 늑골에 근접하는 체표의 위치를 포함한 평면의 법선 nUL를 산출한다. 변환 규칙 산출부(1050)는 법선 nUL를 수식(6)에 의거해 산출한다.
Figure 112012024688432-pat00006
(6)
이와 같이, 변환 규칙 산출부(1050)는 흉골의 상단 및 하단에 근접하는 체표의 위치, 및 우측 제2 늑골에 근접하는 체표의 위치를 포함한 평면의 법선 nUR를 수식(7)에 의거해 산출한다.
Figure 112012024688432-pat00007
(7)
다음에, 변환 규칙 산출부(1050)는 법선 nUL, nUR의 평균 벡터 nU를 수식(8)에 의거해 산출한다.
Figure 112012024688432-pat00008
(8)
또, MRI 화상 좌표계에 있어서의 흉골 및 늑골에 근접하는 체표 위치에 근거해, 수식(9), 수식(10), 및 수식(11)에 의해 법선 nML, nMR 및, 그것의 평균 벡터 nM를 산출한다.
Figure 112012024688432-pat00009
(9)
Figure 112012024688432-pat00010
(10)
Figure 112012024688432-pat00011
(11)
다음에, 변환 규칙 산출부(1050)는 벡터 nU 및 nM의 방향을 일치시키기 위한 회전의 축 da3와 회전량 θ3을 수식(12) 및 (13)에 의거해 산출한다.
Figure 112012024688432-pat00012
(12)
Figure 112012024688432-pat00013
(13)
다음에, 변환 규칙 산출부(1050)는 스텝 S532에서 좌표 변환한 흉골의 상단에 근접하는 체표의 위치 pU1"를 중심으로 하고, 벡터 da3의 방향을 축으로 해, 회전량 θ3만큼 회전시키는 강체 변환 행렬 M3를 산출한다. 강체 변환 행렬 M3는 제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)에 의해 취득된 늑골에 근거하는 위치의 대응 관계에 근거해, 피검체와 3차원 MRI 화상과의 흉골을 축으로 하는 회전 방향의 대응 관계를 나타낸다. 강체 변환 행렬 M2는 4 x 4 행렬이며, 기존의 방법에 의해 산출될 수 있다.
스텝 S534에 있어서, 변환 규칙 산출부(1050)는 강체 변환 행렬 M1, M2, M3를 합성해서, 강체 변환 행렬 M4를 산출한다. 이 강체 변환 행렬 M4는 센서 좌표계에 있어서의 위치 좌표를, MRI 화상 좌표계에 있어서의 대응하는 위치 좌표로 변환한다. 이 산출은 수식(14)에 의해 실행된다.
Figure 112012024688432-pat00014
(14)
이상 설명한 스텝 S531 내지 스텝 S534에 의해, 변환 규칙 산출부(1050)는 센서 좌표계에 있어서의 위치 좌표를, MRI 화상 좌표계에 있어서의 대응하는 위치 좌표로 변환하는 강체 변환 행렬 M4를 산출한다. 이상에 의해, 정보처리장치(100)가 처리를 실행한다.
스텝 S530에서는, 정보처리장치(100)는 한층 더 이하의 처리를 실행해도 된다. 즉, 스텝 S520에서 취득한 센서 좌표계에 있어서의 흉골 및 늑골에 근접하는 체표의 위치를, 상기 강체 변환 행렬 M2에 근거해 강체 변환해서 얻은 위치를, 검사자가 3차원적인 위치 관계를 인식할 수 있도록 모니터(140) 등에 표시한다. 게다가, 스텝 S510에서 취득한 MRI 화상 좌표계에 있어서의 피검체의 흉골 및 늑골에 근접하는 체표의 위치를, 상기와 같이 모니터(140)에 표시한다. 이것에 의하면, 정보처리장치(100)는 상기 표시한 흉골 및 늑골에 근접하는 체표의 위치 간의 위치 관계를 유저에게 제시할 수가 있다. 그 결과, 스텝 S531로부터 스텝 S534까지의 처리가 매우 적합하게 실행되는지 아닌지를 유저가 파악할 수 있다.
도 8은 스텝 S540에서 표시 제어부(1090)로부터의 지시에 응답해서 표시부(1400)에 의해 표시된 표시 화상 800을 나타낸다. 표시 화상 800에서는, MRI 단층 화상 810과 초음파 화상 820을 나란히 표시한다. 표시 화상 800은 초음파 화상 820의 촬영 중에 표시부(1400)에 표시된다. 변환 규칙 산출부(1050)에 의해 산출된 피검체와 3차원 화상과의 대응 관계에 근거해, 촬영된 초음파 화상 820에 대응하는 MRI 단층 화상 810이 생성된다.
이상 설명한 것처럼, 본 제1 실시예에 있어서의 화상 진단 시스템(1)에 의하면, 번잡한 조작을 필요로 하는 일 없이, 고정밀하게 센서 좌표계와 MRI 화상 좌표계와의 변환 규칙을 산출할 수 있다.
(변형 예 1－1)
상술의 예에서는, 3차원 화상과 피검체와의 대응 관계를 취득하기 위해서, 검사자가 수동으로 피검자의 체표 위치를 지정해야 한다. 정보처리장치(100)는 검사자에의 부담을 경감하기 위해, 계측에 대해서 유저 지원 정보를 제시하는 기능을 갖는다.
도 9의 플로차트를 참조해서 검사자에 의한 작업을 지원하는 처리를 설명한다. 이 처리는, 도 5의 스텝 S520에 있어서 제2 특징 위치 취득부(1040)가 피검체의 측정 위치를 취득할 때마다 행해진다.
우선, 스텝 S900에서, 판정부(1100)는 제2 특징 위치 취득부(1040)에 의해 취득된 특징 위치를 취득한다. 다음에, 스텝 S910에서, 판정부(1100)는 취득된 위치가 스레숄드로부터 크게 벗어났는지 아닌지를 판정한다. 1개의 예에서는, 판정부(1100)는 기정의 위치가 취득되었는지 아닌지를 판정한다. 상술의 예에서는, 기정의 위치가 흉골에 근거하는 2점(제2 흉골의 기저 부근의 1점과 하부 늑골 부근의 다른 점)과 흉골에 대해서 대칭인 늑골에 근거하는 2점이다. 판정부(1100)는 취득된 특징 위치가 기정의 위치 중 어느 하나의 위치에 해당하는지 여부를 판정한다.
또 다른 예에서는, 판정부(1100)는 제2 특징 위치 취득부(1040)에 의해 취득된 흉골의 복수의 위치가, 일반적인 피검체의 흉골의 크기를 넘는 범위 내에 분포하고 있는지 여부를 판정한다. 만일 그렇다면, 판정부(1100)는 계측이 실패라고 판정한다. 또 다른 예에서는, 검사자가 베드에 누운 피검체를 측정한다고 하는 전제 하에서는, 흉골의 방향이 베드의 방향과 대략 평행하거나, 혹은 적어도 베드와 흉골의 방향이 이루는 각이 소정의 각도 범위 내에 있다고 생각할 수 있다. 이와 같이, 본 예에서는, 판정부(1100)는, 흉골에 근거하는 복수의 위치에 의해 취득되는 흉골의 위치가 베드의 수평 방향과 소정의 각도를 이루는 경우에는, 계측이 실패라고 판정한다.
또 다른 예에서는, 흉골의 3점 이상의 위치가 이미 지정되어 있는 경우에 있어서, 1점이 다른 점에 대해서 소정의 스레숄드로부터 크게 벗어나 있다고 판정되었을 경우에는, 판정부(1100)는 계측이 실패라고 판정한다. 판정부(1100)가 계측이 실패라고 판정했을 경우에는(스텝 S910에서 YES), 동작이 스텝 S920로 진행된다. 계측이 실패라고 판정되지 않은 경우에는(스텝 S910에서 NO), 동작이 스텝 S920를 스킵하고 스텝 S930로 진행된다. 스텝 S920에서, 출력부(1110)는 취득된 위치가 부적절하다는 것을 나타내는 경고를 표시부(1400)에 표시시킨다.
스텝 S930에서, 판정부(1100)는 취득된 모든 위치를 처리했는지 아닌지를 판정한다. 아직도 처리되지 않은 점이 있는 경우에는(스텝 S930에서 NO), 동작이 스텝 S900로 되돌아간다. 모든 입력된 점이 처리된 경우에는(스텝 S930에서 YES), 동작이 스텝 S940로 진행된다.
스텝 S940에서, 판정부(1100)는 기정의 모든 특징 위치가 취득되었는지 아닌지를 판정한다. 상술의 예에서는, 기정의 특징 위치는 흉골에 근거하는 2점(제2 늑골의 기저 부근의 1점과 제2 늑골 하단 부근의 다른 점)과 흉골에 대해서 대칭인 늑골에 근거하는 2점이다. 모든 기정의 특징 위치가 취득되었을 경우에는(스텝 S940에서 YES), 동작이 스텝 S950를 스킵하고 처리를 끝낸다. 모두 취득이 끝난 상태로 판정되지 않은 경우에는(스텝 S940에서 NO), 동작이 스텝 S950로 진행된다. 스텝 S950에서는, 출력부(1110)는, 미취득의 특징 위치에 대한 경고 정보를 출력하고, 표시부(1400)는 관계되는 정보를 표시한다.
상술의 처리는 제2 특징 위치 취득부(1040)에 의한 취득 처리에 대해서 행해질 뿐만 아니라, 제1 특징 위치 취득부(1020)에 의한 취득 처리에 대해서도 행해진다. 그렇게 하면, 검사자가 3차원 화상에 있어서의 특징 위치를 보다 쉽게 지정할 수 있다.
또, 정보처리장치(100)는 또 다른 방식으로 유저에 대한 지원 정보를 제시할 수 있다. 예를 들면, 정보처리장치(100)는 위치 pU3와 pU4가 피검체의 몸 축에 대해서 대칭인 위치로서 유저가 취득하는 것을 보조하기 위한 지원 정보를 제시할 수 있다. 예를 들면, 취득된 위치 pU1, pU2, pU3, pU4의 정보에 근거해, 위치 pU1와 pU2를 연결하는 직선으로부터 위치 pU3까지의 거리와 이 직선으로부터 위치 pU4까지의 거리를 산출한다. 그러한 거리 간의 차가 소정의 값 이상인 경우에는, 표시부(1400)는 위치의 취득을 다시 하는 것을 검사자에게 재촉하는 메세지 등을 제시할 수 있다.
또, 제2 특징 위치 취득부(1040)가 위치 pU1, pU2, pU3를 취득한 후에 위치 pU4를 취득하는 경우에는, 위치 pU1와 pU2를 연결하는 직선으로부터 위치 pU3까지의 거리와 위치 pU1와 pU2를 연결하는 직선으로부터 초음파 프로브의 촬영면 중심인 현재의 위치까지의 거리를 산출한다. 이와 같이, 표시부(1400)는 이들 거리 간의 차에 관한 정보를 제시해도 된다. 예를 들면, 이들 거리 간의 차가 소정의 값 이하인 경우에, 표시부(1400)는 비프 음(beep sound)을 출력해도 된다. 비프음의 발생 간격을, 상기의 거리 간의 차에 근거해 제어하면, 차가 작을수록 짧은 간격으로 비프음이 발생할 수 있다.
이외에도, 표시부(1400)는 취득된 위치 pU1, pU2, pU3, pU4 간의 위치 관계를 유저가 3차원적으로 파악할 수 있는 화상 등의 정보를 모니터(140)에 표시해도 된다. 이상의 처리에 의하면, 판정부(1100)는 위치 pU3와 pU4가 피검체의 몸 축에 대해서 대칭인 위치로서 유저가 취득하는 것을 보조하기 때문에, 유저는 스텝 S530 이후의 매우 적합한 정보를 취득할 수 있다.
또 다른 예에서는, 계측 처리를 실행할 때에, 제2 특징 위치 취득부(1040)는 유저에 대한 지원 정보를 제시한다. 예를 들면, 표시부(1400)는 흉골 및 늑골의 위치를 마크한 인체의 흉부의 화상 도식도를 모니터(140)에 표시시켜도 된다. 이때, 흉골 및 늑골에 근접하는 체표의 위치의 취득 상황에 따라, 상기 도식도에 있어서의 위치를 다르게 마크해도 된다. 예를 들면, 상기 위치를 소정의 순으로 취득하는 경우에는, 현재의 취득 상황에 따라, 다음에 취득하는 위치를 다르게 마크해도 된다.
또, 상기 위치를 임의의 순으로 취득하는 경우에는, 취득된 위치와 취득되지 않은 위치를 구별할 수 있도록 서로 다른 마크를 표시해도 된다. 이상의 처리에 의하면, 흉골 및 늑골에 근접하는 체표의 위치의 취득을 유저에게 재촉할 수가 있다.
(변형예 1－2)
제1 실시예에서는, 스텝 S520에 있어서, 피검체의 늑골에 근접하는 체표의 위치를 유저가 좌우 각각에서 1점씩 지정하고, 제2 특징 위치 취득부(1040)가 그 위치를 취득한다. 그렇지만, 제1 실시예는 그러한 예에 한정되지 않는다. 예를 들면, 늑골에 근접하는 체표 상의 우측 또는 좌측에 대하여 복수의 위치를 유저가 지정해도 되고, 제2 특징 위치 취득부(1040)는 그 위치를 취득해도 된다. 예를 들면, 피험자의 좌측의 늑골에 근접하는 체표 위치로서, 복수의 위치 pU3i(1≤i≤N　다만 N는 복수의 위치의 수)를 유저가 지정해도 되고, 제2 특징 위치 취득부(1040)는 그 위치를 취득한다.
이 경우, 제2 특징 위치 취득부(1040)는, 상기 복수의 위치 pU3i(1≤i≤N) 중에서, 좌표 변환의 산출에 적절한 위치를 선택할 수 있도록 구성된다. 예를 들면, 제2 특징 위치 취득부(1040)는 흉골의 상단에 근접하는 체표의 위치 pU1와 우측의 늑골에 근접하는 체표의 위치 pU4와의 거리 dU14를 산출한다. 게다가, 제2 특징 위치 취득부(1040)는, 상기 좌측의 늑골에 근접하는 체표 상의 복수의 위치 pU3i의 각각과, 흉골의 상단에 근접하는 체표 위치 pU1와의 거리를 거리 dU13i(1≤i≤N)로서 산출한다. 다음에, 거리 dU13i(1≤i≤N) 중에서, 제2 특징 위치 취득부(1040)는, 거리 dU14에 가장 가까운 것을 선택하고, 그 대응하는 위치를 위치 pU3라고 판정한다. 이상의 방법에 의하면, 센서 좌표계에 있어서의 피검체의 늑골에 근접하는 체표의 위치의 취득에 관해서, 유저가 피검체의 몸 축에 대해 대칭인 위치를 선택하는 번잡함 처리를 실행할 필요가 없다. 이 때문에, 보다 간편한 조작으로 처리를 실행할 수 있다.
(변형예 1－3)
제1 실시예에 있어서의 스텝 S510 및 스텝 S520에서는, 제1 및 제2 특징 위치 취즉부(1020, 1040)는 피검체의 흉골의 상단 및 흉골의 하단에 각각 근접하는 체표의 위치를 취득한다. 그렇지만, 제1 실시예는 이러한 예에 한정되지 않는다. 예를 들면, MRI 화상 좌표계와 센서 좌표계를 관련지을 수 있으면, 제1 및 제2 특징 위치 취즉부(1020, 1040)는 다른 체표 위치를 취득해도 된다. 또한, 흉골의 하단에 근접하는 체표의 위치는, 반드시 MRI 화상 좌표계와 센서 좌표계 사이에서 얼라인되지 않아도 된다.
(변형예 1-4)
제1 실시예에 있어서의 스텝 S533에 있어서, 변환 규칙 산출부(1050)는, 좌측 제2 늑골에 근접하는 체표의 위치를 포함한 평면의 법선 nUL와 우측 제2 늑골에 근접하는 체표의 위치를 포함한 평면의 법선 nUR와의 평균 벡터 nU를 수식(8)에 의해 산출한다. 이와 같이, 변환 규칙 산출부(1050)는 법선 nML와 법선 nMR의 평균 벡터 nM를 수식(11)에 의해 산출한다. 그러나, 본 발명의 실시예는 이러한 예에 한정하지 않는다. 변환 규칙 산출부(1050)는, 좌우 제2 늑골에 근접하는 체표의 위치 양쪽을 포함한 평면의 법선을 산출해도 된다. 즉, 수식(6) 내지 수식(8)을 이용하는 대신에, 변환 규칙 산출부(1050)는, 수식(15)을 이용해서 벡터 nU를 산출해도 된다. 마찬가지로, 수식(9) 내지 수식(11)을 이용하는 대신에, 변환 규칙 산출부(1050)는, 수식(16)을 이용해서 벡터 nM를 산출해도 된다.
Figure 112012024688432-pat00015
(15)
Figure 112012024688432-pat00016
(16)
이상의 방법에 의하면, 변환 규칙 산출부(1050)는, 흉골 축에 대한 회전을 보정하는 좌표 변환을 보다 쉽게 산출할 수 있다.
(변형예 1－5)
제1 실시예에서는, 변환 규칙 산출부(1050)는 피검체의 흉골과 늑골에 근접하는 체표의 위치를 이용해 센서 좌표계와 MRI 화상 좌표계와의 사이의 좌표 변환를 산출한다. 그렇지만, 제1 실시예는 그러한 예에 한정되지 않는다. 예를 들면, 변환 규칙 산출부(1050)는 피검체의 흉골과 늑골의 위치를 이용해 센서 좌표계와 MRI 화상 좌표계와의 사이의 좌표 변환을 산출해도 된다.
이 경우, 스텝 S510에 있어서, 제1 특징 위치 취득부(1020)는, 유저에 의한 마우스(150)나 키보드(160)의 입력 조작 등에 근거해, MRI 화상에 있어서의 피검체의 흉골과 늑골의 위치를 취득한다. 또, 스텝 S520에 있어서, 제2 특징 위치 취득부(1040)는, 초음파 화상 취득부(1070)가 취득한 초음파 화상을 모니터(140)에 표시함과 동시에, 유저에 의한 마우스(150)의 입력 조작 등에 의해, 흉골 및 늑골의 상기 초음파 화상에서의 위치를 취득한다. 또한, 제2 특징 위치 취득부(1040)는, 계측값 취득부(1030)가 취득한 초음파 프로브의 위치 및 자세에 관한 계측값과 상기 초음파 화상에서 지정된 위치에 근거해, 센서 좌표계에 있어서의 흉골 및 늑골의 위치를 산출한다. 이상의 방법에 의하면, 변환 규칙 산출부(1050)는, 제1 실시예에 있어서의 체표의 위치에 비해, 촬영 환경 등에 의한 위치의 변동이 적은 흉골 및 늑골의 위치를 직접적으로 이용할 수가 있다. 이 때문에, 변환 규칙 산출부(1050)는 보다 정밀한 변환 규칙을 산출할 수 있다.
덧붙여, 센서 좌표계에 있어서의 흉골 및 늑골의 위치를 또 다른 방법으로 취득해도 된다. 예를 들면, 제2 특징 위치 취득부(1040)는, 제1 실시예에 있어서의 스텝 S520를 실행한 후에, 초음파 프로브의 촬영 표면으로부터 초음파 빔의 방사 방향으로 소정의 거리만큼 떨어진 위치를, 흉골 및 늑골의 위치로서 취득해도 된다. 여기서 소정의 거리로서는, 예를 들면 체표와 흉골(혹은 늑골)과의 사이의 통계상의 평균적인 거리를 이용할 수 있다. 또, 피험자의 연령, 성별, 체중, 그 외의 임상 정보 등에 근거해 소정의 거리를 결정해도 된다.
이외에도, MRI 화상에 있어서의 흉골 및 늑골의 위치와 그 흉골 및 늑골에 근접하는 체표의 위치와의 양쪽 모두를 취득해도 된다. 이 경우, MRI 화상에 있어서의 흉골과 이 흉골에 근접하는 체표와의 거리, 및 늑골과 이 늑골에 근접하는 체표와의 거리를 산출할 수 있다. 이 거리의 각각을 상기 소정의 거리로서 이용할 수 있다. 또, 그때에, MRI 화상의 촬영시와 초음파 화상의 촬영시에 있어서의 피검체의 자세 등의 차를 고려해 상기 거리를 변경해도 된다.
이상의 방법에 의하면, 초음파 화상에서 유저가 뼈의 위치를 지정하는 것이 불필요하다. 이와 같이, 유저는 보다 쉽게 처리를 실행할 수 있다. 또 다른 관점에서는, 3차원 MRI 화상에서는 특징적인 흉골의 위치를 지정해도 되고, 위치 자세 계측 장치(130)에 의해 위치 및 자세를 측정하는 초음파 프로브에 의해 지정하기 쉬운 체표 상의 위치를 지정해도 된다. 이것에 의해, 검사자가 위치 맞춤을 보다 쉽게 실행할 수가 있다.
제1 실시예에서는, 제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)가, 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 4개의 점 군으로서 취득한다. 그렇지만, 본 발명의 실시예는 이러한 예시적인 실시예에 한정되지 않는다. 본 제2 실시예에서는, 늑골에 근접하는 체표의 위치로서 복수의 점(점 군)을 취득한다.
본 제2 실시예에 따른 화상 진단 시스템은 제1 실시예와 같은 구성을 갖기 때문에, 그 설명을 생략한다. 그렇지만, 제2 실시예는 주메모리(212)에 기억되어 있는 프로그램이, 도 10 및 도 11의 처리를 실현하는 점에서 제1 실시예와 다르다.
다음에, 본 제2 실시예에 따른 화상 진단 시스템(1)이 행하는 전체의 처리 순서는 도 10의 플로차트를 이용해 자세하게 설명한다. 스텝 S1000는 제1 실시예에 따른 스텝 S500와 같기 때문에, 그 설명을 생략한다.
스텝 S1010에 있어서, 제1 특징 위치 취득부(1020)는 MRI 화상에 묘사되는 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 MRI 화상 좌표계에 있어서의 위치로서 취득한다. 흉골에 근접하는 체표의 위치의 취득은, 제1 실시예와 같기 때문에, 자세한 설명은 생략한다. 제1 특징 위치 취득부(1020)는 MRI 화상 좌표계에 있어서의 흉골의 상단 및 하단에 근접하는 체표 위치를 각각, 위치 pM1, pM2로서 기록한다.
다음에, 늑골에 근접하는 체표의 위치의 취득에 대해 설명한다. 제1 실시예와 같이 피검체의 좌우 각각의 제2 늑골에 근접하는 체표의 위치를 취득하지만, 제2 실시예는, 제1 특징 위치 취득부(1020)가 그 위치를 복수의 점(점 군)으로서 취득한다는 점에서 제1 실시예와 다르다. 제1 특징 위치 취득부(1020)는 늑골에 근접하는 체표의 위치를 아래와 같이 점 군으로서 취득한다.
우선, 제1 실시예와 같이, 정보처리장치(100)는 모니터(140)에 MRI 화상의 액시얼 상, 사지탈 상, 또는 코로날 상 등, 임의로 잘라진 단면 화상(단면 화상)을 표시시킨다. 상기 단면 화상의 위치나 자세를 유저에 의한 마우스(150)나 키보드(160) 등의 조작에 근거해 바꾼다. 다음에, 예를 들면, 그 단면 화상에 표시된 흉골 및 늑골에 근접하는 체표의 위치를, 유저가 마우스(150)의 조작 등에 의해 지정하고, 제1 특징 위치 취득부(1020)는 그 위치를 취득한다. 상기 단면의 위치와 자세, 및 유저가 지정한 단면 화상에서의 위치에 근거해, 제1 특징 위치 취득부(1020)는 흉골 및 늑골에 근접하는 체표의 MRI 화상 좌표계에 있어서의 위치를 산출한다.
다만, 제1 실시예와는 달리, 유저가 마우스(150)의 조작 등에 의해, 복수의 위치를 지정할 수 있다. 이상의 처리에 의해, 제1 특징 위치 취득부(1020)는 좌측 제2 늑골에 근접하는 체표 위치의 점 군을 pM3i(1≤i≤NML)로서 기록하고, 우측 제2 늑골에 근접하는 체표 위치의 점 군을 pM4j(1≤j≤NMR)로서 기록하며, 다만, NML는 좌측 제2 늑골에 근접하는 체표 위치의 점의 수이고, NMR는 우측 제2 늑골에 근접하는 체표 위치 상의 점의 수이다.
스텝 S1020에 있어서, 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다. 흉골에 근접하는 체표의 위치의 취득은, 제1 실시예에 따른 것과 같기 때문에, 자세한 설명은 생략한다. 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 흉골의 상단 및 하단에 근접하는 체표 위치를 각각, pU1, pU2로서 기록한다.
다음에, 늑골에 근접하는 체표의 위치의 취득에 대해 설명한다. 제1 실시예와 같이, 제2 특징 위치 취득부(1040)는 피검체의 좌우 각각의 제2 늑골에 근접하는 체표의 위치를 취득한다. 그렇지만, 제2 실시예는, 제2 특징 위치 취득부(1040)가 그 위치를 복수의 점(점 군)으로서 취득한다는 점에서 제1 실시예와 다르다. 제2 특징 위치 취득부(1040)는 아래와 같이 늑골에 근접하는 체표의 위치를 점 군으로서 취득한다.
우선, 유저에게 피검체의 좌측 제2 늑골에 근접하는 체표의 위치에 초음파 프로브의 촬영면의 중심이 접하도록 보유시킨다. 다음에, 위치의 취득 개시의 실행 명령을, 키보드(160)의 조작 등에 의해 유저에게 입력시킨다. 그 후, 유저는 피검체의 좌측 제2 늑골에 근접하는 체표의 위치를 따라 초음파 프로브를 피검체의 측으로 이동시킨다. 다음에, 피검체의 좌측 제2 늑골의 단부 부근의 위치에 초음파 프로브가 도달하면, 키보드(160)의 조작 등에 의해 유저에게 위치의 취득 종료의 실행 명령을 실행하게 한다.
제2 특징 위치 취득부(1040)는, 유저로부터 상기 취득 개시의 명령을 취득하면, 계측값 취득부(1030)로부터 센서 좌표계에 있어서의 초음파 프로브의 위치와 자세의 최신의 계측 결과를 순서대로 취득하고, 이 최신의 계측 결과를 반복해서 기록한다. 제2 특징 위치 취득부(1040)가, 유저로부터 상기 취득 종료의 명령을 취득할 때까지 제2 특징 위치 취득부(1040)는, 상기 처리를 계속해서 실행한다.
이상의 처리에 의해, 제2 특징 위치 취득부(1040)는, 피검체의 좌측 제2 늑골에 근접하는 체표의 위치의 점 군을 취득한다. 제2 특징 위치 취득부(1040)는, 취득한 좌측 제2 늑골에 근접하는 체표의 점 군을 pU3k(i≤k≤NUL)로서 기록하고, 다만, NUL는 좌측 제2 늑골에 근접하는 체표 상의 점의 수이다. 마찬가지로, 제2 특징 위치 취득부(1040)는 우측 제2 늑골에 근접하는 체표 상의 점 군을 취득하고, 그 위치를 위치 pU4l(1≤l≤NUR)로서 기록하며, 다만, NUR는 우측 제 2 늑골에 근접하는 체표의 점의 수이다.
스텝 S1030에 있어서, 변환 규칙 산출부(1050)는 센서 좌표계와 MRI 화상 좌표계와의 사이의 좌표 변환에 관한 변환 규칙을 산출한다. 스텝 S1030의 자세한 것은 도 11을 참조해서 후술한다. 스텝 S1040 및 스텝 S1050는 제1 실시예에 따른 스텝 S540 및 스텝 S550와 같기 때문에, 그 설명을 생략한다.
도 11 플로차트를 참조해서 스텝 S1030를 상세히 설명한다. 스텝 S1031에서, 변환 규칙 산출부(1050)는, 제1 실시예에 따른 스텝 S531와 같이, 강체 변환 행렬 M1를 산출한다. 변환 규칙 산출부(1050)는, 스텝 S1020에서로 취득한 흉골 및 늑골에 근접하는 체표의 위치를 강체 변환해서, 위치 pU1', pU2',　pU3k'(i≤k≤NUL),　pU4l'(1≤l≤NUR)를 산출한다.
스텝 S1032에서는, 변환 규칙 산출부(1050)는, 제1 실시예에 따른 스텝 S531와 같은 처리에 의해, 강체 변환 행렬 M2를 산출한다. 변환 규칙 산출부(1050)는, 스텝 S1031에서 취득한 흉골 및 늑골에 근접하는 체표의 위치를 강체 변환해서, 위치 pU1", pU2",　pU3k"(i≤k≤NUL),　pU4l"(1≤l≤NUR)를 산출한다.
스텝 S1033에 있어서, 변환 규칙 산출부(1050)는, MRI 화상 좌표계에 있어서의 흉골 및 늑골에 근접하는 체표의 위치 및, 스텝 S1020에서 산출한 흉골 및 늑골에 근접하는 체표의 위치에 근거해, 흉골 축 주위의 회전을 보정하는 좌표 변환을 산출한다. 이 좌표 변환은, 위치 pU1"와 pU2"를 연결하는 직선을 축으로 해서, 위치 pU3k"(i≤k≤NUL)과 위치 pM3i(1≤i≤NML), 위치 pU4l"(1≤l≤NUR)와 pM4j(1≤j≤NMR)를 각각 대략 얼라인하는 회전을 가능하게 한다. 좀더 구체적으로는, 변환 규칙 산출부(1050)는, 위치 pU1"와 pU2"에 의해 유일하게 정해지는 회전축에 관한 회전량을 ICP(Iteratiｖe　Closest　Point) 법을 이용해서 산출한다. ICP법 이외에도, 최급 강하법이나 뉴턴법 등의 어떤 최적화 방법을 이용해 회전량을 산출해도 된다.
이상의 방법에 의해, 변환 규칙 산출부(1050)는 위치 pU3k"(i≤k≤NUL)와 위치 pM3i(1≤i≤NML) 및 위치 pU4l"(1≤l≤NUR)와 pM4j(1≤j≤NMR)를 각각 대략 얼라인하는 좌표 변환을 강체 변환 행렬 M3로서 산출한다.
스텝 S1034는 제1 실시예에 있어서의 스텝 S534와 같기 때문에, 그 설명을 생략한다.
이상 설명한 스텝 S1031 내지 스텝 S1034에 의해, 변환 규칙 산출부(1050)는, 센서 좌표계에 있어서의 위치 좌표를, MRI 화상 좌표계에 있어서의 대응하는 위치 좌표로 변환하는 강체 변환 행렬 M4를 산출한다.
이상, 본 제2 실시예에 따른 화상 진단 시스템(1)는, 늑골에 근접하는 체표의 위치를 복수의 점(점 군)으로서 취득하고, 흉골 축 주위에 대한 회전을 산출할 수가 있다. 그 때문에, 변환 규칙 산출부(1050)는 제1 실시예에 따른 화상 진단 시스템과 비교해, 보다 정밀한 좌표 변환을 산출할 수 있다. 또, 유저는 늑골에 근접하는 체표 위치를, 피검체의 몸 축에 대해 대칭이 되도록 입력할 필요가 없기 때문에, 유저는 보다 간편하게 본 화상 진단 시스템(1)을 이용할 수 있다.
(변형예 2－1)
제2 실시예에서는, 유저는 MRI 화상 좌표계 및 센서 좌표계의 각각에 있어서, 늑골에 근접하는 체표의 위치를 점 군으로서 취득한다. 그렇지만, 제2 실시예는 이 예에 한정되지 않는다. 예를 들면, 스텝 S1020에서, 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 늑골에 근접하는 체표의 위치를, 제1 실시예와 같이, 좌우의 제2 늑골에 근접하는 위치 pU3, pU4로서 각각 취득해도 된다. 이 경우, 스텝 S1034에 있어서, 변환 규칙 산출부(1050)는, 위치 pU1"와 pU2"에 의해 유일하게 정해지는 회전축에 관한 회전량을, 위치 pU3"과 pM3i(1≤i≤NML)을 대략 얼라인하고, 위치 pU4"와 pM4j(1≤j≤NMR)를 대략 얼라인하도록 산출할 수가 있다. 예를 들면, 변환 규칙 산출부(1050)는, ICP법 등의 공지의 방법에 의거해 회전량을 산출할 수 있다. 이와 같이, 변환 규칙 산출부(1050)는, 센서 좌표계에 있어서의 늑골에 근접하는 체표의 위치를 제1 실시예와 같이 간편하게 취득할 수가 있고, 또 제2 실시예와 거의 동등의 높은 정밀도로 좌표 변환을 산출할 수 있다.
또, 제2 실시예는 이 예에 한정하지 않는다. 예를 들면, 스텝 S1010에서, 제1 특징 위치 취득부(1020)는 MRI 화상 좌표계에 있어서의 늑골에 근접하는 위치를, 좌우의 제2 늑골에 근접하는 2개의 위치로서 각각 취득해도 된다. 이와 같이, 상기 설명한 것과 같은 가치 있는 효과를 제공할 수 있다.
또, 변환 규칙 산출부(1050)는, 상기 회전량을 산출할 때, 좌우 늑골에 근접하는 체표의 위치에 관한 정보를 동등의 중량(weight)으로 처리해도 된다. 선택적으로, 서로 다른 중량으로 그 위치의 각각을 처리해도 된다. 중량의 차는, 예를 들면, 위치 pU3와 pU1와의 사이의 거리와 위치 pU4와 pU1와의 사이의 거리에 근거해 결정될 수 있다. 이때, 위치 pU3와 pU1와의 사이의 거리가 위치 pU4와 pU1와의 사이의 거리보다 큰 경우에는, 상기 회전량을 산출할 때, 변환 규칙 산출부(1050)는, 좌측 늑골에 근접하는 위치에 관한 정보에 보다 큰 중량을 할당해도 된다. 그렇지 않은 경우에는, 변환 규칙 산출부(1050)는, 우측 늑골에 근접하는 위치에 관한 정보에 보다 큰 중량을 할당할 수 있다. 이렇게 하면, 변환 규칙 산출부(1050)는, 흉골 및 늑골에 근접하는 체표의 위치의 취득에 관한 오차를 검사할 수 있다. 이와 같이, 변환 규칙 산출부(1050)는, 보다 신뢰할 수 있는 정보로 처리를 실행할 수 있기 때문에, 변환 규칙 산출부(1050)는, 상기 회전량을 보다 매우 적합하게 산출할 수 있다.
(변형예 2－2)
제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)의 각각이, 위치 취득 처리를 바꾸도록 구성되어도 된다. 즉, 늑골에 근접하는 체표의 위치를, 좌우의 늑골의 2점으로서 각각 혹은 점 군으로서 취득해도 된다. 제1 특징 위치 취득부(1020)와 제2 특징 위치 취득부(1040) 양쪽 모두가 좌측 늑골에 근접하는 1점을 체표의 위치로서 취득했을 경우에는, 정보처리장치(100)는 제1 실시예에 따른 스텝 S530 내지 스텝 S550을 실행한다. 또 제1 특징 위치 취득부(1020)와 제2 특징 위치 취득부(1040) 양쪽 모두가 늑골에 근접하는 체표의 위치를 점 군으로서 취득했을 경우에는, 정보처리장치(100)는 제2 실시예에 따른 스텝 S1030 내지 스텝 S1050를 실행한다.
또, 제1 특징 위치 취득부(1020)와 제2 특징 위치 취득부(1040) 중의 어느 하나가 좌측 늑골에 근접하는 하나의 체표의 위치와 우측 늑골에 근접하는 하나의 체표 위치를 취득하고, 다른 특징 위치 취득부가 체표 위치를 점 군으로서 취득했을 경우에, 정보처리장치(100)는 변형예 2－1에서 설명한 처리를 실행한다.
이상의 방법에 의하면, 늑골에 근접하는 체표 위치의 입력의 수고와 좌표 변환의 산출의 정밀도 양쪽 모두의 관점에 있어서, 유저가 바라는 매우 적합한 처리 방법을 선택할 수 있다.
제1 실시예 및 제2 실시예에서는, 제1 특징 위치 취득부(1020)와 제2 특징 위치 취득부(1040)는 MRI 화상 좌표계 및 센서 좌표계의 각각에 있어서 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득하고, 변환 규칙 산출부(1050)는 상기 좌표계 간의 관계(좌표 변환)를 산출한다. 그렇지만, 본 발명의 실시예는 이러한 실시예에 한정되지 않는다. 예를 들면, 정보처리장치는 피검체의 늑골에 근접하는 체표의 위치를 반드시 취득하지 않아도 된다.
본 발명의 제3 실시예에 의하면, 우선, 정보처리장치(100)는 MRI 화상 좌표계 및 센서 좌표계의 각각에 있어서 피검체의 흉골에 근접하는 체표의 위치, 및 피검체의 전방 방향을 취득한다. 다음에, 정보처리장치(100)는 상기 좌표계 간의 관계(좌표 변환)를 산출한다. 본 제3 실시예에 따른 처리 시스템은 제1 실시예에 따른 것과 같은 구성을 가지므로, 그 설명을 생략한다. 그렇지만, 제3 실시예는 주메모리(212)가 도 12 및 도 13의 플로차트의 처리를 실행하기 위한 프로그램을 기억하고 있다는 점에서 제1 실시예와 다르다.
도 12의 플로차트를 참조해서 화상 진단 시스템(1)의 처리를 설명한다.
스텝 S1200은 제1 실시예에 따른 스텝 S500와 같기 때문에, 그것의 설명을 생략한다.
스텝 S1210에 있어서, 제1 특징 위치 취득부(1020)는 MRI 화상에 표시되는 피검체의 흉골에 근접하는 체표의 위치 및 피검체의 전방 방향을 취득한다. 흉골에 근접하는 체표의 위치의 취득은, 제1 실시예에 따른 것과 같기 때문에, 그것의 자세한 설명은 생략한다. 제1 특징 위치 취득부(1020)는 MRI 화상 좌표계에 있어서의 흉골의 상단 및 하단에 근접하는 체표 위치를 각각, 위치 pM1, pM2로서 기록한다.
다음에, 피검체의 전방 방향의 취득에 대해 설명한다. 피검체의 전방 방향은, 피검체의 후방에서 전방을 향하는 선이며, 피검체의 자세에 대해서 정확하게 촬영된 액시얼 단면 화상에 있어서의 위쪽 방향이다. 액시얼 단면에 있어서, 피검체로서의 인체는, 통상, 피검체의 중심을 통과해 가는 전방 방향을 향하는 직선에 대해서 거의 대칭이다.
본 제3 실시예에 의하면, 유저가 MRI 단층 화상을 관찰하고, 마우스(150) 등을 이용하며, 제1 특징 위치 취득부(1020)는 화상에 있어서의 전방 방향을 취득한다. 제1 특징 위치 취득부(1020)는 전방 방향을 MRI 화상 좌표계에 있어서의 단위벡터 vM로서 취득해 기록한다. 피검체의 전방 방향은 반드시 유저의 입력 조작에 근거해 취득할 필요는 없다. 예를 들면, 제1 특징 위치 취득부(1020)는 MRI 화상에 묘사되는 피검체의 자세를, MRI 화상과 관련된, DICOM(digital-imaging-and-communications-in-medicine) 헤더 등의 정보로부터 취득해도 된다. 이와 같이, 취득한 피검체의 자세에 근거해, 제1 특징 위치 취득부(1020)는 피검체의 전방 방향을 취득할 수 있다.
스텝 S1220에 있어서, 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 피검체의 흉골에 근접하는 체표의 위치 및 피검체의 대칭축을 취득한다. 흉골에 근접하는 체표의 위치의 취득은, 제1 실시예에 따른 것과 같기 때문에, 그것의 자세한 설명은 생략한다. 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서의 흉골의 상단 및 하단에 근접하는 체표 위치의 위치를 각각, pU1, pU2로서 기록한다.
다음에, 피검체의 대칭축의 취득에 대해 설명한다. 제2 특징 위치 취득부(1040)는 센서 좌표계에 있어서, 피검체의 전방 방향을 예를 들면, 상기 흉골에 근접하는 체표의 위치를 취득할 때의 초음파 프로브의 자세에 근거해, 취득할 수가 있다. 즉, 흉골에 근접하는 체표 위치에 유저가 초음파 프로브를 접촉시킬 때에, 초음파 프로브로부터 방사되는 초음파 빔의 방사 방향(프로브 좌표계에 있어서의 y축)을 피검체의 체표에 대해서 거의 수직이 되도록 접촉시킨다. 이때의 프로브 좌표계에 있어서의 y축의 방향을 센서 좌표계에서의 방향으로 변환하고, 변환 후의 방향을 센서 좌표계에 있어서의 방향을 나타내는 단위 벡터 vU로서 취득해 기록한다.
이 처리에 있어서, 제2 특징 위치 취득부(1040)는 피검체의 전방 방향을 반드시 초음파 프로브의 자세에 근거해 취득할 필요는 없다. 예를 들면, 피검체가 슈파인(supine) 위치에서 검사되면, 피검체가 누워 있는 베드의 위쪽 방향이 위치 자세 계측 장치(130)의 계측 기준으로서 임의의 축 방향과 미리 얼라인되어도 된다. 이것에 의해, 초음파 프로브의 위치 및 자세에 관한 계측값에 관계없이, 상기 임의의 축 방향의 단위 벡터 vU를 취득할 수 있다.
스텝 S1230에 있어서, 변환 규칙 산출부(1050)는 센서 좌표계와 MRI 화상 좌표계와의 사이의 좌표 변환에 관한 변환 규칙을 산출한다. 스텝 S1240 및 S1250은 제1 실시예에 따른 스텝 S540와 S550와 같기 때문에, 그 설명을 생략한다.
다음에, 도 13의 플로차트를 참조해서 스텝 S1230를 자세히 설명한다. 변환 규칙 산출부(1050)는 스텝 S1231을, 제1 실시예에 따른 스텝 S531와 같이 실행해, 강체 변환 행렬 M1를 산출한다. 다음에, 변환 규칙 산출부(1050)는 스텝 S1220에서 취득한 흉골에 근접하는 체표의 위치 pU1, pU2를 강체 변환해, 위치 pU1', pU2'를 산출한다.
변환 규칙 산출부(1050)는 스텝 S1232을, 제1 실시예에 따른 스텝 S532와 같이 실행해서, 강체 변환 행렬 M2를 산출한다. 다음에, 변환 규칙 산출부(1050)는 스텝 S1231에서 취득한 흉골에 근접하는 체표의 위치 pU1', pU2'를 강체 변환해서, 위치 pU1", pU2"를 산출한다. 또한, 변환 규칙 산출부(1050)는 피검체의 전방 방향 vU를 강체 변환해서, 방향 vU"을 산출한다.
스텝 S1233에 있어서, 변환 규칙 산출부(1050)는 이하의 처리를 실행한다. 즉, MRI 화상 좌표계에 있어서의 흉골에 근접하는 체표의 위치 및 피검체의 전방 방향과 스텝 S1232에서 산출한 흉골 및 늑골에 근접하는 체표의 위치 및 피검체의 전방 방향에 근거해, 흉골 축에 대한 회전을 보정하는 좌표 변환을 산출한다. 이 좌표 변환은, 위치 pU1"와 pU2"를 연결하는 직선을 축으로 해서 회전을 가능하게 하고, 방향 vU"와 벡터 vM와의 대략의 얼라인먼트를 가능하게 한다. 변환 규칙 산출부(1050)는 공지의 비선형 최적화의 방법을 이용해서 좌표 변환을 실행할 수 있다.
변환 규칙 산출부(1050)는 이상의 방법에 의해 산출한 좌표 변환을 강체 변환 행렬 M3로서 산출한다. 스텝 S1234는 제1 실시예에 따른 스텝 S534와 같기 때문에, 그 설명을 생략한다. 본 제3 실시예에 따른 처리 시스템에 의거해, 정보처리장치(100)는 피검체의 늑골에 근접하는 체표의 위치를 취득하지 않기 때문에, 변환 규칙 산출부(1050)는 보다 간편한 방법으로 센서 좌표계와 MRI 화상 좌표계와의 변환 규칙을 산출할 수 있다.
(변형예 3－1)
제3 실시예에서는, 제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)는 MRI 화상 좌표계와 센서 좌표계의 각각에 있어서의, 흉골에 근접하는 체표의 위치와 피검체의 전방 방향을 취득하고, 변환 규칙 산출부(1050)는 이들 위치와 방향을 대략 얼라인하도록 좌표계 간의 좌표 변환을 산출한다. 그렇지만, 본 실시예는 이러한 예에 한정되지 않는다. 예를 들면, 제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)는, 반드시 MRI 화상 좌표계 및 센서 좌표계에 있어서의 피검체의 전방 방향을 취득하지 않아도 된다.
이 경우, 스텝 S1233에 있어서, 변환 규칙 산출부(1050)는, MRI 화상과 초음파 화상을 취득하고, 이들 화상에서의 해부학적인 특징이나 통계학적인 휘도값에 근거해, 흉골 축에 대한 회전에 관한 좌표 변환을 산출한다. 이 방법에 의하면, 제1 특징 위치 취득부(1020) 및 제2 특징 위치 취득부(1040)는 MRI 화상 좌표계 및 센서 좌표계에 있어서의 피검체의 전방 방향을 취득할 필요가 없기 때문에, 방향을 취득할 때에 야기될 우려가 있는 오차의 영향을 한층 더 저감할 수가 있다.
상술의 실시예에 의하면, 피검체의 다른 부분들 중에서 지정하기 쉬운 흉골에 근거하는 복수의 위치를 지정한다. 이와 같이 함으로써, 피검자와 3차원 화상 사이에서 흉골의 위치 및 방향을 얼라인하기 때문에, 피검자와 3차원 화상과의 대응 관계를 효율적이고 정밀하게 취득할 수 있다.
상술의 실시예에서는, 3차원 의료용 화상의 일례로서 MRI 화상을 이용한다. 그렇지만, 화상이 피검체의 3차원 화상이면, X선 CT 화상이나 PET(position-emission tomography) 화상 등의 임의의 화상도 적용가능하다.
상술의 실시예에서는, MRI 화상 좌표계와 센서 좌표계와의 변환 규칙을 산출함으로써, MRI 화상과 센서 좌표계에 있어서 위치와 자세가 계측된 초음파 화상을 비교해 관찰할 수 있다. 그러나, 본 발명의 실시예는 그러한 실시예에 한정되지 않는다. 본 실시예의 특징은, 인체의 해부학적인 특징인 흉골의 구조를 지표로서 이용해서, 인체의 화상, 계측값, 또는 도식도 등의 데이터 사이 또는 데이터 간의 공간적인 대응을 취득하는 것에 있다. 따라서, 본 실시예의 다양한 모드는 이하에 예시한 것처럼 가능하다.
예를 들면, 제1 실시예에 따른 초음파 프로브 대신에, 센서 좌표계에 있어서 위치와 자세가 계측된 천자(puncture) 장치를 이용해도 된다. 이 경우, 예를 들면, MRI 화상에 있어서 천자의 타겟이 되는 위치를 미리 결정하면, 그 타겟에 대한 천자 장치의 위치나 자세를 제시할 수 있다. 또, 위치 및 자세를 측정할 수 있는 3차원 포인팅 디바이스도 적용가능하다.
또, 예를 들면, MRI 화상과 X선 CT 화상 등의 다른 3차원 의료용 화상을 비교해 관찰하기 위해서, 정보처리장치(100)는 MRI 화상 좌표계와 다른 3차원 의료용 화상이 기준으로 하는 좌표계와의 변환 규칙을 산출할 수 있다. 이 경우, 제2 특징 위치 취득부(1040)는, 제1 실시예에 따른 센서 좌표계에 있어서의 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득하는 대신에, 상기 다른 3차원 의료용 화상에 묘사되는 피검체의 흉골 및 늑골에 근접하는 체표의 위치를 취득한다.
또, 예를 들면, 본 발명의 실시예는 표준적인 인체의 개략 형상이 묘사되는 도식도를 MRI 화상과 공간적으로 얼라인하는 것을 포함해도 된다. 이 경우, 제2 특징 위치 취득부(1040)는, 도식도가 기준으로 하는 좌표계에 있어서 흉골 및 늑골의 위치에 관한 정보를 취득한다. 이렇게 함으로써, 정보처리장치(100)는 MRI 화상과 도식도와의 공간적인 대응 관계를 취득할 수가 있다. 이 경우, 예를 들면, 정보처리장치(100)는 MRI 화상 좌표계에 있어서 병변 등의 주목 영역을 취득해, 도식도 상에 대응하는 영역을 제시할 수 있다.
상술의 실시예에서는, 본 발명의 실시예를 소프트웨어와 컴퓨터의 하드웨어에 의해서도 실현된다. 그렇지만, 해당 소프트웨어를 기억한 기억 매체도 본 발명의 실시예의 구성소자이다. 상술의 정보처리장치(100)는 CPU를 포함한 전자계산기(컴퓨터)와 소프트웨어와의 협동에 의해 실현된다. 정보처리장치(100)의 각 기능 블록의 일부를 회로에 의해 실현해도 되고, 다른 블록을 소프트웨어에 의해 실현해도 된다. 이들 회로는 기능 블록 단위로 그룹화되어도 된다. 또, 기능의 일부만을 회로로서 구현해도 된다. 또, 본 발명의 실시예는 정보처리장치(100)의 각 기능을 복수의 장치에 분산시킨 정보처리 시스템을 포함해도 된다.
본 발명의 실시예들은, 상술한 실시예(들)의 기능들을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행하는 시스템 또는 장치의 컴퓨터(또는 CPU 혹은 MPU와 같은 디바이스)에 의해서도 실현될 수 있고, 또 예를 들면 상술한 실시예의 기능을 행하도록 메모리 디바이스 상에 기록된 프로그램을 판독 및 실행함으로써 시스템 또는 장치의 컴퓨터에 의해 행해지는 방법의 스텝들에 의해 실현될 수 있다. 이 목적을 위해서, 이 프로그램을, 예를 들면 메모리 디바이스(예를 들면, 컴퓨터 판독가능한 매체)로서 기능을 하는 다양한 형태의 기록매체로부터 또는 네트워크를 통해서 컴퓨터에 제공한다.
본 발명은 예시적인 실시 예를 참조하면서 설명되었지만, 본 발명은 이 개시된 예시적인 실시 예에 한정되는 것이 아니라는 것이 이해될 것이다. 이하의 특허청구범위의 범주는 모든 변형 및 균등구조 및 기능을 포함하도록 가장 넓게 해석되어야 할 것이다.

Claims (18)

  1. 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 제1의 취득 수단과,
    상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과,
    상기 제1의 취득 수단에 의해 취득된 복수의 위치에 근거해 상기 3차원 화상에 있어서 상기 흉골의 방향과 상기 제2의 취득 수단에 의해 취득된 상기 복수의 체표의 위치에 근거해 상기 피검체에 있어서 상기 흉골의 방향을 이용함으로써 상기 피검체와 상기 3차원 화상 사이의 대응 관계를 산출하는 산출 수단을 구비하는, 의료 화상용 정보처리장치.
  2. 제 1 항에 있어서,
    상기 제2의 취득 수단은, 위치 자세 계측장치에 의해 계측된 피검체의 체표의 위치에 근거해, 상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 취득하는, 의료 화상용 정보처리장치.
  3. 　제 2 항에 있어서,
    상기 제2의 취득 수단은, 상기 위치 자세 계측장치에 의해 위치 및 자세가 계측된 초음파 프로브의 촬영면이 상기 피검체에 접촉하는 위치에 근거해, 상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 취득하는, 의료 화상용 정보처리장치.
  4. 제 1 항에 있어서,
    초음파 프로브의 촬영면이 상기 피검체에 접촉할 때 취득된 신호에 근거해 취득된 초음파 화상에 대응하는 단층 화상을, 상기 3차원 화상으로부터, 상기 산출된 대응 관계에 근거해 생성하는 화상 생성 수단을 더 구비하는, 의료 화상용 정보처리장치.
  5. 제 4 항에 있어서,
    상기 취득된 초음파 화상과 상기 생성된 단층 화상을 표시부에 표시시키는 표시 제어 수단을 더 구비하는, 의료 화상용 정보처리장치.
  6. 제 1 항에 있어서,
    상기 제1의 취득 수단은, 상기 피검체의 3차원 화상에 있어서, 상기 피검체의 제2 늑골의 기저에 있는 흉골에 대응하는 위치로서 취득된 위치를 적어도 취득하고,
    상기 제2의 취득 수단은 상기 피검체에 있어서, 상기 피검체의 제2 늑골의 기저에 있는 흉골에 대응하는 위치로서 취득된, 상기 피검체의 체표의 위치를 적어도 취득하며,
    　상기 산출 수단은, 상기 피검체의 3차원 화상에 있어서, 상기 제1의 취득 수단에 의해 취득된, 상기 제2 늑골의 기저에 있는 흉골에 대응하는 위치로서 취득된 위치가, 상기 피검체에 있어서, 상기 제2의 취득 수단에 의해 취득된, 상기 제2 늑골의 기저에 있는 흉골에 대응하는 위치로서 취득된, 상기 피검체의 체표의 위치와 일치하도록 상기 피검체와 상기 3차원 화상과의 대응 관계를 산출하는, 의료 화상용 정보처리장치.
  7. 제 6 항에 있어서,
    상기 제1의 취득 수단은, 상기 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골의 하단에 대응하는 위치로서 취득된 위치를 적어도 더 취득하고,
    상기 제2의 취득 수단은, 상기 피검체에 있어서, 상기 피검체의 흉골의 하단에 대응하는 위치로서 상기 피검체의 체표의 위치를 적어도 더 취득하며,
    상기 산출 수단은, 상기 3차원 화상에 있어서, 상기 제2 늑골의 기저에 대응하는 위치로서 취득된 위치와, 상기 3차원의 화상에 있어서, 상기 3차원의 화상에 있어서의 상기 흉골의 하단에 대응하는 위치로서 취득된 위치에 의해 정의된 방향이, 상기 피검체에 있어서, 상기 제2 늑골의 기저에 대응하는 위치로서 취득된, 상기 피검체의 체표의 위치와, 상기 피검체에 있어서, 상기 피검체의 상기 흉골의 하단에 대응하는 위치로서 취득된, 상기 피검체의 체표의 위치에 의해 정의된 방향과 일치하도록 상기 피검체와 상기 3차원 화상과의 대응 관계를 더 산출하는, 의료 화상용 정보처리장치.
  8. 제 1 항에 있어서,
    상기 제1의 취득 수단은, 상기 피검체의 3차원 자기 공명 화상에 있어서, 상기 피검체의 늑골에 대응하는 위치로서 취득된 복수의 위치를 더 취득하고,
    상기 제2의 취득 수단은, 상기 피검체에 있어서, 상기 피검체의 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 더 취득하며,
    상기 산출 수단은, 상기 제1의 취득 수단에 의해 취득된 흉골 및 늑골에 대응하는 위치로서 취득된, 복수의 위치와 제2의 취득 수단에 의해 취득된 흉골 및 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치와의 대응 관계를 산출함으로써 상기 피검체와 상기 3차원 화상과의 위치의 대응 관계를 산출하는, 의료 화상용 정보처리장치.
  9. 제 8 항에 있어서,
    상기 산출 수단은, 상기 제1의 취득 수단 및 상기 제2의 취득 수단에 의해 취득된 흉골에 대응하는 위치들 간의 대응 관계에 근거해, 상기 피검체와 상기 3차원 화상과의 흉골의 위치의 대응 관계를 산출하고, 상기 제1의 취득 수단 및 제2의 취득 수단에 의해 취득된 늑골에 대응하는 위치들 간의 대응 관계에 근거해, 상기 피검체와 상기 3차원 화상과의 흉골을 축으로 하는 회전 방향의 대응 관계를 산출하는, 의료 화상용 정보처리장치.
  10. 제 8 항에 있어서,
    상기 제2의 취득 수단은, 적어도 상기 피검체의 우측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치와 상기 피검체의 좌측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 취득하고,
    상기 정보처리장치는,
    적어도 상기 우측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치 중의 하나와 상기 좌측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치 중의 하나로 이루어진 한 쌍이 상기 흉골에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치에 대해서 대칭인지 아닌지를 판정하는 판정 수단과,
    상기 판정 수단이 상기 쌍이 대칭이 아니라고 판정한 경우에 경고를 출력하는 출력 수단을 더 구비하는, 의료 화상용 정보처리장치.
  11. 제 1 항에 있어서,
    상기 제2의 취득 수단에 의해 상기 흉골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치와, 상기 피검체의 좌측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치와, 상기 피검체의 우측 늑골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치가 취득되었는지 아닌지를 판정하는 판정 수단과,
    상기 판정 수단이 상기 제2의 취득 수단에 의해 상기 복수의 위치가 취득되지 않았다고 판정한 경우에 경고를 출력하는 출력 수단을 더 구비하는, 의료 화상용 정보처리장치.
  12. 제 1 항에 있어서,
    상기 제2의 취득 수단은, 상기 피검체의 체표에 있어서, 상기 피검체의 흉골에 근접하는 복수의 위치를 취득하는, 의료 화상용 정보처리장치.
  13. 제 12 항에 있어서,
    상기 제1의 취득 수단은, 상기 피검체의 3차원 화상에 있어서의 흉골의 복수의 위치를 취득하고,
    상기 산출 수단은, 상기 취득된 피검체의 체표에 있어서의 복수의 위치와 상기 피검체의 3차원 화상에 근거해 상기 피검체의 흉골의 위치를 산출하고,
    상기 산출 수단은 상기 산출된 상기 피검체의 흉골의 위치와 상기 제1의 취득 수단에 의해 취득된 흉골의 위치에 근거해 상기 피검체와 상기 3차원 화상과의 위치의 대응 관계를 더 산출하는, 의료 화상용 정보처리장치.
  14. 제 1 항 내지 제 13 중 어느 한 항에 있어서,
    상기 피검체의 자기 공명 화상, CT(computed tomography) 화상, 및 PET(positron-emission tomography) 화상 중의 하나를 상기 피검체의 3차원 화상으로서 취득하는 제3의 취득 수단을 더 구비하는, 의료 화상용 정보처리장치.
  15. 제1의 좌표계에 있어서의 피검체의 흉골 상에 대응하는 위치로서 복수의 위치를 취득하는 제1의 취득 수단과,
    제2의 좌표계에 있어서의 피검체의 흉골 상에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과,
    상기 제1의 좌표계에 있어서의 상기 복수의 위치 및 상기 제2의 좌표계에 있어서의 상기 복수의 체표 위치에 근거해, 상기 제1의 좌표계와 상기 제2의 좌표계와의 상대적인 관계를 산출하는 산출 수단을 구비하는, 의료 화상용 정보처리장치.
  16. 피검체의 위치로부터의 신호를, 상기 피검체의 위치를 접촉시켜 취득하는 초음파 프로브와,
    상기 초음파 프로브에 의해 취득된 신호에 근거해 초음파 화상을 취득하는 촬상 수단과,
    상기 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 제1의 취득 수단과,
    상기 초음파 프로브가 상기 피검체에 접촉하는 위치에 근거해, 상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과,
    상기 제1의 취득 수단에 의해 취득된 복수의 위치와 상기 제2의 취득 수단에 의해 취득된 복수의 체표 위치에 근거해, 상기 피검체와 상기 3차원 화상과의 위치의 대응 관계를 산출하는 산출 수단과,
    상기 산출된 대응 관계에 근거해 상기 취득된 초음파 화상에 대응하는 단층 화상을 상기 3차원 화상으로부터 생성하는 화상 생성 수단을 구비하는, 의료 화상용 촬영 시스템.
  17. 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 단계와,
    상기 피검체에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된, 상기 피검체의 복수의 체표의 위치를 취득하는 단계와,
    상기 취득된 3차원 화상에 있어서의 복수의 위치와 상기 취득된 피검체에 있어서의 복수의 체표 위치에 근거해, 상기 피검체와 상기 3차원 화상과의 위치의 대응 관계를 산출하는 단계를 포함하는, 의료 화상용 정보처리방법.
  18. 피검체의 3차원 화상에 있어서, 상기 피검체의 흉골에 대응하는 위치로서 취득된 복수의 위치를 취득하는 제1의 취득 수단과,
    상기 피검체에 있어서, 상기 피검체의 흉골의 상단과 하단에 대응하는 위치로서 상기 피검체의 복수의 체표의 위치를 취득하는 제2의 취득 수단과,
    상기 제1의 취득 수단에 의해 취득된 복수의 위치에 근거해 상기 3차원 화상에 있어서 상기 흉골의 방향과 상기 제2의 취득 수단에 의해 취득된 상기 피검체의 흉골의 상단 및 흉골의 하단에 근거해 상기 흉골의 방향을 이용함으로써 상기 피검체와 상기 3차원 화상 사이의 대응 관계를 산출하는 산출 수단을 구비하는, 의료 화상용 정보처리장치.
KR1020120031469A 2011-04-01 2012-03-28 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법 KR101504162B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2011-081993 2011-04-01
JP2011081993A JP5995408B2 (ja) 2011-04-01 2011-04-01 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
KR20120112119A KR20120112119A (ko) 2012-10-11
KR101504162B1 true KR101504162B1 (ko) 2015-03-19

Family

ID=45926402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120031469A KR101504162B1 (ko) 2011-04-01 2012-03-28 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법

Country Status (5)

Country Link
US (1) US10657661B2 (ko)
EP (1) EP2506215B1 (ko)
JP (1) JP5995408B2 (ko)
KR (1) KR101504162B1 (ko)
CN (1) CN102727204B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
JP6393106B2 (ja) * 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9808213B2 (en) * 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
JP6411185B2 (ja) 2014-11-19 2018-10-24 キヤノンメディカルシステムズ株式会社 超音波診断装置
WO2016136065A1 (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 超音波撮像装置、および、画像処理装置
US9934570B2 (en) * 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
US10643330B2 (en) * 2017-04-21 2020-05-05 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue
WO2018232634A1 (en) * 2017-06-21 2018-12-27 The Hong Kong Polytechnic University APPARATUS AND METHOD FOR STIMULATING ULTRASOUND SPINAL CORD
CN109035141B (zh) * 2018-07-13 2023-03-24 上海皓桦科技股份有限公司 肋骨展开装置及方法
JP6695475B2 (ja) * 2019-04-26 2020-05-20 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033160A1 (en) 2003-06-27 2005-02-10 Kabushiki Kaisha Toshiba Image processing/displaying apparatus and method of controlling the same
KR20050021290A (ko) * 2003-08-26 2005-03-07 캐논 가부시끼가이샤 방사선 촬영 장치 및 방사선 촬영 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US700016A (en) * 1901-12-26 1902-05-13 Carl G Carlsan Mechanism for securing lags to carrier-chains.
US6405072B1 (en) * 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US6775404B1 (en) 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
EP2460473B1 (en) 2003-05-08 2017-01-11 Hitachi, Ltd. Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
CN1814323B (zh) * 2005-01-31 2010-05-12 重庆海扶(Hifu)技术有限公司 一种聚焦超声波治疗系统
US8042209B2 (en) * 2005-04-13 2011-10-25 University Of Maryland Techniques for compensating movement of a treatment target in a patient
US8731264B2 (en) 2006-11-27 2014-05-20 Koninklijke Philips N.V. System and method for fusing real-time ultrasound images with pre-acquired medical images
US8340374B2 (en) 2007-01-11 2012-12-25 Kabushiki Kaisha Toshiba 3-dimensional diagnostic imaging system
JP5364290B2 (ja) * 2008-04-17 2013-12-11 富士フイルム株式会社 画像表示装置並びに画像表示制御方法およびプログラム
US9579161B2 (en) * 2008-05-06 2017-02-28 Medtronic Navigation, Inc. Method and apparatus for tracking a patient
US20110224550A1 (en) * 2008-11-14 2011-09-15 Hitachi Medical Corporation Ultrasound diagnostic system and method for generating standard image data for the ultrasound diagnostic system
JP5486182B2 (ja) 2008-12-05 2014-05-07 キヤノン株式会社 情報処理装置および情報処理方法
CN103402453B (zh) * 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033160A1 (en) 2003-06-27 2005-02-10 Kabushiki Kaisha Toshiba Image processing/displaying apparatus and method of controlling the same
KR20050021290A (ko) * 2003-08-26 2005-03-07 캐논 가부시끼가이샤 방사선 촬영 장치 및 방사선 촬영 방법

Also Published As

Publication number Publication date
JP5995408B2 (ja) 2016-09-21
CN102727204A (zh) 2012-10-17
EP2506215B1 (en) 2015-05-13
US20120253171A1 (en) 2012-10-04
EP2506215A1 (en) 2012-10-03
CN102727204B (zh) 2015-03-25
KR20120112119A (ko) 2012-10-11
US10657661B2 (en) 2020-05-19
JP2012213557A (ja) 2012-11-08

Similar Documents

Publication Publication Date Title
KR101504162B1 (ko) 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법
US9480456B2 (en) Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
EP2506221A2 (en) Image processing apparatus, ultrasonic photographing system, image processing method, program, and storage medium
JP5812841B2 (ja) 画像診断支援装置、画像診断支援方法、画像診断支援プログラム
JP5027922B2 (ja) 超音波診断装置
US20120321161A1 (en) Image processing apparatus, image processing method, image pickup system, and program
JP5231791B2 (ja) 医用画像診断装置、医用画像処理方法およびコンピュータプログラムプロダクト
JP2011125570A (ja) 画像処理装置、画像処理方法、及びプログラム
US20090080742A1 (en) Image display device and image display program storage medium
JP7145107B2 (ja) 超音波診断装置及び表示方法
EP2706372A1 (en) Method and apparatus for ultrasound image acquisition
US20160095581A1 (en) Ultrasonic diagnosis apparatus
JPWO2010055816A1 (ja) 超音波診断装置、超音波診断装置の規格画像データ生成方法
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
JP2000185036A (ja) 医用画像表示装置
KR20150145106A (ko) 의료 영상 정합 방법 및 그 장치
JP2013059658A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2018079070A (ja) 超音波診断装置、及び走査支援プログラム
JP2018183448A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20190085342A (ko) 초음파 진단 장치의 제어 방법 및 초음파 진단 장치
JP5485853B2 (ja) 医用画像表示装置及び医用画像誘導方法
JP2012147939A (ja) 画像処理装置
JP6251002B2 (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
TW202110404A (zh) 超音波影像系統

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190314

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 6