KR20180009707A - 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체 - Google Patents

화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체 Download PDF

Info

Publication number
KR20180009707A
KR20180009707A KR1020170090124A KR20170090124A KR20180009707A KR 20180009707 A KR20180009707 A KR 20180009707A KR 1020170090124 A KR1020170090124 A KR 1020170090124A KR 20170090124 A KR20170090124 A KR 20170090124A KR 20180009707 A KR20180009707 A KR 20180009707A
Authority
KR
South Korea
Prior art keywords
image
dimensional image
sectional
sectional image
dimensional
Prior art date
Application number
KR1020170090124A
Other languages
English (en)
Inventor
타카아키 엔도
키요히데 사토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20180009707A publication Critical patent/KR20180009707A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 화상처리장치는, 제1 및 제2의 삼차원 화상을 취득하는 화상 취득부와, 2개의 화상간의 변형을 취득하는 변형 정보 취득부와, 제1 및 제2의 단면 화상을 생성하는 단면 화상 생성부와, 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득부와, 변형 정보에 근거하여 제2의 삼차원 화상에 있어서 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득부를 구비한다.

Description

화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND, COMPUTER READABLE MEDIUM}
본 발명은, 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체에 관한 것이다.
의료 분야에 있어서, 의사나 기사등이 복수의 화상을 서로 비교하여도 된다. 복수의 화상은, 예를 들면, 다른 촬상 장치(이하, 모달리티라고 칭한다)나 다른 시기에 촬상된 다른 촬상 파라미터를 사용하여 촬상되거나, 피검체를 다른 체위로 나타내는, 화상이다. 일부의 경우에, 피검체의 형상은 화상별로 다르다. 예를 들면 피검체가 생체일 경우, 복수의 모달리티가 자세와 형상에 있어서 피검체가 완전히 변함이 없는 화상을 촬상하는 것은 어렵다.
이러한 경우라도, 서로 환부를 정확하게 비교하기 위해서, 다른 화상간의 위치 맞춤을 행하고, 그 화상의 양쪽 또는 각각을 동시에 또는 전환 가능하게 한 번에 표시하는 것이 가능할 수도 있다. 혹은, 화상간의 차분화상을 표시하는 것도 가능할 수도 있다. 복수의 화상에서 관찰된 피검체의 변형을 추정하고, 한쪽의 화상을 변형하여 피검체의 형상이 다른 쪽의 화상의 피검체와 유사한 화상을 생성하는 변형 위치 맞춤이라고 하는 수법이 있다. 변형 위치 맞춤의 처리는, 예를 들면, 복수의 화상간에서 대응하는 위치(피검체의 같은 부위를 나타내는 특징점)를 국소영역간의 화상유사도에 근거해서 서로 대응시켜서 실시될 수 있다.
일본 특허공개 2013-000398호 공보에는, 삼차원 화상과 이차원 단층화상을 변형 위치 맞춤하고, 2개의 화상을 동시에 표시하거나, 또는 그 화상 각각은 전환 가능하게 한 번에 표시되는 것이 개시되어 있다. 한편, 일본 특허공개 2011-125570호 공보에는, 피검체의 변형 상태에 따라 단면 화상의 생성 방법이 개시되어 있다.
특허문헌 1: 일본 특허공개 2013-000398호 공보
특허문헌 2: 일본 특허공개 2011-125570호 공보
그러나, 일본 특허공개 2013-000398호 공보에 기재된 표시 방법에서는, 화상간의 대비를 행하기 어려운 경우가 있다. 특히, 삼차원 화상을 서로 대비할 때에, 개개의 화상에서의 대응위치와 화상간의 대응관계를 파악하는 것이 어려울 수도 있다.
본 발명은 상기 과제를 감안하여 이루어진 것이다. 본 발명의 목적은, 복수의 피검체 화상을 양호하게 서로 대비하기 위한 기술을 제공하는데 있다.
본 발명은,
제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득부;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득부;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성부;
상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득부;
상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득부; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어부를 구비하고,
상기 단면 화상 생성부는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 화상처리장치를 제공한다.
또한, 본 발명은,
제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득부;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득부;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성부;
상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득부;
상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득부; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어부를 구비하고,
상기 단면 화상 생성부는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
상기 표시 제어부는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 화상처리장치를 제공한다.
또한, 본 발명은,
제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득단계;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득단계;
상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어 단계를 포함하고,
상기 단면 화상 생성단계에서는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 화상처리방법을 제공한다.
또한, 본 발명은,
제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득단계;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득단계;
상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어단계를 포함하고,
상기 단면 화상 생성단계에서는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
상기 표시 제어단계에서는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 화상처리방법을 제공한다.
또한, 본 발명은,
컴퓨터에 화상처리방법을 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 매체로서, 상기 화상처리방법이,
제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득단계;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득단계;
상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어 단계를 포함하고,
상기 단면 화상 생성단계에서는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 컴퓨터 판독 가능한 매체를 제공한다.
또한, 본 발명은,
컴퓨터에 화상처리방법을 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 매체로서, 상기 화상처리방법이,
제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득단계;
상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득단계;
상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어단계를 포함하고,
상기 단면 화상 생성단계에서는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
상기 표시 제어단계에서는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 컴퓨터 판독 가능한 매체를 제공한다.
본 발명에 의하면, 복수의 피검체 화상을 양호하게 서로 대비하기 위한 기술을 제공할 수 있다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은, 실시예 1에 따른 화상처리장치의 기능 구성의 일례를 도시한 도면,
도 2는, 실시예 1에 따른 처리의 일례를 도시하는 흐름도,
도 3은, 실시예 1에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 4는, 실시예 1에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 5는, 실시예 1에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 6은, 실시예 1에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 7은, 실시예 1의 변형 예에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 8은, 실시예 1의 변형 예에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 9는, 실시예 2에 따른 화상처리장치의 기능 구성의 일례를 도시한 도면,
도 10은, 실시예 2에 따른 처리의 일례를 도시하는 흐름도,
도 11은, 실시예 2에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 12는, 실시예 3에 따른 화상처리장치의 기능 구성의 일례를 도시한 도면,
도 13은, 실시예 3에 따른 처리의 일례를 도시하는 흐름도,
도 14는, 실시예 4에 따른 화상처리장치의 기능 구성의 일례를 도시한 도면,
도 15는, 실시예 4에 따른 처리의 일례를 도시하는 흐름도,
도 16은, 실시예 4에 따른 화상처리장치에 의한 표시 화면의 일례를 도시한 도면,
도 17은, 실시예들에 따른 화상처리장치의 하드웨어 구성의 일례를 도시한 도면,
도 18은, 실시예 5에 따른 화상처리장치의 기능 구성의 일례를 도시한 도면,
도 19는, 실시예 5에 따른 처리의 일례를 도시하는 흐름도다.
이하에 도면을 참조하면서, 본 발명의 적합한 실시예들에 대해서 설명한다. 단, 이하에 기재되어 있는 구성부품의 치수, 재질, 형상 및 그것들의 상대적 위치 결정 등은, 본 발명이 적용되는 장치의 구성이나 각종 조건에 따라 적절하게 변경되어야 할 것이고, 본 발명의 범위를 이하의 기재에 한정하려는 것이 아니다.
본 발명은, 피검체를 촬상하여, 그 피검체의 주목 영역을 영상화해서 표시하는 기술에 관한 것이다. 따라서, 본 발명은, 화상처리장치 혹은 화상처리 시스템, 그 제어 방법, 화상처리방법, 신호 처리 방법, 또는 정보처리 방법으로서 간주된다. 또한, 본 발명은, 피검체 정보 취득 장치, 그 제어 방법, 또는 피검체 정보 취득 방법으로서도 간주된다. 또한, 본 발명은, 상기한 각 방법을 ＣＰＵ나 메모리 등의 하드웨어 자원을 구비하는 정보처리 장치에 실행시키는 프로그램이나, 그 프로그램을 기억하는 컴퓨터에 의해 판독 가능한 비일시적인 기억 매체로서도 간주된다.
본 발명에 따른 장치는, 피검체의 화상 데이터를 취득하는 기능이나, 다른 장치가 취득한 화상 데이터를 처리하는 기능만을 갖추고 있어도 좋다. 피검체의 화상 데이터는, 각 위치의 특성정보에 근거하여, 이차원 또는 삼차원의 특성정보 분포로서 얻어진다. 그 특성정보는, 수치 데이터가 아닌, 피검체내의 개개의 위치의 분포 정보로서 얻어져도 좋다.
본 발명의 처리 대상이 되는 피검체의 삼차원 화상 데이터원으로서는, 여러 가지의 모달리티를 이용할 수 있다. 그 여러가지의 모달리티의 예로서는, 광음향 토모그래피장치(ＰＡＴ), 핵 자기공명 영상장치(ＭＲＩ), X선 컴퓨터 단층촬영장치(ＣＴ), 초음파 검사장치(ＵＳ), 양전자 방사 단층촬상 장치(ＰＥＴ), 단광자 방출 단층촬상 장치(ＳＰＥＣＴ), 및 광간섭 단층촬상 장치(ＯＣＴ)가 있다. 각 모달리티를 사용한 촬상에 의해, 피검체의 삼차원 영역에 있어서, 각 모달리티에 따라 특성정보의 분포 정보를 나타내는 화상 데이터가 얻어질 수 있다.
본 발명은, 전형적으로는, 광음향 토모그래피장치에 의해 얻어진 화상 데이터와 핵 자기공명 영상장치에 의해 얻어진 화상 데이터를 대비할 때에 이용된다. 광음향 토모그래피장치는, 피검체에 광을 조사하여서 피검체내에서 발생한 음향파를 수신하고, 피검체의 특성정보를 화상 데이터로서 취득한다. 상기 특성정보로서, 피검체내의 초기 음압, 광흡수 계수, 구성 물질농도, 산소포화도 등을 취득할 수 있다. 핵 자기공명 영상장치는, 피검체에 고주파의 자장을 주어서 생긴 핵 자기공명 현상을 이용해서 피검체 내부를 촬상한다. 핵 자기공명 영상 장치는, 주로 피검체 내부의 수소에 관한 정보를 묘출할 수 있다. 단, 모달리티의 조합은 이것에 한정되지 않는다.
이하의 설명에서는, 피검체의 예로서 유방을 사용한다. 단, 본 발명의 피검체는 이것에 한정되지 않는다. 손, 다리, 동체등 생체의 다른 부위나, 마우스와 같은 인간이외의 동물, 변형가능한 비생물 등도 촬상되는 대상 피검체가 될 수 있다.
[실시예 1]
실시예 1에 있어서는, 피검체를 촬상하여 얻어진 제1의 삼차원 화상과, 그 제1의 삼차원 화상을 제2의 삼차원 화상에 맞춰서 변경시켜 얻어진 제1의 변형 화상과, 제2의 삼차원 화상과, 그 제2의 삼차원 화상을 제1의 삼차원 화상에 맞춰서 변형시켜 얻어진 제2의 변형 화상을 늘어 놓아서 표시하는 예에 대해서 설명한다. 또한, 실시예 1에서는, 제1의 삼차원 화상을 제2의 삼차원 화상에 위치와 형상이 일치하도록 변형 위치 맞춤하는 계산(변형 추정)이 미리 행해져 있고, 제1의 삼차원 화상과 제2의 삼차원 화상간의 변형 정보(변형 파라미터)가 미리 취득되어 있는 것으로 가정한다. 또한, 본 실시예에 있어서의 제1의 삼차원 화상과 제2의 삼차원 화상의 예로서는, 복수의 모달리티를 사용하여 동일한 피검체를 촬상한 화상과, 동일한 모달리티를 사용하여 다른 시기에 동일한 피검체를 촬상한 화상이 있다.
여기서, 상기 제1의 삼차원 화상으로서 임의의 화상을 사용하여도 되고, 그 목적이 제1의 삼차원 화상과 제2의 삼차원 화상의 변형 위치 맞춤과 관찰을 위한 것일 경우에는 제2의 삼차원 화상을 사용하여도 된다. 그 제1의 삼차원 화상과 제2의 삼차원 화상은 동일한 피검체를 촬상하여서 촬영된 화상들에 한정되지 않는다. 예를 들면, 관찰중인 피검체의 화상을 제1의 삼차원 화상으로 하고, 그것과 비교되는 통상의 환자의 화상을 제2의 삼차원 화상으로 하는 것이 허용 가능하다. 더욱이, 복수의 피검체의 삼차원 화상으로부터 발생된 표준 화상이나 인위적 화상을 사용하는 것이 허용 가능하다.
(장치구성)
도 1은, 실시예 1에 따른 화상처리장치(100)의 기능 구성의 일례를 도시한 것이다. 실시예 1에 있어서의 화상처리 시스템(1)은, 화상처리장치(100)와, 데이터 서버(150)와, 디스플레이(172)를 구비한다.
데이터 서버(150)는, 피검체의 제1의 삼차원 화상과 제2의 삼차원 화상을 보유한다. 여기에서, 제1의 삼차원 화상을 얻기 위한 촬상과, 제2의 삼차원 화상을 얻기 위한 촬상은, 촬상 시기, 모달리티, 변형의 정도등의 점에서 서로 다르다. 예를 들면, 경과 관찰을 위해, 제1의 삼차원 화상을 얻는데 사용된 것과 같은 모달리티를 사용하여, 주어진 기간 후에 제2의 삼차원 화상을 얻어도 좋다. 예를 들면, 다면적인 관점에서 진단을 행하기 위해서, 같은 날에 다른 모달리티로 동일한 피검체를 촬상해도 좋다. 예를 들면, 복수의 심도의 화상을 얻기 위해서, 다른 압박 상태에서 복수회의 촬상을 행해도 좋다.
데이터 서버(150)는, 제1의 삼차원 화상과 제2의 삼차원 화상간의 변형을 나타내는 변형 정보를 보유한다. 실시예 1에 있어서의 변형 정보는, 제2의 삼차원 화상의 각 단위영역의 위치로부터 대응한 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성된, 변형장의 정보다. 또한, 본 실시예와 같이 본 발명을 삼차원 화상에 적용할 경우, 그 단위영역은 복셀이다. 이하는 이 경우에 대해서 설명한다. 한편, 본 발명을 이차원 화상에 적용할 경우의 단위영역은 픽셀이다.
또한, 각 삼차원 화상은, 관련 정보로서, 화상의 사이즈와 해상도, 해당 삼차원 화상의 촬상에 사용된 모달리티의 종류, 촬상 정보, 증례정보, 화상간의 대응정보등을 포함한다. 촬상 정보는, 예를 들면 해당 삼차원 화상의 촬상 파라미터, 촬상 부위, 체위등을 나타내는 정보다. 증례정보의 예로서는, 환자정보, 검사 정보, 진단 정보, 장기(organ) 영역정보, 및 관심 영역정보가 있다. 이러한 관련 정보는, 필요에 따라서, 삼차원 화상과 함께 화상처리장치(100)에 송신된다.
화상처리장치(100)는, 삼차원 화상 취득부(102)와, 변형 정보 취득부(104)와, 변형 화상 생성부(106)와, 단면설정부(108)와, 단면 화상 생성부(110)와, 주목 위치 지정부(112)와, 대응위치 산출부(114)와, 표시 제어부(116)를 구비한다.
삼차원 화상 취득부(102)는, 피검체의 제1의 삼차원 화상과 제2의 삼차원 화상을 데이터 서버(150)로부터 취득한다.
변형 정보 취득부(104)는, 제1의 삼차원 화상과 제2의 삼차원 화상간의 변형을 나타내는 변형 정보를 데이터 서버(150)로부터 취득한다.
변형 화상 생성부(106)는, 취득한 변형 정보를 사용하여, 제2의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜서, 제1의 변형 화상을 생성한다. 또한, 취득한 변형 정보를 사용하여, 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜서, 제2의 변형 화상을 생성한다.
단면설정부(108)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상을 절단하는 각각의 단면을 설정한다.
단면 화상 생성부(110)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상으로부터, 설정된 단면에 있어서의 단면 화상을 생성한다. 제1의 삼차원 화상으로부터 생성된 단면 화상은 제1의 단면 화상, 제2의 삼차원 화상으로부터 생성된 단면 화상은 제2의 단면 화상이라고 부를 수 있다. 제1의 변형 화상으로부터 생성된 단면 화상은 제1의 변형 단면 화상, 제2의 변형 화상으로부터 생성된 단면 화상은 제2의 변형 단면 화상이라고 부를 수 있다.
주목 위치 지정부(112)는, 유저에 의한 조작의 입력 정보에 근거하여, 제2의 삼차원 화상의 단면 화상상의 주목 위치를 지정한다. 유저는, 도 17에 도시된 조작부(1709)를 사용하여, 이러한 입력 조작을 행할 수 있다.
대응위치 산출부(114)는, 제2의 삼차원 화상의 단면 화상상의 주목 위치에 대응하는, 제1의 삼차원 화상상의 대응위치를 산출한다.
표시 제어부(116)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상의 각 단면 화상과, 유저에 그 밖의 정보를 보고하기 위한 화면을 표시부인 디스플레이(172)에 표시하는 제어를 행한다.
(하드웨어 구성)
도 17은, 화상처리장치(100)의 하드웨어 구성의 일례를 도시한 것이다. 화상처리장치(100)는, ＣＰＵ(1701)와, ＲＯＭ(1702)과, ＲＡＭ(1703)과, ＨＤＤ(1704)과, ＵＳＢ(1705)와, 통신 회로(1706)와, ＧＰＵ보드(1707)와, ＨＤＭＩ(1708)를 구비한다. 이들 구성요소는, 내부 버스에 의해 서로 통신가능하게 접속되어 있다.
중앙처리 유닛(ＣＰＵ)(1701)은, 화상처리장치(100) 및 이것에 접속하는 각 부를 통합적으로 제어하는 제어 회로다. ＣＰＵ(1701)는 ＲＯＭ(1702)에 기억된 프로그램을 실행 함에 의해 제어를 실시한다. 또한, ＣＰＵ(1701)는, 표시부인 디스플레이(172)를 제어하기 위한 소프트웨어인 디스플레이 드라이버를 실행하여, 디스플레이(172)에 대한 표시 제어를 행한다. 또한, ＣＰＵ(1701)는, 조작부(1709)에 대한 입/출력 제어를 행한다.
판독전용 메모리(ＲＯＭ)(1702)는, ＣＰＵ(1701)에 의한 제어의 순서를 기억시킨 프로그램뿐만 아니라 데이터도 기억한다.
랜덤 액세스 메모리(ＲＡＭ)(1703)는, 화상처리장치(100) 및 이것에 접속하는 각 부에 있어서의 처리를 실행하기 위한 프로그램이나, 화상처리에 사용된 각종 파라미터를 기억하기 위한 메모리다. ＲＡＭ(1703)은, ＣＰＵ(1701)가 실행하는 제어 프로그램을 기억하고, ＣＰＵ(1701)가 각종 제어를 실행할 때의 여러가지 데이터를 일시적으로 기억한다.
하드 디스크 드라이브(ＨＤＤ)(1704)는, X선 화상 데이터등의 각종 데이터를 기억하는 보조 기억장치다.
유니버셜 시리얼 버스(ＵＳＢ)(1705)는 조작부(1709)와 접속된다. 조작부(1709)로서는, 마우스, 키보드등을 이용할 수 있다.
통신 회로(1706)는, 화상처리 시스템(1)을 구성하는 각 구성요소와의 통신을 행하기 위한 회로다. 통신 회로(1706)는, 원하는 통신 형태에 맞추어, 복수의 구성요소로 구성되어도 좋다.
ＧＰＵ보드(1707)는, ＧＰＵ 및 비디오 메모리를 포함하는 범용 그래픽스 보드다. ＧＰＵ보드(1707)의 제공에 의해, 전용 하드웨어를 필요로 하지 않고 고속으로 화상처리의 연산이나 화상표시를 행하는 것이 가능해진다. 실시예 1의 구성에 있어서는, 변형 화상 및 오차 화상을 데이터 서버(150)로부터 취득한다. 이에 따라, 화상처리장치(100)는 ＧＰＵ보드(1707)를 구비할 필요가 없다.
고선명 멀티미디어 인터페이스(등록상표)(ＨＤＭＩ)(1708)는, 표시부인 디스플레이(172)와 접속하고 있다.
데이터 서버(150)는, 화상처리장치(100)와 마찬가지로, ＣＰＵ와 메모리를 갖고, 프로그램에 따라서 동작하는 정보처리장치로 구성될 수 있다. 이때, 화상처리장치(100)는, 데이터 서버(150)로부터가 아닌, 광음향 토모그래피장치나 핵 자기공명 영상장치등의 실제의 모달리티로부터 삼차원 화상을 수신해도 좋다. 또한, 데이터 서버(150)와 화상처리장치는, 물리적으로는 같은 정보처리장치에 의해 구성되어도 좋다.
디스플레이(172)로서는, 액정 디스플레이나 유기ＥＬ디스플레이등의 임의의 표시장치를 이용할 수 있다. 터치패널을 사용하여서, 디스플레이(172)는 조작부(1709)를 겸할 수 있다.
(처리 플로우)
도 2는, 화상처리장치(100)가 실시하는 처리의 일례를 도시하는 흐름도다. 도 2에 도시된 처리를 행함으로써, 화상처리장치(100)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상을 타일 형으로 배치하여 표시한다.
단계S2000에 있어서, 삼차원 화상 취득부(102)는, 피검체의 각각의 삼차원 화상을 데이터 서버(150)로부터 취득한다. 그리고, 삼차원 화상 취득부(102)는, 취득한 화상을, 변형 화상 생성부(106) 및 단면 화상 생성부(110)의 각각에 송신한다.
단계S2010에 있어서, 변형 정보 취득부(104)는, 그 삼차원 화상간의 변형을 나타내는 변형 정보를 데이터 서버(150)로부터 취득한다. 실시예 1에서는, 변형 정보 취득부(104)는, 제2의 삼차원 화상의 각 복셀 위치로부터 대응하는 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보를 취득한다. 그리고, 변형 정보 취득부(104)는, 취득한 변형 정보를 변형 화상 생성부(106)에 송신한다.
단계S2020에 있어서, 변형 화상 생성부(106)는, 단계S2010에서 취득한 변형 정보를 사용하여, 제2의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜서, 제1의 변형 화상을 생성한다. 또한, 변형 화상 생성부(106)는, 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜서, 제2의 변형 화상을 생성한다. 그리고, 변형 화상 생성부(106)는, 생성한 제1의 변형 화상 및 제2의 변형 화상을 단면 화상 생성부(110)에 송신한다.
제1의 삼차원 화상을 변형시켜 제2의 삼차원 화상을 생성하는 제1의 변형 화상의 생성에 있어서, 제2의 삼차원 화상으로부터 제1의 삼차원 화상까지의 변형을 나타내는 변형 정보는, 역방향 변형의 정보다. 제1의 변형 화상의 각각의 복셀 값을 제1의 삼차원 화상으로부터 취득하는 처리는, 이 역방향 변형에 근거하여 값이 얻어지는 제1의 삼차원 화상의 복셀을 결정하기 위해 산출을 행하여서 실현된다.
한편, 제2의 삼차원 화상을 변형시켜 제1의 삼차원 화상을 생성하는 제2의 변형 화상의 생성에 있어서, 제2의 삼차원 화상으로부터 제1의 삼차원 화상에의 변형을 나타내는 변형 정보는, 순방향 변형의 정보다. 이에 따라, 변형 화상 생성부(106)는, 단계S2010에서 취득한 변형 정보로부터, 제1의 삼차원 화상으로부터 제2의 삼차원 화상에의 변형을 나타내는 역변형 정보를 생성한다. 그리고, 변형 화상 생성부(106)는, 해당 역변형 정보를 사용해서 제2의 변형 화상을 생성한다. 구체적으로는, 변형 화상 생성부(106)는, 제1의 삼차원 화상의 각각의 복셀의 위치로부터 대응하는 제2의 삼차원 화상상의 위치에의 변위 벡터를, 단계S2010에서 취득한 변형장의 정보에 근거하여, 탐색적으로 산출한다. 모든 복셀의 위치에 대해서 변위 벡터를 산출하는 결과는, 역변형장의 정보, 즉 역변형 정보가 된다.
단계S2030에 있어서, 단면설정부(108)는, 단계S2000에서 취득한 각각의 삼차원 화상을 절단하는 단면, 및 단계S2020에서 생성한 각각의 변형 화상을 절단하는 단면을 설정한다. 그리고, 단면설정부(108)는, 설정한 각각의 단면의 정보를, 단면 화상 생성부(110)에 송신한다.
초기 상태에서는, 예를 들면, 개개의 삼차원 화상의 각각의 중심을 통과하는 축방향 단면을 설정한다. 한편, 후술하는 단계S2070로부터 본 처리 단계에 천이할 경우에는, 전회의 단계S2030의 처리를 실행한 후의 각각의 단면에 대하여, 단계S2070에서 설정된 단면변경 파라미터를 적용하여서, 새로운 단면을 설정한다.
후술하는 단계S2100으로부터 본 처리 단계에 천이할 경우에는, 단계S2100에서 산출한 대응위치를 포함하는, 제1의 삼차원 화상 및 제2의 변형 화상을 절단하는 단면을 설정한다. 이 단면의 방향은, 단계S2070에서 설정된 단면의 방향을 나타내는 정보에 근거하여 설정된다. 또한, 단계S2100으로부터 본 처리 단계에 천이할 경우에는, 제2의 삼차원 화상 및 제1의 변형 화상을 절단하는 각각의 단면은 변경될 필요가 없다.
단계S2040에 있어서, 단면 화상 생성부(110)는, 단계S2000에서 취득한 각각의 삼차원 화상, 및 단계S2020에서 생성한 각각의 변형 화상으로부터, 단계S2030에서 설정한 단면을 잘라, 각각의 단면 화상을 생성한다. 그리고, 단면 화상 생성부(110)는, 생성한 각각의 단면 화상을 주목 위치 지정부(112) 및 표시 제어부(116)의 각각에 송신한다.
단계S2050에 있어서, 표시 제어부(116)는, 단계S2040에서 생성한 각각의 단면 화상을 디스플레이(172)에 표시하는 제어를 행한다. 본 실시예에서는, 각각의 단면 화상을 2×2 구성의 타일형으로 배치한다. 이때, 제1의 삼차원 화상의 단면 화상과 제2의 삼차원 화상의 단면 화상은 대각선상(좌상 위치와 우하 위치, 혹은, 좌하 위치와 우상 위치)에 위치되도록 배치된다. 그리고, 제1의 변형 화상과 제2의 변형 화상은, 그 밖의 나머지 위치에 배치된다. 이때, 제1의 변형 화상과 제2의 변형 화상의 각각의 위치는, 단면의 방향의 정보, 및 주된 변형의 방향의 정보에 따라 결정된다. 예를 들면, 화상간에 관찰된 주된 변형의 방향이 유두로부터 대흉근을 향하는 방향일 경우와, 축방향 단면 표시일 경우에는, 제1의 단면 화상과 같은 열(상부 위치나 하부 위치)에 제1의 변형 단면 화상을 배치하고, 제2의 단면 화상과 같은 열에 제2의 변형 단면 화상을 배치한다. 다시 말해, 제1의 단면 화상을 좌상 위치에 배치하는 경우에는, 제1의 변형 단면 화상을 좌하 위치(제1의 단면 화상 아래)에 배치하고, 제2의 변형 단면 화상을 우상 위치(제2의 단면 화상 위)에 배치한다(도 3). 한편, 같은 화상의 사지탈 단면이 표시될 경우에는, 제1의 단면 화상과 같은 행(오른쪽이나 왼쪽)에 제1의 변형 단면 화상을 배치하고, 제2의 단면 화상과 같은 행에 제2의 변형 단면 화상을 배치한다. 다시 말해, 제1의 단면 화상을 좌상 위치에 배치할 경우에는, 제1의 변형 단면 화상을 우상 위치(제1의 단면 화상의 오른쪽)에, 제2의 변형 단면 화상을 좌하 위치(제2의 단면 화상의 왼쪽)에 배치한다(도 4).
도 3은, 디스플레이(172)에 표시되는, 피검체의 제1의 삼차원 화상의 단면 화상(301)과, 제2의 삼차원 화상의 단면 화상(302)과, 제1의 변형 화상의 단면 화상(303)과, 제2의 변형 화상의 단면 화상(304)의 예를 도시한 것이다. 도 3은, 피검체가 유방이며, 단면의 방향이 축방향 단면이며, 주된 변형의 방향이 유두로부터 대흉근을 향하는 방향일 경우를 도시한 것이다. 여기에서, 주된 변형의 방향의 정보는, 변형 정보 항목의 하나로서, 데이터 서버(150)에 미리 보유되어 있는 것으로 가정한다.
실시예 1에서는, 제1의 삼차원 화상의 단면 화상(301)과 제2의 삼차원 화상의 단면 화상(302)이 대각선상에 위치하도록, 각각의 단면 화상을 타일형으로 배치한다. 도 3의 예에서는, 제1의 단면 화상(301)이 좌상 위치에 배치되고, 제2의 단면 화상(302)이 그 제1의 단면 화상(301)의 위치에 대각선인 우하 위치에 배치된다. 한편, 제1의 변형 단면 화상(303)이 좌하 위치에 배치되고, 제2의 변형 단면 화상(304)이 우상 위치에 배치된다. 후술하는 단계S2090에 주목 위치가 지정되고, 단계S2100에서 대응위치가 산출되어 있을 경우에는, 디스플레이(172)상에서의 주목 위치와 대응위치가 일치하도록, 각각의 단면 화상의 표시 위치를 조정하는 것이 바람직하다. 다시 말해, 도 3에 있어서, 제2의 단면 화상상의 주목 위치(312)와 동일한 위치를 도시하는 제1의 변형 단면 화상(303)상의 위치(313)가 제1의 단면 화상(301)상의 대응위치(311)와 횡방향으로 일치하도록 조정이 이루어진다. 또한, 제1의 단면 화상(301)상의 대응위치(311)와 동일한 위치를 도시하는 제2의 변형 단면 화상(304)상의 위치(314)가, 제2의 단면 화상(302)상의 주목 위치(312)와 횡방향으로 일치하도록 조정이 이루어지는 것이 바람직하다.
후술하는 단계S2070에서, 단면의 방향이 사지탈 단면의 방향인 것을나타내는 정보가 취득되었을 경우에는, 도 4에 도시된 바와 같이, 제1의 변형 화상의 단면 화상(403)과 제2의 변형 화상의 단면 화상(404)의 각각의 장소를 서로 바꾸는 것이 바람직하다.
단면의 방향이 축방향 단면인 것을 나타내는 정보가 취득되었을 경우에도, 주된 변형의 방향이 유방의 횡방향 방향일 경우에는, 도 5에 도시된 바와 같이, 제1의 변형 화상의 단면 화상(503)과 제2의 변형 화상의 단면 화상(504)의 각각의 장소를 서로 바꾸는 것이 바람직하다.
또한, 단면의 방향이 사지탈 단면이며, 또 주된 변형의 방향이 유방의 횡방향일 경우의 화면배치는, 도 6에 도시한 바와 같이, 단면의 방향이 축방향 단면이며, 주된 변형의 방향이 유두로부터 대흉근을 향하는 방향일 경우와 동일한 것이 바람직하다. 이러한 경우에도, 디스플레이(172)상에 있어서의 주목 위치가 대응위치와 일치하도록, 각각의 단면 화상의 표시 위치를 조정하는 것이 바람직하다.
단계S2060에 있어서, 화상처리장치(100)는, 각각의 삼차원 화상의 단면을 변경할 것인가 아닌가를 판정한다. 예를 들면, 유저가 조작부(1709)를 사용해서 단면변경에 관한 소정의 조작을 행한 것인가 아닌가에 근거하여, 변경에 대한 판정의 결과를 입력한다. 단면변경에 관한 소정의 조작의 구체예는, 단계S2070의 설명에서 보여질 것이다. 그 변경을 나타내는 입력을 수신한 경우에는, 단계S2070에 처리를 진행시킨다. 한편, 그 변경을 나타내는 입력을 수신하지 않은 경우에는, 단계S2080에 처리를 진행시킨다.
단계S2070에 있어서, 단면설정부(108)는, 유저에 의한 조작부(1709)를 사용한 조작에 따라, 단면변경 파라미터를 설정하고, 설정한 단면변경 파라미터를 단면 화상 생성부(110)에 송신한다. 그리고, 단계S2030에 처리를 되돌린다.
실시예 1에서는, 단면변경 파라미터로서, 각 단면의 위치를 단면의 법선방향으로 이동시키는 이동량L을 설정한다. 예를 들면, "f"키의 누름시에는 L=1mm이라고 하는 이동량을 설정한다. "b"키의 누름시에는 L=-1mm이라고 하는 이동량을 설정한다. 또한, 단면변경 파라미터로서, 각 단면의 방향을 나타내는 정보를 설정한다. 예를 들면, "a"키의 누름시에는, 각 단면이 축방향 단면인 것을 나타내는 정보를 설정한다. "s"키의 누름시에는, 각 단면이 사지탈 단면인 것을 나타내는 정보를 설정한다. "c"키의 누름시에는, 각 단면이 코로날 단면인 것을 나타내는 정보를 설정한다.
또한, 단면변경 파라미터는, 각 단면의 이동량L이나 단면의 방향에 한정되지 않는다. 단면변경 파라미터로서는, 각 단면을 회전시키기 위한 회전축이나 회전 각도등의 정보를 설정해도 좋다. 또한, 단면변경 파라미터로서, 각 단면의 두께(이하, 슬래브(slab) 두께라고 칭한다)를 설정해도 좋다. 또한, 단면변경 파라미터는, 소정의 키의 누름이 아닌, 마우스의 이동 조작이나 마우스 휠의 회전 조작 등에 응답하여 설정되어도 좋다.
또한, 단면의 갱신은, 모든 화상에 대하여 동시에(연동시켜서) 행해져도 좋거나, 개별적으로 행해져도 좋다. 또한, 서로 정렬된 화상들(즉, 제1의 삼차원 화상과 제2의 변형 화상, 및, 제2의 삼차원 화상과 제1의 변형 화상)의 단면만을 갱신하는 것이 가능할 수도 있다. 또한, 어떤 주목하는 화상의 단면을 갱신하는 경우에, 그 갱신된 단면에 대응하는(가장 가까운) 다른 화상의 각각의 단면을 산출해서 갱신하는 것도 가능할 수도 있다. 이때, 그 대응하는 단면의 산출은, 변형 정보에 근거하여 행해질 수 있다. 또한, 주목하는 화상의 단면이 직교단면일 경우에는 다른 화상의 각각의 대응한 단면을 직교 단면으로서 구하는 것이 바람직하고, 주목하는 화상의 단면이 임의단면일 경우에는 다른 화상의 각각의 대응한 단면을 임의단면으로서 구하는 것도 바람직하다.
단계S2080에 있어서, 화상처리장치(100)는, 주목 위치를 지정할 것인가 아닌가를 판정한다. 예를 들면, 유저가 도시되지 않은 마우스를 조작해서 마우스 커서를 제2의 삼차원 화상의 단면 화상상에 위치시킨 것인가 아닌가에 근거하여, 변경에 대한 판정의 결과를 입력한다. 변경을 나타내는 그 입력을 수신하는 경우에는, 단계S2090에 처리를 진행시킨다. 한편, 그 변경을 나타내는 입력을 수신하지 않은 경우에는, 단계S2110에 처리를 진행시킨다.
단계S2090에 있어서, 주목 위치 지정부(112)는, 유저에 의한 조작의 입력 정보에 근거하여, 제2의 삼차원 화상의 단면 화상상에 주목 위치를 지정하고, 지정된 주목 위치를 대응위치 산출부(114) 및 단면설정부(108)의 각각에 송신한다. 실시예 1에서는, 유저가 도시되지 않은 마우스를 조작해서 마우스 커서를 단면 화상상에 위치시키는 것에 의해, 주목 위치를 지정한다. 도 3에서, 312는, 제2의 삼차원 화상의 단면 화상(302)상의 주목 위치를 나타내는 도형을 의미하고, 313은, 제1의 변형 화상의 단면 화상(303)상의, 주목 위치(312)와 동일한 위치를 도형을 의미한다.
단계S2100에 있어서, 대응위치 산출부(114)는, 단계S2090에서 지정된 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를 산출하고, 산출된 대응위치를 단면설정부(108)에 송신한다. 그리고, 단계S2030에 처리를 되돌린다. 구체적으로는, 제2의 삼차원 화상의 각 복셀 위치로부터 대응하는 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보(변형 정보)를 사용하여, 대응위치 산출부(114)는, 제2의 삼차원 화상의 단면 화상상의 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를 구한다. 도 3에서, 311은 제1의 삼차원 화상상의 대응위치를 나타내는 도형을 의미하고, 314는 제2의 변형 화상상의, 대응위치(311)와 동일한 위치를 나타내는 도형을 의미한다.
단계S2110에 있어서, 화상처리장치(100)는, 전체의 처리를 종료할 것인가 아닌가를 판정한다. 예를 들면, 화상처리장치(100)는, 디스플레이(172) 위에 배치된 종료 버튼을 조작자가 도시되지 않은 마우스로 클릭했는지를 검출하는등의 방법에 따라 전체의 처리를 종료할 것인가 아닌가를 판정한다. 그 처리가 종료한다고 판정했을 경우에는, 화상처리장치(100)의 처리의 전체를 종료시킨다. 한편, 그 처리가 종료한다고 판정하지 않았을 경우에는, 단계S2050에 처리를 되돌아간다.
이상 설명한 바와 같이, 실시예 1에서는, 피검체를 촬상한 제1의 삼차원 화상과, 그 제1의 삼차원 화상을 제2의 삼차원 화상에 맞춰서 변형시켜서 얻어진 제1의 변형 화상과, 제2의 삼차원 화상과, 그 제2의 삼차원 화상을 제1의 삼차원 화상에 맞춰서 변형시켜서 얻어진 제2의 변형 화상을 늘어 놓아서 표시한다. 이에 따라, 유저는 서로 화상들을 용이하게 대비할 수 있다.
[변형 예]
실시예 1에 있어서는, 제2의 삼차원 화상의 단면 화상상에서 주목 위치를 지정하는 경우를 예에 의해 설명했다. 그렇지만, 그 주목 위치의 지정은 이것에 한정되지 않는다. 또한, 제1의 변형 화상상에서 주목 위치를 지정해도 좋다. 이 경우, 제1의 변형 화상의 단면 화상상에 지정된 주목 위치를, 제2의 삼차원 화상상의 주목 위치로서 처리하는 것이 적합하다.
또한, 제1의 삼차원 화상의 단면 화상상에서 주목 위치를 지정해도 좋다. 이 경우에는, 단계S2100에 있어서, 제1의 삼차원 화상의 각 복셀의 위치로부터 대응하는 제2의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 역변형장의 정보(역변형 정보)를 사용하여, 제1의 삼차원 화상의 단면 화상상의 주목 위치에 대응하는, 제2의 삼차원 화상상의 대응위치를 적절하게 구하여도 좋다. 또는, 제2의 변형 화상상에서 주목 위치를 지정해도 좋다. 이 경우, 제2의 변형 화상의 단면 화상상에서 지정된 주목 위치를, 제1의 삼차원 화상상의 주목 위치로서 적절하게 처리하여도 좋다.
실시예 1에 있어서는, 변형 정보가, 제2의 삼차원 화상의 각 복셀 위치로부터 대응하는 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보일 경우를 예로 설명했다. 그러나, 그 변형 정보는, 이것에 한정되지 않고, 그 변형 정보는, 제2의 삼차원 화상의 각 복셀 위치로부터 대응하는 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보와, 제1의 삼차원 화상의 각 복셀 위치로부터 대응하는 제2의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보의, 양쪽을 포함하여도 좋다. 이 경우에는, 단계S2020에 있어서, 상기 역변형장의 정보를 산출할 필요가 없다.
또한, 실시예 1에 있어서는, 제1의 삼차원 화상의 단면 화상(301)과, 제2의 삼차원 화상의 단면 화상(302)과, 제1의 변형 화상의 단면 화상(303)과, 제2의 변형 화상의 단면 화상(304)을 타일형으로 늘어 놓아서 표시하는 경우를 예로 설명했다. 그렇지만, 그 단면 화상의 표시는 이것에 한정되지 않는다. 그 4매의 단면 화상 중 소정의 매수의 단면 화상도, 전환 가능하게 표시되어도 좋다. 동시에 표시된 화상의 매수, 각 화상을 배치하는 위치, 및 전환 표시의 경우에 한 번에 표시되는 화상의 소정의 매수도, 한정되지 않는다. 또한, 각 표시 모드에 있어서의 화상의 조합은, 임의다. 또한, 그 화상의 소정의 매수를, 유저 조작에 의해 변경해도 좋다. 이것은, 화상의 매수가 4매이외의 후술하는 경우에도 같다.
예를 들면, 제1의 삼차원 화상의 단면 화상(301)과 제2의 변형 화상의 단면 화상(304)의 2매의 화상을 표시하는 모드와, 제2의 삼차원 화상의 단면 화상(302)과 제1의 변형 화상의 단면 화상(303)의 2매의 화상을 표시하는 표시 모드를, 유저에 의한 조작의 입력 정보에 근거하여 전환하는 것이 가능할 수도 있다.
또한, 제1의 삼차원 화상의 단면 화상(301)과 제1의 변형 화상의 단면 화상(303)의 2매의 화상을 표시하는 표시 모드와, 제2의 삼차원 화상의 단면 화상(302)과 제2의 변형 화상의 단면 화상(304)의 2매의 화상을 표시하는 표시 모드를, 유저에 의한 조작의 입력 정보에 근거하여 전환하는 것이 가능할 수도 있다. 혹은, 4매의 단면 화상을 유저에 의한 조작의 입력 정보에 근거하여 순차 전환 가능하게 표시하는 것도 가능할 수도 있다.
그 화상의 표시는 실시예 1에서 설명한 예에 한정되지 않는다. 도 7에 도시한 바와 같이, 제1의 삼차원 화상의 단면 화상에 제2의 변형 화상의 단면 화상을 중첩한 중첩 화상 701과, 제2의 삼차원 화상의 단면 화상에 제1의 변형 화상의 단면 화상을 중첩한 중첩 화상 702를, 늘어 놓아서 표시하는 것이 가능할 수도 있다. 혹은, 이 화상들을 전환 가능하게 표시해도 좋다.
혹은, 2×2 구성의 타일형의 표시 영역에 있어서, 제1의 삼차원 화상의 단면 화상과 제2의 삼차원 화상의 단면 화상이 대각선으로 위치하도록 배치된 후에, 다른 나머지 위치에, 제1의 변형 화상과 제2의 변형 화상 대신에, 제2의 삼차원 화상의 단면 화상에 제1의 변형 화상의 단면 화상을 중첩한 중첩 화상과, 제1의 삼차원 화상의 단면 화상에 제2의 변형 화상의 단면 화상을 중첩한 중첩 화상이 배치되어도 좋다. 혹은, 제1의 변형 화상과 제2의 변형 화상 대신에, 제2의 삼차원 화상과 제1의 변형 화상의 차분화상의 단면 화상과, 제1의 삼차원 화상과 제2의 변형 화상의 차분화상의 단면 화상을 배치해서 표시하는 것이 가능할 수도 있다. 더욱, 주목하는 위치에 상기 변형 화상, 상기 중첩 화상, 및 상기 차분화상 중 어느 화상을 표시할지를 유저를 선택할 수 있게 하고, 그 표시된 화상을 상기 선택된 화상으로 전환하는 것도 가능할 수도 있다.
상기 화상의 표시는 실시예 1에서 설명한 예에 한정되지 않는다. 도 8에 도시한 바와 같이, 제1의 삼차원 화상의 단면 화상 801에 제2의 변형 화상의 단면 화상 804를 중첩한 중첩 화상 805와, 제2의 삼차원 화상의 단면 화상 802에 제1의 변형 화상의 단면 화상 803을 중첩한 중첩 화상 806을, 실시예 1에서 설명한 4매의 단면 화상과 함께 배치하여, 3×2구성의 타일형으로 표시하는 것도 가능할 수도 있다. 혹은, 상기 중첩 화상 대신에, 차분화상을 표시해도 좋다. 또한, 어느쪽의 화상을 표시할지를 유저가 선택할 수 있게 하고, 그 선택된 화상을 전환 가능하게 표시 가능하게 하는 것도 가능할 수도 있다. 더욱, 상술한 여러가지 표시 모드 중에서 상기 조작부를 거쳐 유저가 선택 가능하게 하는 것도 가능할 수도 있다. 제1의 화상(제1의 삼차원 화상)의 변형에 관해서 표시된 화상(제1의 변형 화상에 근거한 화상)으로서, 제1의 변형 화상 자체, 제2의 화상에 제1의 변형 화상을 중첩한 화상, 제2의 화상과 제1의 변형 화상의 차분화상 등이 있다. 또한, 제2의 화상(제2의 삼차원 화상)의 변형에 관해서 표시된 화상(제2의 변형 화상에 근거한 화상)으로서, 제2의 변형 화상 자체, 제1의 화상에 제2의 변형 화상을 중첩한 화상, 제1의 화상과 제2의 변형 화상의 차분화상등이 있다.
[실시예 2]
실시예 2에 있어서는, 피검체를 촬상하여 얻어진 3개의 삼차원 화상의 각각을, 다른 각각의 삼차원 화상에 맞춰서 변형시켜 변형 화상을 생성하고, 그 변형 화상을 늘어 놓아서 표시하는 예에 대해서 설명한다. 또한, 실시예 2에 있어서는, 상기 삼차원 화상간의 변형을 나타내는 변형 정보가 미리 취득되어 있는 것으로 가정한다. 이하, 실시예 2에 따른 화상처리장치에 대해서, 실시예 1의 화상처리장치와는 다른 부분에 중점을 두어 설명한다. 실시예 1과 같은 부분에 대해서는 자세한 설명을 생략한다.
도 9는, 실시예 2에 따른 화상처리장치(900)의 기능 구성의 일례를 도시한 것이다. 실시예 2에 있어서의 화상처리 시스템(9)은, 화상처리장치(900)와, 데이터 서버(950)와, 상기 디스플레이(172)를 구비한다. 또한, 도 1과 같은 부분에 대해서는 같은 참조번호/기호를 부착하여, 그 설명을 생략한다.
실시예 2의 데이터 서버(950)는, 피검체의 상기 제1의 삼차원 화상과 제2의 삼차원 화상에 더해서, 제3의 삼차원 화상을 보유한다. 또한, 데이터 서버(950)는, 상기 삼차원 화상간의 변형을 나타내는 변형 정보를 보유한다. 실시예 2에 있어서의 변형 정보는, 각각의 삼차원 화상의 각 복셀의 위치에 대응하는 다른 각각의 삼차원 화상의 위치를 각각의 삼차원 화상에 대해서 보이는 변형장의 정보다.
삼차원 화상 취득부(902)는, 피검체의 각각의 삼차원 화상을 데이터 서버(150)로부터 취득한다. 변형 정보 취득부(904)는, 각각의 삼차원 화상간의 변형을 나타내는 변형 정보를 데이터 서버(150)로부터 취득한다. 변형 화상 생성부(906)는, 변형 정보를 사용하여, 각각의 삼차원 화상에 위치와 형상이 일치하도록 다른 삼차원 화상을 각각의 삼차원 화상에 대해서 변형시켜, 6개의 변형 화상을 생성한다.
여기에서, 6개의 변형 화상은 아래와 같다:
· 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜서 얻어진 변형 화상;
· 제2의 삼차원 화상에 위치와 형상이 일치하도록 제3의 삼차원 화상을 변형시켜서 얻어진 변형 화상;
· 제3의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜서 얻어진 변형 화상;
· 제2의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜서 얻어진 변형 화상;
· 제3의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜서 얻어진 변형 화상; 및
· 제1의 삼차원 화상에 위치와 형상이 일치하도록 제3의 삼차원 화상을 변형시켜서 얻어진 변형 화상.
단면설정부(908)는, 각각의 삼차원 화상과 그것들의 변형 화상을 절단하는 단면을 설정한다. 단면 화상 생성부(910)는, 각각의 삼차원 화상과 그것들의 변형 화상으로부터, 상기 설정된 단면에 있어서의 단면 화상을 생성한다. 주목 위치 지정부(912)는, 유저에 의한 조작의 입력 정보에 근거하여, 어느 하나의 삼차원 화상의 단면 화상상의 주목 위치를 지정한다. 대응위치 산출부(914)는, 어느 하나의 삼차원 화상의 단면 화상상의 주목 위치에 대응하는, 다른 각각의 삼차원 화상상의 대응위치를, 어느 하나의 삼차원 화상에 대해 산출한다. 표시 제어부(916)는, 각각의 단면 화상과, 기타 정보를 유저에 보고하기 위한 화면을 디스플레이(172)에 표시하는 제어를 행한다.
도 1０은, 화상처리장치(900)가 실시하는 처리의 일례를 도시하는 흐름도다. 화상처리장치(900)는, 피검체의 3개의 삼차원 화상과 그것들의 변형 화상을 타일형으로 늘어 놓아서 표시한다. 여기에서, 단계S10040, S10060, S10070 및 S10110의 처리는, 실시예 1에 있어서의 단계S2040, S2060, S2070 및 S2110의 처리와 같으므로, 그 설명을 생략한다.
단계S10000에 있어서, 삼차원 화상 취득부(902)는, 피검체의 3개의 삼차원 화상을 데이터 서버(950)로부터 취득한다. 그리고, 삼차원 화상 취득부(902)는, 취득한 화상을, 변형 화상 생성부(906) 및 단면 화상 생성부(910)에 송신한다.
단계S10010에 있어서, 변형 정보 취득부(904)는, 각각의 삼차원 화상간의 변형을 나타내는 변형 정보로서, 각각의 삼차원 화상의 각 복셀의 위치에 대응하는 다른 삼차원 화상의 각각의 위치를 각각의 삼차원 화상에 대해서 보이는 변형장의 정보를, 데이터 서버(950)로부터 취득한다. 그리고, 변형 정보 취득부(904)는, 취득한 변형 정보를 변형 화상 생성부(906)에 송신한다.
단계S10020에 있어서, 변형 화상 생성부(906)는, 단계S10010에서 취득한 변형 정보를 사용하여, 각각의 삼차원 화상에 위치와 형상이 일치하도록 다른 삼차원 화상을 각각의 삼차원 화상에 대해서 변형시켜, 전술한 6개의 변형 화상을 생성한다. 그리고, 변형 화상 생성부(906)는, 생성된 6개의 변형 화상을 단면 화상 생성부(910) 및 주목 위치 지정부(912)에 송신한다.
단계S10030에 있어서, 단면설정부(908)는, 단계S10000에서 취득한 각각의 삼차원 화상을 절단하는 단면, 및 단계S10020에서 생성한 각각의 변형 화상을 절단하는 단면을 설정하고, 그 설정한 각각의 단면의 정보를, 단면 화상 생성부(910)에 송신한다. 단면의 설정 방법은, 실시예 1과 같으므로, 그 설명을 생략한다.
단계S10050에 있어서, 표시 제어부(916)는, 단계S10040에서 생성된 각각의 단면 화상을 디스플레이(172)에 표시하는 제어를 행한다. 본 실시예에서는, 각각의 단면 화상을 3×3구성의 타일형으로 배치한다. 이때, 배치된 타일에 걸친 대각선상의 위치(i, i)에 i번째의 삼차원 화상을 배치한다. 추가로, 배치된 타일상의 위치(i, j)에 i번째의 삼차원 화상을 j번째의 삼차원 화상에 맞춰서 변형시켜서 얻어진 변형 화상을 배치한다.
도 11은, 디스플레이(172)에 표시되는 피검체의 3개의 삼차원 화상의 단면 화상 1101, 1102, 1103과, 6개의 변형 화상의 단면 화상 1104, 1105, 1106, 1107, 1108, 1109의 예를 도시한 것이다. 도 11에 도시한 바와 같이, 실시예 2에서는, 3개의 삼차원 화상의 단면 화상 1101, 1102, 1103이 대각선으로 위치하도록, 각각의 단면 화상을 타일형으로 배치한다. 한편, 6개의 단면 화상 1104, 1105, 1106, 1107, 1108, 1109는, 대각선상에 위치되지 않는 각각의 적절한 위치에 배치된다.
단계S10080에 있어서, 화상처리장치(900)는, 주목 위치를 지정할 것인가 아닌가를 판정한다. 예를 들면, 유저가 도시되지 않은 마우스를 조작해서 마우스 커서를 어느 하나의 삼차원 화상의 단면 화상상에 위치시킨 것인가 아닌가를 검출함으로써, 변경의 유무를 판정할 수 있다. 변경을 나타내는 입력을 수신한 경우에는, 단계S10090에 처리를 진행시킨다. 한편, 변경을 나타내는 입력을 수신하지 않은 경우에는, 단계S10110에 처리를 진행시킨다.
단계S10090에 있어서, 주목 위치 지정부(912)는, 유저에 의한 조작의 입력 정보에 근거하여, 어느 하나의 삼차원 화상의 단면 화상상의 주목 위치를 지정하고, 지정한 주목 위치를 대응위치 산출부(914) 및 단면설정부(908)에 송신한다.
단계S10100에 있어서, 대응위치 산출부(914)는, 어느 하나의 삼차원 화상에 대해서, 어느 하나의 삼차원 화상의 단면 화상상의 주목 위치에 대응하는 다른 각각의 삼차원 화상상의 대응위치를 산출하고, 산출한 대응위치를 단면설정부(908)에 송신한다. 그리고, 단계S10030에 처리를 되돌린다. 구체적인 산출 방법이 실시예 1과 같으므로, 그 설명을 생략한다.
이상 설명한 바와 같이, 실시예 2에서는, 피검체를 촬상하여서 얻어진 3개의 삼차원 화상의 각각을, 다른 삼차원 화상에 맞춰서 변형시켜서 변형 화상을 생성하고, 그것들을 늘어놓아서 표시한다. 이에 따라, 유저는 3개의 화상을 서로 용이하게 대비할 수 있다.
[변형 예]
실시예 2에 있어서는, 피검체의 3개의 삼차원 화상의 단면 화상 1101, 1102, 1103과, 6개의 변형 화상의 단면 화상 1104, 1105, 1106, 1107, 1108, 1109를 타일형으로 늘어 놓아서 표시하는 경우를 예로 설명했다. 그렇지만, 그 단면 화상의 표시는 이것에 한정되지 않는다. 이것들 9매의 단면 화상도 전환 가능하게 표시되어도 좋다. 전환 가능한 표시에서 한 번에 표시된 화상매수는, 1매, 3매, 또는 그 밖의 매수이어도 좋다.
또한, 실시예 2에 있어서는, 피검체를 촬상하여서 얻어진 삼차원 화상의 매수가 3인 경우를 예로 설명했다. 그렇지만, 그 삼차원 화상의 매수는 이것에 한정되지 않고, 4개이상이여도 좋다.
또한, 실시예 2에 있어서는, 어느 하나의 삼차원 화상의 단면 화상상에서 주목 위치를 지정하는 경우를 예로 설명했다. 그렇지만, 그 주목 위치의 지정은 이것에 한정되지 않는다. 어느 하나의 변형 화상의 단면 화상상에서 주목 위치를 지정해도 좋다.
[실시예 3]
실시예 3의 특징적인 특징은, 제1의 삼차원 화상의 단면 화상과 제2의 삼차원 화상의 단면 화상의 방향에 관한 것이다. 구체적으로는, 직교단면에 상기 화상들을 배타적으로 표시하는 모드와, 임의단면에 그 화상들을 표시시키는 모드간에, 그 단면 화상의 표시를 전환한다. 이하, 실시예 3에 따른 화상처리장치에 대해서, 실시예 1의 화상처리장치와는 다른 부분에 중점을 두어 설명한다. 실시예 1과 같은 부분에 대해서는, 자세한 설명을 생략한다.
도 12는, 실시예 3에 따른 화상처리장치(1200)의 기능 구성의 일례를 도시한 것이다. 실시예 3에 있어서의 화상처리 시스템(12)은, 화상처리장치(1200)와, 데이터 서버(1250)와, 디스플레이(172)를 구비한다. 또한, 도 1과 같은 부분에 대해서는 같은 참조번호/기호를 부착하고, 그 설명을 생략한다.
실시예 3에 있어서의 단면설정부(1208)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상을 절단하는 각각의 단면을 설정한다. 실시예 3에 있어서는, 단면변경 파라미터로서, 단면의 방향을 직교단면에 한정할지 임의단면의 방향도 허용할지를 나타내는 정보도 설정한다.
도 13은, 화상처리장치(1200)가 실시하는 처리의 일례를 도시하는 흐름도다. 화상처리장치(1200)는, 각각의 단면 화상에 대해서, 직교단면에 있어서의 직교단면 화상, 또는 임의단면에 있어서의 임의단면 화상을 표시한다. 여기에서, 단계S13000으로부터 S13020까지, S13040으로부터 S13060까지, 및 S13080으로부터 S13110까지의 처리는, 실시예 1에 있어서의 단계S2000으로부터 S2020까지, S2040으로부터 S2060까지, 및 S2080으로부터 S2110까지의 처리와 같으므로, 그 설명을 생략한다.
단계S13030에 있어서, 단면설정부(1208)는, 단계S10000에서 취득한 각각의 삼차원 화상을 절단하는 단면, 및 단계S10020에서 생성한 각각의 변형 화상을 절단하는 단면을 설정한다. 그리고, 단면설정부(1208)는, 설정한 각각의 단면의 정보를, 단면 화상 생성부(110)에 송신한다.
본 처리 단계에 있어서의, 초기 상태의 처리와, 단계S13070으로부터 본 처리 단계에 천이했을 경우의 처리는, 실시예 1과 같아, 그 설명을 생략한다. 한편, 단계S13100으로부터 본 처리 단계에 천이했을 경우에는, 단계S13090에서 지정한 주목 위치를 포함하는, 제2의 삼차원 화상 및 제1의 변형 화상을 절단하는 단면과, 단계S13100에서 산출한 대응위치를 포함하는, 제1의 삼차원 화상 및 제2의 변형 화상을 절단하는 단면을, 단계S13070에서 설정된, 단면의 방향을 직교단면에 한정할지 임의단면도 허용할지를 나타내는 정보에 근거하여 설정한다.
대응위치가 산출되는 제1의 삼차원 화상을 절단하는 단면으로서 임의단면도 허용되는 경우에는, 제3의 단면 화상으로서, 제2의 삼차원 화상의 단면 화상에 대응하는 제1의 삼차원 화상의 임의단면을, 예를 들면 일본 특허공개 2011-125570호 공보에 기재된 방법에 따라 산출한다. 그리고, 산출한 임의단면 화상을, 제1의 삼차원 화상을 절단하는 단면으로서 설정한다.
한편, 제1의 삼차원 화상을 절단하는 단면이 직교단면에 한정되어 있을 경우에는, 축방향 단면, 사지탈 단면, 코로날 단면의 3개의 직교단면 중, 전술한 임의단면에 가장 가까운 직교단면을 선택해서 설정한다. 또는, 그 직교단면 중 어느 하나를 미리 지정하여 설정한다. 이 미리 지정된 단면에 관한 정보는, 화상처리장치(1200)가 취득한 정보에 포함되어도 좋거나, 조작부가 수신하는 유저로부터의 입력 정보에 포함되어도 좋다.
더욱, 제1의 삼차원 화상의 단면 화상을 절단하는 단면이 직교단면에 한정되어 있고 제2의 삼차원 화상의 단면 화상을 절단하는 단면으로서 임의단면도 허용되는 경우에는, 제1의 삼차원 화상의 직교단면에 대응한 제2의 삼차원 화상의 임의단면을 다시 산출하여, 제2의 삼차원 화상을 절단하는 단면으로서 다시 설정한다.
단계S13070에 있어서, 단면설정부(1208)는, 유저에 의한 조작부(1709)를 사용한 조작에 응답하여 단면변경 파라미터를 설정하고, 설정한 단면변경 파라미터를 단면 화상 생성부(110)에 송신한다. 그리고, 단계S13030에 처리를 되돌린다. 단계S2070에서 설명한 단면변경 파라미터에 더해서, 실시예 3에 있어서는, 제1의 삼차원 화상의 단면 화상과 제2의 삼차원 화상의 단면 화상의 각각에 대해서, 단면의 방향을 직교단면에 한정할지 임의단면의 방향도 허용할지를 나타내는 정보도, 단면변경 파라미터로서 설정한다.
예를 들면, "t"키의 누름시에는 제1의 삼차원 화상의 단면 화상에 대한 단면을 직교단면에 한정하고, "T"키의 누름시에는 제2의 삼차원 화상의 단면 화상에 대한 단면을 직교단면에 한정한다. 한편, "u"키의 누름시에는 제1의 삼차원 화상의 단면 화상에 대한 단면으로서 임의단면도 허용되고, "U"키의 누름시에는 제2의 삼차원 화상의 단면 화상에 대한 단면으로서 임의단면도 허용된다. 한쪽의 삼차원 화상의 단면 화상에 대한 단면을 직교단면에 한정했을 경우에는, 자동적으로 다른쪽의 삼차원 화상의 단면 화상에 대한 단면을 직교단면에 한정해도 좋다. 마찬가지로, 한쪽의 삼차원 화상의 단면 화상에 대한 단면으로서 임의단면을 허용했을 경우에는, 자동적으로 다른쪽의 삼차원 화상의 단면 화상에 대한 단면으로서 임의단면을 허용해도 좋다. 또한, 임의단면이 다른쪽의 단면에 대응하는 곡단면인지, 그 곡단면을 평면에서 근사하여 얻어진 단면인지, 또는 곡단면을 평면에 투영하여서 얻어진 단면인지를 나타내는 정보도, 단면변경 파라미터로서 설정해도 좋다.
이상 설명한 바와 같이, 실시예 3에서는, 제1의 삼차원 화상의 단면 화상과 제2의 삼차원 화상의 단면 화상의 각각의 방향의 관점에서, 그 화상의 표시는, 직교단면에서 그 화상을 배타적으로 표시하는 모드 또는 임의단면에서도 그 화상을 표시시키는 모드간에 전환된다. 이에 따라, 유저는 상기 화상을 쉽게 대비 가능한 단면의 방향에서 그 화상을 서로 용이하게 대비할 수 있다.
[변형 예]
실시예 3에 있어서는, 직교단면에 대해 상기 화상을 표시하는데 사용된 단면을 한정하는 모드와 임의단면을 사용하여 상기 화상을 표시시키는 모드간에 상기 화상의 표시를 전환하는 예에 대해서 설명했다. 그렇지만, 상기 화상의 표시는 이것에 한정되지 않는다. 직교단면과 임의단면의 양쪽을 동시에 화상을 표시하는데 사용되어도 좋다.
[실시예 4]
실시예 4에 있어서는, 제2의 삼차원 화상의 단면 화상상에서 지정한 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를, 유저에 의한 조작의 입력 정보에 근거해서 보정하여, 변형 정보를 갱신하는 예에 대해서 설명한다. 이하, 실시예 4에 따른 화상처리장치에 대해서, 실시예 1과는 다른 부분에 중점을 두어 설명한다. 실시예 1과 같은 부분에 대해서는, 자세한 설명을 생략한다.
도 14는, 실시예 4에 따른 화상처리장치(1400)의 기능 구성의 일례를 도시한 것이다. 실시예 4에 있어서의 화상처리 시스템(14)은, 화상처리장치(1400)와, 데이터 서버(1450)와, 디스플레이(172)를 구비한다. 또한, 도 1과 같은 부분에 대해서는 같은 참조번호/기호를 부착하고, 그 설명을 생략한다.
데이터 서버(1450)는, 제1의 삼차원 화상과 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보로서, 제1의 삼차원 화상과 제2의 삼차원 화상에서의 복수의 세트의 대응점의 정보를 보유하고 있다. 변형 정보 취득부(1404)는, 제1의 삼차원 화상과 제2의 삼차원 화상에서의 복수의 세트의 대응점의 정보를, 데이터 서버(1450)로부터 취득한다. 또한, 변형 정보 취득부(1404)는, 제2의 삼차원 화상의 단면 화상상에서 지정한 주목 위치와, 유저에 의한 조작의 입력 정보에 근거해서 보정한 제1의 삼차원 화상상의 대응위치로 구성되는 일 세트의 대응점을, 복수의 세트의 대응점의 정보에 추가한다. 또한, 변형 정보 취득부(1404)는, 복수의 세트의 대응점의 정보를 사용하여, 제1의 삼차원 화상과 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 도출한다. 변형 화상 생성부(1406)는, 취득한 변형 정보를 사용하여, 제2의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜, 제1의 변형 화상을 생성한다. 또한, 변형 화상 생성부(1406)는, 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜, 제2의 변형 화상을 생성한다.
표시 제어부(1416)는, 제1의 삼차원 화상, 제2의 삼차원 화상, 제1의 변형 화상, 및 제2의 변형 화상의 각각의 단면 화상과, 유저에 그 밖의 정보를 보고하기 위한 화면을 디스플레이(172)에 표시하는 제어를 행한다. 또한, 표시 제어부(1416)는, 모든 단면 화상 위에, 데이터 서버(1450)로부터 취득한 복수의 세트의 대응점의 위치를 나타내는 도형과, 새롭게 추가한 세트의 대응점의 위치를 나타내는 도형을, 다른 표시 형태로 표시하는 제어를 행한다. 대응위치 보정부(1418)는, 유저에 의한 조작의 입력 정보에 근거하여 제2의 삼차원 화상의 단면 화상상에서 지정된 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를 보정한다.
도 15는, 화상처리장치(1400)가 실시하는 처리의 일례를 도시하는 흐름도다. 화상처리장치(1400)는, 대응위치의 보정에 근거해서 변형 정보를 갱신한다. 여기에서, 단계S15000, S15110, S15030으로부터 S15040까지, 및 S15060으로부터 S15100까지의 처리는, 실시예 1에 있어서의 단계S2000, S2110, S2030으로부터 S2040까지, 및 S2060으로부터 S2100까지의 처리와 같으므로, 그 설명을 생략한다.
단계S15010에 있어서, 변형 정보 취득부(1404)는, 제1의 삼차원 화상과 제2의 삼차원 화상에서의 복수의 세트의 대응점의 정보를, 데이터 서버(1450)로부터 취득한다. 또한, 후술하는 단계S15107로부터 본 처리 단계에 천이했을 경우에는, 제2의 삼차원 화상의 단면 화상상에서 지정한 주목 위치와, 유저에 의한 조작의 입력 정보에 근거해서 보정한 제1의 삼차원 화상상의 대응위치로 구성되는 상기 세트의 대응점을, 복수의 세트의 대응점의 정보에 추가한다. 그리고, 변형 정보 취득부(1404)는, 취득한 복수의 세트의 대응점의 정보를 사용하여, 제1의 삼차원 화상과 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 도출한다. 상기 세트의 대응점으로부터 변형 정보를 도출하는 처리에는, 임의의 공지의 수법을 이용할 수 있다. 그리고, 변형 정보 취득부(1404)는, 도출한 변형 정보를 변형 화상 생성부(1406)에 송신한다.
단계S15020에 있어서, 변형 화상 생성부(1406)는, 단계S15010에서 취득한 변형 정보를 사용하여, 제2의 삼차원 화상에 위치와 형상이 일치하도록 제1의 삼차원 화상을 변형시켜, 제1의 변형 화상을 생성한다. 이 변형 처리에는, 임의의 공지의 수법을 이용할 수 있다. 그리고, 변형 화상 생성부(1406)는, 제2의 삼차원 화상의 각 복셀 위치로부터 대응하는 제1의 삼차원 화상상의 위치에의 변위 벡터로 구성되는 변형장의 정보를 산출한다. 또한, 변형 화상 생성부(1406)는, 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시키기 위한 역변형 정보를 산출한 후에, 제1의 삼차원 화상에 위치와 형상이 일치하도록 제2의 삼차원 화상을 변형시켜, 제2의 변형 화상을 생성한다.
단계S15050에 있어서, 표시 제어부(1416)는, 단계S14040에서 생성된 각각의 단면 화상을 디스플레이(172)에 표시하는 제어를 행한다. 도 16은, 디스플레이(172)에 표시되는, 피검체의 제1의 삼차원 화상의 단면 화상(1601)과, 제2의 삼차원 화상의 단면 화상(1602)과, 제1의 변형 화상의 단면 화상(1603)과, 제2의 변형 화상의 단면 화상(1604)의 예를 도시한 것이다. 실시예 4에서는, 모든 단면 화상 위에, 새롭게 추가한 세트의 대응점의 위치를 나타내는 도형(1611, 1612, 1613, 1614)과, 데이터 서버(1450)로부터 취득한 복수의 세트의 대응점의 위치를 나타내는 도형(1621, 1622, 1623, 1624, 및 1631, 1632, 1633, 1634)을, 다른 표시 형태로 표시한다.
단계S15105에 있어서, 화상처리장치(1400)는, 상기 세트의 대응점을 보정할 것인가 아닌가를 판정한다. 예를 들면, 유저가 도시되지 않은 마우스를 조작해서 제1의 삼차원 화상의 단면 화상상에서 클릭한 것인가 아닌가를 검출함으로써, 화상처리장치(1400)는, 변경의 유무를 판정한다. 변경을 나타내는 입력을 수신한 경우에는, 단계S15107에 처리를 진행시킨다. 한편, 변경을 나타내는 입력을 수신하지 않은 경우에는, 단계S15030에 처리를 되돌아간다.
단계S15107에 있어서, 대응위치 보정부(1418)는, 제2의 삼차원 화상의 단면 화상상에서 지정된 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를, 유저가 도시되지 않은 마우스를 조작해서 제1의 삼차원 화상의 단면 화상상에서 클릭한 위치에 보정한다. 그리고, 대응위치 보정부(1418)는, 보정한 대응위치를 변형 정보 취득부(1404) 및 표시 제어부(1416)의 각각에 송신한다.
이상 설명한 바와 같이, 실시예 4에서는, 제2의 삼차원 화상의 단면 화상상에서 지정한 주목 위치에 대응하는 제1의 삼차원 화상상의 대응위치를, 유저에 의한 조작의 입력 정보에 근거해서 보정하여서, 변형 정보를 갱신한다. 이에 따라, 유저는 화상간의 위치 맞춤의 타당성을 용이하게 파악하여, 필요에 따라서 보정할 수 있다.
[실시예 5]
실시예 5에 있어서는, 제1의 삼차원 화상과 제2의 삼차원 화상을 늘어 놓아서 표시하기 위한 화상처리장치에 있어서, 대응관계를 보다 용이하게 파악하는 예에 대해서 설명한다. 구체적으로는, 각각의 화상에서 대응하는 기지점군의 하나를 주목 점으로서 지정할 때에, 주목 점의 위치(주목 위치)를 포함하는 단면 화상을 제2의 삼차원 화상으로부터 생성함과 아울러, 주목 점에 대응하는 대응점의 위치(대응위치)를 포함하는 단면 화상을 제1의 삼차원 화상으로부터 생성한다. 이하, 실시예 1과는 다른 부분에 중점을 두어 설명한다. 실시예 1과 같은 부분에 대해서는 자세한 설명을 생략한다.
도 18은, 실시예 5에 따른 화상처리장치(1800)의 기능 구성의 일례를 도시한 도면이다. 실시예 5에 있어서의 화상처리 시스템(18)은, 화상처리장치(1800)와, 데이터 서버(1850)와, 디스플레이(172)를 구비한다. 또한, 도 1과 같은 부분에 대해서는 같은 참조번호/기호를 부착하고, 그 설명을 생략한다.
데이터 서버(1850)는, 피검체의 제1의 삼차원 화상과 제2의 삼차원 화상을 보유한다. 또한, 데이터 서버(1850)는, 제1과 제2의 삼차원 화상에서 대응하는 기지점군의 삼차원 좌표값을 보유한다.
대응점 정보 취득부(1803)는, 제1과 제2의 삼차원 화상에서 대응하는 기지점군의 삼차원 좌표값을 데이터 서버(1850)로부터 취득한다.
단면설정부(1808)는, 제2의 삼차원 화상을 절단하는 단면을, 후술의 주목 위치에 근거해서 설정한다. 또한, 단면설정부(1808)는, 제1의 삼차원 화상을 절단하는 단면을, 후술의 대응위치에 근거해서 설정한다.
단면 화상 생성부(1810)는, 제1의 삼차원 화상 및 제2의 삼차원 화상으로부터, 설정된 단면에 있어서의 단면 화상을 생성한다.
주목 위치 취득부(1812)는, 유저에 의한 조작의 입력 정보에 근거하여, 제2의 삼차원 화상의 단면 화상상의 위치를 지정한다. 유저는, 도 17에 도시된 조작부(1709)를 사용하여, 이러한 입력 조작을 행할 수 있다. 주목 위치 취득부(1812)는, 지정된 위치와 제2의 삼차원 화상상의 기지점군의 위치에 근거하여, 상기 기지점군에서의 점들 중 하나를 주목 점으로서 선택하고, 선택한 주목 점의 위치를 주목 위치로서 취득한다.
대응위치 취득부(1814)는, 제2의 삼차원 화상상의 주목 점에 대응한다, 제1의 삼차원 화상상의 대응점의 위치(대응위치)를, 기지점군의 정보로부터 취득한다.
표시 제어부(1816)는, 제1의 삼차원 화상 및 제2의 삼차원 화상의 각각의 단면 화상과, 유저에 그 밖의 정보를 보고하기 위한 화면을, 디스플레이(172)에 표시하는 제어를 행한다. 제1의 삼차원 화상의 단면 화상은 제1의 단면 화상이라고 부를 수 있다. 제2의 삼차원 화상의 단면 화상은 제2의 단면 화상이라고 부를 수 있다. 이때, 표시 제어부(1816)는, 표시 화면상에 있어서, 제2의 삼차원 화상상의 주목 점의 위치(주목 위치)와, 제1의 삼차원 화상상의 대응점의 위치(대응위치)가, 횡방향 또는 종방향으로 일치하도록 제어를 행한다. 이를 위해, 표시 제어부(1816)는, 대응점의 표시 위치를 주목 점의 표시 위치에 위치시키는 등의 방법으로, 제1의 삼차원 화상의 단면 화상의 표시 위치를 조정한다. 이때, 표시 제어부(1816)는, 표시부의 화면에 있어서의 조정후 대응위치가, 조정전 주목 위치와, 종방향 또는 횡방향으로 일치하도록, 제2의 단면 화상의 위치를 조정하여 그 단면 화상을 표시한다.
도 19는, 화상처리장치(1800)가 실시하는 처리의 일례를 도시하는 흐름도다. 화상처리장치(1800)는, 주목 점을 포함하는 단면 화상과 대응점을 포함하는 단면 화상을, 표시 화면상에 있어서의 주목 점의 위치(주목 위치)와 대응점의 위치(대응위치)가 일치하도록 표시한다. 여기에서, 단계S19000, S19060, S19070, 및 S19110의 처리는, 실시예 1에 있어서의 단계S2000, S2060, S2070, 및 S2110의 처리와 같아서, 그 설명을 생략한다.
단계S19005에 있어서, 대응점 정보 취득부(1803)는, 제1 및 제2의 삼차원 화상에서의 대응하는 기지점군의 삼차원 좌표값을 데이터 서버(1850)로부터 취득한다. 그리고, 대응점 정보 취득부(1803)는, 취득한 대응점 정보를 주목 위치 취득부(1812) 및 대응위치 취득부(1814)의 각각에 송신한다.
단계S19030에 있어서, 단면설정부(1808)는, 단계S19000에서 취득한 각각의 삼차원 화상을 절단하는 각각의 단면을 설정한다. 후술하는 단계S19100로부터 본 처리 단계에 천이했을 경우에는, 단계S19090에서 취득한 주목 위치를 지나는, 제2의 삼차원 화상을 절단하는 단면을 설정한다. 다시 말해, 제2의 삼차원 화상을 절단하는 단면이 주목 위치를 지나지 않을 경우에, 해당 단면을 단면의 수직방향으로 평행 이동시켜, 이 주목 위치를 지나도록 한다. 또한, 단계S19100에서 취득한 대응위치를 지나는, 제1의 삼차원 화상을 절단하는 단면을 설정한다. 또한, 단계S19020 또는 단계S19070으로부터 본 처리 단계에 천이했을 경우의 처리는, 단계S2020 또는 단계S2070으로부터 단계S2030에 천이했을 경우의 처리와 같아서, 그 설명을 생략한다.
단계S19040에 있어서, 단면 화상 생성부(1810)는, 단계S19000에서 취득한 각각의 삼차원 화상으로부터, 단계S19030에서 설정한 단면을 절단하여, 각각의 단면 화상을 생성한다. 그리고, 단면 화상 생성부(1810)는, 생성한 각각의 단면 화상을 주목 위치 취득부(1812) 및 표시 제어부(1816)의 각각에 송신한다.
단계S19050에 있어서, 표시 제어부(1816)는, 단계S19040에서 생성된 각각의 단면 화상을 디스플레이(172)에 늘어 놓아서 표시하는 제어를 행한다. 이때, 후단의 처리에 있어서 주목 위치와 대응위치가 취득되어 있을 경우에는, 표시 제어부(1816)는, 디스플레이(172)상에 있어서의 주목 위치와 대응위치가 일치하도록, 단계S19040에서 생성한 각각의 단면 화상의 표시 위치를 조정한다.
구체적으로는, 우선, 제2의 삼차원 화상의 단면 화상에서의 주목 위치가, 후술의 단계S19090에서 산출된 투영 위치와 같아지도록, 제2의 삼차원 화상의 단면 화상을 표시한다.
다음에, 각각의 단면 화상을 횡방향 배치로 표시할 경우에는, 제2의 삼차원 화상에서의 주목 위치와 제1의 삼차원 화상에서의 대응위치가 디스플레이(172)상에 있어서 종방향으로 일치하도록, 제1의 삼차원 화상의 단면 화상을 종방향으로 평행 이동시켜 표시한다.
한편, 각각의 단면 화상을 종방향 배치로 표시할 경우에는, 제2의 삼차원 화상에서의 주목 위치와 제1의 삼차원 화상에서의 대응위치가 디스플레이(172)상에 있어서의 횡방향으로 일치하도록, 제1의 삼차원 화상의 단면 화상을 횡방향으로 평행 이동시켜 표시한다.
또한, 디스플레이(172)상에 각각의 단면 화상의 표시 영역이 설정되는 경우에는, 각각의 표시 영역 좌표계에 있어서의 주목 점의 좌표와 대응점의 좌표가 일치하도록, 제1의 삼차원 화상의 단면 화상을 적절하게 평행 이동시켜 표시하여도 좋다.
단계S19080에 있어서, 화상처리장치(1800)는, 주목 위치를 지정할 것인가 아닌가를 판정한다. 예를 들면, 유저가 도시되지 않은 마우스를 조작하여, 제2의 삼차원 화상중의 기지점군의 어느 하나의 점에서 소정의 거리이내의 위치에 마우스 커서를 위치시킨 것인가 아닌가에 따라, 변경에 대한 판정 결과를 입력한다. 변경을 나타내는 입력을 수신한 경우에는, 단계S19090에 처리를 진행시킨다. 한편, 변경을 나타내는 입력을 수신하지 않은 경우에는, 단계S19110에 처리를 진행시킨다.
단계S19090에 있어서, 주목 위치 취득부(1812)는, 유저에 의한 조작의 입력 정보에 근거하여 제2의 삼차원 화상의 단면 화상상의 위치를 지정하고, 지정된 위치에 근거해서 주목 위치를 구하여, 대응위치 취득부(1814) 및 단면설정부(1808)의 각각에 송신한다.
본 실시예에서는, 기지점에서 단면까지의 3차원 거리가 소정의 거리이내일 경우에, 기지점에서 단면에 연장하는 수선과 단면과의 교점의 위치(투영 위치)에, 기지점의 위치를 나타내는 도형(예를 들면, 원)을 표시한다. 유저가 도형의 표시를 참조하면서 도시되지 않은 마우스의 버튼을 클릭해서 단면 화상상의 위치를 지정할 때에, 지정된 위치부터 소정의 거리(여기서는 3차원 거리)이내에 있는 제2의 삼차원 화상상의 기지점군 중의, 최근방에 있는 하나의 기지점을 주목 점으로서 선택한다. 이 선택된 주목 점의 위치는 주목 위치로서 설정된다.
또한, 상술한 소정의 거리는, 3차원 거리에 한정되지 않는다. 예를 들면, 상기 소정의 거리는, 투영 위치(기지점에서 단면에 연장하는 수선과 단면과의 교점의 위치)로부터 지정 위치까지의 거리(단면상의 2차원 거리)이여도 좋다.
단계S19100에 있어서, 대응위치 취득부(1814)는, 단계S18090에서 산출된 주목 위치에 대응하는, 제1의 삼차원 화상상의 대응위치를 취득하고, 취득한 대응위치를 단면설정부(1808)에 송신한다. 구체적으로는, 대응위치 취득부(1814)는, 제2의 삼차원 화상상의 주목 점에 대응하는, 제1의 삼차원 화상상의 대응점의 위치를, 기지점군의 정보로부터 취득하고, 취득한 위치를 대응위치로서 설정한다.
이렇게, 실시예 5에서는, 대응하는 기지점군의 하나를 주목 점으로서 지정할 때에, 주목 점의 위치(주목 위치)를 포함하는 단면 화상을 제2의 삼차원 화상으로부터 생성함과 아울러, 주목 점에 대응하는 대응점의 위치(대응위치)를 포함하는 단면 화상을 제1의 삼차원 화상으로부터 생성한다. 이에 따라, 유저는 2개의 삼차원 화상의 대응점을 포함하는 단면 화상들을 용이하게 대비할 수 있다.
또한, 대응점은, 위치 맞춤에 사용된 것에 한정되지 않는다. 그 대응점은 화상들에 설정된 어떤 대응점이여도 좋다. 대응점을 상기 서버로부터 취득하지 않고, 유저가 단면 화상상에서 지정하는 것도 가능할 수도 있다.
본 실시예에서는, 제1의 삼차원 화상과 제2의 삼차원 화상을 늘어 놓아서 표시하는 경우를 예로 설명했다. 그렇지만, 제1의 삼차원 화상과 제2의 삼차원 화상의 표시는 이것에 한정되지 않는다. 실시예 1과 마찬가지로, 제1의 변형 화상과 제2의 변형 화상을 생성하고, 늘어 놓아서 표시하는 것도 가능할 수도 있다. 각각의 단면 화상을 도 3에 도시한 바와 같이 늘어 놓아서 표시하는 경우에는, 이하의 4개의 조건을 충족시키도록, 제1의 삼차원 화상의 단면 화상, 제1의 변형 화상의 단면 화상(제1의 변형 단면 화상), 및 제2의 변형 화상의 단면 화상(제2의 변형 단면 화상)을 평행 이동시켜 표시하는 것이 바람직하다.
· 제2의 삼차원 화상에서의 주목 위치와 제2의 변형 화상에서의 대응위치가 디스플레이상에 있어서의 종방향으로 일치한다;
· 제1의 변형 화상에서의 주목 위치와 제1의 삼차원 화상에서의 대응위치가 디스플레이상에 있어서의 종방향으로 일치한다;
· 제2의 삼차원 화상에서의 주목 위치와 제1의 변형 화상에서의 대응위치가 디스플레이상에 있어서의 횡방향으로 일치한다;
· 제1의 변형 화상에서의 주목 위치와 제2의 삼차원 화상에서의 대응위치가 디스플레이상에 있어서의 횡방향으로 일치한다.
한편, 각각의 단면 화상을 도 5에 도시한 바와 같이 늘어 놓아서 표시할 경우에는, 이하의 4개의 조건을 충족시키도록, 제1의 삼차원 화상의 단면 화상, 제1의 변형 화상의 단면 화상, 및 제2의 변형 화상의 단면 화상을 평행 이동시켜서 표시하는 것이 바람직하다:
· 제2의 삼차원 화상에서의 주목 위치와 제2의 변형 화상에서의 대응위치가 디스플레이상에 있어서의 횡방향으로 일치한다;
· 제1의 변형 화상에서의 주목 위치와 제1의 삼차원 화상에서의 대응위치가 디스플레이상에 있어서의 횡방향으로 일치한다
· 제2의 삼차원 화상에서의 주목 위치와 제1의 변형 화상에서의 대응위치가 디스플레이상에 있어서의 종방향으로 일치한다.
· 제1의 변형 화상에서의 주목 위치와 제2의 삼차원 화상에서의 대응위치가 디스플레이상에 있어서의 종방향으로 일치한다
<그 밖의 실시예>
기억장치에 기록된 프로그램을 판독해 실행함으로써 전술한 실시예들의 기능을 실현하는 시스템이나 장치의 컴퓨터(또는 ＣＰＵ, ＭＰＵ등의 디바이스)에 의해서도, 본 발명을 실시할 수 있다. 또한, 기억장치에 기록된 프로그램을 판독해 실행함으로써 전술한 실시예들의 기능을 실현하는 시스템이나 장치의 컴퓨터에 의해 실행되는 단계로 이루어진 방법에 의해서도, 본 발명을 실시할 수 있다. 또한, 1이상의 기능을 실현하는 회로(예를 들면, ＡＳＩＣ)에 의해도 실시할 수 있다. 이 목적을 위하여, 상기 프로그램은, 예를 들면, 네트워크를 통해서, 또는, 상기 기억장치가 될 수 있는 여러가지 타입의 기록매체(즉, 비일시적으로 데이터를 보유하는 컴퓨터 판독 가능한 기록매체)로부터, 상기 컴퓨터에 제공된다. 따라서, 상기 컴퓨터(ＣＰＵ, ＭＰＵ등의 디바이스를 포함한다), 상기 방법, 상기 프로그램(프로그램 코드와 프로그램 제품을 포함한다), 및 상기 프로그램을 비일시적으로 보유하는 컴퓨터 판독가능한 기록매체는, 모두 본 발명의 범주에 포함된다.
상술의 각 실시예에 있어서의 정보처리장치는, 단일의 장치로서 실현되어도 좋거나, 복수의 장치를 서로 통신가능하게 조합시켜서 상술한 처리를 행하는 형태이어도 좋다. 어느 경우에나, 본 발명의 실시예에 포함된다. 공통의 서버 장치 혹은 서버 군으로, 상술한 처리를 행하여도 좋다. 정보처리장치 및 정보처리 시스템을 구성하는 복수의 부는 소정의 통신 레이트로 통신가능하면 충분하다. 정보처리장치 및 정보처리 시스템을 구성하는 복수의 부는, 동일한 시설내 혹은 동일한 나라에 존재할 필요가 없다.
본 발명의 실시예는, 전술한 실시예의 기능을 실현하는 소프트웨어 프로그램을 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터가 해당 공급된 프로그램의 코드를 판독해 그 프로그램을 실행하는 형태를 포함한다.
따라서, 상기 실시예에 따른 처리를 컴퓨터에 실행시키기 위해서, 해당 컴퓨터에 인스톨된 프로그램 코드도 본 발명의 실시예의 하나다. 또한, 컴퓨터가 판독한 프로그램에 포함되는 지시에 근거하여, 컴퓨터에서 가동하고 있는 ＯＳ등이, 실제의 처리의 일부 또는 전부를 행하여, 전술한 실시예의 기능이 실현될 수 있다.
상술한 실시예를 적절하게 조합한 형태도, 본 발명의 실시예에 포함된다.
또한, 본 발명의 실시예들은, 기억매체(예를 들면, 비일시적 컴퓨터 판독 가능한 기억매체)에 레코딩된 컴퓨터 실행가능한 명령어를 판독하고 실행하여 본 발명의 상술한 실시예(들)의 하나 이상의 기능을 수행하는 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하여서 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해진 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 중앙처리장치(CPU), 마이크로처리장치(MPU) 또는 기타 회로소자 중 하나 이상을 구비하여도 되고, 별개의 컴퓨터나 별개의 컴퓨터 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (15)

  1. 제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득부;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득부;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성부;
    상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득부;
    상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득부; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어부를 구비하고,
    상기 단면 화상 생성부는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 표시 제어부는, 상기 제1의 단면 화상에 있어서의 상기 주목 위치와 상기 제2의 단면 화상에 있어서의 상기 대응위치가 상기 표시부의 화면에서 종방향 또는 횡방향으로 일치하도록, 상기 제1의 단면 화상과 상기 제2의 단면 화상을 표시하는, 화상처리장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 단면 화상 생성부는, 상기 제2의 단면 화상으로서, 직교단면 화상 및, 상기 제1의 단면 화상에 대응하는 임의단면에 있어서의 임의단면 화상을 생성하고,
    상기 표시 제어부는, 상기 직교단면 화상과 상기 임의단면 화상을 동시에 표시하거나, 상기 직교단면 화상과 상기 임의단면 화상간에 전환하는, 화상처리장치.
  4. 제 1 항에 있어서,
    상기 단면 화상 생성부는, 상기 제2의 단면 화상으로서 직교단면 화상을 생성함과 아울러, 제3의 단면 화상으로서, 상기 주목 위치를 포함해 상기 직교단면 화상에 대응하는 임의단면에 있어서의 임의단면 화상을 상기 제1의 삼차원 화상으로부터 생성하고,
    상기 표시 제어부는, 상기 제3의 단면 화상과 상기 제2의 단면 화상을 표시하는, 화상처리장치.
  5. 제 3 항에 있어서,
    상기 임의단면 화상은, 상기 임의단면에 따른 곡단면의 화상 또는, 상기 임의단면을 평면에서 근사한 단면의 화상인, 화상처리장치.
  6. 제 1 항에 있어서,
    유저로부터의 입력을 수신하는 조작부를 더 구비하는, 화상처리장치.
  7. 제 6 항에 있어서,
    상기 조작부는, 상기 주목 위치의 입력을 수신하는, 화상처리장치.
  8. 제 6 항에 있어서,
    상기 표시 제어부는, 상기 조작부로부터 입력된 정보에 근거하여, 상기 표시부에 동시에 표시된 화상의 매수 및 조합이 다른 복수의 표시 모드를 전환하는, 화상처리장치.
  9. 제 1 항에 있어서,
    상기 변형 정보에 근거하여 상기 제1의 삼차원 화상을 상기 제2의 삼차원 화상에 맞춰서 변형시켜서 제1의 변형 화상을 생성하고, 상기 변형 정보에 근거하여 상기 제2의 삼차원 화상을 상기 제1의 삼차원 화상에 맞춰서 변형시켜서 제2의 변형 화상을 생성하는 변형 화상 생성부를 더 구비하고,
    상기 표시 제어부는, 상기 제1의 삼차원 화상, 상기 제2의 삼차원 화상, 상기 제1의 변형 화상 및 상기 제2의 변형 화상의 상기 표시부에의 표시를 제어하는, 화상처리장치.
  10. 제 1 항에 있어서,
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상은, 적어도 촬상 모달리티 또는 촬상 시기에서 다른, 화상처리장치.
  11. 제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득부;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득부;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성부;
    상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득부;
    상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득부; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어부를 구비하고,
    상기 단면 화상 생성부는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
    상기 표시 제어부는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 화상처리장치.
  12. 제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득단계;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
    상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득단계;
    상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어 단계를 포함하고,
    상기 단면 화상 생성단계에서는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 화상처리방법.
  13. 제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득단계;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
    상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득단계;
    상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어단계를 포함하고,
    상기 단면 화상 생성단계에서는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
    상기 표시 제어단계에서는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 화상처리방법.
  14. 컴퓨터에 화상처리방법을 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 매체로서, 상기 화상처리방법은,
    제1의 삼차원 화상과, 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상의 사이의 변형을 나타내는 변형 정보를 취득하는 변형 정보 취득단계;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
    상기 제1의 단면 화상에 있어서의 주목 위치를 취득하는 주목 위치 취득단계;
    상기 변형 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어 단계를 포함하고,
    상기 단면 화상 생성단계에서는, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하는, 컴퓨터 판독 가능한 매체.
  15. 컴퓨터에 화상처리방법을 실행시키는 프로그램을 기억하는 컴퓨터 판독 가능한 매체로서, 상기 화상처리방법은,
    제1의 삼차원 화상과 상기 제1의 삼차원 화상과는 다른 제2의 삼차원 화상을 취득하는 화상 취득단계;
    상기 제1의 삼차원 화상과 상기 제2의 삼차원 화상에서 서로 대응하는 각각의 점군에 관한 정보를 취득하는 대응위치 취득단계;
    상기 제1의 삼차원 화상으로부터 제1의 단면 화상을 생성하고, 상기 제2의 삼차원 화상으로부터 제2의 단면 화상을 생성하는 단면 화상 생성단계;
    상기 제1의 삼차원 화상에 있어서의 상기 점군의 하나를 주목 위치로서 취득하는 주목 위치 취득단계;
    상기 점군에 관한 정보에 근거하여, 상기 제2의 삼차원 화상에 있어서 상기 주목 위치에 대응하는 대응위치를 취득하는 대응위치 취득단계; 및
    상기 제1의 단면 화상 및 상기 제2의 단면 화상의 표시부에의 표시를 제어하는 표시 제어단계를 포함하고,
    상기 단면 화상 생성단계에서는, 상기 제1의 단면 화상으로서 상기 주목 위치를 포함하는 단면 화상을 생성하고, 상기 제2의 단면 화상으로서 상기 대응위치를 포함하는 단면 화상을 생성하고,
    상기 표시 제어단계에서는, 상기 표시부의 화면에, 조정 후의 상기 대응위치가 조정 전의 상기 주목 위치와 종방향 또는 횡방향으로 일치하도록 상기 제2의 단면 화상의 위치를 조정하여, 상기 제1의 단면 화상 및 상기 제2의 단면 화상을 표시하는, 컴퓨터 판독 가능한 매체.
KR1020170090124A 2016-07-19 2017-07-17 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체 KR20180009707A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-141273 2016-07-19
JP2016141273A JP6711715B2 (ja) 2016-07-19 2016-07-19 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
KR20180009707A true KR20180009707A (ko) 2018-01-29

Family

ID=59676937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170090124A KR20180009707A (ko) 2016-07-19 2017-07-17 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체

Country Status (5)

Country Link
US (2) US10366544B2 (ko)
EP (1) EP3273409A1 (ko)
JP (1) JP6711715B2 (ko)
KR (1) KR20180009707A (ko)
CN (1) CN107633531A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
JP6840481B2 (ja) 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6934734B2 (ja) 2017-03-17 2021-09-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
WO2019065466A1 (ja) 2017-09-29 2019-04-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7022554B2 (ja) 2017-10-03 2022-02-18 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JPWO2019229913A1 (ja) * 2018-05-30 2021-06-17 株式会社ニコン 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
EP4097637A4 (en) * 2020-01-29 2024-05-22 Vertex Software, Inc. VISUALIZATION AND EVALUATION OF 3D CROSS SECTIONS

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP4537104B2 (ja) 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4667111B2 (ja) 2005-04-21 2011-04-06 キヤノン株式会社 画像処理装置、画像処理方法
JP4914039B2 (ja) 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
JP4745133B2 (ja) * 2006-05-30 2011-08-10 株式会社東芝 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US8051386B2 (en) * 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
JP5586917B2 (ja) * 2009-10-27 2014-09-10 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5538862B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2011125568A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、プログラム及び画像処理システム
EP2593006B1 (en) * 2010-07-16 2013-12-04 Csem Sa Method and apparatus for the non-invasive measurement of pulse transit times (ptt)
JP5661382B2 (ja) 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
JP5588317B2 (ja) * 2010-11-22 2014-09-10 株式会社東芝 医用画像診断装置、画像情報処理装置及び制御プログラム
JP5792519B2 (ja) * 2011-06-03 2015-10-14 株式会社クボタ 粒状体選別装置
JP5822554B2 (ja) 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
CN103635936B (zh) 2011-06-29 2018-02-13 皇家飞利浦有限公司 显示多个配准图像
WO2013047882A1 (en) 2011-09-28 2013-04-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP2013116138A (ja) * 2011-12-01 2013-06-13 Sony Corp 画像処理装置及び方法
CN104427940B (zh) * 2012-08-02 2017-03-08 株式会社日立制作所 三维图像构成装置及三维图像构成方法
US9460510B2 (en) 2013-03-29 2016-10-04 Siemens Medical Solutions Usa, Inc. Synchronized navigation of medical images
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
JP6301133B2 (ja) * 2014-01-14 2018-03-28 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置
JP6289142B2 (ja) * 2014-02-07 2018-03-07 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
KR102220226B1 (ko) * 2014-02-12 2021-02-25 삼성전자주식회사 컴퓨터 단층 촬영 장치 및 그에 따른 ct 영상 복원 방법
CN106664366B (zh) * 2014-07-16 2019-07-16 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6393106B2 (ja) 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6433190B2 (ja) * 2014-08-11 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
EP2989988B1 (en) * 2014-08-29 2017-10-04 Samsung Medison Co., Ltd. Ultrasound image display apparatus and method of displaying ultrasound image
US20180263706A1 (en) * 2014-10-20 2018-09-20 Body Vision Medical Ltd. Surgical devices and methods of use thereof
KR102389347B1 (ko) * 2015-02-05 2022-04-22 삼성메디슨 주식회사 초음파 진단장치 및 그에 따른 초음파 진단 장치의 동작 방법
US9646411B2 (en) * 2015-04-02 2017-05-09 Hedronx Inc. Virtual three-dimensional model generation based on virtual hexahedron models
JP6402241B2 (ja) * 2015-04-03 2018-10-10 富士フイルム株式会社 音響波画像生成装置および方法
US10299752B2 (en) * 2015-04-27 2019-05-28 Toshiba Medical Systems Corporation Medical image processing apparatus, X-ray CT apparatus, and image processing method
JP6971544B2 (ja) 2015-08-06 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7036742B2 (ja) * 2016-05-16 2022-03-15 キャスワークス リミテッド 血管評価システム

Also Published As

Publication number Publication date
US10796498B2 (en) 2020-10-06
JP2018011637A (ja) 2018-01-25
US10366544B2 (en) 2019-07-30
EP3273409A1 (en) 2018-01-24
JP6711715B2 (ja) 2020-06-17
US20190311549A1 (en) 2019-10-10
CN107633531A (zh) 2018-01-26
US20180025548A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
KR20180009707A (ko) 화상처리장치, 화상처리방법 및 컴퓨터 판독 가능한 매체
US10360730B2 (en) Augmented reality providing system and method, information processing device, and program
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
JP2023175709A (ja) 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション
CN111724904A (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
US9449247B2 (en) Contour correction device, method, and program
JP2016522725A (ja) 超音波画像の３ｄ取得のためのシステムおよび方法
CN107633478B (zh) 图像处理装置、图像处理方法以及计算机可读介质
JP2009291276A (ja) 投影画像作成装置、方法およびプログラム
JP2023139022A (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US11423554B2 (en) Registering a two-dimensional image with a three-dimensional image
JP2015173856A (ja) 画像処理装置、およびプログラム
KR101929656B1 (ko) 대상물의 다감각연계 표현을 위한 방법 및 표현 시스템
CN105307569B (zh) 用于显示目标的第一图像和第二图像的方法和设备
JP2005169118A (ja) 断層画像データのセグメント化方法および画像処理システム
JP2009247535A (ja) 医用画像処理システム
US20130083979A1 (en) Method and device for displaying changes in medical image data
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
WO2020173054A1 (zh) Vrds 4d医学影像处理方法及产品
KR101727670B1 (ko) 피드백이 가능한 사용자 입력 기반의 의료영상 분할 장치 및 방법
JP6306532B2 (ja) ３次元データ処理システム、方法、及びプログラム並びに３次元モデル、並びに３次元モデル造形装置
JP2013045284A (ja) 画像処理装置、画像処理方法、およびプログラム
US10074198B2 (en) Methods and apparatuses for image processing and display
JP2014000332A5 (ko)
JPWO2020148195A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application