WO2022230518A1 - 情報処理システム、情報処理方法および記録媒体 - Google Patents

情報処理システム、情報処理方法および記録媒体 Download PDF

Info

Publication number
WO2022230518A1
WO2022230518A1 PCT/JP2022/014799 JP2022014799W WO2022230518A1 WO 2022230518 A1 WO2022230518 A1 WO 2022230518A1 JP 2022014799 W JP2022014799 W JP 2022014799W WO 2022230518 A1 WO2022230518 A1 WO 2022230518A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information processing
medical image
processing system
initial positioning
Prior art date
Application number
PCT/JP2022/014799
Other languages
English (en)
French (fr)
Inventor
健仁 道家
Original Assignee
株式会社Kompath
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Kompath filed Critical 株式会社Kompath
Publication of WO2022230518A1 publication Critical patent/WO2022230518A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Definitions

  • the present invention relates to an information processing system, an information processing method, and a recording medium.
  • Patent Document 1 a technique for improving operability in so-called medical image registration, which performs alignment processing between multiple pieces of medical image data.
  • the present invention allows the user to select an appropriate initial positioning method from a plurality of initial positioning methods and precisely align the initial positions with a simple operation so that the positioning of medical image data can be performed with higher accuracy.
  • an information processing system configured to perform the following steps.
  • the reading step a plurality of pieces of medical image data captured by at least one modality are read.
  • control is performed to display an operation screen for performing first alignment of a plurality of pieces of medical image data.
  • the operation screen is configured so that the user can grasp a plurality of initial positioning functions at a glance.
  • the user can select an appropriate method from among a plurality of manual initial positioning methods and accurately align the initial positions with a simple operation so that registration between medical image data can be performed with higher accuracy.
  • FIG. 2 is a block diagram showing the hardware configuration of the information processing device 1;
  • FIG. 3 is a block diagram showing functions realized by the control unit 13 and the like in the information processing apparatus 1 according to the first embodiment;
  • FIG. This screen is displayed on the display unit 14 of the information processing device 1 and is an example of the operation screen 2 . It is an example of a bird's-eye view BV included in the operation screen 2.
  • FIG. It is an example of a menu LM included in the operation screen 2 and allowing selection of an initial positioning function FL.
  • It is an example of an area TA in which two pieces of medical image data are superimposed and displayed as a three-dimensional image.
  • 4 is an activity diagram showing an example of the flow of information processing executed by the information processing system;
  • FIG. 4 is an activity diagram showing an example of the flow of information processing executed by the information processing system;
  • FIG. 4 is an activity diagram
  • the program for realizing the software appearing in this embodiment may be provided as a non-transitory computer-readable medium (Non-Transitory Computer-Readable Medium), or may be downloaded from an external server. It may be provided as possible, or may be provided so that the program is activated on an external computer and the function is realized on the client terminal (so-called cloud computing).
  • the term “unit” may include, for example, a combination of hardware resources implemented by circuits in a broad sense and software information processing that can be specifically realized by these hardware resources.
  • various information is handled in the present embodiment, and these information include, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. Expressed by high and low, or quantum superposition (so-called quantum bits), communication and operations can be performed on circuits in a broad sense.
  • a circuit in a broad sense is a circuit realized by at least appropriately combining circuits, circuits, processors, memories, and the like.
  • Application Specific Integrated Circuits ASICs
  • programmable logic devices e.g., Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and field It includes a programmable gate array (Field Programmable Gate Array: FPGA)).
  • Hardware Configuration This section describes the hardware configuration of the first embodiment.
  • an information handling system consists of one or more devices or components. Therefore, for example, even the single information processing apparatus 1 is an example of an information processing system.
  • the hardware configuration of the information processing apparatus 1, which is an example of an information processing system, will be described below.
  • FIG. 1 is a block diagram showing the hardware configuration of the information processing device 1. As shown in FIG.
  • the information processing apparatus 1 has a communication section 11, a storage section 12, a control section 13, a display section 14, and an input section 15, and these constituent elements communicate with the communication bus 10 inside the information processing apparatus 1. are electrically connected via Each component will be further described.
  • the communication unit 11 preferably uses wired communication means such as USB, IEEE1394, Thunderbolt (registered trademark), wired LAN network communication, etc., but wireless LAN network communication, mobile communication such as 3G/LTE/5G, BLUETOOTH (registered trademark), etc. Communication and the like may be included as desired. That is, it is more preferable to implement as a set of these communication means. That is, the information processing device 1 may communicate various information from the outside via the communication unit 11 and the network.
  • wired communication means such as USB, IEEE1394, Thunderbolt (registered trademark), wired LAN network communication, etc.
  • wireless LAN network communication mobile communication such as 3G/LTE/5G, BLUETOOTH (registered trademark), etc. Communication and the like may be included as desired. That is, it is more preferable to implement as a set of these communication means. That is, the information processing device 1 may communicate various information from the outside via the communication unit 11 and the network.
  • the storage unit 12 stores various information defined by the above description. For example, it can be used as a storage device such as a solid state drive (SSD) for storing various programs related to the information processing apparatus 1 executed by the control unit 13, or as a temporary storage device related to program calculation. It can be implemented as a memory such as a random access memory (RAM) that stores information (arguments, arrays, etc.) required for .
  • the storage unit 12 stores various programs, variables, etc. related to the information processing apparatus 1 executed by the control unit 13 .
  • the control unit 13 processes and controls overall operations related to the information processing device 1 .
  • the control unit 13 is, for example, a central processing unit (CPU) (not shown).
  • the control unit 13 implements various functions related to the information processing device 1 by reading out a predetermined program stored in the storage unit 12 . That is, information processing by software stored in the storage unit 12 can be specifically realized by the control unit 13 which is an example of hardware, and can be executed as each functional unit included in the control unit 13 . These are further detailed in the next section. Note that the control unit 13 is not limited to a single unit, and a plurality of control units 13 may be provided for each function. A combination thereof may also be used.
  • the display unit 14 may be included in the housing of the information processing device 1 or may be externally attached.
  • the display unit 14 displays a screen of a graphical user interface (GUI) that can be operated by the user.
  • GUI graphical user interface
  • This can be, for example, a display device such as a CRT display, a liquid crystal display, an organic EL display and a plasma display.
  • the input unit 15 may be included in the housing of the information processing device 1 or may be externally attached.
  • the input unit 15 may be integrated with the display unit 14 and implemented as a touch panel. With a touch panel, the user can input a tap operation, a swipe operation, or the like.
  • a switch button, a mouse, a QWERTY keyboard, or the like may be employed instead of the touch panel. That is, the input unit 15 receives an operation input made by the user. The input is transferred as a command signal to the control unit 13 via the communication bus 10, and the control unit 13 can execute predetermined control and calculation as necessary.
  • FIG. 2 is a block diagram showing functions realized by the control unit 13 and the like in the information processing apparatus 1 according to the first embodiment.
  • the information processing device 1 includes a reading unit 131 , a reception unit 132 , and a display control unit 133 .
  • the reading unit 131 is configured to read various information received from the outside via the communication unit 11 or stored in the storage unit 12 in advance.
  • the reading unit 131 is configured to read medical image data captured by a modality. Details will be described later.
  • the reception unit 132 is configured to receive various information.
  • the reception unit 132 is configured to receive an operation performed by the user on the operation screen 2 . Details will be described later.
  • the display control unit 133 is configured to control various display information.
  • the display information may be information itself such as a screen, an image, an icon, a message, etc., which is generated in a form that can be visually recognized by the user. , rendering information for displaying a message or the like.
  • the display control unit 133 is configured to control display of the operation screen 2 . Details will be described later.
  • FIG. 3 is a screen displayed on the display unit 14 of the information processing apparatus 1 and is an example of the operation screen 2.
  • FIG. 4 is an example of a bird's-eye view BV included in the operation screen 2.
  • FIG. 5 is an example of a menu LM included in the operation screen 2 and allowing selection of the initial positioning function FL.
  • FIG. 6 is an example of an area TA in which two pieces of medical image data are superimposed and displayed as a three-dimensional image.
  • FIG. 7 shows an example of an area TA in which two pieces of medical image data are superimposed and displayed as a three-dimensional image.
  • FIG. 8 is an activity diagram showing an example of the flow of information processing executed by the information processing system.
  • the user obtains a plurality of pieces of medical image data by imaging a target region of the human body with at least one modality for disease diagnosis or examination, anatomical research, or the like.
  • the subject imaged by the modality is not limited to the human body, and includes any animal that can be the subject of disease diagnosis or examination, anatomical study, or the like.
  • a portion corresponding to the target area included in the medical image data is called an "object".
  • modalities include, for example, magnetic resonance imaging (MRI), computed tomography (CT), computed radiography (CR), digital X-ray imaging (DR), and angiography X-ray imaging (XA). , ultrasonic diagnostic equipment (US), endoscope equipment (ES), and the like.
  • MRI magnetic resonance imaging
  • CT computed tomography
  • CR computed radiography
  • DR digital X-ray imaging
  • XA angiography X-ray imaging
  • US ultrasonic diagnostic equipment
  • ES endoscope equipment
  • the reading unit 131 of the information processing device 1 reads a plurality of pieces of medical image data captured by at least one modality.
  • the plurality of pieces of medical image data may be received from the modality via the communication unit 11, or may be stored in advance in the storage unit 12 (activity A001).
  • the display control unit 133 controls to display the operation screen 2 (see FIG. 3) for executing the first alignment of the plurality of medical image data.
  • the operation screen 2 preferably includes a bird's-eye view BV showing the relationship between multiple medical image data. According to this aspect, even when ten or more types of medical image data are used in neurosurgery or the like, the user can easily grasp the relationships among all the medical image data.
  • the relationship between the reference image data IR used as a reference for alignment and the target image data IT used for alignment is represented by an arrow AH.
  • the medical image data at the tip of the arrow AH is the reference image data IR
  • the medical image data at the base of the arrow AH is the target image data IT.
  • the user selects two pieces of medical image data to be aligned from among a plurality of pieces of medical image data in the bird's-eye view BV of FIG. Perform an operation (activity A002 and activity A003).
  • the reference image data IR selected by the user is medical image data of "TOF MRA".
  • TOF MRA indicates image data captured by MR angiography (MRA) by the time-of-flight (TOF) method.
  • the target image data IT selected by the user is the medical image data of "CE Heavily T2”.
  • CE Heavyly T2 indicates post-contrast heavily T2-weighted image data captured by contrast-enhanced (CE) MRI.
  • the medical image data are indicated by abbreviations representing imaging methods using abbreviations generally used in the relevant technical field.
  • the reference image data IR as "TOF MRA” and the target image data IT as "CE Heavy T2" are connected by an arrow AH. That is, as described above, the arrow AH expresses the relationship between the reference image data IR and the target image data IT. Medical image data connected by two or more arrows AH cannot be directly aligned.
  • the medical image data "3D RA” is indirectly aligned with "TOF MRA” by performing alignment with "CT” aligned with "TOF MRA". will be effectively achieved.
  • the area surrounded by dotted lines includes a group of medical image data captured by CT, and the area not surrounded by dotted lines includes medical image data captured by MRI. groups are included. In this way, medical image data captured by the same modality are arranged relatively close to each other and displayed as a group.
  • the reception unit 132 receives this selection operation by the user. After that, the display control unit 133 controls the display of the operation screen 2 shown in FIG. As a result, in the area SA of the operation screen 2, two pieces of medical image data selected by the user from among the plurality of pieces of medical image data, specifically the reference image data IR and the target image data IT are displayed as two-dimensional images, In the area TA, a three-dimensional image obtained by superimposing the two pieces of medical image data is displayed.
  • the reference object OR included in the reference image data IR and the target object OT included in the target image data IT are expressed in different colors so that the user can distinguish them. ing. According to this aspect, the user can perform an operation for performing alignment while checking both the two-dimensional image and the three-dimensional image at the same time, thereby improving usability. can.
  • the user selects one of the plurality of initial positioning functions FL in the menu LM after confirming the degree of difficulty of alignment with the bird's-eye view BV on the operation screen 2 of FIG. That is, the operation screen 2 is configured so that the user can grasp a plurality of initial positioning functions FL at a glance (activity A004).
  • the first alignment by the initial alignment function FL is to align the initial positions as a pre-stage of registration by iteration calculation, and is performed by aligning the positions of the objects O included in each medical image data.
  • the plurality of initial positioning functions include an initial positioning function FL1 for aligning the center position of the object O, an initial positioning function FL2 by translation and rotation of the object O about the local axis L, and a plurality of landmarks P in the object O. and a specified initial positioning function FL3.
  • initial positioning functions FL have differences in the accuracy and operability of initial positioning.
  • the initial positioning function FL1 for aligning the center position of the object O is the simplest initial positioning function FL
  • the initial positioning function FL3 by specifying a plurality of landmarks P in the object O is the most advanced initial positioning function FL3.
  • Positioning function FL Therefore, according to this aspect, the user can select an appropriate initial positioning method according to the degree of difficulty of alignment.
  • the reception unit 132 receives this selection operation by the user. After that, the first alignment is performed by the control unit 13, and the display control unit 133 controls the display of the operation screen 2 in FIG. As a result, in the area TA of the operation screen 2 in FIG. 3, the two pieces of medical image data are aligned and displayed as a three-dimensional image by the initial positioning function FL selected by the user from among the plurality of initial positioning functions FL. be. According to this aspect, the result of the first alignment by the initial positioning function FL is immediately displayed as a three-dimensional image, so the user can easily judge whether or not the first alignment was successful. (Activity A005).
  • the user sees the three-dimensional image displayed in the area TA of the operation screen 2 in FIG. determine if the is a good fit. If the object O is clearly misaligned from the user's point of view, the user can reselect another initial positioning function FL to cause the first alignment to be performed again.
  • the second alignment of the plurality of medical image data ie, the reference image data IR and the target image data IT, is performed on the operation screen 2 of FIG.
  • Select the auto-align function AL to perform
  • the operation screen 2 be configured so that the user can grasp the automatic alignment function AL together with a plurality of initial positioning functions FL at a glance. According to this aspect, it is possible to perform the first alignment and the second alignment on the same operation screen 2 without screen transition, thereby improving the user experience. can.
  • the reception unit 132 receives this selection operation by the user. After that, the second alignment is executed by the control unit 13 .
  • the automatic alignment function AL iterative calculation is further executed for a plurality of pieces of medical image data on which the first alignment has been performed, thereby performing a second alignment of the plurality of pieces of medical image data. Run.
  • the user's operation is simple. Therefore, registration between medical image data with very high accuracy becomes possible (activity A006).
  • the information processing method of the present embodiment includes a reading step and a display control step.
  • a reading step a plurality of pieces of medical image data captured by at least one modality are read.
  • control is performed to display an operation screen for performing first alignment of a plurality of pieces of medical image data.
  • the operation screen is configured so that the user can grasp a plurality of initial positioning functions with an overview.
  • the user can select an appropriate initial positioning method from among a plurality of initial positioning methods and accurately align the initial positions with a simple operation so that the positioning of the medical image data can be performed with higher accuracy. can be done.
  • the initial positioning function FL1 for aligning the center position of the object O is the simplest initial positioning function FL as described above, for example, as shown in the menu LM of FIG.
  • the first alignment is performed at .
  • the user sees the three-dimensional image displayed in the area TA of the operation screen 2 in FIG. If it is determined that the positions are not sufficiently aligned, the first alignment of the target image data IT is executed by pressing the button B12 as shown in the menu LM of FIG. It is preferable to be able to return to the previous state.
  • the initial positioning function FL2 by translation and rotation of the object O about the local axis L may be a function provided in a 3D manipulation tool commonly used in the art so that users skilled in the art can easily manipulate it. .
  • a specific example of the initial positioning function FL2 will now be described with reference to FIG.
  • the reference object OR included in the reference image data IR and the target object OT included in the target image data IT are superimposed and displayed.
  • the x-axis LX, y-axis LY and z-axis LZ as the local axes L of the target object OT, the circles CX, CY and circles CZ corresponding to the respective local axes L, and the target object OT are A surrounding bounding box BT along the local axis L is displayed.
  • a bounding box BR along the local axis L is displayed that encloses the reference object OR.
  • the user can translate the target object OT about each local axis L by dragging the arrow of the x-axis LX, the y-axis LY, or the z-axis LZ in the area TA shown in FIG. Also, the user can rotate the target object OT about each local axis L by dragging the circle CX, the circle CY, or the circle CZ. Furthermore, the user can specify the range of the target object OT with the bounding box BT. Similarly, the user can also delimit the reference object OR with a bounding box BR.
  • the target image data IT can be returned to the state before the first positioning by the initial positioning function FL2. is preferred.
  • An initial positioning function FL3 by specifying a plurality of landmarks P in an object O sets a plurality of characteristic points common to image data to be aligned as landmarks P, and performs alignment between point groups. is a function to perform the first alignment by .
  • a specific example of the initial positioning function FL3 will now be described with reference to FIG. 5 showing the menu LM and FIG. do.
  • the user checks the check box CT in the menu LM of FIG. 5 so that the target landmark PT0 can be specified in the target object OT included in the target image data IT. Subsequently, the user selects one characteristic point in the target object OT in the area TA of FIG. 7, and designates the point as the target landmark PT0 by performing a selection operation.
  • the user checks the check box CR in the menu LM of FIG. 5 so as to specify the reference landmark PR0 in the reference object OR included in the reference image data IR. Subsequently, in the area TA of FIG. 7, a corresponding point in the reference object OR having the same feature as the target landmark PT0 is selected, and the point is designated as the reference landmark PR0 by performing a selection operation. do.
  • the user specifies target landmarks PT1 and PT2, and corresponding reference landmarks PR1 and PR2, preferably three or more sets of landmarks P are specified.
  • a preferable set of landmarks P is a set of three or more feature points spaced apart from each other as much as possible around a target area that the user wants to confirm, such as a tumor portion.
  • the sets of landmarks P are expressed by connecting their corresponding relationships with lines in the area TA of FIG. Specifically, in the area TA of FIG. 7, the target landmark PT0 and the reference landmark PR0 are connected by a straight line, the target landmark PT1 and the reference landmark PR1 are connected by a straight line, and the target land mark PT0 and the reference landmark PR1 are connected by a straight line. A straight line connects the mark PT2 and the reference landmark PR2.
  • a plurality of landmarks P can be specified not only on the area TA included in the operation screen 2 in FIG. It is also possible on the area SA where the image data is displayed as a two-dimensional image. That is, designation of multiple landmarks P is possible in both a two-dimensional image and a three-dimensional image. According to this aspect, the designation operation of the landmark LP is performed on the image on which the feature point suitable for the landmark P can be easily grasped by the user, either on the two-dimensional image or on the three-dimensional image. can be used, and usability can be improved.
  • the user can execute the first alignment by pressing the button B31 in the menu LM of FIG.
  • the user After executing the first alignment by the initial positioning function FL3, the user preferably selects the automatic alignment function AL on the operation screen 2 of FIG. 3 to execute the second alignment.
  • the initial positioning function FL3 executes the point correspondence registration as the first registration based on the manual designation of the landmark P, and then the automatic registration function AL performs the second registration by iterative calculation. Preferably, it is performed as an alignment. According to this aspect, even in the case of a combination of medical image data whose positions are difficult to align, by aligning the initial positions as much as possible through manual operations based on human visual judgment, it is possible to prevent non-convergence in the iteration calculation. In addition to avoiding it, iterative calculations allow correction of the initial alignment, and strong alignment can be achieved.
  • a combination of medical image data whose positions are difficult to align for example, CT image data and MRI image data can be aligned with high accuracy. Structures and functions in difficult tissues can be discriminated in more detail from the other image, such as an MRI image.
  • An aspect of the present embodiment may be a non-transitory computer-readable recording medium.
  • This recording medium stores a program that causes a computer to execute each step of the information processing system.
  • the optimum initial positioning function FL may be presented to the user from among the plurality of initial positioning functions FL.
  • the information processing system may include components other than the information processing device 1.
  • an information processing system including the information processing device 1, an input device (not shown), and a display device (not shown) may be implemented.
  • connection methods are not particularly limited, and services performed via the Internet may be provided.
  • the medical image data includes an object
  • the plurality of initial positioning functions include an initial positioning function that aligns the center position of the object and an initial positioning function that translates and rotates the object about a local axis. and an initial positioning function by specifying a plurality of landmarks in said object.
  • the operation screen includes an area for displaying two pieces of medical image data selected by the user from among the plurality of pieces of medical image data as two-dimensional images, and a three-dimensional image by superimposing the two pieces of medical image data. area to be displayed as an original image.
  • the two pieces of medical image data are aligned and displayed by an initial positioning function selected by a user from among the plurality of initial positioning functions.
  • designation of the plurality of landmarks is possible in both the two-dimensional image and the three-dimensional image.
  • the operation screen is configured so that the user can grasp the automatic alignment function together with the plurality of initial positioning functions with a glance. performing a second registration of the medical image data of the.
  • the automatic alignment function further executes iteration calculations on the plurality of medical image data for which the first alignment has been performed, thereby determining the alignment of the plurality of medical image data. Performing said second registration.
  • the operation screen includes a bird's-eye view showing relationships among the plurality of pieces of medical image data.
  • a relationship between reference image data as a reference for alignment and target image data for the alignment is represented by arrows.
  • a method of information processing comprising steps of the information processing system.
  • a non-temporary computer-readable recording medium storing a program that causes a computer to execute each step of the information processing system. Of course, this is not the only case.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる技術を提供すること。 【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている。

Description

情報処理システム、情報処理方法および記録媒体
　本発明は、情報処理システム、情報処理方法および記録媒体に関する。
　近年、複数の医用画像データ間の位置合わせ処理を行う、いわゆる医用画像レジストレーションにおいて、操作性を向上させるための技術が開示されている（特許文献１）。
特開２０１１－１４２９７４号公報
　しかしながら、上記の従来技術では、複数の医用画像データ間のユーザの手動による位置合わせが可能ではあるものの、位置合わせの難易度によって適当な手動位置合わせ方法が異なることが考慮されていなかった。
　本発明では上記事情を鑑み、より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる技術を提供することとした。
　本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている。
　本開示によれば、より精度高く医用画像データ間の位置合わせができるように、複数の手動初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることを可能とする技術を提供することができる。
情報処理装置１のハードウェア構成を示すブロック図である。 第１の実施形態に係る情報処理装置１における制御部１３等によって実現される機能を示すブロック図である。 情報処理装置１の表示部１４に表示される画面であって、操作画面２の一例である。 操作画面２に含まれる俯瞰図ＢＶの一例である。 操作画面２に含まれる、初期位置決め機能ＦＬの選択を可能にするメニューＬＭの一例である。 ２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。 ２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。 情報処理システムによって実行される情報処理の流れの一例を示すアクティビティ図である。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
　ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ　Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ　Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
１．ハードウェア構成
　本節では、第１の実施形態のハードウェア構成について説明する。本実施形態において、情報処理システムとは、１つまたはそれ以上の装置または構成要素からなるものである。したがって、例えば情報処理装置１単体であっても情報処理システムの一例となる。以下、情報処理システムの一例である情報処理装置１のハードウェア構成について説明する。
　図１は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、通信部１１と、記憶部１２と、制御部１３と、表示部１４と、入力部１５とを有し、これらの構成要素が情報処理装置１の内部において通信バス１０を介して電気的に接続されている。各構成要素についてさらに説明する。
　通信部１１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、情報処理装置１は、通信部１１およびネットワークを介して、外部から種々の情報を通信してもよい。
　記憶部１２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部１３によって実行される情報処理装置１に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部１２は、制御部１３によって実行される情報処理装置１に係る種々のプログラムや変数等を記憶している。
　制御部１３は、情報処理装置１に関連する全体動作の処理・制御を行う。制御部１３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：ＣＰＵ）である。制御部１３は、記憶部１２に記憶された所定のプログラムを読み出すことによって、情報処理装置１に係る種々の機能を実現する。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１３によって具体的に実現されることで、制御部１３に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部１３は単一であることに限定されず、機能ごとに複数の制御部１３を有するように実施してもよい。またそれらの組み合わせであってもよい。
　表示部１４は、例えば、情報処理装置１の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部１４は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスであり得る。
　入力部１５は、情報処理装置１の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部１５は、表示部１４と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部１５がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス１０を介して制御部１３に転送され、制御部１３が必要に応じて所定の制御や演算を実行しうる。
２．機能構成
　本節では、本実施形態の機能構成について説明する。前述の通り、記憶部１２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部１３によって具体的に実現されることで、制御部１３に含まれる各機能部が実行されうる。
　図２は、第１の実施形態に係る情報処理装置１における制御部１３等によって実現される機能を示すブロック図である。具体的には、情報処理装置１は、読出部１３１と、受付部１３２と、表示制御部１３３とを備える。
　読出部１３１は、通信部１１を介して外部から受け付けた、または予め記憶部１２に記憶された種々の情報を読み出すように構成される。例えば、読出部１３１は、モダリティによって撮像された医用画像データを読み出すように構成される。詳細については、後述する。
　受付部１３２は、種々の情報を受け付けるように構成される。例えば、受付部１３２は、ユーザが操作画面２上で行った操作を受け付けるように構成される。詳細については、後述する。
　表示制御部１３３は、種々の表示情報を制御するように構成される。ここで、表示情報とは、画面、画像、アイコン、メッセージ等といった、ユーザが視認可能な態様で生成された情報そのものでもよいし、例えば、情報処理装置１の表示部１４に画面、画像、アイコン、メッセージ等を表示させるためのレンダリング情報であってもよい。例えば、表示制御部１３３は、操作画面２の表示を制御するように構成される。詳細については、後述する。
３．情報処理方法
　本節では、前述した情報処理装置１の情報処理方法について説明する。
　また、本節で参照する各図は、以下の通りである。図３は、情報処理装置１の表示部１４に表示される画面であって、操作画面２の一例である。図４は、操作画面２に含まれる俯瞰図ＢＶの一例である。図５は、操作画面２に含まれる、初期位置決め機能ＦＬの選択を可能にするメニューＬＭの一例である。図６は、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。図７は、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡの一例である。図８は、情報処理システムによって実行される情報処理の流れの一例を示すアクティビティ図である。
　以下では、図８のアクティビティ図に沿って、情報処理装置１によって実行される情報処理の流れを説明するものとする。
　ここで、説明の都合上、ユーザは、病気の診断もしくは検査または解剖学的研究等のために、人体の目的領域を少なくとも１つのモダリティによって撮像し、複数の医用画像データを得たものとする。なお、モダリティによって撮像される対象は、人体に限られず、病気の診断もしくは検査または解剖学的研究等の対象となり得るあらゆる動物が含まれる。また、医用画像データに含まれる目的領域に対応する部分を「オブジェクト」と称する。
　また、モダリティとしては、例えば、磁気共鳴診断装置（ＭＲＩ）、コンピュータ断層撮影装置（ＣＴ）、コンピュータ・ラジオグラフィ（ＣＲ）、デジタルＸ線撮影装置（ＤＲ）、血管造影Ｘ線診断装置（ＸＡ）、超音波診断装置（ＵＳ）、内視鏡装置（ＥＳ）等が挙げられる。
　まず、情報処理装置１の読出部１３１は、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。なお、この複数の医用画像データは、通信部１１を介してモダリティから受け付けてもよく、または予め記憶部１２に記憶されていてもよい（アクティビティＡ００１）。
　その後、表示制御部１３３が、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面２（図３参照）を表示させるように制御する。
　ここで、図３に示されているように、操作画面２は、複数の医用画像データ間の関係性を示す俯瞰図ＢＶを含むことが好ましい。このような態様によれば、脳神経外科等において１０種類以上にも及ぶ医用画像データを使用する場合であっても、全ての医用画像データ間の関係性をユーザが容易に把握可能になる。
　また、図４に示されているように、俯瞰図ＢＶにおいて、位置合わせの基準とする基準画像データＩＲと、位置合わせの対象とする対象画像データＩＴとの関係性が、矢印ＡＨにより表現されていることが好ましい。なお、図４の俯瞰図ＢＶにおいて、矢印ＡＨの先端にある医用画像データが基準画像データＩＲであり、矢印ＡＨの根本にある医用画像データが対象画像データＩＴである。このような態様によれば、脳神経外科等において１０種類以上にも及ぶ医用画像データを使用する場合であっても、どの医用画像データ間で位置合わせを行ったのかが分からなくなるという混乱を回避し、作業効率を高めることができる。
　ユーザは、以上で説明した図４の俯瞰図ＢＶにおいて、複数の医用画像データの中から位置合わせをする２つの医用画像データを選び、医用画像データに付されているピンアイコンＰＩに対して選択操作を行う（アクティビティＡ００２およびアクティビティＡ００３）。
　ここで、図４の俯瞰図ＢＶについて、具体例を挙げて説明することとする。図４の俯瞰図ＢＶにおいて、ユーザにより選択された基準画像データＩＲは、「ＴＯＦ　ＭＲＡ」の医用画像データとなっている。なお、「ＴＯＦ　ＭＲＡ」は、Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ（ＴＯＦ）法によるＭＲアンギオグラフィ（ＭＲＡ）により撮像された画像データであることを示す。また、図４の俯瞰図ＢＶにおいて、ユーザにより選択された対象画像データＩＴは、「ＣＥ　Ｈｅａｖｉｌｙ　Ｔ２」の医用画像データとなっている。なお、「ＣＥ　Ｈｅａｖｉｌｙ　Ｔ２」は、造影（Ｃｏｎｔｒａｓｔ　Ｅｎｈａｎｃｅｄ：ＣＥ）ＭＲＩにより撮像された造影後Ｈｅａｖｉｌｙ　Ｔ２強調画像データであることを示す。このように、図４の俯瞰図ＢＶにおいて、医用画像データは、当該技術分野で一般的に用いられている略語等を用いた、撮像方法を表す略称により示されている。
　さらに、図４の俯瞰図ＢＶにおいて、「ＴＯＦ　ＭＲＡ」である基準画像データＩＲと「ＣＥ　Ｈｅａｖｉｌｙ　Ｔ２」である対象画像データＩＴとが、矢印ＡＨにより繋げられている。すなわち、上述したように、矢印ＡＨにより、基準画像データＩＲと対象画像データＩＴとの関係性が表現されている。なお、２本以上の矢印ＡＨにより繋げられている医用画像データどうしは、直接位置合わせをすることはできない。例えば、図４の俯瞰図ＢＶにおいて、医用画像データ「３Ｄ　ＲＡ」は、「ＴＯＦ　ＭＲＡ」と位置合わせされた「ＣＴ」との位置合わせを行うことにより、「ＴＯＦ　ＭＲＡ」との位置合わせが間接的に達成されることになる。
　また、図４の俯瞰図ＢＶにおいて、点線で囲まれた領域には、ＣＴにより撮像された医用画像データ群が含まれ、点線で囲まれていない領域には、ＭＲＩにより撮像された医用画像データ群が含まれる。このように、同一のモダリティにより撮像された医用画像データどうしは、比較的近距離に配置され、一群を形成して表示される。
　ユーザにより俯瞰図ＢＶ（図４参照）において位置合わせをする２つの医用画像データが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、表示制御部１３３は、図３に示される操作画面２の表示を制御する。その結果、操作画面２において、領域ＳＡでは、複数の医用画像データのうちユーザにより選択された２つの医用画像データ、詳細には基準画像データＩＲおよび対象画像データＩＴが二次元画像として表示され、領域ＴＡでは、この２つの医用画像データを重ね合わせた三次元画像が表示される。なお、領域ＳＡおよび領域ＴＡにおいて、基準画像データＩＲに含まれる基準オブジェクトＯＲと、対象画像データＩＴに含まれる対象オブジェクトＯＴとは、ユーザが区別し得るように、異なる色で着色されて表現されている。このような態様によれば、ユーザは、二次元画像と三次元画像との両方を同時に確認しながら、位置合わせを実行するための操作を行うことができようになり、ユーザビリティを向上させることができる。
　次いで、ユーザは、図３の操作画面２において、俯瞰図ＢＶにより位置合わせの難易度を確認したあと、メニューＬＭにおいて、複数の初期位置決め機能ＦＬの中から一つを選択する。すなわち、操作画面２は、複数の初期位置決め機能ＦＬをユーザが一覧性を有して把握可能に構成されている（アクティビティＡ００４）。
　ここで、初期位置決め機能ＦＬによる第１の位置合わせとは、イテレーション計算によるレジストレーションの前段階として初期位置を合わせることであって、各医用画像データに含まれるオブジェクトＯの位置を合わせることにより行う。また、複数の初期位置決め機能は、オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１と、オブジェクトＯのローカル軸Ｌに関する平行移動および回転による初期位置決め機能ＦＬ２と、オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３とのうちの少なくとも１つを含むことが好ましい。
　なお、これらの初期位置決め機能ＦＬには、初期位置を合わせる精度および操作性に差異がある。詳細には、オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１は、最も簡易的な初期位置決め機能ＦＬであり、オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３は、最も高度な初期位置決め機能ＦＬである。したがって、このような態様によれば、位置合わせの難易度に応じた適当な初期位置決め方法をユーザが選択できるようになる。
　ユーザにより初期位置決め機能ＦＬの中から一つが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、制御部１３により第１の位置合わせが実行され、表示制御部１３３が図３の操作画面２の表示を制御する。その結果、図３の操作画面２の領域ＴＡにおいて、三次元画像として、２つの医用画像データが、複数の初期位置決め機能ＦＬのうちユーザにより選択された初期位置決め機能ＦＬにより位置合わせされて表示される。このような態様によれば、初期位置決め機能ＦＬによる第１の位置合わせの結果が３次元画像として即座に表示されるため、ユーザは、第１の位置合わせが上手くできたのかどうかを容易に判断することができる（アクティビティＡ００５）。
　ユーザは、図３の操作画面２の領域ＴＡに表示されている三次元画像を見て、基準画像データＩＲに含まれる基準オブジェクトＯＲの位置と対象画像データＩＴに含まれる対象オブジェクトＯＴの位置とが十分に合っているかどうか判断する。ユーザから見てオブジェクトＯの位置が明らかに合っていない場合には、ユーザは、他の初期位置決め機能ＦＬを選択し直し、第１の位置合わせを再度実行させることができる。ユーザは、オブジェクトＯの位置が十分に合っていると判断した場合には、図３の操作画面２において、基準画像データＩＲおよび対象画像データＩＴという複数の医用画像データどうしの第２の位置合わせを実行するために、自動位置合わせ機能ＡＬを選択する。
　すなわち、操作画面２は、自動位置合わせ機能ＡＬを、複数の初期位置決め機能ＦＬとともにユーザが一覧性を有して把握可能に構成されていることが好ましい。このような態様によれば、画面遷移なく、同一の操作画面２にて、第１の位置合わせと第２の位置合わせとを実行させることができるようになるため、ユーザエクスペリエンスを向上させることができる。
　ユーザにより自動位置合わせ機能ＡＬが選択されると、受付部１３２は、ユーザによるこの選択操作を受け付ける。その後、制御部１３により第２の位置合わせが実行される。ここで、自動位置合わせ機能ＡＬでは、第１の位置合わせが実行された複数の医用画像データに対して、さらにイテレーション計算を実行することにより、複数の医用画像データどうしの第２の位置合わせを実行する。このような態様によれば、初期位置決め機能ＦＬによる第１の位置合わせと、自動位置合わせ機能ＡＬによる第２の位置合わせとを組み合わせて実行させることにより、ユーザの操作は簡易であるにもかかわらず、非常に精度の高い医用画像データ間の位置合わせが可能になる（アクティビティＡ００６）。
　以上をまとめると、本実施形態の情報処理方法は、読出ステップと、表示制御ステップとを備える。読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出す。表示制御ステップでは、複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御する。ここで、操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成される。
　本実施形態によれば、より精度高く医用画像データ間の位置合わせができるように、複数の初期位置決め方法の中からユーザが適当な方法を選択し、簡易な操作で初期位置を的確に合わせることができる。
　続いて、初期位置決め機能ＦＬについて、以下詳述する。
<初期位置決め機能ＦＬ１>
　オブジェクトＯの中心位置を合わせる初期位置決め機能ＦＬ１は、上述したように最も簡易的な初期位置決め機能ＦＬであるため、例えば図５のメニューＬＭに示されているように、ボタンＢ１１を押下する操作のみで第１の位置合わせが実行されることが好ましい。また、ユーザは、図３の操作画面２の領域ＴＡに表示されている三次元画像を見て、基準画像データＩＲに含まれる基準オブジェクトＯＲの位置と対象画像データＩＴに含まれる対象オブジェクトＯＴの位置とが十分に合っていないと判断した場合には、図５のメニューＬＭに示されているように、ボタンＢ１２を押下することにより、対象画像データＩＴを第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。
<初期位置決め機能ＦＬ２>
　オブジェクトＯのローカル軸Ｌに関する平行移動および回転による初期位置決め機能ＦＬ２は、当業者であるユーザが操作しやすいように、当該技術分野で一般的に用いられる３Ｄ操作ツールが備える機能であってもよい。ここで、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡを表す図６を参照して、初期位置決め機能ＦＬ２の具体例について説明することとする。
　図６に示される領域ＴＡでは、基準画像データＩＲに含まれる基準オブジェクトＯＲと、対象画像データＩＴに含まれる対象オブジェクトＯＴとが重ね合わせて表示されている。また、対象オブジェクトＯＴに関しては、対象オブジェクトＯＴのローカル軸Ｌとしてｘ軸ＬＸ、ｙ軸ＬＹおよびｚ軸ＬＺと、各ローカル軸Ｌに対応する円ＣＸ、円ＣＹおよび円ＣＺと、対象オブジェクトＯＴを囲む、ローカル軸Ｌに沿ったバウンディングボックスＢＴとが表示されている。基準オブジェクトＯＲに関しては、基準オブジェクトＯＲを囲む、ローカル軸Ｌに沿ったバウンディングボックスＢＲが表示されている。
　ユーザは、図６に示される領域ＴＡにおいて、ｘ軸ＬＸ、ｙ軸ＬＹまたはｚ軸ＬＺの矢印をドラッグ操作することにより、対象オブジェクトＯＴを各ローカル軸Ｌに関して平行移動させることができる。また、ユーザは、円ＣＸ、円ＣＹまたは円ＣＺをドラッグ操作することにより、対象オブジェクトＯＴを各ローカル軸Ｌに関して回転させることができる。さらに、ユーザは、バウンディングボックスＢＴで対象オブジェクトＯＴの範囲を指定することも可能である。同様に、ユーザは、バウンディングボックスＢＲで基準オブジェクトＯＲの範囲を指定することも可能である。
　なお、図５のメニューＬＭに示されているように、ボタンＢ２１を押下することにより、対象画像データＩＴを初期位置決め機能ＦＬ２による第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。同様に、ボタンＢ２２を押下することにより、基準画像データＩＲを初期位置決め機能ＦＬ２による第１の位置合わせが実行される前の状態に戻せるようにすることが好ましい。このような態様によれば、ユーザは、基準オブジェクトＯＲの位置と対象オブジェクトＯＴの位置とが十分に合っていないと判断した場合には、他の初期位置決め機能ＦＬにより第１の位置合わせを再度実行させることができる。
<初期位置決め機能ＦＬ３>
　オブジェクトＯ中の複数のランドマークＰの指定による初期位置決め機能ＦＬ３は、位置合わせをする画像データ間に共通に存在する複数の特徴的な点をランドマークＰとして設定し、点群間の位置合わせにより第１の位置合わせを実行する機能である。ここで、メニューＬＭを表す図５と、２つの医用画像データを重ね合わせて三次元画像として表示する領域ＴＡを表す図７とを参照して、初期位置決め機能ＦＬ３の具体例について説明することとする。
　まず、ユーザは、対象画像データＩＴに含まれる対象オブジェクトＯＴにおいて対象ランドマークＰＴ０の指定を行えるように、図５のメニューＬＭにおいて、チェックボックスＣＴにチェックを入れる。続いて、ユーザは、図７の領域ＴＡにおいて、対象オブジェクトＯＴ中の特徴的な点を一つ選び、当該点を選択操作することにより、対象ランドマークＰＴ０として指定する。次いで、ユーザは、基準画像データＩＲに含まれる基準オブジェクトＯＲにおいて基準ランドマークＰＲ０の指定を行えるように、図５のメニューＬＭにおいて、チェックボックスＣＲにチェックを入れる。続いて、図７の領域ＴＡにおいて、対象ランドマークＰＴ０が示す特徴と同一の特徴を有する、基準オブジェクトＯＲ中の対応する点を選び、当該点を選択操作することにより、基準ランドマークＰＲ０として指定する。
　同様にして、ユーザは、対象ランドマークＰＴ１および対象ランドマークＰＴ２、ならびに対応する基準ランドマークＰＲ１および基準ランドマークＰＲ２の指定を行い、好ましくは、３組以上のランドマークＰを指定する。例えば、好ましいランドマークＰの組としては、ユーザが確認したい目的領域、例えば腫瘍部分の周囲で、互いの距離が可能な限り離れた３点以上の特徴点からなる組が挙げられる。なお、ランドマークＰの組は、図７の領域ＴＡにおいて、その対応関係が線で結ばれて表現されている。具体的には、図７の領域ＴＡにおいて、対象ランドマークＰＴ０と基準ランドマークＰＲ０とが直線で結ばれており、対象ランドマークＰＴ１と基準ランドマークＰＲ１とが直線で結ばれており、対象ランドマークＰＴ２と基準ランドマークＰＲ２とが直線で結ばれている。
　なお、複数のランドマークＰの指定は、図３の操作画面２に含まれる領域ＴＡ上だけでなく、同じく操作画面２に含まれる、複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域ＳＡ上でも可能である。すなわち、複数のランドマークＰの指定は、二次元画像と三次元画像との両方において可能である。このような態様によれば、二次元画像上と３次元画像上とのうち、ユーザにとってランドマークＰとするのに適した特徴点を把握しやすい画像上で、ランドマークＬＰの指定操作を行うことができるようになり、ユーザビリティを向上させることができる。
　ユーザは、このようにしてランドマークＰの指定を完了させたあと、図５のメニューＬＭにおいて、ボタンＢ３１を押下することにより、第１の位置合わせを実行させることができる。なお、ユーザは、初期位置決め機能ＦＬ３による第１の位置合わせの実行後、図３の操作画面２において自動位置合わせ機能ＡＬを選択し、第２の位置合わせを実行させることが好ましい。
　すなわち、初期位置決め機能ＦＬ３により、手動によるランドマークＰの指定に基づいて点対応レジストレーションを第１の位置合わせとして実行させ、その後、自動位置合わせ機能ＡＬにより、イテレーション計算によるレジストレーションを第２の位置合わせとして実行させることが好ましい。このような態様によれば、位置が合いにくい医用画像データどうしの組み合わせであっても、人間の目視判断による手動操作も介して初期位置を極力合わせることにより、イテレーション計算で未収束となることを回避するとともに、イテレーション計算により初期位置合わせの補正を可能とし、強力な位置合わせを達成することができる。
　このようにして位置が合いにくい医用画像データどうしの組み合わせ、例えば、ＣＴ画像データとＭＲＩ画像データとを精度高く位置合わせができるようになる結果、ユーザは、一方の画像、例えばＣＴ画像では判別しにくい組織中の構造や機能を、他方の画像、例えばＭＲＩ画像からより詳細に判別することが可能になる。
４．その他
　情報処理システムに関して、以下のような態様を採用してもよい。
　本実施形態の態様は、コンピュータが読み取り可能な非一時的な記録媒体であってもよい。この記録媒体は、情報処理システムの各ステップをコンピュータに実行させるプログラムを記憶している。
　上述のアクティビティＡ００３のあと、複数の初期位置決め機能ＦＬの中から最適な初期位置決め機能ＦＬをユーザに提示してもよい。
　情報処理システムに、情報処理装置１以外の構成要素が含まれてもよい。例えば、情報処理装置１と、不図示の入力装置と、不図示の表示装置とからなる情報処理システムが実施されてもよい。これらの接続方法は特に限定されず、インターネットを介して行うサービスが提供されてもよい。
　さらに、次に記載の各態様で提供されてもよい。
　前記情報処理システムにおいて、前記医用画像データは、オブジェクトを含み、前記複数の初期位置決め機能は、前記オブジェクトの中心位置を合わせる初期位置決め機能と、前記オブジェクトのローカル軸に関する平行移動および回転による初期位置決め機能と、前記オブジェクト中の複数のランドマークの指定による初期位置決め機能とのうちの少なくとも１つを含む、もの。
　前記情報処理システムにおいて、前記操作画面は、前記複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域と、前記２つの医用画像データを重ね合わせて三次元画像として表示する領域とを含む、もの。
　前記情報処理システムにおいて、前記三次元画像では、前記２つの医用画像データが、前記複数の初期位置決め機能のうちユーザにより選択された初期位置決め機能により位置合わせされて表示されている、もの。
　前記情報処理システムにおいて、前記複数のランドマークの指定は、前記二次元画像と前記三次元画像との両方において可能である、もの。
　前記情報処理システムにおいて、前記操作画面は、自動位置合わせ機能を、前記複数の初期位置決め機能とともに前記ユーザが一覧性を有して把握可能に構成され、ここで前記自動位置合わせ機能では、前記複数の医用画像データどうしの第２の位置合わせを実行する、もの。
　前記情報処理システムにおいて、前記自動位置合わせ機能では、前記第１の位置合わせが実行された前記複数の医用画像データに対して、さらにイテレーション計算を実行することにより、前記複数の医用画像データどうしの前記第２の位置合わせを実行する、もの。
　前記情報処理システムにおいて、前記操作画面は、前記複数の医用画像データ間の関係性を示す俯瞰図を含む、もの。
　前記情報処理システムにおいて、前記俯瞰図において、位置合わせの基準とする基準画像データと、前記位置合わせの対象とする対象画像データとの関係性が、矢印により表現されている、もの。
　情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
　コンピュータが読み取り可能な非一時的な記録媒体であって、前記情報処理システムの各ステップをコンピュータに実行させるプログラムを記憶した、もの。
　もちろん、この限りではない。
　最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　：情報処理装置
１０　　　：通信バス
１１　　　：通信部
１２　　　：記憶部
１３　　　：制御部
１３１　　：読出部
１３２　　：受付部
１３３　　：表示制御部
１４　　　：表示部
１５　　　：入力部
２　　　　：操作画面
ＡＨ　　　：矢印
ＡＬ　　　：自動位置合わせ機能
Ｂ１１　　：ボタン
Ｂ１２　　：ボタン
Ｂ２１　　：ボタン
Ｂ２２　　：ボタン
Ｂ３１　　：ボタン
ＢＴ　　　：バウンディングボックス
ＢＲ　　　：バウンディングボックス
ＢＶ　　　：俯瞰図
ＣＴ　　　：チェックボックス
ＣＲ　　　：チェックボックス
ＣＸ　　　：円
ＣＹ　　　：円
ＣＺ　　　：円
ＦＬ　　　：初期位置決め機能
ＦＬ１　　：初期位置決め機能
ＦＬ２　　：初期位置決め機能
ＦＬ３　　：初期位置決め機能
ＩＴ　　　：対象画像データ
ＩＲ　　　：基準画像データ
Ｌ　　　　：ローカル軸
ＬＸ　　　：ｘ軸
ＬＹ　　　：ｙ軸
ＬＺ　　　：ｚ軸
ＬＭ　　　：メニュー
ＬＰ　　　：ランドマーク
Ｏ　　　　：オブジェクト
ＯＴ　　　：対象オブジェクト
ＯＲ　　　：基準オブジェクト
Ｐ　　　　：ランドマーク
ＰＴ０　　：対象ランドマーク
ＰＴ１　　：対象ランドマーク
ＰＴ２　　：対象ランドマーク
ＰＲ０　　：基準ランドマーク
ＰＲ１　　：基準ランドマーク
ＰＲ２　　：基準ランドマーク
ＰＩ　　　：ピンアイコン
ＳＡ　　　：領域
ＴＡ　　　：領域

Claims (11)

  1. 　情報処理システムであって、
    　次の各ステップを実行するように構成され、
    　読出ステップでは、少なくとも１つのモダリティによって撮像された複数の医用画像データを読み出し、
    　表示制御ステップでは、前記複数の医用画像データどうしの第１の位置合わせを実行するための操作画面を表示させるように制御し、ここで、前記操作画面は、複数の初期位置決め機能をユーザが一覧性を有して把握可能に構成されている、
    もの。
  2. 　請求項１に記載の情報処理システムにおいて、
    　前記医用画像データは、オブジェクトを含み、
    　前記複数の初期位置決め機能は、前記オブジェクトの中心位置を合わせる初期位置決め機能と、前記オブジェクトのローカル軸に関する平行移動および回転による初期位置決め機能と、前記オブジェクト中の複数のランドマークの指定による初期位置決め機能とのうちの少なくとも１つを含む、
    もの。
  3. 　請求項１または請求項２に記載の情報処理システムにおいて、
    　前記操作画面は、前記複数の医用画像データのうちユーザにより選択された２つの医用画像データを二次元画像として表示する領域と、前記２つの医用画像データを重ね合わせて三次元画像として表示する領域とを含む、
    もの。
  4. 　請求項３に記載の情報処理システムにおいて、
    　前記三次元画像では、前記２つの医用画像データが、前記複数の初期位置決め機能のうちユーザにより選択された初期位置決め機能により位置合わせされて表示されている、
    もの。
  5. 　請求項３または請求項４に記載の情報処理システムにおいて、
    　前記複数のランドマークの指定は、前記二次元画像と前記三次元画像との両方において可能である、
    もの。
  6. 　請求項１～請求項５の何れか１つに記載の情報処理システムにおいて、
    　前記操作画面は、自動位置合わせ機能を、前記複数の初期位置決め機能とともに前記ユーザが一覧性を有して把握可能に構成され、ここで前記自動位置合わせ機能では、前記複数の医用画像データどうしの第２の位置合わせを実行する、
    もの。
  7. 　請求項６に記載の情報処理システムにおいて、
    　前記自動位置合わせ機能では、前記第１の位置合わせが実行された前記複数の医用画像データに対して、さらにイテレーション計算を実行することにより、前記複数の医用画像データどうしの前記第２の位置合わせを実行する、
    もの。
  8. 　請求項１～請求項７の何れか１つに記載の情報処理システムにおいて、
    　前記操作画面は、前記複数の医用画像データ間の関係性を示す俯瞰図を含む、
    もの。
  9. 　請求項８に記載の情報処理システムにおいて、
    　前記俯瞰図において、位置合わせの基準とする基準画像データと、前記位置合わせの対象とする対象画像データとの関係性が、矢印により表現されている、
    もの。
  10. 　情報処理方法であって、
    　請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、
    方法。
  11. 　コンピュータが読み取り可能な非一時的な記録媒体であって、
    　請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップをコンピュータに実行させるプログラムを記憶した、
    もの。
PCT/JP2022/014799 2021-04-26 2022-03-28 情報処理システム、情報処理方法および記録媒体 WO2022230518A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-073822 2021-04-26
JP2021073822A JP2022168405A (ja) 2021-04-26 2021-04-26 情報処理システム、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022230518A1 true WO2022230518A1 (ja) 2022-11-03

Family

ID=83847989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014799 WO2022230518A1 (ja) 2021-04-26 2022-03-28 情報処理システム、情報処理方法および記録媒体

Country Status (2)

Country Link
JP (1) JP2022168405A (ja)
WO (1) WO2022230518A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324238A (ja) * 2001-04-26 2002-11-08 Fuji Photo Film Co Ltd 画像の位置合わせ方法および装置
JP2008043759A (ja) * 2006-08-15 2008-02-28 General Electric Co <Ge> 相互作用方式の画像位置合わせのシステム及び方法
JP2011142974A (ja) * 2010-01-13 2011-07-28 Fujifilm Corp 医用画像表示装置および方法、並びにプログラム
JP2015505690A (ja) * 2011-12-07 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ３ｄ医療灌流画像の視覚化
JP2015066023A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法
JP2020054794A (ja) * 2018-10-03 2020-04-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線診断装置及び医用画像処理方法
US20200342675A1 (en) * 2019-04-29 2020-10-29 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324238A (ja) * 2001-04-26 2002-11-08 Fuji Photo Film Co Ltd 画像の位置合わせ方法および装置
JP2008043759A (ja) * 2006-08-15 2008-02-28 General Electric Co <Ge> 相互作用方式の画像位置合わせのシステム及び方法
JP2011142974A (ja) * 2010-01-13 2011-07-28 Fujifilm Corp 医用画像表示装置および方法、並びにプログラム
JP2015505690A (ja) * 2011-12-07 2015-02-26 コーニンクレッカ フィリップス エヌ ヴェ ３ｄ医療灌流画像の視覚化
JP2015066023A (ja) * 2013-09-27 2015-04-13 富士フイルム株式会社 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法
JP2020054794A (ja) * 2018-10-03 2020-04-09 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線診断装置及び医用画像処理方法
US20200342675A1 (en) * 2019-04-29 2020-10-29 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device

Also Published As

Publication number Publication date
JP2022168405A (ja) 2022-11-08

Similar Documents

Publication Publication Date Title
JP6616306B2 (ja) 高度グラフィカルユーザインターフェースを有する放射線治療システム
JP4820680B2 (ja) 医用画像表示装置
US6614453B1 (en) Method and apparatus for medical image display for surgical tool planning and navigation in clinical environments
US9990744B2 (en) Image registration device, image registration method, and image registration program
JP5417609B2 (ja) 医用画像診断装置
US9349220B2 (en) Curve correction in volume data sets
KR20030066670A (ko) 의료 영상에서 작업흐름 구성과 실행
US9679377B2 (en) Medical image processing apparatus and a medical image processing method
JP6134985B2 (ja) 曲線修正装置および方法並びにプログラム
Boehler et al. A robust and extendible framework for medical image registration focused on rapid clinical application deployment
JP2007151965A (ja) 医用画像処理装置、医用画像処理プログラム、及び医用画像処理方法
JP2006223449A (ja) 断面表示装置、及び、そのプログラム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
WO2022230518A1 (ja) 情報処理システム、情報処理方法および記録媒体
JP4748991B2 (ja) 医用画像診断支援装置
US8460201B2 (en) Visualization of stress level cardiac functional analysis results
JP5398791B2 (ja) 医用画像表示装置
JP7140477B2 (ja) 医用画像処理装置、医用画像処理装置の制御方法、及びプログラム
JP7242338B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP6204891B2 (ja) 画像表示装置、方法、及びプログラム
JP2004275601A (ja) 画像管理装置および画像表示装置
JP7278790B2 (ja) 医用画像処理装置及び医用画像処理方法
WO2008047266A2 (en) Method of performing tableside automatic vessel analysis in an operation room
US9280816B2 (en) Adaptation of a 3D-surface model to boundaries of an anatomical structure in a 3D-image data set
JP2005046394A (ja) 医用画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795435

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795435

Country of ref document: EP

Kind code of ref document: A1