WO2019044611A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2019044611A1
WO2019044611A1 PCT/JP2018/030943 JP2018030943W WO2019044611A1 WO 2019044611 A1 WO2019044611 A1 WO 2019044611A1 JP 2018030943 W JP2018030943 W JP 2018030943W WO 2019044611 A1 WO2019044611 A1 WO 2019044611A1
Authority
WO
WIPO (PCT)
Prior art keywords
rendering
target area
image
area
rendering target
Prior art date
Application number
PCT/JP2018/030943
Other languages
English (en)
French (fr)
Inventor
加藤　耕一
橋爪　洋平
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017163472A external-priority patent/JP2019037649A/ja
Priority claimed from JP2017163471A external-priority patent/JP2019037648A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019044611A1 publication Critical patent/WO2019044611A1/ja
Priority to US16/799,435 priority Critical patent/US20200193689A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present invention relates to an information processing apparatus for displaying an image based on three-dimensional medical image data.
  • JP-A-2013-176414 discloses acquiring three-dimensional image data (volume data) by a photoacoustic imaging method. Further, Japanese Patent Application Laid-Open No. 2013-176414 discloses that an image is displayed by performing maximum value projection or volume rendering on three-dimensional image data.
  • rendering and displaying three-dimensional image data may make it difficult to grasp information in a specific direction.
  • a user who confirms the rendered image may misidentify the structure of the subject.
  • the present invention has been made in view of the above problems, and it is an object of the present invention to provide an information processing apparatus for displaying a rendered image of three-dimensional medical image data that allows a user to easily grasp the structure of a subject. Do.
  • An information processing apparatus includes an image data acquisition unit that acquires three-dimensional medical image data, a display control unit that causes a display unit to display a rendering image by rendering three-dimensional medical image data of a rendering target area.
  • the display control unit causes the display unit to display the rendering image by rendering the three-dimensional medical image data with the first region as the rendering target region, and an instruction from the user when the rendering image is displayed By gradually increasing the rendering target area from the first area to the second area while receiving the first instruction signal transmitted in response to a plurality of mutually different rendering target areas Displaying the moving image of the rendered image on the display means, and receiving the first instruction signal When completion or terminates the processing rendering target area gradually increasing the rendered area when it reaches the second region.
  • the schematic diagram which shows photoacoustic image data The schematic diagram which shows the example of the rendering image based on photoacoustic image data.
  • the schematic diagram which shows the example of the rendering image based on photoacoustic image data The schematic diagram which shows the example of the rendering image based on photoacoustic image data.
  • the schematic diagram which shows the example of the rendering image based on photoacoustic image data The schematic diagram which shows the example of the rendering image based on photoacoustic image data.
  • 1 is a block diagram showing an information processing system according to a first embodiment.
  • FIG. 2 is a block diagram showing a specific configuration of the information processing system according to the first embodiment.
  • FIG. 2 is a flowchart of an information processing method according to the first embodiment.
  • FIG. 2 is a schematic view showing a GUI according to the first embodiment.
  • FIG. 2 is a schematic view showing a rendering target area according to the first embodiment.
  • the graph which shows the relation between the reception timing of the directions signal concerning a 1st embodiment, and the area for rendering.
  • the graph which shows the relation between the reception timing of the directions signal concerning a 1st embodiment, and the area for rendering.
  • FIG. 5 is a schematic view showing a display example of a rendered image according to the first embodiment.
  • the schematic diagram which shows GUI which concerns on 4th Embodiment The graph which shows the relation between the reception timing of the directions signal concerning a 4th embodiment, and the area for rendering. The graph which shows the relation between the reception timing of the directions signal concerning a 4th embodiment, and the area for rendering. The graph which shows the relation between the reception timing of the directions signal concerning a 4th embodiment, and the area for rendering. The graph which shows the relation between the reception timing of the directions signal concerning a 4th embodiment, and the area for rendering. The schematic diagram which shows the example of a display of the rendering image which concerns on 4th Embodiment. The graph which shows the relationship between the reception timing of the instruction
  • indication signal which concerns on 5th Embodiment, and an area for rendering The graph which shows the relationship between the reception timing of the instruction
  • the present invention relates to an information processing apparatus for displaying a rendered image based on volume data which is medical image data in a three-dimensional space.
  • the present invention can be applied to medical image data obtained by modalities such as a photoacoustic apparatus, an ultrasonic diagnostic apparatus, an MRI apparatus, an X-ray CT apparatus, and a PET apparatus.
  • the present invention can be suitably applied to a photoacoustic apparatus that displays a rendering image based on photoacoustic image data derived from photoacoustic waves generated by light irradiation.
  • photoacoustic imaging unless the acoustic wave can be received from all directions, the structure of the imaging object can not be completely reproduced under the influence of the limited view.
  • photoacoustic image data representing a three-dimensional spatial distribution of light absorption coefficients will be described as an example.
  • the photoacoustic image data includes at least one target such as the sound pressure generated by the photoacoustic wave (initial sound pressure), the light absorption energy density, the light absorption coefficient, and the concentration of the substance constituting the living body (such as oxygen saturation).
  • Volume data representing a three-dimensional spatial distribution of sample information.
  • FIG. 1 shows a schematic view of the photoacoustic image data 100.
  • the photoacoustic image data 100 shown in FIG. 1 includes image data corresponding to the blood vessels 101, 102, 103, and 104. Further, although not image data included in the photoacoustic image data 100, a schematic diagram corresponding to the tumor 111 is shown by a dotted line for convenience.
  • the blood vessel 104 is a blood vessel that has entered the tumor 111.
  • the blood vessels 101, 102 and 103 are blood vessels which have not entered the tumor 111.
  • Information representing the area of the tumor 111 may be acquired based on image processing or a user's instruction based on medical image data for imaging the tumor such as ultrasound image data and MRI image data.
  • FIG. 2B shows a cross-sectional image 210 of the photoacoustic image data 100 of the cross-section 200.
  • the cross-sectional image 210 illustrated in FIG. 2B is a rendered image obtained by rendering the photoacoustic image data 100 with the cross section 200 as a rendering target area.
  • the region of the tumor 111 that intersects the cross section 200 is shown for convenience.
  • images of the blood vessels 101, 102, 103, and 104 intersecting the cross-section 200 are displayed. It is understood from the cross-sectional image 210 that the blood vessel 104 is located inside the tumor 111.
  • FIG. 2D is a projected image 220 generated by projecting the photoacoustic image data in the viewing direction 230 (Z-axis direction) as shown in FIG. 2C. That is, FIG. 2D is a projection image 220 obtained by projecting the photoacoustic image data 100 on the projection surface 240 by the maximum value.
  • the projected image 220 shown in FIG. 2D is a rendered image obtained by rendering the photoacoustic image data 100 with the entire region of the photoacoustic image data 100 as a rendering region. Also in FIG. 2D, the region of the tumor 111 that intersects the cross section 200 is shown for convenience.
  • the projection image 220 shown in FIG. 2D it is easy to visually recognize the connection of each blood vessel, and it is easier to grasp the entire structure of the blood vessel as compared with the cross-sectional image 210 shown in FIG.
  • the blood vessel 103 appears to be intruding into the tumor 111
  • the blood vessel 103 is actually a blood vessel not invading the tumor 111.
  • the blood vessel 104 was displayed in FIG. 2B
  • the blood vessel 104 is not displayed in FIG. 2D. This is because the blood vessel 104 overlaps with the blood vessel 103 in the Z-axis direction and is not represented when the maximum value is projected.
  • the influence of image noise may be strongly reflected in the rendering image.
  • the visibility of the imaging target may be reduced due to the influence of the image noise.
  • the inventor has found an information processing method capable of comparing a plurality of rendering images having different rendering target areas without performing a complicated operation. That is, when the user continues a specific operation (for example, pressing of the right click of the mouse) while the rendered image (FIG. 2B) in which the local structure of the imaging target can be easily grasped is displayed.
  • a specific operation for example, pressing of the right click of the mouse
  • the rendered image FIG. 2B
  • an information processing method to gradually increase the rendering target area.
  • the user can continuously grasp the change from the local structure to the entire structure of the imaging target.
  • the inventor has found that the gradual increase of the rendering target area is ended when the user finishes the specific operation. Thereby, the user can continuously grasp the change from the local structure of the imaging target to the entire structure by a simple operation of whether or not to continue the specific operation.
  • This form will be described in the first to third embodiments.
  • the present inventor when the present inventor is displaying a rendered image 220 that makes it easy to understand the overall structure as shown in FIG. 2D, the user gives an instruction, and the rendering target area is displayed while the instruction signal is being received.
  • a comparative example will be considered in which the rendering target area according to the position of the slider bar is determined by the user operating the slider bar displayed on the GUI.
  • the rendering target area is enlarged or reduced, or the user's operation when repeatedly changing the rendering target area is complicated.
  • the efficiency of the image interpretation operation is reduced.
  • the rendering target area can be changed by performing a simple operation as to whether the user continues the specific operation.
  • the rendering target area refers to an area (data address) to be rendered when three-dimensional medical image data is rendered.
  • the first embodiment of the present invention describes an example of an information processing method for gradually increasing a rendering target area triggered by an instruction from the user when displaying a rendering image based on photoacoustic image data of a certain rendering target area. .
  • the configuration of the information processing system according to the first embodiment will be described with reference to FIG.
  • the information processing system according to the present embodiment includes an external storage device 310, an information processing device 320, a display device 350, and an input device 360.
  • the information processing device 320 includes a storage unit 321, an operation unit 322, and a control unit 323.
  • External storage device 310 is disposed outside the information processing device 320.
  • the external storage device 310 stores medical image data 1000 acquired by the modality.
  • the external storage device 310 may store medical image data 1000 of a plurality of image types acquired by various modalities.
  • the external storage device 310 is configured of a recording medium such as a server, and may be further connected to a communication network or the like.
  • PACS Picture Archiving and Communication System
  • the external storage device 310 may be provided separately from the information processing device 320.
  • the storage unit 321 can be configured with a non-temporary storage medium such as a ROM (Read Only Memory), a magnetic disk, or a flash memory.
  • the storage unit 321 may be a volatile medium such as a random access memory (RAM).
  • the storage medium in which the program is stored is a non-temporary storage medium.
  • the storage unit 321 may be configured not only from one storage medium, but also from a plurality of storage media.
  • Medical image data 1000 can be fetched from the external storage device 310 via the communication network or the like into the storage unit 321 and stored.
  • a unit having an image processing function as the operation unit 322 can be configured by a processor such as a CPU or a graphics processing unit (GPU), or an operation circuit such as a field programmable gate array (FPGA) chip. These units are not only composed of a single processor or arithmetic circuit, but may be composed of a plurality of processors or arithmetic circuits.
  • the computing unit 322 can read the medical image data 1000 stored in the storage unit 321 and render the medical image data 1000 to generate a rendering image and store the rendered image in the storage unit 321.
  • the operation unit 322 may change the content of the rendering process in response to an instruction signal (a signal representing an image processing condition such as a rendering target area) transmitted from the input device 360 in accordance with an instruction of the user.
  • an instruction signal a signal representing an image processing condition such as a rendering target area
  • the control unit 323 can be configured by an arithmetic element such as a CPU, an integrated circuit, a video RAM (Random Access Memory), and the like.
  • the control unit 323 can control the operation of each component of the information processing system.
  • the control unit 323 may control each configuration of the information processing system in response to various instruction signals from the input device 360.
  • the control unit 323 may control an external device of the information processing system.
  • the control unit 323 may read the program code stored in the storage unit 321 to control the operation of each component of the information processing system.
  • the control unit 323 outputs the rendering image generated by the computing unit 322 to the display device 350, and causes the display device 350 to display the rendering image.
  • the control unit 323 receives the instruction signal transmitted from the input device 360 according to the user's instruction, and displays the display content such as the rendering target area of the medical image data 1000 displayed on the display unit 350 and the change time of the rendering target area. Can be controlled.
  • the computing unit 322 and the control unit 323 that generate a rendering image by rendering three-dimensional medical image data and display the rendering image on the display device 350 correspond to the display control unit according to the present invention.
  • the display control means is composed of a plurality of units, but the display control means may be composed of a plurality of computing elements or may be composed of a single computing element.
  • the information processing device 320 may be a workstation designed for exclusive use. Also, each configuration of the information processing device 320 may be configured by different hardware. Further, at least a part of the configuration of the information processing device 320 may be configured by a single piece of hardware. The hardware constituting the information processing device 320 may not be housed in one housing.
  • the display device 350 as a display means is a display such as a liquid crystal display, an organic EL (Electro Luminescence), an FED, a glasses-type display, a head mounted display, and the like. It is an apparatus for displaying an image based on volume data processed by the information processing apparatus 320.
  • the display device 350 may display a GUI for operating an image based on volume data.
  • the display device 350 may be provided separately from the information processing device 320. At that time, the information processing device 320 can transmit the medical image data 1000 to the display device 350 by wire or wirelessly.
  • ⁇ Input device 360 As the input device 360 as an input means, a mouse, a keyboard, a joystick, a touch pen, etc. which can be operated by the user can be adopted.
  • the display device 350 may be configured by a touch panel, and the display device 350 may be used as the input device 360.
  • a microphone for inputting a sound, a camera for inputting a gesture, or the like may be adopted.
  • the input device 360 may be configured to be able to input information related to the display of the rendered image. As an input method, a numerical value may be input or an input may be made by operating the slider bar. Further, the image displayed on the display device 350 may be updated according to the input information. This allows the user to set an appropriate parameter while checking the image generated by the parameter determined by his operation.
  • the input device 360 can input processing conditions implemented by the operation unit 322 by the user and display contents controlled by the control unit 323. As an input method, the input may be performed by storing a text file or the like in which the conditions are described, or the GUI may be displayed on the display device 350 and input.
  • the input device 360 may be any device capable of inputting a signal by the operation of the user, and uses a mouse, a keyboard, a touch panel, a joystick, a switch box, a microphone for receiving a sound including voice, an input device for receiving a specific gesture, be able to. As long as the input device 360 can output an instruction signal to the information processing device 320, the connection method may be either wired or wireless.
  • Each configuration of the information processing system may be configured as a separate device, or may be configured as one integrated device. Further, at least a part of the configuration of the information processing system may be configured as one integrated device.
  • FIG. 4 shows a specific configuration example of the information processing apparatus 320 according to the present embodiment.
  • An information processing apparatus 320 according to the present embodiment includes a CPU 324, a GPU 325, a RAM 326, and a ROM 327. Further, to the information processing device 320, a PACS 311 as an external storage device 310, a liquid crystal display 351 as a display device 350, a mouse 361 as an input device 360, and a keyboard 362 are connected.
  • the control unit 323 causes the display device 350 to display the list of medical image data 1000 stored in the external storage device 310.
  • the user uses the input device 360 to select the photoacoustic image data 100 from the list of medical image data 1000 displayed on the display device 350.
  • the control unit 323 as an image data acquisition unit reads and acquires the photoacoustic image data 100 as the medical image data 1000 from the external storage device 310, and stores the acquired photoacoustic image data 100 in the storage unit 321.
  • the medical image data 1000 as volume data may be a three-dimensional image composed of a plurality of cross-sectional images.
  • the form has been described in which the medical image data 1000 already captured by the modality is read from the external storage device 310.
  • the modality starts imaging based on an instruction signal from the control unit 323 to generate the medical image data 1000, and the control unit 323 as an image data acquisition unit receives the medical image data 1000 output from the modality. It may be acquired by
  • the control unit 323 causes the display device 350 to display a GUI for inputting rendering conditions.
  • Specific rendering conditions include the projection direction (X, Y, Z directions), the area to be rendered (thickness (distance), the number of images, reference position), the rendering method (maximum value projection method, average value projection method, minimum value Projection, volume rendering, surface rendering etc.
  • the rendering method maximum value projection method, average value projection method, minimum value Projection, volume rendering, surface rendering etc.
  • the change time of the rendering target area can also be set. It is possible to display an image in which the area to be rendered is gradually increased according to the set time.
  • FIG. 6 shows a specific example of a GUI (Graphical User Interface) displayed on the display device 350 after the medical image data 1000 is selected in step S410.
  • GUI Graphic User Interface
  • the display area 810 is an area where a rendered image of the medical image data 1000 is displayed.
  • the display area 820 is a display area in which a widget such as a button, a list box, or a text box for the user to input a rendering condition using the input device 360 is displayed.
  • the display area 820 displays a projection direction, an area to be rendered, a rendering method, a reference position, and a widget for inputting a transition time.
  • the X, Y, and Z directions are displayed as options, and the Z direction is selected in the drawing.
  • the user can directly input the thickness (distance) L in the projection direction of the area to be rendered as a numerical value.
  • a value of 0.5 mm is input as the minimum value L1 of the thickness in the projection direction of the rendering target area
  • 10.0 mm is input as the maximum value L2.
  • the minimum value L1 is the thickness in the projection direction of the rendering target area when displaying the rendering image as the initial image (basic image).
  • the maximum value L2 is an upper limit when processing for gradually increasing a rendering target area described later is performed.
  • the rendering target area defined by the minimum value L1 corresponds to the first area
  • the rendering target area defined by the maximum value L2 corresponds to the second area.
  • the minimum value may be set in advance to a value equivalent to the voxel size.
  • the first area is preferably included in the second area in order to display the same area when changing the rendering target area.
  • the initial image initially displayed in the display area 810 may be a basic image when the area to be rendered is the smallest.
  • the maximum value may be 2 mm or more in order to grasp the connection of the blood vessels.
  • the maximum value may be 10 mm or less so as not to render to a redundant area.
  • the control unit 323 may perform control not to accept an input or notification to notify an alert when a value not included in these ranges is input as a rendering target area.
  • the minimum value may be set in advance to a value equivalent to the voxel size.
  • the rendering target area may be defined by specifying the radius or diameter of the sphere.
  • the rendering target area may be defined by specifying the number of images (the number of frames) constituting the rendering target area.
  • the rendering target area may be defined by specifying the thickness of the rendering target area in at least one direction.
  • MIP maximum value projection
  • AIP mean value projection
  • MinIP minimum value projection
  • the reference position of the rendering target area which of the head position, the center position, and the tail end position is to be the reference position of the rendering target area is displayed as an option, and the center position is selected in the drawing. Further, the thickness in the projection direction from the end of the medical image data 1000 of the rendering target area to the reference position can be input, and 7.0 mm is input in the figure. That is, the center (reference position) of the rendering target area is input at a position of 7.0 mm in the projection direction (Z-axis direction) from the end of the medical image data 1000. In the process of gradually increasing the rendering target area described later, the direction in which the rendering target area is increased differs depending on which reference position is selected.
  • the rendering target area increases from the top to the bottom. Also, when the reference position is at the center, the rendering target area increases from the center to both the top and the tail. When the reference position is at the tail end, the rendering target area increases from the tail end to the head.
  • the user can directly input the number of seconds as the time (transition time) for transitioning the rendering target area from the minimum value to the maximum value.
  • 3.0 seconds is input as the condition.
  • the number of seconds to be input is preferably within a range of several seconds, preferably within 5 seconds, in order to proceed smoothly with the interpretation operation as a result of the study of the present inventor.
  • the control unit 323 may perform control to not receive input or control to display an alert.
  • the predetermined threshold value it is preferable to set the predetermined threshold value to a value smaller than 3 seconds in order to improve the efficiency of the image interpretation operation.
  • the predetermined threshold it is preferable to set a value larger than one second so that a change in the rendered image can be visually recognized.
  • the transition time may be determined as a result by inputting the amount of change per unit time of the rendering target area instead of directly inputting the transition time of the rendering target area. Any parameter that can determine the transition time of the rendering target area is included in the information indicating the transition time of the rendering target area.
  • the user can use a mouse to select the above option.
  • the user can use the keyboard to directly input numerical values as described above.
  • each rendering condition may be input by any method, such as text input to a text box, selection from a list box, and pressing of a button. Also, at least one of the rendering conditions may be set in advance.
  • FIG. 7 is a schematic view showing a rendering target area set in the medical image data 1000. As shown in FIG. The horizontal direction in the drawing corresponds to the Z-axis direction, and the vertical direction in the drawing corresponds to the X-axis direction or the Y-axis direction.
  • a rendering target area 1011 indicated by an alternate long and short dash line is a rendering target area when the thickness in the Z-axis direction is the minimum value L1.
  • the rendering target area 1012 indicated by the dotted line is the rendering target area when the thickness in the Z-axis direction is the maximum value L2.
  • the central position of the area is unified. That is, in any of the rendering target areas, the center of the rendering target area is the reference position.
  • the reference positions (head, center, and tail) of the rendering target area are defined based on the start point of the Z axis, but the reference positions of the rendering target area are defined based on the end point of the Z axis. May be The reference position may be set to any desired position, not limited to the head, center, and tail.
  • the display area 830 is a display area where thumbnail images of medical image data 1000 other than the medical image data 1000 acquired in step S410 are displayed. Medical image data selected by the user using the input device 360 from among the thumbnail images displayed in the display area 830 may be displayed in the display area 810. That is, the rendering image displayed in the display area 810 may be updated to a rendering image of medical image data selected from among the thumbnail images.
  • thumbnail image 831 is selected, and medical image data corresponding to the thumbnail image 831 is displayed in the display area 810.
  • the user can switch the thumbnail images displayed in the display area 830 sequentially by operating the thumbnail image forwarding icon 833.
  • the thumbnail images 831 and 832 displayed in the display area 830 may be images obtained by rendering the entire area of medical image data as a rendering target area so that the entire structure can be grasped in a short time.
  • the basic image displayed in the display area 810 may be a rendered image when the area to be rendered is the smallest.
  • thumbnail images of a plurality of medical image data 1000 stored in the external storage device 310 are displayed, and by selecting thumbnail images, medical image data to be used for processing in S430 and subsequent steps is acquired. It is also good.
  • the operation unit 322 generates a rendering image by rendering the medical image data 1000 based on the information representing the rendering condition input in step S420.
  • a rendering target area (first area) having a thickness of 0.5 mm in the Z-axis direction is defined with a position of 7.0 mm in the Z-axis direction from the end of the medical image data 1000 as the center.
  • the computing unit 322 generates a rendering image by MIP using the rendering target area as the projection direction in the Z-axis direction.
  • the control unit 323 outputs the rendering image generated by the calculation unit 322 to the display device 350 and causes the display device 350 to display the rendered image.
  • the MIP image generated when the thickness of the rendering target area is the minimum value (when the rendering target area is the first area) is referred to as a minimum MIP image.
  • the user performs an operation for changing the rendering target area using the input device 360 while the minimum MIP image is displayed.
  • the right click of the mouse as the input device 360 may be assigned to an operation for changing the rendering target area.
  • the control unit 323 receives an instruction signal (first instruction signal) for changing the rendering target area, which is transmitted from the input device 360 in accordance with the user's operation. For example, when the user continues pressing the right click of the mouse, the control unit 323 can continue to receive the first instruction signal.
  • the period in which the operation from the user is continued and the reception of the first instruction signal is referred to as the period in which the first instruction signal is received.
  • the arithmetic unit 322 performs rendering while gradually increasing the rendering target area from the minimum value L1 set in step S420 to the maximum value L2 while the first instruction signal started to be received in step S440 is received.
  • the computing unit 322 defines a plurality of rendering target areas corresponding to a plurality of thicknesses between the minimum value L1 and the maximum value L2, and generates rendering images corresponding to the respective rendering target areas. It is preferable that the computing unit 322 sequentially generate rendering images in the order in which the thickness of the rendering target area gradually increases from the minimum value L1.
  • the control unit 323 causes the display device 350 to display a plurality of rendering images sequentially generated by the calculation unit 322 as moving images in the order in which the thickness of the rendering target area gradually increases. In this way, the user can confirm the gradual transition from the minimum MIP image that is easy to understand the local structure of the imaging target to the image that is easy to understand the entire structure. Therefore, the change from the local structure to the entire structure of the imaging object Can be understood continuously.
  • the thickness of the rendering target area that decreases between frames is determined based on the moving image frame rate and the transition time, the minimum value L1, and the maximum value L2 set in S420. It is also good.
  • the frame rate may be set to 10 fps or more in order to visually recognize the moving image smoothly.
  • the frame rate may be set to 30 fps or more in order to visually recognize the moving image more smoothly.
  • FIG. 8 is a graph showing the relationship between the reception timing of the first instruction signal and the rendering target area.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started, and t2 is a timing when the reception of the first instruction signal is ended.
  • L1 is the minimum value of the thickness of the rendering target area set in step 420, and L2 is the maximum value of the thickness of the rendering target area set in step 420.
  • FIG. 8A while the first instruction signal is being received, the amount of change per unit time of the thickness of the region to be rendered is gradually increased constantly, and when reception of the first instruction signal is finished, the object to be rendered is The graph of the example which makes the thickness of an area
  • the change in thickness of the rendering target area is constant, the user can easily understand the passage of time and the amount of change in the rendering target area intuitively.
  • the thickness of the rendering target area is gradually decreased until reaching the minimum value L1 after the reception of the first instruction signal is finished, the change from the entire structure to the local structure is continuously grasped. Can.
  • the amount of change per unit time of the thickness of the rendering target area is different between when the rendering target area is gradually increased and when the rendering target area is gradually decreased.
  • the amount of change per unit time is larger when the region to be rendered is gradually reduced than when the region to be rendered is gradually increased.
  • FIG. 8B illustrates an example of displaying the minimum MIP image when the thickness of the rendering target area is the minimum value when the reception of the first instruction signal ends.
  • the period during which the first reception signal is received in FIG. 8B is the same as that in FIG. 8A.
  • the basic image (minimum MIP image) for confirming the local structure can be quickly returned after the confirmation of the entire structure is completed, the reading operation can be performed efficiently.
  • FIG. 8C is an example in which the amount of change in unit time of the thickness of the region to be rendered changes.
  • the amount of change per unit time gradually increases.
  • the amount of change per unit time gradually decreases. Therefore, it is preferable to gradually reduce the rendering target area by this method when it is desired to confirm changes in the local structure in a focused manner.
  • FIG. 8D is an example different from FIG. 8C in how the change amount of the unit time of the thickness of the region to be rendered changes.
  • the amount of change per unit time gradually decreases.
  • the amount of change per unit time gradually increases. Therefore, when it is desired to confirm changes in the overall structure in a focused manner, it is preferable to incrementally or gradually reduce the area to be rendered in this way.
  • the reception end of the first instruction signal is triggered as a trigger. Processing has ended. However, if the thickness of the rendering target area reaches the maximum value L2 before the reception of the first instruction signal ends, the processing gradually increases when the thickness of the rendering target area reaches the maximum value L2 You may complete the That is, when the reception of the first instruction signal is finished, or when the rendering target area reaches the maximum value L2 (second area), the processing of gradually increasing the rendering target area can be ended.
  • the rendering target area may be changed in any way as long as the rendering target area gradually increases during the period in which the first instruction signal is received. Also, even if each control of the rendering target area during the period in which the first instruction signal described in FIG. 8 is received and each control of the rendering target area after receiving the first instruction signal are arbitrarily combined. Good.
  • FIGS. 9B to 9F show changes in the rendered image when the area to be rendered is changed in the sequence shown in FIG. 9A.
  • FIG. 9B shows a rendering image (minimum MIP image) when the thickness of the region to be rendered prior to timing t1 is the minimum value L1.
  • FIG. 9C shows a rendered image of the rendering target area corresponding to the timing t3 after the timing t1 and before the thickness of the rendering target area reaches the maximum value L2.
  • FIG. 9D shows a rendering image (maximum MIP image) of the rendering target area (maximum value L2) corresponding to the timing t2.
  • the MIP image generated when the thickness of the rendering target area is the maximum value (when the rendering target area is the second area) is referred to as a maximum MIP image.
  • the blood vessels 101, 102, and 103 are displayed with continuity on the maximum MIP image, and it is possible to grasp the blood vessel traveling and the like.
  • the image of the blood vessel 104 which is not represented in the MIP image shown in FIG. 9C or FIG. 9D is displayed.
  • the blood vessel 104 is a blood vessel which overlaps the blood vessel 103 in the Z-axis direction and is not represented when projected at the maximum value.
  • FIG. 9E shows a rendering image of the rendering target area corresponding to the timing t4 after the timing t2 and before the thickness of the rendering target area reaches the minimum value L1.
  • FIG. 9F shows a rendering image displayed after the thickness of the rendering target area reaches the minimum value L1.
  • the rendering image shown in FIG. 9 (f) is the same as the rendering image shown in FIG. 9 (b) and is a minimum MIP image.
  • the rendering target area gradually decreases, and it is possible to continuously grasp the change from the entire structure of the imaging target to the local structure.
  • an image display method based on photoacoustic image data which is volume data derived from photoacoustic waves has been described, but in the image display method according to the present embodiment, volume data other than photoacoustic image data is used. Can also be applied.
  • the image display method according to the present embodiment may be applied to volume data obtained by modalities such as an ultrasonic diagnostic apparatus, an MRI apparatus, an X-ray CT apparatus, and a PET apparatus.
  • the image display method according to the present embodiment can be suitably applied to volume data including image data representing a blood vessel.
  • the blood vessel has a complicated structure, and it is not possible to estimate how the blood vessel travels in the cross-sectional image.
  • volume data including image data representing a blood vessel can be suitably applied to volume data including image data representing a blood vessel.
  • volume data including image data representing blood vessels at least one of photoacoustic image data, MR angiography (MRA) image data, X-ray CT angiography (CTA) image data, and Doppler image data can be applied.
  • MRA MR angiography
  • CTA X-ray CT angiography
  • Doppler image data can be applied as volume data including image data representing blood vessels.
  • a rendered image may be displayed using medical image data of a plurality of image types.
  • a rendered image generated using medical image data of a certain image type is used as a base image, and a rendered image is generated according to the method described in the present embodiment using medical image data of an image type different from this
  • a composite image may be generated by combining an additional rendering image based on additional medical image data with medical image data to which the rendering of the present embodiment is applied, and may be displayed.
  • a parallel image or the like may be adopted as the composite image.
  • the reference position of the additional rendering image may correspond to the reference position of the rendering image to which the rendering of this embodiment is applied.
  • the rendering target area of the additional rendering image may be the area (first area) at the minimum value. That is, the reference position and the rendering target area of the minimum MIP image according to the present embodiment may be interlocked with the reference position and the rendering target area of the additional rendering image.
  • the rendering image of the present embodiment is applied to photoacoustic image data in which a blood vessel is drawn, using a rendered image of MRI image data or ultrasound image data including a tumor image as a base image, and the area to be rendered changes. The rendered image may be superimposed. As a result, since the tumor image shown in the base image is fixed, the positional relationship between blood vessels and the tumor around the tumor can be easily grasped.
  • the additional rendered image may be generated based on data representing the position of a region of interest such as a tumor.
  • the data representing the position of the region of interest may be coordinates or a function representing the contour of the region of interest, or image data in which image values are assigned to the region where the region of interest is present.
  • Second Embodiment a case will be described in which the rendering target area reaches the maximum value before the reception of the first instruction signal (a signal based on an instruction representing a gradual increase from the user) is ended.
  • the present embodiment will be described using an apparatus similar to that of the first embodiment, and the same configuration will be assigned the same reference numeral and detailed description thereof will be omitted.
  • FIG. 10 is a graph showing the relationship between the reception timing of the instruction signal and the rendering target area according to the present embodiment.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started
  • t2 is a timing when the reception of the first instruction signal is ended.
  • ⁇ is the transition time set in step S420
  • t6 is the timing when the transition time ⁇ (predetermined period) has elapsed from the start of reception of the first instruction signal.
  • L1 is the minimum value of the thickness of the rendering target area set in step 420
  • L2 is the maximum value of the thickness of the rendering target area set in step 420.
  • FIG. 10 shows an example in which the user continues the operation for gradually increasing the thickness even after the thickness of the rendering target area reaches the maximum value L2.
  • the processing for gradually increasing the rendering target area is ended. That is, when the transition time ⁇ elapses from the start of reception of the first instruction signal, the rendering target area is gradually increased such that the thickness of the rendering target area becomes the maximum value L2 (second area). . Subsequently, after the thickness of the rendering target area reaches the maximum value L2, and during the period in which the first instruction signal is received, the display of the maximum MIP image is continued.
  • FIG. 10A when the reception of the first instruction signal is finished while the largest MIP image is displayed, the thickness of the region to be rendered is gradually reduced until the minimum value L1 is reached.
  • FIG. 10B when the reception of the first instruction signal ends while the largest MIP image is displayed, the display is switched from the largest MIP image to the smallest MIP image.
  • FIG. 10C when the maximum MIP image is displayed, when the reception of the first instruction signal is finished, the thickness of the rendering target area is gradually reduced until the minimum value L1 is reached. In FIG. 10C, the thickness of the rendering target area is gradually reduced to the minimum value L1 while gradually reducing the amount of change in thickness of the rendering target area.
  • the maximum MIP image is displayed.
  • the user can make a transition to an image representing a local structure by a simple operation while sufficiently grasping the entire structure by a simple operation.
  • the control of the rendering target area when the transition time ⁇ has elapsed since the start of reception of the first instruction signal is not limited to this example.
  • the rendering target area may be gradually decreased until the minimum value L1 is reached regardless of the reception of the first instruction signal.
  • the maximum MIP image may be switched to the minimum MIP image regardless of the reception of the first instruction signal.
  • the timing of starting the gradual increase processing is not limited thereto.
  • the information processing device 320 may start the gradual increase process when the predetermined period has elapsed since the reception of the instruction signal according to the image sending operation has ended.
  • the gradual increase process may end when the transition time ⁇ has elapsed from the start of the gradual increase process.
  • the operation of scrolling the wheel of the mouse as the input device 360 may be assigned to the operation of image advance.
  • the moving image display of the rendered image for grasping the entire structure is performed.
  • the period from the end of image sending to the transition to the gradual increase processing may be set in advance, or may be designated by the user using the input device 360.
  • the user after the completion of the reception of the first instruction signal, or after the rendering target area reaches the maximum value, the user gradually increases again during the process of gradually reducing the rendering target area.
  • the case of performing the operation will be described.
  • the rendering target area is being gradually reduced, the user performs an operation, and when the information processing device 320 receives the second instruction signal accompanying this operation, the processing for gradually increasing the rendering target area is executed again.
  • the present embodiment will be described using an apparatus similar to that of the first embodiment, and the same configuration will be assigned the same reference numeral and detailed description thereof will be omitted.
  • FIG. 11 is a graph showing the relationship between the reception timing of the instruction signal and the rendering target area according to the present embodiment.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started
  • t2 is a timing when the reception of the first instruction signal is ended.
  • ⁇ is the transition time set in step S420
  • t6 is the timing when the transition time ⁇ (predetermined period) has elapsed from the start of reception of the first instruction signal.
  • t7 is the timing when the reception of the second instruction signal is started by the operation from the user after the timing t2.
  • L1 is the minimum value of the thickness of the rendering target area set in step 420
  • L2 is the maximum value of the thickness of the rendering target area set in step 420.
  • FIG. 11 is an example of the case where the user performs the operation for gradually increasing the thickness again while the reception of the first instruction signal is finished and the thickness of the rendering target area is gradually reduced.
  • the process of gradually reducing the rendering target area is ended.
  • the rendering target area is gradually increased until the maximum value L2 is reached during a period in which the re-operation from the user continues (that is, a period in which the second instruction signal is received).
  • the transition time ⁇ the amount of change per unit time of the region to be rendered varies in each operation.
  • the change amount per unit time of the rendering target area when performing the gradual increase processing again it is preferable to apply the change amount set in the first gradual increase processing.
  • the user when performing the gradual increase processing a plurality of times by a plurality of operations, the user can confirm the moving image of the rendering image in which the rendering target area gradually increases without a sense of discomfort between the operations.
  • the operation for the user to gradually increase the thickness is performed when the process of ending the reception of the first instruction signal and gradually reducing the rendering target area is executed before the transition time ⁇ elapses from the timing t1.
  • the incremental processing can be repeated in the same manner as in the case where it is performed. That is, even when the rendering target area is between the minimum value L1 and the maximum value L2, the gradual increase process and the gradual decrease process are repeatedly performed depending on whether reception of the first instruction signal is continued or not. be able to.
  • FIG. 12 shows a schematic view of photoacoustic image data 1200 representing volume data generated based on the received signal of the photoacoustic wave.
  • the photoacoustic image data 1200 shown in FIG. 12 includes image data corresponding to the blood vessels 1201 to 1204. As shown in FIG. 12, the blood vessels 1201 to 1204 travel in a three-dimensional direction in the XYZ space.
  • FIG. 13A is a schematic view of the photoacoustic image data 1200 as in FIG. In FIG. 13A, the position of the XY cross section 1300 is also displayed.
  • FIG. 13B shows a rendered image 1310 generated by rendering the entire area of the photoacoustic image data 1200 in the Z-axis direction according to Maximum Intensity Projection (MIP).
  • MIP Maximum Intensity Projection
  • the rendered image 1310 shown in FIG. 13B by rendering the entire area of the photoacoustic image data 1200, the continuity of the blood vessels 1201 to 1203 can be grasped.
  • the blood vessel 1204 since the blood vessel 1204 is thinner than the blood vessel 1203 and has a small image value, the blood vessel 1204 can not be hidden behind the projection image of the blood vessel 1203 for visual recognition. That is, by rendering, it becomes difficult to grasp information in the depth direction (projection direction, Z-axis direction) of the photoacoustic image data 1200. Therefore, the user who has confirmed the rendered image may misidentify the position of the blood vessel.
  • the photoacoustic image data when the photoacoustic image data is rendered, the visibility of the blood vessel may be reduced by background noise (not shown).
  • FIG. 13C shows a cross-sectional image 1320 corresponding to the XY cross section 1300 of the photoacoustic image data 1200 of FIG. 13A.
  • the cross-sectional image 1320 can be said to be a rendered image obtained by projecting the photoacoustic image data 1200 of the XY cross section 1300 in the Z-axis direction.
  • the rendered images of the blood vessels 1201 to 1203 in FIG. 2B are displayed in gray in order to make it easy to understand the positional relationship of the blood vessels in the cross-sectional image 1320, but these are displayed on the actual cross-sectional image 1320 Absent.
  • the blood vessel 1321 is a part of the blood vessel 1201
  • the blood vessel 1322 is a part of the blood vessel 1202
  • the blood vessel 1323 is a part of the blood vessel 1203
  • the blood vessel 1324 is a part of the blood vessel 1204.
  • the blood vessel 1204 could not be viewed in the rendered image 1310, but in the cross-sectional image 1320, a portion of the structure could be viewed.
  • the blood vessels are displayed as points in the cross-sectional image, it is difficult to grasp the continuity of the blood vessels, that is, the entire structure of the imaging target. Therefore, even when the cross-sectional image is to be confirmed by changing the position of the cross-section, it is difficult to observe while assuming the traveling state of the blood vessel.
  • the rendering target area refers to an area (data address) to be rendered when three-dimensional medical image data is rendered.
  • the inventor has found an information processing method capable of comparing a plurality of rendering images having different rendering target areas without performing a complicated operation. That is, when the present inventor is displaying the rendering image 210 that makes it easy to understand the overall structure as shown in FIG. 13B, the user gives an instruction, and the rendering target area is displayed while the instruction signal is being received.
  • the control unit 323 causes the display device 350 to display the list of medical image data 1000 stored in the external storage device 310.
  • the user uses the input device 360 to select the photoacoustic image data 100 from the list of medical image data 1000 displayed on the display device 350.
  • the control unit 323 as an image data acquisition unit reads and acquires the photoacoustic image data 100 as the medical image data 1000 from the external storage device 310, and stores the acquired photoacoustic image data 100 in the storage unit 321.
  • the medical image data 1000 as volume data may be a three-dimensional image composed of a plurality of cross-sectional images.
  • the form has been described in which the medical image data 1000 already captured by the modality is read from the external storage device 310.
  • the modality starts imaging based on an instruction signal from the control unit 323 to generate the medical image data 1000, and the control unit 323 as an image data acquisition unit receives the medical image data 1000 output from the modality. It may be acquired by
  • the control unit 323 causes the display device 350 to display a GUI for inputting rendering conditions.
  • Specific rendering conditions include the projection direction (X, Y, Z directions), the area to be rendered (thickness (distance), the number of images, reference position), the rendering method (maximum value projection method, average value projection method, minimum value Projection, volume rendering, surface rendering etc.
  • the rendering target area is gradually reduced (displayed).
  • the change time of the rendering target area can also be set. According to the set time, it is possible to display an image in which the area to be rendered is gradually reduced.
  • FIG. 15 shows a specific example of a GUI (Graphical User Interface) displayed on the display device 350 after the medical image data 1000 is selected in step S1410.
  • GUI Graphic User Interface
  • the display area 1510 is an area where a rendered image of the medical image data 1000 is displayed.
  • a display area 1520 is a display area on which a widget such as a button, a list box, or a text box for the user to input rendering conditions using the input device 360 is displayed.
  • a widget such as a button, a list box, or a text box for the user to input rendering conditions using the input device 360 is displayed.
  • widgets for inputting a projection direction, an area to be rendered, a rendering method, a reference position, and a transition time are displayed.
  • the X, Y, and Z directions are displayed as options, and the Z direction is selected in the drawing.
  • the user can directly input the thickness (distance) L in the projection direction of the area to be rendered as a numerical value.
  • a value of 10.0 mm is input as the maximum value L2 of the thickness in the projection direction of the rendering target area, and 0.5 mm is input as the minimum value L1.
  • the maximum value L2 is the thickness in the projection direction of the rendering target area when displaying the rendering image as the initial image (basic image).
  • the minimum value L1 is a lower limit when the process of gradually reducing the rendering target area described later is performed.
  • the rendering target area defined by the maximum value L2 corresponds to the second area
  • the rendering target area defined by the minimum value L1 corresponds to the first area.
  • the minimum value may be set in advance to a value equivalent to the voxel size.
  • the first area is included in the second area so that the same area is displayed when the rendering target area is changed.
  • the maximum value may be 2 mm or more in order to grasp the connection of the blood vessels. In addition, the maximum value may be 10 mm or less so as not to render to a redundant area.
  • the control unit 323 may perform control not to accept an input or notification to notify an alert when a value not included in these ranges is input as a rendering target area.
  • the minimum value may be set in advance to a value equivalent to the voxel size.
  • the rendering target area may be defined by specifying the radius or diameter of the sphere.
  • the rendering target area may be defined by specifying the number of images (the number of frames) constituting the rendering target area.
  • the rendering target area may be defined by specifying the thickness of the rendering target area in at least one direction.
  • MIP maximum value projection
  • AIP mean value projection
  • MinIP minimum value projection
  • the reference position of the rendering target area which of the head position, the center position, and the tail end position is to be the reference position of the rendering target area is displayed as an option, and the center position is selected in the drawing. Further, the thickness in the projection direction from the end of the medical image data 1000 of the rendering target area to the reference position can be input, and 7.0 mm is input in the figure. That is, the center (reference position) of the rendering target area is input at a position of 7.0 mm in the projection direction (Z-axis direction) from the end of the medical image data 1000. In the process of gradually reducing the rendering target area described later, the direction in which the rendering target area is reduced differs depending on which reference position is selected.
  • the rendering target area decreases from the tail to the head.
  • the rendering target area decreases from both the head and the tail toward the center.
  • the rendering target area decreases from the top to the tail end.
  • the user can directly input the number of seconds as the time (transition time) for transitioning the rendering target area from the maximum value to the minimum value.
  • 3.0 seconds is input as the condition.
  • the number of seconds to be input is preferably within a range of several seconds, preferably within 5 seconds, in order to proceed smoothly with the interpretation operation as a result of the study of the present inventor.
  • the control unit 323 may perform control to not receive input or control to display an alert.
  • the predetermined threshold value it is preferable to set the predetermined threshold value to a value smaller than 3 seconds in order to improve the efficiency of the image interpretation operation.
  • the predetermined threshold it is preferable to set a value larger than one second so that a change in the rendered image can be visually recognized.
  • the transition time may be determined as a result by inputting the amount of change per unit time of the rendering target area instead of directly inputting the transition time of the rendering target area. Any parameter that can determine the transition time of the rendering target area is included in the information indicating the transition time of the rendering target area.
  • the user can use a mouse to select the above option.
  • the user can use the keyboard to directly input numerical values as described above.
  • each rendering condition may be input by any method, such as text input to a text box, selection from a list box, and pressing of a button. Also, at least one of the rendering conditions may be set in advance.
  • a rendering target area 1011 indicated by a dotted line is a rendering target area when the thickness in the Z-axis direction is the maximum value L2.
  • a rendering target area 1012 indicated by an alternate long and short dash line is a rendering target area when the thickness in the Z-axis direction is the minimum value L1.
  • the central position of the area is unified. That is, in any of the rendering target areas, the center of the rendering target area is the reference position.
  • the reference positions (head, center, and tail) of the rendering target area are defined based on the start point of the Z axis, but the reference positions of the rendering target area are defined based on the end point of the Z axis. May be
  • the reference position may be set to any desired position, not limited to the head, center, and tail.
  • the display area 1530 is a display area in which thumbnail images of medical image data 1000 other than the medical image data 1000 acquired in step S410 are displayed. Medical image data selected by the user using the input device 360 from among the thumbnail images displayed in the display area 1530 may be displayed in the display area 1510. That is, the rendering image displayed in the display area 810 may be updated to a rendering image of medical image data selected from among the thumbnail images.
  • the thumbnail image 1531 is selected, and medical image data corresponding to the thumbnail image 1531 is displayed in the display area 1510.
  • the user can switch the thumbnail images displayed in the display area 830 sequentially by operating the thumbnail image forwarding icon 1533.
  • thumbnail images of a plurality of medical image data 1000 stored in the external storage device 310 are displayed, and by selecting thumbnail images, medical image data to be used for processing in S430 and subsequent steps is acquired. It is also good.
  • the computing unit 322 generates a rendering image by rendering the medical image data 1000 based on the information representing the rendering condition input in step S1420.
  • a rendering target area (second area) having a thickness of 10.0 mm in the Z-axis direction is defined with a position of 7.0 mm in the Z-axis direction from the end of the medical image data 1000 as the center.
  • the computing unit 322 generates a rendering image by MIP using the rendering target area as the projection direction in the Z-axis direction.
  • the control unit 323 outputs the rendering image generated by the calculation unit 322 to the display device 350 and causes the display device 350 to display the rendered image.
  • the MIP image generated when the thickness of the rendering target area is the maximum value (when the rendering target area is the second area) is referred to as a maximum MIP image.
  • the user performs an operation for changing the rendering target area using the input device 360 when the largest MIP image is displayed. For example, the right click of the mouse as the input device 360 may be assigned to an operation for changing the rendering target area.
  • the control unit 323 receives an instruction signal (first instruction signal) for changing the rendering target area, which is transmitted from the input device 360 in accordance with the user's operation. For example, when the user continues pressing the right click of the mouse, the control unit 323 can continue to receive the first instruction signal.
  • the period in which the operation from the user is continued and the reception of the first instruction signal is referred to as the period in which the first instruction signal is received.
  • the arithmetic unit 322 performs rendering while gradually reducing the rendering target area from the maximum value L2 set in step S1420 to the minimum value L1 while the first instruction signal started to be received in step S1440 is received.
  • the computing unit 322 defines a plurality of rendering target areas corresponding to a plurality of thicknesses between the maximum value L2 and the minimum value L1, and generates rendering images corresponding to the respective rendering target areas. It is preferable that the computing unit 322 sequentially generate rendering images in the order in which the thickness of the rendering target area gradually decreases from the maximum value L2.
  • the control unit 323 causes the display device 350 to display a plurality of rendering images sequentially generated by the calculation unit 322 as moving images in the order in which the thickness of the rendering target area gradually decreases. This allows the user to confirm the gradual transition from the maximum MIP image that is easy to understand the overall structure of the imaging target to the image that is easy to understand the local structure, so the change from the overall structure of the imaging object to the local structure Can be grasped continuously.
  • the thickness of the rendering target area that decreases between frames is determined based on the moving image frame rate and the transition time, maximum value L2, and minimum value L1 set in S1420. It is also good.
  • the frame rate may be set to 10 fps or more in order to visually recognize the moving image smoothly.
  • the frame rate may be set to 30 fps or more in order to visually recognize the moving image more smoothly.
  • FIG. 16 is a graph showing the relationship between the reception timing of the first instruction signal and the region to be rendered.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started, and t2 is a timing when the reception of the first instruction signal is ended.
  • L2 is the maximum value of the thickness of the rendering target area set in S1420, and L1 is the minimum value of the thickness of the rendering target area set in S1420.
  • FIG. 16A while the first instruction signal is being received, the amount of change per unit time of the thickness of the region to be rendered is gradually reduced by a constant amount, and when reception of the first instruction signal is finished, the object is rendered.
  • the graph of the example which makes the thickness of a field increase gradually at a fixed rate is shown.
  • the change in thickness of the rendering target area is constant, the user can easily understand the passage of time and the amount of change in the rendering target area intuitively.
  • the thickness of the rendering target area is gradually increased until the maximum value L2 is reached after the reception of the first instruction signal is completed, the change from the local structure to the entire structure is continuously grasped. Can.
  • the amount of change per unit time of the thickness of the rendering target area is different between when the rendering target area is gradually reduced and when the rendering target area is gradually increased.
  • the amount of change per unit time is larger when the region to be rendered is gradually increased than when the region to be rendered is gradually decreased.
  • FIG. 16B shows an example of displaying the largest MIP image when the thickness of the region to be rendered is the maximum value when the reception of the first instruction signal is completed. About the period which is receiving the 1st received signal in FIG. 16B, it is the same as that of FIG. 16A. In this example, after the confirmation of the local structure is completed, it is possible to quickly return to the basic image (maximum MIP image) for confirming the entire structure, so that the interpretation operation can be performed efficiently.
  • FIG. 16C is an example in which the amount of change in unit time of the thickness of the region to be rendered changes.
  • the amount of change per unit time gradually increases.
  • the amount of change per unit time gradually decreases. Therefore, it is preferable to gradually increase the rendering target area by this method when it is desired to confirm changes in the overall structure in a focused manner.
  • FIG. 16D is an example different from FIG. 16C in how the change amount of the unit time of the thickness of the rendering target area is changed.
  • the amount of change per unit time gradually decreases.
  • the amount of change per unit time gradually increases. Therefore, it is preferable to gradually reduce or gradually increase the region to be rendered in this way, when it is desired to confirm changes in local structure in a focused manner.
  • the reception end of the first instruction signal is used as a trigger. Processing has ended. However, if the thickness of the rendering target area reaches the minimum value L1 before the reception of the first instruction signal ends, the processing gradually decreases when the thickness of the rendering target area reaches the minimum value L1. You may complete the That is, when the reception of the first instruction signal ends, or when the rendering target area reaches the minimum value L1 (first area), the process of gradually reducing the rendering target area can be ended.
  • the rendering target area may be changed by any method as long as the rendering target area gradually decreases during the period in which the first instruction signal is received. In addition, even if each control of the rendering target area during the period when the first instruction signal described in FIG. 16 is received and each control of the rendering target area after receiving the first instruction signal are arbitrarily combined. Good.
  • FIGS. 17 (b) to 17 (f) show changes in the rendered image when the rendering target area is changed in the sequence shown in FIG. 17 (a).
  • a rendered image of blood vessels projected on the entire area in the Z-axis direction is superimposed and displayed in gray, but it is not displayed in the actual image.
  • FIG. 17B shows a rendering image (maximum MIP image) when the thickness of the rendering target area before timing t1 is the maximum value L2.
  • the blood vessels 171, 172, and 173 are displayed with continuity on the maximum MIP image, and it is possible to grasp the blood vessel traveling and the like.
  • FIG. 17C shows a rendered image of the rendering target area corresponding to the timing t3 after the timing t1 and before the thickness of the rendering target area reaches the minimum value L1.
  • FIG. 17D shows a rendering image (minimum MIP image) of the rendering target area (minimum value L1) corresponding to the timing t2.
  • the MIP image generated when the thickness of the rendering target area is the minimum value (when the rendering target area is the first area) is referred to as a minimum MIP image.
  • a minimum MIP image In the minimum MIP image shown in FIG. 17 (d), an image of the blood vessel 174 not displayed in the MIP image shown in FIG. 17 (b) or 17 (c) is displayed.
  • the blood vessel 174 overlaps the blood vessel 173 in the Z-axis direction, and is a blood vessel that was not represented when the maximum value was projected.
  • FIG. 17E shows a rendered image of the rendering target area corresponding to the timing t4 after the timing t2 and before the thickness of the rendering target area reaches the maximum value L2.
  • FIG. 17F shows a rendering image displayed after the thickness of the rendering target area reaches the maximum value L2.
  • the rendered image shown in FIG. 17 (f) is the same as the rendered image shown in FIG. 17 (b) and is the largest MIP image.
  • the rendering target area gradually increases, and it is possible to continuously grasp the change from the entire structure to the local structure. That is, the user can transition to the maximum MIP image, which is a basic image, while following the travel route of the blood vessel.
  • an image display method based on photoacoustic image data which is volume data derived from photoacoustic waves has been described, but in the image display method according to the present embodiment, volume data other than photoacoustic image data is used. Can also be applied.
  • the image display method according to the present embodiment may be applied to volume data obtained by modalities such as an ultrasonic diagnostic apparatus, an MRI apparatus, an X-ray CT apparatus, and a PET apparatus.
  • the image display method according to the present embodiment can be suitably applied to volume data including image data representing a blood vessel.
  • the blood vessel has a complicated structure, and it is not possible to estimate how the blood vessel travels in the cross-sectional image.
  • volume data including image data representing a blood vessel can be suitably applied to volume data including image data representing a blood vessel.
  • volume data including image data representing blood vessels at least one of photoacoustic image data, MR angiography (MRA) image data, X-ray CT angiography (CTA) image data, and Doppler image data can be applied.
  • MRA MR angiography
  • CTA X-ray CT angiography
  • Doppler image data can be applied as volume data including image data representing blood vessels.
  • a rendered image may be displayed using medical image data of a plurality of image types.
  • a rendered image generated using medical image data of a certain image type is used as a base image, and a rendered image is generated according to the method described in the present embodiment using medical image data of an image type different from this
  • a composite image may be generated by combining an additional rendering image based on additional medical image data with medical image data to which the rendering of the present embodiment is applied, and may be displayed.
  • a parallel image or the like may be adopted as the composite image.
  • a rendering image to be a base image can be functioned as an image to be a reference by fixing a rendering target area.
  • the rendering image of the present embodiment is applied to photoacoustic image data in which a blood vessel is drawn, using a rendered image of MRI image data or ultrasound image data including a tumor image as a base image, and the area to be rendered changes.
  • the rendered image may be superimposed.
  • the rendering target area reaches the minimum value before the reception of the first instruction signal (a signal based on an instruction indicating a gradual decrease from the user) is ended.
  • the present embodiment will be described using the same apparatus as in the first to fourth embodiments, and the same reference numerals are given to the same components and detailed description will be omitted.
  • FIG. 18 is a graph showing the relationship between the reception timing of the instruction signal and the rendering target area according to the present embodiment.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started
  • t2 is a timing when the reception of the first instruction signal is ended.
  • ⁇ is the transition time set in S1420
  • t6 is the timing when the transition time ⁇ (predetermined period) has elapsed from the start of reception of the first instruction signal.
  • L2 is the maximum value of the thickness of the rendering target area set in S1420
  • L1 is the minimum value of the thickness of the rendering target area set in S1420.
  • FIG. 18 shows an example where the user continues the operation to gradually reduce the thickness even after the thickness of the rendering target area reaches the minimum value L1.
  • the processing for gradually reducing the rendering target area is ended. That is, when the transition time ⁇ elapses from the start of reception of the first instruction signal, the rendering target area is gradually reduced so that the thickness of the rendering target area becomes the minimum value L1 (first area). . Subsequently, after the thickness of the rendering target area reaches the minimum value L1, and during the period when the first instruction signal is received, the display of the minimum MIP image is continued.
  • FIG. 18A when the minimum MIP image is displayed, the thickness of the area to be rendered is gradually increased until the maximum value L2 is reached when the reception of the first instruction signal is completed.
  • FIG. 18B when the reception of the first instruction signal ends while the minimum MIP image is displayed, the display is switched from the minimum MIP image to the maximum MIP image.
  • FIG. 18C when the reception of the first instruction signal is finished while the minimum MIP image is displayed, the thickness of the region to be rendered is gradually increased until the maximum value L2 is reached.
  • the thickness of the rendering target area is gradually increased to the maximum value L2 while gradually increasing the amount of change in thickness of the rendering target area.
  • the minimum MIP image is displayed.
  • the user can smoothly transition to an image representing the entire structure while sufficiently grasping the local structure with easy operation.
  • the control of the rendering target area when the transition time ⁇ has elapsed since the start of reception of the first instruction signal is not limited to this example.
  • the rendering target area may be gradually increased until the maximum value L2 is reached regardless of the reception of the first instruction signal.
  • the minimum MIP image may be switched to the maximum MIP image regardless of the presence or absence of the reception of the first instruction signal.
  • the timing of starting the gradual reduction processing is not limited thereto.
  • the gradual reduction process may be started. That is, the information processing device 320 may start the gradual reduction process when the predetermined period has elapsed since the reception of the instruction signal according to the image sending operation has ended. In this case, the gradual reduction process may be ended when the transition time ⁇ has elapsed from the start of the gradual reduction process.
  • the operation of scrolling the wheel of the mouse as the input device 360 may be assigned to the operation of image advance.
  • the moving image display of the rendered image for grasping the local structure can be transferred to
  • the period from the end of image feeding to the gradual reduction process may be set in advance, or the user may use the input device 360 to instruct.
  • FIG. 19 is a graph showing the relationship between the reception timing of the instruction signal and the rendering target area according to the present embodiment.
  • the horizontal axis represents time, and the vertical axis represents the thickness of the rendering target area.
  • t1 is a timing when the reception of the first instruction signal is started
  • t2 is a timing when the reception of the first instruction signal is ended.
  • ⁇ is the transition time set in S1420
  • t6 is the timing when the transition time ⁇ (predetermined period) has elapsed from the start of reception of the first instruction signal.
  • t7 is the timing when the reception of the second instruction signal is started by the operation from the user after the timing t2.
  • L2 is the maximum value of the thickness of the rendering target area set in S1420
  • L1 is the minimum value of the thickness of the rendering target area set in S1420.
  • FIG. 19 shows an example in which the user has again performed an operation for gradually reducing the thickness while ending the reception of the first instruction signal and gradually increasing the thickness of the rendering target area.
  • the process of gradually increasing the rendering target area ends at timing t7 when the user performs a re-operation.
  • the rendering target area is gradually decreased until the minimum value L1 is reached during a period in which the re-operation from the user continues (that is, a period in which the second instruction signal is received).
  • the transition time ⁇ the amount of change per unit time of the region to be rendered varies with each operation.
  • the amount of change per unit time of the rendering target area when the gradual reduction processing is performed again it is preferable to apply the amount of change set in the first gradual reduction processing.
  • the process of ending the reception of the first instruction signal and gradually increasing the rendering target area is performed before the transition time ⁇ elapses from the timing t1, the user performs an operation for gradually decreasing the thickness.
  • the reduction process can be repeated similarly when it is performed. That is, even when the rendering target area is between the maximum value L2 and the minimum value L1, the gradual reduction process and the gradual increase process are repeatedly performed depending on whether or not reception of the first instruction signal is continued. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明に係る情報処理装置は、第１の領域をレンダリング対象領域として三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第１の指示信号を受信している期間に、レンダリング対象領域を第１の領域から第２の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示手段に表示させ、第１の指示信号の受信を終了したとき、または、レンダリング対象領域が第２の領域に達したときにレンダリング対象領域を漸増させる処理を終了する。

Description

情報処理装置、情報処理方法、プログラム
　本発明は、三次元医用画像データに基づいた画像を表示させる情報処理装置に関する。
　医用画像診断装置（モダリティ）により生成された三次元医用画像データ（ボリュームデータ）に基づいた画像を表示する技術が知られている。
　特開２０１３－１７６４１４号公報は、光音響イメージング法により三次元画像データ（ボリュームデータ）を取得することを開示する。また、特開２０１３－１７６４１４号公報は、三次元画像データに対して最大値投影法やボリュームレンダリングを行うことにより、画像を表示させることを開示する。
　しかしながら、三次元画像データをレンダリングして表示すると、特定の方向の情報を把握しにくくなってしまう場合がある。この場合、レンダリング画像を確認したユーザーが、被検体の構造を誤認してしまう可能性がある。
　本発明は、上記課題に鑑みてなされたものであり、ユーザーが被検体の構造を容易に把握することのできる三次元医用画像データのレンダリング画像を表示させる情報処理装置を提供することを目的とする。
　本発明に係る情報処理装置は、三次元医用画像データを取得する画像データ取得手段と、レンダリング対象領域の三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させる表示制御手段と、を有し、表示制御手段は、第１の領域をレンダリング対象領域として三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第１の指示信号を受信している期間に、レンダリング対象領域を第１の領域から第２の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示手段に表示させ、第１の指示信号の受信を終了したとき、または、レンダリング対象領域が第２の領域に達したときにレンダリング対象領域を漸増させる処理を終了する。
光音響画像データを示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 第１の実施形態に係る情報処理システムを示すブロック図。 第１の実施形態に係る情報処理システムの具体的な構成を示すブロック図。 第１の実施形態に係る情報処理方法のフロー図。 第１の実施形態に係るＧＵＩを示す模式図。 第１の実施形態に係るレンダリング対象領域を示す模式図。 第１の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第１の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第１の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第１の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第１の実施形態に係るレンダリング画像の表示例を示す模式図。 第２の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第２の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第２の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第３の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 光音響画像データを示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 光音響画像データに基づいたレンダリング画像の例を示す模式図。 第４の実施形態に係る情報処理方法のフロー図。 第４の実施形態に係るＧＵＩを示す模式図。 第４の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第４の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第４の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第４の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第４の実施形態に係るレンダリング画像の表示例を示す模式図。 第５の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第５の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第５の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。 第６の実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフ。
　本発明は、３次元空間の医用画像データであるボリュームデータに基づいたレンダリング画像を表示させる情報処理装置に関する発明である。光音響装置、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られる医用画像データに、本発明を適用することができる。特に、光照射により発生した光音響波に由来する光音響画像データに基づいたレンダリング画像を表示させる光音響装置に対して、本発明を好適に適用することができる。光音響イメージングにおいては、全方位から音響波を受信できない限り、Ｌｉｍｉｔｅｄ－Ｖｉｅｗの影響で撮影対象の構造を完全に再現することができない。そのため、光音響画像データに含まれる血管などの構造が途切れて再構成されてしまう可能性がある。このような構造の途切れを抑制して表示するために、光音響画像データをレンダリングして表示するときに本発明を好適に適用することができる。以下、光吸収係数の３次元空間分布を表す光音響画像データを例に説明する。
　なお、光音響画像データは、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数、生体を構成する物質の濃度（酸素飽和度など）などの少なくとも一つの被検体情報の３次元空間分布を表すボリュームデータである。
　図１は、光音響画像データ１００の模式図を示す。図１に示す光音響画像データ１００には、血管１０１、１０２、１０３、及び１０４に対応する画像データが含まれている。また、光音響画像データ１００に含まれる画像データではないが、腫瘍１１１に対応する模式図を便宜上点線で示している。血管１０４は、腫瘍１１１に入り込んでいる血管である。一方、血管１０１、１０２、及び１０３は、腫瘍１１１に入り込んでいない血管である。なお、腫瘍１１１の領域を表す情報については、超音波画像データやＭＲＩ画像データ等の腫瘍を撮像対象とした医用画像データに基づいて、画像処理やユーザーの指示に基づいて取得してもよい。
　ここで、図２Ａに示す断面２００の光音響画像データ１００を画像化する場合を考える。図２Ｂは、断面２００の光音響画像データ１００の断面画像２１０を示す。図２Ｂに示す断面画像２１０は、断面２００をレンダリング対象領域として、光音響画像データ１００をレンダリングして得られたレンダリング画像である。図２Ｂにおいても、断面２００と交わる腫瘍１１１の領域を便宜上示している。断面画像２１０において、断面２００と交わる血管１０１、１０２、１０３、及び１０４の画像が表示されている。断面画像２１０を見ると血管１０４が腫瘍１１１の内部に位置することが理解される。
　しかしながら、この断面画像２１０を見ただけでは、血管のつながり、すなわち撮像対象の構造を把握することが困難である。断面の位置を変えて断面画像を確認しても、各断面画像上に表示される血管像が腫瘍１１１に対してどのように走行しているのかを想定しながら観察することは困難である。
　また、光音響画像データ１００をＺ軸方向に投影して表示する場合を考える。ここでは、最大値投影（Ｍａｘｉｍｕｍ　Ｉｎｔｅｎｓｉｔｙ　Ｐｒｏｊｅｃｔｉｏｎ）により投影画像を表示する例を説明する。図２Ｄは、図２Ｃに示すように光音響画像データを視線方向２３０（Ｚ軸方向）に投影して生成された投影画像２２０である。すなわち、図２Ｄは、光音響画像データ１００を投影面２４０に最大値投影して得られる投影画像２２０である。また、図２Ｄに示す投影画像２２０は、光音響画像データ１００の全領域をレンダリング領域として、光音響画像データ１００をレンダリングして得られたレンダリング画像である。図２Ｄにおいても、断面２００と交わる腫瘍１１１の領域を便宜上示している。
　図２Ｄに示す投影画像２２０によれば各血管のつながりを視認しやすく、図２Ｂに示す断面画像２１０と比べて血管の全体構造を把握しやすい。ところが、図２Ｄに示す投影画像２２０では、血管１０３が腫瘍１１１に入り込んでいるように見えるが、実際には血管１０３は腫瘍１１１に入り込んでいない血管である。また、図２Ｂでは血管１０４が表示されたが、図２Ｄでは血管１０４が表示されていない。これは、血管１０４が血管１０３とＺ軸方向で重なっており、最大値投影したときに表現されなかったためである。また、レンダリング対象領域を大きくすることにより、レンダリング画像に画像ノイズの影響が強く反映されてしまう場合がある。このように、画像ノイズの影響により、撮像対象の視認性が低下してしまう可能性がある。
　以上説明したように、レンダリング対象領域を変更することにより撮像対象の視認性が変化することが理解される。一方、煩雑な操作を行うことなく、撮像対象の全体構造と局所的な構造とを容易に把握できる画像表示方法が望まれている。
　そこで、当該課題に鑑みて、本発明者は、煩雑な操作を行うことなく、レンダリング対象領域が互いに異なる複数のレンダリング画像を比較することが可能な情報処理方法を見出した。すなわち、本発明者は、撮像対象の局所的な構造を把握しやすいレンダリング画像（図２Ｂ）が表示されているときに、ユーザーが特定の操作（例えば、マウスの右クリックの押下）を継続すると、レンダリング対象領域を漸増させる情報処理方法を見出した。このようにレンダリング対象領域が漸増していくレンダリング画像の動画を表示させることにより、ユーザーは撮像対象の局所的な構造から全体構造までの変化を連続して把握できる。さらに、本発明者は、ユーザーが特定の操作を終了したときに、レンダリング対象領域の漸増を終了させることを見出した。これにより、ユーザーは特定の操作を継続するか否かするという簡便な操作で、撮像対象の局所構造から全体構造への変化を連続して把握することができる。この形態については、第１～第３の実施形態にて説明する。
　また、本発明者は、図２Ｄに示すような全体構造を把握しやすいレンダリング画像２２０が表示されているときに、ユーザーが指示を行い、その指示信号が受信されている期間にレンダリング対象領域を漸減させる情報処理方法を見出した。この方法によれば、レンダリング対象領域が漸減していくレンダリング画像の動画を表示させることにより、ユーザーは容易な操作で全体構造から局所的な構造までの変化を連続的に把握できる。さらに、本発明者は、ユーザーが指示を終了することにより、レンダリング対象領域の漸減が終了することを見出した。これにより、ユーザーは特定の操作を継続するか否かするという簡便な操作で、撮像対象の全体構造から局所構造への変化を連続して把握することが可能である。この形態については、第４～第６の実施形態にて説明する。
　ところで、ユーザーがＧＵＩに表示されたスライダーバーを操作することにより、スライダーバーの位置に応じたレンダリング対象領域が決定されるような比較例を考える。このような比較例では、レンダリング対象領域を大きくしたり小さくしたり、レンダリング対象領域を繰り返し変更するときのユーザーの操作が煩雑となってしまう。このように、レンダリング対象領域を変更するためのユーザーの操作が煩雑であると、読影作業の効率性が低下してしまう。それに対し、本発明は、ユーザーが特定の操作を継続するか否かという簡便な操作を行うことで、レンダリング対象領域を変更することができる。
　なお、レンダリング対象領域とは、三次元医用画像データをレンダリングする際に、レンダリングの対象とする領域（データアドレス）のことを指す。
　以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
　［第１の実施形態］
　本発明の第１の実施形態は、あるレンダリング対象領域の光音響画像データに基づいたレンダリング画像の表示時に、ユーザーからの指示をトリガーに、レンダリング対象領域を漸増させる情報処理方法の例を説明する。
　＜情報処理システムの構成＞
　図３を参照しながら、第１の実施形態に係る情報処理システムの構成を説明する。本実施形態に係る情報処理システムは、外部記憶装置３１０、情報処理装置３２０、表示装置３５０、及び入力装置３６０を有する。情報処理装置３２０は、記憶部３２１、演算部３２２、制御部３２３を有する。
　＜＜外部記憶装置３１０＞＞
　外部記憶装置３１０は、情報処理装置３２０の外部に配置されている。外部記憶装置３１０には、モダリティにより取得された医用画像データ１０００が保存されている。外部記憶装置３１０には、種々のモダリティにより取得された複数の画像種別の医用画像データ１０００が保存されていてもよい。外部記憶装置３１０は、サーバーなどの記録媒体から構成され、さらに、通信ネットワークなどに接続されていてもよい。例えば、病院内の外部記憶装置３１０としては、ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）が用いられる。外部記憶装置３１０は、情報処理装置３２０とは別に提供されていてもよい。
　＜＜記憶部３２１＞＞
　記憶部３２１は、ＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部３２１は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部３２１は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
　外部記憶装置３１０から通信ネットワークなどを介して、医用画像データ１０００を記憶部３２１に取り込み保存することができる。
　＜＜演算部３２２＞＞
　演算部３２２としての画像処理機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）チップ等の演算回路で構成することができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部３２２は、記憶部３２１に保存された医用画像データ１０００を読み出し、医用画像データ１０００をレンダリングすることにより、レンダリング画像を生成し、記憶部３２１に保存することができる。演算部３２２は、ユーザーの指示に応じて入力装置３６０から発信された指示信号（レンダリング対象領域などの画像処理条件を表す信号）を受けて、レンダリング処理の内容を変更してもよい。
　＜＜制御部３２３＞＞
　制御部３２３は、ＣＰＵなどの演算素子、集積回路、ビデオＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで構成することができる。制御部３２３は、情報処理システムの各構成の動作を制御することができる。制御部３２３は、入力装置３６０からの各種指示信号を受けて、情報処理システムの各構成を制御してもよい。制御部３２３は、情報処理システムの外部の装置を制御してもよい。制御部３２３は、記憶部３２１に格納されたプログラムコードを読み出し、情報処理システムの各構成の作動を制御してもよい。制御部３２３は、演算部３２２により生成されたレンダリング画像を表示装置３５０に出力し、表示装置３５０にレンダリング画像を表示させる。制御部３２３は、ユーザーの指示に応じて入力装置３６０から発信された指示信号を受けて、表示装置３５０へ表示する医用画像データ１０００のレンダリング対象領域やレンダリング対象領域の変更時間などの表示内容を制御することができる。
　なお、三次元医用画像データをレンダリングすることによりレンダリング画像を生成し、このレンダリング画像を表示装置３５０に表示させる演算部３２２及び制御部３２３が、本発明に係る表示制御手段に相当する。本実施形態では、複数のユニットで表示制御手段が構成されているが、表示制御手段は、複数の演算素子から構成されていてもよいし、単一の演算素子で構成されていてもよい。
　なお、情報処理装置３２０は専用に設計されたワークステーションであってもよい。また、情報処理装置３２０の各構成は異なるハードウェアによって構成されてもよい。また、情報処理装置３２０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。情報処理装置３２０を構成するハードウェアが一つの筺体に収められていなくてもよい。
　＜＜表示装置３５０＞＞
　表示手段としての表示装置３５０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。情報処理装置３２０で処理されたボリュームデータに基づいた画像を表示する装置である。表示装置３５０は、ボリュームデータに基づいた画像を操作するためのＧＵＩを表示してもよい。表示装置３５０は、情報処理装置３２０とは別に提供されていてもよい。その際、情報処理装置３２０は、医用画像データ１０００を有線または無線で表示装置３５０へ送信することができる。
　＜＜入力装置３６０＞＞
　入力手段としての入力装置３６０としては、ユーザーが操作可能なマウス、キーボード、ジョイスティック、タッチペンなどを採用することができる。また、表示装置３５０をタッチパネルで構成し、表示装置３５０を入力装置３６０として利用してもよい。また、入力装置３６０としては、音を入力するためのマイク、ジェスチャーを入力するためのカメラ等を採用してもよい。入力装置３６０は、レンダリング画像の表示に関する情報を入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示装置３５０に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。
　入力装置３６０は、ユーザーにより演算部３２２で実施される処理条件や、制御部３２３で制御する表示内容を入力することができる。入力方法としては、条件が記載されたテキストファイルなどを保存することにより入力しても、表示装置３５０にＧＵＩを表示して入力してもよい。入力装置３６０は、ユーザーの操作により信号を入力できるものであればよく、マウス、キーボード、タッチパネル、ジョイスティック、スイッチボックス、音声を含む音を受信するマイクや、特定のジェスチャーを受け付ける入力装置などを用いることができる。入力装置３６０は、情報処理装置３２０へ指示信号を出力することが可能であれば、接続方法は有線、無線のどちらでも構わない。
　なお、情報処理システムの各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、情報処理システムの少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
　また、情報処理システムの各構成間で送受信される情報は、有線または無線でやりとりがなされる。
　図４は、本実施形態に係る情報処理装置３２０の具体的な構成例を示す。本実施形態に係る情報処理装置３２０は、ＣＰＵ３２４、ＧＰＵ３２５、ＲＡＭ３２６、ＲＯＭ３２７から構成される。また、情報処理装置３２０には、外部記憶装置３１０としてのＰＡＣＳ３１１、表示装置３５０としての液晶ディスプレイ３５１、入力装置３６０としてのマウス３６１、キーボード３６２が接続されている。
　次に、本実施形態に係る情報処理装置が実行する処理を、図５を参照して説明する。
　（Ｓ４１０：医用画像データを取得する工程）
　制御部３２３は、外部記憶装置３１０に保存されている医用画像データ１０００のリストを表示装置３５０に表示させる。ユーザーは、入力装置３６０を用いて、表示装置３５０に表示された医用画像データ１０００のリストの中から光音響画像データ１００を選択する。画像データ取得手段としての制御部３２３は、医用画像データ１０００としての光音響画像データ１００を外部記憶装置３１０から読み出して取得し、記憶部３２１に保存する。ボリュームデータとしての医用画像データ１０００は、複数の断面画像から構成された３次元画像であってもよい。
　本実施形態では、既にモダリティで撮影された医用画像データ１０００を外部記憶装置３１０から読み出す形態を説明した。なお、モダリティが、制御部３２３からの指示信号に基づいて撮影を開始して医用画像データ１０００を生成し、画像データ取得手段としての制御部３２３がモダリティから出力された医用画像データ１０００を受信することにより取得してもよい。
　（Ｓ４２０：レンダリング条件を設定する工程）
　制御部３２３は、レンダリング条件を入力するためのＧＵＩを表示装置３５０に表示させる。具体的なレンダリング条件は、投影方向（Ｘ、Ｙ、Ｚ方向）、レンダリング対象領域（厚さ（距離）、画像枚数、基準位置）、レンダリング方法（最大値投影法、平均値投影法、最小値投影法、ボリュームレンダリング、サーフェイスレンダリング）などである。例えば、レンダリング対象領域の変更方法では、レンダリング対象領域を段階的に増加（漸増）させて表示する方法などである。また、レンダリング対象領域の変更時間も併せて設定することができる。この設定された時間に応じて、レンダリング対象領域を段階的に増加させた画像を表示することができる。ユーザーの操作利便性を考慮した場合に、マウスの右ボタンに入力機能を割り当てる方法などが好ましい。これらの条件をテキストファイルなどに記載して入力することが可能である。また、表示装置３５０に表示されるＧＵＩを用いて入力することができる。
　図６は、ステップＳ４１０で医用画像データ１０００が選択された後に表示装置３５０に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の具体例を示す。
　表示領域８１０は、医用画像データ１０００のレンダリング画像が表示される領域である。
　表示領域８２０は、ユーザーが入力装置３６０を用いてレンダリング条件を入力するためのボタン、リストボックス、テキストボックス等のウィジェットが表示される表示領域である。表示領域８２０には、投影方向、レンダリング対象領域、レンダリング方法、基準位置、遷移時間を入力するためのウィジェットが表示されている。
　投影方向については、Ｘ、Ｙ、Ｚの各方向が選択肢として表示されており、図中ではＺ方向が選択されている。
　レンダリング対象領域については、ユーザーがレンダリング対象領域の投影方向の厚さ（距離）Ｌを数値で直接に入力することができる。図中では、レンダリング対象領域の投影方向の厚さの最小値Ｌ１として０．５ｍｍの値が入力されており、最大値Ｌ２として１０．０ｍｍが入力されている。最小値Ｌ１は、レンダリング画像の初期画像（基本画像）として表示するときのレンダリング対象領域の投影方向の厚さである。最大値Ｌ２は、後述するレンダリング対象領域を漸増する処理を行うときの上限である。最小値Ｌ１によって定義されたレンダリング対象領域は第１の領域に相当し、最大値Ｌ２によって定義されたレンダリング対象領域は第２の領域に相当する。なお、最小値については、ボクセルサイズ相当の値にあらかじめ設定されていてもよい。なお、レンダリング対象領域を変化させたときに同一の領域が表示されるために、第１の領域は第２の領域に含まれていることが望ましい。表示領域８１０に最初に表示される初期画像は、レンダリング対象領域が最小であるときの基本画像であってもよい。撮像対象が血管である場合、血管のつながりを把握するために、最大値については２ｍｍ以上としてもよい。また、冗長な領域までレンダリングしないように、最大値については１０ｍｍ以下としてもよい。制御部３２３は、レンダリング対象領域としてこれらの範囲に含まれない値が入力されたときに、入力を受け付けない制御やアラートを通知させる制御を行ってもよい。最小値については、ボクセルサイズ相当の値にあらかじめ設定されていてもよい。
　本実施形態では、レンダリング対象領域を定義するために、直方体の厚さ（一辺の長さ）を入力する例を説明したが、レンダリング対象領域を定義できる限り、いかなる方法であってもよい。例えば、レンダリング対象領域が球形状である場合、球の半径や直径を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域を構成する画像枚数（フレーム数）を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域の少なくとも一方向の厚さを特定することにより、レンダリング対象領域が定義されてもよい。
　レンダリング方法については、最大値投影法（ＭＩＰ）、平均値投影法（ＡＩＰ）、最小値投影法（ＭｉｎＩＰ）が選択肢として表示されており、図中ではＭＩＰが選択されている。
　レンダリング対象領域の基準位置について、先頭位置、中心位置、最後尾位置のいずれをレンダリング対象領域の基準位置とするかが選択肢として表示されており、図中では中央位置が選択されている。また、基準位置がレンダリング対象領域の医用画像データ１０００の端部から基準位置までの投影方向の厚さを入力することができ、図中では７．０ｍｍが入力されている。すなわち、医用画像データ１０００の端部から投影方向（Ｚ軸方向）へ７．０ｍｍの位置にレンダリング対象領域の中央（基準位置）が位置するように入力されている。なお、後述するレンダリング対象領域を漸増される処理において、レンダリング対象領域を増加させる方向は、どの基準位置を選択したかによって異なる。基準位置が先頭である場合、先頭から最後尾に向かってレンダリング対象領域が増加する。また、基準位置が中央である場合、中央から先頭と最後尾の両方に向かってレンダリング対象領域が増加する。また、基準位置が最後尾である場合、最後尾から先頭に向かってレンダリング対象領域が増加する。
　レンダリング対象領域を最小値から最大値へ遷移させるまでの時間（遷移時間）については、ユーザーが秒数を直接に入力することができる。図中では、３．０秒が条件として入力されている。入力する秒数については、本発明者の検討の結果、読影作業をスムーズに進めるには数秒の範囲が好ましく、好適には５秒以内が選択される。制御部３２３は、遷移時間として所定の閾値より大きな値が入力されたときに、入力を受け付けない制御やアラートを表示させる制御を行ってもよい。ここで、所定の閾値としては、読影作業を妨げないように５秒よりも小さな値とすることが好ましい。さらには、読影作業の効率化のため、所定の閾値としては３秒よりも小さな値とすることが好ましい。また、所定の閾値としては、レンダリング画像の変化を視認できるように、１秒よりも大きな値とすることが好ましい。さらには、レンダリング画像の変化をより追従して視認できるように、所定の閾値としては２秒よりも大きな値とすることが好ましい。なお、レンダリング対象領域の遷移時間を直接入力するのではなく、レンダリング対象領域の単位時間当たりの変化量を入力することにより、結果的に遷移時間を決定してもよい。レンダリング対象領域の遷移時間を決定できるパラメータであれば、レンダリング対象領域の遷移時間を表す情報に含まれる。
　例えば、上記の選択肢の選択には、ユーザーがマウスはマウスを用いることができる。また、上記で数値を直接に入力する際には、ユーザーはキーボードを用いることができる。
　なお、レンダリング条件については、表示領域８２０に表示されているものに限らず、レンダリングに関するあらゆるパラメータを対象とすることができる。また、本実施形態においては、レンダリング条件の入力方法についても、テキストボックスへのテキスト入力、リストボックスからの選択、ボタンの押下など、各レンダリング条件をいかなる方法で入力させてもよい。また、レンダリング条件の少なくとも１つが、予め設定されていてもよい。
　図７は、医用画像データ１０００に設定されたレンダリング対象領域を示す模式図である。紙面横方向はＺ軸方向に対応し、紙面縦方向はＸ軸方向またはＹ軸方向に対応する。
　一点鎖線で示したレンダリング対象領域１０１１は、Ｚ軸方向の厚さが最小値Ｌ１のときのレンダリング対象領域である。一方、点線で示したレンダリング対象領域１０１２は、Ｚ軸方向の厚さが最大値Ｌ２のときのレンダリング対象領域である。いずれのレンダリング対象領域も、領域の中央の位置が統一されている。すなわち、いずれのレンダリング対象領域においても、レンダリング対象領域の中央が基準位置となっている。なお、図７では、Ｚ軸の始点を基準にレンダリング対象領域の基準位置（先頭、中央、最後尾）を定義しているが、Ｚ軸の終点を基準にレンダリング対象領域の基準位置を定義してもよい。基準位置は、先頭、中央、最後尾に限らず、所望の位置に設定されてもよい。
　表示領域８３０は、ステップＳ４１０で取得した医用画像データ１０００以外の医用画像データ１０００のサムネイル画像が表示される表示領域である。表示領域８３０に表示されたサムネイル画像の中からユーザーが入力装置３６０を用いて選択した医用画像データを、表示領域８１０に表示させてもよい。すなわち、表示領域８１０に表示されているレンダリング画像を、サムネイル画像の中から選択された医用画像データのレンダリング画像に更新してもよい。
　図６の場合、サムネイル画像８３１が選択され、サムネイル画像８３１に対応する医用画像データが表示領域８１０に表示されている。また、ユーザーがサムネイル画像送りアイコン８３３を操作することにより、表示領域８３０に表示されるサムネイル画像を順次切り替えることができる。表示領域８３０に表示されるサムネイル画像８３１、８３２は、短い時間で全体構造を把握できるように、医用画像データの全領域をレンダリング対象領域としてレンダリングした画像であってもよい。一方、表示領域８１０に表示される基本画像は、レンダリング対象領域が最小であるときのレンダリング画像であってもよい。
　なお、Ｓ４１０においても、外部記憶装置３１０に保存されている複数の医用画像データ１０００のサムネイル画像を表示させ、サムネイル画像を選択することにより、Ｓ４３０以降の処理に利用する医用画像データを取得してもよい。
　（Ｓ４３０：レンダリング画像を表示する工程）
　本工程では、演算部３２２は、ステップＳ４２０で入力されたレンダリング条件を表す情報に基づいて、医用画像データ１０００をレンダリングすることにより、レンダリング画像を生成する。ここでは、医用画像データ１０００の端部からＺ軸方向に７．０ｍｍの位置を中央とし、Ｚ軸方向に０．５ｍｍの厚みを有するレンダリング対象領域（第１の領域）を定義する。演算部３２２は、このレンダリング対象領域を、Ｚ軸方向を投影方向としたＭＩＰによりレンダリング画像を生成する。制御部３２３は、演算部３２２により生成されたレンダリング画像を表示装置３５０に出力し、表示装置３５０に表示させる。以下、レンダリング対象領域の厚さが最小値のとき（レンダリング対象領域が第１の領域のとき）に生成されたＭＩＰ画像のことを、最小ＭＩＰ画像と呼ぶ。
　（Ｓ４４０：第１の指示信号を受信する工程）
　ユーザーは、最小ＭＩＰ画像が表示されているときに、入力装置３６０を用いて、レンダリング対象領域を変化させるための操作を行う。例えば、入力装置３６０としてのマウスの右クリックを、レンダリング対象領域を変化させるための操作に割り当ててもよい。制御部３２３は、ユーザーの操作に応じて入力装置３６０から発信される、レンダリング対象領域を変化させるための指示信号（第１の指示信号）を受け付ける。例えば、ユーザーがマウスの右クリックを押下し続けることにより、制御部３２３は第１の指示信号を受信し続けることができる。このように、ユーザーからの操作が継続され、第１の指示信号を受信し続ける期間のことを、第１の指示信号を受信している期間と呼ぶ。
　（Ｓ４５０：レンダリング対象領域を漸増させたレンダリング画像の動画を表示する工程）
　演算部３２２は、ステップＳ４４０で受信開始した第１の指示信号を受信している期間に、レンダリング対象領域をステップＳ４２０で設定された最小値Ｌ１から最大値Ｌ２に達するまで漸増させてレンダリングする。演算部３２２は、最小値Ｌ１と最大値Ｌ２との間の複数の厚さに対応する複数のレンダリング対象領域を定義し、それぞれのレンダリング対象領域に対応するレンダリング画像を生成する。演算部３２２は、レンダリング対象領域の厚さが最小値Ｌ１から漸増する順番で、レンダリング画像を順次生成することが好ましい。
　制御部３２３は、演算部３２２により順次生成された複数のレンダリング画像を、レンダリング対象領域の厚さが漸増する順番で動画として表示装置３５０に表示させる。これにより、ユーザーは、撮像対象の局所構造を把握しやすい最小ＭＩＰ画像から全体構造を把握しやすい画像に徐々に遷移していく様子を確認できるため、撮像対象の局所構造から全体構造までの変化を連続して把握することができる。
　なお、フレーム間で減少するレンダリング対象領域の厚さについては、制御部３２３が、動画のフレームレート、並びに、Ｓ４２０で設定された遷移時間、最小値Ｌ１、及び最大値Ｌ２に基づいて決定してもよい。フレームレートについては、動画を滑らかに視認するために１０ｆｐｓ以上に設定されてもよい。さらに滑らかに動画を視認するために、フレームレートは３０ｆｐｓ以上に設定されてもよい。
　（Ｓ４６０：第１の指示信号の受信終了を検知する工程）
　ユーザーは、レンダリング画像の動画が表示されているときに、レンダリング対象領域を変化させるための操作を終了する。ユーザーによる操作が終了したところで、入力装置３６０からの第１の指示信号の発信が終了し、制御部３２３は、第１の指示信号の受信終了を検知する。例えば、ユーザーがマウスの右クリックの押下を終了したところで、制御部３２３は第１の指示信号の受信終了を検知することができる。
　（Ｓ４７０：レンダリング対象領域を漸増させる処理を終了する工程）
　制御部３２３が第１の指示信号の受信終了を検知したときに、演算部３２２はレンダリング対象領域を漸増させてレンダリングする処理を終了する。そして、第１の指示信号の受信が終了した後のレンダリング処理や画像表示処理については、以下の図８に示すグラフの説明で詳述する。
　図８は、第１の指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。Ｌ１はステップ４２０で設定されたレンダリング対象領域の厚さの最小値であり、Ｌ２はステップ４２０で設定されたレンダリング対象領域の厚さの最大値である。
　図８Ａは、第１の指示信号を受信している期間に、レンダリング対象領域の厚さの単位時間当たりの変化量を一定で漸増させ、第１の指示信号の受信が終了したところで、レンダリング対象領域の厚さを一定の割合で漸減させる例のグラフを示す。この例では、レンダリング対象領域の厚さの変化は一定であるため、ユーザーは時間の経過とレンダリング対象領域の変化量とを直感的に理解しやすい。また、この例では、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを最小値Ｌ１に達するまで漸減させるため、全体構造から局所構造までの変化を連続的に把握することができる。さらに、この例では、レンダリング対象領域を漸増させるときと漸減させるときとで、レンダリング対象領域の厚さの単位時間当たりの変化量が異なる。この例では、レンダリング対象領域を漸増させるときよりも、レンダリング対象領域を漸減させるときの方が、単位時間当たりの変化量が大きい。これにより、ユーザーが局所構造を確認しているときに全体構造を確認したくなった際には、時間をかけて構造の変化を確認できる。また、全体構造の確認が完了した後は、局所構造を確認するための基本画像（最小ＭＩＰ画像）に早急に戻ることができるため、読影作業を効率的に行うことができる。
　図８Ｂは、第１の指示信号の受信が終了したときに、レンダリング対象領域の厚さが最小値のときの最小ＭＩＰ画像を表示させる例を示す。図８Ｂにおける第１の受信信号を受信している期間については、図８Ａと同様である。この例では、全体構造の確認が完了した後は、局所構造を確認するための基本画像（最小ＭＩＰ画像）に早急に戻ることができるため、読影作業を効率的に行うことができる。
　図８Ｃは、レンダリング対象領域の厚さの単位時間の変化量が変化する例である。この例では、第１の指示信号を受信している期間における、レンダリング対象領域の厚さが漸増するときには、単位時間当たりの変化量が漸増していく。これにより、ユーザーが操作を開始してすぐにはレンダリング画像に大きな変化がなく、時間が経過するにつれてレンダリング画像の変化が大きくなる。そのため、局所構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸増させることが好ましい。また、この例では、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸減するときに、単位時間当たりの変化量が漸減していく。そのため、局所構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸減させることが好ましい。
　図８Ｄは、レンダリング対象領域の厚さの単位時間の変化量の変化の様子が図８Ｃと異なる例である。この例では、第１の指示信号を受信している期間における、レンダリング対象領域の厚さが漸増するときには、単位時間当たりの変化量が漸減していく。一方、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸減するときに、単位時間当たりの変化量が漸増していく。そのため、全体構造の変化を重点的に確認したい場合に、このようにレンダリング対象領域を漸増または漸減させることが好ましい。
　このように、図８に示す例では、いずれもレンダリング対象領域の厚さが最大値Ｌ２に達する前に第１の指示信号の受信が終了したため、第１の指示信号の受信終了をトリガーに漸増する処理が終了した。ただし、第１の指示信号の受信が終了する前に、レンダリング対象領域の厚さが最大値Ｌ２に達した場合は、レンダリング対象領域の厚さが最大値Ｌ２に達したときに、漸増する処理を終了してもよい。すなわち、第１の指示信号の受信を終了したとき、または、レンダリング対象領域が最大値Ｌ２（第２の領域）に達したときにレンダリング対象領域を漸増させる処理を終了することができる。
　なお、第１の指示信号を受信している期間にレンダリング対象領域が漸増する限り、いかなる方法でレンダリング対象領域を変更してもよい。また、図８で説明した第１の指示信号を受信している期間におけるレンダリング対象領域の各制御と、第１の指示信号を受信した後のレンダリング対象領域の各制御とを任意に組み合わせてもよい。
　図９（ｂ）～（ｆ）は、図９（ａ）に示すシーケンスでレンダリング対象領域を変化させたときのレンダリング画像の変化を示す。
　図９（ｂ）は、タイミングｔ１以前のレンダリング対象領域の厚さが最小値Ｌ１のときのレンダリング画像（最小ＭＩＰ画像）を示す。図９（ｃ）は、タイミングｔ１の後、かつ、レンダリング対象領域の厚さが最大値Ｌ２に達する前のタイミングｔ３に対応するレンダリング対象領域のレンダリング画像を示す。図９（ｄ）は、タイミングｔ２に対応するレンダリング対象領域（最大値Ｌ２）のレンダリング画像（最大ＭＩＰ画像）を示す。ここでは、レンダリング対象領域の厚さが最大値のとき（レンダリング対象領域が第２の領域のとき）に生成されたＭＩＰ画像のことを、最大ＭＩＰ画像と呼ぶ。図９（ｄ）に示すように最大ＭＩＰ画像上では血管１０１、１０２、及び１０３が連続性を持って表示され、血管走行などを把握することができる。図９（ｂ）に示す最小ＭＩＰ画像では、図９（ｃ）や図９（ｄ）に示すＭＩＰ画像では表現されなかった血管１０４の画像が表示させている。この血管１０４は、血管１０３とＺ軸方向で重なっており、最大値投影したときには表現されなかった血管である。
　このように、第１の指示信号を受信している期間にレンダリング対象領域を漸増することにより、局所構造から全体構造までの変化を連続して把握することができる。ユーザーは局所的にしか表示されていない血管が、どのように走行しているのかを直感的に把握することができる。
　図９（ｅ）は、タイミングｔ２の後、かつ、レンダリング対象領域の厚さが最小値Ｌ１に達する前のタイミングｔ４に対応するレンダリング対象領域のレンダリング画像を示す。図９（ｆ）は、レンダリング対象領域の厚さが最小値Ｌ１に達した以降に表示されているレンダリング画像を示す。図９（ｆ）に示すレンダリング画像は、図９（ｂ）に示すレンダリング画像と同様で、最小ＭＩＰ画像である。
　このように、第１の指示信号の受信が終了すると、レンダリング対象領域が漸減し、撮像対象の全体構造から局所構造までの変化を連続して把握することができる。
　なお、本実施形態では、光音響波に由来するボリュームデータである光音響画像データに基づいた画像表示方法について説明したが、本実施形態に係る画像表示方法は、光音響画像データ以外のボリュームデータにも適用することができる。本実施形態に係る画像表示方法は、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られたボリュームデータに適用してもよい。特に、本実施形態に係る画像表示方法は、血管を表す画像データが含まれるボリュームデータに好適に適用することができる。血管は複雑な構造をしており、断面画像では血管がその先でどのように走行しているのかが想定できない。また、大きな領域をレンダリングしてしまうと、複雑な血管の前後関係を把握することができない。そのため、血管を表す画像データが含まれるボリュームデータに対しては、本実施形態の画像表示方法を好適に適用することができる。例えば、血管を表す画像データが含まれるボリュームデータとしては、光音響画像データ、ＭＲ血管撮影法（ＭＲＡ）画像データ、Ｘ線ＣＴ血管撮影法（ＣＴＡ）画像データ、及びドップラー画像データの少なくとも一つを適用することができる。
　また、本実施形態では、１つの画像種別の医用画像データを用いたレンダリング画像を表示する例を説明したが、複数の画像種別の医用画像データを用いてレンダリング画像を表示させてもよい。例えば、ある画像種別の医用画像データを用いて生成されたレンダリング画像をベース画像とし、これとは異なる画像種別の医用画像データを用いて本実施形態で説明した方法でレンダリング画像を生成し、重畳させてもよい。すなわち、本実施形態のレンダリングを適用する医用画像データに、追加の医用画像データによる追加のレンダリング画像を合成した合成画像を生成し、表示させてもよい。合成画像としては、重畳画像の他に、並列画像などを採用してもよい。
　なお、追加のレンダリング画像の基準位置と、本実施形態のレンダリングを適用したレンダリング画像の基準位置とを対応させてもよい。また、追加のレンダリング画像のレンダリング対象領域を最小値のときの領域（第１の領域）としてもよい。すなわち、本実施形態に係る最小ＭＩＰ画像の基準位置やレンダリング対象領域と、追加のレンダリング画像の基準位置やレンダリング対象領域とが連動していてもよい。例えば、腫瘍画像が含まれているＭＲＩ画像データや超音波画像データのレンダリング画像をベース画像とし、血管が描出される光音響画像データに本実施形態のレンダリングを適用し、レンダリング対象領域が変化するレンダリング画像を重畳してもよい。これにより、ベース画像に映る腫瘍画像については固定されているため、腫瘍周辺の血管と腫瘍との位置関係を容易に把握することができる。
　また、追加のレンダリング画像としては、腫瘍等の関心領域の位置を表すデータに基づいて生成されてもよい。関心領域の位置を表すデータは、関心領域の輪郭を表す座標や関数であってもよいし、関心領域の存在する領域に画像値が割り当てられた画像データであってもよい。このような関心領域を表現したレンダリング画像を、本実施形態に係るレンダリング方法でレンダリングされた画像と合成することにより、関心領域と撮像対象との位置間液を容易に把握することができる。
　［第２の実施形態］
　本実施形態では、第１の指示信号（ユーザーからの漸増することを表す指示に基づいた信号）の受信を終了する前に、レンダリング対象領域が最大値に達してしまう場合について説明する。本実施形態では、第１の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
　図１０は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。また、τはステップＳ４２０で設定された遷移時間であり、ｔ６は第１の指示信号の受信開始から遷移時間τ（所定の期間）が経過したときのタイミングである。Ｌ１はステップ４２０で設定されたレンダリング対象領域の厚さの最小値であり、Ｌ２はステップ４２０で設定されたレンダリング対象領域の厚さの最大値である。
　図１０は、レンダリング対象領域の厚さが最大値Ｌ２に達した後にも、ユーザーが厚さを漸増するための操作を継続した場合の例を示す。この例では、レンダリング対象領域の厚さが最大値Ｌ２に達したタイミングｔ６のときに、レンダリング対象領域を漸増させる処理を終了する。すなわち、第１の指示信号の受信開始から遷移時間τが経過したときに、レンダリング対象領域の厚さが最大値Ｌ２（第２の領域）となるように、レンダリング対象領域の漸増処理が行われる。続いて、レンダリング対象領域の厚さが最大値Ｌ２に達した後、かつ、第１の指示信号が受信している期間には、最大ＭＩＰ画像の表示を継続する。
　図１０Ａにおいては、最大ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、レンダリング対象領域の厚さを最小値Ｌ１に達するまで漸減させる。図１０Ｂにおいては、最大ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、最大ＭＩＰ画像から最小ＭＩＰ画像に表示を切り替える。図１０Ｃにおいては、最大ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、レンダリング対象領域の厚さを最小値Ｌ１に達するまで漸減させる。図１０Ｃにおいては、レンダリング対象領域の厚さの変化量を漸減させながら、レンダリング対象領域の厚さを最小値Ｌ１まで漸減させる。
　このように、ユーザーが全体構造を確認するための操作を継続している間は最大ＭＩＰ画像が表示される。これにより、ユーザーは、簡便な操作で全体構造を十分に把握しつつ、局所構造を表す画像へも簡便な操作で遷移させることができる。
　本実施形態では、第１の指示信号の受信開始から遷移時間τが経過したときに第１の指示信号を受信しているときは、最大ＭＩＰ画像の表示を継続する例を説明した。ただし、第１の指示信号の受信開始から遷移時間τが経過したときのレンダリング対象領域の制御については、この例に限らない。例えば、第１の指示信号の受信開始から遷移時間τが経過したときに、第１の指示信号の受信の有無にかかわらず、レンダリング対象領域を最小値Ｌ１に達するまで漸減させてもよい。また、第１の指示信号の受信開始から遷移時間τが経過したときに、第１の指示信号の受信の有無にかかわらず、最大ＭＩＰ画像から最小ＭＩＰ画像に切り替えてもよい。
　本実施形態では、ユーザーから特定の操作が実行されたときにレンダリング対象領域を漸増する例を説明したが、漸増処理を開始するタイミングはこれに限らない。例えば、ユーザーが最小ＭＩＰ画像の基準位置を変更する操作（画像送りの操作）を行い、画像送りによって最小ＭＩＰ画像を表示させているときに、画像送りの操作を終了してから所定の期間が経過すると漸増処理が開始されてもよい。すなわち、情報処理装置３２０は、画像送りの操作に応じた指示信号の受信を終了してから所定の期間が経過したときに、漸増処理を開始してもよい。この場合、漸増処理の開始から遷移時間τが経過したときに、漸増処理を終了してもよい。入力装置３６０としてのマウスのホイールをスクロールする操作を画像送りの操作に割り当ててもよい。
　このように、ユーザーが画像送りによって最小ＭＩＰ画像で局所構造を確認し、全体構造を確認したい場合に画像送りの操作を終了すると、全体構造を把握するためのレンダリング画像の動画表示に移行することができる。なお、画像送りの終了から漸増処理に移行するまでの期間については、予め設定されていてもよいし、ユーザーが入力装置３６０を用いて指定してもよい。
　［第３の実施形態］
　本実施形態では、第１の指示信号の受信終了した後、または、レンダリング対象領域が最大値に達した後に、レンダリング対象領域を漸減させる処理を行っている期間に、ユーザーが再度漸増させるための操作を行う場合について説明する。レンダリング対象領域を漸減させているときに、ユーザーが操作を行い、情報処理装置３２０がこの操作に伴う第２の指示信号を受信すると、レンダリング対象領域を漸増する処理を再度実行する。本実施形態では、第１の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
　図１１は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。また、τはステップＳ４２０で設定された遷移時間であり、ｔ６は第１の指示信号の受信開始から遷移時間τ（所定の期間）が経過したときのタイミングである。ｔ７はタイミングｔ２の後にユーザーから操作により第２の指示信号の受信開始したタイミングである。Ｌ１はステップ４２０で設定されたレンダリング対象領域の厚さの最小値であり、Ｌ２はステップ４２０で設定されたレンダリング対象領域の厚さの最大値である。
　図１１は、第１の指示信号の受信を終了し、レンダリング対象領域の厚さを漸減させているときに、ユーザーが厚さを漸増するための操作を再度行った場合の例である。この例では、ユーザーからの再操作が行われたタイミングｔ７のときに、レンダリング対象領域を漸減する処理を終了する。そして、ユーザーからの再操作が継続している期間（すなわち、第２の指示信号を受信している期間）に、レンダリング対象領域を最大値Ｌ２に達するまで漸増させる。このとき、最大値Ｌ２に達するまでの期間を遷移時間τで決定してしまうと、操作の度にレンダリング対象領域の単位時間当たりの変化量がばらついてしまう。そこで、再度漸増処理を行うときのレンダリング対象領域の単位時間当たりの変化量については、１回目の漸増処理のときに設定された変化量を適用することが好ましい。これにより、複数回の操作によって複数回の漸増処理を行うときに、操作間でユーザーは違和感なくレンダリング対象領域が漸増していくレンダリング画像の動画を確認することができる。
　なお、タイミングｔ１から遷移時間τが経過する前に第１の指示信号の受信を終了してレンダリング対象領域が漸減する処理が実行されているときに、ユーザーが厚さを漸増するための操作を行った場合も同様に漸増処理を繰り返すことができる。すなわち、レンダリング対象領域が最小値Ｌ１と最大値Ｌ２との間であるときにも、第１の指示信号の受信が継続されているか否かで漸増処理と漸減処理とを何度も繰り返し実行することができる。
　［第４の実施形態］
　次に、ユーザーが指示を行い、その指示信号が受信されている期間にレンダリング対象領域を漸減させる情報処理方法について説明する。本実施形態で用いる装置は、第１～第３の実施形態と同様である。以下、本実施形態に係る情報処理方法を説明する。
　図１２は、光音響波の受信信号に基づいて生成されたボリュームデータを表す光音響画像データ１２００の模式図を示す。図１２に示す光音響画像データ１２００には、血管１２０１～１２０４に対応する画像データが含まれている。図１２に示すように、血管１２０１～１２０４はＸＹＺ空間内で３次元方向に走行している。
　図１３Ａは、図１２と同様に光音響画像データ１２００の模式図である。図１３Ａには、ＸＹ断面１３００の位置が併せて表示されている。
　図１３Ｂは、光音響画像データ１２００の全領域をＺ軸方向に最大値投影法（ＭＩＰ：Ｍａｘｉｍｕｍ　Ｉｎｔｅｎｓｉｔｙ　Ｐｒｏｊｅｃｔｉｏｎ）でレンダリングすることにより生成されたレンダリング画像１３１０を示す。血管１２０１～１２０３の画像は、血管内の血液中に存在するヘモグロビンの吸収係数に応じた輝度で表示されている。
　図１３Ｂに示すレンダリング画像１３１０から分かるように、光音響画像データ１２００の全領域をレンダリングすることにより、血管１２０１～１２０３の連続性を把握することができる。しかしながら、血管１２０４は、血管１２０３よりも細く、画像値が小さいため、血管１２０３の投影像に隠れて視認することができない。すななち、レンダリングされることにより、光音響画像データ１２００の奥行方向（投影方向、Ｚ軸方向）の情報を把握しにくくなってしまう。そのため、レンダリング画像を確認したユーザーが、血管の位置を誤認してしまう可能性がある。また、光音響画像データをレンダリングすることにより、不図示の背景ノイズによって血管の視認性が低下してしまう場合もある。
　図１３Ｃは、図１３Ａの光音響画像データ１２００のＸＹ断面１３００に対応する断面画像１３２０を示す。断面画像１３２０は、ＸＹ断面１３００の光音響画像データ１２００をＺ軸方向に投影したレンダリング画像ともいえる。便宜上、断面画像１３２０での血管の位置関係を分かりやすくするために、図２Ｂの血管１２０１～１２０３のレンダリング画像を灰色で重畳表示しているが、実際の断面画像１３２０にはこれらは表示されていない。断面画像１３２０では、血管１３２１は血管１２０１の一部、血管１３２２は血管１２０２の一部、血管１３２３は血管１２０３の一部、血管１３２４は血管１２０４の一部である。血管１２０４については、レンダリング画像１３１０では視認することができなかったが、断面画像１３２０では構造の一部を視認することができる。
　ただし、断面画像では血管は点として表示されるため、血管の連続性、すなわち撮像対象の全体構造を把握することが困難である。そのため、断面の位置を変えて断面画像を確認する場合においても、血管の走行状態を想定しながら観察することが困難である。
　以上説明したように、レンダリング対象領域を変更することにより撮像対象の視認性が変化することが理解される。一方、ユーザーからは、煩雑な操作を行うことなく、撮像対象の全体構造と局所的な構造とを視認できる画像表示方法が望まれている。ここで、レンダリング対象領域とは、三次元医用画像データをレンダリングする際に、レンダリングの対象とする領域（データアドレス）のことを指す。
　そこで、当該課題に鑑みて、本発明者は、煩雑な操作を行うことなく、レンダリング対象領域が互いに異なる複数のレンダリング画像を比較することが可能な情報処理方法を見出した。すなわち、本発明者は、図１３Ｂに示すような全体構造を把握しやすいレンダリング画像２１０が表示されているときに、ユーザーが指示を行い、その指示信号が受信されている期間にレンダリング対象領域を漸減させる情報処理方法を見出した。この方法によれば、レンダリング対象領域が漸減していくレンダリング画像の動画を表示させることにより、ユーザーは容易な操作で全体構造から局所的な構造までの変化を連続的に把握できる。さらに、本発明者は、ユーザーが指示を終了することにより、レンダリング対象領域の漸減が終了することを見出した。これにより、ユーザーは指示のＯＮ／ＯＦＦを操作するだけで、撮像対象の構造の変化を把握することが可能である。
　次に、本実施形態に係る情報処理装置が実行する処理を、図１４を参照して説明する。
　（Ｓ１４１０：医用画像データを取得する工程）
　制御部３２３は、外部記憶装置３１０に保存されている医用画像データ１０００のリストを表示装置３５０に表示させる。ユーザーは、入力装置３６０を用いて、表示装置３５０に表示された医用画像データ１０００のリストの中から光音響画像データ１００を選択する。画像データ取得手段としての制御部３２３は、医用画像データ１０００としての光音響画像データ１００を外部記憶装置３１０から読み出して取得し、記憶部３２１に保存する。ボリュームデータとしての医用画像データ１０００は、複数の断面画像から構成された３次元画像であってもよい。
　本実施形態では、既にモダリティで撮影された医用画像データ１０００を外部記憶装置３１０から読み出す形態を説明した。なお、モダリティが、制御部３２３からの指示信号に基づいて撮影を開始して医用画像データ１０００を生成し、画像データ取得手段としての制御部３２３がモダリティから出力された医用画像データ１０００を受信することにより取得してもよい。
　（Ｓ１４２０：レンダリング条件を設定する工程）
　制御部３２３は、レンダリング条件を入力するためのＧＵＩを表示装置３５０に表示させる。具体的なレンダリング条件は、投影方向（Ｘ、Ｙ、Ｚ方向）、レンダリング対象領域（厚さ（距離）、画像枚数、基準位置）、レンダリング方法（最大値投影法、平均値投影法、最小値投影法、ボリュームレンダリング、サーフェイスレンダリング）などである。例えば、レンダリング対象領域の変更方法では、レンダリング対象領域を段階的に減少（漸減）させて表示する方法などである。また、レンダリング対象領域の変更時間も併せて設定することができる。この設定された時間に応じて、レンダリング対象領域を段階的に減少させた画像を表示することができる。ユーザーの操作利便性を考慮した場合に、マウスの右ボタンに入力機能を割り当てる方法などが好ましい。これらの条件をテキストファイルなどに記載して入力することが可能である。また、表示装置３５０に表示されるＧＵＩを用いて入力することができる。
　図１５は、ステップＳ１４１０で医用画像データ１０００が選択された後に表示装置３５０に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）の具体例を示す。
　表示領域１５１０は、医用画像データ１０００のレンダリング画像が表示される領域である。
　表示領域１５２０は、ユーザーが入力装置３６０を用いてレンダリング条件を入力するためのボタン、リストボックス、テキストボックス等のウィジェットが表示される表示領域である。表示領域１５２０には、投影方向、レンダリング対象領域、レンダリング方法、基準位置、遷移時間を入力するためのウィジェットが表示されている。
　投影方向については、Ｘ、Ｙ、Ｚの各方向が選択肢として表示されており、図中ではＺ方向が選択されている。
　レンダリング対象領域については、ユーザーがレンダリング対象領域の投影方向の厚さ（距離）Ｌを数値で直接に入力することができる。図中では、レンダリング対象領域の投影方向の厚さの最大値Ｌ２として１０．０ｍｍの値が入力されており、最小値Ｌ１として０．５ｍｍが入力されている。最大値Ｌ２は、レンダリング画像の初期画像（基本画像）として表示するときのレンダリング対象領域の投影方向の厚さである。最小値Ｌ１は、後述するレンダリング対象領域を漸減する処理を行うときの下限である。最大値Ｌ２によって定義されたレンダリング対象領域は第２の領域に相当し、最小値Ｌ１によって定義されたレンダリング対象領域は第１の領域に相当する。なお、最小値については、ボクセルサイズ相当の値にあらかじめ設定されていてもよい。レンダリング対象領域を変化させたときに同一の領域が表示されるために、第１の領域は第２の領域に含まれていることが望ましい。
　撮像対象が血管である場合、血管のつながりを把握するために、最大値については２ｍｍ以上としてもよい。また、冗長な領域までレンダリングしないように、最大値については１０ｍｍ以下としてもよい。制御部３２３は、レンダリング対象領域としてこれらの範囲に含まれない値が入力されたときに、入力を受け付けない制御やアラートを通知させる制御を行ってもよい。最小値については、ボクセルサイズ相当の値にあらかじめ設定されていてもよい。
　本実施形態では、レンダリング対象領域を定義するために、直方体の厚さ（一辺の長さ）を入力する例を説明したが、レンダリング対象領域を定義できる限り、いかなる方法であってもよい。例えば、レンダリング対象領域が球形状である場合、球の半径や直径を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域を構成する画像枚数（フレーム数）を特定することにより、レンダリング対象領域が定義されてもよい。また、レンダリング対象領域の少なくとも一方向の厚さを特定することにより、レンダリング対象領域が定義されてもよい。
　レンダリング方法については、最大値投影法（ＭＩＰ）、平均値投影法（ＡＩＰ）、最小値投影法（ＭｉｎＩＰ）が選択肢として表示されており、図中ではＭＩＰが選択されている。
　レンダリング対象領域の基準位置について、先頭位置、中心位置、最後尾位置のいずれをレンダリング対象領域の基準位置とするかが選択肢として表示されており、図中では中央位置が選択されている。また、基準位置がレンダリング対象領域の医用画像データ１０００の端部から基準位置までの投影方向の厚さを入力することができ、図中では７．０ｍｍが入力されている。すなわち、医用画像データ１０００の端部から投影方向（Ｚ軸方向）へ７．０ｍｍの位置にレンダリング対象領域の中央（基準位置）が位置するように入力されている。なお、後述するレンダリング対象領域を漸減される処理において、レンダリング対象領域を減少させる方向は、どの基準位置を選択したかによって異なる。基準位置が先頭である場合、最後尾から先頭に向かってレンダリング対象領域が減少する。また、基準位置が中央である場合、先頭と最後尾の両方から中央に向かってレンダリング対象領域が減少する。また、基準位置が最後尾である場合、先頭から最後尾に向かってレンダリング対象領域が減少する。
　レンダリング対象領域を最大値から最小値へ遷移させるまでの時間（遷移時間）については、ユーザーが秒数を直接に入力することができる。図中では、３．０秒が条件として入力されている。入力する秒数については、本発明者の検討の結果、読影作業をスムーズに進めるには数秒の範囲が好ましく、好適には５秒以内が選択される。制御部３２３は、遷移時間として所定の閾値より大きな値が入力されたときに、入力を受け付けない制御やアラートを表示させる制御を行ってもよい。ここで、所定の閾値としては、読影作業を妨げないように５秒よりも小さな値とすることが好ましい。さらには、読影作業の効率化のため、所定の閾値としては３秒よりも小さな値とすることが好ましい。また、所定の閾値としては、レンダリング画像の変化を視認できるように、１秒よりも大きな値とすることが好ましい。さらには、レンダリング画像の変化をより追従して視認できるように、所定の閾値としては２秒よりも大きな値とすることが好ましい。なお、レンダリング対象領域の遷移時間を直接入力するのではなく、レンダリング対象領域の単位時間当たりの変化量を入力することにより、結果的に遷移時間を決定してもよい。レンダリング対象領域の遷移時間を決定できるパラメータであれば、レンダリング対象領域の遷移時間を表す情報に含まれる。
　例えば、上記の選択肢の選択には、ユーザーがマウスはマウスを用いることができる。また、上記で数値を直接に入力する際には、ユーザーはキーボードを用いることができる。
　なお、レンダリング条件については、表示領域１５２０に表示されているものに限らず、レンダリングに関するあらゆるパラメータを対象とすることができる。また、本実施形態においては、レンダリング条件の入力方法についても、テキストボックスへのテキスト入力、リストボックスからの選択、ボタンの押下など、各レンダリング条件をいかなる方法で入力させてもよい。また、レンダリング条件の少なくとも１つが、予め設定されていてもよい。
　図７を用いて、本実施形態に係る医用画像データ１０００に設定されたレンダリング対象領域について説明する。点線で示したレンダリング対象領域１０１１は、Ｚ軸方向の厚さが最大値Ｌ２のときのレンダリング対象領域である。一方、一点鎖線で示したレンダリング対象領域１０１２は、Ｚ軸方向の厚さが最小値Ｌ１のときのレンダリング対象領域である。いずれのレンダリング対象領域も、領域の中央の位置が統一されている。すなわち、いずれのレンダリング対象領域においても、レンダリング対象領域の中央が基準位置となっている。なお、図７では、Ｚ軸の始点を基準にレンダリング対象領域の基準位置（先頭、中央、最後尾）を定義しているが、Ｚ軸の終点を基準にレンダリング対象領域の基準位置を定義してもよい。基準位置は、先頭、中央、最後尾に限らず、所望の位置に設定されてもよい。
　表示領域１５３０は、ステップＳ４１０で取得した医用画像データ１０００以外の医用画像データ１０００のサムネイル画像が表示される表示領域である。表示領域１５３０に表示されたサムネイル画像の中からユーザーが入力装置３６０を用いて選択した医用画像データを、表示領域１５１０に表示させてもよい。すなわち、表示領域８１０に表示されているレンダリング画像を、サムネイル画像の中から選択された医用画像データのレンダリング画像に更新してもよい。
　図１５の場合、サムネイル画像１５３１が選択され、サムネイル画像１５３１に対応する医用画像データが表示領域１５１０に表示されている。また、ユーザーがサムネイル画像送りアイコン１５３３を操作することにより、表示領域８３０に表示されるサムネイル画像を順次切り替えることができる。
　なお、Ｓ１４１０においても、外部記憶装置３１０に保存されている複数の医用画像データ１０００のサムネイル画像を表示させ、サムネイル画像を選択することにより、Ｓ４３０以降の処理に利用する医用画像データを取得してもよい。
　（Ｓ１４３０：レンダリング画像を表示する工程）
　本工程では、演算部３２２は、ステップＳ１４２０で入力されたレンダリング条件を表す情報に基づいて、医用画像データ１０００をレンダリングすることにより、レンダリング画像を生成する。ここでは、医用画像データ１０００の端部からＺ軸方向に７．０ｍｍの位置を中央とし、Ｚ軸方向に１０．０ｍｍの厚みを有するレンダリング対象領域（第２の領域）を定義する。演算部３２２は、このレンダリング対象領域を、Ｚ軸方向を投影方向としたＭＩＰによりレンダリング画像を生成する。制御部３２３は、演算部３２２により生成されたレンダリング画像を表示装置３５０に出力し、表示装置３５０に表示させる。以下、レンダリング対象領域の厚さが最大値のとき（レンダリング対象領域が第２の領域のとき）に生成されたＭＩＰ画像のことを、最大ＭＩＰ画像と呼ぶ。
　（Ｓ１４４０：第１の指示信号を受信する工程）
　ユーザーは、最大ＭＩＰ画像が表示されているときに、入力装置３６０を用いて、レンダリング対象領域を変化させるための操作を行う。例えば、入力装置３６０としてのマウスの右クリックを、レンダリング対象領域を変化させるための操作に割り当ててもよい。制御部３２３は、ユーザーの操作に応じて入力装置３６０から発信される、レンダリング対象領域を変化させるための指示信号（第１の指示信号）を受け付ける。例えば、ユーザーがマウスの右クリックを押下し続けることにより、制御部３２３は第１の指示信号を受信し続けることができる。このように、ユーザーからの操作が継続され、第１の指示信号を受信し続ける期間のことを、第１の指示信号を受信している期間と呼ぶ。
　（Ｓ１４５０：レンダリング対象領域を漸減させたレンダリング画像の動画を表示する工程）
　演算部３２２は、ステップＳ１４４０で受信開始した第１の指示信号を受信している期間に、レンダリング対象領域をステップＳ１４２０で設定された最大値Ｌ２から最小値Ｌ１に達するまで漸減させてレンダリングする。演算部３２２は、最大値Ｌ２と最小値Ｌ１との間の複数の厚さに対応する複数のレンダリング対象領域を定義し、それぞれのレンダリング対象領域に対応するレンダリング画像を生成する。演算部３２２は、レンダリング対象領域の厚さが最大値Ｌ２から漸減する順番で、レンダリング画像を順次生成することが好ましい。
　制御部３２３は、演算部３２２により順次生成された複数のレンダリング画像を、レンダリング対象領域の厚さが漸減する順番で動画として表示装置３５０に表示させる。これにより、ユーザーは、撮像対象の全体構造を把握しやすい最大ＭＩＰ画像から局所構造を把握しやすい画像で徐々に遷移していく様子を確認できるため、撮像対象の全体構造から局所構造までの変化を連続的に把握することができる。
　なお、フレーム間で減少するレンダリング対象領域の厚さについては、制御部３２３が、動画のフレームレート、並びに、Ｓ１４２０で設定された遷移時間、最大値Ｌ２、及び最小値Ｌ１に基づいて決定してもよい。フレームレートについては、動画を滑らかに視認するために１０ｆｐｓ以上に設定されてもよい。さらに滑らかに動画を視認するために、フレームレートは３０ｆｐｓ以上に設定されてもよい。
　（Ｓ１４６０：第１の指示信号の受信終了を検知する工程）
　ユーザーは、レンダリング画像の動画が表示されているときに、レンダリング対象領域を変化させるための操作を終了する。ユーザーによる操作が終了したところで、入力装置３６０からの第１の指示信号の発信が終了し、制御部３２３は、第１の指示信号の受信終了を検知する。例えば、ユーザーがマウスの右クリックの押下を終了したところで、制御部３２３は第１の指示信号の受信終了を検知することができる。
　（Ｓ１４７０：レンダリング対象領域を漸減させる処理を終了する工程）
　制御部３２３が第１の指示信号の受信終了を検知したときに、演算部３２２はレンダリング対象領域を漸減させてレンダリングする処理を終了する。そして、第１の指示信号の受信が終了した後のレンダリング処理や画像表示処理については、以下の図８に示すグラフの説明で詳述する。
　図１６は、第１の指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。Ｌ２はＳ１４２０で設定されたレンダリング対象領域の厚さの最大値であり、Ｌ１はＳ１４２０で設定されたレンダリング対象領域の厚さの最小値である。
　図１６Ａは、第１の指示信号を受信している期間に、レンダリング対象領域の厚さの単位時間当たりの変化量を一定で漸減させ、第１の指示信号の受信が終了したところで、レンダリング対象領域の厚さを一定の割合で漸増させる例のグラフを示す。この例では、レンダリング対象領域の厚さの変化は一定であるため、ユーザーは時間の経過とレンダリング対象領域の変化量とを直感的に理解しやすい。また、この例では、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを最大値Ｌ２に達するまで漸増させるため、局所構造から全体構造までの変化を連続的に把握することができる。さらに、この例では、レンダリング対象領域を漸減させるときと漸増させるときとで、レンダリング対象領域の厚さの単位時間当たりの変化量が異なる。この例では、レンダリング対象領域を漸減させるときよりも、レンダリング対象領域を漸増させるときの方が、単位時間当たりの変化量が大きい。これにより、全体構造を確認しているときに局所構造を確認したくなった際には、時間をかけて構造の変化を確認できる。また、局所構造の確認が完了した後は、全体構造を確認するための基本画像（最大ＭＩＰ画像）に早急に戻ることができるため、読影作業を効率的に行うことができる。
　図１６Ｂは、第１の指示信号の受信が終了したときに、レンダリング対象領域の厚さが最大値のときの最大ＭＩＰ画像を表示させる例を示す。図１６Ｂにおける第１の受信信号を受信している期間については、図１６Ａと同様である。この例では、局所構造の確認が完了した後は、全体構造を確認するための基本画像（最大ＭＩＰ画像）に早急に戻ることができるため、読影作業を効率的に行うことができる。
　図１６Ｃは、レンダリング対象領域の厚さの単位時間の変化量が変化する例である。この例では、第１の指示信号を受信している期間における、レンダリング対象領域の厚さが漸減するときには、単位時間当たりの変化量が漸増していく。これにより、ユーザーが操作を開始してすぐにはレンダリング画像に大きな変化がなく、時間が経過するにつれてレンダリング画像の変化が大きくなる。そのため、全体構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸減させることが好ましい。また、この例では、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸増するときに、単位時間当たりの変化量が漸減していく。そのため、全体構造の変化を重点的に確認したい場合には、この方法でレンダリング対象領域を漸増させることが好ましい。
　図１６Ｄは、レンダリング対象領域の厚さの単位時間の変化量の変化の様子が図１６Ｃと異なる例である。この例では、第１の指示信号を受信している期間における、レンダリング対象領域の厚さが漸減するときには、単位時間当たりの変化量が漸減していく。一方、第１の指示信号の受信が終了した後に、レンダリング対象領域の厚さを漸増するときに、単位時間当たりの変化量が漸増していく。そのため、局所構造の変化を重点的に確認したい場合に、このようにレンダリング対象領域を漸減または漸増させることが好ましい。
　このように、図１６に示す例では、いずれもレンダリング対象領域の厚さが最小値Ｌ１に達する前に第１の指示信号の受信が終了したため、第１の指示信号の受信終了をトリガーに漸減する処理が終了した。ただし、第１の指示信号の受信が終了する前に、レンダリング対象領域の厚さが最小値Ｌ１に達した場合は、レンダリング対象領域の厚さが最小値Ｌ１に達したときに、漸減する処理を終了してもよい。すなわち、第１の指示信号の受信を終了したとき、または、レンダリング対象領域が最小値Ｌ１（第１の領域）に達したときにレンダリング対象領域を漸減させる処理を終了することができる。
　なお、第１の指示信号を受信している期間にレンダリング対象領域が漸減する限り、いかなる方法でレンダリング対象領域を変更してもよい。また、図１６で説明した第１の指示信号を受信している期間におけるレンダリング対象領域の各制御と、第１の指示信号を受信した後のレンダリング対象領域の各制御とを任意に組み合わせてもよい。
　図１７（ｂ）～（ｆ）は、図１７（ａ）に示すシーケンスでレンダリング対象領域を変化させたときのレンダリング画像の変化を示す。便宜上、血管の位置関係を分かりやすくするために、Ｚ軸方向の全領域を投影した血管のレンダリング画像を灰色で重畳表示しているが、実際の画像では表示されていない。
　図１７（ｂ）は、タイミングｔ１以前のレンダリング対象領域の厚さが最大値Ｌ２のときのレンダリング画像（最大ＭＩＰ画像）を示す。図１７（ｂ）に示すように最大ＭＩＰ画像上で血管１７１、１７２、１７３が連続性を持って表示され、血管走行などを把握することができる。図１７（ｃ）は、タイミングｔ１の後、かつ、レンダリング対象領域の厚さが最小値Ｌ１に達する前のタイミングｔ３に対応するレンダリング対象領域のレンダリング画像を示す。図１７（ｄ）は、タイミングｔ２に対応するレンダリング対象領域（最小値Ｌ１）のレンダリング画像（最小ＭＩＰ画像）を示す。ここでは、レンダリング対象領域の厚さが最小値のとき（レンダリング対象領域が第１の領域のとき）に生成されたＭＩＰ画像のことを、最小ＭＩＰ画像と呼ぶ。図１７（ｄ）に示す最小ＭＩＰ画像では、図１７（ｂ）や図１７（ｃ）に示すＭＩＰ画像では表現されなかった血管１７４の画像が表示させている。この血管１７４は、血管１７３とＺ軸方向で重なっているため、最大値投影したときには表現されなかった血管である。
　このように、第１の指示信号を受信している期間にレンダリング対象領域を漸減することにより、全体構造から局所構造までの変化を連続して把握することができる。すなわち、ユーザーは血管の走行経路を追いながら、読影している血管の局所構造を把握することができる。
　図１７（ｅ）は、タイミングｔ２の後、かつ、レンダリング対象領域の厚さが最大値Ｌ２に達する前のタイミングｔ４に対応するレンダリング対象領域のレンダリング画像を示す。図１７（ｆ）は、レンダリング対象領域の厚さが最大値Ｌ２に達した以降に表示されているレンダリング画像を示す。図１７（ｆ）に示すレンダリング画像は、図１７（ｂ）に示すレンダリング画像と同様で、最大ＭＩＰ画像である。
　このように、第１の指示信号の受信が終了すると、レンダリング対象領域が漸増し、全体構造から局所構造までの変化を連続して把握することができる。すなわち、ユーザーは血管の走行経路を追いながら、基本画像である最大ＭＩＰ画像に遷移していくことができる。
　なお、本実施形態では、光音響波に由来するボリュームデータである光音響画像データに基づいた画像表示方法について説明したが、本実施形態に係る画像表示方法は、光音響画像データ以外のボリュームデータにも適用することができる。本実施形態に係る画像表示方法は、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られたボリュームデータに適用してもよい。特に、本実施形態に係る画像表示方法は、血管を表す画像データが含まれるボリュームデータに好適に適用することができる。血管は複雑な構造をしており、断面画像では血管がその先でどのように走行しているのかが想定できない。また、大きな領域をレンダリングしてしまうと、複雑な血管の前後関係を把握することができない。そのため、血管を表す画像データが含まれるボリュームデータに対しては、本実施形態の画像表示方法を好適に適用することができる。例えば、血管を表す画像データが含まれるボリュームデータとしては、光音響画像データ、ＭＲ血管撮影法（ＭＲＡ）画像データ、Ｘ線ＣＴ血管撮影法（ＣＴＡ）画像データ、及びドップラー画像データの少なくとも一つを適用することができる。
　また、本実施形態では、１つの画像種別の医用画像データを用いたレンダリング画像を表示する例を説明したが、複数の画像種別の医用画像データを用いてレンダリング画像を表示させてもよい。例えば、ある画像種別の医用画像データを用いて生成されたレンダリング画像をベース画像とし、これとは異なる画像種別の医用画像データを用いて本実施形態で説明した方法でレンダリング画像を生成し、重畳させてもよい。すなわち、本実施形態のレンダリングを適用する医用画像データに、追加の医用画像データによる追加のレンダリング画像を合成した合成画像を生成し、表示させてもよい。合成画像としては、重畳画像の他に、並列画像などを採用してもよい。なお、重畳画像において、ベース画像となるレンダリング画像については、レンダリング対象領域を固定することにより、基準となる画像として機能させることができる。例えば、腫瘍画像が含まれているＭＲＩ画像データや超音波画像データのレンダリング画像をベース画像とし、血管が描出される光音響画像データに本実施形態のレンダリングを適用し、レンダリング対象領域が変化するレンダリング画像を重畳してもよい。これにより、ベース画像に映る腫瘍画像については固定されているため、腫瘍周辺の血管と腫瘍との位置関係を容易に把握することができる。
　［第５の実施形態］
　本実施形態では、第１の指示信号（ユーザーからの漸減することを表す指示に基づいた信号）の受信を終了する前に、レンダリング対象領域が最小値に達してしまう場合について説明する。本実施形態では、第１～４の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
　図１８は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。また、τはＳ１４２０で設定された遷移時間であり、ｔ６は第１の指示信号の受信開始から遷移時間τ（所定の期間）が経過したときのタイミングである。Ｌ２はＳ１４２０で設定されたレンダリング対象領域の厚さの最大値であり、Ｌ１はＳ１４２０で設定されたレンダリング対象領域の厚さの最小値である。
　図１８は、レンダリング対象領域の厚さが最小値Ｌ１に達した後にも、ユーザーが厚さを漸減するための操作を継続した場合の例を示す。この例では、レンダリング対象領域の厚さが最小値Ｌ１に達したタイミングｔ６のときに、レンダリング対象領域を漸減させる処理を終了する。すなわち、第１の指示信号の受信開始から遷移時間τが経過したときに、レンダリング対象領域の厚さが最小値Ｌ１（第１の領域）となるように、レンダリング対象領域の漸減処理が行われる。続いて、レンダリング対象領域の厚さが最小値Ｌ１に達した後、かつ、第１の指示信号が受信している期間には、最小ＭＩＰ画像の表示を継続する。
　図１８Ａにおいては、最小ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、レンダリング対象領域の厚さを最大値Ｌ２に達するまで漸増させる。図１８Ｂにおいては、最小ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、最小ＭＩＰ画像から最大ＭＩＰ画像に表示を切り替える。図１８Ｃにおいては、最小ＭＩＰ画像が表示されているときに、第１の指示信号の受信が終了すると、レンダリング対象領域の厚さを最大値Ｌ２に達するまで漸増させる。図１８Ｃにおいては、レンダリング対象領域の厚さの変化量を漸増させながら、レンダリング対象領域の厚さを最大値Ｌ２まで漸増させる。
　このように、ユーザーが局所構造を確認するための操作を継続している間は最小ＭＩＰ画像が表示される。これにより、ユーザーは、容易な操作で局所構造を十分に把握しつつ、全体構造を表す画像へもスムーズに遷移させることができる。
　本実施形態では、第１の指示信号の受信開始から遷移時間τが経過したときに第１の指示信号を受信しているときは、最小ＭＩＰ画像の表示を継続する例を説明した。ただし、第１の指示信号の受信開始から遷移時間τが経過したときのレンダリング対象領域の制御については、この例に限らない。例えば、第１の指示信号の受信開始から遷移時間τが経過したときに、第１の指示信号の受信の有無にかかわらず、レンダリング対象領域を最大値Ｌ２に達するまで漸増させてもよい。また、第１の指示信号の受信開始から遷移時間τが経過したときに、第１の指示信号の受信の有無にかかわらず、最小ＭＩＰ画像から最大ＭＩＰ画像に切り替えてもよい。
　本実施形態では、ユーザーから特定の操作が実行されたときにレンダリング対象領域を漸減する例を説明したが、漸減処理を開始するタイミングはこれに限らない。例えば、ユーザーが最大ＭＩＰ画像の基準位置を変更する操作（画像送りの操作）を行い、画像送りによって最大ＭＩＰ画像を表示させているときに、画像送りの操作を終了してから所定の期間が経過すると漸減処理が開始されてもよい。すなわち、情報処理装置３２０は、画像送りの操作に応じた指示信号の受信を終了してから所定の期間が経過したときに、漸減処理を開始してもよい。この場合、漸減処理の開始から遷移時間τが経過したときに、漸減処理を終了してもよい。入力装置３６０としてのマウスのホイールをスクロールする操作を画像送りの操作に割り当ててもよい。
　このように、ユーザーが画像送りによって局所構造を把握したい領域を探索し、所望の領域を最大ＭＩＰ画像で見つけたところで画像送りの操作を終了すると、局所構造を把握するためのレンダリング画像の動画表示に移行することができる。なお、画像送りの終了から漸減処理に移行するまでの期間については、予め設定されていてもよいし、ユーザーが入力装置３６０を用いて指示してもよい。
　［第６の実施形態］
　本実施形態では、第１の指示信号の受信終了した後、または、レンダリング対象領域が最小値に達した後に、レンダリング対象領域を漸増させる処理を行っている期間に、ユーザーが漸減させるための操作を行う場合について説明する。レンダリング対象領域を漸増させているときに、ユーザーが操作を行い、情報処理装置３２０がこの操作に伴う第２の指示信号を受信すると、レンダリング対象領域を漸減する処理を再度実行する。本実施形態では、第１～５の実施形態と同様の装置を用いて説明し、同様の構成には同じ符号を付して詳細な説明は省略する。
　図１９は、本実施形態に係る指示信号の受信タイミングとレンダリング対象領域との関係を示すグラフである。横軸は時間、縦軸はレンダリング対象領域の厚さを表す。ｔ１は第１の指示信号の受信を開始したタイミングであり、ｔ２は第１の指示信号の受信を終了したタイミングである。また、τはＳ１４２０で設定された遷移時間であり、ｔ６は第１の指示信号の受信開始から遷移時間τ（所定の期間）が経過したときのタイミングである。ｔ７はタイミングｔ２の後にユーザーから操作により第２の指示信号の受信開始したタイミングである。Ｌ２はＳ１４２０で設定されたレンダリング対象領域の厚さの最大値であり、Ｌ１はＳ１４２０で設定されたレンダリング対象領域の厚さの最小値である。
　図１９は、第１の指示信号の受信を終了し、レンダリング対象領域の厚さを漸増させているときに、ユーザーが厚さを漸減するための操作を再度行った場合の例である。この例では、ユーザーからの再操作が行われたタイミングｔ７のときに、レンダリング対象領域を漸増する処理を終了する。そして、ユーザーからの再操作が継続している期間（すなわち、第２の指示信号を受信している期間）に、レンダリング対象領域を最小値Ｌ１に達するまで漸減させる。このとき、最小値Ｌ１に達するまでの期間を遷移時間τで決定してしまうと、操作の度にレンダリング対象領域の単位時間当たりの変化量がばらついてしまう。そこで、再度漸減処理を行うときのレンダリング対象領域の単位時間当たりの変化量については、１回目の漸減処理のときに設定された変化量を適用することが好ましい。これにより、複数回の操作によって複数回の漸減処理を行うときに、操作間でユーザーは違和感なくレンダリング対象領域が漸減していくレンダリング画像の動画を確認することができる。
　なお、タイミングｔ１から遷移時間τが経過する前に第１の指示信号の受信を終了してレンダリング対象領域が漸増する処理が実行されているときに、ユーザーが厚さを漸減するための操作を行った場合も同様に漸減処理を繰り返すことができる。すなわち、レンダリング対象領域が最大値Ｌ２と最小値Ｌ１との間であるときにも、第１の指示信号の受信が継続されているか否かで漸減処理と漸増処理とを何度も繰り返し実行することができる。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年８月２８日提出の日本国特許出願特願２０１７－１６３４７１と特願２０１７－１６３４７２を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (17)

  1. 　三次元医用画像データを取得する画像データ取得手段と、
    　レンダリング対象領域の前記三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させる表示制御手段と、
    　を有し、
    　前記表示制御手段は、
    　第１の領域を前記レンダリング対象領域として前記三次元医用画像データをレンダリングすることにより前記レンダリング画像を前記表示手段に表示させ、
    　前記レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第１の指示信号を受信している期間に、前記レンダリング対象領域を前記第１の領域から第２の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させ、
    　前記第１の指示信号の受信を終了したとき、または、前記レンダリング対象領域が前記第２の領域に達したときに前記レンダリング対象領域を漸増させる処理を終了する
    　ことを特徴とする情報処理装置。
  2. 　前記表示制御手段は、前記第１の指示信号の受信が終了したときに、前記第１の指示信号の受信が終了したときに表示されている前記レンダリング画像の前記レンダリング対象領域を前記第１の領域に達するまで漸減させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させる
    　ことを特徴する請求項１に記載の情報処理装置。
  3. 　前記表示制御手段は、前記レンダリング対象領域を漸減させているときのユーザーからの指示に応じて発信される第２の指示信号を受信している期間に、前記第２の指示信号を受信したときに表示されている前記レンダリング画像の前記レンダリング対象領域を前記第２の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を表示させる
    　ことを特徴する請求項２に記載の情報処理装置。
  4. 　前記表示制御手段は、前記レンダリング対象領域を漸減させるときと漸増させるときとで、前記レンダリング対象領域の単位時間当たりの変化量が異なるように、前記レンダリング対象領域を制御する
    　ことを特徴とする請求項２または３に記載の情報処理装置。
  5. 　前記表示制御手段は、前記第１の領域から前記第２の領域まで前記レンダリング対象領域を変化させるのに要する時間の方が、前記第２の領域から前記第１の領域まで前記レンダリング対象領域を変化させるのに要する時間よりも短くなるように、前記レンダリング対象領域を制御する
    　ことを特徴とする請求項４に記載の情報処理装置。
  6. 　前記表示制御手段は、前記第１の指示信号の受信が終了したときに、前記第１の領域を前記レンダリング対象領域とした前記レンダリング画像を表示させる
    　ことを特徴とする請求項１に記載の情報処理装置。
  7. 　前記表示制御手段は、前記第１の指示信号の受信が終了したときに、前記第１の指示信号の受信が終了したときに表示されている前記レンダリング画像を表示させる
    　ことを特徴とする請求項１に記載の情報処理装置。
  8. 　前記表示制御手段は、
    　前記第１の指示信号の受信開始から所定の期間が経過したときに、前記レンダリング対象領域が前記第２の領域となるように前記レンダリング対象領域を漸増させ、
    　前記第１の指示信号の受信開始から前記所定の期間が経過し、かつ、前記第１の指示信号を受信している期間に、前記第２の領域を前記レンダリング対象領域とした前記レンダリング画像を表示させる
    　ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
  9. 　前記表示制御手段は、前記第１の指示信号を受信している期間に、前記レンダリング対象領域の単位時間当たりの変化量を一定とする
    　ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
  10. 　前記表示制御手段は、前記第１の指示信号を受信している期間に、前記レンダリング対象領域の単位時間当たりの変化量を漸減させる
    　ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
  11. 　前記表示制御手段は、前記レンダリング対象領域の前記三次元医用画像データを最大値投影法、平均値投影法、最小値投影法、サーフェイスレンダリング、及びボリュームレンダリングのいずれかでレンダリングすることにより、前記レンダリング画像を前記表示手段に表示させる
    　ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
  12. 　前記画像データ取得手段は、前記三次元医用画像データとは異なる画像種別の追加の三次元医用画像データを取得し、
    　前記表示制御手段は、前記第１の領域を前記レンダリング対象領域として前記追加の三次元医用画像データをレンダリングすることにより追加のレンダリング画像を生成し、前記三次元医用画像データの前記レンダリング画像と前記追加のレンダリング画像との合成画像を前記表示手段に表示させる
    　ことを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
  13. 　前記三次元医用画像データは、光音響装置、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、及びＰＥＴ装置のいずれかのモダリティにより生成された医用画像データである
    　ことを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
  14. 　前記第１の領域は前記第２の領域に含まれる
    　ことを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
  15. 　前記表示制御手段は、前記第１の指示信号を受信している期間、前記レンダリング対象領域の少なくとも一方向の厚さを漸増させる
    　ことを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。
  16. 　三次元医用画像データを取得し、
    　第１の領域をレンダリング対象領域として前記三次元医用画像データをレンダリングすることによりレンダリング画像を表示手段に表示させ、
    　前記レンダリング画像が表示されているときのユーザーからの指示に応じて発信される第１の指示信号を受信している期間に、前記レンダリング対象領域を前記第１の領域から第２の領域に達するまで漸増させることにより、互いに異なる複数の前記レンダリング対象領域に対応する前記レンダリング画像の動画を前記表示手段に表示させ、
    　前記第１の指示信号の受信を終了したとき、または、前記レンダリング対象領域が前記第２の領域に達したときに前記レンダリング対象領域を漸増させる処理を終了する
    　ことを特徴とする情報処理方法。
  17. 　請求項１６に記載の情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2018/030943 2017-08-28 2018-08-22 情報処理装置、情報処理方法、プログラム WO2019044611A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/799,435 US20200193689A1 (en) 2017-08-28 2020-02-24 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017163472A JP2019037649A (ja) 2017-08-28 2017-08-28 情報処理装置、情報処理方法、プログラム
JP2017163471A JP2019037648A (ja) 2017-08-28 2017-08-28 情報処理装置、情報処理方法、プログラム
JP2017-163472 2017-08-28
JP2017-163471 2017-08-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/799,435 Continuation US20200193689A1 (en) 2017-08-28 2020-02-24 Information processing apparatus, information processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2019044611A1 true WO2019044611A1 (ja) 2019-03-07

Family

ID=65525387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030943 WO2019044611A1 (ja) 2017-08-28 2018-08-22 情報処理装置、情報処理方法、プログラム

Country Status (2)

Country Link
US (1) US20200193689A1 (ja)
WO (1) WO2019044611A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164833A (ja) * 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置
WO2005048198A1 (en) * 2003-11-14 2005-05-26 Philips Intellectual Property & Standards Gmbh Method and apparatus for visualisation of a tubular structure
JP2009165718A (ja) * 2008-01-18 2009-07-30 Hitachi Medical Corp 医用画像表示装置
JP2017080158A (ja) * 2015-10-29 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164833A (ja) * 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置
WO2005048198A1 (en) * 2003-11-14 2005-05-26 Philips Intellectual Property & Standards Gmbh Method and apparatus for visualisation of a tubular structure
JP2009165718A (ja) * 2008-01-18 2009-07-30 Hitachi Medical Corp 医用画像表示装置
JP2017080158A (ja) * 2015-10-29 2017-05-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
US20200193689A1 (en) 2020-06-18

Similar Documents

Publication Publication Date Title
KR101728045B1 (ko) 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
US10420533B2 (en) Ultrasound diagnosis apparatus and control method thereof
US10558350B2 (en) Method and apparatus for changing user interface based on user motion information
JP2021191429A (ja) 医療画像のアノテーションのための装置、方法、及びシステム
JP6396310B2 (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
US10285665B2 (en) Ultrasound diagnosis apparatus and method and computer-readable storage medium
JP2014142937A (ja) 医用画像参照装置及びカーソル制御プログラム
US20230329676A1 (en) Methods and apparatus for performing measurements on an ultrasound image
KR20180098499A (ko) 복수의 디스플레이부를 이용한 정보 제공 방법 및 이를 위한 초음파 장치
KR102519424B1 (ko) 초음파 이미지 디스플레이 방법 및 이를 위한 장치
US11832991B2 (en) Automatic ultrasound feature detection
US10269453B2 (en) Method and apparatus for providing medical information
US20140055448A1 (en) 3D Image Navigation Method
WO2019044611A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2019037649A (ja) 情報処理装置、情報処理方法、プログラム
US9911224B2 (en) Volume rendering apparatus and method using voxel brightness gain values and voxel selecting model
JP2019037648A (ja) 情報処理装置、情報処理方法、プログラム
US10146908B2 (en) Method and system for enhanced visualization and navigation of three dimensional and four dimensional medical images
CN103385735A (zh) 超声诊断设备及其控制方法
JP6683402B2 (ja) 医療映像表示方法及び医療映像表示装置
KR102321642B1 (ko) 입력 장치 및 이를 포함하는 의료 영상 장치
JP2009061028A (ja) 画像処理装置及びそれを備えた医用ワークステーション
JP2009000342A (ja) 医用画像表示装置
CN114052777A (zh) 图像显示方法以及超声成像系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18852566

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18852566

Country of ref document: EP

Kind code of ref document: A1