WO2014076931A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2014076931A1
WO2014076931A1 PCT/JP2013/006625 JP2013006625W WO2014076931A1 WO 2014076931 A1 WO2014076931 A1 WO 2014076931A1 JP 2013006625 W JP2013006625 W JP 2013006625W WO 2014076931 A1 WO2014076931 A1 WO 2014076931A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display state
display
assist
position information
Prior art date
Application number
PCT/JP2013/006625
Other languages
English (en)
French (fr)
Inventor
遠間　正真
淳 大宮
文平 田路
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2014546867A priority Critical patent/JP6323335B2/ja
Priority to US14/442,281 priority patent/US20160270757A1/en
Publication of WO2014076931A1 publication Critical patent/WO2014076931A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for generating an image for guiding an instrument to move to a target location in a subject.
  • ultrasonic diagnostic apparatuses As biological image diagnostic apparatuses, for example, X-ray diagnostic apparatuses, MR (magnetic resonance) diagnostic apparatuses, ultrasonic diagnostic apparatuses, and the like are widely used. Among them, the ultrasonic diagnostic apparatus has advantages such as non-invasiveness and real-time property, and is widely used for diagnosis or screening. There are a wide variety of diagnostic sites using an ultrasonic diagnostic apparatus, such as the heart, blood vessels, liver, and breast. In recent years, blood vessel diagnosis of carotid arteries for the purpose of determining the risk of arteriosclerosis has attracted attention. However, since an advanced technique is required for this blood vessel diagnosis, an ultrasonic apparatus that displays an image for guiding an examiner has been proposed as in Patent Document 1.
  • This intraoperative navigation system that displays the positional relationship between a patient position during surgery and a surgical instrument has been proposed.
  • This intraoperative navigation system is intended to improve the recognizability of, for example, the position of a tumor or the position of a blood vessel, and to display the position of a surgical instrument relative to a surgical target site such as a bone or an organ to improve safety during surgery. Used for etc.
  • the present invention provides an image processing apparatus and the like that can display an image for guiding the instrument so that the instrument can be moved to a target location in the subject in an easy-to-understand manner for the user.
  • An image processing apparatus is an image processing apparatus that generates an assist image that is an image for guiding movement of an instrument to a target location in a subject, and includes a three-dimensional image including the target location.
  • a 3D image analysis unit that determines target position information indicating a three-dimensional position of the target part based on an image; a position information acquisition unit that acquires instrument position information indicating a three-dimensional position of the instrument; and the target part Based on the positional relationship with the instrument, a display state determination unit that selects one display state from two or more display states, and the assist image is displayed in the selected display state as the target
  • An assist image generation unit that generates using position information and the appliance position information, and a display control unit that performs control for outputting the assist image to a display device.
  • the present invention it is possible to easily display an image for guiding the device so that the instrument can be moved to a target location in the subject.
  • FIG. 1A is a schematic diagram showing a probe and a scan surface.
  • FIG. 1B is a diagram illustrating two directions in which the carotid artery is scanned with a probe.
  • FIG. 1C is a diagram illustrating an example of how an ultrasonic image acquired by a long-axis scan looks.
  • FIG. 1D is a diagram illustrating an example of how an ultrasonic image acquired by a short-axis scan looks.
  • FIG. 2A is a cross-sectional view showing the structure of an arterial blood vessel having a short-axis cross section.
  • FIG. 2B is a cross-sectional view showing the structure of an arterial blood vessel having a long-axis cross section.
  • FIG. 1A is a cross-sectional view showing the structure of an arterial blood vessel having a short-axis cross section.
  • FIG. 2B is a cross-sectional view showing the structure of an arterial blood vessel having a long-axis cross section.
  • FIG. 3 is a block diagram illustrating a configuration of an assumed ultrasonic diagnostic apparatus.
  • FIG. 4 is a flowchart showing the operation of the assumed ultrasonic diagnostic apparatus.
  • FIG. 5 is a diagram illustrating a screen configuration example including an assist image and a live image.
  • FIG. 6 is a block diagram illustrating a configuration of the ultrasonic diagnostic apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing the operation of the ultrasonic diagnostic apparatus according to the first embodiment.
  • FIG. 8A is a diagram illustrating an example of a flow of generating a 3D image.
  • FIG. 8B is a diagram illustrating an example of a flow of generating a 3D image.
  • FIG. 8C is a diagram illustrating an example of a 3D image generation flow.
  • FIG. 8D is a diagram illustrating an example of a 3D image generation flow.
  • FIG. 9A is a diagram illustrating the position and orientation of the measurement target in the 3D image.
  • FIG. 9B is a diagram illustrating the position of the measurement target in the long-axis cross section.
  • FIG. 9C is a diagram illustrating a position in the short-axis cross section of the measurement target.
  • FIG. 10 is a flowchart illustrating an example of a screen display switching operation.
  • FIG. 10 is a flowchart illustrating an example of a screen display switching operation.
  • FIG. 11A is a diagram illustrating an example of a carotid artery that is a measurement target in 3D space.
  • FIG. 11B is a diagram illustrating an example of the second display state.
  • FIG. 11C is a diagram illustrating an example of the first display state.
  • FIG. 12 is a flowchart illustrating an example of an operation in which hysteresis is applied to screen display switching.
  • FIG. 13A is a diagram illustrating an example of a carotid artery that is a measurement target in 3D space.
  • FIG. 13B is a diagram illustrating an example of the carotid artery in the long axis direction in the 3D space.
  • FIG. 13C is a diagram illustrating an example of the carotid artery in the short axis direction in the 3D space.
  • FIG. 13D is a diagram illustrating an example of a combined display of the live image in the long axis direction and the assist image in the short axis direction after switching.
  • FIG. 14A is a diagram illustrating an example of an assist image at the long-axis direction viewpoint before switching.
  • FIG. 14B is a diagram illustrating an example of the assist image at the short-axis-direction viewpoint after switching.
  • FIG. 15A is a diagram illustrating an example of an assist image at the long-axis direction viewpoint before switching.
  • FIG. 15B is a diagram illustrating an example of an assist image with the zoom magnification increased at the short-axis-direction viewpoint after switching.
  • FIG. 16 is a flowchart illustrating an example of an operation for switching the setting of the assist image.
  • FIG. 17A is a diagram illustrating another example of the second display state.
  • FIG. 17B is a diagram illustrating another example of the first display state.
  • FIG. 18 is a flowchart illustrating the operation of the ultrasonic diagnostic apparatus according to the second embodiment.
  • FIG. 19A is a diagram illustrating a system for acquiring probe position information using a camera.
  • FIG. 19B is a diagram illustrating a specific example 1 in which position information of the probe cannot be acquired.
  • FIG. 19C is a diagram illustrating a specific example 1 of a screen displaying warning information.
  • FIG. 19D is a diagram illustrating a specific example 2 in which position information of the probe cannot be acquired.
  • FIG. 19A is a diagram illustrating a system for acquiring probe position information using a camera.
  • FIG. 19B is a diagram illustrating a specific example 1 in which position information of the probe cannot be acquired
  • FIG. 19E is a diagram illustrating a specific example 2 of a screen displaying warning information.
  • FIG. 20A is a diagram illustrating a display example 1 in which the posture of the subject is associated with the orientation of the 3D image.
  • FIG. 20B is a diagram illustrating a display example 2 in which the posture of the subject is associated with the orientation of the 3D image.
  • FIG. 21 is a diagram illustrating a screen configuration example using an assist image including images from two viewpoints.
  • FIG. 22 is a flowchart illustrating the operation of the ultrasonic diagnostic apparatus according to the third embodiment.
  • FIG. 23 is a schematic diagram showing an installation example of an intraoperative navigation system.
  • FIG. 24 is a diagram showing an outline of information import into the virtual three-dimensional space.
  • FIG. 25 is a block diagram illustrating a configuration of the image processing apparatus according to the fourth embodiment.
  • FIG. 26 is a flowchart illustrating the operation of the image processing apparatus according to the fourth embodiment.
  • FIG. 27A is a diagram illustrating an example of an assist image displayed in the second display state.
  • FIG. 27B is a diagram illustrating an example of the assist image displayed in the first display state.
  • FIG. 28A is a diagram illustrating an example of a physical format of a flexible disk which is a recording medium body.
  • FIG. 28B is a diagram showing an external appearance, a cross-sectional structure, and a flexible disk when viewed from the front of the flexible disk.
  • FIG. 28C is a diagram showing a configuration for recording and reproducing a program on a flexible disk.
  • FIG. 1A to FIG. 1D are explanatory views of how images are seen when the carotid artery is scanned with ultrasound.
  • FIG. 1A is a schematic diagram showing a probe and a scan plane
  • FIG. 1B is a diagram showing two directions in which the carotid artery is scanned with a probe
  • FIG. 1C is an example of how an ultrasound image obtained by a long-axis scan looks
  • FIG. 1D is a diagram illustrating an example of how an ultrasonic image acquired by a short-axis scan looks.
  • An ultrasonic transducer (not shown) is arranged on the probe 10, and for example, when the ultrasonic transducer is arranged one-dimensionally, as shown in FIG.
  • An ultrasonic image is obtained with respect to the scan surface 11.
  • a blood vessel image in the long axis direction as shown in FIG. 1C and a blood vessel image in the short axis direction as shown in FIG. 1D, respectively, are obtained. It is done.
  • FIGS. 2A to 2D are cross-sectional views showing the structure of an arterial blood vessel having a short-axis cross section
  • FIG. 2B is a cross-sectional view showing the structure of an arterial blood vessel having a long-axis cross section
  • FIG. 2D is a cross-sectional view showing an example of thickening of the intima of the long-axis cross section.
  • the arterial blood vessel wall 20 is composed of three layers, an intima 22, an intima 23, and an adventitia 24.
  • the intima 22 and the media 23 are mainly thickened as shown in FIGS. 2C and 2D. Therefore, in the carotid artery diagnosis using ultrasound, the thickness of the intima combined with the intima 22 and the intima 23 is measured by detecting the intima boundary 25 and the epicardial boundary 26 shown in FIG. 2C.
  • a portion where the thickness of the intima exceeds a certain value is called a plaque 27, and in the long axis image, changes in the structure of the blood vessel wall as shown in FIG. 2D. In the inspection of the plaque 27, generally, both the short axis image and the long axis image are confirmed.
  • an ultrasonic diagnostic apparatus 30 for guiding the examiner is proposed.
  • FIG. 3 is a block diagram showing a configuration of the ultrasonic diagnostic apparatus 30.
  • the ultrasonic diagnostic apparatus 30 includes a 3D image analysis unit 31, a position information acquisition unit 32, an assist image generation unit 33, a live image acquisition unit 34, and a display control unit 35 as shown in FIG.
  • the 3D image analysis unit 31 analyzes a previously acquired three-dimensional image (hereinafter referred to as a 3D image), and a three-dimensional position (hereinafter simply referred to as a position) of a target portion to be measured (hereinafter referred to as a measurement target) within the subject. And the target position information tgtInf including the orientation is determined, and the determined target position information tgtInf is output to the assist image generation unit 33.
  • the position information acquisition unit 32 acquires instrument position information indicating the scanning position (scan position) and orientation of the probe 10 currently being scanned using, for example, a magnetic sensor or an optical camera.
  • the assist image generation unit 33 Based on the 3D image, the target position information tgtInf, and the instrument position information, the assist image generation unit 33 superimposes and displays information indicating the measurement surface of the measurement target and the position and orientation of the current scan surface on the 3D image.
  • the assist image asis0 is generated.
  • the display control unit 35 displays the live image, which is an ultrasonic image at the current scan position, and the assist image together on the display device 150.
  • FIG. 4 is a flowchart showing the operation of the ultrasonic diagnostic apparatus 30. Here, it is assumed that a 3D image indicating an organ shape to be diagnosed is generated in advance.
  • the 3D image analysis unit 31 analyzes the 3D image and determines target position information including the position and orientation of the measurement target (step S001). Subsequently, the position information acquisition unit 32 acquires instrument position information indicating the scanning position and orientation of the probe 10 currently being scanned (step S002). Next, the assist image generation unit 33 calculates the difference between the measurement target and the current scan position, and generates path information Z that changes the color or shape of the display image according to the difference (step S003). . Then, the assist image generation unit 33 generates an assist image including the path information Z in addition to the 3D image, the position of the measurement target, and the current scan position (step S004). For example, as shown in FIG.
  • the display control unit 35 displays a screen 40 in which the live image 48 that is an ultrasonic image at the current scan position and the assist image 41 are combined on the display device 150 (step S005).
  • the assist image 41 includes a 3D image 42 indicating the shape of the organ including the target portion, an image 43 indicating the current position of the probe 10, an image 44 indicating the current scan plane, and an image 46 indicating the scan plane of the measurement target.
  • An image 45 indicating the position of the probe 10 to be moved for scanning the measurement target, and an arrow 47 indicating the direction in which the probe 10 is moved are displayed.
  • the inspector moves the probe and aligns the scan surface with the measurement target, the inspector takes a two-step process of roughly aligning and then fine-tuning. At this time, the rough positioning can be performed smoothly by mainly referring to the assist image and performing fine adjustment mainly while viewing the live image.
  • the assist image 41 and the live image 48 are always displayed with the same screen configuration, there is a problem that it is difficult for the examiner to know which image to focus on and to move the probe. is there.
  • an image processing apparatus that generates an assist image that is an image for guiding movement of an instrument to a target location in a subject. , Based on a three-dimensional image including the target portion, a 3D image analysis unit that determines target position information indicating a three-dimensional position of the target portion, and position information that acquires instrument position information indicating the three-dimensional position of the device Based on the acquisition unit, the positional relationship between the target portion and the instrument, a display state determination unit that selects one display state from two or more display states, and a display state that is selected.
  • an assist image generation unit that generates the assist image using the target position information and the appliance position information, and a display control unit that performs control for outputting the assist image to a display device.
  • the two or more display states include a first display state in which a zoom magnification of display in the assist image is displayed at a first magnification, and a zoom magnification of display in the assist image at a magnification larger than the first magnification.
  • a second display state that displays at a second magnification, and the display state determination unit selects the first display state when the positional relationship does not satisfy a first predetermined condition, and the positional relationship is The second display state may be selected when the first predetermined condition is satisfied.
  • the assist image can be switched to the enlarged display, and can be displayed in an easy-to-understand manner for the user.
  • the 3D image analysis unit determines the direction of the target portion as the target position information in addition to the three-dimensional position of the target portion based on the three-dimensional image
  • the position information acquisition unit includes:
  • the orientation of the instrument may be acquired as the instrument position information.
  • the instrument is a probe for acquiring an ultrasound image of the subject in an ultrasound diagnostic apparatus, and the position information acquisition unit acquires the scanning position and orientation of the probe as the instrument position information.
  • the assist image generation unit may generate an assist image that is an image for guiding the movement of the probe to the target location.
  • an assist image which is an image for guiding the movement of the probe to the target location, can be displayed in an easy-to-understand manner for the user.
  • the image processing apparatus further includes a live image acquisition unit that acquires an ultrasonic image of the subject that is a live image from the probe, and the display control unit displays the assist image and the live image. May be output.
  • the display device displays the assist image as a main image and the live image as a sub-image smaller than the main image, and the display device. And displaying the live image as the main image and the fourth display state in which the assist image is displayed as the sub-image, wherein the display state determination unit does not satisfy the second predetermined condition in the positional relationship
  • the third display state is selected, and when the positional relationship satisfies the second predetermined condition, the fourth display state is selected, and the display control unit is configured to select the assist image in the selected display state.
  • the live image may be output to a display device.
  • the display control unit performs switching between the main image and the sub image by switching a relative display size between the assist image and the live image according to the selected display state.
  • the assist image and the live image may be output to the display device.
  • the display state determination unit selects a display state based on whether the positional relationship satisfies a third predetermined condition, and the fourth display When the state is selected, the display state may be selected based on whether the positional relationship satisfies the fourth predetermined condition.
  • the target location is a blood vessel
  • the display state determination unit determines and determines the positional relationship depending on whether or not a cross-section substantially parallel to the traveling direction of the blood vessel is depicted in the live image.
  • One display state may be selected from the two or more display states based on the positional relationship.
  • an assist image which is an image for guiding the movement of the probe to the target location, can be displayed in an easy-to-understand manner for the user.
  • the image processing apparatus further includes a 3D image generation unit that generates the three-dimensional image from data acquired in advance, and the 3D image generation unit includes a region including the target portion as the data.
  • the contour of the organ including the target portion is extracted from the ultrasonic image obtained by scanning with a probe in advance, thereby generating the three-dimensional image, and the position and orientation of the three-dimensional image in the three-dimensional space are determined.
  • the probe may be associated with the scanning position and orientation of the probe acquired by the position information acquisition unit.
  • the position and orientation of the 3D image in the 3D space can be associated with the scanning position and orientation of the probe.
  • the assist image generation unit generates navigation information based on a relative relationship between a current scanning position and orientation of the probe and a position and orientation of the target portion, and the assist image is generated as the assist image with respect to the three-dimensional image. Then, an image in which the probe image indicating the current scanning position and orientation of the probe and the navigation information are superimposed may be generated.
  • the assist image which is an image for guiding the movement of the probe to the target location, in a more easily understandable manner for the user.
  • the assist image generation unit when the fourth display state is selected, the assist image generation unit generates a plurality of cross-sectional images respectively indicating cross-sectional shapes from a plurality of directions at the target location, and generates the plurality of cross-sectional images thus generated.
  • an image in which a probe image indicating the current scanning position and orientation of the probe is superimposed may be generated as the assist image.
  • the target portion is a blood vessel
  • the plurality of cross-sectional images include two cross-sections each showing a cross-sectional shape from a long-axis direction that is a traveling direction of the blood vessel and a short-axis direction substantially orthogonal to the long-axis direction.
  • the assist image generation unit includes, for the two cross-sectional images, the target of the probe based on a relative relationship between a current scanning position and orientation of the probe and a position and orientation of the target portion. An image in which a straight line or a rectangle for guiding movement to a place is superimposed may be generated as the assist image.
  • the assist image which is an image for guiding the movement of the probe to the target location, in a more easily understandable manner for the user.
  • the display state determination unit calculates the difference between the position and orientation of the target portion and the position and orientation of the appliance as the positional relationship using the target position information and the appliance position information, and calculates One display state may be selected according to the difference.
  • the display state determination unit calculates the difference between the position and orientation of the target portion and the position and orientation of the instrument using the target position information and the instrument position information, and calculates the calculated difference. By holding, the displacement of the difference over time may be calculated as the positional relationship, and one display state may be selected according to the calculated displacement of the difference.
  • the target location is a surgical target site in the subject
  • the instrument is a surgical instrument used for surgery on the subject
  • the assist image generation unit supplies the surgical target site to the surgical target site.
  • An assist image that is an image for guiding the movement of the user may be generated.
  • the practitioner can confirm the movement of the operated surgical instrument, and can easily adjust the distance between the surgical instrument and the target location and the direction of excision or cutting.
  • the image processing apparatus may further include a 3D image generation unit that generates the three-dimensional image from data acquired in advance.
  • the display state determination unit calculates a difference between the target location and the position of the instrument as the positional relationship using the target position information and the instrument position information, and displays one display according to the calculated difference.
  • a state may be selected.
  • the display state determination unit calculates a difference between the target location and the position of the instrument using the target position information and the instrument position information, and retains the calculated difference with time.
  • the difference displacement may be calculated as the positional relationship, and one display state may be selected according to the calculated difference displacement.
  • the two or more display states include two or more display states in which at least one of the zoom magnification and the viewpoint in the assist image is different, and the display state determination unit is based on the positional relationship,
  • One display state may be selected from two or more display states in which at least one of the zoom magnification and the viewpoint in the assist image is different.
  • an assist image can be generated in various display modes and displayed in an easy-to-understand manner for the user.
  • the measurement target is not particularly limited as long as it is an organ that can be imaged by ultrasound, and includes a blood vessel, a heart, a liver, a breast, and the like.
  • a carotid artery will be described as an example.
  • FIG. 6 is a block diagram showing a configuration of the ultrasonic diagnostic apparatus 100 according to the first embodiment.
  • the ultrasonic diagnostic apparatus 100 includes a 3D image analysis unit 101, a position information acquisition unit 102, a display state determination unit 103, an assist image generation unit 104, a transmission / reception unit 105, a live image acquisition unit 106, and a display control unit. 107 and a control unit 108.
  • the ultrasonic diagnostic apparatus 100 is configured to be connectable to the probe 10, the display apparatus 150, and the input apparatus 160.
  • the probe 10 has, for example, a plurality of transducers (not shown) arranged in a one-dimensional direction (hereinafter referred to as transducer arrangement direction).
  • the probe 10 converts a pulsed or continuous wave electrical signal (hereinafter referred to as a transmission electrical signal) supplied from the transmission / reception unit 105 into a pulsed or continuous wave ultrasonic wave, and contacts the probe 10 with the skin surface of the subject.
  • a transmission electrical signal supplied from the transmission / reception unit 105 into a pulsed or continuous wave ultrasonic wave
  • the probe 10 receives a plurality of reflected ultrasound waves from the subject, converts the reflected ultrasound waves into electrical signals (hereinafter referred to as received electrical signals) by a plurality of transducers, and transmits and receives these received electrical signals.
  • received electrical signals electrical signals
  • an example of the probe 10 having a plurality of transducers arranged in a one-dimensional direction is shown, but the present invention is not limited to this.
  • a two-dimensional array of transducers arranged in a two-dimensional direction, or a oscillating ultrasound that constructs a three-dimensional tomographic image by mechanically oscillating a plurality of transducers arranged in a one-dimensional direction A probe may be used and can be appropriately used depending on the measurement.
  • the probe 10 may be provided with a part of the function of the transmission / reception unit 105 on the ultrasonic probe side.
  • a transmission electrical signal is generated in the probe 10 based on a control signal (hereinafter referred to as a transmission control signal) for generating a transmission electrical signal output from the transmission / reception unit 105, and the transmission electrical signal is converted into an ultrasonic wave.
  • a control signal hereinafter referred to as a transmission control signal
  • the structure which converts the received reflected ultrasonic wave into a received electrical signal and generates a later-described received signal based on the received electrical signal in the probe 10 can be mentioned.
  • the display device 150 is a so-called monitor, and displays the output from the display control unit 107 as a display screen.
  • the input device 160 includes various input keys, and is used by the operator for various settings of the ultrasonic diagnostic apparatus 100.
  • the configuration illustrated in FIG. 6 illustrates an example of a configuration in which the display device 150 and the input device 160 are provided separately from the ultrasonic diagnostic apparatus 100, but is not limited to such a configuration.
  • the input device 160 is configured to operate a touch panel on the display device 150, the display device 150 and the input device 160 (and the ultrasonic diagnostic apparatus 100) are integrated.
  • the 3D image analysis unit 101 analyzes a 3D image acquired in advance, for example, by scanning the measurement target with a short axis, and determines and determines position information (target position information) tgtInf1 including the three-dimensional position and orientation of the measurement target.
  • the target position information tgtInf1 is output to the display state determination unit 103.
  • the position information acquisition unit 102 acquires position information (instrument position information) indicating the scan position and orientation of the probe 10 currently being scanned using, for example, a magnetic sensor or an optical camera.
  • the display state determination unit 103 selects one display state from the two display states based on the positional relationship between the measurement target and the probe 10. Specifically, the display state determination unit 103 selects and selects either the first display state or the second display state based on the position and orientation difference between the measurement target and the current scan position. Output as mode information mode indicating the display state.
  • the assist image generation unit 104 acquires the assist image generation information tgtInf2 including the 3D image data and the target position information of the measurement target from the 3D image analysis unit 101, and is displayed in the display state indicated by the mode information mode.
  • An assist image is generated.
  • the assist image is an image for guiding the movement of the probe 10 to the measurement target, and information indicating the measurement surface of the measurement target and the position and orientation of the current scan surface is superimposed on the 3D image. It is an image.
  • both information modes Include in information mode.
  • the transmission / reception unit 105 is connected to the probe 10, generates a transmission control signal related to transmission control of the ultrasonic beam of the probe 10, and generates a pulsed or continuous wave transmission electrical signal generated based on the transmission control signal. Is transmitted to the probe 10.
  • the transmission processing performed by the transmission / reception unit 105 means processing for generating a transmission control signal at least by the transmission / reception unit 105 and causing the probe 10 to transmit an ultrasonic wave (beam).
  • the transmission / reception unit 105 amplifies the electrical signal received from the probe 10 and performs A / D conversion, performs reception processing for generating a reception signal, and supplies the reception signal to the live image acquisition unit 106.
  • This received signal is composed of, for example, a plurality of signals having a transducer arrangement direction and a transmission direction of ultrasonic waves and a direction perpendicular to the transducer arrangement (hereinafter referred to as a depth direction). It is a digital signal obtained by A / D converting an electric signal converted from the amplitude of a sound wave.
  • the transmission process and the reception process are repeatedly performed continuously to construct a plurality of frames made up of a plurality of received signals.
  • the reception process performed by the transmission / reception unit 105 means a process in which at least the transmission / reception unit 105 acquires a reception signal based on the reflected ultrasound.
  • the frame referred to here is a single received signal necessary for constructing one tomographic image, or a signal processed for constructing tomographic image data based on this single received signal.
  • it means one piece of tomographic image data or tomographic image constructed based on this single received signal.
  • the live image acquisition unit 106 converts each received signal in the frame into a luminance signal corresponding to the intensity, and generates tomographic image data by performing coordinate conversion of the luminance signal on the orthogonal coordinate system.
  • the live image acquisition unit 106 sequentially performs this process for each frame, and outputs the generated tomographic image data to the display control unit 107.
  • the display control unit 107 uses the assist image and the live image that is the ultrasonic image (tomographic image data) at the current scan position acquired by the live image acquisition unit 106, and the screen configuration specified by the mode information mode. Accordingly, the live image and the assist image are displayed on the display device 150.
  • the control unit 108 controls each unit in the ultrasonic diagnostic apparatus 100 based on an instruction from the input device 160.
  • FIG. 7 is a flowchart showing the operation of the ultrasonic diagnostic apparatus 100 according to the first embodiment.
  • the 3D image analysis unit 101 analyzes a 3D image acquired in advance to determine target position information including the position and orientation of a cross section serving as a measurement target, and also determines the position or orientation of the measurement target.
  • a range in which the difference is equal to or less than the threshold is set as a measurement range (step S101).
  • 8A to 8D are diagrams illustrating an example of a flow of generating a 3D image using an ultrasonic image.
  • the entire carotid artery is scanned by the probe 10 to acquire tomographic image data of a short axis image of a plurality of frames 51 as shown in FIG. 8A, and blood vessels are obtained from each frame 51 of the short axis image as shown in FIG. 8B.
  • the contour 52 is extracted.
  • FIG. 8C the blood vessel contour 52 of each frame 51 is placed in the 3D space, and a 3D image 53 of the carotid artery is constructed as shown in FIG. To do.
  • the position information including the position and orientation
  • the blood vessel contour 52 of each frame 51 is arranged in the 3D space based on this position information.
  • the position information can be calculated based on, for example, an optical marker attached to the probe 10 captured by a camera and a change in the shape of the optical marker in the captured image.
  • position information may be acquired using a magnetic sensor, a gyroscope, an acceleration sensor, or the like.
  • the probe not only a probe that acquires a two-dimensional image but also a probe that can acquire a three-dimensional image without moving the probe may be used.
  • This is, for example, an oscillating probe whose scanning surface mechanically oscillates within the probe, or a matrix probe in which ultrasonic transducers are two-dimensionally arranged on the probe surface.
  • the 3D image may be acquired by a method other than ultrasound such as CT (Computer Tomography) or MRI (Magnetic Resonance Imaging).
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • the ultrasound diagnostic apparatus 100 may be configured to generate a 3D image.
  • FIG. 9A is a diagram showing the position and orientation of the measurement target in the 3D image
  • FIG. 9B is a diagram showing the position of the measurement target in the long-axis cross section
  • FIG. 9C is the position of the measurement target in the short-axis cross section.
  • the position and orientation of the measurement target to be measured vary depending on the purpose of measuring organ diagnosis.
  • the measurement organ is an examination of the carotid artery
  • the measurement target in the 3D image 53 is generally positioned and oriented as shown in FIG. 9A. Therefore, the 3D image analysis unit 101 measures a part at a predetermined distance 62 from the measurement reference position 61 set based on the shape of the carotid artery as shown in FIG. 9B in the long-axis cross section that is the traveling direction of the blood vessel. It is determined as 63.
  • the 3D image analysis unit 101 has a plane (hereinafter referred to as a center line) 65 passing through a line (hereinafter referred to as a center line) 65 connecting the centers of the contours 64 of the short axis image in each frame constituting the 3D image in the plane in the short axis direction.
  • the position of the measurement target 63 is determined so as to be 66).
  • the 3D image analysis unit 101 determines that the maximum active surface 66 is a plane passing through the center of the contour before and after branching, or in a direction inclined by a predetermined angle from the plane.
  • the 3D image analysis unit 101 may store the position information of the measurement target at the time of the previous diagnosis, and determine the measurement target 63 so that the measurement can be performed at the same position and orientation as the previous time at the next measurement. .
  • the 3D image analysis unit 101 calculates the thickness of the intima by extracting the intima boundary and the outer membrane boundary of the blood vessel from the short-axis image acquired at the time of generating the 3D image, and the thickness is a threshold value.
  • part which is the above can be detected as a plaque.
  • the 3D image analysis unit 101 may determine, as the measurement target 63, a cross section in the long axis direction at a position where the thickness is maximum in the plaque detected in this way. In the present embodiment, the 3D image analysis unit 101 determines the measurement target 63, but the inspector may manually set the measurement target 63.
  • the position information acquisition unit 102 acquires position information (instrument position information) indicating the current scan position and orientation of the probe 10 (step S102).
  • the position information acquisition unit 102 acquires the position information using various sensors such as a camera or a magnetic sensor as described above.
  • a camera for example, an optical marker composed of four markers is attached to the probe 10, and the position and orientation of the marker are estimated based on the center coordinates and size of the four markers in an image acquired by the camera.
  • the scan position and orientation of the probe 10 can be estimated.
  • the display state determination unit 103 determines whether or not the current scan position is within the measurement range with respect to the measurement target (step S103). If the result of this determination is that it is within the measurement range (Yes in step S103), the display state determination unit 103 selects the first display state (step S104). Next, the assist image generation unit 104 generates an assist image in the first display state using the assist image generation information tgtInf2 including the 3D image data and the target position information of the measurement target (step S105). Then, the display control unit 107 displays the assist image and the live image that is the ultrasonic image at the current scan position acquired by the live image acquisition unit 106 on the display device 150 in the first display state (step S106). .
  • the display state determination unit 103 selects the second display state (step S107).
  • the assist image generation unit 104 generates an assist image in the second display state using the assist image generation information tgtInf2 including the 3D image data and the target position information of the measurement target (step S108).
  • the display control unit 107 displays the assist image and the live image on the display device 150 in the second display state (step S109).
  • step S110 it is determined whether or not the process is completed. If the process is not completed (No in step S110), the current position information acquisition process (step S102) is repeated.
  • FIG. 10 is a flowchart illustrating an example of a screen display switching operation. Note that the flowchart shown in FIG. 10 describes only a part that replaces step S103 to step S109 shown in FIG.
  • the display state determination unit 103 calculates the difference in position and orientation between the measurement target and the current scan position (step S1101). Subsequently, the display state determination unit 103 determines whether or not the difference between the position and the orientation with respect to the specific direction of the 3D image is equal to or less than a threshold value (step S1102).
  • the specific direction may take into consideration all three axes orthogonal to each other in the three-dimensional space coordinates, or may be set based on the shape of the measurement organ. For example, when the measurement target is parallel to the center line of the blood vessel, the distance between the center of the measurement target and the center of the scan plane at the current scan position is less than or equal to the threshold, and the scan plane at the current scan position is the center. When approaching parallel to the line, it is possible to determine that the difference between the position and the orientation is equal to or less than a threshold value.
  • the display state determination unit 103 selects the first display state (step S104).
  • the assist image generation unit 104 generates an assist image in the first display state using the assist image generation information tgtInf2 (step S105).
  • the display control unit 107 displays on the display device 150 in the first display state (fourth display state) in which the main display is an ultrasonic live image and the sub display is an assist image (step S1103).
  • the display state determination unit 103 selects the second display state (step S107).
  • the assist image generation unit 104 generates an assist image in the second display state using the assist image generation information tgtInf2 (step S108).
  • the display control unit 107 displays on the display device 150 in the second display state (third display state) in which the main display is the assist image and the sub display is the live image (step S109).
  • the main display means the display of the center of the screen of the display device 150 on which the ultrasonic image is displayed or the portion occupying the largest area on the screen, and the sub display is displayed on the screen. This refers to the display of information that is not the main display.
  • FIGS. 11A to 11C are diagram illustrating an example of a carotid artery that is a measurement organ in 3D space
  • FIG. 11B is a diagram illustrating an example of a second display state
  • FIG. 11C is a diagram illustrating an example of a first display state. It is.
  • step S1102 whether the current scan position is within the measurement range, that is, the difference between the current scan position and the measurement target in 3D space, and the difference in the rotation angle around the z axis are respectively It is determined whether it is below a preset threshold value.
  • determining in this way it is possible to roughly determine whether or not a long-axis image can be drawn with the probe rotated about the z-axis, and the display state can be switched when a long-axis image can be drawn.
  • the current scan position is out of the measurement range, that is, the screen is displayed when the long axis image is not drawn, and the scan position can be moved to the target position while mainly referring to the assist image.
  • the assist image 73 is displayed on the screen 70 as the main display 71 and the live image 74 is displayed as the sub display 72.
  • the first display state shown in FIG. 11C is a screen display when the current scan position is within the measurement range, and since the scan position is in the vicinity of the target position, an ultrasonic live image 75 is mainly displayed.
  • the live image 75 is displayed as the main display 71 and the assist image 73 is displayed as the sub display 72 on the screen 70 so that the positioning can be performed with reference.
  • a 3D image 42 indicating the organ shape including the target portion
  • an image 43 indicating the current position of the probe 10
  • an image 44 indicating the current scan plane
  • a scan plane of the measurement target are shown.
  • An image 46, an image 45 indicating the position of the probe 10 to be moved for scanning the measurement target, and an arrow 47 indicating the direction in which the probe 10 is moved are displayed.
  • the left-right relationship between the assist image and the live image is reversed before and after the switching, but the present invention is not limited to this.
  • the display area may be enlarged while the live image 74 is displayed on the right side of the screen so that the left-right relationship is not switched.
  • the screen display switching is not limited to two patterns, and the screen display may be changed continuously by enlarging or reducing the display area of each image based on the difference in position and orientation.
  • step S1102 of FIG. 10 the display state is switched based on whether the difference between the position and orientation of the measurement target and the current scan position is equal to or smaller than the threshold value, and therefore the position where the difference is near the threshold boundary. If the probe is moved frequently, the display state is frequently switched, and the visibility of the assist image and the live image may be lowered.
  • FIG. 12 is a flowchart showing an operation for stably switching the display state by introducing hysteresis in the display state switching determination.
  • steps from step S1105 to step S1107 added to the flowchart of FIG. 10 will be described.
  • the display state determination unit 103 determines whether or not the current display state is the second display state (step S1105). If the result of this determination is the second display state (Yes in step S1105), the display state determination unit 103 sets the threshold used for display state switching determination to T1 for each of the position and orientation (step S1106). . On the other hand, when the display state is not the second display state (No in step S1105), the display state determination unit 103 sets a threshold T2 different from the threshold T1 set in step S1106 (step S1107). For example, in the first display state, the position threshold T2 is set to 8 mm, and in the second display state, the position threshold T1 is set to 10 mm.
  • the first display state is transitioned to when the position difference is 8 mm or less.
  • the threshold value in the first display state is 10 mm, if the difference is less than 10 mm, the first display state is maintained. Therefore, even if the probe moves about 2 mm in the vicinity where the difference is 8 mm, the display state does not vibrate and can be kept stable.
  • the elements to be switched based on the difference between the measurement target and the current scan position are not limited to the display state such as the main display and the sub display.
  • the assist image itself such as the viewpoint direction and zoom magnification in the assist image. It may be a parameter related to the appearance of.
  • FIG. 13A is a diagram illustrating an example of a carotid artery that is a measurement target in 3D space
  • FIG. 13B is a diagram illustrating an example of a carotid artery in the long axis direction in 3D space
  • FIG. 13C is a diagram illustrating a short in 3D space. It is a figure which shows an example of the carotid artery of an axial direction
  • FIG. 13D is a figure which shows an example of the combination display of the live image of the major axis direction after switching, and the assist image of a minor axis direction.
  • the three-dimensional shape of the carotid artery has a short-axis cross section parallel to the xz plane and a traveling direction parallel to the y-axis.
  • a long axis image is drawn by rotating the probe.
  • the positional relationship between the current scan position 82 and the measurement target 81 is easy to understand when viewed in the viewpoint direction (z-axis direction in the figure) from which the long axis image can be seen.
  • a viewpoint direction (y-axis direction in the drawing) in which the scan position and inclination in the short-axis section 84 can be grasped is desirable.
  • the blood vessel image is drawn only on a part of the screen as the shift of the rotation angle around the z-axis between them increases.
  • the meandering of the blood vessel is slight, but at least the running from the common carotid artery to the bifurcation is linear, and this assumption is practically useful. Therefore, the rotation around the x-axis and the z-axis and the position in the y-axis direction can be grasped from the live image. From the assist image, the rotation around the y-axis and the positions in the x-axis and z-axis directions can be grasped, so that all positional relationships can be grasped by combining both.
  • the traveling direction of the blood vessel can be determined based on the center line of the 3D image.
  • FIG. 14A is a diagram showing an example of an assist image at the long-axis direction viewpoint before switching
  • FIG. 14B is a diagram showing an example of the assist image at the short-axis direction viewpoint after switching.
  • the assist image 85 at the long axis viewpoint as shown in FIG. 14A is displayed, and if it is within the measurement range, the assist image at the short axis direction viewpoint as shown in FIG. 14B is displayed. To do.
  • FIG. 15A is a diagram illustrating an example of the assist image at the long-axis direction viewpoint before switching
  • FIG. 15B is a diagram illustrating an example of the assist image at the short-axis direction viewpoint after switching and with the zoom magnification increased. .
  • the zoom magnification is lowered as shown in FIG. 15A, and the scan position is scanned within the measurement range.
  • the zoom magnification is increased and displayed so that the vicinity region of the measurement target can be seen in detail as shown in FIG. 15B.
  • FIG. 16 is a flowchart showing an example of an operation for switching the setting of the assist image. Steps S201 to S203 are substantially the same as steps S101, S102, and S103 in FIG. Here, the processing of steps S204 and S205 will be described.
  • the assist image generation unit 104 switches the setting of each element such as the viewpoint direction of the assist image and the zoom magnification (step S204). Then, the assist image generation unit 104 generates an assist image reflecting the switching (step S205). The switching of each element such as the viewpoint direction and the zoom magnification may be used together with the switching of the screen display.
  • the display state of the screen is dynamically switched based on whether or not the current scan position is within the measurement range of the measurement target.
  • the probe can be guided more easily for the examiner.
  • the configuration is such that the viewpoint direction of the 3D space in the assist image is changed in accordance with the current scan position and orientation, the inspector can be guided to easily align the measurement target and the scan position. You can also.
  • FIGS. 11B and 11C configurations other than the screen configurations illustrated in FIGS. 11B and 11C may be used.
  • the main display 71 and the sub display 72 are not separately displayed on the screen 70, but in the main display 76 as shown in FIGS. 17A and 17B.
  • a screen configuration including the sub display 77 may be used.
  • the display state determination unit 103 selects the first display state or the second display state based on the difference between the position and orientation of the measurement target and the current scan position. It is not limited to.
  • the display state determination unit 103 may select the first display state or the second display state based on the difference in position between the measurement target and the current scan position.
  • the display state determination unit 103 holds the difference between the position and direction (or only the position) between the measurement target and the current scan position, so that the first display state or The second display state may be selected.
  • the second embodiment is different from the first embodiment in that the position information acquisition unit 102 of the ultrasonic diagnostic apparatus 100 determines whether or not the probe position information can be acquired. Since the configuration is the same as that of the ultrasound diagnostic apparatus 100 of the first embodiment shown in FIG. 6, the position information acquisition unit 102 will be described using the same reference numerals.
  • location information cannot be acquired correctly.
  • position information cannot be acquired correctly if the probe goes out of the magnetic field range or approaches a device such as a metal that disturbs the magnetic field.
  • the position information acquisition unit 102 determines whether the position information of the probe 10 has been acquired.
  • FIG. 18 is a flowchart showing the operation of the ultrasonic diagnostic apparatus 100 according to the second embodiment. Since steps other than step S108 and step S109 are the same as those in FIG.
  • step S108 the position information acquisition unit 102 determines whether the position information of the probe 10 has been acquired. As a result of this determination, if it has been acquired (Yes in step S108), the process proceeds to step S103.
  • the position information acquisition unit 102 instructs the display control unit 107 to display warning information indicating that the position information cannot be acquired.
  • the warning information is displayed on the display device 150 (step S109).
  • position information can be acquired after step S103, information indicating that is also displayed. Also good.
  • information indicating that is also displayed. not only whether or not position information can be acquired, but also display based on reliability of position information and the like may be performed. For example, if the gain, exposure, white balance, etc. of the camera are not appropriate and the position detection accuracy of the optical marker in the image acquired by the camera is lowered, the reliability is lowered. In this case, a numerical value based on the reliability may be displayed in step S109 or step S103 and the like, or a figure or the like whose shape, pattern, color, or the like changes based on the reliability may be displayed.
  • FIG. 19A is a diagram illustrating a configuration example of a system that acquires position information by photographing an optical marker attached to a probe with a camera.
  • the optical marker is composed of four markers 15a to 15d, and the position information acquisition unit 102 uses the center coordinates and sizes of the four markers in the image acquired by the camera 90. Based on the above, the position and orientation of the marker are estimated.
  • FIG. 19B is a diagram showing a specific example 1 when the position information cannot be acquired because the marker 15c cannot be detected due to the shadow of the probe itself
  • FIG. 19C is a diagram showing a specific example 1 of a screen displaying warning information. It is.
  • a red circle sign indicating that is shown in FIG. 19C. 91 is displayed on the screen 70.
  • a sign 91 of a green circle different from the red circle which is an example of the warning information, may be displayed.
  • FIG. 19D is a diagram illustrating a specific example 2 when position information cannot be acquired because the probe 10 is out of the field of view of the camera 90
  • FIG. 19E is a diagram illustrating a specific example 2 of a screen displaying warning information. It is.
  • the current position of the probe 10 is indicated by a cross mark 93 in the drawing as shown in FIG. 19E.
  • the arrow 94 in the direction from the current position of the probe toward the measurement target 92 is assisted. Display on the screen.
  • FIG. 20A is a diagram showing a display example 1 in which the posture of the subject is associated with the orientation of the 3D image
  • FIG. 20B is a diagram of display example 2 in which the posture of the subject is associated with the orientation of the 3D image.
  • information relating the 3D image of the carotid artery and the orientation of the subject's body may be displayed on the assist image.
  • the direction of the subject's head may be indicated, and as shown in display example 2 in FIG. May be shown.
  • the direction of the head can be determined by, for example, detecting the face of the subject from the camera image or detecting the silhouette of the head or shoulder of the subject.
  • the carotid artery branches from one to two, but the direction on the side where two blood vessels exist by branching may be used as the head direction.
  • the direction of the head can also be determined by constraining the scanning direction in advance, for example, by setting the short axis scan for constructing the 3D image as the direction from the bottom to the top of the neck.
  • the assist image may always display information from a plurality of viewpoint directions instead of switching the viewpoint direction when switching between the main display and the sub display.
  • FIG. 21 is a diagram illustrating a screen configuration example using an assist image including images (cross-sectional images) in two viewpoint directions, ie, a long-axis viewpoint and a short-axis viewpoint, in carotid artery diagnosis.
  • the viewpoint direction in the assist image 71 is always two viewpoint directions of the long axis direction and the short axis direction, and the assist image 71 displays an image 78 of the long axis direction viewpoint and an image 79 of the short axis direction viewpoint. Is done. Further, by combining the live image 72 and the assist image 71, position and orientation information about all three axes x, y, and z can be obtained. There is no need to switch.
  • the main display may always be a live image and the sub display may be an assist image without switching the screen configuration.
  • information indicating the current scan position may be superimposed on the assist image only when the current scan position is measured within the measurement range.
  • Information indicating whether the current scan position is within the measurement range may be displayed.
  • the third embodiment is different from the first embodiment in that the display state determination unit 103 of the ultrasonic diagnostic apparatus 100 switches the display state depending on whether or not a long-axis image is drawn on the ultrasonic image. Since the configuration is the same as that of the ultrasound diagnostic apparatus 100 according to Embodiment 1 shown in FIG. 6, the display state determination unit 103 will be described using the same reference numerals.
  • the display state determination unit 103 determines whether or not the ultrasound image at the current scan position acquired from the live image acquisition unit 106 depicts a long-axis image. Then, when a long-axis image is drawn, the display state determination unit 103 selects the first display state in which the main display is an ultrasonic live image and the sub display is an assist image. In addition, when the long-axis image is not drawn, the display state determination unit 103 selects the second display state in which the main display is the assist image and the sub display is the live image.
  • the inner membrane boundary and outer membrane boundary of the long-axis image of the blood vessel can be extracted based on the ultrasonic B image, color flow, or power Doppler image.
  • a B image an edge near the boundary may be searched based on the luminance value, and in the case of a color flow or power Doppler image, it is assumed that the blood flow region corresponds to the lumen of the blood vessel.
  • UI User Interface
  • FIG. 22 is a flowchart showing the operation of the ultrasonic diagnostic apparatus 100 according to the third embodiment. Since steps other than step S301 are the same as those in FIG.
  • the display state determination unit 103 determines whether or not the ultrasound image at the current scan position acquired from the live image acquisition unit 106 depicts a long-axis image (step S301). As a result of this determination, if it is determined that a long-axis image is drawn (Yes in step S301), the display state determination unit 103 sets the main display as an ultrasonic live image and the sub display as an assist image. A display state is selected (step S104). On the other hand, when it is determined that the long axis image is not drawn (No in step S301), the display state determination unit 103 selects the second display state in which the main display is the assist image and the sub display is the live image ( Step S107).
  • the display state of the screen is dynamically switched based on whether or not the ultrasound image depicts a long axis image. As a result, the probe can be guided more easily for the examiner.
  • the operation for diagnosing carotid artery plaque has been mainly described.
  • the assist image is effective not only for plaque but also for Doppler measurement which is important in vascular diagnosis.
  • the position information of the sample gate for Doppler measurement is determined by the 3D image analysis unit 101 or set manually, and the examiner is guided so that the set position of the sample gate can be scanned.
  • the position of the sample gate can be set so as to be close to the boundary between the common carotid artery and the carotid sinus, to a predetermined distance from the carotid artery bifurcation, or to the plaque site.
  • it can also be used to observe other blood vessels such as the abdominal aorta and subclavian artery, and tumors of the liver and breast.
  • An intraoperative navigation system is a system that displays a positional relationship between a patient position during surgery and a surgical instrument. This intraoperative navigation system, for example, to improve the recognizability of tumor position or blood vessel position, etc., and to display the position of surgical instruments such as bones or organs to improve the safety during surgery Used for.
  • FIG. 23 is a schematic diagram showing an installation example of an intraoperative navigation system
  • FIG. 24 is a diagram showing an outline of information import into a virtual three-dimensional space.
  • a surgical instrument 203 such as an endoscope may be inserted from an incision 202 of a patient 201 to be operated, and a desired part may be excised or cut. If the desired site is not visible, a surgical navigation system is used to indicate to the practitioner where the tip of the surgical instrument 203 is in the body.
  • the surgical navigation system includes an optical marker 213 installed on the surgical instrument 203, a tracking system including one or more imaging devices 511 such as a CCD camera and an image processing device 500 on the bedside where the patient is laid, navigation information (assist image) ) Is displayed.
  • the display device (monitor) 250 is displayed.
  • the tracking system images the optical marker 213 with the imaging device 511, calculates the position and orientation (orientation) information 223 in the space of the optical marker 213, and uses the information as information on the position and orientation of the distal end portion of the surgical instrument 203. Can be converted. Based on the acquired position and orientation information, an object simulating the surgical instrument 203 is placed in the three-dimensional space 520 virtually set in the tracking system.
  • the position of a desired part of a patient to be operated is generally confirmed in advance in terms of its three-dimensional shape and size by a preoperative simulation.
  • a region to be excised or cut is determined in advance using the three-dimensional volume data 510 of a surgical target site (target location) acquired by a modality such as CT, MRI, PET, or an ultrasonic diagnostic apparatus.
  • a modality such as CT, MRI, PET, or an ultrasonic diagnostic apparatus.
  • the alignment 222 between the actual region to be operated and the three-dimensional volume data 510 is performed when the patient is fixed to the bed 204 before the operation is started. That is, on the assumption that the positional relationship between the imaging target device 201 and the bed 204 to which the surgical target patient 201 or the surgical target patient 201 is fixed does not change, the position, posture, and size of the surgical target region are taken into the tracking system. .
  • optical markers 214 and 211 are placed at predetermined positions (physical feature points of the patient such as a bed and bones), and the spatial position is measured by the tracking system. And by measuring posture information.
  • FIG. 25 is a block diagram illustrating a configuration of the image processing apparatus 500 according to the fourth embodiment.
  • the image processing apparatus 500 includes a 3D image generation unit 501, a position information acquisition unit 502, a display state determination unit 503, an assist image generation unit 504, and a display control unit 505 as illustrated in FIG.
  • the image processing apparatus 500 is connected to a database that stores volume data 510, an imaging apparatus 511, and a display apparatus 250.
  • the imaging device 511 is a photographing unit such as a CCD camera, and acquires images of a surgical target patient and a surgical instrument including an optical marker.
  • the volume data 510 is three-dimensional image data of a region to be operated, and is generally acquired by a modality such as CT or MRI before surgery. It is also possible to perform navigation while updating volume data at any time by acquiring data in real time using an ultrasonic diagnostic apparatus.
  • the display device 250 is a so-called monitor, and displays an output from the display control unit 505 as a display screen.
  • the 3D image generation unit 501 generates a 3D image of the surgical target site by rendering the volume data 510.
  • the 3D image generation unit 501 may determine a region to be excised or cut and reflect information on the region or the like in the 3D image.
  • the position information acquisition unit 502 includes position information including the three-dimensional position and orientation of the surgical target region based on the image acquired by the imaging device 511 and the image of the optical marker placed on the patient or surgical target patient or surgical instrument. (Target position information) and position information (instrument position information) indicating the three-dimensional position and posture (orientation) of the surgical instrument are acquired.
  • the display state determination unit 503 selects one display state from the two display states based on the positional relationship between the surgical target site (target location) and the surgical instrument. Specifically, the display state determination unit 503 selects either the first display state or the second display state based on the position difference (distance) between the surgical target site and the surgical instrument. At this time, the display state determination unit 503 calculates the distance between the surgical target site and the surgical instrument from the position of the surgical target site and the surgical instrument in the virtual three-dimensional space.
  • the assist image generation unit 504 generates an assist image so as to be displayed in the display state selected by the display state determination unit 503.
  • the display control unit 505 controls the position and size when displaying the assist screen on the display device 250, and displays an assist image on the display device 250.
  • FIG. 26 is a flowchart showing the operation of the image processing apparatus 500 according to the fourth embodiment.
  • the 3D image generation unit 501 generates 3D image to be displayed on the assist image by acquiring 3D volume data including the surgical target area of the patient acquired in advance and rendering the 3D volume data (step S501).
  • the 3D image generation unit 501 may perform resection or cutting site designation corresponding to preoperative simulation (generally, resection or cutting site setting is performed separately before operation).
  • the position information acquisition unit 502 is based on an image acquired by the imaging device 511 in an environment where the geometrical positional relationship between the imaging device 511 and the bed or patient to be operated in the operating room is determined.
  • Target position information such as the three-dimensional position, posture, and size of the surgical target site is acquired (step S502).
  • the 3D image generation unit 501 performs alignment by calibrating the 3D image, the 3D position, posture, size, and the like of the surgical target site (step S503).
  • the position information acquisition unit 502 acquires information on the position and posture of the surgical instrument based on the image acquired by the imaging device 511. Furthermore, these pieces of information are converted into information on the position and posture of the surgical instrument tip (step S504).
  • the 3D image generation unit 501 arranges the surgical target part and the surgical instrument in the virtual three-dimensional space from the information on the position and posture of the surgical target part, the surgical instrument, and the surgical instrument tip (step S505).
  • the display state determination unit 503 calculates the distance between the surgical target site and the surgical instrument in the virtual three-dimensional space (step S506).
  • the display state determining unit 503 determines whether the distance between the surgical target site and the surgical instrument in the virtual three-dimensional space is within a predetermined range (step S507).
  • the display state determination unit 103 selects the second display state (step S508).
  • the display state determination unit 103 changes settings such as the zoom magnification and the line-of-sight direction of the assist image (step S509).
  • step S510 the display state determination unit 103 selects the first display state (step S510).
  • the assist image generation unit 504 generates an assist image to be displayed in the first display state or the second display state selected by the display state determination unit 503 (step S511).
  • the display control unit 505 displays an assist image on the display device 250 (step S512).
  • FIGS. 27A and 27B are diagrams illustrating an example of an assist image displayed by the image processing apparatus 500
  • FIG. 27A is a diagram illustrating an example of an assist image displayed in the second display state
  • FIG. It is a figure which shows an example of the assist image displayed in 1 display state.
  • the assist image displayed in the first display state is an assist image when the surgical target site and the surgical instrument are outside a predetermined range (a certain distance apart), and the viewpoint position is set to a 3D volume as shown in FIG. 27A. It is installed at a point away from the data (or the cutting angle of view is set to a wide angle) so that the positional relationship between the surgical target site and the surgical instrument can be confirmed from a bird's-eye view.
  • the assist image displayed in the second display state is an assist image when the distance between the surgical target site and the surgical instrument is within a predetermined range (not more than a certain distance), as shown in FIG. 27B.
  • the position is set to a position close to the 3D volume data (or the cut-out angle of view is set narrow) so that a more detailed positional relationship and movement of the surgical instrument can be confirmed.
  • step S513 it is determined whether or not the process is completed.
  • step S513 information representing the positional relationship between the latest surgical target region and the surgical instrument should be generated in the assist image.
  • step S514 information on the position and posture of the surgical instrument is acquired. Then, it is determined whether or not there is a change in the position or posture of the surgical instrument (step S515). If the result of this determination is that there is a change (Yes in step S515), the processing from step S506 is repeated. On the other hand, if there is no change (No in step S515), the processing from step S513 is repeated.
  • the procedure for updating only the instrument position information of the surgical instrument is described here, the target position information of the surgical target part may be updated as necessary. Also at this time, if a change occurs in the positional relationship between the surgical target region and the surgical instrument, the processing from step S506 is executed.
  • the instrument position information of the surgical instrument is updated in real time, and the assist image displayed on the display device 250 is also updated accordingly. Therefore, the practitioner confirms the movement of the operated surgical instrument on the display device 250. It is possible to easily adjust the distance between the surgical instrument and the target location and the direction of excision or cutting.
  • the assist image generation unit 504 generates an assist image in the first display state that allows an overview of the whole, assuming that the surgical target site and the surgical instrument are separated in the initial state. .
  • the assist image setting is changed from the first display state.
  • settings such as the zoom magnification and the line-of-sight direction are changed from the initial state so as to switch to the second display state.
  • the display state determination unit 503 sets the zoom magnification, the line-of-sight direction, and the like in the initial state.
  • the distance calculated by the display state determination unit 503 may be set to be obtained between the center of gravity of the excision or cutting region in the surgical target site and the distal end of the surgical instrument, but is not limited thereto.
  • step S501 the 3D image generation unit 501 may perform the resection or cutting site designation corresponding to the preoperative simulation.
  • the simulation result (resection or cutting region) is displayed in step S511 as a 3D image. You may superimpose on.
  • a step or means for determining whether or not the surgical instrument has accessed the resection or cutting area is added, and when it is determined that the access has been made, a 3D image from which the area has been deleted is regenerated and the display is updated. May be. By doing so, the practitioner can more easily grasp the progress of the operation.
  • the method of capturing an optical marker with a camera has been described as a method for acquiring position information.
  • a magnetic sensor or a multi-joint arm may be used.
  • step S507 m types of image display states (m is a natural number) are prepared, and the nth display state (n is a natural number smaller than m) is selected.
  • step S507 a certain time t and time It may be determined whether the absolute difference in distance from t ⁇ 1 is greater than or equal to a predetermined magnitude and whether it is positive or negative, and the nth to n + 1th or n ⁇ 1th display state is selected. By doing so, an effect that the region to be excised or cut is enlarged as the surgical instrument approaches the surgical target site, that is, an image that smoothly changes from FIG. 27A to FIG. 27B is obtained. .
  • 28A to 28C are explanatory diagrams when the image processing method of each of the above embodiments is executed by a computer system using a program recorded on a recording medium such as a flexible disk.
  • FIG. 28B shows the appearance, cross-sectional structure, and flexible disk as seen from the front of the flexible disk
  • FIG. 28A shows an example of the physical format of the flexible disk that is the recording medium body.
  • the flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 28C shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the program is written from the computer system Cs via the flexible disk drive.
  • the ultrasonic diagnostic method for realizing the ultrasonic diagnostic method by the program in the flexible disk is constructed in the computer system, the program is read from the flexible disk by the flexible disk drive and transferred to the computer system.
  • the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
  • the blocks of the ultrasonic diagnostic apparatus of FIG. 6 and the image processing apparatus of FIG. 25 are typically realized as an LSI (Large Scale Integration) that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI Large Scale Integration
  • LSI Integrated Circuit
  • IC Integrated Circuit
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • a dedicated circuit for graphics processing such as GPU (Graphic Processing Unit) can be used.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the units of the ultrasonic diagnostic apparatus of FIG. 6 and the image processing apparatus of FIG. 25 may be connected via a network such as the Internet or a LAN (Local Area Network).
  • a network such as the Internet or a LAN (Local Area Network).
  • LAN Local Area Network
  • the function addition of each part etc. may be performed via a network.
  • the image processing apparatus and method of the present invention it is possible to reduce the time until the scan position is matched with the target, and it is expected to improve examination efficiency in screening for arteriosclerosis. Have sex.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

　被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる画像処理装置を提供する。画像処理装置である超音波診断装置（１００）は、対象箇所を含む３次元像に基づいて、対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部（１０１）と、器具の３次元位置を示す器具位置情報を取得する位置情報取得部（１０２）と、対象箇所と器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部（１０３）と、選択された表示状態で表示されるように、アシスト画像を対象位置情報および器具位置情報を用いて生成するアシスト画像生成部（１０４）と、アシスト画像を表示装置（１５０）に出力するための制御を行う表示制御部（１０７）とを備える。

Description

画像処理装置、画像処理方法、およびプログラム
　本発明は、被検体内の対象箇所まで器具を移動できるように誘導するための画像を生成する画像処理装置および画像処理方法に関する。
　生体の画像診断装置としては、例えば、エックス線診断装置、ＭＲ（磁気共鳴）診断装置、および、超音波診断装置等が普及している。なかでも、超音波診断装置は非侵襲性および実時間性などの利点を有しており、診断または検診に広く利用されている。超音波診断装置を用いた診断部位は、心臓、血管、肝臓、乳房など多岐に渡るが、近年、動脈硬化のリスク判定を目的とした頸動脈などの血管診断が注目されている。しかし、この血管診断には高度な手技が必要であるため、特許文献１のように、検査者を誘導するための画像を表示する超音波装置が提案されている。
　また、近年、手術中の患者位置と手術器具との位置関係を表示する術中ナビゲーションシステムが提案されている。この術中ナビゲーションシステムは、例えば腫瘍の位置または血管の位置等の認識性を向上させるため、また、骨または臓器といった手術対象箇所に対する手術器具の位置を表示し手術の際の安全性を向上させるためなどに用いられる。
特開２０１０－５１８１７号公報
　しかしながら、上記のような超音波診断装置および術中ナビゲーションシステム等において、検査者および手術者等の使用者に対して表示する画像がわかりにくいという課題がある。
　そこで、本発明は、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる画像処理装置等を提供する。
　本発明の一態様に係る画像処理装置は、被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、前記アシスト画像を表示装置に出力するための制御を行う表示制御部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明によれば、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる。
図１Ａは、プローブおよびスキャン面を示す概略図である。 図１Ｂは、頸動脈をプローブでスキャンする２方向を示す図である。 図１Ｃは、長軸スキャンにより取得された超音波画像の見え方の一例を示す図である。 図１Ｄは、短軸スキャンにより取得された超音波画像の見え方の一例を示す図である。 図２Ａは、短軸断面の動脈血管の構造を示す断面図である。 図２Ｂは、長軸断面の動脈血管の構造を示す断面図である。 図２Ｃは、短軸断面の内膜と外膜の境界を示す断面図である。 図２Ｄは、長軸断面の内中膜の肥厚の一例を示す断面図である。 図３は、想定される超音波診断装置の構成を示すブロック図である。 図４は、想定される超音波診断装置の動作を示すフローチャートである。 図５は、アシスト画像とライブ画像を含む画面構成例を示す図である。 図６は、実施の形態１の超音波診断装置の構成を示すブロック図である。 図７は、実施の形態１の超音波診断装置の動作を示すフローチャートである。 図８Ａは、３Ｄ像の生成フロー例を示す図である。 図８Ｂは、３Ｄ像の生成フロー例を示す図である。 図８Ｃは、３Ｄ像の生成フロー例を示す図である。 図８Ｄは、３Ｄ像の生成フロー例を示す図である。 図９Ａは、３Ｄ像における測定ターゲットの位置と向きを示す図である。 図９Ｂは、測定ターゲットの長軸断面における位置を示す図である。 図９Ｃは、測定ターゲットの短軸断面における位置を示す図である。 図１０は、画面表示の切替え動作の一例を示すフローチャートである。 図１１Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図である。 図１１Ｂは、第２表示状態の一例を示す図である。 図１１Ｃは、第１表示状態の一例を示す図である。 図１２は、画面表示の切替えにヒステリシスを適用した動作の一例を示すフローチャートである。 図１３Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図である。 図１３Ｂは、３Ｄ空間における長軸方向の頸動脈の一例を示す図である。 図１３Ｃは、３Ｄ空間における短軸方向の頸動脈の一例を示す図である。 図１３Ｄは、切替え後の長軸方向のライブ画像と短軸方向のアシスト画像の組み合わせ表示の一例を示す図である。 図１４Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図である。 図１４Ｂは、切替え後の短軸方向視点のアシスト画像の一例を示す図である。 図１５Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図である。 図１５Ｂは、切替え後の短軸方向視点で、かつズーム倍率を上げたアシスト画像の一例を示す図である。 図１６は、アシスト画像の設定を切替える動作の一例を示すフローチャートである。 図１７Ａは、第２表示状態の他の一例を示す図である。 図１７Ｂは、第１表示状態の他の一例を示す図である。 図１８は、実施の形態２の超音波診断装置の動作を示すフローチャートである。 図１９Ａは、カメラを用いてプローブの位置情報を取得するシステムを示す図である。 図１９Ｂは、プローブの位置情報が取得できない具体例１を示す図である。 図１９Ｃは、警告情報を表示する画面の具体例１を示す図である。 図１９Ｄは、プローブの位置情報が取得できない具体例２を示す図である。 図１９Ｅは、警告情報を表示する画面の具体例２を示す図である。 図２０Ａは、被検者の体位と３Ｄ像との向きを対応させた表示例１を示す図である。 図２０Ｂは、被検者の体位と３Ｄ像との向きを対応させた表示例２を示す図である。 図２１は、２つの視点での画像を含むアシスト画像を用いた画面構成例を示す図である。 図２２は、実施の形態３の超音波診断装置の動作を示すフローチャートである。 図２３は、術中ナビゲーションシステムの設置例を示す概略図である。 図２４は、仮想３次元空間内への情報取り込みの概要を示す図である。 図２５は、実施の形態４の画像処理装置の構成を示すブロック図である。 図２６は、実施の形態４の画像処理装置の動作を示すフローチャートである。 図２７Ａは、第２表示状態で表示するアシスト画像の一例を示す図である。 図２７Ｂは、第１表示状態で表示するアシスト画像の一例を示す図である。 図２８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。 図２８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。 図２８Ｃは、フレキシブルディスクにプログラムの記録再生を行うための構成を示す図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した超音波診断装置および術中ナビゲーションシステム等の画像処理装置に関し、以下の問題が生じることを見出した。
　まず、超音波による頸動脈診断について説明する。図１Ａ～図１Ｄは頸動脈を超音波でスキャンする際の像の見え方の説明図である。図１Ａはプローブおよびスキャン面を示す概略図であり、図１Ｂは頸動脈をプローブでスキャンする２方向を示す図であり、図１Ｃは長軸スキャンにより取得された超音波画像の見え方の一例を示す図であり、図１Ｄは短軸スキャンにより取得された超音波画像の見え方の一例を示す図である。
　プローブ１０には超音波振動子（図示しない）が配置されており、例えば超音波振動子が１次元的に配置される際には、図１Ａに示すように超音波振動子の直下の２次元のスキャン面１１に対して超音波画像が得られる。一般的に、頸動脈の診断においては、図１Ｂに示すように頸動脈１４を輪切りにする方向（短軸方向）１２と短軸方向１２に略直交する方向（長軸方向）１３の２方向からの画像を取得する。長軸方向１３、短軸方向１２で頸動脈１４をプローブ１０でスキャンすると、それぞれ、例えば図１Ｃに示すような長軸方向の血管像と図１Ｄに示すような短軸方向の血管像が得られる。
　次に、頸動脈診断においては血管壁の厚さを指標として動脈硬化の進行度合いを把握することから、動脈の血管壁の構造について図２Ａ～図２Ｄを参照して説明する。図２Ａは短軸断面の動脈血管の構造を示す断面図であり、図２Ｂは長軸断面の動脈血管の構造を示す断面図であり、図２Ｃは短軸断面の内膜と外膜の境界を示す断面図であり、図２Ｄは長軸断面の内中膜の肥厚の一例を示す断面図である。
　動脈の血管壁２０は、図２Ａおよび図２Ｂに示すように内膜２２、中膜２３、外膜２４の３層から構成される。動脈硬化の進展に伴い、図２Ｃおよび図２Ｄに示すように主に内膜２２と中膜２３が肥厚する。従って、超音波による頸動脈診断では、図２Ｃに示す内膜境界２５と外膜境界２６を検出することで、内膜２２と中膜２３を合わせた内中膜の厚みを測定する。内中膜の厚みが一定値を超えた部分はプラーク２７と呼ばれ、長軸像においては、図２Ｄのような血管壁の構造変化をきたす。プラーク２７の検査においては、一般的に、短軸像と長軸像の両方を確認する。
　ここで、プラーク２７の厚みや大きさによっては、投薬、あるいは、外科的にプラーク２７を剥離するなどの治療が必要となることから、内中膜の厚みの正確な測定が診断の鍵となる。しかしながら、内中膜の厚みは測定部位に依存して変化するとともに、検査者にとっては首の内部に存在する頸動脈の３次元的な走行形状を把握するのが困難であるため、頸動脈診断においては熟練した手技が必要とされてきた。また、投薬治療においては、治療効果を確認するために、プラーク２７の同一位置を定期的に測定することにより、プラーク２７の厚みや面積、容積などの縮小効果を診断する。毎回、同一の位置と向きで測定することが重要であり、ここでも高度な手技が必要とされる。
　そこで、超音波のライブ画像（プローブで取得される超音波の実時間画像）に加えて、測定すべき位置と向きの超音波画像を取得するにはどのようにプローブを動かせば良いかを表示して、検査者を誘導する超音波診断装置３０が提案される。
　図３は、超音波診断装置３０の構成を示すブロック図である。
　超音波診断装置３０は、図３に示すように３Ｄ像解析部３１、位置情報取得部３２、アシスト画像生成部３３、ライブ画像取得部３４、および、表示制御部３５を備えている。
　３Ｄ像解析部３１は、予め取得された３次元像（以下、３Ｄ像という）を解析し、被検体内における測定すべき対象箇所（以下、測定ターゲットという）の３次元位置（以下、単に位置ともいう）および向きを含む対象位置情報ｔｇｔＩｎｆを決定し、決定した対象位置情報ｔｇｔＩｎｆをアシスト画像生成部３３へ出力する。
　位置情報取得部３２は、例えば磁気センサまたは光学カメラなどを用いて、現在スキャンしているプローブ１０の走査位置（スキャン位置）および向きを示す器具位置情報を取得する。
　アシスト画像生成部３３は、３Ｄ像、対象位置情報ｔｇｔＩｎｆ、および、器具位置情報に基づいて、測定ターゲットの測定面、および、現在のスキャン面の位置と向きとを示す情報を３Ｄ像に重畳表示したアシスト画像ａｓｉｓ０を生成する。
　表示制御部３５は、現在のスキャン位置における超音波画像であるライブ画像とアシスト画像とを合わせて表示装置１５０に表示する。
　図４は、超音波診断装置３０の動作を示すフローチャートである。ここでは、診断する器官形状を示す３Ｄ像が予め生成されているものとする。
　まず、３Ｄ像解析部３１は、３Ｄ像を解析して、測定ターゲットの位置および向きを含む対象位置情報を決定する（ステップＳ００１）。続いて、位置情報取得部３２は、現在スキャンしているプローブ１０の走査位置および向きを示す器具位置情報を取得する（ステップＳ００２）。次に、アシスト画像生成部３３は、測定ターゲットと現在のスキャン位置との差分を計算し、その差分に応じて表示画像の色、又は、形状を変化させる経路情報Ｚを生成する（ステップＳ００３）。そして、アシスト画像生成部３３は、３Ｄ像、測定ターゲットの位置、現在のスキャン位置に加えて、経路情報Ｚを含むアシスト画像を生成する（ステップＳ００４）。表示制御部３５は、例えば図５に示すように、現在のスキャン位置における超音波画像であるライブ画像４８とアシスト画像４１とを合わせた画面４０を表示装置１５０に表示する（ステップＳ００５）。ここで、アシスト画像４１には、対象箇所を含む器官形状を示す３Ｄ像４２、現在のプローブ１０の位置を示す画像４３、現在のスキャン面を示す画像４４、測定ターゲットのスキャン面を示す画像４６、測定ターゲットのスキャンするために移動すべきプローブ１０の位置を示す画像４５、およびプローブ１０を移動させる方向を示す矢印４７が表示されている。
　一般的に、検査者がプローブを動かしながらスキャン面を測定ターゲットに合わせる際には、まず、おおまかに位置合わせを行い、その後に微調整するという２段階のステップを踏む。このとき、おおまかな位置合わせには、主にアシスト画像を参照し、微調整は主にライブ画像を見ながら行うとスムーズに位置決めができる。しかしながら、例えば、図５に示すように、アシスト画像４１とライブ画像４８とを常に同一の画面構成で表示すると、検査者がどちらの画像に注目してプローブを動かせばよいのか分かり難いという課題がある。
　上記課題を解決するために、本発明の一態様に係る画像処理装置は、被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、前記アシスト画像を表示装置に出力するための制御を行う表示制御部とを備える。
　これにより、被検体内の対象箇所まで器具を移動できるように誘導するための画像を、使用者に対して分かり易く表示することができる。
　また、前記二つ以上の表示状態には、前記アシスト画像における表示のズーム倍率を第１倍率で表示する第１表示状態と、前記アシスト画像における表示のズーム倍率を前記第１倍率より大きい倍率である第２倍率で表示する第２表示状態とを含み、前記表示状態決定部は、前記位置関係が第１の所定条件を満たさない場合に、前記第１表示状態を選択し、前記位置関係が前記第１の所定条件を満たす場合に、前記第２表示状態を選択してもよい。
　これにより、位置関係が第１の所定条件を満たす場合に、アシスト画像を拡大表示に切り替えることができ、使用者に対して分かり易く表示することができる。
　また、前記３Ｄ像解析部は、前記３次元像に基づいて、前記対象箇所の３次元位置に加えて、前記対象箇所の向きを、前記対象位置情報として決定し、前記位置情報取得部は、前記器具の３次元位置に加えて、前記器具の向きを、前記器具位置情報として取得してもよい。
　これにより、対象箇所および器具に位置だけでなく、対象箇所および器具の向きに応じても表示状態を選択することができる。
　また、前記器具は、超音波診断装置における前記被検体の超音波画像を取得するためのプローブであり、前記位置情報取得部は、前記器具位置情報として、前記プローブの走査位置および向きを取得し、前記アシスト画像生成部は、前記プローブの前記対象箇所への移動を誘導するための画像であるアシスト画像を生成してもよい。
　これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対して分かり易く表示することができる。
　また、前記画像処理装置は、さらに、前記プローブからライブ画像である前記被検体の超音波画像を取得するライブ画像取得部を備え、前記表示制御部は、前記アシスト画像および前記ライブ画像を表示装置に出力してもよい。
　これにより、アシスト画像に加えてライブ画像を、使用者に対して分かり易く表示することができる。
　また、前記二つ以上の表示状態には、前記表示装置において前記アシスト画像をメイン画像として表示するとともに、前記ライブ画像を前記メイン画像より小さいサブ画像として表示する第３表示状態と、前記表示装置において前記ライブ画像を前記メイン画像として表示するとともに、前記アシスト画像を前記サブ画像として表示する第４表示状態とを含み、前記表示状態決定部は、前記位置関係が第２の所定条件を満たさない場合に前記第３表示状態を選択し、前記位置関係が前記第２の所定条件を満たす場合に前記第４表示状態を選択し、前記表示制御部は、選択された表示状態で、前記アシスト画像および前記ライブ画像を表示装置に出力してもよい。
　これにより、ライブ画像およびアシスト画像の表示形態を、使用者に対して分かり易く切り替えることができる。
　また、前記表示制御部は、選択された前記表示状態に応じて、前記アシスト画像と前記ライブ画像との相対的な表示サイズを切り替えることで、前記メイン画像および前記サブ画像の切り替えを行い、前記アシスト画像および前記ライブ画像を前記表示装置に出力してもよい。
　これにより、ライブ画像およびアシスト画像の表示形態を、使用者に対して分かり易く切り替えることができる。
　また、前記表示状態決定部は、前記第３表示状態を選択している場合には、前記位置関係が第３の所定条件を満たすか否かに基づいて表示状態を選択し、前記第４表示状態を選択している場合には、前記位置関係が第４の所定条件を満たすか否かに基づいて表示状態を選択してもよい。
　これにより、表示状態を安定的に切替えることができる。
　また、前記対象箇所は血管であり、前記表示状態決定部は、前記ライブ画像において前記血管の走行方向に略平行な断面が描出されているか否かに応じて前記位置関係を判定し、判定した前記位置関係に基づいて前記二つ以上の表示状態の中から一つの表示状態を選択してもよい。
　これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対して分かり易く表示することができる。
　また、前記画像処理装置は、さらに、あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備え、前記３Ｄ像生成部は、前記データである、前記対象箇所を含む領域を前記プローブで予め走査して取得された超音波画像から、前記対象箇所を含む器官の輪郭を抽出することにより、前記３次元像を生成し、前記３次元像の３次元空間内における位置および向きを、前記位置情報取得部により取得される前記プローブの走査位置および向きと対応づけてもよい。
　これにより、３次元空間内における３次元像の位置および向きを、プローブの走査位置および向きと対応づけることができる。
　また、前記アシスト画像生成部は、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいてナビゲーション情報を生成し、前記アシスト画像として、前記３次元像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像と、前記ナビゲーション情報と、を重畳した画像を生成してもよい。
　これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対してさらに分かり易く表示することができる。
　また、前記アシスト画像生成部は、前記第４表示状態が選択されたとき、前記対象箇所における複数の方向からの断面形状をそれぞれ示す複数の断面画像を生成し、生成した前記複数の断面画像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像を重畳した画像を、前記アシスト画像として生成してもよい。
　また、前記対象箇所は血管であり、前記複数の断面画像には、前記血管の走行方向である長軸方向および前記長軸方向に略直交する短軸方向からの断面形状をそれぞれ示す２つの断面画像を含み、前記アシスト画像生成部は、前記２つの断面画像に対して、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいて、前記プローブの前記対象箇所への移動を誘導するための直線または長方形を重畳した画像を、前記アシスト画像として生成してもよい。
　これにより、プローブの対象箇所への移動を誘導するための画像であるアシスト画像を、使用者に対してさらに分かり易く表示することができる。
　また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択してもよい。
　また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択してもよい。
　これにより、的確に表示状態を選択することができる。
　また、前記対象箇所は前記被検体内の手術対象部位であり、前記器具は、前記被検体の手術に用いられる手術器具であり、前記アシスト画像生成部は、前記手術器具の前記手術対象部位への移動を誘導するための画像であるアシスト画像を生成してもよい。
　これにより、施術者は操作した手術器具の動きを確認でき、手術器具と対象箇所までの距離、および、切除または切削を行う向きの調整を容易に行うことができる。
　また、前記画像処理装置は、さらに、あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備えてもよい。
　これにより、あらかじめ取得されたデータから３次元像を生成することができる。
　また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択してもよい。
　また、前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択してもよい。
　これにより、的確に表示状態を選択することができる。
　また、前記二つ以上の表示状態には、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する表示状態を二つ以上含み、前記表示状態決定部は、前記位置関係に基づいて、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する二つ以上の表示状態の中から一つの表示状態を選択してもよい。
　これにより、各種の表示態様によってアシスト画像を生成し、使用者に対して分かり易く表示することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態では、本発明の一態様に係る画像処理装置を超音波診断装置に適用した場合について、図面を参照しながら説明する。なお、測定ターゲットは、超音波により撮影できる器官であれば特に限定されず、血管、心臓、肝臓、および乳房などがあるが、ここでは頸動脈を例に説明する。
　まず、装置の構成について説明する。
　図６は、実施の形態１の超音波診断装置１００の構成を示すブロック図である。
　超音波診断装置１００は、図６に示すように３Ｄ像解析部１０１、位置情報取得部１０２、表示状態決定部１０３、アシスト画像生成部１０４、送受信部１０５、ライブ画像取得部１０６、表示制御部１０７、および、制御部１０８を備えている。
　また、超音波診断装置１００は、プローブ１０、表示装置１５０、および入力装置１６０と接続可能に構成されている。
　プローブ１０は、例えば一次元方向（以下、振動子配列方向という）に配列された複数の振動子（図示しない）を有している。プローブ１０は、送受信部１０５から供給されたパルス状または連続波の電気信号（以下、送信電気信号という）をパルス状または連続波の超音波に変換し、プローブ１０を被検体の皮膚表面に接触させた状態で複数の振動子から発せられる複数の超音波からなる超音波ビームを測定器官（すなわち、頚動脈）に向けて送信する。この際、頚動脈の長軸断面の断層画像を取得するためには、プローブ１０の振動子配列方向が頚動脈の長軸方向に沿うようにプローブ１０を被検体皮膚表面に配置する必要がある。そして、プローブ１０は、被検体からの複数の反射超音波を受信し、複数の振動子によりこれら反射超音波をそれぞれ電気信号（以下、受信電気信号という）に変換し、これら受信電気信号を送受信部１０５に供給する。
　なお、本実施の形態においては、一次元方向に配列された複数の振動子を有するプローブ１０の例を示しているが、これに限られるものではない。例えば、二次元方向に振動子を配列した二次元配列振動子、または一次元方向に配列された複数の振動子を機械的に揺動させて三次元の断層画像を構築する揺動型超音波探触子を用いてもよく、測定に応じて適宜使い分けることができる。
　また、プローブ１０は、送受信部１０５の一部の機能を超音波探触子側に設けてもよい。例えば、送受信部１０５から出力された送信電気信号を生成するための制御信号（以下、送信制御信号という）に基づきプローブ１０内で送信電気信号を生成し、この送信電気信号を超音波に変換し、一方、受信した反射超音波を受信電気信号に変換し、プローブ１０内で受信電気信号に基づき後述の受信信号を生成する構成が挙げられる。
　表示装置１５０は、いわゆるモニタであって、表示制御部１０７からの出力を表示画面として表示する。
　入力装置１６０は、各種入力キーを備え、操作者が超音波診断装置１００の各種設定するために用いられる。
　なお、図６に示す構成は、表示装置１５０と入力装置１６０とを超音波診断装置１００とは別々に設けた構成の例を示しているが、係る構成に限定されるものではない。例えば、入力装置１６０が表示装置１５０上でタッチパネル操作する構成である場合、表示装置１５０と入力装置１６０（および超音波診断装置１００）とが一体となった構成となる。
　３Ｄ像解析部１０１は、測定ターゲットを短軸スキャンすることなどにより予め取得した３Ｄ像を解析し、測定ターゲットの３次元位置および向きを含む位置情報（対象位置情報）ｔｇｔＩｎｆ１を決定し、決定した対象位置情報ｔｇｔＩｎｆ１を表示状態決定部１０３に出力する。
　位置情報取得部１０２は、例えば磁気センサまたは光学カメラなどを用いて、現在スキャンしているプローブ１０のスキャン位置および向きを示す位置情報（器具位置情報）を取得する。
　表示状態決定部１０３は、測定ターゲットとプローブ１０との位置関係に基づいて、２つの表示状態の中から１つの表示状態を選択する。具体的には、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向きの差分に基づいて、第１表示状態、あるいは、第２表示状態のどちらかを選択し、選択した表示状態を示すモード情報ｍｏｄｅとして出力する。
　アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を３Ｄ像解析部１０１から取得して、モード情報ｍｏｄｅにより示される表示状態で表示されるようにアシスト画像を生成する。ここで、アシスト画像は、測定ターゲットへのプローブ１０の移動を誘導するための画像であり、測定ターゲットの測定面、および現在のスキャン面の位置と向きとを示す情報を３Ｄ像に重畳表示した画像である。なお、表示状態をとして画面構成ではなく、ズーム倍率または視点方向などを切替える際には、これらの情報をモード情報ｍｏｄｅに含め、ズーム倍率および視点方向の変更を併用する場合は両方の情報をモード情報ｍｏｄｅに含める。
　送受信部１０５は、プローブ１０と接続するものであって、プローブ１０の超音波ビームの送信制御に係る送信制御信号を生成し、この送信制御信号に基づき生成したパルス状または連続波の送信電気信号をプローブ１０に供給する送信処理を行う。なお、送受信部１０５が行う送信処理とは、少なくとも送受信部１０５で送信制御信号を生成し、プローブ１０に超音波（ビーム）を送信させる処理を意味する。
　一方、送受信部１０５は、プローブ１０からの受信電気信号を増幅してＡ／Ｄ変換を行い、受信信号を生成する受信処理を行い、この受信信号をライブ画像取得部１０６に供給する。この受信信号は、例えば、振動子配列方向と超音波の送信方向であって振動子配列と垂直な方向（以下、深さ方向とする。）からなる複数の信号からなり、各信号は反射超音波の振幅から変換された電気信号をＡ／Ｄ変換したデジタル信号である。そして、この送信処理および受信処理を繰り返し連続して行い、複数の受信信号からなるフレームを複数構築していく。なお、送受信部１０５が行う受信処理とは、少なくとも送受信部１０５が反射超音波に基づく受信信号を取得する処理を意味する。
　また、ここでいうフレームとは、１枚の断層画像を構築する上で必要な１つのまとまった受信信号、またはこの１つのまとまった受信信号に基づき断層画像データを構築するために処理された信号、あるいは、この一つのまとまった受信信号に基づき構築された１枚の断層画像データ或いは断層画像のことをいう。
　ライブ画像取得部１０６は、フレーム内のそれぞれの受信信号を、その強度に対応した輝度信号へと変換し、その輝度信号を直交座標系に座標変換を施すことで断層画像データを生成する。ライブ画像取得部１０６は、この処理をフレーム毎に逐次行い、生成した断層画像データを表示制御部１０７に出力する。
　表示制御部１０７は、アシスト画像と、ライブ画像取得部１０６により取得された現在のスキャン位置における超音波画像（断層画像データ）であるライブ画像とを用いて、モード情報ｍｏｄｅにより指定された画面構成に従ってライブ画像とアシスト画像とを表示装置１５０に表示する。
　制御部１０８は、入力装置１６０の指示に基づいて、超音波診断装置１００内の各部を制御する。
　次に、上記のように構成された超音波診断装置１００の動作について説明する。
　図７は、実施の形態１の超音波診断装置１００の動作を示すフローチャートである。
　まず、３Ｄ像解析部１０１は、予め取得した３Ｄ像を解析して、測定ターゲットとなる断面の位置および向きを含む対象位置情報を決定すると共に、測定ターゲットに対して、位置、あるいは、向きの差分が閾値以下である範囲を測定範囲として設定する（ステップＳ１０１）。
　ここで、図８Ａ～図８Ｄと図９Ａ～図９Ｃを参照して、３Ｄ像の生成方法と測定ターゲットの対象位置情報の決定方法について説明する。図８Ａ～図８Ｄは、超音波画像を用いた３Ｄ像の生成フロー例を示す図である。
　まず、例えばプローブ１０により頸動脈全体をスキャンして図８Ａに示すように複数のフレーム５１の短軸像の断層画像データを取得し、短軸像の各フレーム５１から図８Ｂに示すように血管輪郭５２を抽出する。次に、図８Ｃに示すように各フレーム５１の血管輪郭５２を３Ｄ空間内に配置し、輪郭頂点に基づいてポリゴンを生成するなどして図８Ｄに示すような頸動脈の３Ｄ像５３を構築する。短軸像の取得時には、スキャン面の位置情報（位置と向きを含む）を取得しており、この位置情報に基づいて各フレーム５１の血管輪郭５２が３Ｄ空間内に配置される。位置情報は、例えばプローブ１０に取り付けた光学マーカをカメラで撮影し、撮影した画像内における光学マーカの形状変化に基づいて算出することができる。なお、他にも、磁気センサ、ジャイロ、または加速度センサなどを用いて位置情報を取得してもよい。
　また、プローブについては、２次元画像を取得するプローブだけでなく、プローブを移動させずに３次元画像が取得できるプローブを用いてもよい。これは例えば、プローブ内でスキャン面が機械的に揺動する揺動プローブ、またはプローブ面に超音波振動子が２次元的に配置されたマトリクスプローブである。
　さらに、３Ｄ像は、ＣＴ（コンピュータ断層撮影）、またはＭＲＩ（磁気共鳴イメージング）など超音波以外の方法により取得してもよい。
　また、本実施の形態では、３Ｄ像を予め取得しているものとしているが、これに限られるものではない。例えば、超音波診断装置１００に３Ｄ像を生成する構成を備えても構わない。
　図９Ａは、３Ｄ像における測定ターゲットの位置と向きについて示す図であり、図９Ｂは、長軸断面における測定ターゲットの位置を示す図であり、図９Ｃは、短軸断面における測定ターゲットの位置を示す図である。
　測定すべき測定ターゲットの位置および向きは測定器官診断目的に応じて異なる。例えば、測定器官が頸動脈の検診の場合、一般的に、３Ｄ像５３における測定ターゲットは、図９Ａに示すような位置と向きになる。よって、３Ｄ像解析部１０１は、血管の走行方向である長軸断面において、図９Ｂに示すように頸動脈の形状に基づいて設定した測定基準位置６１から所定の距離６２となる部位を測定ターゲット６３として決定する。
　また、３Ｄ像解析部１０１は、短軸方向の面内において、３Ｄ像を構成する各フレームにおける短軸像の輪郭６４の中心を結んだ線（以下、中心線という）６５を通る平面（以下、最大活面という）６６となるように測定ターゲット６３の位置を決定する。ここで、３Ｄ像解析部１０１は、最大活面６６が、分岐前後の輪郭中心を通る平面、あるいは当該平面から所定の角度だけ傾いた向きとなるように決定する。例えば、分岐前後の輪郭中心を通る基準面に沿ってプローブを当てられる場合には基準面において測定するが、頸動脈の走行方向によっては基準面に沿ってプローブを当てられないため、そのような場合には、基準面からそれぞれ±４５度傾いた２つの平面の、いずれかを選択するとよい。検診などでは、診断ガイドラインなどで規定された部位を測定すればよいが、プラークの治療効果の判定には、前述したように毎回同じ条件（位置と向き）で測定することが重要である。従って、３Ｄ像解析部１０１は、前回の診断時の測定ターゲットの位置情報を記憶しておき、次回の測定時には前回と同一の位置と向きで測定できるように測定ターゲット６３を決定してもよい。また、３Ｄ像解析部１０１は、３Ｄ像生成時に取得された短軸像などから、血管の内膜境界と外膜境界を抽出することで内中膜の厚さを算出し、厚さが閾値以上である部位をプラークとして検出することができる。３Ｄ像解析部１０１は、このようにして検出したプラークにおいて、厚みが最大となる位置での長軸方向の断面を測定ターゲット６３として決定してもよい。なお、本実施の形態では、３Ｄ像解析部１０１で測定ターゲット６３を決定しているが、検査者が手動で測定ターゲット６３を設定しても構わない。
　次に、位置情報取得部１０２は、プローブ１０の現在のスキャン位置および向きを示す位置情報（器具位置情報）を取得する（ステップＳ１０２）。ここで、位置情報取得部１０２は、この位置情報を、先述したように、例えばカメラ、または磁気センサ等の各種センサを用いて取得する。カメラを用いる場合には、例えば、プローブ１０に４つのマーカから構成される光学マーカを取り付け、カメラで取得される画像における４つのマーカの中心座標およびサイズに基づいてマーカの位置および向きを推定することにより、プローブ１０のスキャン位置および向きを推定することができる。
　次に、表示状態決定部１０３は、現在のスキャン位置が測定ターゲットに対する測定範囲内であるか否か判定する（ステップＳ１０３）。この判定の結果、測定範囲内である場合（ステップＳ１０３でＹｅｓ）、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ１０４）。次に、アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第１表示状態のアシスト画像を生成する（ステップＳ１０５）。そして、表示制御部１０７は、アシスト画像と、ライブ画像取得部１０６により取得した現在のスキャン位置における超音波画像であるライブ画像とを、第１表示状態で表示装置１５０に表示する（ステップＳ１０６）。
　一方、測定範囲内でない場合（ステップＳ１０３でＮｏ）、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ１０７）。次に、アシスト画像生成部１０４は、３Ｄ像のデータと測定ターゲットの対象位置情報とを含むアシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第２表示状態のアシスト画像を生成する（ステップＳ１０８）。そして、表示制御部１０７は、アシスト画像とライブ画像とを、第２表示状態で表示装置１５０に表示する（ステップＳ１０９）。
　次に、終了であるか否かを判定し（ステップＳ１１０）、終了でなければ（ステップＳ１１０でＮｏ）、現在の位置情報の取得処理（ステップＳ１０２）から繰り返す。
　次に、図７のフローチャートに示すステップＳ１０３からステップＳ１０９における表示状態の決定フローの具体例について、説明する。図１０は、画面表示の切替え動作の一例を示すフローチャートである。なお、図１０に示すフローチャートは、図７に示すステップＳ１０３からステップＳ１０９に置き換わる部分のみを記載している。
　まず、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との、位置および向きの差分を算出する（ステップＳ１１０１）。続いて、表示状態決定部１０３は、３Ｄ像の特定方向に対する、位置および向きの差分が閾値以下であるか否かを判定する（ステップＳ１１０２）。
　ここで、特定方向とは、３次元空間座標において互いに直交する３つの軸の全てを考慮してもよいし、測定器官の形状などに基づいて設定してもよい。例えば、測定ターゲットが血管の中心線に平行な場合には、測定ターゲットの中心と現在のスキャン位置におけるスキャン面の中心との距離が閾値以下であり、かつ、現在のスキャン位置におけるスキャン面が中心線と平行に近づいた場合に、位置と向きの差分が閾値以下である判定することなどが可能である。
　この判定の結果、閾値以下である場合（ステップＳ１１０２でＹｅｓ）、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ１０４）。次に、アシスト画像生成部１０４は、アシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第１表示状態のアシスト画像を生成する（ステップＳ１０５）。そして、表示制御部１０７は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態（第４表示状態）で表示装置１５０に表示する（ステップＳ１１０３）。
　一方、閾値以下でない場合（ステップＳ１１０２でＮｏ）、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ１０７）。次に、アシスト画像生成部１０４は、アシスト画像生成情報ｔｇｔＩｎｆ２を用いて、第２表示状態のアシスト画像を生成する（ステップＳ１０８）。そして、表示制御部１０７は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態（第３表示状態）で表示装置１５０に表示する（ステップＳ１０９）。
　ここで、メイン表示とは、超音波画像が表示される表示装置１５０の画面の中心部、又は、画面上で最も大きな領域を占める部分の表示をいい、サブ表示とは、画面に表示される情報のうち、メイン表示ではない部分の表示をいう。
　次に、図１１Ａ～図１１Ｃを用いて、頸動脈の長軸像における測定ターゲットをスキャンする際の表示状態の切替え例について説明する。図１１Ａは、３Ｄ空間における測定器官である頸動脈の一例を示す図であり、図１１Ｂは、第２表示状態の一例を示す図であり、図１１Ｃは、第１表示状態の一例を示す図である。
　長軸像を描出して内中膜の肥厚を測定する際には、まず短軸像をスキャンしながら測定ターゲットの近傍までプローブを移動させ、その後にプローブを回転させて長軸像を描出する。従って、図１１Ａに示すように、頸動脈の短軸断面がｘｚ平面に平行で、進行方向がｙ軸に平行である場合には、ターゲット位置の近傍まで短軸像でスキャンした後に、ｚ軸の周りにプローブを回転させて長軸像を描出する。このため、ステップＳ１１０２においては、現在のスキャン位置が測定範囲内にあるか、つまり３Ｄ空間における現在のスキャン位置と測定ターゲットとの位置の差分、および、ｚ軸周りの回転角の差分が、それぞれ予め設定された閾値以下であるかを判定する。このように判定することで、プローブをｚ軸周りに回転させた状態で長軸像が描出できるかどうかを大まかに判定でき、長軸像が描出されうる場合に表示状態を切替えられる。図１１Ｂに示す第２表示状態では、現在のスキャン位置が測定範囲外、つまり、長軸像が描出されない場合の画面表示であり、主にアシスト画像を参照しながらスキャン位置をターゲット位置に移動できるように、画面７０に、アシスト画像７３をメイン表示７１とし、ライブ画像７４をサブ表示７２として、表示している。一方、図１１Ｃに示す第１表示状態では、現在のスキャン位置が測定範囲内である場合の画面表示であり、スキャン位置がターゲット位置の近傍にあることから、超音波のライブ画像７５を主に参照して位置合わせができるように、画面７０に、ライブ画像７５をメイン表示７１とし、アシスト画像７３をサブ表示７２として、表示している。ここで、アシスト画像７３には、対象箇所を含むとなる器官形状を示す３Ｄ像４２、現在のプローブ１０の位置を示す画像４３、現在のスキャン面を示す画像４４、測定ターゲットのスキャン面を示す画像４６、測定ターゲットのスキャンするために移動すべきプローブ１０の位置を示す画像４５、およびプローブ１０を移動させる方向を示す矢印４７が表示されている。
　なお、図１１Ｂに示す第２表示状態から図１１Ｃに示す第１表示状態へ画面が切替えられた場合、切替え前後でアシスト画像とライブ画像の左右関係が逆転するが、これに限られるものではない。例えば、図１１Ｃに示す第１表示においてライブ画像７４を画面の右側に表示したまま表示領域を拡大して、左右の関係は切替わらないようにしてもよい。また、画面表示の切替えは２パターンに限定されるものではなく、位置、向きの差分に基づいて各画像の表示領域を拡大または縮小していくなど連続的に遷移してもよい。
　ここで、図１０のステップＳ１１０２では、測定ターゲットと現在のスキャン位置との位置および向きの差分が閾値以下であるか否かに基づいて表示状態を切替えるため、差分が閾値の境界近傍となる位置でプローブが頻繁に移動すると、表示状態が頻繁に切替わり、アシスト画像およびライブ画像の視認性が低下するという問題が起こりうる。
　そこで、表示状態を安定的に切替えるための動作について、以下、説明する。
　図１２は、表示状態の切替え判定にヒステリシスを導入して、表示状態を安定的に切替えるための動作を示すフローチャートである。なお、図１２のフローチャートに示すステップのうち、図１０のフローチャートに対して追加されるステップＳ１１０５からステップＳ１１０７までのステップについて説明する。
　表示状態決定部１０３は、現在の表示状態が第２表示状態であるかどうか判定する（ステップＳ１１０５）。この判定の結果、第２表示状態である場合（ステップＳ１１０５でＹｅｓ）、表示状態決定部１０３は、位置と向きのそれぞれについて、表示状態の切替え判定に用いる閾値をＴ１に設定する（ステップＳ１１０６）。一方、第２表示状態でない場合（ステップＳ１１０５でＮｏ）、表示状態決定部１０３は、ステップＳ１１０６において設定した閾値Ｔ１とは異なる閾値Ｔ２を設定する（ステップＳ１１０７）。例えば、第１表示状態では、位置の閾値Ｔ２を８ｍｍとして、第２表示の状態では、位置の閾値Ｔ１を１０ｍｍとする。初期状態を第２表示状態とすると位置の差分が８ｍｍ以下となった段階で第１表示状態に遷移する。ここで、第１表示状態における閾値は１０ｍｍであるため、差分が１０ｍｍ未満であれば、第１表示状態のままである。従って、差分が８ｍｍとなる付近でプローブが２ｍｍ程度動いても、表示状態は振動することなく、安定した状態を保つことができる。
　なお、測定ターゲットと現在のスキャン位置との差分に基づいて切替える要素は、メイン表示とサブ表示などの表示状態に限定されるものではなく、例えば、アシスト画像における視点方向やズーム倍率などアシスト画像自体の見え方に関わるパラメータであってもよい。
　次に、図１３Ａ～図１３Ｄを用いて、頸動脈を診断する際のアシスト画像における視点方向の切替え例について説明する。図１３Ａは、３Ｄ空間における測定ターゲットである頸動脈の一例を示す図であり、図１３Ｂは、３Ｄ空間における長軸方向の頸動脈の一例を示す図であり、図１３Ｃは、３Ｄ空間における短軸方向の頸動脈の一例を示す図であり、図１３Ｄは、切替え後の長軸方向のライブ画像と短軸方向のアシスト画像の組み合わせ表示の一例を示す図である。
　頸動脈の３次元的な形状は、図１３Ａに示すように、短軸断面がｘｚ平面に平行で、進行方向がｙ軸に平行であるとする。頸動脈の長軸の内中膜厚を測定する際には、図１１Ａ～図１１Ｃを用いて先に説明したように、測定ターゲットの近傍である測定範囲内まで短軸像でスキャンした後に、プローブを回転させて長軸像を描出する。短軸像のスキャン時には、図１３Ｂに示すように、長軸像が俯瞰できる視点方向（図中のｚ軸方向）にすると現在のスキャン位置８２と測定ターゲット８１との位置関係が分かり易い。次に、長軸像の描出後は、図１３Ｃに示すように、短軸断面８４におけるスキャン位置と傾きが把握できる視点方向（図中のｙ軸方向）が望ましい。
　このとき、図１３Ｄに示すように長軸方向視点のライブ画像と短軸方向視点のアシスト画像とを組み合わせると、プローブ１０と測定ターゲットとの位置関係がより把握しやすい表示を提供することができる。まず、ライブ画像における長軸像の傾きから、ｘ軸周りの回転情報が得られる。また、血管の走行方向（図中のｙ軸方向）とスキャン面の方向が一致する（図中のｚ軸周りの回転角が同一）場合には、血管像が画面の一方の端から他方の端まで連続して描出されるが、両者の間におけるｚ軸周りの回転角のズレが大きくなるにつれ、画面の一部にしか血管像が描出されなくなる。ここでは、血管の蛇行が軽微であることを仮定しているが、少なくとも、総頸動脈から分岐部にかけての走行は直線的であり、この仮定は実用上有用である。従って、ライブ画像からｘ軸とｚ軸周りの回転、および、ｙ軸方向の位置が把握できる。アシスト画像からは、ｙ軸周りの回転と、ｘ軸とｚ軸方向の位置が把握できるため、両者を合わせることで、全ての位置関係が把握できる。なお、血管の走行方向は、３Ｄ像の中心線に基づいて決定できる。
　図１４Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図であり、図１４Ｂは、切替え後の短軸方向視点のアシスト画像の一例を示す図である。
　現在のスキャン位置が測定範囲外であれば、図１４Ａのような長軸方向視点のアシスト画像８５を表示し、測定範囲内であれば、図１４Ｂのような短軸方向視点のアシスト画像を表示する。
　また、ズーム倍率の切替えを行ってもよい。図１５Ａは、切替え前の長軸方向視点のアシスト画像の一例を示す図であり、図１５Ｂは、切替え後の短軸方向視点で、かつズーム倍率を上げたアシスト画像の一例を示す図である。
　現在のスキャン位置が測定範囲外であり、スキャン位置と測定ターゲットの距離が遠く、全体を俯瞰する必要がある場合には、図１５Ａのようにズーム倍率を下げ、スキャン位置が測定範囲内でスキャン位置の微調整を行う場合には、図１５Ｂのように測定ターゲットの近傍領域が詳細にみえるようにズーム倍率を上げて表示する。
　図１６は、アシスト画像の設定を切替える動作の一例を示すフローチャートである。なお、ステップＳ２０１からＳ２０３は、図７のステップＳ１０１、Ｓ１０２、Ｓ１０３とほぼ同様である。ここでは、ステップＳ２０４およびＳ２０５の処理について、説明する。
　アシスト画像生成部１０４は、アシスト画像の視点方向およびズーム倍率など、各要素の設定を切替える（ステップＳ２０４）。そして、アシスト画像生成部１０４は、切替えを反映したアシスト画像を生成する（ステップＳ２０５）。なお、これら視点方向およびズーム倍率などの各要素の切替えは、画面表示の切替えと併用してもよい。
　以上のように、超音波診断装置１００では、現在のスキャン位置が測定ターゲットの測定範囲内か否かに基づいて画面の表示状態を動的に切替えている。これにより、検査者に対してよりわかりやすい、プローブの誘導を行うことができる。さらに、現在のスキャン位置および向きに応じて、アシスト画像における３Ｄ空間の視点方向などを変更する構成とすれば、検査者が、測定ターゲットとスキャン位置との位置合わせを容易にできるよう誘導することもできる。
　なお、図１１Ｂおよび図１１Ｃに例示した画面構成以外の構成でもよい。例えば、図１１Ｂおよび図１１Ｃに示すように、画面７０に対してメイン表示７１とサブ表示７２を別々に表示する画面構成ではなく、図１７Ａおよび図１７Ｂに示すように、メイン表示７６の中にサブ表示７７が含まれる画面構成でもよい。
　また、本実施の形態では、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向きの差分に基づいて、第１表示状態または第２表示状態を選択しているが、これに限られるものではない。例えば、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置の差分に基づいて、第１表示状態または第２表示状態を選択しても構わない。また、表示状態決定部１０３は、測定ターゲットと現在のスキャン位置との位置および向き（または位置のみ）の差分を保持することにより、時間経過に伴う差分の変位に基づいて、第１表示状態または第２表示状態を選択しても構わない。
　（実施の形態２）
　実施の形態２は、超音波診断装置１００の位置情報取得部１０２がプローブの位置情報を取得できているかどうかを判定する点が、実施の形態１と相違する。なお、構成は、図６に示す実施の形態１の超音波診断装置１００と同様であるので、位置情報取得部１０２についても同じ符号を用いて、説明する。
　例えば、プローブに取り付けた光学マーカをカメラで撮影して位置情報を取得する場合、プローブがカメラの視野範囲から外れたり、プローブのケーブルや検査者の手などにより光学マーカが隠れてカメラに映らなかったりすると（オクルージョン）、位置情報が正しく取得できない。また、例えば磁気センサを用いて位置情報を取得する場合でも、プローブが磁場範囲外に出たり、金属などの磁場を乱す器具に近づいたりすると、位置情報が正しく取得できない。
　本実施の形態２において位置情報取得部１０２は、プローブ１０の位置情報が取得できているか否かを判定する。
　図１８は、実施の形態２の超音波診断装置１００の動作を示すフローチャートである。なお、ステップＳ１０８とステップＳ１０９以外は、図７と同様であるため説明を省略する。
　ステップＳ１０８において、位置情報取得部１０２は、プローブ１０の位置情報が取得できているか否かを判定する。この判定の結果、取得できていれば（ステップＳ１０８でＹｅｓ）、ステップＳ１０３に進む。
　一方、取得できていなければ（ステップＳ１０８でＮｏ）、位置情報取得部１０２は、位置情報が取得できないことを示す警告情報を表示するように表示制御部１０７に指示し、表示制御部１０７は、警告情報を表示装置１５０に表示する（ステップＳ１０９）。
　なお、本実施の形態では、位置情報が取得できないときにその旨を示す警告情報を表示するとしたが、ステップＳ１０３以降において、位置情報が取得できる場合にも、その旨を示す情報を表示してもよい。また、位置情報が取得できているか否かだけでなく、位置情報の信頼度などに基づく表示をしてもよい。例えば、カメラのゲインや露出、ホワイトバランスなどが適切でなく、カメラで取得した画像における光学マーカの位置検出精度が低下するなどした場合には、信頼度が下がる。この場合、ステップＳ１０９やステップＳ１０３以降において、その信頼度に基づく数値を表示してもよいし、信頼度に基づいて形状、模様、色彩などの形態が変化する図形等を表示してもよい。
　図１９Ａは、プローブに取り付けた光学マーカをカメラで撮影して位置情報を取得するシステムの構成例を示す図である。
　例えば、このシステムでは、図１９Ａに示すように、光学マーカは１５ａから１５ｄまでの４つのマーカから構成され、位置情報取得部１０２は、カメラ９０で取得した画像における４つのマーカの中心座標とサイズに基づいてマーカの位置と向きを推定する。
　図１９Ｂは、マーカ１５ｃがプローブ自体の影になって検出できないため位置情報が取得できない場合の具体例１を示す図であり、図１９Ｃは、警告情報を表示する画面の具体例１を示す図である。
　例えば、図１９Ｂに示すように、マーカ１５ｃがプローブ１０自体の影になって検出できないため位置情報が取得できない場合には、警告情報として、図１９Ｃに示すように、その旨を示す赤丸のサイン９１を画面７０に表示する。なお、位置情報が取得できる場合は、例えば警告情報の一例である赤丸と異なる緑丸のサイン９１を表示しておくなど、位置情報が取得できる場合にもその旨を表示してもよい。
　図１９Ｄは、プローブ１０がカメラ９０の視野から外れているため、位置情報が取得できない場合の具体例２を示す図であり、図１９Ｅは、警告情報を表示する画面の具体例２を示す図である。
　例えば、図１９Ｄに示すように、プローブ１０がカメラ９０の視野から外れているため、位置情報が取得できない場合には、図１９Ｅに示すように、プローブ１０の現在位置が図中に×印９３で示すアシスト画面の表示外となり、プローブ１０をどの方向に動かせばカメラの視野範囲内に移動できるかを検査者に知らせるために、プローブの現在位置から測定ターゲット９２に向かう方向の矢印９４をアシスト画面に表示する。
　次に、アシスト画像の変形例を説明する。図２０Ａは、被検者の体位と３Ｄ像との向きを対応させた表示例１を示す図であり、図２０Ｂは、被検者の体位と３Ｄ像の向きを対応させた表示例２を示す図である。
　アシスト画像に、例えば、頸動脈の３Ｄ像と被検者の体の向きとを関連付ける情報を表示してもよい。
　図２０Ａの表示例１のように被検者の頭部の方向を示してもよいし、図２０Ｂの表示例２のように、頭部の方向に加えて、３Ｄ像が左右どちらの頸動脈であるかを示してもよい。頭部の方向は、例えば、カメラ画像から被検者の顔を検出する、あるいは、被検者の頭や肩のシルエットを検出して決定することができる。又は、頸動脈の３Ｄ像において、頸動脈は１本から２本へと分岐しているが、その分岐して血管が２本存在する側の方向を頭部の方向としてもよい。さらには、３Ｄ像を構築する際の短軸スキャンを頸部の下から上に向かう方向とするなどスキャンする方向を予め束縛することでも頭部の方向を決定できる。
　また、例えば、アシスト画像は、メイン表示とサブ表示との切替え時で視点方向を切替えるのではなく、複数の視点方向からの情報を常に表示してもよい。図２１は、頸動脈診断において、長軸方向視点と短軸方向視点の２つの視点方向での画像（断面画像）を含むアシスト画像を用いた画面構成例を示す図である。
　この例では、アシスト画像７１における視点方向は常に長軸方向と短軸方向の２視点方向であり、アシスト画像７１には、長軸方向視点の画像７８と短軸方向視点の画像７９とが表示される。また、ライブ画像７２とアシスト画像７１とを合わせることで、ｘ、ｙ、ｚの３軸全てに関する位置と向きの情報が得られるため、本表示の場合、メイン表示とサブ表示の切替え時に視点方向を切替えなくてよい。
　また、特に、熟練者においては、比較的容易に長軸像を描出できるため、画面構成の切替えも行わずに、常にメイン表示をライブ画像、サブ表示をアシスト画像としてもよい。さらに、現在のスキャン位置が測定範囲内と測定された場合にのみ、現在のスキャン位置を示す情報をアシスト画像に重畳してもよい。また、現在のスキャン位置が測定範囲内であるかどうかを示す情報を、表示してもよい。
　（実施の形態３）
　実施の形態３は、超音波診断装置１００の表示状態決定部１０３が表示状態の切替えを超音波画像に長軸像が描画されているか否かで行う点が、実施の形態１と相違する。なお、構成は、図６に示す実施の形態１の超音波診断装置１００と同様であるので、表示状態決定部１０３についても同じ符号を用いて、説明する。
　実施の形態３において、表示状態決定部１０３は、ライブ画像取得部１０６より取得した現在のスキャン位置における超音波画像が長軸像を描出しているか否かを判定する。そして、表示状態決定部１０３は、長軸像を描出している場合は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態を選択する。また、表示状態決定部１０３は、長軸像を描出していない場合は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態を選択する。
　ここで、血管の長軸像の内膜境界や外膜境界は、超音波のＢ画像やカラーフロー、あるいは、パワードプラ画像に基づいて抽出できる。例えば、Ｂ画像であれば、輝度値に基づいて境界付近のエッジを探索すればよいし、カラーフローやパワードプラ画像であれば、血流領域が血管の内腔に相当すると仮定して血管輪郭を抽出する。また、血管の走行方向とプローブのスキャン面が平行に近ければ、超音波画像の一方の端から他方の端まで長軸像が描出されるが、平行な方向から外れるにしたがって、超音波画像の一部領域にしか長軸像が描出されなくなる。したがって、Ｂ画像などに基づいて検出した長軸像の輪郭が、超音波画像内で所定の長さ以上に渡って描出されていれば、血管の走行方向とプローブのスキャン面とが平行であるとみなして、表示を切替えることができる。さらには、長軸像が描出されているかを検査者が判断し、手動で表示状態を切替えられるように、ボタンを１つ押せば切り替わるような切替え操作を簡単にできるＵＩ（ユーザインタフェース）を設けてもよい。
　次に、実施の形態３の超音波診断装置１００の動作について説明する。
　図２２は、実施の形態３の超音波診断装置１００の動作を示すフローチャートである。なお、ステップＳ３０１以外は、図７と同様であるため説明を省略する。
　表示状態決定部１０３は、ライブ画像取得部１０６より取得した現在のスキャン位置における超音波画像が長軸像を描出しているか否かを判定する（ステップＳ３０１）。この判定の結果、長軸像を描出していると判定した場合（ステップＳ３０１でＹｅｓ）、表示状態決定部１０３は、メイン表示を超音波のライブ画像とし、サブ表示をアシスト画像とする第１表示状態を選択する（ステップＳ１０４）。一方、長軸像を描出していないと判定した場合（ステップＳ３０１でＮｏ）、表示状態決定部１０３は、メイン表示をアシスト画像とし、サブ表示をライブ画像とする第２表示状態を選択する（ステップＳ１０７）。
　以上のように、本実施の形態では、超音波画像が長軸像を描出しているか否かに基づいて画面の表示状態を動的に切替えている。これにより、検査者に対してよりわかりやすい、プローブの誘導を行うことができる。
　上記実施の形態１～３では、主に、頸動脈のプラークを診断する際の動作について説明したが、プラークだけでなく、血管の診断において重要となるドプラ計測においても、アシスト画像は有効である。このとき、プラークの位置情報の代わりに、ドプラ計測のサンプルゲートの位置情報を３Ｄ像解析部１０１で決定、あるいは、手動で設定し、サンプルゲートの設定位置をスキャンできるように検査者を誘導する。サンプルゲートの位置は、総頸動脈と頸動脈洞との境界や、頸動脈の分岐部から所定の距離となる部位、あるいは、プラーク部位の近傍となるように設定できる。また、頸動脈以外にも、腹部大動脈、鎖骨下動脈などの他の血管や、肝臓や乳房の腫瘍を観察する際にも使用できる。
　（実施の形態４）
　本実施の形態では、本発明の一態様に係る画像処理装置を術中ナビゲーションシステムに適用した場合について、図面を参照しながら説明する。術中ナビゲーションシステムとは、手術中の患者位置と手術器具との位置関係を表示するシステムである。この術中ナビゲーションシステムは、例えば腫瘍の位置または血管の位置等の認識性を向上させるため、また、骨または臓器といった手術対象に対する手術器具の位置を表示し手術の際の安全性を向上させるためなどに用いられる。
　図２３、は術中ナビゲーションシステムの設置例を示す概略図であり、図２４は、仮想３次元空間内への情報取り込みの概要を示す図である。
　外科手術では、例えば、図２３に示すように手術対象の患者２０１の切開部２０２から内視鏡などの手術器具２０３を挿入し、所望部位の切除や切削を行う場合がある。所望部位が目視できない場合、手術器具２０３の先端が体内のどの位置にあるかを施術者に示すために、手術ナビゲーションシステムが用いられる。手術ナビゲーションシステムは、手術器具２０３に設置された光学マーカ２１３、患者を寝かせたベッドサイドに一つ以上のＣＣＤカメラ等の撮像装置５１１および画像処理装置５００を備えたトラッキングシステム、ナビゲーション情報（アシスト画像）を表示するための表示装置（モニタ）２５０を備えている。トラッキングシステムは光学マーカ２１３を撮像装置５１１で撮影して、光学マーカ２１３の空間上の位置および姿勢（向き）の情報２２３を算出し、それを手術器具２０３の先端部の位置および姿勢の情報に変換することができる。取得した位置および姿勢の情報に基づいて、トラッキングシステム内に仮想的に設定した３次元空間５２０内に手術器具２０３を模擬したオブジェクトを配置する。
　近年は、手術対象患者の所望部位の位置は術前のシミュレーションによってその３次元的な形状や大きさが事前に確認されていることが一般的である。ＣＴ、ＭＲＩ、ＰＥＴ、または超音波診断装置などのモダリティによって取得された手術対象部位（対象箇所）の３次元ボリュームデータ５１０を用いて、切除または切削する領域が事前に決定される。術中ナビゲーションを行う際には、実際の手術対象の患者２０１と３次元ボリュームデータ５１０との位置関係をトラッキングシステム内の仮想３次元空間５２０内に厳密に再現する必要があるため、手術対象の大きさやトラッキングシステムに対する位置および姿勢の情報２２１を計測する必要がある。実際の手術対象部位と３次元ボリュームデータ５１０との位置合わせ２２２は、手術開始前に患者をベッド２０４に固定した段階で行われる。すなわち、手術対象の患者２０１あるいは手術対象の患者２０１を固定したベッド２０４と、撮像装置５１１の位置関係が変化しないことを前提として、手術対象部位の位置、姿勢、および大きさをトラッキングシステムに取り込む。この処理は手術器具２０３の位置および姿勢の情報の計測と同じように、所定位置（ベッドや骨といった患者の身体的特徴点）に光学マーカ２１４、２１１を設置し、トラッキングシステムによってその空間的位置および姿勢の情報を計測することなどによって行われる。
　このようにしてトラッキングシステム内の仮想３次元空間には手術対象領域の情報と、手術器具の位置および姿勢の情報とが取り込まれる。
　この仮想３次元空間５２０内に任意の視点位置を設定することによって、手術対象部位と手術器具との位置関係を俯瞰的に確認することができる画像を生成することができ、その画像をナビゲーション情報（アシスト画像）として表示装置２５０に表示することができる。
　図２５は、実施の形態４の画像処理装置５００の構成を示すブロック図である。
　画像処理装置５００は、図２５に示すように３Ｄ像生成部５０１、位置情報取得部５０２、表示状態決定部５０３、アシスト画像生成部５０４、および表示制御部５０５を備えている。画像処理装置５００は、ボリュームデータ５１０を記憶するデータベース、撮像装置５１１、および表示装置２５０と接続されている。
　撮像装置５１１は、ＣＣＤカメラ等の撮影部であり、光学マーカを含んだ手術対象患者および手術器具の映像を取得する。
　ボリュームデータ５１０は、手術対象部位の３次元画像データであり、一般的には術前にＣＴ、ＭＲＩ等のモダリティによって取得される。なお、超音波診断装置を用いてリアルタイムにデータを取得することによって随時ボリュームデータの更新を行いながらナビゲーションを行うことも可能である。
　表示装置２５０は、いわゆるモニタであって、表示制御部５０５からの出力を表示画面として表示する。
　３Ｄ像生成部５０１は、ボリュームデータ５１０をレンダリングすることによって手術対象部位の３Ｄ像の生成を行う。ここで、３Ｄ像生成部５０１は、切除または切削する領域等の決定を行って、領域等の情報を３Ｄ像に反映してもよい。
　位置情報取得部５０２は、撮像装置５１１で取得されたベッドまたは手術対象患者、手術器具等に設置された光学マーカが映った画像に基づいて、手術対象部位の３次元位置および向きを含む位置情報（対象位置情報）、および手術器具の３次元位置および姿勢（向き）を示す位置情報（器具位置情報）を取得する。
　表示状態決定部５０３は、手術対象部位（対象箇所）と手術器具との位置関係に基づいて、２つの表示状態の中から１つの表示状態を選択する。具体的には、表示状態決定部５０３は、手術対象部位と手術器具との位置の差分（距離）に基づいて、第１表示状態または第２表示状態のどちらかを選択する。このとき、表示状態決定部５０３は、仮想３次元空間における手術対象部位と手術器具との位置から手術対象部位と手術器具との距離を算出する。
　アシスト画像生成部５０４は、表示状態決定部５０３で選択された表示状態で表示されるようにアシスト画像を生成する。
　表示制御部５０５は、表示装置２５０上にアシスト画面を表示する際の位置およびサイズなどを制御し、アシスト画像を表示装置２５０に表示する。
　次に、上記のように構成された画像処理装置５００の動作について説明する。
　図２６は、実施の形態４の画像処理装置５００の動作を示すフローチャートである。
　３Ｄ像生成部５０１は、事前取得された患者の手術対象領域を含んだ３Ｄボリュームデータを取得し、３Ｄボリュームデータをレンダリングすることによって、アシスト画像に表示する３Ｄ像の生成を行う（ステップＳ５０１）。ここで、３Ｄ像生成部５０１は、術前シミュレーションに相当する切除または切削部位の指定などを行ってもよい（一般的には切除または切削部位の設定は術前に別途行われる）。
　次に、位置情報取得部５０２は、手術室におけるベッドあるいは手術対象患者と、撮像装置５１１との幾何学的な位置関係が決定された環境において、撮像装置５１１で取得された画像に基づいて、手術対象部位の３次元位置、姿勢、および大きさなどの対象位置情報を取得する（ステップＳ５０２）。そして、３Ｄ像生成部５０１は、手術対象部位の３次元位置、姿勢、および大きさなどと３Ｄ像とをキャリブレーションすることによって位置合わせを行う（ステップＳ５０３）。
　次に、位置情報取得部５０２は、撮像装置５１１で取得された画像に基づいて、手術器具の位置および姿勢の情報を取得する。更に、これらの情報を手術器具先端部の位置および姿勢の情報に変換する（ステップＳ５０４）。
　３Ｄ像生成部５０１は、手術対象部位、手術器具、および手術器具先端部の位置および姿勢の情報などから、仮想３次元空間に手術対象部位および手術器具をそれぞれ配置する（ステップＳ５０５）。
　次に、表示状態決定部５０３は、仮想３次元空間内における手術対象部位と手術器具との距離を算出する（ステップＳ５０６）。そして、表示状態決定部５０３は、仮想３次元空間内における手術対象部位と手術器具との距離が所定範囲内であるかどうかを判定する（ステップＳ５０７）。この結果、所定範囲内である場合（ステップＳ５０７でＹｅｓ）には、表示状態決定部１０３は、第２表示状態を選択する（ステップＳ５０８）。そして、表示状態決定部１０３は、アシスト画像のズーム倍率および視線方向等の設定を変更する（ステップＳ５０９）。
　一方、所定範囲内でない場合（ステップＳ５０７でＮｏ）には、表示状態決定部１０３は、第１表示状態を選択する（ステップＳ５１０）。
　そして、アシスト画像生成部５０４は、表示状態決定部５０３で選択された第１表示状態または第２表示状態で表示されるようにアシスト画像を生成する（ステップＳ５１１）。次に、表示制御部５０５は、アシスト画像を表示装置２５０に表示する（ステップＳ５１２）。
　ここで、第１表示状態または第２表示状態で表示されるアシスト画像について説明する。
　図２７Ａおよび図２７Ｂは、画像処理装置５００が表示するアシスト画像の一例を示す図であり、図２７Ａは、第２表示状態で表示するアシスト画像の一例を示す図であり、図２７Ｂは、第１表示状態で表示するアシスト画像の一例を示す図である。
　第１表示状態で表示するアシスト画像は、手術対象部位と手術器具とが所定範囲外（一定距離以上離れている）であるときのアシスト画像であり、図２７Ａに示すように視点位置を３Ｄボリュームデータから離れた点に設置（または切り出し画角を広角に設定）し、手術対象部位と手術器具との位置関係を俯瞰的に確認できるようにしている。
　一方、第２表示状態で表示するアシスト画像は、手術対象部位と手術器具との距離が所定範囲内（一定距離以上離れていない）であるときのアシスト画像であり、図２７Ｂに示すように視点位置を３Ｄボリュームデータに近い位置に設定（または切り出し画角を狭く設定）し、より詳細な位置関係および手術器具の動きを確認できるようにしている。
　図２６のフローチャートの説明に戻り、終了であるか否かを判定し（ステップＳ５１３）、終了であれば（ステップＳ５１３でＹｅｓ）、処理を終了する。
　一方、終了でなければ（ステップＳ５１３でＮｏ）、アシスト画像には最新の手術対象部位と手術器具との位置関係を表す情報が生成されるべきであるので、位置情報取得部５０２は、撮像装置５１１で取得された画像に基づいて、手術器具の位置および姿勢の情報を取得する（ステップＳ５１４）。そして、手術器具の位置または姿勢に変化があるか否かを判定する（ステップＳ５１５）。この判定の結果、変化がある場合（ステップＳ５１５でＹｅｓ）には、ステップＳ５０６からの処理を繰り返す。一方、変化がない場合（ステップＳ５１５でＮｏ）には、ステップＳ５１３からの処理を繰り返す。ここでは手術器具の器具位置情報のみを更新する手順を述べたが、必要に応じて手術対象部位の対象位置情報も更新を行ってよい。このときも、手術対象部位と手術器具との位置関係に変化が生じた場合にはステップＳ５０６からの処理を実行する。
　以上のように、手術器具の器具位置情報はリアルタイムに更新され、それに伴って表示装置２５０に表示されるアシスト画像も更新されるので、施術者は操作した手術器具の動きを表示装置２５０で確認でき、手術器具と対象箇所までの距離、および、切除または切削を行う向きの調整を容易に行うことができる。
　なお、本実施の形態では、アシスト画像生成部５０４は、初期状態で手術対象部位と手術器具とが離れていると仮定して、全体を俯瞰できる第１表示状態のアシスト画像を生成している。そして表示状態決定部５０３は、算出した距離が所定の値より小さい、すなわち手術対象部位と手術器具とが非常に近い位置にあると判定した場合には、アシスト画像の設定を第１表示状態から第２表示状態に切り替えるように、ステップＳ５０９において初期状態からズーム倍率および視線方向等の設定を変更している。また、図２６のフローチャートでは示していないが、第１表示状態に切り替えられた後、第１表示状態された場合には、表示状態決定部５０３は、ズーム倍率および視線方向等の設定が初期状態に戻すものとする。ここで、表示状態決定部５０３が算出する距離は、手術対象部位における切除または切削領域の重心と手術器具の先端との間で求めるなどと設定してよいが、この限りではない。
　また、ステップＳ５０１において、３Ｄ像生成部５０１は、術前シミュレーションに相当する切除または切削部位の指定などを行ってもよいとしたが、このシミュレーション結果（切除または切削領域）をステップＳ５１１において３Ｄ像に重畳表示してもよい。また、手術器具が切除または切削領域にアクセスしたかどうかを判定するステップや手段を追加し、アクセスしたと判断した場合にはその領域を削除した３Ｄ像を再生成し、表示を更新するようにしてもよい。このようにすることで施術者は手術の進捗をより容易に把握することが可能となる。
　また、本実施の形態では、位置情報を取得する方法として光学マーカをカメラで撮影する方式を説明したが、磁気センサまたは多関節アームなどを使用してもよい。
　また、ステップＳ５０７～Ｓ５１０において距離情報に基づいて二つのアシスト画像設定を切り替える例を示したが、これに限られるものではない。例えば、画像表示状態をｍ通り（ｍは自然数）準備しておき、そのうちのｎ番目（ｎはｍより小さい自然数）の表示状態が選択されている状態で、ステップＳ５０７において、ある時刻ｔと時刻ｔ－１とにおける距離の絶対差分が所定の大きさ以上であるかどうか、およびその正負を判定して、ｎ番目からｎ＋１番目あるいはｎ－１番目の表示状態を選択するようにしてもよい。このようにすることによって、手術器具が手術対象部位に近づいていくにつれて切除または切削を行う領域が拡大されていくような効果、すなわち図２７Ａから図２７Ｂに滑らかに変化するような画像が得られる。
　（実施の形態５）
　上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
　図２８Ａ～２８Ｃは、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
　図２８Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２８Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
　また、図２８Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。超音波診断方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより超音波診断方法を実現する上記超音波診断方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
　なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
　なお、図６の超音波診断装置および図２５の画像処理装置のブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。例えば、ＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのグラフィクス処理用の専用回路が使用できる。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　また、図６の超音波診断装置および図２５の画像処理装置の各部は、インターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などのネットワークを介して接続してもよい。例えば、ネットワーク上のサーバや蓄積デバイスに保持された超音波画像を読み込む構成などが可能である。さらに、各部の機能追加などをネットワーク経由で行ってもよい。
　本発明に係る画像処理装置および方法によれば、スキャン位置をターゲットに合わせるまでの時間が削減でき、動脈硬化のスクリーニングなどにおける検査効率の向上が見込まれることから、医療診断機器産業において高い利用可能性をもつ。
　１０　プローブ
　３０、１００　超音波診断装置
　３１、１０１　３Ｄ像解析部
　３２、１０２、５０２　位置情報取得部
　３３、１０４、５０４　アシスト画像生成部
　３４、１０６　ライブ画像取得部
　３５、１０７、５０５　表示制御部
　１０３、５０３　表示状態決定部
　１０５　送受信部
　１０８　制御部
　１５０、２５０　表示装置
　１６０　入力装置
　５００　画像処理装置
　５０１　３Ｄ像生成部
　５１０　ボリュームデータ
　５１１　撮像装置
 

Claims (22)

  1. 　被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理装置であって、
    　前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析部と、
    　前記器具の３次元位置を示す器具位置情報を取得する位置情報取得部と、
    　前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定部と、
    　選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成部と、
    　前記アシスト画像を表示装置に出力するための制御を行う表示制御部と
    　を備える画像処理装置。
  2. 　前記二つ以上の表示状態には、
    　前記アシスト画像における表示のズーム倍率を第１倍率で表示する第１表示状態と、
    　前記アシスト画像における表示のズーム倍率を前記第１倍率より大きい倍率である第２倍率で表示する第２表示状態とを含み、
    　前記表示状態決定部は、前記位置関係が第１の所定条件を満たさない場合に、前記第１表示状態を選択し、前記位置関係が前記第１の所定条件を満たす場合に、前記第２表示状態を選択する
    　請求項１に記載の画像処理装置。
  3. 　前記３Ｄ像解析部は、前記３次元像に基づいて、前記対象箇所の３次元位置に加えて、前記対象箇所の向きを、前記対象位置情報として決定し、
    　前記位置情報取得部は、前記器具の３次元位置に加えて、前記器具の向きを、前記器具位置情報として取得する
    　請求項１または請求項２に記載の画像処理装置。
  4. 　前記器具は、超音波診断装置における前記被検体の超音波画像を取得するためのプローブであり、
    　前記位置情報取得部は、前記器具位置情報として、前記プローブの走査位置および向きを取得し、
    　前記アシスト画像生成部は、前記プローブの前記対象箇所への移動を誘導するための画像であるアシスト画像を生成する
    　請求項３に記載の画像処理装置。
  5. 　前記画像処理装置は、さらに、
    　前記プローブからライブ画像である前記被検体の超音波画像を取得するライブ画像取得部を備え、
    　前記表示制御部は、前記アシスト画像および前記ライブ画像を表示装置に出力する
    　請求項４に記載の画像処理装置。
  6. 　前記二つ以上の表示状態には、
    　前記表示装置において前記アシスト画像をメイン画像として表示するとともに、前記ライブ画像を前記メイン画像より小さいサブ画像として表示する第３表示状態と、
    　前記表示装置において前記ライブ画像を前記メイン画像として表示するとともに、前記アシスト画像を前記サブ画像として表示する第４表示状態とを含み、
    　前記表示状態決定部は、前記位置関係が第２の所定条件を満たさない場合に前記第３表示状態を選択し、前記位置関係が前記第２の所定条件を満たす場合に前記第４表示状態を選択し、
    　前記表示制御部は、選択された表示状態で、前記アシスト画像および前記ライブ画像を表示装置に出力する
    　請求項５に記載の画像処理装置。
  7. 　前記表示制御部は、選択された前記表示状態に応じて、前記アシスト画像と前記ライブ画像との相対的な表示サイズを切り替えることで、前記メイン画像および前記サブ画像の切り替えを行い、前記アシスト画像および前記ライブ画像を前記表示装置に出力する
    　請求項６に記載の画像処理装置。
  8. 　前記表示状態決定部は、前記第３表示状態を選択している場合には、前記位置関係が第３の所定条件を満たすか否かに基づいて表示状態を選択し、前記第４表示状態を選択している場合には、前記位置関係が第４の所定条件を満たすか否かに基づいて表示状態を選択する
    　請求項６または請求項７に記載の画像処理装置。
  9. 　前記対象箇所は血管であり、
    　前記表示状態決定部は、前記ライブ画像において前記血管の走行方向に略平行な断面が描出されているか否かに応じて前記位置関係を判定し、判定した前記位置関係に基づいて前記二つ以上の表示状態の中から一つの表示状態を選択する
    　請求項５～請求項７のいずれか１項に記載の画像処理装置。
  10. 　前記画像処理装置は、さらに、
    　あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備え、
    　前記３Ｄ像生成部は、前記データである、前記対象箇所を含む領域を前記プローブで予め走査して取得された超音波画像から、前記対象箇所を含む器官の輪郭を抽出することにより、前記３次元像を生成し、
    　前記３次元像の３次元空間内における位置および向きを、前記位置情報取得部により取得される前記プローブの走査位置および向きと対応づける
    　請求項４～請求項９のいずれか１項に記載の画像処理装置。
  11. 　前記アシスト画像生成部は、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいてナビゲーション情報を生成し、前記アシスト画像として、前記３次元像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像と、前記ナビゲーション情報と、を重畳した画像を生成する
    　請求項４～請求項１０のいずれか１項に記載の画像処理装置。
  12. [規則91に基づく訂正 26.12.2013]　
    　前記アシスト画像生成部は、前記第４表示状態が選択されたとき、前記対象箇所における複数の方向からの断面形状をそれぞれ示す複数の断面画像を生成し、生成した前記複数の断面画像に対して、前記プローブの現在の走査位置および向きを示すプローブ画像を重畳した画像を、前記アシスト画像として生成する
    　請求項6～請求項8のいずれか１項に記載の画像処理装置。
  13. 　前記対象箇所は血管であり、
    　前記複数の断面画像には、前記血管の走行方向である長軸方向および前記長軸方向に略直交する短軸方向からの断面形状をそれぞれ示す２つの断面画像を含み、
    　前記アシスト画像生成部は、前記２つの断面画像に対して、前記プローブの現在の走査位置および向きと前記対象箇所の位置および向きとの相対関係に基づいて、前記プローブの前記対象箇所への移動を誘導するための直線または長方形を重畳した画像を、前記アシスト画像として生成する
    　請求項１２に記載の画像処理装置。
  14. 　前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択する
    　請求項３に記載の画像処理装置。
  15. 　前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所の位置および向きと前記器具の位置および向きとのそれぞれの差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択する
    　請求項３に記載の画像処理装置。
  16. 　前記対象箇所は前記被検体内の手術対象部位であり、
    　前記器具は、前記被検体の手術に用いられる手術器具であり、
    　前記アシスト画像生成部は、前記手術器具の前記手術対象部位への移動を誘導するための画像であるアシスト画像を生成する
    　請求項１～請求項３のいずれか１項に記載の画像処理装置。
  17. 　前記画像処理装置は、さらに、
    　あらかじめ取得されたデータから前記３次元像を生成する３Ｄ像生成部を備える
    　請求項１６に記載の画像処理装置。
  18. 　前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を前記位置関係として算出し、算出した前記差分に応じて一つの表示状態を選択する
    　請求項１または請求項２に記載の画像処理装置。
  19. 　前記表示状態決定部は、前記対象位置情報および前記器具位置情報を用いて、前記対象箇所および前記器具の位置の差分を算出し、算出した前記差分を保持することにより、時間経過に伴う前記差分の変位を前記位置関係として算出し、算出した前記差分の変位に応じて一つの表示状態を選択する
    　請求項１または請求項２に記載の画像処理装置。
  20. 　前記二つ以上の表示状態には、
    　前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する表示状態を二つ以上含み、
    　前記表示状態決定部は、前記位置関係に基づいて、前記アシスト画像におけるズーム倍率および視点の少なくともどちらか一方が相違する二つ以上の表示状態の中から一つの表示状態を選択する
    　請求項１～請求項１９のいずれか１項に記載の画像処理装置。
  21. 　被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成する画像処理方法であって、
    　前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析ステップと、
    　前記器具の３次元位置を示す器具位置情報を取得する位置情報取得ステップと、
    　前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定ステップと、
    　選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成ステップと、
    　前記アシスト画像を表示装置に出力するための制御を行う表示制御ステップと
    　を含む画像処理方法。
  22. 　被検体内の対象箇所への器具の移動を誘導するための画像であるアシスト画像を生成するためのプログラムであって、
    　前記対象箇所を含む３次元像に基づいて、前記対象箇所の３次元位置を示す対象位置情報を決定する３Ｄ像解析ステップと、
    　前記器具の３次元位置を示す器具位置情報を取得する位置情報取得ステップと、
    　前記対象箇所と前記器具との位置関係に基づいて、二つ以上の表示状態の中から一つの表示状態を選択する表示状態決定ステップと、
    　選択された表示状態で表示されるように、前記アシスト画像を前記対象位置情報および前記器具位置情報を用いて生成するアシスト画像生成ステップと、
    　前記アシスト画像を表示装置に出力するための制御を行う表示制御ステップとをコンピュータに実行させる
    　プログラム。
     
PCT/JP2013/006625 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム WO2014076931A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014546867A JP6323335B2 (ja) 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム
US14/442,281 US20160270757A1 (en) 2012-11-15 2013-11-11 Image-processing apparatus, image-processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012251583 2012-11-15
JP2012-251583 2012-11-15

Publications (1)

Publication Number Publication Date
WO2014076931A1 true WO2014076931A1 (ja) 2014-05-22

Family

ID=50730865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006625 WO2014076931A1 (ja) 2012-11-15 2013-11-11 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20160270757A1 (ja)
JP (1) JP6323335B2 (ja)
WO (1) WO2014076931A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020519369A (ja) * 2017-05-11 2020-07-02 ベラソン インコーポレイテッドＶｅｒａｔｈｏｎ Ｉｎｃ． 確率マップに基づいた超音波検査
JP2021079124A (ja) * 2016-05-06 2021-05-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 簡素化された３ｄイメージング制御を有する超音波イメージングシステム
JP7538705B2 (ja) 2020-12-08 2024-08-22 富士フイルムヘルスケア株式会社 超音波診断システム及び操作支援方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028930B (zh) 2014-02-21 2021-10-22 3D集成公司 包括手术器械的套件
CN107072591B (zh) * 2014-09-05 2021-10-26 普罗赛普特生物机器人公司 与靶器官图像的治疗映射结合的医师控制的组织切除
KR20160046670A (ko) * 2014-10-21 2016-04-29 삼성전자주식회사 영상 진단 보조 장치 및 방법
EP3145419B1 (en) 2015-07-21 2019-11-27 3dintegrated ApS Cannula assembly kit, trocar assembly kit and minimally invasive surgery system
DK178899B1 (en) * 2015-10-09 2017-05-08 3Dintegrated Aps A depiction system
US11191524B2 (en) * 2017-09-28 2021-12-07 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and non-transitory computer readable medium
US10521916B2 (en) * 2018-02-21 2019-12-31 Covidien Lp Locating tumors using structured light scanning
JP6856816B2 (ja) * 2018-02-23 2021-04-14 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2020050017A1 (ja) * 2018-09-04 2020-03-12 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US20220015741A1 (en) * 2019-01-09 2022-01-20 Koninklijke Philips N.V. Ultrasound system and method for shear wave characterization of anisotropic tissue
WO2020246238A1 (ja) 2019-06-06 2020-12-10 富士フイルム株式会社 ３次元超音波撮像支援装置、方法、及びプログラム
CN112991166B (zh) * 2019-12-16 2024-09-06 无锡祥生医疗科技股份有限公司 智能辅助导引方法、超声设备及存储介质
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
JP7447692B2 (ja) * 2020-06-16 2024-03-12 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP2022074392A (ja) * 2020-11-04 2022-05-18 コニカミノルタ株式会社 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124712A (ja) * 2003-10-22 2005-05-19 Aloka Co Ltd 超音波診断装置
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
JP2010201049A (ja) * 2009-03-05 2010-09-16 Aloka Co Ltd 超音波診断装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8808164B2 (en) * 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
WO2010005571A2 (en) * 2008-07-09 2010-01-14 Innurvation, Inc. Displaying image data from a scanner capsule

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124712A (ja) * 2003-10-22 2005-05-19 Aloka Co Ltd 超音波診断装置
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
JP2010201049A (ja) * 2009-03-05 2010-09-16 Aloka Co Ltd 超音波診断装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021079124A (ja) * 2016-05-06 2021-05-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 簡素化された３ｄイメージング制御を有する超音波イメージングシステム
JP7177870B2 (ja) 2016-05-06 2022-11-24 コーニンクレッカ フィリップス エヌ ヴェ 簡素化された３ｄイメージング制御を有する超音波イメージングシステム
JP2020519369A (ja) * 2017-05-11 2020-07-02 ベラソン インコーポレイテッドＶｅｒａｔｈｏｎ Ｉｎｃ． 確率マップに基づいた超音波検査
JP7538705B2 (ja) 2020-12-08 2024-08-22 富士フイルムヘルスケア株式会社 超音波診断システム及び操作支援方法

Also Published As

Publication number Publication date
JP6323335B2 (ja) 2018-05-16
US20160270757A1 (en) 2016-09-22
JPWO2014076931A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6323335B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP2460473B1 (en) Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
JP4758355B2 (ja) 患者の体内に医療用機器を案内するためのシステム
JP5208495B2 (ja) 医療用システム
JP5433240B2 (ja) 超音波診断装置及び画像表示装置
JP5395538B2 (ja) 超音波診断装置及び画像データ表示用制御プログラム
JP5830576B1 (ja) 医療システム
JP6873647B2 (ja) 超音波診断装置および超音波診断支援プログラム
JP2013059609A (ja) 医用画像表示装置及びｘ線診断装置
US20100286526A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP2008005923A (ja) 医用ガイドシステム
JP5253893B2 (ja) 医用画像処理装置、超音波診断装置、及び超音波画像取得プログラム
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
US20230181148A1 (en) Vascular system visualization
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2002253480A (ja) 医療処置補助装置
JP2009247641A (ja) 超音波画像処理装置及び手術支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13855345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014546867

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14442281

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13855345

Country of ref document: EP

Kind code of ref document: A1