WO2013172311A1 - 超音波診断装置および画像評価表示方法 - Google Patents

超音波診断装置および画像評価表示方法 Download PDF

Info

Publication number
WO2013172311A1
WO2013172311A1 PCT/JP2013/063325 JP2013063325W WO2013172311A1 WO 2013172311 A1 WO2013172311 A1 WO 2013172311A1 JP 2013063325 W JP2013063325 W JP 2013063325W WO 2013172311 A1 WO2013172311 A1 WO 2013172311A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
superimposed image
movement amount
unit
superimposed
Prior art date
Application number
PCT/JP2013/063325
Other languages
English (en)
French (fr)
Inventor
川畑　健一
吉川　秀樹
Original Assignee
日立アロカメディカル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立アロカメディカル株式会社 filed Critical 日立アロカメディカル株式会社
Publication of WO2013172311A1 publication Critical patent/WO2013172311A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding

Definitions

  • the present invention relates to a technique for generating and displaying a panoramic image by combining a plurality of medical images used for measurement, diagnosis, and the like.
  • the ultrasonic diagnostic apparatus has features such that it is less invasive than other apparatuses such as X-ray CT or MRI, the apparatus is small and portable, and images can be obtained in real time. Such a feature is largely due to the mechanism of the ultrasonic diagnostic apparatus in which the surgeon presses an ultrasonic transmitter / receiver called a probe against a target region to be imaged to obtain only information on the region. On the contrary, since the ultrasonic diagnostic apparatus has such a mechanism, information on a large area cannot be obtained at a time.
  • a skilled surgeon can construct an image of a virtually continuous large area in his / her head by performing imaging while moving the part to which the probe is pressed.
  • an image that is virtually constructed in the head cannot be shared with a third party, so has low objectivity and is difficult to use for explanation to a patient.
  • One way to solve these problems without major changes to the current device is to synthesize an image obtained by the operator moving the imaging part continuously with the probe pressed against the body surface.
  • An image obtained by panorama makes it possible to objectively present the structure of the human body that the surgeon has constructed in the head so far. .
  • the image can be panoramic in real time, and the user can obtain a composite image.
  • panoramic images require diagnostic images of a plurality of parts, they are obtained at different times.
  • the human body is constantly moving in carrying out its life support activities, and if images of different parts are obtained at different times, the human body will be affected by the body movement. Therefore, an image used for panorama is mixed with a case where the image is combined with high accuracy and a case where the image is combined with low accuracy depending on the shooting conditions.
  • the present invention has been made in view of the above circumstances, and is a panoramic (synthesizing) technique for medical images, which is less dependent on a user's skill level and generates a synthesized image useful for diagnosis.
  • the purpose is to provide.
  • the present invention evaluates the reliability of a superimposed image using information used for the synthesis when the synthesized image is generated by synthesizing the superimposed images. Then, the evaluation result is presented to the user.
  • Information used for the evaluation is a displacement amount (hereinafter referred to as a movement amount) of the superimposed image with respect to the superimposed image.
  • the evaluation result may be reflected on the composite image and presented to the user.
  • an ultrasonic diagnostic apparatus comprising: an image composition unit that synthesizes a superimposed image with a superimposed image, and generates a composite image; and a display device that displays the composite image
  • An ultrasonic diagnostic apparatus comprising: a movement amount calculation unit that calculates a frame movement amount that is a movement amount of a superimposed image; and an evaluation unit that evaluates the reliability of the superimposed image based on the frame movement amount. I will provide a.
  • the display device may further display an evaluation result by the evaluation unit.
  • An image evaluation display method in an ultrasonic diagnostic apparatus comprising: an image composition unit that synthesizes a superimposed image with a superimposed image, and generates a synthesized image; and a display device that displays the synthesized image.
  • a moving amount calculating step for calculating a frame moving amount that is a moving amount of the superimposed image with respect to the above, an evaluating step for evaluating the reliability of the superimposed image based on the frame moving amount, and an evaluation result by the evaluating unit, And a display step of displaying on the display device.
  • the computer further includes a movement amount calculating means for calculating a frame movement amount that is a movement amount of the superimposed image acquired by the ultrasonic diagnostic apparatus with respect to the superimposed image to be synthesized, and the superimposition based on the frame movement amount.
  • a movement amount calculating means for calculating a frame movement amount that is a movement amount of the superimposed image acquired by the ultrasonic diagnostic apparatus with respect to the superimposed image to be synthesized, and the superimposition based on the frame movement amount.
  • the present invention in the panoramic (synthesizing) technique for medical images, it is possible to generate a synthesized image that is less dependent on the skill level of the user and useful for diagnosis.
  • the ultrasonic diagnostic apparatus 100 combines an ultrasonic image acquisition unit 110 that acquires an image and an image (ultrasonic image) acquired by the ultrasonic image acquisition unit 110 to obtain a panoramic image (hereinafter simply referred to as a composite image). And a medical image processing apparatus 200 for generating the image data.
  • the medical image processing apparatus 200 is connected to a display device 140 that displays the generated composite image.
  • the ultrasonic image acquisition unit 110 controls an ultrasonic imaging probe (hereinafter referred to as a probe) 120 that transmits and receives ultrasonic waves to and from the subject 101, and controls the probe 120 to generate ultrasonic waves.
  • An image forming unit 130 that radiates the subject 101 and images the structure of the subject using an echo signal obtained through the probe 120 is provided. Upon receiving an instruction to start imaging, the image forming unit 130 starts outputting ultrasonic waves and forms an image from the obtained echo signal. The obtained image is sent to the medical image processing apparatus 200.
  • the probe 120 is brought into close contact with the imaging target 101 via an acoustic jelly.
  • the scanning range image acquisition range
  • the direction of movement is the main plane direction of the acquired image.
  • the image forming unit 130 forms and outputs an image according to the scanning range of the probe 120 at that time.
  • Each image generated by using an echo signal obtained via the probe 120 at every predetermined timing and sent to the medical image processing apparatus 200 is called a frame.
  • Each frame is an image at a different position of the subject. However, a part of the image acquisition range overlaps between adjacent frames.
  • frames continuously sent from the ultrasonic image acquisition unit 110 are superimposed and combined to generate a combined image.
  • the movement amount (frame movement amount) of the center position of the attention area on the received frame (superimposed image) from the center position of the attention area on the synthesis target image (superimposed image) is calculated.
  • a frame newly sent from the ultrasonic image acquisition unit 110 is referred to as a superimposed image, and is a frame previously sent from the ultrasonic image acquisition unit 110, and is combined with the superimposed image.
  • An image to be processed is called a superimposed image.
  • the superimposed image is an image that is superimposed (synthesized) on the superimposed image
  • the superimposed image is an image that is superimposed (synthesized) on the superimposed image.
  • the movement amount of the center position of the attention area on the superimposed image from the center position of the attention area on the superimposed image is simply referred to as the movement amount of the superimposed image with respect to the superimposed image.
  • the frame movement amount is composed of a movement amount by two-dimensional parallel movement and a movement amount by rotation.
  • a movement amount by two-dimensional translation is referred to as a parallel movement amount
  • a movement amount by rotation is referred to as a rotation movement amount.
  • feature points (key points) of a region common to both frames are used for calculating the frame movement amount.
  • a restriction may be placed on the moving speed of the probe 120 or the time required to generate an image of one frame so that a common area exists between the superimposed image and the superimposed image. For example, setting is made such that the moving speed of the probe 120 is limited to 1 ⁇ 4 of the frame generation time on the basis of the time for generating one frame.
  • the medical image processing apparatus 200 generates a composite image by combining the sent frames, and displays the composite image on the display device 140. In the present embodiment, whether or not the superimposed image is appropriately superimposed on the superimposed image is evaluated as high or low on the composite image, and the evaluation result is displayed on the display device 140 together with the composite image.
  • An outline of a method of generating a composite image and evaluating reliability in the medical image processing apparatus 200 of the present embodiment is as follows.
  • feature points are extracted from the superimposed image and an image feature amount of each feature point is calculated. Then, feature points having the closest image feature amount to the superimposed image are associated with each other. Assume that the associated feature points are the same point in the shooting range, calculate the rotational movement amount and the parallel movement amount on the image from the movement amount of both pixel positions, and the attention area on the superimposed image The amount of movement from the center position of the region of interest on the superimposed image at the center position, that is, the frame movement amount is calculated. Using the frame movement amount, alignment between the superimposed image and the superimposed image is performed, and the superimposed image is superimposed on the superimposed image to generate a composite image.
  • the reliability of the superimposed image with respect to the superimposed image is evaluated using the frame movement amount and the feature point.
  • the calculated frame movement amount is applied to each feature point of the superimposed image and projected onto the superimposed image.
  • the reliability is evaluated using the distance between the projected feature point and the corresponding feature point in the superimposed image as an index.
  • the distribution of the coordinates of the feature points existing in the frame can be used as an index. When the distribution is used as an index, for example, when the feature point is only below or above the image center, the reliability is evaluated to be low.
  • the medical image processing apparatus 200 stores frames (superimposed images) transmitted from the ultrasonic image acquisition unit 110 at predetermined intervals as illustrated in FIG.
  • a superimposed image memory 211 a superimposed image memory 212 that stores the superimposed image, a data holding unit 213 that holds various data, and each time a superimposed image is acquired, feature points are extracted from the superimposed image and data is held.
  • a moving amount calculation unit 223 that performs the evaluation, a evaluation unit 224 that evaluates the reliability of the superimposed image based on the frame moving amount, and an image that generates a combined image by combining the superimposed image and the superimposed image And a generation unit 225.
  • the feature information extraction unit 221 of the present embodiment further calculates a feature amount that characterizes each feature point for each extracted feature point from the superimposed image, and stores the feature amount in the data holding unit 213. Note that the movement amount calculation unit 223 calculates the frame movement amount using the associated feature points.
  • FIG. 2 is a process flow of the composite image generation process of the present embodiment. The following processing is executed each time a superimposed image is sent from the ultrasonic image acquisition unit 110 and stored in the superimposed image memory 211.
  • the feature information extraction unit 221 extracts pixels (feature points) serving as key points from an image (superimposed image) stored in the superimposed image memory 211, and calculates an image feature amount of each feature point (step S1101).
  • the extracted feature points and image feature amounts are registered in the data holding unit 213.
  • the feature point correspondence unit 222 associates the extracted feature points with the feature points of the superimposed image stored in the data holding unit 213 (step S1102).
  • the association result is also registered in the data holding unit 213.
  • the movement amount calculation unit 223 calculates a frame movement amount using each of the associated feature points (step S1103).
  • the calculated frame movement amount is a parallel movement amount and a rotational movement amount.
  • the calculated frame movement amount is registered in the data holding unit 213.
  • the evaluation unit 224 uses the calculated frame movement amount to evaluate the reliability of the superimposed image with respect to the immediately preceding frame (step S1104). Then, the image composition unit 225 uses the frame movement amount to compose the superimposed image with the superimposed image according to the evaluation result, obtains a composite image (step S1105), and displays it on the display device 140 (step S1106). Then, the image composition unit 225 updates the superimposed image in the superimposed image memory 212 to the synthesized image after synthesis (step S1107).
  • the medical image processing apparatus 200 includes a CPU, a memory, and a storage device. Each of the above functions is realized by the CPU loading a program stored in advance in the storage device into the memory and executing it.
  • the superimposed image memory 211, the superimposed image memory 212, and the data holding unit 213 are constructed on the storage device of the medical image processing apparatus 200. Details of each process will be described below.
  • the feature point of the present embodiment is a point having a large local feature amount in image processing.
  • the feature point is at least one of an edge and a corner.
  • the feature information extraction unit 221 calculates an image feature amount of each extracted feature point.
  • FIG. 3 is a process flow of the feature information extraction process of the present embodiment.
  • the feature information extraction unit 221 performs preprocessing on the superimposed image in order to remove noise and the like from the superimposed image to be processed (step S1201).
  • preprocessing an averaging filter such as a median filter, a moving average filter, or a Gaussian filter is preferable, but there is no particular limitation.
  • the feature information extraction unit 221 detects edge or corner pixels as feature points in the superimposed image (step S1202).
  • the Canny method, the Solvay method, or the like can be used for edge detection
  • the Harris / Plessey method, the KLT method, or the like can be used for corner detection.
  • the method used for edge detection and corner detection is not particularly limited as long as it can be applied to a two-dimensional image or a three-dimensional image.
  • the feature information extraction unit 221 of the present embodiment extracts the detected pixels as feature points.
  • the pixel position of the detected pixel is extracted.
  • the pixel position is a coordinate value in a predetermined coordinate system (frame coordinate system) on each superimposed image.
  • the feature information extraction unit 221 calculates the difference between each pixel adjacent to the pixel detected as the feature point (step S1203).
  • the difference from each adjacent pixel is calculated by using a luminance value, a differential value of the luminance value, or a difference value of the luminance value between the pixels such as a higher-order differential value.
  • the type of pixel value for calculating the difference is not particularly limited.
  • step S1204 the direction with the largest calculated difference value is determined as the main axis (step S1204).
  • a vector value obtained by arranging the differences from each adjacent pixel in the clockwise direction with the determined main axis as the origin is obtained as an image feature amount (step S1205).
  • the feature information extraction unit 221 registers the coordinates of the extracted feature points in the frame coordinate system and the respective image feature amounts in the data holding unit 213 in association with information for specifying the superimposed image (step S1206).
  • the feature information extraction unit 221 calculates an image feature amount that characterizes the feature point for each feature point, and the feature point is the superimposed image. And at least one of a pixel corresponding to an edge and a pixel corresponding to a corner, and the image feature amount includes a difference value between each of the feature points and all adjacent pixels, and the feature point corresponding unit 222 includes: A feature point that matches the image feature amount is set as a corresponding feature point.
  • a vector value in which absolute values of differences are arranged may be used as the image feature amount of each feature point.
  • the relative value in each vector is a difference between the reference value and the reference value among the difference values constituting each vector.
  • frequency information of the difference may be used instead of the difference from the pixel value of each adjacent pixel.
  • a general scale invariant feature point detection method may be used for feature point detection.
  • the SURF method or the HOG method can be used as the scale invariant feature point detection method, but there is no particular limitation as long as it is a method applicable to a two-dimensional image or a three-dimensional image.
  • FIG. 4 is an explanatory diagram for explaining an example of data 300 registered in the data holding unit 213 of this embodiment.
  • the data holding unit 213 of this embodiment includes frame information 311 that is information for specifying each superimposed image, a reliability evaluation result 312 of the frame, and a movement amount of the frame (frame (Movement amount) 313, extracted feature points / image feature amounts 314, associations 315 of the feature points 314, and projected coordinate values 316 that are coordinate values after application of the frame movement amounts of the feature points 314 are registered. Is done.
  • These pieces of information 300 are registered for each frame.
  • the case where information 300 of four frames 411, 412, 413, and 414 is registered in the order of acquisition as a superimposed image is illustrated.
  • the frame information 311 is uniquely assigned and registered every time a superimposed image is acquired.
  • the evaluation result 312 is an evaluation result of the reliability of the superimposed image by the evaluation unit 224.
  • the frame movement amount 313 is the frame movement amount calculated by the movement amount calculation unit 223.
  • the feature point / image feature amount 314 is the coordinates of the feature point extracted by the feature information extraction unit 221 in the frame coordinate system and the image feature amount of each feature point.
  • the association 315 is a correspondence result between the feature point of the superimposed image extracted by the feature point correspondence unit 222 and the feature point of the superimposed image. In this embodiment, a case where the same identifier is registered as the corresponding feature point is illustrated. The registration method of the association result is not limited to this.
  • the projected coordinate value 316 is a coordinate after applying the frame movement amount to the associated feature point.
  • a predetermined coordinate system (composite coordinate system) of the superimposed image is used.
  • the ultrasonic diagnostic apparatus 100 includes the data holding unit 213 that registers the feature points extracted by the feature information extraction unit 221 in association with the extracted superimposed image.
  • the evaluation unit 224 includes: The evaluation result is registered in the data holding unit 213, and the movement amount calculation unit 223 registers the calculated frame movement amount in the data holding unit 213.
  • feature point association processing by the feature point correspondence unit 222 will be described.
  • the feature points of different images are extracted independently. For example, it is not obtained in consideration of a change in the imaging range by the probe 120 between the superimposed image and the superimposed image. Therefore, it is necessary to make one-to-one correspondence between feature points in different images that are considered to be the same.
  • the association method is, for example, for all combinations that associate all feature points calculated from the superimposed image and all feature points calculated from the superimposed image on the Euclidean space between the image feature amounts, respectively. Calculate the difference between Then, the obtained differences are associated with each other according to the smallest combination.
  • the association result is stored in the data holding unit 213.
  • the same identifier as the association 315 assigned to the corresponding feature point of the superimposed image is registered in the corresponding feature point of the superimposed image.
  • the feature point (ax2, ay2) of the superimposed image is associated with the feature point (bx1, by1) of the superimposed image.
  • identifier B is registered in association 315.
  • the superimposed image is the frame 413 and the superimposed image is a composite image of the frame 411 and the frame 412
  • the feature points (bx2, by2) and (bx3, by3) of the superimposed image and the feature points of the superimposed image ( cx1, cy1) and (cx2, cy2) are associated with each other, and identifiers C and D are registered in the association 315, respectively.
  • the superimposed image is the frame 414 and the superimposed image is a composite image of the frame 411, the frame 412, and the frame 413, the feature point (dx2, dy2) of the superimposed image and the feature point (cx3, cy3) of the superimposed image ) And the identifier E is registered in the association 315.
  • the feature points of the candidate for the superimposed image to be associated with each feature point of the superimposed image may be limited to feature points in a predetermined range. For example, it is possible to use a method of obtaining a difference only when the coordinates of the feature points of the superimposed image and the superimposed image (respectively, the coordinates in the frame coordinate system and the coordinates in the composite coordinate system) are within a certain distance.
  • the frame movement amount calculated by the movement amount calculation unit 223 is the position on the superimposed image at the position on the superimposed image at the center of the region of interest (ROI for superimposition) within the imaging range that is set in advance when the ultrasound diagnostic image is acquired. The amount of movement from the position.
  • the shooting target is a human body
  • the shooting target may move during the shooting.
  • the probe 120 is moved freehand, there is a possibility that the imaging plane will be shifted between each acquired frame.
  • the ultrasonic image has a limitation that the boundary between structures is not clear compared to a natural image, and that relatively high-speed processing (quasi-real time processing) is required.
  • the scale of the ultrasonic image does not change during shooting. Since the probe 120 and the body surface are in close contact with each other, perspective conversion does not occur. Also, there is no distortion and scaling. That is, in general panoramas, projection conversion with 9 degrees of freedom is necessary, but in the case of panorama formation of an ultrasonic image, synthesis is possible by rotation and translational movements with 3 degrees of freedom.
  • a synthesized image is generated by synthesizing images (frames) acquired by the ultrasound diagnostic apparatus 100.
  • the distance between frames can be defined by a movement with 3 degrees of freedom of parallel movement and rotational movement. Therefore, the transformation matrix T between the coordinate system (frame coordinate system) of the superimposed image and the coordinate system (composite coordinate system) of the superimposed image of this embodiment is expressed by the following equation (1).
  • ⁇ represents the rotation angle (rotational movement amount)
  • ⁇ x and ⁇ y represent the parallel movement amounts in the x and y directions, respectively.
  • the movement amount calculation unit 223 of the present embodiment uses the feature points (corresponding feature points) of the superimposed image and the superimposed image that are associated by the feature point correspondence unit 222, and uses the rotational movement amount ⁇ and the parallel movement amount of the conversion matrix. A movement amount composed of ⁇ x and ⁇ y is calculated as a frame movement amount. Then, the movement amount calculation unit 223 registers the calculated frame movement amount in the data holding unit 213 as the frame movement amount 313.
  • the frame movement amount can be uniquely determined when the number of corresponding feature points determined by the feature point corresponding unit 222 is two.
  • the frame movement amount is obtained by statistical processing. For example, two of the corresponding feature points are selected as representatives, and the provisional rotational movement amount ⁇ 1 and the provisional parallel movement amounts ⁇ x1 and ⁇ y1 are determined. Then, the temporary frame movement amounts ⁇ 1, ⁇ x1, and ⁇ y1 are set as initial values, and the frame movement amounts ⁇ , ⁇ x, and ⁇ y are obtained by the nonlinear least square method.
  • the frame movement amount includes a rotational movement amount and a two-dimensional parallel movement amount
  • the movement amount calculation unit 223 associates the frame movement amount with the association. Using the amount of movement of the obtained feature points, it is obtained by a non-linear least square method.
  • the frame movement amount may be calculated a plurality of times while selecting the feature points. For example, the feature points of the superimposed image are converted using the obtained frame movement amount. The distance between the converted feature point and the corresponding feature point in the superimposed image is calculated. Then, feature points are selected according to the calculated distance. Then, the frame movement amount is calculated again using only the distinguished feature points. Such selection and calculation are repeated.
  • the transformation matrix T between the coordinate system of both the frame coordinate system of the superimposed image and the composite coordinate system of the superimposed image may be obtained by using Helmat transform represented by the following equation (2).
  • the Helmert transformation is a transformation in which enlargement / reduction is added to rotational movement and parallel movement.
  • the coefficients a, b, ⁇ x, and ⁇ y are calculated by the linear least square method. Then, using these as initial values, the coefficients a, b, ⁇ x, and ⁇ y are obtained by the non-linear least square method, and the rotational movement amount ⁇ and the parallel movement amounts ⁇ x, ⁇ y are obtained. Further, it may be obtained by a least square method using singular value decomposition.
  • the parallel movement is performed on the feature points obtained from the superimposed image.
  • the distance to the corresponding feature point in the superimposed image can be calculated.
  • the feature points may be selected according to the calculated distance, and the parallel movement amount / rotation movement amount may be calculated using only the selected feature points. Further, this selection and calculation may be repeated.
  • each feature point of the superimposed image is translated / rotated using the obtained values of a, b, ⁇ x, and ⁇ y, and each feature point of the corresponding superimposed image is calculated.
  • Each distance is obtained.
  • the median of the distribution of distances is obtained, and a, b, ⁇ x, and ⁇ y are obtained again except for those whose distance is larger than the median.
  • the conversion matrix T represented by the following expression (3) is used instead of the conversion matrix T represented by the above expression (1). You may use the formula which considered the expansion / contraction of the vertical direction.
  • the evaluation unit 224 evaluates the reliability of the superimposed image by using the frame movement amount composed of the parallel movement amount and the rotational movement amount calculated by the movement amount calculation unit 223. In this embodiment, the reliability evaluation result for the superimposed image is determined. The determined evaluation result is registered in the data holding unit 213 as the evaluation result 312.
  • the degree of coincidence with the other corresponding feature point is used. For example, if the degree of coincidence is high, the reliability is high and the evaluation result is “high”. If the degree of coincidence is low, the evaluation result is “low”.
  • the evaluation unit 224 calculates a position (projection position) after the feature point of the superimposed image is translated and rotated by the calculated frame movement amount.
  • the calculated projection position is registered in the data holding unit 213 as the projection coordinate value 316.
  • a distance between the corresponding feature point of the superimposed image is calculated.
  • the distance between the projected coordinate value 316 of the superimposed image and the projected coordinate value 316 of the superimposed image is calculated for each corresponding feature point.
  • the evaluation unit 224 calculates the feature points of the superimposed image moved by the frame movement amount and the corresponding feature points of the superimposed image. If the distance is larger than a predetermined threshold, the evaluation result is set to low reliability.
  • the feature point (ax2, ay2) of the superimposed image and the feature point (bx1, by1) of the superimposed image correspond to the feature. It is a point.
  • the evaluation result 312 indicates “low”. Is registered.
  • CL (DL ((x42 ⁇ x43) 2 + (y42 ⁇ y43) 2 ) 1/2 )
  • the feature point of the superimposed image is moved by the amount of movement of the frame to calculate the projection coordinates, and the distance to the corresponding feature point on the superimposed image side is calculated. Absent.
  • the feature points on the superimposed image side may be projected by the amount of frame movement and projected onto the frame coordinate system of the superimposed image to evaluate the reliability.
  • the evaluation method by the evaluation unit 224 is not limited to this.
  • the above equation (1) is a conversion equation for calculating the movement amount of the movement with 3 degrees of freedom.
  • the amount of movement is obtained using a conversion formula having a higher degree of freedom than the movement of degree of freedom 3, and whether the movement amount other than the parallel movement amount and the rotational movement amount is significant among the calculated movement amounts. Or may be used.
  • the frame movement amount includes a rotation movement amount and a two-dimensional parallel movement amount
  • the movement amount calculation unit 223 performs the rotation movement amount and the two-dimensional movement amount.
  • the frame movement amount is calculated using a conversion equation that further has a fourth degree of freedom other than the parallel movement amount, and the evaluation unit 224 determines that the change in the fourth degree of freedom is equal to or greater than a predetermined threshold value.
  • the evaluation result may be configured to have low reliability.
  • the Helmat conversion shown in Expression (2) is used as a conversion with a higher degree of freedom than a conversion with a degree of freedom of 3 shown in Expression (1).
  • the Helmat transform represented by Expression (2) is obtained by adding enlargement / reduction to the conversion represented by Expression (1). Therefore, the transformation matrix T can be expressed by the following equation (4).
  • R is an enlargement / reduction ratio. As R is closer to 1, it means that enlargement / reduction conversion has not occurred. Therefore, a threshold value is provided for this R to determine whether the reliability is high or low. For example, when R is 0.9 or more and 1.1 or less, it is evaluated that the reliability is high, and in other cases, it is evaluated that the reliability is low.
  • an affine transformation represented by a transformation matrix T shown in the following equation (5) may be used as a transformation having a degree of freedom higher than 3.
  • the affine transformation has 6 degrees of freedom, and shear deformation is added to rotational movement, parallel movement, and enlargement / reduction.
  • the image composition unit 225 synthesizes the superimposed image with the superimposed image, and generates a composite image to be displayed on the display device 140 according to the reliability evaluation result of the superimposed image.
  • a composite image when a composite image is generated, a superimposed image evaluated as having low reliability is made distinguishable from other superimposed images.
  • the image composition unit 225 synthesizes a superimposed image and a superimposed image on a virtually set coordinate system.
  • a composite coordinate system is used as a virtually set coordinate system.
  • the coordinates of each pixel of the superimposed image are converted according to the conversion matrix T of Expression (1) using the frame movement amount (parallel movement amount ( ⁇ x, ⁇ y) and rotational movement amount ⁇ ) obtained by the movement amount calculation unit 223. To do.
  • the superimposed image is synthesized with the superimposed image, and a synthesized image to be displayed on the display device 140 is generated.
  • each overlapped pixel is set to a pixel value of the superimposed image.
  • an image evaluated as having low reliability is generated so as to be displayed in a manner that can be distinguished from the display of other images.
  • the display color is changed. Note that when the reliability evaluation is performed in multiple stages, the display color may be changed in multiple stages.
  • the image composition unit 225 generates the composite image so that the display mode of the superimposed image differs according to the evaluation result, and the evaluation result It is reflected on the composite image and displayed on the display device 140.
  • the image synthesizing unit 225 sets the pixel value of the overlapping portion of the synthesized image and the superimposed image as the pixel value of the superimposed image.
  • FIG. 5A and FIG. 5B are examples of the composite image 400 that is generated by the image composition unit 225 of the present embodiment and displayed on the display device 140.
  • frames 411, 412, 413, and 414 are acquired in this order, as shown in FIG. 4, when frame 412 is a superimposed image, it is evaluated that the reliability is low, and other frames are evaluated that the reliability is high. It is an example.
  • Reference numeral 410 denotes an imaging target tissue.
  • the generated synthesized image 400 uses the pixel value of the superimposed image (here, 414) for the overlapping portion (for example, the overlapping portion 413a of the superimposed image and the superimposed image 414). . Further, the frame 412 evaluated as having low reliability is generated so as to be displayed in a manner different from other frames.
  • the image composition unit 225 updates the information in the superimposed image memory 212 by registering the composite image 400 as a superimposed image in the superimposed image memory 212.
  • the pixel value of the overlapping region may be an average value of the pixel value of the superimposed image and the pixel value of the superimposed image.
  • the edge can be made inconspicuous by performing the averaging process on the contour portion.
  • averaging process for example, a linear averaging process can be used.
  • a portion that is an outline portion and in which an image cannot exist in principle can be set to be displayed in the same color as the background.
  • a portion where an image cannot exist in principle is, for example, a region having a negative distance in the ultrasonic irradiation direction as seen from the probe.
  • the case where a composite image synthesized so far is used as the superimposed image has been described as an example, but the present invention is not limited to this.
  • an image to be superimposed an image of a frame acquired once before (an image superimposed once before) may be used.
  • step S1004 when the evaluation result by the evaluation unit 224 obtained in step S1004 is low in reliability, the process returns to step S1003, and the feature point selection and frame movement amount by the movement amount calculation unit 223 are performed. The calculation may be repeated again.
  • the minimum number of feature points is defined in advance, and the processing by the movement amount calculation unit 223 in step S1003 and step S1004 while the number is equal to or greater than the predetermined number and lower than the minimum value of the reliability evaluation result defined in advance.
  • the process by the evaluation unit 224 is repeated in a loop while selecting feature points.
  • the frame movement amount 313 and the evaluation result 312 of the data holding unit 213 may be temporarily stored for the evaluation process and the image composition process, respectively.
  • the ultrasonic diagnostic apparatus 100 includes the image combining unit 225 that combines a superimposed image with a superimposed image and generates a combined image, and the display device 140 that displays the combined image.
  • a movement amount calculation unit 223 that calculates a frame movement amount that is a movement amount of the superimposed image with respect to the superimposed image, and evaluates the reliability of the superimposed image based on the frame movement amount
  • an evaluation unit 224 The display device 140 may further display the evaluation result by the evaluation unit.
  • the ultrasonic diagnostic apparatus 100 of the present embodiment extracts a feature point from the superimposed image and stores the feature information extraction unit 221 and the feature point of the superimposed image.
  • a feature point correspondence unit 222 that associates with a feature point of the superimposed image, and the movement amount calculation unit 223 may be configured to calculate the frame movement amount using the associated feature point. .
  • the image evaluation display method includes an image combining unit 225 that combines a superimposed image with a superimposed image and generates a combined image, and a display device 140 that displays the combined image.
  • a method for evaluating and displaying a superimposed image based on the moving amount calculating step for calculating a moving amount of a frame that is a moving amount of the superimposed image with respect to the superimposed image, and evaluating the reliability of the superimposed image based on the moving amount of the frame An evaluation step; and a display step of displaying an evaluation result by the evaluation unit on the display device.
  • the program included in the medical image processing apparatus 200 of the present embodiment calculates a frame movement amount that is a movement amount of the superimposed image acquired by the ultrasonic diagnostic apparatus with respect to the superimposed image that is to be combined with the superimposed image. It is made to function as movement amount calculation means, evaluation means for evaluating the reliability of the superimposed image based on the frame movement amount, and display data generation means for generating display data reflecting the evaluation result by the evaluation means.
  • the reliability at the time of acquisition is evaluated, and a composite image reflecting the evaluation result is generated and displayed on the display device 140. Therefore, the user can easily determine which region of the composite image has low accuracy at the time of acquisition. Therefore, according to the present embodiment, when a user finds a diagnostically suspicious image in the obtained composite image, it is because the composite reliability is insufficient or actually a diagnostic problem arises. It becomes easy to judge whether an abnormality has occurred.
  • the reliability of the composite image can be determined at the timing when the composite image is displayed, the user operates the probe 120 while grasping in real time whether the image has sufficient reliability. it can.
  • the degree of user dependence of the ultrasonic diagnostic apparatus can be suppressed, and the ultrasonic diagnostic apparatus can be made a more general-purpose diagnostic tool.
  • the operator when the operator re-images the same part with the probe 120, when the reliability evaluation result of the image of the part changes, the operator can visually grasp it. .
  • Second Embodiment a second embodiment to which the present invention is applied will be described.
  • a synthesized image is generated so that a superimposed image with low reliability is displayed in a manner different from other images, and a superimposed image with low reliability can be easily distinguished from the synthesized image.
  • the contribution rate of the superimposed image with low reliability is reduced in the composite image.
  • FIG. 6 is a functional configuration diagram of the ultrasonic diagnostic apparatus 100a of the present embodiment.
  • the ultrasonic diagnostic apparatus 100a of the present embodiment is similar to the ultrasonic diagnostic apparatus 100 of the first embodiment in that an ultrasonic image acquisition unit 110 that acquires images and a medical image processing apparatus 200a.
  • the ultrasonic image acquisition unit 110 of the present embodiment has basically the same configuration as the ultrasonic image acquisition unit 110 of the first embodiment.
  • the medical image processing apparatus 200a of the present embodiment basically has the same configuration as the medical image processing apparatus 200 of the first embodiment. However, in the present embodiment, the display images generated by the image composition unit 225a are different. Hereinafter, the present embodiment will be described with a focus on a configuration different from the first embodiment.
  • the medical image processing apparatus 200a of the present embodiment includes a superimposed image memory 211, a superimposed image memory 212, a feature information extraction unit 221, a feature point correspondence unit 222, and a data holding unit 213. , A movement amount calculation unit 223, an evaluation unit 224, and an image composition unit 225a.
  • the overall flow of the composite image generation process of this embodiment is the same as that of the first embodiment shown in FIG. Further, the processes by the feature information extraction unit 221, the feature point correspondence unit 222, the movement amount calculation unit 223, and the evaluation unit 224 are the same as those in the first embodiment.
  • the data held in the superimposed image memory 211, the superimposed image memory 212, and the data holding unit 213 are also the same as in the first embodiment.
  • the image composition unit 225a of the present embodiment When the superimposed image is combined with the superimposed image, the image combining unit 225a of the present embodiment generates a combined image to be displayed on the display device 140 according to the reliability evaluation result of the superimposed image. At this time, in this embodiment, the evaluation result is used to calculate the pixel value of each pixel in the overlapping region.
  • the image composition unit 225a of the present embodiment obtains the pixel value of each pixel in the overlapping region by weighting according to the reliability evaluation result of the superimposed image and calculating the average value.
  • the coefficients used as the weight are, for example, two stages of reliability evaluation results of “high” and “low”.
  • the coefficient used for the pixel value of the superimposed image is a
  • the coefficient used for the pixel value of the superimposed image is b
  • the image composition unit 225a calculates the pixel value of the overlapping portion of the composite image and the superimposed image, the pixel value of the superimposed image, and the The composite image is generated as a weighted average value obtained by weighting each pixel value of the superimposed image according to the evaluation result, and the evaluation result is reflected in the composite image and displayed on the display device 140.
  • the image composition unit 225a may set the weight assigned to the pixel value of the superimposed image to 0.
  • FIG. 7A and 7B show examples of composite images of the present embodiment.
  • FIG. 7A illustrates an example in which the reliability evaluation result of the superimposed image 422 with respect to the superimposed image 421 is “high”.
  • the pixel value of the pixel of the overlapping portion 421a is a weighted average value in which the weight for the pixel value of the superimposed image 421 and the weight for the pixel value of the superimposed image 422 are the same, that is, the pixel value of the superimposed image 421.
  • FIG. 7B illustrates an example in which the reliability evaluation result of the superimposed image 422 with respect to the superimposed image 421 is “low”.
  • the pixel value of the pixel of the overlapping portion 421a is an average value obtained by multiplying the pixel value of the superimposed image 421 by the weight a and multiplying the pixel value of the superimposed image by the weight b.
  • FIG. 7B illustrates a case where the weighting coefficient applied to the pixel value of the superimposed image 422 is set to 0.
  • the pixel value of the pixel of the overlapping portion 421a is the pixel value of the superimposed image 421.
  • the image composition unit 225a of the present embodiment also updates the information in the superimposed image memory 212 by registering the composite image in the superimposed image memory 212 as a superimposed image after generating the composite image.
  • the present invention is not limited to this.
  • the image of the frame acquired once before as the superimposed image (superimposed image before one time) May be used.
  • the display mode may be changed according to the reliability of the superimposed image as in the first embodiment.
  • a composite image reflecting the reliability evaluation result at the time of acquisition is generated and displayed on the display device 140 as in the first embodiment.
  • the contribution rate of the low-reliability frame (superimposed image) to the composite image is lowered.
  • the synthesized image obtained is less influenced by frames with low reliability. Therefore, according to the present embodiment, since the reliability in synthesis is insufficient, the probability of finding a diagnostically suspicious image in the composite image is reduced, and a composite image useful for diagnosis can be provided to the user.
  • the operator dependency of the ultrasonic diagnostic apparatus can be reduced, and the ultrasonic diagnostic apparatus can be made a more general-purpose diagnostic tool.
  • FIG. 8 is a functional configuration diagram of the ultrasonic diagnostic apparatus 100b of the present embodiment.
  • the ultrasonic diagnostic apparatus 100b of the present embodiment is similar to the ultrasonic diagnostic apparatus 100 of the first embodiment in that an ultrasonic image acquisition unit 110 that acquires images and a medical image processing apparatus 200b.
  • the ultrasonic image acquisition unit 110 of the present embodiment has basically the same configuration as the ultrasonic image acquisition unit 110 of the first embodiment.
  • the medical image processing apparatus 200b of this embodiment basically has the same configuration as the medical image processing apparatus 200 of the first embodiment.
  • the present embodiment further includes a reliability display generation unit 226 in addition to the configuration of the medical image processing apparatus 200 of the first embodiment.
  • the present embodiment will be described with a focus on a configuration different from the first embodiment.
  • the overall flow of the composite image generation process of this embodiment is the same as that of the first embodiment shown in FIG.
  • each process by the feature information extraction unit 221, the feature point correspondence unit 222, the data holding unit 213, the movement amount calculation unit 223, the evaluation unit 224, and the image composition unit 225 is also performed in the first embodiment. It is the same.
  • the reliability display generation unit 226 generates a reliability display for displaying the reliability evaluation result of each frame constituting the composite image and displays the reliability display on the display device 140.
  • the reliability display is generated when the evaluation unit 224 evaluates the reliability of the superimposed image and the image composition unit 225 generates a composite image.
  • the reliability display is, for example, a display in which a change in the reliability evaluation result can be seen in the superimposed direction of the composite image.
  • the ultrasonic diagnostic apparatus 100 further includes a reliability display generation unit 226 that generates a reliability display indicating the evaluation result, and the evaluation result is displayed on the display device by the reliability display. Is done.
  • FIG. 9 shows an example of the reliability display generated by the reliability display generation unit 226 of the present embodiment.
  • a reliability display for example, as a reliability display, a fan-shaped scale display along the shape of the composite image 400 is generated on the display screen 141 of the display device 140 and displayed as the reliability display 500.
  • a reliability display 500 that is a scale display indicates information representing the reliability of the superimposed image (frame) at the corresponding position of the composite image 400.
  • the display of the position 510 corresponding to the superimposed image (frame) 431 evaluated as having low reliability is different from the others, for example, by changing the display color.
  • the image composition unit 225 generates a composite image in which the display mode of the superimposed image that is determined to be low in reliability is different from the other, as in the first embodiment. Not limited to this. In the present embodiment, since the reliability display is displayed together with the composite image, the image may be combined to generate a composite image regardless of the reliability. As in the second embodiment, the image composition unit 225 may set the pixel value of the overlapping portion as an average value in which the pixel value is weighted according to the reliability.
  • the reliability display indicating the reliability of each superimposed image (frame) constituting the composite image is displayed together with the composite image. Therefore, the user can easily determine which region of the composite image has low accuracy at the time of acquisition. Therefore, according to the present embodiment, when a user finds a diagnostically suspicious image in the obtained composite image, it is because the composite reliability is insufficient or actually a diagnostic problem arises. It becomes easy to judge whether an abnormality has occurred.
  • the user can operate the probe 120 while grasping in real time whether an image with sufficient reliability has been acquired.
  • FIG. 10 is a functional configuration diagram of the ultrasonic diagnostic apparatus 100c of the present embodiment.
  • the ultrasonic diagnostic apparatus 100c of the present embodiment is similar to the ultrasonic diagnostic apparatus 100 of the first embodiment in that an ultrasonic image acquisition unit 110 that acquires images and a medical image processing apparatus 200c.
  • the ultrasonic image acquisition unit 110 of the present embodiment has basically the same configuration as the ultrasonic image acquisition unit 110 of the first embodiment.
  • the medical image processing apparatus 200c of the present embodiment basically has the same configuration as the medical image processing apparatus 200 of the first embodiment. However, the medical image processing apparatus 200c of this embodiment further includes a mode control unit 227 and a determination unit 228.
  • the present embodiment will be described focusing on the configuration different from the first embodiment.
  • the medical image processing apparatus 200c of the present embodiment has two types of processing modes.
  • the two processing modes are a real-time mode and a recovery mode.
  • the real-time mode is a process for synthesizing an image (superimposed image) acquired by the ultrasonic image acquisition unit 110 in real time to generate a composite image.
  • the re-recovery mode is a process for re-recovering the already created composite image from a desired area.
  • the mode control unit 227 receives a selection from the user as to whether the processing is in the real-time mode or the processing in the recovery mode. The selection is accepted via the selection means.
  • the selection unit may be included in an operation unit included in the medical image processing apparatus 200c.
  • the mode control unit 227 may be a selection button displayed on the display device 140.
  • the mode control unit 227 updates and generates a composite image every time a superimposed image is received, and displays it on the display device 140 in the same procedure as in the first embodiment.
  • Each unit of the medical image processing apparatus 200c is controlled so as to perform processing.
  • the mode control unit 227 controls each unit to perform a re-take-up process described later.
  • the discriminating unit 228 discriminates whether or not the position of the probe 120 is appropriate according to the correlation result by the feature point corresponding unit 222 when the re-taking mode is selected. In order to determine suitability, the suitability of the shooting position of the superimposed image is determined based on the degree of matching of the superimposed image with the composite image. In the present embodiment, when the feature points extracted from the superimposed image match a predetermined number or more of feature points held in the data holding unit 213, it is determined as appropriate. Otherwise, it is determined as inappropriate.
  • the suitability of the position of the probe 120 may be determined not by the number of corresponding feature points but by the ratio of the corresponding feature points. That is, when the ratio of the feature points of the superimposed image that matches the feature points held in the data holding unit 213 is equal to or greater than a predetermined value, it may be determined that the feature points are appropriate.
  • the determination unit 228 determines that it is appropriate, the determination unit 228 notifies that it is appropriate, and shifts to shooting in the real-time mode. On the other hand, when it is determined that the probe 120 is inappropriate, a notification that the position of the probe 120 is inappropriate is given. Note that notification is not necessary if appropriate.
  • the ultrasonic diagnostic apparatus 100 includes a mode control unit 227 that accepts a selection of a recapture mode, and a determination unit 228 that determines the suitability of the imaging position of the superimposed image when the recapture mode is selected. In addition, if the determination unit 228 determines that the information is inappropriate, the determination unit 228 notifies the user that the information is inappropriate.
  • the notification of inappropriateness is performed, for example, by displaying a message on the display device 140 or emitting a predetermined voice.
  • the notification of appropriateness can identify, for example, the position corresponding to the superimposed image acquired at the position of the probe 120 arranged by the user on the composite image displayed on the display device 140 from the others. And so on. For example, the display is highlighted. In the present embodiment, for example, an area corresponding to a frame having the largest number of matching feature points among the feature points for each frame held in the data holding unit 213 in the composite image is highlighted.
  • FIG. 11 is a processing flow of the re-taking process according to the present embodiment.
  • the mode control unit 227 displays a composite image to be replayed on the display device 140.
  • the user may be able to select them.
  • you may comprise so that the synthesized image acquired immediately before may be displayed.
  • the mode control unit 227 Upon receiving an image of one frame (Fr) (step S4101), the mode control unit 227 stores the image in the superimposed image memory 211 (step S4102). Then, the feature information extraction unit 221 extracts feature points from the superimposed image stored in the superimposed image memory 211, and calculates an image feature amount of each feature point (step S4103).
  • the feature point extraction processing and the image feature amount calculation processing by the feature information extraction unit 221 are the same as those in the first embodiment.
  • the feature point correspondence unit 222 associates the extracted feature points with the feature points of the superimposed image stored in the data holding unit 213 (step S4104).
  • the association method is the same as in the first embodiment.
  • the determination unit 228 determines whether or not the position of the probe 120 is appropriate as a result of the association of the feature point correspondence unit 222 (step S4105).
  • the determination method is as described above.
  • step S4105 the determination unit 228 notifies the user that the determination result is appropriate (step S4106).
  • step S4106 the position of the corresponding frame of the composite image displayed on the display device 140 is highlighted.
  • step S4107 the data in the data holding unit 213 is saved or deleted as necessary (step S4107), the re-recovery mode process is terminated, and the real-time mode is entered.
  • the mode control unit 227 shifts to the real-time mode, and thereafter performs the composite image generation process of the first embodiment using the superimposed image (step S4108) every time a superimposed image (1Fr image) is received. (Step S4109).
  • step S4105 determines whether the determination result in step S4105 is inappropriate. If the determination result in step S4105 is inappropriate, the determination unit 228 notifies the user that it is inappropriate (step S4110). The user sees the notification, moves the position of the probe 120 (step S4101), and continues to acquire the ultrasonic image (superimposed image; frame). When the next frame (superimposed image) is acquired, the re-recovery mode process after step S4102 is repeated.
  • the mode control unit 227 moves to the movement amount calculation unit 223 for the superimposed image acquired thereafter.
  • the amount is calculated, the evaluation unit 224 evaluates the reliability, and the image composition unit 225 generates a composite image.
  • the said determination part 228 displays the position corresponding to the said superimposition image of the said to-be-superimposed image so that identification is possible, when it determines with appropriate.
  • the other feature information extraction unit 221, feature point correspondence unit 222, movement amount calculation unit 223, evaluation unit 224, image composition unit 225 functions, superimposed image memory 211, superimposed image memory 212, and data holding unit 213
  • the retained data is the same as in the first embodiment.
  • the data holding unit 213 is configured to register all extracted feature points and respective image feature amounts for each superimposed image (frame) as in the first embodiment, but is not limited thereto.
  • a local feature used when extracting feature points may be configured to register a super feature point and only its image feature amount with a feature point equal to or greater than a preset threshold as a super feature point.
  • the image composition unit 225 may have the configuration of the second embodiment. Further, as in the third embodiment, a reliability display generation unit 226 may be provided.
  • the present embodiment as in the first embodiment, every time an image is acquired, the reliability at the time of acquisition is evaluated, a composite image reflecting the evaluation result is generated, and the display device 140. Therefore, the user can easily determine which region of the composite image has low accuracy at the time of acquisition. Therefore, according to the present embodiment, when a user finds a diagnostically suspicious image in the obtained composite image, it is because the composite reliability is insufficient or actually a diagnostic problem arises. It becomes easy to judge whether an abnormality has occurred.
  • the reliability of the composite image can be determined at the timing when the composite image is displayed, the user operates the probe 120 while grasping in real time whether the image has sufficient reliability. it can.
  • the probe 120 when the user selects the re-take mode, it is possible to easily grasp the suitability of the position of the probe 120 arranged by the user. If appropriate, the position of the image acquired at the position on the composite image to be recaptured can be easily grasped. Therefore, the probe 120 can be arranged at a position where it is desired to easily retake, and retake can be performed from there.
  • the medical image processing apparatus is described as an apparatus independent of the ultrasonic image acquisition unit 110, but is not limited thereto.
  • the processing unit that implements the image forming unit 130 in the ultrasonic image acquisition unit 110 may be configured to implement each function of the medical image processing apparatus.
  • the processing unit includes a CPU, a memory, and a storage device. The CPU loads the program stored in the storage device into the memory and executes the program, thereby realizing the function of each unit.
  • the processing target image of the medical image processing apparatus is an ultrasonic image acquired by the ultrasonic image acquisition unit 110
  • the processing target image is an ultrasonic image.
  • a scale is not changed during shooting, a perspective change does not occur, a plurality of continuous frames having characteristics such as no distortion and enlargement / reduction are combined, and a display image is generated.
  • Various images can be set as the processing target images.
  • the present invention is applied to an ultrasonic diagnostic apparatus and has been described.
  • the present invention is also applicable to a medical image processing apparatus that synthesizes images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

医用画像のパノラマ化（合成）技術であって、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成する。重畳画像を合成して合成画像を生成する際、合成に用いる情報を用いて重畳画像の信頼性を評価する。そして、評価結果をユーザに提示する。評価に用いる情報は、被重畳画像に対する重畳画像の移動量とする。なお、評価結果は、合成画像に反映してユーザに提示してもよい。具体的には、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部と、を備えることを特徴とする超音波診断装置を提供する。なお、前記表示装置は、前記評価部による評価結果をさらに表示してもよい。

Description

超音波診断装置および画像評価表示方法
　本発明は、計測、診断等に用いられる医用画像を複数組み合わせてパノラマ画像を生成・表示する技術に関する。
　超音波診断装置は、Ｘ線ＣＴあるいはＭＲＩといった他の装置に比べ、侵襲度が低く、装置が小型で持ち運びができ、リアルタイムで画像が得られる、といった特長を有する。このような特長は、術者が探触子と呼ばれる超音波送受信器を撮像対象の着目部位に押し当て、その部位の情報のみを得るという超音波診断装置の仕組みに負う所が大きい。逆に、超音波診断装置は、このような仕組みを有するため、一度に大きい領域の情報が得られない。
　熟達した術者であれば、探触子を押し当てる部位を移動させつつ撮像を行うことで、頭の中で仮想的に連続した大きい領域の画像を構築できる。しかしながら、頭の中で仮想的に構築した画像は、第三者との共有ができないため、客観性が低く、患者への説明にも用いにくい。
　これらを、現状の装置に大きな変更を加えずに解決する方法のひとつとして、術者が探触子を体表に押し当てた状態で連続的に撮像部位を移動させて得た画像を合成して表示するパノラマ化がある。一般のカメラ撮影で用いられるパノラマ化と概念的にはほぼ同じである。
　この技術により、例えば腕を上腕から下腕までといった広い範囲を同一画像で観察することが可能となる。パノラマ化により得た画像（パノラマ画像；以下、合成画像と呼ぶ。）は、これまで術者が頭の中で構成していた人体の構造を客観的に提示することを可能とするものである。
　パノラマ化には、時間的に連続するフレーム同士で、特徴的な点あるいは領域の移動に関する計算を行い、それらの位置合わせ（レジストレーション）を行った上で重畳するという手法が用いられる。ここで、フレーム間の平行移動量を特定領域の投影分布の一次元相関間より求める技術がある（例えば、特許文献１参照。）。なお、特許文献１においては、フレーム間の回転移動量は、各フレームを複数の領域に分割し、領域ごとに平行移動量を求め、領域間の平行移動量の差に基づき算出する。
特開２０００－２１７８１５号公報
　特許文献１の技術を用いることにより、リアルタイムで画像のパノラマ化を行い、ユーザは合成画像を得ることができる。ここで、パノラマ化には複数の部位の診断画像が必要であるが、それらは異なる時刻に取得されたものである。人体はその生命維持の活動を行う上で常に動いており、異なる時刻に異なる部位の画像を得た場合、その体動の影響を受けることになる。従って、パノラマ化に用いられる画像は、撮影された条件によって、精度良く合成される場合と精度が低い状態で合成されてしまう場合とが混在することになる。
　しかしながら、従来のパノラマ化技術では、ユーザは合成画像において通常と異なる所見を得た場合、それがパノラマ化の際の精度に起因するのか、もしくは実際に疾病などの医学上の理由によるものかの判断を行うことが困難であった。
　本発明は、上記事情に鑑みてなされたもので、医用画像のパノラマ化（合成）技術であって、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成する技術を提供することを目的とする。
　本発明は、重畳画像を合成して合成画像を生成する際、合成に用いる情報を用いて重畳画像の信頼性を評価する。そして、評価結果をユーザに提示する。評価に用いる情報は、被重畳画像に対する重畳画像の変位量（以下、移動量）とする。なお、評価結果は、合成画像に反映してユーザに提示してもよい。
　具体的には、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部と、を備えることを特徴とする超音波診断装置を提供する。なお、前記表示装置は、前記評価部による評価結果をさらに表示してもよい。
　また、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置における画像評価表示方法であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出ステップと、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価ステップと、前記評価部による評価結果を、前記表示装置に表示する表示ステップと、を備えることを特徴とする画像評価表示方法を提供する。
　さらに、コンピュータを、音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段と、前記評価手段による評価結果を反映した表示データを生成する表示データ生成手段として機能させるためのプログラムを提供する。
　本発明によれば、医用画像のパノラマ化（合成）技術において、ユーザの熟練度への依存が少なく、かつ、診断に有用な合成画像を生成できる。
第一の実施形態の超音波診断装置の機能構成図である。 第一の実施形態の合成画像生成処理のフローチャートである。 第一の実施形態の特徴情報抽出処理のフローチャートである。 第一の実施形態のデータ保持部に登録されるデータを説明するための説明図である。 （ａ）および（ｂ）は、第一の実施形態の合成画像を説明するための説明図である。 第二の実施形態の超音波診断装置の機能構成図である。 （ａ）および（ｂ）は、第二の実施形態の合成画像を説明するための説明図である。 第三の実施形態の超音波診断装置の機能構成図である。 第三の実施形態の信頼性表示を説明するための説明図である。 第四の実施形態の超音波診断装置の機能構成図である。 第四の実施形態の取り直し処理のフローチャートである。
　＜＜第一の実施形態＞＞
　以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一名称および同一符号を付したものの中で同一の機能を有するものは、その繰り返しの説明は省略する。
　本実施形態の超音波診断装置を、図１を用いて説明する。本実施形態の超音波診断装置１００は、画像を取得する超音波画像取得部１１０と、超音波画像取得部１１０で取得した画像(超音波画像）を合成し、パノラマ画像（以後、単に合成画像と呼ぶ。）を生成する医用画像処理装置２００と、を備える。なお、医用画像処理装置２００には、生成した合成画像を表示する表示装置１４０が接続される。
　超音波画像取得部１１０は、被検体１０１との間で超音波を送受信する超音波撮像探触子（以下、探触子と呼ぶ。）１２０と、探触子１２０を制御して超音波を被検体１０１に放射させるとともに、探触子１２０を介して得たエコー信号を用いて被験体内の構造を画像化する画像形成部１３０とを備える。撮像開始の指示を受け、画像形成部１３０は、超音波の出力を開始し、得られたエコー信号から画像を形成する。得られた画像は、医用画像処理装置２００へ送られる。
　撮像時、探触子１２０は、音響ゼリーを介して撮像対象１０１に密着させる。探触子１２０を被検体１０１の体表に沿って動かすことにより、走査範囲（画像取得範囲）が移動する。移動の方向は、取得される画像の主平面方向とする。これに応じて画像形成部１３０は、その時点の探触子１２０の走査範囲に応じて画像を形成し、出力する。所定のタイミング毎に探触子１２０を介して得たエコー信号を用いて生成され、医用画像処理装置２００へ送られる各画像をフレームと呼ぶ。なお、各フレームは、被検体の異なる位置の画像とする。但し、隣接するフレーム間では、画像取得範囲の一部が重なるものとする。
　なお、本実施形態では、医用画像処理装置２００において、超音波画像取得部１１０から連続的に送られるフレームを重ね合わせて合成し、合成画像を生成する。この際、送られてきたフレーム（重畳画像）上の注目領域の中心位置の、合成対象の画像（被重畳画像）上の注目領域の中心位置からの移動量（フレーム移動量）を算出する。以下、本明細書では、超音波画像取得部１１０から新たに送られてきたフレームを重畳画像と呼び、超音波画像取得部１１０から以前に送られてきたフレームであって、当該重畳画像と合成する対象の画像を被重畳画像と呼ぶ。すなわち、重畳画像は、被重畳画像に重畳（合成）する画像であり、また、被重畳画像は、重畳画像に重畳（合成）される画像である。また、重畳画像上の注目領域の中心位置の、被重畳画像上の注目領域の中心位置からの移動量を、単に、重畳画像の、被重畳画像に対する移動量と呼ぶ。
　探触子１２０の移動方向の移動距離に対応してフレーム間で位置がずれる。また、被検体の体表の曲率に応じて画像間に回転ずれが生じる。従って、本実施形態では、フレーム移動量は２次元の平行移動による移動量と回転による移動量とから構成される。なお、以下、本明細書では、２次元の平行移動による移動量を平行移動量、回転による移動量を回転移動量と呼ぶ。本実施形態では、このフレーム移動量の算出に、両フレームに共通する領域の特徴点（キーポイント）を用いる。従って、重畳画像と、被重畳画像との間に、共通する領域が存するよう、探触子１２０の移動速度、または、１フレームの画像を生成するために要する時間に制約を設けてもよい。例えば、ひとつのフレームを生成する時間を基準とし、探触子１２０の移動速度をフレーム生成時間の１／４に制限するなどの設定を行う。
　医用画像処理装置２００は、送られてくる各フレームを合成して合成画像を生成し、表示装置１４０に表示する。本実施形態では、合成画像上で重畳画像が被重畳画像に適切に重畳されているかどうかを信頼性の高低として評価し、評価結果を合成画像とともに表示装置１４０に表示する。本実施形態の医用画像処理装置２００における合成画像の生成および信頼性の評価の手法の概略は以下のとおりである。
　まず、重畳画像において特徴点を抽出するとともに各特徴点の画像特徴量を算出する。そして、被重畳画像との間で画像特徴量が最も近い特徴点同士を対応付ける。対応付けられた特徴点同士を、撮影範囲内の同一の点であるとし、両者の画素位置の移動量から、画像上での回転移動量および平行移動量を算出し、重畳画像上の注目領域の中心位置の被重畳画像上の注目領域の中心位置からの移動量、すなわち、フレーム移動量を算出する。フレーム移動量を用い、重畳画像と被重畳画像との間の位置合わせを行い、重畳画像を被重畳画像に重畳し、合成画像を生成する。
　また、本実施形態では、フレーム移動量と特徴点とを用い、重畳画像の、被重畳画像に対する信頼性を評価する。まず、算出したフレーム移動量を重畳画像の各特徴点に適用して被重畳画像に投影する。そして、投影した特徴点と被重畳画像内の対応する特徴点との距離を指標として信頼性を評価する。なお、フレームに存在する特徴点の座標の分布を指標とすることもできる。分布を指標とする場合は、例えば、特徴点が画像中心よりも下のみにある場合あるいは上のみにある場合は信頼性が低いと評価するよう設定する。
　このような処理を実現するため、本実施形態の医用画像処理装置２００は、図１に示すように、超音波画像取得部１１０から所定の時間毎に送信されるフレーム（重畳画像）を格納する重畳画像メモリ２１１と、被重畳画像を格納する被重畳画像メモリ２１２と、各種データを保持するデータ保持部２１３と、重畳画像を取得する毎に、当該重畳画像から特徴点を抽出してデータ保持部２１３に記憶する特徴情報抽出部２２１と、重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部２２２と、被重畳画像に対する重畳画像の移動量であるフレーム移動量を算出する移動量算出部２２３と、フレーム移動量に基づいて重畳画像の信頼性を評価する評価部２２４と、重畳画像と被重畳画像とを合成して合成画像を生成する画像合成部２２５とを備える。また、本実施形態の特徴情報抽出部２２１は、さらに、重畳画像から、抽出した特徴点毎に、各特徴点を特徴付ける特徴量を算出し、データ保持部２１３に記憶する。なお、移動量算出部２２３は、フレーム移動量を、対応付けられた特徴点を用いて算出する。
　これらの各機能による、医用画像処理装置２００における、合成画像生成処理の流れを説明する。図２は、本実施形態の合成画像生成処理の処理フローである。以下の処理は、超音波画像取得部１１０から重畳画像が送られ、重畳画像メモリ２１１に格納される毎に実行される。
　特徴情報抽出部２２１は、重畳画像メモリ２１１に格納された画像（重畳画像）から、キーポイントとなる画素（特徴点）を抽出し、各特徴点の画像特徴量を算出する（ステップＳ１１０１）。抽出した特徴点および画像特徴量は、データ保持部２１３に登録する。次に、特徴点対応部２２２は、抽出した特徴点とデータ保持部２１３に格納された被重畳画像の特徴点とを対応づける（ステップＳ１１０２）。対応づけた結果も、データ保持部２１３に登録する。移動量算出部２２３は、対応づけた各特徴点を用い、フレーム移動量を算出する（ステップＳ１１０３）。ここで、算出するフレーム移動量は、平行移動量と回転移動量とする。また、算出したフレーム移動量もデータ保持部２１３に登録する。評価部２２４は、算出したフレーム移動量を用いて、重畳画像の、直前のフレームに対する信頼性を評価する（ステップＳ１１０４）。そして、画像合成部２２５は、フレーム移動量を用い、評価結果に応じて重畳画像を被重畳画像に合成し、合成画像を得（ステップＳ１１０５）、表示装置１４０に表示する（ステップＳ１１０６）。そして、画像合成部２２５は、被重畳画像メモリ２１２の被重畳画像を、合成後の合成画像に更新する（ステップＳ１１０７）。
　医用画像処理装置２００は、ＣＰＵとメモリと記憶装置とを備える。上記各機能は、記憶装置に予め記憶されるプログラムを、ＣＰＵが、メモリにロードして実行することにより実現される。また、重畳画像メモリ２１１、被重畳画像メモリ２１２、およびデータ保持部２１３は、医用画像処理装置２００の記憶装置上に構築される。以下、各処理の詳細を説明する。
　まず、特徴情報抽出部２２１による特徴情報抽出処理ついて説明する。本実施形態の特徴点は、画像処理でいうところの局所特徴量の大きい点であり、本実施形態では、エッジおよびコーナーの少なくとも一方とする。特徴情報抽出部２２１は、抽出した各特徴点の画像特徴量を算出する。図３は、本実施形態の特徴情報抽出処理の処理フローである。
　まず、特徴情報抽出部２２１は、処理対象の重畳画像からノイズ等を除去するため、当該重畳画像に対し、前処理を行う（ステップＳ１２０１）。前処理としては、メディアンフィルタ、移動平均フィルタ、あるいはガウスフィルタ等の平均化フィルタが好ましいが、特に制限はない。
　次に、特徴情報抽出部２２１は、重畳画像の中の、特徴点として、エッジまたはコーナーの画素を検出する（ステップＳ１２０２）。例えば、エッジ検出には、キャニー法、ゾルベ法等を、コーナー検出には、Ｈａｒｒｉｓ／Ｐｌｅｓｓｅｙ法、ＫＬＴ法等を用いることができる。エッジ検出およびコーナー検出に用いる手法は、二次元画像あるいは三次元画像に適用可能な手法であればよく、とくに制限はない。本実施形態の特徴情報抽出部２２１は、検出された画素を、特徴点として抽出する。本実施形態では、検出された画素の、画素位置を抽出する。画素位置は、各重畳画像上の、予め定めた座標系（フレーム座標系）の座標値とする。
　次に、画像特徴量算出の準備処理として、特徴情報抽出部２２１は、特徴点として検出された画素について、当該画素に隣接する各画素との差分を、それぞれ、計算する（ステップＳ１２０３）。隣接する各画素との差分は輝度値、輝度値の微分値あるいは高次の微分値など画素間の輝度値の相違に関するものを用いて算出する。差分を算出する画素値の種類は、特に制限はない。
　そして、計算した差分値が最も大きい方向を主軸と決定する（ステップＳ１２０４）。決定した主軸を原点とし、時計回りに隣接する各画素との差分を並べたベクトル値を得、画像特徴量とする（ステップＳ１２０５）。特徴情報抽出部２２１は、抽出した特徴点のフレーム座標系の座標およびそれぞれの画像特徴量を、重畳画像を特定する情報に対応づけて、データ保持部２１３に登録する（ステップＳ１２０６）。
　このように、本実施形態の超音波診断装置１００では、前記特徴情報抽出部２２１は、前記特徴点毎に、当該特徴点を特徴づける画像特徴量を算出し、前記特徴点は、前記重畳画像の中のエッジに該当する画素およびコーナーに該当する画素の少なくとも一方とし、前記画像特徴量は、前記各特徴点の、全隣接画素それぞれとの差分値からなり、前記特徴点対応部２２２は、前記画像特徴量が合致する特徴点を、対応する特徴点とする。
　なお、各特徴点の画像特徴量として、差分の絶対値を並べたベクトル値を用いてもよい。また、各ベクトル内の相対的な値としてもよい。各ベクトル内の相対的な値とは、各ベクトルを構成する差分値の中で基準となる値を特定し、基準となる値との差のことである。また、画像特徴量として、隣接する各画素の画素値との差分ではなく、差分の頻度情報を用いてもよい。また、特徴点の検出には、一般的なスケール不変特徴点検出法を用いてもよい。スケール不変特徴点検出法としては、例えばＳＵＲＦ法、ＨＯＧ法を用いることができるが、二次元画像あるいは三次元画像に適用可能な手法であればとくに制限はない。
　ここで、本実施形態のデータ保持部２１３が保持する情報（データ）３００を説明する。図４は、本実施形態のデータ保持部２１３に登録されるデータ３００例を説明するための説明図である。本図に示すように、本実施形態のデータ保持部２１３には、各重畳画像を特定する情報であるフレーム情報３１１と、当該フレームの信頼性の評価結果３１２と、当該フレームの移動量（フレーム移動量）３１３と、抽出した特徴点・画像特徴量３１４と、各特徴点３１４の対応付け３１５と、各特徴点３１４のフレーム移動量適用後の座標値である投影座標値３１６と、が登録される。これらの情報３００は、フレーム毎に登録される。ここでは、一例として、重畳画像として取得される順に、４１１、４１２、４１３、４１４の４つのフレームの情報３００が登録されている場合を例示する。
　フレーム情報３１１は、重畳画像を取得する毎に、一意に付与され、登録される。評価結果３１２は、評価部２２４による、当該重畳画像の信頼性の評価結果である。フレーム移動量３１３は、移動量算出部２２３が算出したフレーム移動量である。特徴点・画像特徴量３１４は、特徴情報抽出部２２１が抽出した特徴点の、フレーム座標系の座標と、各特徴点の画像特徴量である。対応付け３１５は、特徴点対応部２２２による抽出した重畳画像の特徴点と、被重畳画像の特徴点との対応結果である。本実施形態では、対応する特徴点には、同じ識別子を登録する場合を例示する。対応付け結果の登録手法は、これに限られない。投影座標値３１６は、対応付けられた特徴点に対し、フレーム移動量を適用後の座標である。ここでは、予め定めた、被重畳画像の座標系（合成座標系）を用いる。
　このように、本実施形態の超音波診断装置１００では、特徴情報抽出部２２１が抽出した特徴点を、抽出元の重畳画像に対応づけて登録するデータ保持部２１３を備え、評価部２２４は、前記評価結果を前記データ保持部２１３に登録し、移動量算出部２２３は、算出した前記フレーム移動量を前記データ保持部２１３に登録する。
　次に、特徴点対応部２２２による特徴点の対応付け処理について説明する。異なる画像の特徴点は、それぞれ独立に抽出されたものである。例えば、重畳画像と被重畳画像との間の、探触子１２０による撮像範囲の変化を加味して求められたものではない。従って、異なる画像内の特徴点で、同じであると考えられるものを一対一に対応づけする必要がある。
　対応付けの方法は、例えば、重畳画像から算出された全ての特徴点と、被重畳画像から算出された全ての特徴点とを対応付ける全ての組み合わせについて、それぞれ、画像特徴量間のユークリッド空間上での差分を計算する。そして、得られた差分の合計が、最も小さい組合せに従って、両者を対応付ける。対応づけた結果は、データ保持部２１３に記憶する。本実施形態では、重畳画像の、対応特徴点には、被重畳画像の対応する特徴点に付与される対応付け３１５と同じ識別子を登録する。
　例えば、図４の例では、重畳画像がフレーム４１２、被重畳画像がフレーム４１１の場合、被重畳画像の特徴点（ａｘ２，ａｙ２）と、重畳画像の特徴点（ｂｘ１，ｂｙ１）とが対応付けられ、ともに、識別子Ｂが対応付け３１５に登録される。また、重畳画像がフレーム４１３で、被重畳画像がフレーム４１１とフレーム４１２との合成画像の場合、被重畳画像の特徴点（ｂｘ２，ｂｙ２）および（ｂｘ３，ｂｙ３）と、重畳画像の特徴点（ｃｘ１，ｃｙ１）および（ｃｘ２，ｃｙ２）とが、それぞれ対応付けられ、それぞれ、識別子Ｃ，Ｄが対応付け３１５に登録される。また、重畳画像がフレーム４１４で、被重畳画像がフレーム４１１とフレーム４１２とフレーム４１３との合成画像の場合、被重畳画像の特徴点（ｄｘ２，ｄｙ２）と、重畳画像の特徴点（ｃｘ３，ｃｙ３）とが対応付けられ、識別子Ｅが対応付け３１５に登録される。
　なお、対応付けを行う際、重畳画像の各特徴点に対応付ける被重畳画像の候補の特徴点を、所定の範囲の特徴点に制限してもよい。例えば、重畳画像および被重畳画像の各特徴点の座標（それぞれ、フレーム座標系における座標と合成座標系における座標）が一定の距離以内の場合のみ差分を求めるといった手法を用いることができる。
　次に、移動量算出部２２３による移動量算出処理について説明する。移動量算出部２２３が算出するフレーム移動量は、超音波診断画像取得時に予め設定された撮影範囲内の注目領域（重畳用ＲＯＩ）の中心の、重畳画像上の位置の、被重畳画像上の位置からの移動量である。
　ここで、本実施形態の超音波画像取得部１１０で画像を取得する場合、撮影対象が人体のため、撮影間に撮影対象が動く可能性がある。また、探触子１２０をフリーハンドで移動させるため、取得する各フレーム間で、撮影面がずれる可能性がある。さらに、超音波画像は、自然画像に比べて構造物同士の境界が明瞭でない、比較的高速な処理（準リアルタイム処理）が求められる、といった制限がある。
　一方、超音波画像は、撮影中に縮尺が変更することがない。探触子１２０と体表とが密着しているため、パースペクティブな変換が生じない。また、ゆがみと拡大縮小がない。すなわち、一般のパノラマでは自由度９の投影変換が必要であるが、超音波画像のパノラマ化では、自由度３の回転、並進運動で合成が可能である。
　本実施形態では、超音波診断装置１００で取得した画像（フレーム）を合成して合成画像を生成する。上述のように、フレーム間は、平行移動と回転移動との自由度３の移動で規定できる。従って、本実施形態の重畳画像の座標系（フレーム座標系）と被重畳画像の座標系（合成座標系）との間の変換行列Ｔは、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 ここで、θは回転角度（回転移動量）を、Δｘ、Δｙはそれぞれｘ、ｙ方向の平行移動量を示す。
　本実施形態の移動量算出部２２３は、特徴点対応部２２２が対応づけた、重畳画像と被重畳画像の特徴点（対応特徴点）を用い、上記変換行列の回転移動量θおよび平行移動量Δｘ、Δｙからなる移動量をフレーム移動量として算出する。そして、移動量算出部２２３は、算出したフレーム移動量を、データ保持部２１３に、フレーム移動量３１３として登録する。
　なお、フレーム移動量は、特徴点対応部２２２にて決定された対応特徴点の数が２個である場合は、一意に決定することができる。一方、対応特徴点の数が３以上の場合は、フレーム移動量は、統計的処理により求める。例えば、対応特徴点の中から２点を代表として選び、仮の回転移動量θ1および仮の平行移動量Δｘ１、Δｙ１を決定する。そして、仮のフレーム移動量θ１およびΔｘ１、Δｙ１を初期値とし、非線形最小二乗法により、フレーム移動量θ、Δｘ、Δｙを求める。
　すなわち、本実施形態の超音波診断装置１００では、前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、前記移動量算出部２２３は、前記フレーム移動量を、前記対応付けられた特徴点の移動量を用い、非線形最小二乗法により求める。
　フレーム内の特徴点数が計算上充分多い場合は、特徴点の選別を行いながらフレーム移動量の算出を複数回行ってもよい。例えば、重畳画像の特徴点を、得られたフレーム移動量を用いて変換する。変換後の特徴点と被重畳画像内の対応特徴点との距離を算出する。そして、算出した距離に応じて特徴点の選別を行う。そして、餞別した特徴点のみを用い、再度フレーム移動量を算出する。このような選別、算出を繰り返し行う。
　あるいは、重畳画像のフレーム座標系と被重畳画像の合成座標系との両座標系間の変換行列Ｔとして、以下の式（２）で示されるヘルマート変換を用いて求めてもよい。
Figure JPOXMLDOC01-appb-M000002
 ヘルマート変換は、回転移動、平行移動に、拡大縮小が加わる変換である。ヘルマート変換を用いる場合、線形最小二乗法によりａ、ｂ、Δｘ、Δｙの各係数を算出する。そして、それらを初期値とし、非線形最小二乗法により、各係数ａ、ｂ、Δｘ、Δｙを求め、回転移動量θ、平行移動量Δｘ、Δｙを求める。さらに、特異値分解を用いた最小二乗法により求めてもよい。
　この場合も、特徴点の選別、フレーム移動量の算出を繰り返し行い、また、最小二乗法により平行移動量・回転移動量の算出を行うと、重畳画像から得られた特徴点に、この平行移動・回転移動を施すことにより、被重畳画像内の対応する特徴点との距離を算出することができる。この場合、算出した距離に応じて特徴点の選別を行い、選別された特徴点のみを用いて平行移動量・回転移動量を算出してもよい。また、この選別、算出を繰り返し行ってもよい。
　このような選別・算出の例としては、得られたａ、ｂ、Δｘ、Δｙの値を用いて重畳画像の各特徴点を平行移動・回転移動し、対応する被重畳画像の各特徴点との距離を各々求める。この距離の分布の中央値を求め、距離が中央値より大きいものを除いて再度ａ、ｂ、Δｘ、Δｙを求める。
　なお、平行移動量および回転移動量の算出には、必要に応じ、上記式（１）で表される変換行列Ｔでなく、以下の式（３）で表される変換行列Ｔのように、縦方向の拡大・縮小を加味した式を用いてもよい。
Figure JPOXMLDOC01-appb-M000003
　続いて、評価部２２４による評価処理について説明する。評価部２２４は、移動量算出部２２３が算出した平行移動量および回転移動量からなるフレーム移動量を用い、重畳画像の信頼性を評価する。本実施形態では、被重畳画像に対する信頼性の評価結果を決定する。決定した評価結果は、データ保持部２１３に評価結果３１２として登録する。
　評価の指標としては、例えば、重畳画像および被重畳画像のいずれか一方の特徴点を、算出したフレーム移動量に従って平行移動および回転移動させたとき、他方の対応する特徴点に対する一致度を用いる。例えば、一致度が高い場合、信頼性が高いとして、評価結果を「高」とし、一致度が低い場合、評価結果を「低」とする。
　具体的には、評価部２２４は、重畳画像の特徴点を、算出したフレーム移動量分、平行移動および回転移動させた後の位置（投影位置）を算出する。算出した投影位置を投影座標値３１６としてデータ保持部２１３に登録する。次に、重畳画像の各対応特徴点について、被重畳画像の対応特徴点との間の距離を計算する。本実施形態では、各対応特徴点の、重畳画像の投影座標値３１６と、被重畳画像の投影座標値３１６との間の距離を計算する。計算により得られた各距離が、予め定めた閾値以下である場合、一致度が高いと評価し、信頼性を示す評価結果を「高」とする。それ以外の場合は、一致度が低く、信頼性が低いと評価し、評価結果を「低」とする。
　このように、本実施形態の超音波診断装置１００では、前記評価部２２４は、前記フレーム移動量分移動させた前記重畳画像の各特徴点と、前記被重畳画像の対応する前記特徴点との距離が、予め定めた閾値より大きい場合、評価結果を信頼性低とする。
　例えば、図４の例では、重畳画像がフレーム４１２、被重畳画像がフレーム４１１の場合、被重畳画像の特徴点（ａｘ２，ａｙ２）と、重畳画像の特徴点（ｂｘ１，ｂｙ１）とが対応特徴点である。合成座標系での両者の距離ＢＬ（ＢＬ＝（（ｘ２１－ｘ２２）2＋（ｙ２１－ｙ２２）2）1/2）が、予め定めた閾値より大きい場合、評価結果３１２には、「低」が登録される。また、重畳画像がフレーム４１３で、被重畳画像がフレーム４１１とフレーム４１２との合成画像の場合、被重畳画像の特徴点（ｂｘ２，ｂｙ２）と重畳画像の特徴点（ｃｘ１，ｃｙ１）との距離ＣＬ（ＣＬ＝（（ｘ３２－ｘ３３）2＋（ｙ３２－ｙ３３）2）1/2）、および、被重畳画像の特徴点（ｂｘ３，ｂｙ３）と重畳画像の特徴点（ｃｘ２，ｃｙ２）との距離ＤＬ（ＤＬ＝（（ｘ４２－ｘ４３）2＋（ｙ４２－ｙ４３）2）1/2）が、ともに、予め定めた閾値以下である場合、評価結果３１２には、「高」が登録される。
　なお、本実施形態では、重畳画像の特徴点をフレーム移動量分移動させて投影座標を計算し、被重畳画像側の対応特徴点との間の距離を計算しているが、これに限られない。被重畳画像側の特徴点をフレーム移動量分させて、重畳画像のフレーム座標系に投影し、信頼性を評価してもよい。
　なお、評価部２２４による評価手法はこれに限られない。例えば、上記式（１）は自由度が３の移動の移動量を算出する変換式である。例えば、自由度３の移動よりも高い自由度の変換式を用いて移動量を求め、算出された各移動量の中で、平行移動量および回転移動量以外の移動量が有意であるか否か、を用いてもよい。
　すなわち、本実施形態の超音波診断装置１００では、例えば、前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、前記移動量算出部２２３は、前記回転移動量および２次元の平行移動量以外の第四の自由度をさらに有する変換式を用いて前記フレーム移動量を算出し、前記評価部２２４は、前記第四の自由度の変化が予め定めた閾値以上の場合、評価結果を信頼性低とするよう構成してもよい。
　例えば、式（１）で示される自由度３の変換よりも高い自由度の変換として、式（２）で示されるヘルマート変換を用いる。以下、ヘルマート変換に関する使用法の一例を説明する。式（２）で示されるヘルマート変換は、式（１）で示される変換に、拡大・縮小が加わったものである。従って、変換行列Ｔは、以下の式（４）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
 ここで、Ｒは、拡大、縮小率である。このＲが１に近いほど拡大・縮小変換が生じていないことを意味する。従って、このＲに閾値を設け、信頼性の高低を判別する。例えば、Ｒが０．９以上１．１以下の場合、信頼性が高いと評価し、それ以外の場合、信頼性が低いと評価する。
　なお、自由度が３より高い変換として、以下の式（５）に示す変換行列Ｔで表されるアフィン変換を用いてもよい。
Figure JPOXMLDOC01-appb-M000005
 アフィン変換は、自由度が６で、回転移動、平行移動、拡大縮小に、剪断変形（Ｓｈｅａｒ）が加わる。
　なお、距離により信頼性を評価する手法と、自由度が３より高い変換を用いて信頼性を評価する手法とは、組み合わせてもよい。
　次に、画像合成部２２５による画像合成処理について説明する。本実施形態の画像合成部２２５は、重畳画像を被重畳画像に合成し、重畳画像の信頼性の評価結果に応じて表示装置１４０に表示する合成画像を生成する。本実施形態では、合成画像を生成する際、信頼性が低いと評価された重畳画像を、それ以外の重畳画像から区別可能なようにする。
　まず、画像合成部２２５は、仮想的に設定された座標系上で、重畳画像と被重畳画像とを合成する。ここでは、仮想的に設定された座標系として、合成座標系を用いる。まず、重畳画像の各画素の座標を、移動量算出部２２３において求めたフレーム移動量（平行移動量（Δｘ、Δｙ）および回転移動量θ）を用い、式（１）の変換行列Ｔに従って変換する。そして、重畳画像を被重畳画像に合成し、表示装置１４０に表示する合成画像を生成する。
　このとき、重複部分の各画素については、重畳画像の画素値とする。さらに、本実施形態では、信頼性が低いと評価された画像が、他の画像の表示と区別可能な態様で表示されるよう生成する。区別可能な態様としては、例えば、表示色を変える等とする。なお、信頼性の評価が多段階の場合は、多段階に表示色を変えるよう構成してもよい。
　すなわち、本実施形態の超音波診断装置１００では、画像合成部２２５は、前記評価結果に応じて前記重畳画像の表示態様が異なるものとなるよう前記合成画像を生成し、前記評価結果は、当該合成画像に反映されて前記表示装置１４０に表示される。このとき、前記画像合成部２２５は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、重畳画像の画素値とする。
　図５（ａ）および図５（ｂ）は、本実施形態の画像合成部２２５が生成し、表示装置１４０に表示される合成画像４００の一例である。フレーム４１１、４１２、４１３、４１４の順に取得し、図４に示すように、フレーム４１２が重畳画像の際、信頼性が低いと評価され、他のフレームは、信頼性が高いと評価された場合の例である。なお、４１０は、撮影対象の組織である。
　本図に示すように、生成される合成画像４００は、その重複部分（例えば、被重畳画像と重畳画像４１４との重複部分４１３ａ）は、重畳画像（ここでは、４１４）の画素値が用いられる。また、信頼性が低いと評価されたフレーム４１２については、他のフレームとは異なる態様で表示されるよう生成される。
　合成後、画像合成部２２５は、合成画像４００を被重畳画像として、被重畳画像メモリ２１２に登録することにより、被重畳画像メモリ２１２の情報を更新する。
　なお、合成画像生成時、重複領域の画素値は、重畳画像の画素値と被重畳画像の画素値との平均値としてもよい。また、輪郭部位に対して平均処理を行うことで端を目立たさなくすることができる。平均処理には、例えば、線形平均処理を用いることができる。さらに、輪郭部位であって、原理的に画像が存在し得ない部分は、背景と同じ色で表示するよう設定することができる。原理的に画像が存在しえない部分は、例えば、探触子からみて超音波照射方向にマイナスの距離の領域などである。
　なお、本実施形態では、被重畳画像として、それまでに合成された合成画像を用いる場合を例にあげて説明したが、これに限られない。被重畳画像として、１回前に取得したフレームの画像（１回前の重畳画像）を用いてもよい。
　なお、合成画像生成処理において、ステップＳ１００４において得られた評価部２２４による評価結果が、信頼性が低いものである場合、ステップＳ１００３へ戻り、移動量算出部２２３による特徴点の選別およびフレーム移動量の算出を再度繰り返すよう構成してもよい。例えば、予め特徴点の最低数を規定し、その規定数以上であり、かつ、予め規定した信頼性の評価結果の最低値よりも低い間、ステップＳ１００３の移動量算出部２２３による処理とステップＳ１００４の評価部２２４による処理とを、特徴点の選別を行いながら、ループ化して繰り返す。
　ループ化した処理を行わない場合、データ保持部２１３の、フレーム移動量３１３および評価結果３１２は、それぞれ、評価処理、画像合成処理のための一時的な記憶としてもよい。
　以上説明したように、本実施形態の超音波診断装置１００は、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部２２５と、前記合成画像を表示する表示装置１４０とを備える超音波診断装置１００であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部２２３と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部２２４と、を備えることを特徴とする。なお、前記表示装置１４０は、前記評価部による評価結果をさらに表示してもよい。
　そして、本実施形態の超音波診断装置１００は、前記重畳画像を取得する毎に、当該重畳画像から特徴点を抽出して記憶する特徴情報抽出部２２１と、前記重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部２２２と、をさらに備え、前記移動量算出部２２３は、前記フレーム移動量を、前記対応づけられた特徴点を用いて算出するよう構成してもよい。
　また、本実施形態の画像評価表示方法は、重畳画像を被重畳画像に合成し、合成画像を生成する画像合成部２２５と、前記合成画像を表示する表示装置１４０とを備える超音波診断装置１００における画像評価表示方法であって、前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出ステップと、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価ステップと、前記評価部による評価結果を、前記表示装置に表示する表示ステップと、を備える。
　また、本実施形態の医用画像処理装置２００が備えるプログラムは、コンピュータを、超音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段と、前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段と、前記評価手段による評価結果を反映した表示データを生成する表示データ生成手段として機能させる。
　このため、本実施形態によれば、画像を取得する毎に、その取得時の信頼性を評価し、評価結果を反映した合成画像を生成し、表示装置１４０に表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
　また、合成画像の信頼性が、合成画像が表示されるタイミングで判別可能であるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
　本実施形態により、超音波診断装置のユーザ依存度を抑え、超音波診断装置をより汎用的な診断ツールにすることができる。
　また、本実施形態によれば、術者が探触子１２０で同じ部位を再撮像した場合、当該部位の画像の信頼性の評価結果が変化した場合、術者はそれを視覚的に把握できる。
　＜＜第二の実施形態＞＞
　次に、本発明を適用する第二の実施形態について説明する。第一の実施形態では、信頼性の低い重畳画像を他の画像と異なる態様で表示するよう合成画像を生成し、合成画像の中で信頼性の低い重畳画像が容易に判別可能なようにする。一方、本実施形態では、合成画像の中で、信頼性の低い重畳画像の寄与率を低くする。
　図６は、本実施形態の超音波診断装置１００ａの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ａは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ａとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
　また、本実施形態の医用画像処理装置２００ａも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態では、画像合成部２２５ａが生成する表示画像が異なる。以下本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
　本実施形態の医用画像処理装置２００ａは、第一の実施形態同様、重畳画像メモリ２１１と、被重畳画像メモリ２１２と、特徴情報抽出部２２１と、特徴点対応部２２２と、データ保持部２１３と、移動量算出部２２３と、評価部２２４と、画像合成部２２５ａと、を備える。
　本実施形態の合成画像生成処理の全体の流れは、図２に示す第一の実施形態と同様である。また、特徴情報抽出部２２１と、特徴点対応部２２２と、移動量算出部２２３と、評価部２２４とによる各処理も、第一の実施形態と同様である。また、重畳画像メモリ２１１と、被重畳画像メモリ２１２と、データ保持部２１３と、に保持されるデータも、第一の実施形態と同じである。
　以下、本実施形態の画像合成部２２５ａによる画像合成処理について説明する。本実施形態の画像合成部２２５ａは、重畳画像を被重畳画像に合成する際、重畳画像の信頼性の評価結果に応じて表示装置１４０に表示する合成画像を生成する。このとき、本実施形態では、重複する領域の各画素の画素値の算出に、評価結果を用いる。
　本実施形態の画像合成部２２５ａは、重複する領域の各画素の画素値を、重畳画像の信頼性の評価結果に応じて重みを付け、平均値を計算することにより得る。重みとする係数は、例えば、信頼性の評価結果が「高」、「低」の２段階であり、被重畳画像の画素値に用いる係数をａ、重畳画像の画素値に用いる係数をｂ、とすると、重畳画像の信頼性の評価結果が「低」の場合、ａ＋ｂ＝１かつｂ＜ａとする。なお、ｂは０としてもよい。重畳画像の信頼性の評価結果が「高」の場合、ｂ＝ａとする。なお、信頼性の評価が多段階の場合は、信頼性の高い順に大きな係数とする。
　すなわち、本実施形態の超音波診断装置１００では、画像合成部２２５ａは、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、当該被重畳画像の画素値および当該重畳画像の画素値それぞれに、前記評価結果に応じた重み付けをした重み付け平均値として前記合成画像を生成し、前記評価結果は、当該合成画像に反映され、前記表示装置１４０に表示される。
　このとき、前記画像合成部２２５ａは、前記重畳画像の前記評価結果が低の場合、前記重畳画像の画素値に付す重みを０としてもよい。
　図７（ａ）および図７（ｂ）に、本実施形態の合成画像の例を示す。図７（ａ）は、重畳画像４２２の、被重畳画像４２１に対する信頼性の評価結果が「高」の場合の例である。この場合は、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値に対する重みと重畳画像４２２の画素値に対する重みとを同じとした重み平均値、すなわち、被重畳画像４２１の画素値と重畳画像４２２の画素値との平均値とする。
　図７（ｂ）は、重畳画像４２２の、被重畳画像４２１に対する信頼性の評価結果が「低」の場合の例である。この場合は、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値に対して重みａを乗算し、重畳画像の画素値に対して重みｂを乗算したものの平均値とする。図７（ｂ）には、重畳画像４２２の画素値に適用する重み係数を０とする場合を例示する。この場合、重複部分４２１ａの画素の画素値は、被重畳画像４２１の画素値となる。
　本実施形態の画像合成部２２５ａも、合成画像を生成後、合成画像を被重畳画像として、被重畳画像メモリ２１２に登録することにより、被重畳画像メモリ２１２の情報を更新する。
　なお、本実施形態においても、被重畳画像として、合成画像を用いる場合を例にあげて説明したが、これに限られない。例えば、図５（ｂ）に示すように、各フレームが、隣接するフレーム以外とは、重なりあわない場合、被重畳画像として、１回前に取得したフレームの画像（１回前の重畳画像）を用いてもよい。
　なお、本実施形態においても、重畳画像の信頼性に応じて、上記処理に加え、第一の実施形態同様、表示態様を変更するよう構成してもよい。
　以上説明したように、本実施形態によれば、第一の実施形態同様、取得時の信頼性の評価結果を反映した合成画像を生成し、表示装置１４０に表示する。このとき、信頼性の低いフレーム（重畳画像）の、合成画像への寄与率を低くする。このため、得られる合成画像は、信頼性の低いフレームの影響の少ないものとなる。従って、本実施形態によれば、合成上の信頼性が足りないために合成画像中に診断上不審な画像を見出す確率が低減し、診断に有用な合成画像をユーザに提供することができる。
　本実施形態により、超音波診断装置の術者依存度を低め、超音波診断装置をより汎用的な診断ツールにすることができる。
　＜＜第三の実施形態＞＞
　次に、本発明を適用する第三の実施形態を説明する。本実施形態では、表示装置１４０に合成画像とともに信頼性の評価結果をリアルタイムで表示する。
　図８は、本実施形態の超音波診断装置１００ｂの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ｂは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ｂとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
　また、本実施形態の医用画像処理装置２００ｂも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態は、第一の実施形態の医用画像処理装置２００が有する構成に加え、信頼性表示生成部２２６をさらに備える。以下本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
　本実施形態の合成画像生成処理の全体の流れは、図２に示す第一の実施形態と同様である。また、特徴情報抽出部２２１と、特徴点対応部２２２と、データ保持部２１３と、移動量算出部２２３と、評価部２２４と、画像合成部２２５と、による各処理も、第一の実施形態と同様である。
　本実施形態の信頼性表示生成部２２６は、合成画像を構成する各フレームの信頼性評価結果を表示する信頼性表示を生成し、表示装置１４０に表示する。信頼性表示は、評価部２２４が重畳画像の信頼性を評価し、画像合成部２２５が合成画像を生成すると、生成される。信頼性表示は、例えば、合成画像の、重畳方向に、信頼性の評価結果の変化がわかる表示とする。
　すなわち、本実施形態の超音波診断装置１００は、前記評価結果を示す信頼性表示を生成する信頼性表示生成部２２６をさらに備え、前記評価結果は、当該信頼性表示により、前記表示装置に表示される。
　本実施形態の信頼性表示生成部２２６が生成する信頼性表示の一例を図９に示す。本図に示すように、例えば、信頼性表示として、表示装置１４０の表示画面１４１上に、合成画像４００の形状に沿った、扇型の尺度表示を生成し、信頼性表示５００として表示する。尺度表示である信頼性表示５００は、合成画像４００の対応する位置の重畳画像（フレーム）の信頼性を表す情報を示す。ここでは、例えば、信頼性が低いと評価された重畳画像（フレーム）４３１に対応する位置５１０の表示を、例えば、表示色を変えるなど、他と異なるものとする。
　なお、本実施形態においては、画像合成部２２５は、第一の実施形態同様、信頼性が低いと判断された重畳画像の表示態様を他と異なるものとする合成画像を生成するものとしているが、これに限られない。本実施形態では、合成画像とともに信頼性表示を表示するため、信頼性によらず、画像を合成し、合成画像を生成するよう構成してもよい。また、第二の実施形態同様、画像合成部２２５は、重複部分の画素値を、信頼性に応じて画素値に重みを付けた平均値としてもよい。
　以上説明したように、本実施形態によれば、合成画像を構成する各重畳画像（フレーム）の信頼性を示す信頼性表示を合成画像とともに表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
　また、合成画像が生成されるに従って、その信頼性が表示されるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
　＜＜第四の実施形態＞＞
　次に、本発明を適用する第四の実施形態を説明する。本実施形態では、ユーザが合成画像の撮り直しを行う際に、探触子１２０の適切なスタート位置への配置を支援する。これにより、ユーザは、合成画像の中の、信頼性の評価の低い領域の画像を、容易に取り直すことができる。
　図１０は、本実施形態の超音波診断装置１００ｃの機能構成図である。本図に示すように、本実施形態の超音波診断装置１００ｃは、第一の実施形態の超音波診断装置１００と同様に、画像を取得する超音波画像取得部１１０と、医用画像処理装置２００ｃとを備える。本実施形態の超音波画像取得部１１０は、第一の実施形態の超音波画像取得部１１０と基本的に同様の構成を有する。
　また、本実施形態の医用画像処理装置２００ｃも、基本的に第一の実施形態の医用画像処理装置２００と同様の構成を有する。ただし、本実施形態の医用画像処理装置２００ｃは、モード制御部２２７と、判別部２２８と、をさらに備える。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
　本実施形態の医用画像処理装置２００ｃは、２種の処理モードを備える。２種の処理モードは、リアルタイムモードと、取り直しモードとである。リアルタイムモードは、第一の実施形態同様、超音波画像取得部１１０で取得した画像（重畳画像）をリアルタイムで合成し、合成画像を生成する処理である。一方、取り直しモードは、既に作成した合成画像を、所望の領域から取り直す処理である。
　モード制御部２２７は、ユーザから、リアルタイムモードによる処理または、取り直しモードによる処理であるかの選択を受け付ける。選択は、選択手段を介して受け付ける。選択手段は、医用画像処理装置２００ｃが備える操作部が備えていてもよい。また、モード制御部２２７が、表示装置１４０に表示する選択ボタンとしてもよい。
　リアルタイムモードの選択を受け付けた場合、モード制御部２２７は、第一の実施形態と同様の手順で、重畳画像を受け取る毎に合成画像を更新、生成し、表示装置１４０に表示する、合成画像生成処理を行うよう、医用画像処理装置２００ｃの各部を制御する。
　取り直しモードの選択を受け付けた場合、モード制御部２２７は、後述する取り直し処理を行うよう各部を制御する。
　判別部２２８は、取り直しモードが選択された場合、特徴点対応部２２２による対応付け結果に応じて、探触子１２０の位置の適否を判別する。適否の判別は、重畳画像の、合成画像に対する合致度により、重畳画像の撮影位置の適否を判別する。本実施形態では、重畳画像から抽出した特徴点が、所定数以上、データ保持部２１３に保持されている特徴点に合致する場合、適切と判別する。それ以外の場合は、不適切と判別する。
　なお、探触子１２０の位置の適否は、対応する特徴点数ではなく、対応する特徴点の割合で判別してもよい。すなわち、重畳画像の特徴点の、データ保持部２１３に保持されている特徴点に合致する割合が、予め定めた値以上である場合、適切と判別してもよい。
　そして、判別部２２８は、適切と判別した場合、適切である旨の通知を行い、リアルタイムモードの撮影に移行する。一方、不適切と判別した場合、探触子１２０の位置が不適切である旨の通知を行う。なお、適切である場合は、通知を行わなくてもよい。
　すなわち、本実施形態の超音波診断装置１００は、取り直しモードの選択を受け付けるモード制御部２２７と、取り直しモードが選択された場合、前記重畳画像の撮影位置の適否を判別する判別部２２８と、をさらに備え、前記判別部２２８は、不適切と判別した場合、不適切であることをユーザに通知する。
　不適切である旨の通知は、例えば、表示装置１４０へメッセージを表示する、予め定めた音声を発する等により行う。
　また、適切である旨の通知は、例えば、表示装置１４０に表示されている合成画像上の、ユーザが配置した探触子１２０の位置で取得した重畳画像に対応する位置を、他と識別可能に表示する等とする。例えば、強調表示等とする。本実施形態では、例えば、合成画像の中の、データ保持部２１３に保持されるフレーム毎の特徴点の中で、最も特徴点の合致数の多いフレームに相当する領域を、強調表示する。
　以下、本実施形態の取り直しモード選択時の取り直し処理の流れを説明する。図１１は、本実施形態の取り直し処理の処理フローである。取り直しモードが選択されると、まず、モード制御部２２７は、取り直し対象の合成画像を表示装置１４０に表示する。複数の合成画像が記憶装置に格納されている場合は、ユーザが選択可能なよう構成してもよい。また、直前に取得した合成画像を表示するよう構成してもよい。
　１フレーム（Ｆｒ）の画像を受け取る（ステップＳ４１０１）と、モード制御部２２７は、重畳画像メモリ２１１に格納する（ステップＳ４１０２）。そして、特徴情報抽出部２２１は、重畳画像メモリ２１１に格納された重畳画像から、特徴点を抽出し、各特徴点の画像特徴量を算出する（ステップＳ４１０３）。特徴情報抽出部２２１による特徴点の抽出処理、画像特徴量の算出処理は、第一の実施形態と同様である。
　次に、特徴点対応部２２２は、抽出した特徴点と、データ保持部２１３に格納された被重畳画像の特徴点とを対応づける（ステップＳ４１０４）。対応付けの手法は、第一の実施形態と同様である。
　次に、判別部２２８は、特徴点対応部２２２の対応付けの結果、探触子１２０の位置が適切であるか否かを判別する（ステップＳ４１０５）。判別の手法は、上述の通りとする。
　判別部２２８は、ステップＳ４１０５の判別結果が適切であれば、適切である旨表示等により通知する（ステップＳ４１０６）。ここでは、上述のように、表示装置１４０に表示されている合成画像の、対応するフレームの位置を強調表示する。そして、データ保持部２１３中のデータを必要に応じて退避あるいは削除し（ステップＳ４１０７）、取り直しモード処理を終了し、リアルタイムモードに移行する。
　モード制御部２２７は、リアルタイムモードに移行し、その後、重畳画像（１Ｆｒの画像）を受信する毎に、当該重畳画像（ステップＳ４１０８）を用いて、第一の実施形態の合成画像生成処理を行う（ステップＳ４１０９）。
　一方、ステップＳ４１０５の判別結果が不適切であれば、判別部２２８は、不適切である旨ユーザに通知する（ステップＳ４１１０）。ユーザは、通知を見て、探触子１２０の位置を移動させ（ステップＳ４１０１）へ戻り、超音波画像（重畳画像；フレーム）の取得を継続する。そして、次のフレーム（重畳画像）を取得すると、また、ステップＳ４１０２以降の取り直しモード処理を繰り返す。
　このように、本実施形態の超音波診断装置１００では、前記判別部２２８が適切と判別した場合、前記モード制御部２２７は、以後取得された重畳画像に対し、前記移動量算出部２２３に移動量を算出させ、前記評価部２２４に前記信頼性の評価を行わせ、前記画像合成部２２５に合成画像を生成させる。また、前記判別部２２８は、適切と判別した場合、前記被重畳画像の、前記重畳画像に対応する位置を識別可能に表示する。
　なお、他の特徴情報抽出部２２１、特徴点対応部２２２、移動量算出部２２３、評価部２２４、画像合成部２２５の各機能、重畳画像メモリ２１１、被重畳画像メモリ２１２、データ保持部２１３に保持されるデータは、第一の実施形態と同様である。
　なお、データ保持部２１３には、第一の実施形態同様、重畳画像（フレーム）毎に、抽出した全特徴点およびそれぞれの画像特徴量を登録するよう構成しているが、これに限られない。例えば、特徴点を抽出する際に利用した局所特徴量が、予め設定された閾値以上の特徴点をスーパー特徴点とし、スーパー特徴点およびその画像特徴量のみを登録するよう構成してもよい。
　また、画像合成部２２５は、第二の実施形態の構成であってもよい。さらに、第三の実施形態同様、信頼性表示生成部２２６を備えてもよい。
　以上説明したように、本実施形態によれば、第一の実施形態同様、画像を取得する毎に、その取得時の信頼性を評価し、評価結果を反映した合成画像を生成し、表示装置１４０に表示する。従って、ユーザは、合成画像のどの領域が取得時の精度が低いかを容易に判別することができる。従って、本実施形態によれば、ユーザが、得られた合成画像中に診断上不審な画像を見出した際に、合成上の信頼性が足りないためなのか、もしくは実際に診断上問題となる異変が生じているのかを判断することが容易になる。
　また、合成画像の信頼性が、合成画像が表示されるタイミングで判別可能であるため、ユーザは、信頼性が十分な画像を取得できているか、リアルタイムで把握しながら、探触子１２０を操作できる。
　さらに、本実施形態によれば、ユーザが取り直しモードを選択した場合、ユーザが配置した探触子１２０の位置の適否を容易に把握することができる。また、適切な場合、当該位置で取得される画像の、取り直し対象の合成画像上の位置を容易に把握することができる。従って、容易に取り直ししたい位置に探触子１２０を配置し、そこから、取り直しを行うことができる。
　従来のパノラマ化手法においては、生成後の合成画像（合成画像）に修正を行いたい部分がある場合、最初から再度撮り直す必要がある。このため、特に広い（長い）領域の画像から合成画像（合成画像）を生成する場合、習熟を必要とする。本実施形態によれば、一旦作成した合成画像（合成画像）を再度全てのフレームの撮り直しを行うことなく一部のみを容易に撮り直し、修正することができる。従って、ユーザの習熟度によらず、広い範囲の合成画像を容易に得ることができる。取得する領域の可能となる。
　なお、上記各実施形態では、医用画像処理装置は、超音波画像取得部１１０とは独立した装置として記載しているが、これに限られない。超音波画像取得部１１０内の画像形成部１３０を実現する処理部が、医用画像処理装置の各機能を実現するよう構成してもよい。この場合、この処理部は、ＣＰＵとメモリと記憶装置とを備え、ＣＰＵが、記憶装置に格納されたプログラムを、メモリにロードして実行することにより、各部の機能を実現する。
　また、上記各実施形態では、医用画像処理装置の処理対象画像は、超音波画像取得部１１０が取得した超音波画像である場合を例にあげて説明したが、処理対象画像は、超音波画像に限られない。上述のように、撮影中に縮尺が変更することがない、また、パースペクティブな変化が生じない、ゆがみと拡大縮小が無い、といった特性を有する複数の連続したフレームを合成し、表示画像を生成する各種の画像を、処理対象画像とすることができる。
　また、上記各実施形態では、本発明を超音波診断装置に適用し、説明したが、本発明は、画像を合成する医用画像処理装置にも適用可能である。
　１００：超音波診断装置、１００ａ：超音波診断装置、１００ｂ：超音波診断装置、１００ｃ：超音波診断装置、１０１：被検体、１１０：超音波画像取得部、１２０：探触子、１３０：画像形成部、１４０：表示装置、１４１：表示画面、２００：医用画像処理装置、２００ａ：医用画像処理装置、２００ｂ：医用画像処理装置、２００ｃ：医用画像処理装置、２１１：重畳画像メモリ、２１２：被重畳画像メモリ、２１３：データ保持部、２２１：特徴情報抽出部、２２２：特徴点対応部、２２３：移動量算出部、２２４：評価部、２２５：画像合成部、２２５ａ：画像合成部、２２６：信頼性表示生成部、２２７：モード制御部、２２８：判別部、３００：データ、３１１：フレーム情報、３１２：評価結果、３１３：フレーム移動量、３１４：特徴点・画像特徴量、３１５：対応付け、３１６：投影座標値、４００：合成画像、４１１：フレーム、４１２：フレーム、４１３：フレーム、４１３ａ：重複部分、４１４：フレーム、４２１：被重畳画像、４２１ａ：重複部分、４２２：重畳画像、４３１：フレーム、５００：信頼性表示、５１０：位置

Claims (15)

  1. 　重畳画像を被重畳画像に合成して合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置であって、
    　前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出する移動量算出部と、
    　前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価部と、を備えること
    　を特徴とする超音波診断装置。
  2. 　請求項１記載の超音波診断装置であって、
    　前記重畳画像を取得する毎に、当該重畳画像から特徴点を抽出して記憶する特徴情報抽出部と、
    　前記重畳画像の特徴点を、被重畳画像の特徴点と対応付ける特徴点対応部と、をさらに備え、
    　前記移動量算出部は、前記フレーム移動量を、前記対応づけられた特徴点を用いて算出すること
    　を特徴とする超音波診断装置。
  3. 　請求項２記載の超音波診断装置であって、
    　前記評価部は、前記フレーム移動量分移動させた前記重畳画像の各特徴点と、前記被重畳画像の対応する前記特徴点との距離が、予め定めた閾値より大きい場合、評価結果を信頼性低とすること
    　を特徴とする超音波診断装置。
  4. 　請求項１記載の超音波診断装置であって、
    　前記画像合成部は、前記評価結果に応じて前記重畳画像の表示態様が異なるものとなるよう前記合成画像を生成し、
    　前記評価結果は、当該合成画像に反映され、前記表示装置に表示されること
    　を特徴とする超音波診断装置。
  5. 　請求項４記載の超音波診断装置であって、
    　前記画像合成部は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、重畳画像の画素値とすること
    　を特徴とする超音波診断装置。
  6. 　請求項１記載の超音波診断装置であって、
    　前記画像合成部は、前記合成画像の、前記被重畳画像と前記重畳画像との重複部分の画素値を、当該被重畳画像の画素値および当該重畳画像の画素値それぞれに、前記評価結果に応じた重み付けをした重み付け平均値として前記合成画像を生成し、
    　前記評価結果は、当該合成画像に反映され、前記表示装置に表示されること
    　を特徴とする超音波診断装置。
  7. 　請求項６記載の超音波診断装置であって、
    　前記画像合成部は、前記重畳画像の前記評価結果が低の場合、前記重畳画像の画素値に付す重みを０とすること
    　を特徴とする超音波診断装置。
  8. 　請求項１記載の超音波診断装置であって、
    　前記評価結果を示す信頼性表示を生成する信頼性表示生成部をさらに備え、
    　前記評価結果は、当該信頼性表示により、前記表示装置に表示されること
    　を特徴とする超音波診断装置。
  9. 　請求項２記載の超音波診断装置であって、
    　取り直しモードの選択を受け付けるモード制御部と、
    　取り直しモードが選択された場合、前記重畳画像の撮影位置の適否を判別する判別部と、をさらに備え、
    　前記判別部は、不適切と判別した場合、不適切であることをユーザに通知すること
    　を特徴とする超音波診断装置。
  10. 　請求項２記載の超音波診断装置であって、
    　前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、
    　前記移動量算出部は、前記フレーム移動量を、前記対応付けられた特徴点の移動量を用い、非線形最小二乗法により求めること
    　を特徴とする超音波診断装置。
  11. 　請求項２記載の超音波診断装置であって、
    　前記フレーム移動量は、回転移動量と２次元の平行移動量とからなり、
    　前記移動量算出部は、前記回転移動量および２次元の平行移動量以外の第四の自由度をさらに有する変換式を用いて前記フレーム移動量を算出し、
    　前記評価部は、前記第四の自由度の変化が予め定めた閾値以上の場合、評価結果を信頼性低とすること
    　を特徴とする超音波診断装置。
  12. 　請求項２記載の超音波診断装置であって、
    　前記特徴情報抽出部は、前記特徴点毎に、当該特徴点を特徴づける画像特徴量を算出し、
    　前記特徴点は、前記重畳画像の中のエッジに該当する画素およびコーナーに該当する画素の少なくとも一方とし、
    　前記画像特徴量は、前記各特徴点の、全隣接画素それぞれとの差分値からなり、
    　前記特徴点対応部は、前記画像特徴量が合致する特徴点を、対応する特徴点とすること
    　を特徴とする超音波診断装置。
  13. 　請求項２記載の超音波診断装置であって、
    　前記抽出した特徴点を、前記重畳画像に対応づけて登録するデータ保持部をさらに備え、
    　前記評価部は、前記評価結果を前記データ保持部に登録し、
    　移動量算出部は、算出した前記フレーム移動量を前記データ保持部に登録すること
    　を特徴とする超音波診断装置。
  14. 　重畳画像を被重畳画像に合成して合成画像を生成する画像合成部と、前記合成画像を表示する表示装置とを備える超音波診断装置における画像評価表示方法であって、
    　前記被重畳画像に対する前記重畳画像の移動量であるフレーム移動量を算出し、
    　前記フレーム移動量に基づいて前記重畳画像の信頼性を評価し、
    　前記評価部による評価結果を、前記表示装置に表示すること
    　を特徴とする画像評価表示方法。
  15. 　コンピュータを、
    　超音波診断装置で取得した重畳画像の、当該重畳画像を合成する被重畳画像に対する移動量であるフレーム移動量を算出する移動量算出手段、
    　前記フレーム移動量に基づいて前記重畳画像の信頼性を評価する評価手段として機能させるためのプログラム。
PCT/JP2013/063325 2012-05-14 2013-05-13 超音波診断装置および画像評価表示方法 WO2013172311A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012110702A JP2015144623A (ja) 2012-05-14 2012-05-14 超音波診断装置および画像評価表示方法
JP2012-110702 2012-05-14

Publications (1)

Publication Number Publication Date
WO2013172311A1 true WO2013172311A1 (ja) 2013-11-21

Family

ID=49583716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063325 WO2013172311A1 (ja) 2012-05-14 2013-05-13 超音波診断装置および画像評価表示方法

Country Status (2)

Country Link
JP (1) JP2015144623A (ja)
WO (1) WO2013172311A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015087227A1 (en) * 2013-12-09 2015-06-18 Koninklijke Philips N.V. Image compounding based on image information

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018099810A1 (en) * 2016-11-29 2018-06-07 Koninklijke Philips N.V. Ultrasound imaging system and method
US11382604B2 (en) 2017-01-18 2022-07-12 Furuno Electric Co., Ltd. Ultrasonic image system with synthesis of images of different ultrasonic waves received at respective positions of a probe
US11334974B2 (en) 2017-08-16 2022-05-17 Koninklijke Philips N.V. Systems, methods, and apparatuses for image artifact cancellation
JP7052591B2 (ja) * 2018-06-20 2022-04-12 コニカミノルタ株式会社 超音波診断装置、超音波画像表示方法及びプログラム
JP7186030B2 (ja) * 2018-07-13 2022-12-08 古野電気株式会社 超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラム
FR3095941B1 (fr) 2019-05-17 2021-04-16 Supersonic Imagine Procédé pour déterminer par ultrasons une image corrigée d’un milieu, et dispositif pour mettre en œuvre ce procédé
JP7298331B2 (ja) * 2019-06-25 2023-06-27 コニカミノルタ株式会社 超音波診断装置、パノラマ画像生成方法及びプログラム
JP7503128B2 (ja) 2020-03-11 2024-06-19 オリンパス株式会社 医療システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217815A (ja) * 1999-01-28 2000-08-08 Hitachi Ltd 超音波像を合成しパノラマ画像を合成する方法及び装置
JP2001252268A (ja) * 2000-03-08 2001-09-18 Ge Yokogawa Medical Systems Ltd 超音波診断装置
JP2002171398A (ja) * 2000-12-04 2002-06-14 Konica Corp 画像処理方法及び電子カメラ
JP2004096156A (ja) * 2002-08-29 2004-03-25 Oki Electric Ind Co Ltd 画像合成処理方法及び画像合成処理システム並びにプログラム
JP2007175448A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 被検体内導入体および被検体内観察システム
JP2007202912A (ja) * 2006-02-03 2007-08-16 Secom Co Ltd 縞模様を含む画像の照合装置
JP2010103876A (ja) * 2008-10-27 2010-05-06 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011188035A (ja) * 2010-03-04 2011-09-22 Fujifilm Corp 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2012044339A (ja) * 2010-08-16 2012-03-01 Fujifilm Corp 撮像装置及びパノラマ画像データ生成方法
JP2012070168A (ja) * 2010-09-22 2012-04-05 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217815A (ja) * 1999-01-28 2000-08-08 Hitachi Ltd 超音波像を合成しパノラマ画像を合成する方法及び装置
JP2001252268A (ja) * 2000-03-08 2001-09-18 Ge Yokogawa Medical Systems Ltd 超音波診断装置
JP2002171398A (ja) * 2000-12-04 2002-06-14 Konica Corp 画像処理方法及び電子カメラ
JP2004096156A (ja) * 2002-08-29 2004-03-25 Oki Electric Ind Co Ltd 画像合成処理方法及び画像合成処理システム並びにプログラム
JP2007175448A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 被検体内導入体および被検体内観察システム
JP2007202912A (ja) * 2006-02-03 2007-08-16 Secom Co Ltd 縞模様を含む画像の照合装置
JP2010103876A (ja) * 2008-10-27 2010-05-06 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011130282A (ja) * 2009-12-18 2011-06-30 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011188035A (ja) * 2010-03-04 2011-09-22 Fujifilm Corp 撮像装置及びパノラマ画像合成方法並びにそのプログラム
JP2012044339A (ja) * 2010-08-16 2012-03-01 Fujifilm Corp 撮像装置及びパノラマ画像データ生成方法
JP2012070168A (ja) * 2010-09-22 2012-04-05 Olympus Corp 画像処理装置、画像処理方法、および、画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015087227A1 (en) * 2013-12-09 2015-06-18 Koninklijke Philips N.V. Image compounding based on image information
CN105813572A (zh) * 2013-12-09 2016-07-27 皇家飞利浦有限公司 基于图像信息的图像复合

Also Published As

Publication number Publication date
JP2015144623A (ja) 2015-08-13

Similar Documents

Publication Publication Date Title
WO2013172311A1 (ja) 超音波診断装置および画像評価表示方法
JP6745861B2 (ja) リアルタイム超音波イメージングのトリプレーン画像の自動セグメント化
JP4594610B2 (ja) 超音波画像処理装置及び超音波診断装置
CN109069119B (zh) 用于超声胎儿成像的3d图像合成
KR101907550B1 (ko) 진단 초음파 이미징에서의 바늘 영상 향상
JP4060615B2 (ja) 画像処理装置及び超音波診断装置
JP5498299B2 (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
JP4152746B2 (ja) 超音波診断心臓画像の捕捉、分析、及び表示方法
US6491636B2 (en) Automated border detection in ultrasonic diagnostic images
JP4734395B2 (ja) 超音波診断装置
JP5592796B2 (ja) 定量３ｄｃｅｕｓ分析のためのシステム及び方法
EP1255489B1 (en) Strain rate analysis in ultrasonic diagnostic images
JP6039156B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4983860B2 (ja) 明るさ値とグラジエント情報を用いた超音波映像とｃｔ映像の非剛体映像整合システム及び方法
JP2003175041A (ja) 超音波診断装置及び画像処理方法
JP2003503138A (ja) 延長視野超音波診断イメージングシステム
JP4356841B2 (ja) 生体内部動作解析処理装置、生体内部動作解析処理プログラムおよび生体内部動作解析処理方法
Bharadwaj et al. An upgraded siamese neural network for motion tracking in ultrasound image sequences
US20230281837A1 (en) Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
JP2018068495A (ja) 超音波画像処理装置及びプログラム
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
JP4847684B2 (ja) 画像診断装置
WO2019130636A1 (ja) 超音波撮像装置、画像処理装置、及び方法
WO2018079344A1 (ja) 超音波画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13790359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13790359

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP