WO2016006554A1 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
WO2016006554A1
WO2016006554A1 PCT/JP2015/069298 JP2015069298W WO2016006554A1 WO 2016006554 A1 WO2016006554 A1 WO 2016006554A1 JP 2015069298 W JP2015069298 W JP 2015069298W WO 2016006554 A1 WO2016006554 A1 WO 2016006554A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasonic
resolution
diagnostic apparatus
processing
Prior art date
Application number
PCT/JP2015/069298
Other languages
English (en)
French (fr)
Inventor
裕哉 宍戸
村下　賢
Original Assignee
日立アロカメディカル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立アロカメディカル株式会社 filed Critical 日立アロカメディカル株式会社
Publication of WO2016006554A1 publication Critical patent/WO2016006554A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves

Definitions

  • the present invention relates to an ultrasonic diagnostic apparatus, and more particularly to a technique for forming an ultrasonic image based on volume data.
  • Patent Document 1 discloses a technique for forming a three-dimensional ultrasonic image by a volume rendering method. According to the volume rendering method, it is possible to form an ultrasonic image that is three-dimensionally projected so as to transmit the diagnosis target from the surface to the inside.
  • a plurality of rays are set for the volume data, and a rendering operation is performed for each ray to obtain a pixel value, thereby obtaining a cubic based on a plurality of pixel values obtained from the plurality of rays.
  • An original ultrasound image is formed.
  • the volume rendering method if rendering computation is performed on a large number of rays (for example, thousands to tens of thousands of rays), the computation time becomes enormous. In addition, if the number of rays is simply reduced in order to shorten the calculation time, the resolution of the ultrasonic image is lowered. That is, for example, in the formation of an ultrasonic image based on volume data such as the volume rendering method, the calculation time for obtaining an image and the resolution related to the image are in a trade-off relationship.
  • the present invention has been made in the process of research and development described above, and its purpose is to reduce the resolution of an image while shortening the processing time of the image forming process in forming an ultrasonic image based on volume data. It is to suppress.
  • An ultrasonic diagnostic apparatus suitable for the above object includes a probe that transmits and receives ultrasonic waves, a transmission and reception unit that obtains an ultrasonic reception signal by controlling transmission of the probe, and volume data obtained based on the ultrasonic reception signal
  • An image forming unit that sets a plurality of rays and forms an ultrasonic image by image forming processing using the plurality of rays, and a resolution processing unit that increases the resolution of the ultrasonic image formed in the image forming unit, By reducing the number of rays used for image forming processing, the processing time of the image forming processing is shortened to form an ultrasonic image, and the ultrasonic image is increased in resolution, It is characterized in that the resolution of the ultrasonic image that has been reduced with the reduction in the number of rays is increased.
  • the probe for transmitting and receiving ultrasonic waves is an ultrasonic probe for three-dimensional images, for example, a two-dimensional array probe including a plurality of vibration elements arranged two-dimensionally, or a one-dimensional arrangement.
  • a mechanical probe or the like that mechanically moves the plurality of vibrating elements is suitable.
  • the transmission / reception unit three-dimensionally scans an ultrasonic beam (a transmission beam and a reception beam) in a three-dimensional space including a diagnosis target to obtain an ultrasonic reception signal.
  • the transmission / reception unit may obtain an ultrasonic reception signal using a technique such as transmission aperture synthesis.
  • volume data is formed by, for example, coordinate conversion processing or interpolation processing for ultrasonic reception signals obtained from a three-dimensional space.
  • volume data is composed of a plurality of voxel data arranged three-dimensionally in the data space.
  • the image forming unit sets a plurality of rays for the volume data, and forms an ultrasonic image by an image forming process using the plurality of rays.
  • a volume rendering process is suitable.
  • volume rendering processing a plurality of rays are set as virtual lines of sight for volume data, and a pixel value is obtained by performing a rendering operation for each ray to obtain a pixel value.
  • a rendering image is formed based on the above.
  • the image forming unit may form an ultrasonic image by a known process such as surface rendering.
  • the resolution processing unit increases the resolution of the ultrasonic image formed in the image forming unit. For example, the resolution processing unit inserts interpolation data into the ultrasonic image formed in the image forming unit and increases the number of pixels of the ultrasonic image, and an ultrasonic image in which the number of pixels is increased by the interpolation processing.
  • the resolution of the ultrasonic image is increased by the refinement process.
  • the interpolation processing for example, although interpolation data can be obtained by linear interpolation or the like, the interpolation processing may be realized by a known technique other than linear interpolation. In the refining process, it is desirable to use a technique such as IBP (Iterative Back Projection), but other known techniques may be used.
  • the above apparatus reduces the number of rays used for the image forming process, shortens the processing time of the image forming process, forms an ultrasonic image, and increases the resolution of the ultrasonic image.
  • the resolution of the ultrasonic image which has decreased with the reduction of the number of rays, is increased. Accordingly, it is possible to suppress a decrease in image resolution while shortening the processing time of the image forming process.
  • the ultrasonic diagnostic apparatus reduces the number of rays used for the image forming process so that the processing time of the image forming process matches the volume rate according to the volume rate of the volume data. It is characterized by that.
  • the ultrasonic diagnostic apparatus reduces the total number of voxel data constituting the volume data, thereby reducing the number of rays required for the volume data.
  • the resolution processing unit inserts interpolation data into the ultrasonic image formed in the image forming unit to increase the number of pixels of the ultrasonic image, and the number of pixels by the interpolation processing. It is characterized in that the resolution of the ultrasonic image is increased by refining the increased ultrasonic image.
  • the resolution processing unit uses an ultrasonic image in which the number of pixels is increased by the interpolation processing as a target image in the refining processing, and obtains a high-definition image by refining the target image.
  • the resolution processing unit derives an update component based on a comparison result between a deteriorated image obtained by degrading a high-definition image and a target image, and combines the high-definition image and the update component to generate a high-definition image.
  • an update component based on a comparison result between a deteriorated image obtained by degrading a high-definition image and a target image, and combines the high-definition image and the update component to generate a high-definition image.
  • a suitable ultrasonic image processing apparatus for the above purpose sets a plurality of rays for volume data obtained by transmitting and receiving ultrasonic waves, and an ultrasonic image is formed by image forming processing using the plurality of rays.
  • the processing time of processing is shortened to form an ultrasound image, and the resolution of the ultrasound image is increased by reducing the number of rays by increasing the resolution of the ultrasound image. .
  • the ultrasonic image processing apparatus can be realized by a computer, for example.
  • multiple ray is set for volume data obtained by sending and receiving ultrasonic waves, and an image forming function that forms an ultrasonic image by image forming processing using multiple rays, and an image forming function
  • the resolution processing function for increasing the resolution of the ultrasonic image and the number of rays used for the image formation processing are reduced, thereby shortening the processing time of the image formation processing and forming the ultrasonic image.
  • the computer By causing the computer to realize a function of increasing the resolution of the ultrasonic image, which has been reduced with the reduction in the number of rays, by increasing the resolution of the ultrasonic image, the computer can be caused to function as the ultrasonic image processing apparatus. it can.
  • the program may be stored in a computer-readable storage medium such as a disk or a memory, and may be provided to the computer via the storage medium, or may be provided to the computer via an electric communication line such as the Internet. May be.
  • the present invention when forming an ultrasonic image based on volume data, it is possible to suppress a decrease in image resolution while shortening the processing time of the image forming process.
  • FIG. 1 is an overall configuration diagram of an ultrasonic diagnostic apparatus suitable for implementing the present invention. It is a figure for demonstrating the specific example 1 of the process by the ultrasonic diagnosing device of FIG. It is a figure which shows the specific example 1 of a coordinate transformation process. It is a figure for demonstrating the specific example of the pre-processing in a pre-processing part. It is a figure for demonstrating the specific example of the interpolation process in an interpolation process part. It is a figure for demonstrating the specific example of the refinement
  • FIG. 1 is an overall configuration diagram of an ultrasonic diagnostic apparatus suitable for implementation of the present invention.
  • the probe 10 is an ultrasonic probe for a three-dimensional image.
  • a two-dimensional array probe including a plurality of vibration elements arranged two-dimensionally or a plurality of vibration elements arranged one-dimensionally is used.
  • a mechanical probe that is mechanically moved is a preferred example.
  • the transmission / reception unit 12 has functions as a transmission beamformer and a reception beamformer. That is, the transmission / reception unit 12 forms a transmission beam by outputting a transmission signal to each of the plurality of vibration elements included in the probe 10, and further receives a plurality of reception signals obtained from the plurality of vibration elements.
  • a reception beam is formed by performing phasing addition processing or the like. Thereby, the ultrasonic beam (transmission beam and reception beam) is scanned in the scanning plane, and an ultrasonic reception signal is formed for each reception beam.
  • the ultrasonic reception signal (RF signal) is subjected to reception signal processing such as detection processing. Thereby, line data corresponding to the received beam is obtained for each received beam.
  • the transmission / reception unit 12 performs, for example, three-dimensional scanning while moving the position of the scanning plane in the three-dimensional space including the diagnosis target.
  • the transmission / reception unit 12 electronically scans an ultrasonic beam to form a scanning surface, and obtains frame data including a plurality of line data. Then, the scanning plane is moved electronically or mechanically, thereby obtaining frame data of a plurality of frames corresponding to the plurality of scanning planes from within the three-dimensional space.
  • the volume configuration unit 20 performs reconstruction processing on the frame data of a plurality of frames obtained from the 3D space to form volume data corresponding to the 3D space.
  • the volume data is composed of a plurality of voxel data arranged three-dimensionally in the data space.
  • the 3D image forming unit 30 sets a plurality of rays for the volume data, and forms an ultrasonic image by an image forming process using the plurality of rays.
  • a volume rendering process is suitable.
  • volume rendering processing a plurality of rays are set as virtual lines of sight for volume data, and a pixel value is obtained by performing a rendering operation for each ray to obtain a pixel value.
  • a 3D (three-dimensional) rendering image is formed based on
  • the resolution processing block 40 includes a preprocessing unit 42, an interpolation processing unit 44, and a refinement processing unit 46, and increases the resolution of an ultrasonic image formed by the three-dimensional image forming unit 30, for example, a 3D rendering image.
  • a specific example of processing in the resolution processing block 40 will be described in detail later.
  • the ultrasonic image having a high resolution for example, the 3D rendering image having a high resolution, is combined with graphic data or the like as necessary and displayed on the display unit 50.
  • the control unit 60 generally controls the inside of the ultrasonic diagnostic apparatus shown in FIG.
  • the ultrasonic diagnostic apparatus in FIG. 1 preferably includes operation devices such as a mouse, a keyboard, a trackball, a touch panel, and other switches.
  • the overall control by the control unit 60 also reflects an instruction received from the user via the operation device or the like.
  • the transmission / reception unit 12 the volume configuration unit 20, the 3D image forming unit 30, the preprocessing unit 42, the interpolation processing unit 44, and the refinement processing unit 46 are
  • it can be realized using hardware such as an electric / electronic circuit or a processor, and a device such as a memory may be used as necessary in the realization.
  • functions corresponding to the above-described units may be realized by cooperation of hardware such as a CPU, a processor, or a memory, and software (program) that defines the operation of the CPU or the processor.
  • a preferred specific example of the display unit 50 is a liquid crystal display or the like.
  • the control unit 60 can be realized by, for example, cooperation between hardware such as a CPU, a processor, and a memory, and software (program) that defines the operation of the CPU and the processor.
  • the overall configuration of the ultrasonic diagnostic apparatus in FIG. 1 is as described above. Next, a specific example of processing by the ultrasonic diagnostic apparatus will be described. In addition, about the structure (each part which attached
  • FIG. 2 is a diagram for explaining a specific example 1 of processing by the ultrasonic diagnostic apparatus of FIG.
  • FIG. 2 shows a specific example of processing in the transmission / reception unit 12, the volume configuration unit 20, the 3D image forming unit 30, and the resolution processing block 40.
  • the transmission / reception unit 12 performs three-dimensional scanning while moving the position of the scanning plane (frame) in the frame direction in the three-dimensional space, and thereby, a plurality of frames corresponding to the plurality of scanning planes from the three-dimensional space. Get frame data.
  • the volume configuration unit 20 performs reconstruction processing on the frame data of a plurality of frames arranged in the frame direction to form volume data corresponding to the three-dimensional space.
  • the volume data is composed of a plurality of voxel data arranged three-dimensionally in the data space.
  • a three-dimensional coordinate conversion process (scan conversion process) is performed.
  • FIG. 3 is a diagram showing a specific example 1 of the coordinate conversion process.
  • FIG. 3 partially illustrates frame data composed of a plurality of line data, and partially illustrates volume data composed of a plurality of voxels (data).
  • the volume configuration unit 20 obtains a plurality of voxels (data) constituting the volume data based on the plurality of line data constituting the frame data.
  • Each voxel (data) is obtained, for example, by interpolation processing based on a plurality of line data located in the vicinity of the voxel.
  • the value (voxel value) of the interpolation target voxel is calculated by interpolation processing from four interpolation line data positioned in the vicinity of the interpolation target voxel.
  • the values of four interpolation line data are weighted and added by weighting according to the distance between the interpolation target voxel and each interpolation line data, and the voxel value of the interpolation target voxel is calculated.
  • the interpolation line data may be a plurality other than four.
  • a plurality of interpolation line data may be selected from a plurality of frames in the vicinity of the interpolation target voxel, for example, from two frames sandwiching the interpolation target voxel therebetween.
  • the volume configuration unit 20 calculates a value (voxel value) of an interpolation target voxel by interpolation processing using each of a plurality of voxels constituting volume data as an interpolation target voxel, and forms volume data including the plurality of voxel data.
  • the 3D image forming unit 30 sets a plurality of rays as virtual lines of sight with respect to the volume data, performs a rendering operation for each ray, and performs on-screen rendering.
  • a 3D (three-dimensional) rendered image is formed based on a plurality of pixel values obtained from a plurality of rays.
  • the three-dimensional image forming unit 30 performs setting while thinning out the rays without setting all the rays corresponding to all the pixels on the screen. For example, a plurality of rays are set on the screen of the XY coordinate system while leaving equal pixel intervals in the X direction and the Y direction, respectively. Thereby, the number of rays is reduced as compared with the case where all the rays corresponding to all the pixels on the screen are set.
  • the three-dimensional image forming unit 30 performs a known rendering operation on each set ray while thinning out, and forms a 3D (three-dimensional) rendered image by obtaining a plurality of pixel values thinned out on the screen. To do.
  • the processing time of the image forming process that is, the processing time of the rendering operation for a plurality of rays is shortened.
  • the number of rays is reduced compared to the case where all the rays are set, the number of pixels of the 3D rendering image is small, the image size is small, and the resolution of the image is also reduced.
  • the resolution processing block 40 super-resolution enlargement processing for recovering the image size and resolution of the 3D rendering image is performed. That is, a high-resolution image (3D rendering image) obtained by performing super-resolution enlargement processing on the low-resolution image (3D rendering image) formed in the three-dimensional image forming unit 30 to restore the image size and resolution. Is formed and displayed on the display unit 50.
  • the resolution processing block 40 includes a preprocessing unit 42, an interpolation processing unit 44, and a refinement processing unit 46 (see FIG. 1), and 3D rendering images are processed in these units.
  • a preprocessing unit 42 receives 3D rendering images from the resolution processing block 40 and processes 3D rendering images.
  • the pre-processing unit 42 (FIG. 1) performs pre-processing for suitably performing the interpolation processing and the refinement processing prior to the interpolation processing in the interpolation processing unit 44 and the refinement processing in the refinement processing unit 46.
  • the pre-processing unit 42 detects a connection between structures in the 3D rendering image (low-resolution image) formed by the three-dimensional image forming unit 30 and executes preAIP processing for strengthening the connection between structures.
  • FIG. 4 is a diagram for explaining a specific example of preprocessing in the preprocessing unit 42.
  • FIG. 4 shows a specific example of preAIP processing for a 3D rendering image.
  • the 3D rendering image before the preAIP process is a low-resolution image formed in the three-dimensional image forming unit 30, and is composed of a plurality of pixel data obtained on the screen (FIG. 2).
  • the pre-processing unit 42 performs preAIP processing on a plurality of pixel data constituting a 3D rendering image (low resolution image). For example, as shown in FIG. 4, with respect to the target data (pixel data to be processed), dispersion values (luminance dispersion values) for five pixel data in each direction in four directions 1 to 4 ) Is calculated. Then, the direction in which the variance value is minimum is specified, and the average value (average luminance value) of the five pieces of pixel data in the specified direction is used as the data after processing the target data.
  • the total number of directions can be other than four directions (for example, two directions, eight directions, etc.), and the total number of data in each direction may be other than five (for example, three, seven, nine, etc.). Further, a value obtained by weighted addition processing or the like may be used instead of the average value.
  • the pre-processing unit 42 performs preAIP processing using each of a plurality of pixel data (preferably all pixel data) constituting a 3D rendering image (low resolution image) as target data, and pixel data (target data) after preAIP processing 3D rendering image is obtained.
  • Interpolation processing unit 44 (FIG. 1) interpolates the 3D rendering image that has been preprocessed by preprocessing unit 42.
  • the interpolation processing unit 44 increases the number of pixels by inserting interpolation data obtained by the interpolation processing between the pixel data for the plurality of pixel data constituting the pre-processed 3D rendering image. A 3D rendering image is obtained.
  • FIG. 5 is a diagram for explaining a specific example of the interpolation processing in the interpolation processing unit 44.
  • the 3D rendering image before the interpolation processing is a 3D rendering image after the preAIP processing (FIG. 4).
  • the interpolation processing unit 44 inserts, for example, interpolation data obtained by linear interpolation processing between the plurality of pixel data constituting the 3D rendering image before the interpolation processing between the pixel data, thereby performing the 3D rendering image after the interpolation processing. Get.
  • one interpolation data is inserted between two pixel data adjacent to each other in the X direction, and one interpolation is performed between two pixel data (including interpolation data inserted in the X direction) adjacent to each other in the Y direction. Data is inserted.
  • the interpolation data is, for example, an intermediate value between two adjacent pixel data.
  • the data value of the interpolation data may be determined with reference to two or more pixel data in the vicinity of the position where the interpolation data is inserted.
  • it is desirable that the interpolation data is obtained by referring to the neighboring pixel data.
  • interpolation data having a constant value eg, constant luminance
  • two or more interpolation data may be inserted between two pixel data.
  • the interpolation processing unit 44 inserts interpolation data between the pixel data over the entire area of the 3D rendering image before the interpolation processing, and obtains a 3D rendering image after the interpolation processing.
  • the 3D rendering image subjected to the interpolation processing in the interpolation processing unit 44 is refined in the refinement processing unit 46 (FIG. 1).
  • FIG. 6 is a diagram for explaining a specific example of the refinement processing in the refinement processing unit 46.
  • the 3D rendering image before the refinement processing is the 3D rendering image after the interpolation processing (FIG. 5).
  • the refinement processing unit 46 obtains a 3D rendered image after the refinement process by increasing the definition of the 3D rendered image before the refinement process by, for example, an IBP process.
  • FIG. 7 is a diagram for explaining the IBP process, which is a specific example of the refinement process.
  • the refinement processing unit 46 performs IBP (Iterative Back Projection: iterative backprojection) processing to make the 3D rendered image highly precise.
  • IBP Intelligent Back Projection: iterative backprojection
  • the 3D rendered image after the interpolation processing is set as a target image.
  • the target image is a temporary high-definition image.
  • an estimated deteriorated image is formed from the high-definition image.
  • an estimated deteriorated image is formed by applying a deterioration processing kernel such as BlurKernel to a high-definition image.
  • BlurKernel is composed of, for example, a one-dimensional or two-dimensional Gaussin function, and by applying a Gaussian function to a plurality of pixel data constituting a high-definition image, preferably all the pixel data.
  • An estimated deteriorated image that is deteriorated (blurred) than the image is formed.
  • step 4 the target image and the estimated deteriorated image are compared, and a difference (difference image) between the target image and the estimated deteriorated image is derived. Further, an updated component is generated by applying a BPK (BackProjectionKernel) to the derived difference (difference image) in S5 (step 5) and multiplying by a coefficient ⁇ as necessary, thereby obtaining a high-definition image. Are combined (for example, added) to update the high-definition image.
  • BPK BackProjectionKernel
  • the processing from S3 to S5 is repeated until the end condition is satisfied.
  • the termination condition for example, when it is determined that the difference (error) between the target image and the estimated deteriorated image is sufficiently small, or when a predetermined number of times (for example, five times) has been repeated, it is preferable. .
  • step 6 when the end condition is satisfied and the update of the high-definition image is completed, the update result at the end time is set as the 3D rendering image (high-resolution image) after the refinement process.
  • BPK BackProjectionKernel
  • a Gaussian filter for example, a Gaussian filter, a bilateral filter, a sigmoid function, and the like are suitable.
  • the Gaussian filter is, for example, a weighted smoothing filter according to the Gaussian function of Formula 1. The closer to the center of the filter, the greater the weight is given, and a smoother and more natural smoothing effect can be expected compared to a simple averaging filter.
  • Equation 1 is variance and corresponds to the width of the Gaussian function. As the value of ⁇ increases, the smoothing effect increases, but the blur accompanying smoothing becomes more prominent, so it is desirable to set the value of ⁇ appropriately.
  • the bilateral filter is, for example, a weighting filter according to the function of Formula 2.
  • the bilateral filter smoothes the noise without dulling the edge, in addition to the pixel value of the pixel of interest and the pixel value of its surrounding pixels, Perform averaging by weighting according to Gaussian distribution.
  • the Gaussian filter is an image-independent filter
  • the bilateral filter is a filter adapted to the pixel value (luminance value) distribution of the image.
  • Equation 2 ⁇ 1 and ⁇ 2 represent weights in the spatial direction and the pixel value direction, respectively, and K is a normalization factor.
  • the bilateral filter also considers the gradient of the pixel value, and when the difference between the pixel value of the peripheral pixel and the pixel value of the target pixel is large, the filter weight coefficient approaches 0 (zero). Therefore, smoothing processing is performed using only peripheral pixels having pixel values close to the target pixel, and blurring of the edge can be suppressed as much as possible.
  • Equation 4 shows a function that applies a sigmoid function.
  • the amount of addition to the updated image (high-definition image) may be controlled by applying the function of Equation 3 or Equation 4 to the difference image between the target image and the estimated deteriorated image. For example, the addition amount is suppressed when the addition amount is large, and the addition amount is increased when the addition amount is small.
  • FIG. 8 is a diagram showing a specific example of a sigmoid curve, and FIG. 8 shows a curve corresponding to the function of Equation (4).
  • “A” in Expression 4 is called a gain, and the gradient in the vicinity of the zero cross of the curve in FIG. 8 can be controlled according to the magnitude of “a” (gain).
  • the maximum value and the minimum value of S (u) are controlled according to the magnitude of K.
  • the addition may be performed when the addition amount is less than the threshold, and the addition may not be performed when the addition amount is greater than or equal to the threshold.
  • the image size of the 3D rendering image is recovered by interpolation processing, and the resolution of the 3D rendering image is recovered by high definition processing. For example, it is possible to obtain a 3D rendered image having the same image size and resolution as the 3D rendered image obtained by setting all the rays corresponding to all pixels on the screen (see FIG. 2).
  • the number of rays used in the three-dimensional image forming unit 30 can be determined according to the volume rate of the volume data formed in the volume configuration unit 20, for example.
  • the volume rate in the standard mode is 3.0 [vol / sec] (3 volumes per second), it becomes about 300 [msec / vol] (time per volume).
  • the number of rays (rendered image size) in the standard mode is 30000 pixels (200 ⁇ 150), and the image processing time (rendering operation time) per ray is 0.01 [msec / ray].
  • the rendering processing time of all rays for one volume is 300 (30000 ⁇ 0.01) [msec / vol], which is in time for the standard mode volume rate of about 300 [msec / vol].
  • the number of pixels needs to be 25000 (250 ⁇ 0.01). That is, it is necessary to reduce the number of rays from 30000 to 25000 (5/6).
  • the low-resolution image having 25,000 pixels is increased to a high-resolution image having 30000 pixels by super-resolution enlargement processing in the resolution processing block 40.
  • the number of pixels needs to be 20000 (200 ⁇ 0.01). That is, it is necessary to reduce the number of rays from 30000 to 20000 (2/3).
  • the low resolution image having 20000 pixels is increased in resolution to a high resolution image having 30000 pixels by the super-resolution enlargement process in the resolution processing block 40.
  • FIG. 9 is a diagram for explaining a specific example 2 of processing by the ultrasonic diagnostic apparatus of FIG.
  • FIG. 9 illustrates a specific example of processing in the transmission / reception unit 12, the volume configuration unit 20, the 3D image forming unit 30, and the resolution processing block 40.
  • the transmission / reception unit 12 performs three-dimensional scanning while moving the position of the scanning plane (frame) in the frame direction in the three-dimensional space, and thereby, a plurality of frames corresponding to the plurality of scanning planes from the three-dimensional space. Get frame data.
  • the total number of voxel data constituting the volume data is reduced, and the size of the volume data is small.
  • the volume configuration unit 20 performs reconstruction processing on the frame data of a plurality of frames arranged in the frame direction to form volume data corresponding to the three-dimensional space.
  • the volume data is composed of a plurality of voxel data arranged three-dimensionally in the data space.
  • a three-dimensional coordinate conversion process (scan conversion process) is performed.
  • FIG. 10 is a diagram showing a specific example 2 of the coordinate conversion process.
  • FIG. 10 partially illustrates frame data composed of a plurality of line data, and partially illustrates volume data composed of a plurality of voxels (data).
  • the volume configuration unit 20 obtains a plurality of voxels (data) constituting the volume data based on the plurality of line data constituting the frame data.
  • Each voxel (data) is obtained, for example, by interpolation processing based on a plurality of line data located in the vicinity of the voxel.
  • the volume of each voxel (data) constituting the volume data is larger than that of the specific example 1 in FIG. Therefore, for example, as in the first specific example of FIG. 3, when interpolation processing is performed using only four interpolation line data located in the vicinity of the center of the interpolation target voxel, line data that is not used for interpolation remains. End up. If there is line data that is not used for interpolation, for example, aliasing may occur.
  • a Gaussian filter on a plurality of line data before the coordinate conversion processing (interpolation processing).
  • a process that convolves neighboring data such as a Gaussian filter with respect to target line data to be preprocessed within a range of a one-dot chain line surrounding the target line data.
  • target line data After processing. Thereby, the value of the line data in the vicinity of the target line data (within the range of the alternate long and short dash line) is reflected in the processed target line data.
  • the 3D image forming unit 30 sets a plurality of rays as virtual lines of sight with respect to the volume data, performs a rendering operation for each ray, and performs an on-screen operation.
  • a 3D (three-dimensional) rendered image is formed based on a plurality of pixel values obtained from a plurality of rays.
  • the 3D image forming unit 30 sets a plurality of rays corresponding to the total number of volume data. That is, compared to the specific example 1 of FIG. 2, in the specific example 2 of FIG. 9, the total number of voxel data constituting the volume data is reduced. In Example 1, the number of rays is reduced as compared with the case where all the rays corresponding to all the pixels on the screen are set.
  • the three-dimensional image forming unit 30 performs a known rendering operation for each ray whose number is reduced, and forms a 3D (three-dimensional) rendered image by obtaining a plurality of pixel values on the screen.
  • the processing time of the image forming process that is, the processing time of the rendering operation for a plurality of rays is shortened.
  • the number of pixels of the 3D rendering image is small, the image size is small, and the resolution of the image is also reduced.
  • the resolution processing block 40 super-resolution enlargement processing for recovering the image size and resolution of the 3D rendering image is performed. That is, a high-resolution image (3D rendering image) obtained by performing super-resolution enlargement processing on the low-resolution image (3D rendering image) formed in the three-dimensional image forming unit 30 to restore the image size and resolution. Is formed and displayed on the display unit 50.
  • the resolution processing block 40 includes a preprocessing unit 42, an interpolation processing unit 44, and a refinement processing unit 46 (see FIG. 1).
  • the resolution processing block 40 executes processing detailed with reference to FIGS.
  • a super-resolution enlargement process is performed on the image (3D rendering image) to form a high-resolution image (3D rendering image) in which the image size and resolution are restored.
  • the image size of the 3D rendering image is recovered by the interpolation processing, and the resolution of the 3D rendering image is recovered by the high definition processing.
  • the image size of the 3D rendering image is recovered by the interpolation processing, and the resolution of the 3D rendering image is recovered by the high definition processing.
  • the ultrasonic diagnostic apparatus suitable for the implementation of the present invention has been described above.
  • At least one of the units 46 may be realized by a computer, and the computer may function as an ultrasonic image processing apparatus.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

　三次元画像形成部（３０）は、ボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する。解像度処理ブロック（４０）は、三次元画像形成部（３０）において形成された超音波画像を高解像度化する。三次元画像形成部（３０）の画像形成処理に利用されるレイの本数が低減され、その画像形成処理の処理時間を短縮して超音波画像が形成される。さらに、解像度処理ブロック（４０）において、超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した超音波画像の解像度が高められる。

Description

超音波診断装置
　本発明は、超音波診断装置に関し、特に、ボリュームデータに基づいて超音波画像を形成する技術に関する。
　診断対象を含む三次元空間に対して超音波を送受することにより得られるボリュームデータに基づいて、診断対象を映し出した三次元の超音波画像を形成する技術が知られている。例えば、特許文献１には、ボリュームレンダリング法により三次元の超音波画像を形成する技術が示されている。ボリュームレンダリング法によれば、診断対象をその表面から内部に亘って透過するように立体的に映し出した超音波画像を形成することができる。
　例えば、ボリュームレンダリング法においては、ボリュームデータに対して複数のレイが設定され、各レイごとにレンダリング演算を行って画素値を得ることにより、複数のレイから得られる複数の画素値に基づいて三次元の超音波画像が形成される。
　しかし、ボリュームレンダリング法において、多数のレイ（例えば数千から数万本のレイ）を対象としてレンダリング演算を行うと演算時間が膨大となってしまう。また、演算時間を短縮するために単にレイの本数を減らしてしまうと超音波画像の解像度が低下してしまう。つまり、例えばボリュームレンダリング法等のボリュームデータに基づく超音波画像の形成においては、画像を得るための演算時間とその画像に関する解像度がトレードオフの関係にある。
　ところで、超音波画像に限らず一般的な画像において、画像を精細化して画質を向上させる技術として、例えばＩＢＰ（Iterative Back Projection）等の技術が提案されている（非特許文献１参照）。このような精細化に係る技術の超音波画像への応用が期待される。
特開２００８－２５９６９７号公報
MICHAL IRANI and SHMUEL PELEG,「Improving Resolution by Image Registration」,GRAPHICAL MODELS AND IMAGE PROCESSING,Vol.53,No.3,May,pp.231-239,1991
　上述した背景技術に鑑み、本願の発明者は、ボリュームデータに基づく超音波画像の画像形成技術について研究開発を重ねてきた。
　本発明は、上述した研究開発の過程において成されたものであり、その目的は、ボリュームデータに基づいて超音波画像を形成するにあたり、画像形成処理の処理時間を短縮しつつ画像の解像度の低下を抑えることにある。
　上記目的にかなう好適な超音波診断装置は、超音波を送受するプローブと、プローブを送信制御することにより超音波の受信信号を得る送受信部と、超音波の受信信号に基づいて得られるボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する画像形成部と、画像形成部において形成された超音波画像を高解像度化する解像度処理部と、を有し、画像形成処理に利用するレイの本数を低減することにより、当該画像形成処理の処理時間を短縮して超音波画像を形成し、当該超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した当該超音波画像の解像度を高めることを特徴とする。
　上記装置において、超音波を送受するプローブは三次元画像用の超音波探触子であり、例えば、二次元的に配列された複数の振動素子を備える二次元アレイプローブや、一次元的に配列された複数の振動素子を機械的に動かすメカニカルプローブ等が好適である。送受信部は、例えば、診断対象を含む三次元空間内において超音波ビーム（送信ビームと受信ビーム）を立体的に走査して超音波の受信信号を得る。なお、送受信部は、例えば送信開口合成等の技術を利用して超音波の受信信号を得てもよい。
　ボリュームデータは、例えば、三次元空間内から得られる超音波の受信信号に対する座標変換処理や補間処理等により形成される。例えば、データ空間内において三次元的に配列された複数のボクセルデータによりボリュームデータが構成される。
　画像形成部は、ボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する。その画像形成処理としては、例えばボリュームレンダリング処理が好適である。ボリュームレンダリング処理においては、ボリュームデータに対して、仮想的な視線として複数のレイが設定され、各レイごとにレンダリング演算を行って画素値を得ることにより、複数のレイから得られる複数の画素値に基づいてレンダリング画像が形成される。なお、画像形成部は、例えばサーフェイスレンダリング等の公知の処理により超音波画像を形成してもよい。
　解像度処理部は、画像形成部において形成された超音波画像を高解像度化する。解像度処理部は、例えば、画像形成部において形成された超音波画像に補間データを挿入してその超音波画像の画素数を増加させる補間処理と、補間処理により画素数を増加させた超音波画像に対する精細化処理により、超音波画像を高解像度化する。補間処理においては、例えば、線形補間等により補間データを得ることができるものの、線形補間以外の他の公知の技術により補間処理が実現されてもよい。また、精細化処理においては、例えばＩＢＰ（Iterative Back Projection）等の技術を利用することが望ましいものの、他の公知の技術が利用されてもよい。
　そして上記装置は、画像形成処理に利用するレイの本数を低減することにより、その画像形成処理の処理時間を短縮して超音波画像を形成し、その超音波画像を高解像度化することにより、レイの本数の低減に伴って低下したその超音波画像の解像度を高める。これにより、画像形成処理の処理時間を短縮しつつ画像の解像度の低下を抑えることが可能になる。
　望ましい具体例において、前記超音波診断装置は、前記ボリュームデータのボリュームレートに応じて、画像形成処理の処理時間がボリュームレートに適合するように、当該画像形成処理に利用するレイの本数を低減することを特徴とする。
　望ましい具体例において、前記超音波診断装置は、前記ボリュームデータを構成するボクセルデータの総数を低減することにより、当該ボリュームデータに対して必要とされるレイの本数を低減することを特徴とする。
　望ましい具体例において、前記解像度処理部は、前記画像形成部において形成された超音波画像に補間データを挿入して当該超音波画像の画素数を増加させる補間処理と、当該補間処理により画素数を増加させた超音波画像に対する精細化処理により、超音波画像を高解像度化することを特徴とする。
　望ましい具体例において、前記解像度処理部は、前記精細化処理において、前記補間処理により画素数を増加させた超音波画像を対象画像とし、当該対象画像を高精細化して高精細画像を得ることを特徴とする。
　望ましい具体例において、前記解像度処理部は、高精細画像を劣化させた劣化画像と対象画像との比較結果に基づいて更新成分を導出し、高精細画像と更新成分とを合成して高精細画像を更新することにより、当該対象画像を高精細化した高精細画像を得ることを特徴とする。
　また、上記目的にかなう好適な超音波画像処理装置は、超音波を送受することにより得られたボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する画像形成部と、画像形成部において形成された超音波画像を高解像度化する解像度処理部と、を有し、画像形成処理に利用するレイの本数を低減することにより、当該画像形成処理の処理時間を短縮して超音波画像を形成し、当該超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した当該超音波画像の解像度を高めることを特徴とする。
　上記超音波画像処理装置は、例えば、コンピュータにより実現することができる。つまり、超音波を送受することにより得られたボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する画像形成機能と、画像形成機能により形成された超音波画像を高解像度化する解像度処理機能と、画像形成処理に利用するレイの本数を低減することにより、当該画像形成処理の処理時間を短縮して超音波画像を形成し、当該超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した当該超音波画像の解像度を高める機能をコンピュータに実現させるプログラムにより、コンピュータを上記超音波画像処理装置として機能させることができる。そのプログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供されてもよいし、インターネットなどの電気通信回線を介してコンピュータに提供されてもよい。
　本発明により、ボリュームデータに基づいて超音波画像を形成するにあたり、画像形成処理の処理時間を短縮しつつ画像の解像度の低下を抑えることが可能になる。
本発明の実施において好適な超音波診断装置の全体構成図である。 図１の超音波診断装置による処理の具体例１を説明するための図である。 座標変換処理の具体例１を示す図である。 前処理部における前処理の具体例を説明するための図である。 補間処理部における補間処理の具体例を説明するための図である。 精細化処理部における精細化処理の具体例を説明するための図である。 精細化処理の具体例であるＩＢＰ処理を説明するための図である。 シグモイド曲線の具体例を示す図である。 図１の超音波診断装置による処理の具体例２を説明するための図である。 座標変換処理の具体例２を示す図である。
　図１は、本発明の実施において好適な超音波診断装置の全体構成図である。プローブ１０は、三次元画像用の超音波探触子であり、例えば、二次元的に配列された複数の振動素子を備える二次元アレイプローブや、一次元的に配列された複数の振動素子を機械的に動かすメカニカルプローブ等が好適な具体例である。
　送受信部１２は、送信ビームフォーマおよび受信ビームフォーマとしての機能を備えている。つまり、送受信部１２は、プローブ１０が備える複数の振動素子の各々に対して送信信号を出力することにより送信ビームを形成し、さらに、複数の振動素子から得られる複数の受波信号に対して整相加算処理などを施して受信ビームを形成する。これにより、超音波ビーム（送信ビームと受信ビーム）が走査面内において走査され、各受信ビームごとに超音波の受信信号が形成される。超音波の受信信号（ＲＦ信号）は、検波処理等の受信信号処理を施される。これにより、各受信ビームごとにその受信ビームに対応したラインデータが得られる。
　送受信部１２は、例えば、診断対象を含む三次元空間内において走査面の位置を移動させながら立体的な走査を行う。送受信部１２は、例えば、超音波ビームを電子的に走査して走査面を形成し、複数のラインデータからなるフレームデータを得る。そして、走査面が電子的または機械的に移動され、これにより、三次元空間内から複数の走査面に対応した複数フレームのフレームデータが得られる。
　ボリューム構成部２０は、三次元空間内から得られた複数フレームのフレームデータに対して、リコンストラクション処理を施して、三次元空間に対応したボリュームデータを形成する。ボリュームデータは、データ空間内において三次元的に配列された複数のボクセルデータで構成される。
　三次元画像形成部３０は、ボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する。その画像形成処理としては、例えばボリュームレンダリング処理が好適である。ボリュームレンダリング処理においては、ボリュームデータに対して、仮想的な視線として複数のレイが設定され、各レイごとにレンダリング演算を行って画素値を得ることにより、複数のレイから得られる複数の画素値に基づいて３Ｄ（三次元）レンダリング画像が形成される。
　解像度処理ブロック４０は、前処理部４２と補間処理部４４と精細化処理部４６で構成され、三次元画像形成部３０において形成された超音波画像、例えば３Ｄレンダリング画像を高解像度化する。解像度処理ブロック４０における処理の具体例については後に詳述する。解像度処理ブロック４０において高解像度化された超音波画像、例えば高解像度化された３Ｄレンダリング画像は、必要に応じてグラフィックデータ等が合成され、表示部５０に表示される。
　制御部６０は、図１に示す超音波診断装置内を全体的に制御する。図１の超音波診断装置は、例えば、マウス、キーボード、トラックボール、タッチパネル、その他のスイッチ類等の操作デバイスを備えていることが望ましい。そして、制御部６０による全体的な制御には、操作デバイス等を介してユーザから受け付けた指示も反映される。
　図１に示す構成（符号を付した各部）のうち、送受信部１２，ボリューム構成部２０，三次元画像形成部３０，前処理部４２，補間処理部４４，精細化処理部４６の各部は、例えば電気電子回路やプロセッサ等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。また、上記各部に対応した機能が、ＣＰＵやプロセッサやメモリ等のハードウェアと、ＣＰＵやプロセッサの動作を規定するソフトウェア（プログラム）との協働により実現されてもよい。表示部５０の好適な具体例は、液晶ディスプレイ等である。制御部６０は、例えば、ＣＰＵやプロセッサやメモリ等のハードウェアと、ＣＰＵやプロセッサの動作を規定するソフトウェア（プログラム）との協働により実現することができる。
　図１の超音波診断装置の全体構成は以上のとおりである。次に、当該超音波診断装置による処理の具体例について説明する。なお、図１に示した構成（符号を付した各部）については、以下の説明において図１の符号を利用する。
　図２は、図１の超音波診断装置による処理の具体例１を説明するための図である。図２には、送受信部１２とボリューム構成部２０と三次元画像形成部３０と解像度処理ブロック４０における処理の具体例が図示されている。
　送受信部１２は、三次元空間内において、フレーム方向に走査面（フレーム）の位置を移動させながら立体的な走査を行い、これにより、三次元空間内から複数の走査面に対応した複数フレームのフレームデータを得る。
　ボリューム構成部２０は、フレーム方向に配列された複数フレームのフレームデータに対して、リコンストラクション処理を施して、三次元空間に対応したボリュームデータを形成する。ボリュームデータは、データ空間内において三次元的に配列された複数のボクセルデータで構成される。リコンストラクション処理においては、三次元的な座標変換処理（スキャンコンバージョン処理）が行われる。
　図３は、座標変換処理の具体例１を示す図である。図３には、複数のラインデータで構成されるフレームデータが部分的に図示されており、また、複数のボクセル（データ）で構成されるボリュームデータが部分的に図示されている。ボリューム構成部２０は、フレームデータを構成する複数のラインデータに基づいて、ボリュームデータを構成する複数のボクセル（データ）を得る。各ボクセル（データ）は、例えば、そのボクセルの近傍に位置する複数のラインデータに基づいて補間処理により得られる。
　例えば、図３において、補間対象ボクセルの近傍に位置する４つの補間用ラインデータから、補間処理により補間対象ボクセルの値（ボクセル値）が算出される。例えば、補間対象ボクセルと各補間用ラインデータとの間の距離に応じた重み付けにより、４つの補間用ラインデータの値を重み付け加算して、補間対象ボクセルのボクセル値が算出される。
　なお、補間用ラインデータは４個以外の複数個であってもよい。また、例えば、補間対象ボクセルの近傍における複数フレームから、例えば補間対象ボクセルを間に挟む２枚のフレームから、複数の補間用ラインデータが選択されてもよい。
　ボリューム構成部２０は、ボリュームデータを構成する複数のボクセルの各々を補間対象ボクセルとして、補間処理により補間対象ボクセルの値（ボクセル値）を算出し、複数のボクセルデータからなるボリュームデータを形成する。
　図２に戻り、ボリュームデータが形成されると、三次元画像形成部３０は、ボリュームデータに対して、仮想的な視線として複数のレイを設定し、各レイごとにレンダリング演算を行ってスクリーン上における画素値を得ることにより、複数のレイから得られる複数の画素値に基づいて３Ｄ（三次元）レンダリング画像を形成する。
　図２の具体例１において、三次元画像形成部３０は、スクリーン上の全画素に対応した全てのレイを設定せずにレイを間引きながら設定する。例えば、ＸＹ座標系のスクリーンに対し、Ｘ方向とＹ方向にそれぞれ等画素間隔を空けながら、複数のレイが設定される。これにより、スクリーン上の全画素に対応した全てのレイを設定する場合に比べて、レイの本数が低減される。
　そして、三次元画像形成部３０は、間引きながら設定した各レイを対象として公知のレンダリング演算を行い、スクリーン上において間引かれた複数の画素値を得ることにより３Ｄ（三次元）レンダリング画像を形成する。
　全てのレイを設定する場合に比べて、レイの本数が低減されているため、画像形成処理の処理時間、つまり複数のレイに対するレンダリング演算の処理時間が短縮される。しかし、全てのレイを設定する場合に比べて、レイの本数が低減されているため、３Ｄレンダリング画像の画素数が少なく、画像サイズが小さい上に画像の解像度も低下してしまう。
　そこで、解像度処理ブロック４０において、３Ｄレンダリング画像の画像サイズと解像度を回復させる超解像拡大処理が行われる。つまり、三次元画像形成部３０において形成された低解像度画像（３Ｄレンダリング画像）に対して、超解像拡大処理が施されて、画像サイズと解像度を回復させた高解像度画像（３Ｄレンダリング画像）が形成され、表示部５０に表示される。
　解像度処理ブロック４０は、前処理部４２と補間処理部４４と精細化処理部４６で構成され（図１参照）、これら各部において３Ｄレンダリング画像が処理される。以下に、解像度処理ブロック４０内の各部における処理の具体例を説明する。
　前処理部４２（図１）は、補間処理部４４における補間処理と精細化処理部４６における精細化処理に先だって、補間処理や精細化処理を好適に行うための前処理を行う。前処理部４２は、三次元画像形成部３０において形成された３Ｄレンダリング画像（低解像度画像）内において構造物の繋がりを検出し、構造物の繋がりを強化するｐｒｅＡＩＰ処理を実行する。
　図４は、前処理部４２における前処理の具体例を説明するための図である。図４には、３Ｄレンダリング画像に対するｐｒｅＡＩＰ処理の具体例が示されている。
　図４において、ｐｒｅＡＩＰ処理前の３Ｄレンダリング画像は、三次元画像形成部３０において形成された低解像度画像であり、スクリーン（図２）上において得られた複数の画素データで構成される。
　前処理部４２は、３Ｄレンダリング画像（低解像度画像）を構成する複数の画素データに対してｐｒｅＡＩＰ処理を実行する。例えば、図４に示すように、対象データ（処理対象となる画素データ）を中心として、方向１～方向４の４方向において、各方向ごとに５個の画素データに関する分散値（輝度の分散値）が算出される。そして、分散値が最小となる方向が特定され、特定された方向における５個の画素データの平均値（輝度の平均値）が対象データの処理後のデータとされる。なお、方向の総数は４方向以外（例えば２方向，８方向など）も可能であり、各方向のデータ総数も５個以外（例えば３個，７個，９個など）とされてもよい。また、平均値に代えて重みづけ加算処理等により得られた値が利用されてもよい。
　前処理部４２は、３Ｄレンダリング画像（低解像度画像）を構成する複数の画素データ（望ましくは全ての画素データ）の各々を対象データとしてｐｒｅＡＩＰ処理を実行し、ｐｒｅＡＩＰ処理後の画素データ（対象データ）からなる３Ｄレンダリング画像を得る。
　一般に、組織等の構造物の表面では、表面の接線方向における輝度の分散が最少となる傾向にある。そのため、ｐｒｅＡＩＰ処理により、輝度の分散が最小となる方向を特定して、その方向における平均値を得ることにより、ノイズ等を抑制しつつ構造物の繋がりを維持または強調した画像を得ることが可能になる。なお、ｐｒｅＡＩＰ処理の前に、３Ｄレンダリング画像（低解像度画像）に対して平滑化フィルタ処理等を施し、ｐｒｅＡＩＰ処理に悪影響を及ぼすノイズ等を予め除去しておくことが望ましい。
　補間処理部４４（図１）は、前処理部４２において前処理を施された３Ｄレンダリング画像を補間処理する。補間処理部４４は、前処理後の３Ｄレンダリング画像を構成する複数の画素データに対して、補間処理により得られる補間データを画素データ間に挿入することにより画素数を増加させ、補間処理後の３Ｄレンダリング画像を得る。
　図５は、補間処理部４４における補間処理の具体例を説明するための図である。図５において、補間処理前の３Ｄレンダリング画像は、ｐｒｅＡＩＰ処理後の３Ｄレンダリング画像（図４）である。補間処理部４４は、補間処理前の３Ｄレンダリング画像を構成する複数の画素データに対して、例えば線形補間処理により得られる補間データを画素データ間に挿入することにより、補間処理後の３Ｄレンダリング画像を得る。例えば、Ｘ方向において互いに隣接する２つの画素データ間に１つの補間データが挿入され、さらにＹ方向において互いに隣接する２つの画素データ（Ｘ方向において挿入された補間データを含む）間に１つの補間データが挿入される。
　補間データは、例えば、互いに隣接する２つの画素データの中間値とされる。なお、例えば、補間データが挿入される位置の近傍における２つ以上画素データを参照して、補間データのデータ値が決定されてもよい。また、補間データは、その近傍の画素データを参照して得られることが望ましいものの、近傍の画素データを参照せずに例えば一定値（例えば一定輝度）の補間データが画素データ間に挿入されてもよい。さらに、２つの画素データ間に２つ以上の補間データが挿入されてもよい。
　補間処理部４４は、補間処理前の３Ｄレンダリング画像の全域に亘って、画素データ間に補間データを挿入し、補間処理後の３Ｄレンダリング画像を得る。補間処理部４４において補間処理された３Ｄレンダリング画像は、精細化処理部４６（図１）において精細化処理される。
　図６は、精細化処理部４６における精細化処理の具体例を説明するための図である。図６において、精細化処理前の３Ｄレンダリング画像は、補間処理後の３Ｄレンダリング画像（図５）である。精細化処理部４６は、精細化処理前の３Ｄレンダリング画像を、例えばＩＢＰ処理により高精細化することにより、精細化処理後の３Ｄレンダリング画像を得る。
　図７は、精細化処理の具体例であるＩＢＰ処理を説明するための図である。精細化処理部４６は、ＩＢＰ（Iterative Back Projection：反復逆投影）処理を行って３Ｄレンダリング画像を高精細化する。
　まず、Ｓ１（ステップ１）において、補間処理後の３Ｄレンダリング画像が対象画像とされる。また、Ｓ２（ステップ２）において、対象画像が仮の高精細画像とされる。
　次に、Ｓ３（ステップ３）において、高精細画像から推定劣化画像が形成される。例えば、高精細画像に対して、BlurKernel等の劣化処理用カーネルを作用させて、推定劣化画像が形成される。BlurKernelは、例えば１次元又は２次元のガウシアン(Gaussin)関数で構成され、高精細画像を構成する複数の画素データ、望ましくは全ての画素データに対して、ガウシアン関数を作用させることにより、高精細画像よりも劣化した（ボケた）推定劣化画像が形成される。
　そして、Ｓ４（ステップ４）において、対象画像と推定劣化画像が比較され、対象画像と推定劣化画像の差分（差分画像）が導出される。さらに、導出された差分（差分画像）に対して、Ｓ５（ステップ５）において、ＢＰＫ（BackProjectionKernel）を作用させ、必要に応じて係数αを乗算することにより、更新成分が生成され、高精細画像と更新成分が合成（例えば加算）されて高精細画像が更新される。
　Ｓ３からＳ５の処理は、終了条件が満たされるまで繰り返される。終了条件としては、例えば、対象画像と推定劣化画像との差分（誤差）が十分に小さいと判断された場合、定められた回数（例えば５回）の繰り返しが終了した場合、などが好適である。
　こうして、Ｓ６（ステップ６）において、終了条件を満たして高精細画像の更新が終了すると、終了時点における更新結果が精細化処理後の３Ｄレンダリング画像（高解像度画像）とされる。
　図７を利用して説明したＩＢＰ処理では、画像内における構造物のエッジが強調されるとともに、画像内におけるばらつきも強調されてしまう。そのため、画像内におけるばらつきを抑えつつ、構造物のエッジを強調するために、Ｓ５において、差分画像に対してＢＰＫ（BackProjectionKernel）を作用させている。ＢＰＫとしては、例えば、ガウシアンフィルタ、バイラテラルフィルタ、シグモイド関数等が好適である。
　ガウシアンフィルタは、例えば数１式のガウス関数に従った重み付け平滑化フィルタである。フィルタの中央に近いほど大きな重みが付けられ、単純な平均化フィルタに比べ、より滑らかで自然な平滑化効果が期待できる。対象画像と推定劣化画像との差分画像に対してガウシアンフィルタを施すことにより、ばらつきに関する加算量が抑えられ、ばらつきの強調が抑制される。
Figure JPOXMLDOC01-appb-M000001
　なお、数１式におけるσは分散であり、ガウス関数の幅に相当する。σの値が大きいほど平滑化効果は大きくなるが平滑化に伴うボケも顕著になるため、σの値は適宜に設定されることが望ましい。
　バイラテラルフィルタは、例えば数２式の関数に従った重み付けフィルタである。バイラテラルフィルタは、エッジを鈍らせずにノイズを平滑化するために、注目画素からの距離に応じた重み付けに加えて、注目画素の画素値とその周辺画素の画素値の差に応じて、ガウス分布に従った重み付けによる平均化を行う。ガウシアンフィルタは画像に依存しないフィルタであるのに対し、バイラテラルフィルタは、画像の画素値（輝度値）分布に適応したフィルタである。対象画像と推定劣化画像との差分画像に対してバイラテラルフィルタを施すことにより、構造物のエッジ強調成分等を維持しつつ、ばらつきに関する加算量を選択的に抑えることが可能になる。
Figure JPOXMLDOC01-appb-M000002
　なお、数２式におけるσ１とσ２は、それぞれ、空間方向と画素値方向の重みを表し、Ｋは正規化ファクタである。バイラテラルフィルタは、画素値の勾配も考慮しており、周辺画素の画素値と注目画素の画素値との差が大きい場合に、フィルタの重み係数が０（ゼロ）に近づく。そのため、注目画素に近い画素値を持つ周辺画素のみを利用して平滑化処理が行われ、エッジのボケをできる限り抑えることが可能になる。
　シグモイド関数は、例えば数３式により表現される。また、数４式には、シグモイド関数を応用した関数が示されている。対象画像と推定劣化画像との差分画像に対して、数３式または数４式の関数を作用させて、更新画像（高精細画像）への加算量を制御するようにしてもよい。例えば、加算量が大きい場合に加算量が抑制され、加算量が小さい場合に加算量が増加される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　図８は、シグモイド曲線の具体例を示す図であり、図８には、数４式の関数に対応した曲線が図示されている。数４式におけるａはゲインと呼ばれ、ａ（ゲイン）の大きさに応じて、図８における曲線のゼロクロス付近における勾配を制御することができる。また、数４式において、Ｋの大きさに応じてＳ（ｕ）の最大値と最小値が制御される。
　なお、シグモイド関数を利用せずに、閾値により更新画像（高精細画像）への加算量を制御するようにしてもよい。例えば、加算量が閾値未満の場合には加算を行い、加算量が閾値以上の場合には加算を行わないようにしてもよい。
　以上に詳述した処理により、解像度処理ブロック４０において、補間処理により３Ｄレンダリング画像の画像サイズが回復され、高精細化処理により３Ｄレンダリング画像の解像度が回復される。例えば、スクリーン（図２参照）上の全画素に対応した全てのレイを設定して得られる３Ｄレンダリング画像と同じ画像サイズで同程度の解像度の３Ｄレンダリング画像を得ることが可能になる。
　なお、三次元画像形成部３０において利用されるレイの本数は、例えば、ボリューム構成部２０において形成されるボリュームデータのボリュームレートに応じて決定することができる。
　例えば、標準モードにおけるボリュームレートが３．０［ｖｏｌ／ｓｅｃ］（１秒あたり３ボリューム）であると、約３００［ｍｓｅｃ／ｖｏｌ］（１ボリュームあたりの時間）となる。この場合において、標準モードにおけるレイの本数（レンダリング画像のサイズ）が３００００画素（２００×１５０本）であり、レイ１本あたりの画像処理時間（レンダリング演算時間）が０．０１［ｍｓｅｃ／ｒａｙ］とすると、１ボリュームに関する全レイのレンダリング処理時間は３００（３００００×０．０１）［ｍｓｅｃ／ｖｏｌ］となり、標準モードのボリュームレート約３００［ｍｓｅｃ／ｖｏｌ］に間に合う。
　これに対し、例えば、ボリュームレートを４．０［ｖｏｌ／ｓｅｃ］、つまり２５０［ｍｓｅｃ／ｖｏｌ］に上げるには、画素数を２５０００（２５０÷０．０１）とする必要がある。つまり、レイ本数を３００００本から２５０００本に減らす（５／６にする）必要がある。この場合には、画素数２５０００の低解像度画像が、解像度処理ブロック４０における超解像拡大処理により、画素数３００００の高解像度画像に高解像度化される。
　また、例えば、ボリュームレートを５．０［ｖｏｌ／ｓｅｃ］、つまり２００［ｍｓｅｃ／ｖｏｌ］に上げるには画素数を２００００（２００÷０．０１）とする必要がある。つまりレイ本数を３００００本から２００００本に減らす（２／３にする）必要がある。この場合には、画素数２００００の低解像度画像が、解像度処理ブロック４０における超解像拡大処理により、画素数３００００の高解像度画像に高解像度化される。
　図９は、図１の超音波診断装置による処理の具体例２を説明するための図である。図９には、送受信部１２とボリューム構成部２０と三次元画像形成部３０と解像度処理ブロック４０における処理の具体例が図示されている。
　送受信部１２は、三次元空間内において、フレーム方向に走査面（フレーム）の位置を移動させながら立体的な走査を行い、これにより、三次元空間内から複数の走査面に対応した複数フレームのフレームデータを得る。
　図２の具体例１と比較して、図９の具体例２においては、ボリュームデータを構成するボクセルデータの総数が低減され、ボリュームデータのサイズが小さい。
　ボリューム構成部２０は、フレーム方向に配列された複数フレームのフレームデータに対して、リコンストラクション処理を施して、三次元空間に対応したボリュームデータを形成する。ボリュームデータは、データ空間内において三次元的に配列された複数のボクセルデータで構成される。リコンストラクション処理においては、三次元的な座標変換処理（スキャンコンバージョン処理）が行われる。
　図１０は、座標変換処理の具体例２を示す図である。図１０には、複数のラインデータで構成されるフレームデータが部分的に図示されており、また、複数のボクセル（データ）で構成されるボリュームデータが部分的に図示されている。ボリューム構成部２０は、フレームデータを構成する複数のラインデータに基づいて、ボリュームデータを構成する複数のボクセル（データ）を得る。各ボクセル（データ）は、例えば、そのボクセルの近傍に位置する複数のラインデータに基づいて補間処理により得られる。
　図３の具体例１と比較して、図１０においては、ボリュームデータを構成する各ボクセル（データ）の体積が大きい。そのため、例えば、図３の具体例１と同様に、補間対象ボクセルの中心の近傍に位置する４つの補間用ラインデータのみを利用して補間処理を行うと、補間に用いられないラインデータが残ってしまう。補間に用いられないラインデータがあると、例えばエイリアシング等を発生させる可能性がある。
　そこで、図１０の具体例２においては、座標変換処理（補間処理）の前に、複数のラインデータに対して、例えばガウシアンフィルタ等による前処理を行うことが望ましい。具体的には、例えば、図１０に示すように、前処理の対象となる対象ラインデータに対し、当該対象ラインデータを取り囲む一点鎖線の範囲でガウシアンフィルタのような近傍データを畳み込むような処理を行って処理後の対象ラインデータを得る。これにより、対象ラインデータの近傍（一点鎖線の範囲内）のラインデータの値を処理後の対象ラインデータに反映させる。
　そして、例えば、全てのラインデータを対象ラインデータとしてガウシアンフィルタを利用した前処理を行った後に、図３の具体例１と同様に、補間対象ボクセルの中心の近傍に位置する４つの補間用ラインデータのみを利用して補間処理を行うことにより、補間に用いられない（補間に影響を与えない）ラインデータの輝度値が存在しないようにすることが可能になる。
　図３の具体例１と比較して、図１０においては、ボクセルデータの総数が少ないため、リコンストラクション処理の時間が短縮される。
　図９に戻り、ボリュームデータが形成されると、三次元画像形成部３０は、ボリュームデータに対して、仮想的な視線として複数のレイを設定し、各レイごとにレンダリング演算を行ってスクリーン上における画素値を得ることにより、複数のレイから得られる複数の画素値に基づいて３Ｄ（三次元）レンダリング画像を形成する。
　三次元画像形成部３０は、ボリュームデータの総数に応じた本数の複数のレイを設定する。つまり、図２の具体例１と比較して、図９の具体例２においては、ボリュームデータを構成するボクセルデータの総数が低減されているため、三次元画像形成部３０は、図２の具体例１においてスクリーン上の全画素に対応した全てのレイを設定する場合よりも、レイの本数を低減する。
　そして、三次元画像形成部３０は、本数を低減させた各レイを対象として公知のレンダリング演算を行い、スクリーン上において複数の画素値を得ることにより３Ｄ（三次元）レンダリング画像を形成する。
　レイの本数が低減されているため、画像形成処理の処理時間、つまり複数のレイに対するレンダリング演算の処理時間が短縮される。しかし、レイの本数が低減されているため３Ｄレンダリング画像の画素数が少なく、画像サイズが小さい上に画像の解像度も低下してしまう。
　そこで、解像度処理ブロック４０において、３Ｄレンダリング画像の画像サイズと解像度を回復させる超解像拡大処理が行われる。つまり、三次元画像形成部３０において形成された低解像度画像（３Ｄレンダリング画像）に対して、超解像拡大処理が施されて、画像サイズと解像度を回復させた高解像度画像（３Ｄレンダリング画像）が形成され、表示部５０に表示される。解像度処理ブロック４０は、前処理部４２と補間処理部４４と精細化処理部４６で構成され（図１参照）、図４～図７を利用して詳述した処理を実行して、低解像度画像（３Ｄレンダリング画像）に対して、超解像拡大処理を施して、画像サイズと解像度を回復させた高解像度画像（３Ｄレンダリング画像）を形成する。
　図９の具体例２においても、補間処理により３Ｄレンダリング画像の画像サイズが回復され、高精細化処理により３Ｄレンダリング画像の解像度が回復される。例えば、図２におけるスクリーン上の全画素に対応した全てのレイを設定して得られる３Ｄレンダリング画像と同じ画像サイズで同程度の解像度の３Ｄレンダリング画像を形成することが可能になる。
　以上、本発明の実施において好適な超音波診断装置について説明したが、例えば、図１に示したボリューム構成部２０と三次元画像形成部３０と前処理部４２と補間処理部４４と精細化処理部４６のうちの少なくとも一つをコンピュータにより実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。
　なお、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。
　１０　プローブ、１２　送受信部、２０　ボリューム構成部、３０　三次元画像形成部、　４０　解像度処理ブロック、４２　前処理部、４４　補間処理部、４６　精細化処理部、５０　表示部、６０　制御部。

Claims (14)

  1. 　超音波を送受するプローブと、
    　プローブを送信制御することにより超音波の受信信号を得る送受信部と、
    　超音波の受信信号に基づいて得られるボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する画像形成部と、
    　画像形成部において形成された超音波画像を高解像度化する解像度処理部と、
    　を有し、
    　画像形成処理に利用するレイの本数を低減することにより、当該画像形成処理の処理時間を短縮して超音波画像を形成し、
    　当該超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した当該超音波画像の解像度を高める、
    　ことを特徴とする超音波診断装置。
  2. 　請求項１に記載の超音波診断装置において、
    　前記ボリュームデータのボリュームレートに応じて、画像形成処理の処理時間がボリュームレートに適合するように、当該画像形成処理に利用するレイの本数を低減する、
    　ことを特徴とする超音波診断装置。
  3. 　請求項１に記載の超音波診断装置において、
    　前記ボリュームデータを構成するボクセルデータの総数を低減することにより、当該ボリュームデータに対して必要とされるレイの本数を低減する、
    　ことを特徴とする超音波診断装置。
  4. 　請求項２に記載の超音波診断装置において、
    　前記ボリュームデータを構成するボクセルデータの総数を低減することにより、当該ボリュームデータに対して必要とされるレイの本数を低減する、
    　ことを特徴とする超音波診断装置。
  5. 　請求項１に記載の超音波診断装置において、
    　前記解像度処理部は、前記画像形成部において形成された超音波画像に補間データを挿入して当該超音波画像の画素数を増加させる補間処理と、当該補間処理により画素数を増加させた超音波画像に対する精細化処理により、超音波画像を高解像度化する、
    　ことを特徴とする超音波診断装置。
  6. 　請求項２に記載の超音波診断装置において、
    　前記解像度処理部は、前記画像形成部において形成された超音波画像に補間データを挿入して当該超音波画像の画素数を増加させる補間処理と、当該補間処理により画素数を増加させた超音波画像に対する精細化処理により、超音波画像を高解像度化する、
    　ことを特徴とする超音波診断装置。
  7. 　請求項３に記載の超音波診断装置において、
    　前記解像度処理部は、前記画像形成部において形成された超音波画像に補間データを挿入して当該超音波画像の画素数を増加させる補間処理と、当該補間処理により画素数を増加させた超音波画像に対する精細化処理により、超音波画像を高解像度化する、
    　ことを特徴とする超音波診断装置。
  8. 　請求項５に記載の超音波診断装置において、
    　前記解像度処理部は、前記精細化処理において、前記補間処理により画素数を増加させた超音波画像を対象画像とし、当該対象画像を高精細化して高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  9. 　請求項６に記載の超音波診断装置において、
    　前記解像度処理部は、前記精細化処理において、前記補間処理により画素数を増加させた超音波画像を対象画像とし、当該対象画像を高精細化して高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  10. 　請求項７に記載の超音波診断装置において、
    　前記解像度処理部は、前記精細化処理において、前記補間処理により画素数を増加させた超音波画像を対象画像とし、当該対象画像を高精細化して高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  11. 　請求項８に記載の超音波診断装置において、
    　前記解像度処理部は、高精細画像を劣化させた劣化画像と対象画像との比較結果に基づいて更新成分を導出し、高精細画像と更新成分とを合成して高精細画像を更新することにより、当該対象画像を高精細化した高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  12. 　請求項９に記載の超音波診断装置において、
    　前記解像度処理部は、高精細画像を劣化させた劣化画像と対象画像との比較結果に基づいて更新成分を導出し、高精細画像と更新成分とを合成して高精細画像を更新することにより、当該対象画像を高精細化した高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  13. 　請求項１０に記載の超音波診断装置において、
    　前記解像度処理部は、高精細画像を劣化させた劣化画像と対象画像との比較結果に基づいて更新成分を導出し、高精細画像と更新成分とを合成して高精細画像を更新することにより、当該対象画像を高精細化した高精細画像を得る、
    　ことを特徴とする超音波診断装置。
  14. 　超音波を送受することにより得られたボリュームデータに対して複数のレイを設定し、複数のレイを利用した画像形成処理により超音波画像を形成する画像形成部と、
    　画像形成部において形成された超音波画像を高解像度化する解像度処理部と、
    　を有し、
    　画像形成処理に利用するレイの本数を低減することにより、当該画像形成処理の処理時間を短縮して超音波画像を形成し、
    　当該超音波画像を高解像度化することにより、レイの本数の低減に伴って低下した当該超音波画像の解像度を高める、
    　ことを特徴とする超音波画像処理装置。
PCT/JP2015/069298 2014-07-11 2015-07-03 超音波診断装置 WO2016006554A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-143435 2014-07-11
JP2014143435A JP5946197B2 (ja) 2014-07-11 2014-07-11 超音波診断装置

Publications (1)

Publication Number Publication Date
WO2016006554A1 true WO2016006554A1 (ja) 2016-01-14

Family

ID=55064190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069298 WO2016006554A1 (ja) 2014-07-11 2015-07-03 超音波診断装置

Country Status (2)

Country Link
JP (1) JP5946197B2 (ja)
WO (1) WO2016006554A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6829801B2 (ja) * 2016-11-02 2021-02-17 株式会社プロアシスト 超音波アレイセンサシステム
JP2020521961A (ja) * 2017-06-02 2020-07-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． エミッショントモグラフィで反復再構成された画像の定量的な保証の尺度として信頼値を提供するシステム及び方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045065A (ja) * 2010-08-25 2012-03-08 Hitachi Aloka Medical Ltd 超音波画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012045065A (ja) * 2010-08-25 2012-03-08 Hitachi Aloka Medical Ltd 超音波画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAL IRANI ET AL.: "Improving Resolution by Image Registration", GRAPHICAL MODELS AND IMAGE PROCESSING, vol. 53, no. 3, May 1991 (1991-05-01), pages 231 - 239, XP000200576, DOI: doi:10.1016/1049-9652(91)90045-L *

Also Published As

Publication number Publication date
JP5946197B2 (ja) 2016-07-05
JP2016019554A (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
US9569818B2 (en) Ultrasonic image processing apparatus
JP5632680B2 (ja) 超音波画像処理装置
JP5002397B2 (ja) 超音波診断装置及びプログラム
EP2453405B1 (en) Ultrasonic image processing apparatus
JP2010259658A (ja) 超音波診断装置
JP2012170826A (ja) 超音波ビーム形成方法及びその装置と超音波画像システム並びにコンピュータで読み取り可能な記録媒体
US11744525B2 (en) Ultrasound diagnosis apparatus with enhanced image resolution
JP7083015B2 (ja) 超解像処理装置、方法及びプログラム
JP5918200B2 (ja) 超音波診断装置
JP5918198B2 (ja) 超音波診断装置
EP3987445A1 (en) Method and system for generating a synthetic elastrography image
JP5946197B2 (ja) 超音波診断装置
JPWO2020183733A1 (ja) Ｘ線撮影装置
JP6045866B2 (ja) 超音波画像処理装置
US20220398734A1 (en) Ultrasonic diagnosis apparatus and image processing method
JP6809950B2 (ja) 超音波画像処理装置
JP2016016282A (ja) 超音波診断装置
JP6793074B2 (ja) 超音波画像処理装置
JP2021074207A (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP2024004645A (ja) 超音波画像処理装置及び超音波画像処理プログラム
JP2023001443A (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
WO2016189955A1 (ja) 超音波診断装置及び超音波画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818737

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15818737

Country of ref document: EP

Kind code of ref document: A1