JP5732001B2 - Two-dimensional image generation apparatus, operation control method thereof, and operation control program - Google Patents
Two-dimensional image generation apparatus, operation control method thereof, and operation control program Download PDFInfo
- Publication number
- JP5732001B2 JP5732001B2 JP2012075836A JP2012075836A JP5732001B2 JP 5732001 B2 JP5732001 B2 JP 5732001B2 JP 2012075836 A JP2012075836 A JP 2012075836A JP 2012075836 A JP2012075836 A JP 2012075836A JP 5732001 B2 JP5732001 B2 JP 5732001B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- frame
- extracted
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000000605 extraction Methods 0.000 claims description 194
- 238000012545 processing Methods 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 10
- 230000006837 decompression Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 230000002427 irreversible effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 210000004204 blood vessel Anatomy 0.000 description 28
- 230000008569 process Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 8
- 239000007787 solid Substances 0.000 description 6
- 238000013075 data extraction Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000005266 casting Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Description
この発明は，二次元画像生成装置ならびにその動作制御方法および動作制御プログラムに関する。 The present invention relates to a two-dimensional image generation apparatus, an operation control method thereof, and an operation control program.
主に医療分野で利用されている四次元画像は，通常の二次元画像（縦，高さ）に比べ，奥行き，時間という二つの次元が追加されるので，データ量が非常に多い。四次元画像を迅速に二次元画像として表示するには，データ量の大幅な削減が要求される。 A four-dimensional image mainly used in the medical field has a very large amount of data because two dimensions of depth and time are added compared to a normal two-dimensional image (vertical and height). In order to quickly display a four-dimensional image as a two-dimensional image, a significant reduction in the amount of data is required.
四次元画像において，ボクセルのクラスタに分割するもの（特許文献１），ボクセルで表現された物体を３次元表示するもの（特許文献２），表示対象群のうち特定の視野に入る表示対象のみを選択して表示するもの（特許文献３），有効領域が抽出されたボクセルデータに対してボリュームレンダリングを行って得られた画像において，不要な領域を削除するもの（特許文献４）などがある。 In a four-dimensional image, one that divides into voxel clusters (Patent Document 1), three-dimensionally displays an object represented by a voxel (Patent Document 2), and only a display object that falls within a specific field of view among a group of display objects There are those that are selected and displayed (Patent Document 3), and those that delete unnecessary areas in an image obtained by performing volume rendering on voxel data from which an effective area has been extracted (Patent Document 4).
引用文献１から４に記載のものでは，四次元画像から二次元画像を効率良く生成することは考えられていない。 In the cited references 1 to 4, it is not considered to efficiently generate a two-dimensional image from a four-dimensional image.
この発明は，四次元画像から二次元画像を効率良く生成することを目的とする。 An object of the present invention is to efficiently generate a two-dimensional image from a four-dimensional image.
この発明による二次元画像生成装置は，抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出する抽出手段，抽出手段によって抽出された画像データを二次元表示用に画像処理する画像処理手段，抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成する抽出マップ生成手段，抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定する判定手段，および判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正する抽出マップ補正手段を備えていることを特徴とする。 The two-dimensional image generating apparatus according to the present invention includes an extracting means for extracting image data from frame image data representing frames constituting a four-dimensional image according to an extraction map indicating image data to be extracted, and an image extracted by the extracting means. In the case of extracting image data from the α-th frame image data representing the α-th frame in the image processing means and extraction means for image processing the data for two-dimensional display, the image data representing the display target image for two-dimensional display When the image data is extracted from the β-th frame image data representing the β-th (where β> α) frame, the α-th frame extraction data is extracted from the α-th frame image data. A β-th frame extraction map is generated so as to extract image data corresponding to the image portion represented by the image data. A determination means for determining whether image data extracted from the β-th frame image represents a display target image for two-dimensional display based on the extraction map generated by the extraction map generation means, and a determination means; The image represented by the image data extracted from the α-th frame image data in response to determining that the image data extracted from the β-th frame image does not represent a display target image for two-dimensional display. The image processing apparatus includes extraction map correction means for correcting the β-th frame extraction map so that image data representing an image in the vicinity of the portion is extracted from the β-th frame image data.
この発明は，二次元画像生成装置に適した動作制御方法も提供している。すなわち，この方法は，抽出手段が，抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出し，画像処理手段が，抽出手段によって抽出された画像データを二次元表示用に画像処理し，抽出マップ生成手段が，抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，判定手段が，抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，抽出マップ補正手段が，判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。 The present invention also provides an operation control method suitable for a two-dimensional image generation apparatus. That is, in this method, the extraction means extracts image data from the frame image data representing the frames constituting the four-dimensional image according to the extraction map indicating the image data to be extracted, and the image processing means extracts the data by the extraction means. When the extracted image data is processed for two-dimensional display, and the extraction map generating means extracts image data from the α-th frame image data representing the α-th frame in the extracting means, the display for two-dimensional display is performed. When an extraction map for the α-th frame is generated so as to extract image data representing the target image, and image data is extracted from β-th frame image data representing the β-th (where β> α) frame, The β-th frame extraction map is extracted so as to extract image data corresponding to the image portion represented by the image data extracted from the frame image data. The determination means determines whether the image data extracted from the β-th frame image represents a display target image for two-dimensional display based on the extraction map generated by the extraction map generation means, and the extraction map The image extracted from the α-th frame image data when the correcting unit determines that the image data extracted from the β-th frame image does not represent a display target image for two-dimensional display by the determining unit. The β-th frame extraction map is corrected so that image data representing an image in the vicinity of the image portion represented by the data is extracted from the β-th frame image data.
この発明は，二次元画像生成装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。 The present invention also provides a computer-readable program for implementing the operation control method of the two-dimensional image generation apparatus.
この発明によると，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップが生成される。生成された第αフレーム用抽出マップにもとづいて，第αフレーム画像データから画像データが抽出される。第αフレーム画像データのうち，表示対象画像を表わす画像データ以外の画像データについては第αフレーム画像データから抽出する必要が無いので，二次元表示用に画像処理する必要もなく，処理時間が短縮される。 According to the present invention, when extracting image data from α-th frame image data representing the α-th frame, an α-th frame extraction map is generated so as to extract image data representing a display target image for two-dimensional display. Is done. Image data is extracted from the α-th frame image data based on the generated α-frame extraction map. Of the α-th frame image data, image data other than the image data representing the display target image need not be extracted from the α-th frame image data, so there is no need to perform image processing for two-dimensional display, and the processing time is reduced. Is done.
第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップが生成される。生成された第βフレーム用抽出マップにもとづいて，第βフレーム用画像データから画像データが抽出される。抽出された画像データが二次元表示用の表示対象画像を表わしていない場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部部分の近傍の画像を表す画像データが第βフレーム画像データから抽出される。表示対象画像が動いた場合など，第βフレーム画像データから二次元表示用の表示対象画像を表わす画像データが抽出されてなかった場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部部分の近傍の画像を表す画像データが第βフレーム画像データから抽出されるので，二次元表示用の表示対象画像を表わす画像データが第βフレームから抽出されるようになる。迅速に，二次元表示用の表示対象画像が得られるようになる。 When extracting image data from β-th frame image data representing a β-th (where β> α) frame, image data corresponding to the image portion represented by the image data extracted from the α-th frame image data is extracted. Thus, the β-th frame extraction map is generated. Image data is extracted from the β-th frame image data based on the generated β-th frame extraction map. If the extracted image data does not represent a display target image for two-dimensional display, image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data is β-th image data. Extracted from frame image data. If the image data representing the display target image for two-dimensional display has not been extracted from the β-th frame image data, such as when the display target image has moved, it is represented by the image data extracted from the α-th frame image data. Since the image data representing the image near the image portion to be extracted is extracted from the β-th frame image data, the image data representing the display target image for two-dimensional display is extracted from the β-th frame. A display target image for two-dimensional display can be obtained quickly.
抽出マップ生成手段は，たとえば，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成し，判定手段は，たとえば，抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，抽出マップ補正手段は，たとえば，判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正するものである。 For example, when extracting image data from the γth frame image data representing the γth (where γ> β) frame, the extraction map generating means is represented by the image data extracted from the βth frame image data. An extraction map for the γ-th frame is generated so as to extract image data corresponding to the image portion, and the determination unit, for example, from the γ-th frame image based on the extraction map for the γ-frame generated by the extraction map generation unit. It is determined whether or not the extracted image data represents a display target image for two-dimensional display. For example, the extraction map correction unit is configured to determine whether the image data extracted from the γth frame image by the determination unit is for two-dimensional display. It is represented by image data extracted from the β-th frame image data in response to determining that it does not represent the display target image. The image data representing the image in the vicinity of the image portion, and corrects the for the γ frame extracting map to extract from the γ-frame image data.
表示対象画像に不透明度が割り当てられる場合には，たとえば，抽出マップ生成手段において生成される第αフレーム用抽出マップは，不透明度が０％よりも大きい画像データを２次元表示用の表示対象画像を表わす画像データとして抽出させるものであり，第βフレーム用抽出マップは，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データであって不透明度が０％よりも大きい画像データを抽出させるものである。 When the opacity is assigned to the display target image, for example, the extraction map for the α-th frame generated by the extraction map generation means uses the image data having an opacity greater than 0% as the display target image for two-dimensional display. The β-th frame extraction map is image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data, and has an opacity level. Image data larger than 0% is extracted.
抽出マップ生成手段は，たとえば，所望の視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出し，かつ死角となる部分の画像データの抽出を停止する第αフレーム用抽出マップを生成するものであり，抽出マップ補正手段は，たとえば，判定手段によって，第βフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。 The extraction map generating means extracts, for example, image data representing a display target image for two-dimensional display when viewed from a desired viewpoint, and extraction for the α-th frame that stops extracting image data of a blind spot. The map is generated, and the extracted map correcting means is, for example, in response to the determination means determining that the image data extracted from the β-th frame image does not represent a display target image for two-dimensional display. The β-th frame extraction map is corrected so that image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data is extracted from the β-th frame image data. is there.
視点変更指令を入力する視点変更指令入力手段をさらに備えてもよい。その場合，抽出マップ生成手段は，たとえば，視点変更指令入力手段から入力された視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出する第αフレーム用抽出マップを生成するものとなろう。 You may further provide a viewpoint change command input means for inputting a viewpoint change command. In this case, the extraction map generating means generates, for example, an α-th frame extraction map for extracting image data representing a display target image for two-dimensional display when viewed from the viewpoint input from the viewpoint change command input means. It will be a thing.
第αフレーム画像データによって表わされる第αフレーム画像の不透明度および第βフレーム画像データによって表わされる第βフレーム画像の不透明度を算出する不透明度算出手段をさらに備えてもよい。 An opacity calculating means for calculating the opacity of the α frame image represented by the α frame image data and the opacity of the β frame image represented by the β frame image data may be further provided.
二次元表示用の表示対象画像を変更する指令を入力する表示対象画像変更指令入力手段をさらに備えてもよい。 You may further provide the display target image change command input means which inputs the command which changes the display target image for two-dimensional displays.
フレーム画像データが圧縮されている場合には，フレーム画像データを可逆的に伸張する可逆伸張手段をさらに備えてもよい。この場合，抽出手段は，たとえば，可逆伸張手段によって可逆的に伸張されたフレーム画像データから画像データを抽出するものである。 When the frame image data is compressed, a reversible decompression means for reversibly decompressing the frame image data may be further provided. In this case, the extracting means extracts image data from the frame image data reversibly expanded by the reversible expansion means, for example.
フレーム画像データは圧縮されていてもよい。この場合，フレーム画像データを非可逆的に伸張する非可逆伸張手段をさらに備えてもよい。抽出手段は，たとえば，非可逆伸張手段によって非可逆的に伸張されたフレーム画像データから画像データを抽出するものである。 The frame image data may be compressed. In this case, irreversible decompression means for irreversibly decompressing the frame image data may be further provided. The extraction means is for extracting image data from frame image data that has been irreversibly expanded by the irreversible expansion means, for example.
フレーム画像データを縮小処理する縮小手段をさらに備えてもよい。この場合，抽出手段は，たとえば，縮小手段によって縮小されたフレーム画像データから画像データを抽出するものである。 A reduction means for reducing the frame image data may be further provided. In this case, the extraction means extracts image data from the frame image data reduced by the reduction means, for example.
抽出マップ生成手段は，たとえば，二次元表示用の表示対象画像の背景画像を表わす画像データの抽出を停止する第αフレーム用抽出マップを生成するものである。 The extraction map generating means generates, for example, an α-th frame extraction map that stops extracting image data representing a background image of a display target image for two-dimensional display.
抽出マップ補正手段は，たとえば，二次元表示用の表示対象画像の動きに対応して，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。 The extraction map correction means, for example, corresponding to the movement of the display target image for two-dimensional display, image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data, The β-th frame extraction map is corrected so as to be extracted from the β-th frame image data.
二次元表示用の表示対象画像の表示範囲を設定する表示範囲設定手段をさらに備えてもよい。この場合，抽出マップ生成手段は，たとえば，表示範囲設定手段によって設定された表示範囲の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成するものである。 You may further provide the display range setting means to set the display range of the display target image for two-dimensional display. In this case, the extraction map generating means generates the α-th frame extraction map so as to extract image data representing a display target image within the display range set by the display range setting means, for example.
抽出マップ生成手段による抽出マップの生成，判定手段による判定および抽出マップ補正手段による抽出マップの補正を停止する指令を入力する停止指令入力手段をさらに備えてもよい。 There may be further provided stop command input means for inputting a command for stopping generation of the extraction map by the extraction map generation means, determination by the determination means, and correction of the extraction map by the extraction map correction means.
フレーム画像データのデータ量および画像処理手段による画像処理能力にもとづいて，画像処理手段による画像処理時間が所定時間以上となる場合に，抽出手段，画像処理手段，抽出マップ生成手段，判定手段および抽出マップ補正手段の処理を行うようにしてもよい。 Based on the data amount of the frame image data and the image processing capability of the image processing means, the extraction means, the image processing means, the extraction map generation means, the determination means and the extraction when the image processing time by the image processing means exceeds a predetermined time You may make it perform the process of a map correction means.
図１は，四次元画像等の一例である。 FIG. 1 is an example of a four-dimensional image or the like.
四次元画像は，二次元画像で規定される縦方向および横方向の次元のほかに奥行きおよび時間の次元を有している。異なる時間で連続的に撮像することにより得られた三次元画像の集合が四次元画像ということができる。この実施例による四次元画像は，左目用画像をユーザの左目で見て，右目用画像をユーザの右目で見ることにより立体的に観賞するものではなく，二次元画像を生成することにより，立体を様々な角度で平面の表示画面に表示できるものである。 The four-dimensional image has depth and time dimensions in addition to the vertical and horizontal dimensions defined by the two-dimensional image. A set of 3D images obtained by continuously capturing images at different times can be referred to as a 4D image. The four-dimensional image according to this embodiment is not to be viewed stereoscopically by viewing the left-eye image with the user's left eye and the right-eye image with the user's right eye, but by generating a two-dimensional image, Can be displayed on a flat display screen at various angles.
図１においては，異なる時間で連続撮像して得られた心臓および心臓の周りの血管を表わす10フレーム（10フレーム未満でも10フレームより多くともよい）の三次元画像Ｆ１−Ｆ10が図示されている。これらの三次元画像Ｆ１−Ｆ10の集合が四次元画像である。四次元画像を構成する三次元画像Ｆ１−Ｆ10のそれぞれは，たとえば，縦，横および奥行きがそれぞれ1024画素である。 In FIG. 1, a three-dimensional image F1-F10 of 10 frames (which may be less than 10 frames or more than 10 frames) representing the heart and blood vessels around the heart obtained by continuous imaging at different times is illustrated. . A set of these three-dimensional images F1-F10 is a four-dimensional image. Each of the three-dimensional images F1 to F10 constituting the four-dimensional image has, for example, 1024 pixels in length, width, and depth.
四次元画像Ｆ１−Ｆ10のそれぞれは，縦，横および奥行きが所定の画素数をもつ多数のボクセルとなるようにボクセル化が行われる。ボクセル化されることにより，四次元画像Ｆ１−Ｆ10のそれぞれから，ボクセル・データＢ１−Ｂ10が得られる。ボクセル・データＢ１−Ｂ10のそれぞれは，さらに圧縮される。圧縮されたボクセル・データｂ１−ｂ10が得られる。この実施例では，圧縮された第１フレームから第10フレームのボクセル・データｂ１−ｂ10がフラッシュ・メモリにあらかじめ記憶されている。 Each of the four-dimensional images F1 to F10 is voxelized so that the vertical, horizontal, and depth are a large number of voxels having a predetermined number of pixels. By voxelization, voxel data B1-B10 is obtained from each of the four-dimensional images F1-F10. Each of the voxel data B1-B10 is further compressed. Compressed voxel data b1-b10 is obtained. In this embodiment, compressed voxel data b1-b10 of the first to tenth frames are stored in advance in the flash memory.
図２は，この実施例による二次元画像生成装置の電気的構成を示すブロック図である。 FIG. 2 is a block diagram showing the electrical configuration of the two-dimensional image generation apparatus according to this embodiment.
二次元画像生成装置の全体の動作はＣＰＵ１によって統括される。 The entire operation of the two-dimensional image generation apparatus is controlled by the CPU 1.
上述のように，フラッシュ・メモリ８に圧縮されたボクセル・データｂ１−ｂ10が格納されている。フラッシュ・メモリ８に格納されているボクセル・データｂ１−ｂ10は，SSD（Solid State Drive）によって読み取られる。読み取られたボクセル・データｂ１−ｂ10について後述のように，データ抽出処理，伸張処理，レンダリング処理などが行われることにより二次元画像が生成される。生成された二次元画像は，表示制御装置３によって制御される表示装置２の表示画面に表示される。 As described above, the compressed voxel data b1-b10 is stored in the flash memory 8. The voxel data b1-b10 stored in the flash memory 8 is read by an SSD (Solid State Drive). The read voxel data b1 to b10 are subjected to data extraction processing, expansion processing, rendering processing, and the like as described later to generate a two-dimensional image. The generated two-dimensional image is displayed on the display screen of the display device 2 controlled by the display control device 3.
二次元画像生成装置には，ネットワークを介して他の端末装置と通信するための通信装置４，所定のデータ，動作プログラムを格納するメモリ５およびキーボードなどの入力装置６も含まれている。二次元画像生成装置は，メモリ５にインストールされている動作プログラムにしたがって動作する。動作プログラムは，二次元画像生成装置にプリインストールされていてもよいし，通信装置４を介して送信されるものを受信してもよい。フラッシュ・メモリ８などのように二次元画像生成装置に着脱自在な記録媒体に格納されており，その記録媒体から読み取るようにしてもよい。 The two-dimensional image generation device also includes a communication device 4 for communicating with other terminal devices via a network, a memory 5 for storing predetermined data and operation programs, and an input device 6 such as a keyboard. The two-dimensional image generation apparatus operates according to an operation program installed in the memory 5. The operation program may be preinstalled in the two-dimensional image generation device, or may receive a program transmitted via the communication device 4. It may be stored in a recording medium detachably attached to the two-dimensional image generation apparatus such as the flash memory 8 and read from the recording medium.
図３および図４は，この実施例による二次元画像の生成処理の概略を示している。 3 and 4 show an outline of the processing for generating a two-dimensional image according to this embodiment.
図３を参照して，フラッシュ・メモリ９に格納されている１フレーム分のボクセル・データのうち，二次元画像の生成に必要なボクセル・データがフラッシュ・メモリ９から抽出される。抽出されたボクセル・データについて伸張処理が行われ，圧縮されていたボクセル・データが元に戻される。ボクセル・データからレンダリング処理が行われ，二次元画像が生成される。生成された二次元画像が表示装置２の表示画面に表示される。 With reference to FIG. 3, out of one frame worth of voxel data stored in the flash memory 9, voxel data necessary for generating a two-dimensional image is extracted from the flash memory 9. The extracted voxel data is decompressed, and the compressed voxel data is restored. A rendering process is performed from the voxel data, and a two-dimensional image is generated. The generated two-dimensional image is displayed on the display screen of the display device 2.
図４を参照して，時刻ｔ１において，後述する確度100％の抽出マップ（第αフレーム用抽出マップ）にもとづいて第１フレーム（第αフレーム）のボクセル・データｂ１から心臓および心臓の周りの血管のボクセル・データｐ１が抽出される。時刻ｔ２において，抽出された第１フレームのボクセル・データｐ１の伸張処理が行われるとともに，第２フレームのボクセル・データｂ２から心臓および心臓の周りの血管のボクセル・データｐ２が抽出される。時刻ｔ３において，伸張された第１フレームのボクセル・データＰ１について二次元表示用のレンダリング（画像処理）が行われ，第２フレームのボクセル・データｂ２から抽出されたボクセル・データｐ２について伸張処理が行われる。 Referring to FIG. 4, at time t1, based on an extraction map (extraction map for α-th frame) described later with 100% accuracy, from the voxel data b1 of the first frame (α-th frame) to the heart and the surroundings of the heart Blood vessel voxel data p1 is extracted. At time t2, the extracted voxel data p1 of the first frame is expanded, and voxel data p2 of the heart and blood vessels around the heart are extracted from the voxel data b2 of the second frame. At time t3, the decompressed first frame voxel data P1 is rendered for two-dimensional display (image processing), and the voxel data p2 extracted from the second frame voxel data b2 is decompressed. Done.
さらに，時刻ｔ３においては，後述する不確実な抽出マップ（第βフレーム用抽出マップ）にもとづいて第１フレームのボクセル・データｂ１から抽出されたボクセル・データｐ１の位置と同じ位置のボクセル・データｐ１が第３フレーム（第βフレーム）のボクセル・データｂ３から抽出される。第３フレームのボクセル・データｂ３において心臓および心臓の周りの血管の位置を算出する必要が無いので，迅速に抽出できる。心臓の鼓動により第１フレームのボクセル・データｂ１における心臓および心臓の周りの血管の位置と第３フレームのボクセル・データｂ３における心臓および心臓の周りの血管の位置とが異なることがある。そのような場合には，不確実な抽出マップが補正されて，第１フレームのボクセル・データｂ１から抽出されたボクセル・データｐ１の近傍のボクセル・データｐａが第３フレームのボクセル・データｂ３から抽出される。 Furthermore, at time t3, the voxel data at the same position as the position of the voxel data p1 extracted from the voxel data b1 of the first frame based on an uncertain extraction map (β-frame extraction map) described later. p1 is extracted from the voxel data b3 of the third frame (βth frame). Since it is not necessary to calculate the position of the heart and blood vessels around the heart in the voxel data b3 of the third frame, it can be quickly extracted. The position of the blood vessel around the heart and the heart in the first frame of the voxel data b1 may be different from the position of the blood vessel around the heart and the heart in the third frame of the voxel data b3 due to the heartbeat. In such a case, the uncertain extraction map is corrected, and the voxel data pa in the vicinity of the voxel data p1 extracted from the voxel data b1 of the first frame is changed from the voxel data b3 of the third frame. Extracted.
図４においては，画像データの抽出とレンダリングとの間に伸張処理が行われているが，ボクセル・データが圧縮されていない場合または，圧縮されているボクセル・データの伸張後に画像データの抽出が行われる場合には，画像データの抽出の直後にレンダリング処理が行われることとなろう。 In FIG. 4, decompression processing is performed between image data extraction and rendering. However, when the voxel data is not compressed, the image data is extracted after decompressing the compressed voxel data. If so, the rendering process will be performed immediately after the extraction of the image data.
このように，抽出処理，伸張処理およびレンダリング処理が行われ，抽出された第１フレームのボクセル・データｐ１について伸張処理が行われている間に，第２フレームのボクセル・データｂ２の抽出処理が行われる。伸張された第１フレームのボクセル・データＰ１についてレンダリング処理が行われている間に，抽出された第２フレームのボクセル・データｐ２の伸張処理が行われ，かつ第３フレームのボクセル・データｂ３から抽出処理が行われる。 As described above, the extraction process, the decompression process, and the rendering process are performed, and the extraction process of the voxel data b2 of the second frame is performed while the decompression process is performed on the extracted voxel data p1 of the first frame. Done. While the rendering process is being performed on the decompressed first frame voxel data P1, the decompressed process of the extracted second frame voxel data p2 is performed, and from the third frame voxel data b3. An extraction process is performed.
この実施例では，心臓および心臓の周りの血管を表わす二次元画像が生成されるものとする。詳しくは後述するように，第１フレームおよび第２フレームのボクセル・データｂ１およびｂ２からは，所望の視点から心臓の画像を見たときの二次元画像を表わす画像データ（ボクセル・データ）が抽出される。表示画面に表示するのが不要な心臓以外の骨，その他の臓器などの画像を表わす画像データは抽出されないので，抽出されるデータ量が少なくなり，抽出時間が短くなる。また，死角となる部分を表わす画像データも抽出されないので，抽出されるデータ量がさらに少なくなる。二次元画像が生成されるまでの時間が短縮される。 In this embodiment, it is assumed that a two-dimensional image representing the heart and blood vessels around the heart is generated. As will be described in detail later, image data (voxel data) representing a two-dimensional image when a heart image is viewed from a desired viewpoint is extracted from the voxel data b1 and b2 of the first frame and the second frame. Is done. Since image data representing images of bones other than the heart and other organs that are not required to be displayed on the display screen are not extracted, the amount of data to be extracted is reduced and the extraction time is shortened. Further, since image data representing a blind spot is not extracted, the amount of data to be extracted is further reduced. The time until a two-dimensional image is generated is shortened.
また，この実施例では，第３フレーム以降のボクセル・データについては，以前のフレームにおいて抽出された部分に対応する画像データが抽出される。どの部分から抽出すればよいかを算出する必要が無いので，抽出するのに必要な時間が短縮される。心臓の鼓動に伴い心臓が拡大，縮小するので，心臓の画像の大きさも変わる。このために，以前のフレームにおいて抽出された部分に対応する画像データのみが抽出されても，その抽出された画像データが心臓の画像を表わしているとは限らない。このために，心臓の画像を表わすのに不足分のデータがフラッシュ・メモリ９から抽出される。以下に示す実施例では，抽出マップが生成され，抽出マップにしたがって，以前のフレームにおいて抽出された部分に対応する画像データと不足分の画像データが同時にフラッシュ・メモリ９から抽出される。 In this embodiment, for the voxel data after the third frame, image data corresponding to the portion extracted in the previous frame is extracted. Since it is not necessary to calculate which part should be extracted, the time required for extraction is shortened. As the heart expands and contracts as the heart beats, the size of the heart image also changes. For this reason, even if only the image data corresponding to the portion extracted in the previous frame is extracted, the extracted image data does not necessarily represent a heart image. For this purpose, insufficient data is extracted from the flash memory 9 to represent the heart image. In the embodiment described below, an extraction map is generated, and image data corresponding to a portion extracted in the previous frame and insufficient image data are simultaneously extracted from the flash memory 9 according to the extraction map.
図５から図７は，フラッシュ・メモリ９から画像データを抽出する処理手順を示すフローチャートを示している。 FIG. 5 to FIG. 7 are flowcharts showing a processing procedure for extracting image data from the flash memory 9.
第１フレームまたは第２フレームの画像データから抽出処理が行われる場合には（ステップ11），まず，第１フレームまたは第２フレームのマスク・データがフラッシュ・メモリ９から読み出される（ステップ12）。マスク・データは，四次元画像によって表わすことのできる臓器ごとに対応して，それらの臓器が四次元画像のどの位置にあるかを示すもので，フレームごとにフラッシュ・メモリ９に格納されている。たとえば，心臓の位置を表わすマスク・データ，血管の位置を表わすマスク・データ，骨の位置を表わすマスク・データなど多数種類のマスク・データがフラッシュ・メモリ９に格納されている。これらのマスク・データも圧縮されており，ユーザによってあらかじめ指定している表示対象の臓器に対応する，圧縮されているマスク・データがフラッシュ・メモリ９から読み取られる（ステップ12）。ここでは，心臓と血管とが表示対象として指定されており，心臓と血管のマスク・データが読み取られるものとする。 When extraction processing is performed from the image data of the first frame or the second frame (step 11), first, the mask data of the first frame or the second frame is read from the flash memory 9 (step 12). The mask data corresponds to each organ that can be represented by the four-dimensional image, and indicates where the organ is located in the four-dimensional image, and is stored in the flash memory 9 for each frame. . For example, many types of mask data such as mask data representing the position of the heart, mask data representing the position of the blood vessel, and mask data representing the position of the bone are stored in the flash memory 9. These mask data are also compressed, and the compressed mask data corresponding to the display target organ designated in advance by the user is read from the flash memory 9 (step 12). Here, it is assumed that the heart and blood vessels are designated as display targets, and the mask data of the heart and blood vessels are read.
読み出されたマスク・データは可逆により伸張される（ステップ13）。マスク・データが伸張されることにより，第１フレームのどの部分が心臓または血管かが分かる。たとえば，マスク・データはゼロ・ランレングスにより圧縮されており，伸張により元のデータそのものが得られる。 The read mask data is decompressed and expanded (step 13). By expanding the mask data, it is possible to know which part of the first frame is the heart or the blood vessel. For example, the mask data is compressed by zero run length, and the original data itself is obtained by decompression.
図８は，マスク・データにより得られる心臓と血管のマスク画像40の一例である。 FIG. 8 is an example of a heart and blood vessel mask image 40 obtained from the mask data.
上述のように，マスク・データにより，心臓および血管の位置が分るようになる。心臓と血管以外のマスク・データもあり，そのマスク・データにより心臓および血管以外の位置も分るのはいうまでもない。 As described above, the position of the heart and blood vessels can be known from the mask data. There is mask data other than the heart and blood vessels, and it goes without saying that positions other than the heart and blood vessels can be determined by the mask data.
つづいて，表示対象画像を表わす各画素に不透明度が割り当てられる（ステップ14）。 Subsequently, opacity is assigned to each pixel representing the display target image (step 14).
図９は，心臓および血管の画像の一例である。 FIG. 9 is an example of images of the heart and blood vessels.
心臓41の周りに血管42が張りめぐらされている。たとえば，心臓の不透明度は５％，血管41の不透明度は100％，その他の部分の不透明度は０％であり，これらの不透明度はユーザによってあらかじめ設定されている。心臓の不透明度は５％なので，二次元画像として表示される場合には半透明となる。心臓の裏の血管も表示されるようになる。血管42の不透明度は100％なので，血管の表面のみが二次元画像として表示される。血管42の裏は死角となり表示されない。その他の部分は，不透明度が０パーセントなので二次元画像として表示されない。 A blood vessel 42 is stretched around the heart 41. For example, the opacity of the heart is 5%, the opacity of the blood vessel 41 is 100%, and the opacity of the other parts is 0%. These opacity values are preset by the user. Since the opacity of the heart is 5%, it is translucent when displayed as a two-dimensional image. Blood vessels behind the heart are also displayed. Since the opacity of the blood vessel 42 is 100%, only the surface of the blood vessel is displayed as a two-dimensional image. The back of the blood vessel 42 is a blind spot and is not displayed. Other portions are not displayed as two-dimensional images because the opacity is 0%.
このように，心臓41には不透明度５％，血管42には不透明度100％，その他の部分には不透明度０％が割り当てられると，抽出部分の特定処理が行われる（図５ステップ15）。 As described above, when the opacity of 5% is assigned to the heart 41, the opacity of 100% is assigned to the blood vessel 42, and the opacity of 0% is assigned to the other portions, the extraction portion is specified (step 15 in FIG. 5). .
図10は，フレーム画像50の一例である。 FIG. 10 is an example of the frame image 50.
抽出部分の特定処理にはレイキャスティングと呼ばれる手法が利用される。 A technique called ray casting is used for specifying the extracted portion.
所定の面積をもつ矩形の基準面51から所望の方向（視点方向となる）に向かって矢印の照射線52で示すように光を照射した場合に，照射線52上にあるボクセルの不透明度が100％になるまで伸ばし続けられる。照射線52上に存在したボクセルが抽出する部分と特定される。基準面51の投影範囲が二次元画像としての表示装置２の表示範囲となる。基準面51の大きさが大きくなると表示画面に表示される表示対象物の大きさは小さくなり，ぎゃゅくに基準面51の大きさが小さくなると，表示画面に表示される表示対象物の大きさは大きくなる。 When light is irradiated from a rectangular reference surface 51 having a predetermined area toward a desired direction (which is the viewpoint direction) as indicated by an irradiation line 52 indicated by an arrow, the opacity of the voxel on the irradiation line 52 is reduced. It can continue to grow until it reaches 100%. The voxel existing on the irradiation line 52 is identified as the part to be extracted. The projection range of the reference plane 51 is the display range of the display device 2 as a two-dimensional image. When the size of the reference surface 51 is increased, the size of the display object displayed on the display screen is reduced, and when the size of the reference surface 51 is decreased, the size of the display object displayed on the display screen is increased. Becomes bigger.
すると，確度が100％の抽出マップが生成される（図４ステップ16）。 Then, an extraction map with 100% accuracy is generated (step 16 in FIG. 4).
図11は，確度が100％の抽出マップ60の一例である。 FIG. 11 is an example of an extraction map 60 with 100% accuracy.
図11には，図10に示したように，基準面51から生じる照射線52上に存在したボクセル61が図示されている。これらのボクセル61がフレーム画像データ（ボクセル・データ）から抽出されるものである。ボクセル61は，図10に示す基準面51から照射線52の方向の視点のときに（視点方向が矢印62で図示されている），二次元画像として表示するのに必要な部分を示すものである。図10を参照して説明したように，照射線52は不透明度が100％になるまで伸ばされ，不透明度が100％となると，それ以上は伸ばされないことから，照射線52が，不透明度が100％となった部分よりも奥のボクセルは死角となり，読み出されない。もっとも，読み出すようにしてもよい。 FIG. 11 shows a voxel 61 present on the irradiation line 52 generated from the reference plane 51, as shown in FIG. These voxels 61 are extracted from the frame image data (voxel data). The voxel 61 indicates a portion necessary for displaying as a two-dimensional image when the viewpoint is in the direction from the reference plane 51 to the irradiation line 52 shown in FIG. 10 (the viewpoint direction is indicated by an arrow 62). is there. As described with reference to FIG. 10, the irradiation line 52 is stretched until the opacity reaches 100%, and when the opacity reaches 100%, the irradiation line 52 is not further stretched. The voxel behind the part where becomes 100% becomes a blind spot and is not read out. But you may make it read.
このようにして生成された抽出マップ60にしたがって，圧縮された第１フレームのボクセル・データｂ１から，必要なボクセル61のボクセル・データ（画像データ）ｐ１が抽出される（図５ステップ17）。 According to the extraction map 60 generated in this way, the necessary voxel data (image data) p1 of the voxel 61 is extracted from the compressed voxel data b1 of the first frame (step 17 in FIG. 5).
第１フレームおよび第２フレームの場合には，表示する心臓および血管の位置が分かっている状態で抽出マップが生成されるので確度100％の抽出マップとなる。 In the case of the first frame and the second frame, the extraction map is generated in a state where the positions of the heart and blood vessels to be displayed are known, so that the extraction map has a 100% accuracy.
第３フレームの画像データから抽出処理が行われる場合には，（図５ステップ12でＮＯ），図６に示す処理に移行する。 When the extraction process is performed from the image data of the third frame (NO in step 12 in FIG. 5), the process proceeds to the process shown in FIG.
この実施例による二次元画像生成装置においては，入力装置６からの表示対象画像変更指令により，二次元画像として表示する表示対象画像を変更することもできる。たとえば，心臓と血管とを二次元画像として表示するように設定されていたものが，骨の様子を二次元画像として表示するように表示対象を変更することができる。表示対象画像が変更されなければ（ステップ22でＮＯ），二次元画像として表示しようとしている立体（この場合，心臓）の大きさは余り変化しないと仮定できるので，以前に算出された表示対象画像の不透明度を利用して第３フレームの画像データの抽出部分を決定できる。このために，以前に算出された第１フレームの表示対象画像の不透明度が読み出される（ステップ24）。これに対して，表示対象画像が変更されると（ステップ22でＹＥＳ），以前に算出された表示対象画像の不透明度を利用して第３フレームの画像データの抽出部分を決定することはできない。このために，以前の第１フレーム（第２フレームでもよい）の抽出処理において読み取られたマスク・データから上述のように表示対象画像の不透明度が割り当てられる（ステップ23）。たとえば，骨の様子を表示するように表示対象画像が変更された場合には，以前に読み取られた（図５ステップ12）骨のマスク・データから骨の位置が分り，その位置のある画像の不透明度が割り当てられる。骨の不透明度（たとえば，10％）についてもあらかじめ設定されているのはいうまでもない。 In the two-dimensional image generation apparatus according to this embodiment, the display target image displayed as a two-dimensional image can be changed by a display target image change command from the input device 6. For example, what is set to display the heart and blood vessels as a two-dimensional image can be changed to display the bone state as a two-dimensional image. If the display target image is not changed (NO in step 22), it can be assumed that the size of the solid to be displayed as a two-dimensional image (in this case, the heart) does not change so much, so the previously calculated display target image The extracted portion of the image data of the third frame can be determined using the opacity of the first frame. For this purpose, the previously calculated opacity of the display target image of the first frame is read (step 24). On the other hand, when the display target image is changed (YES in step 22), the extraction portion of the third frame image data cannot be determined using the previously calculated opacity of the display target image. . For this purpose, the opacity of the display target image is assigned as described above from the mask data read in the extraction process of the previous first frame (which may be the second frame) (step 23). For example, when the display target image is changed so as to display the state of the bone, the position of the bone is obtained from the previously read bone mask data (step 12 in FIG. 5), and the image having the position is displayed. Opacity is assigned. Needless to say, bone opacity (for example, 10%) is also set in advance.
また，この実施例による二次元画像生成装置では，入力装置６から視点変更指令を入力することにより，二次元表示する表示対象画像の視点を変更することもできる。視点変更または表示対象画像の変更があると（ステップ25でＹＥＳ），第３フレーム画像データから抽出する部分は，以前の第１フレーム画像データから抽出された部分とかなり異なってしまう。このために，上述したようにレイキャスティングを利用して再び抽出部分が特定される（ステップ26）。特定された抽出部分から不確実な抽出マップが生成される（ステップ28）。視点変更も表示対象画像もいずれも変更されなかった場合には第１フレーム画像から抽出された部分と同じ部分が抽出されることとなるが，表示対象である立体に動きがあった場合には，第１フレーム画像から抽出された部分と同じ部分が第３フレーム画像から抽出されても表示対象画像が抽出されるとは限らないので抽出マップは確度100％ではなく，不確実なものとなる。 Further, in the two-dimensional image generation apparatus according to this embodiment, the viewpoint of the display target image to be two-dimensionally displayed can be changed by inputting a viewpoint change command from the input device 6. If there is a viewpoint change or a display target image change (YES in step 25), the portion extracted from the third frame image data is considerably different from the portion extracted from the previous first frame image data. For this purpose, as described above, the extracted portion is specified again using ray casting (step 26). An uncertain extraction map is generated from the identified extracted portion (step 28). If neither the viewpoint change nor the display target image is changed, the same part as the part extracted from the first frame image will be extracted. Because the display target image is not always extracted even if the same part extracted from the first frame image is extracted from the third frame image, the extraction map is not 100% accurate and is uncertain. .
図12は，視点変更された場合に生成される抽出マップ70の一例である。 FIG. 12 is an example of the extraction map 70 generated when the viewpoint is changed.
視点変更により，基準面51Ａから生じる照射線52Ａ上に存在したボクセル71が図示されている。これらのボクセル71がフレーム画像データから抽出されるものとなる。図10と比較すれば分るように，視点変更により，抽出されるボクセル71が変わっているのが理解できよう。この場合も上述したのと同様に，表示対象画像に割り当てられた不透明度が100％になるまで伸ばされ，不透明度が100％となると，それ以上は伸ばされないことから，照射線52Ａが，不透明度が100％となった部分よりも奥のボクセルは死角となるので，読み出されない。もっとも，死角となっても読み出してもよいのはいうまでもない。 The voxel 71 existing on the irradiation line 52A generated from the reference plane 51A by changing the viewpoint is illustrated. These voxels 71 are extracted from the frame image data. As can be seen from comparison with FIG. 10, it can be understood that the extracted voxel 71 is changed by changing the viewpoint. In this case as well, as described above, the opacity assigned to the display target image is increased to 100%, and when the opacity reaches 100%, the irradiance 52A is not further increased. Voxels behind the part where the opacity is 100% are blind spots and are not read out. However, it goes without saying that even if it is a blind spot, it may be read out.
図６に戻って，視点変更も表示対象画像の変更もいずれも無ければ（ステップ25でＮＯ），以前に特定された抽出部分を示すデータが読み出され（ステップ27），読み出されたデータにもとづいて抽出マップが生成される（ステップ28）。視点変更も表示対象画像の変更もいずれも無い場合には，生成される抽出マップは図11に示すものと同じとなる。もっとも，図11に示すように生成された抽出マップを記憶しておき，その抽出マップを読み取るようにしてもよい。 Returning to FIG. 6, if neither the viewpoint change nor the display target image has been changed (NO in step 25), the data indicating the extracted portion specified previously is read (step 27), and the read data is read. Based on this, an extraction map is generated (step 28). When neither the viewpoint change nor the display target image is changed, the generated extraction map is the same as that shown in FIG. However, the extraction map generated as shown in FIG. 11 may be stored and the extraction map may be read.
上述したように，表示対象画像によって表わされる立体が膨張などした場合には，生成された不確実な抽出マップにしたがって第３フレームのボクセル・データｂ３からボクセル・データが抽出されても不足分のボクセル・データが生じる。このために，生成された不確実な抽出マップにもとづいて抽出されるボクセル・データが表示対象である立体（心臓，骨など）を表わしているかどうかが，表示対象である立体のマスク・データにもとづいて判定される（図７ステップ29）。生成された不確実な抽出マップにもとづいて抽出されるボクセル・データが表示対象である立体を表わしていない場合には（ステップ29でＮＯ），以前に抽出するボクセル・データとして決定されたボクセルの近傍のボクセルも抽出されるように，不確実な抽出マップの補正処理が行われる（図７ステップ30）。 As described above, when the solid represented by the display target image is expanded, even if the voxel data is extracted from the voxel data b3 of the third frame in accordance with the generated uncertain extraction map, the shortage amount is obtained. Voxel data is generated. For this reason, whether or not the voxel data extracted based on the generated uncertain extraction map represents a 3D object (heart, bone, etc.) to be displayed is included in the mask data of the 3D object to be displayed. The determination is made on the basis (step 29 in FIG. 7). If the voxel data extracted based on the generated uncertain extraction map does not represent the solid to be displayed (NO in step 29), the voxel data determined as the previously extracted voxel data Uncertain extraction map correction processing is performed so that neighboring voxels are also extracted (step 30 in FIG. 7).
図13は，表示対象である立体が膨張したことにより補正された抽出マップ80の一例である。 FIG. 13 is an example of an extraction map 80 that is corrected by expanding a solid that is a display target.
表示対象である立体が膨張し，抽出マップ80が補正されたことにより，抽出するボクセル61の範囲よりも大きな範囲のボクセル81が抽出されるようになる。 Since the solid to be displayed is expanded and the extraction map 80 is corrected, a voxel 81 in a range larger than the range of the voxel 61 to be extracted is extracted.
さらに，不確実な抽出マップの補正処理により，抽出部分として決定されたボクセルが基準面からの照射範囲よりも大きくなってしまうと（ステップ31でＹＥＳ），その照射範囲から外れたボクセルについては抽出されても表示できない。このために，抽出されるボクセルが基準面からの照射範囲内に収まるように抽出マップがさらに補正される（ステップ32）。不確実な抽出マップの補正処理により，抽出部分として決定されたボクセルが基準面からの照射範囲よりも大きくならなければ（ステップ31でＮＯ），ステップ32の処理はスキップされる。 Furthermore, if the voxel determined as the extraction portion becomes larger than the irradiation range from the reference plane due to the uncertain extraction map correction process (YES in step 31), the voxel outside the irradiation range is extracted. Even if it is displayed, it cannot be displayed. For this purpose, the extraction map is further corrected so that the extracted voxels are within the irradiation range from the reference plane (step 32). If the voxel determined as the extraction portion does not become larger than the irradiation range from the reference plane due to the uncertain extraction map correction process (NO in step 31), the process in step 32 is skipped.
図13を参照して，表示対象である立体が膨張することにより，抽出するボクセルが符号81で示すものとなった場合に，それらのボクセル81は基準面51の照射範囲からはみ出してしまうものとする。すると，基準面51の照射範囲からはみ出さないボクセル82が読み出されるように抽出マップ80が補正される。 Referring to FIG. 13, when the three-dimensional object to be displayed expands and the extracted voxels are indicated by reference numeral 81, these voxels 81 protrude from the irradiation range of the reference plane 51. To do. Then, the extraction map 80 is corrected so that the voxels 82 that do not protrude from the irradiation range of the reference plane 51 are read out.
さらに，心臓の裏側にある血管を表示しないなど，表示対象画像の背景に表示不要な部分がある場合には，背景情報にもとづいて抽出マップが補正される（ステップ33）。この背景情報についても入力装置６によって二次元画像表示装置に与えられているのはいうまでもない。基準面と抽出するボクセルと背景との関係から不要な背景についてのボクセルが抽出マップから削除される。 Further, if there is a portion that does not need to be displayed in the background of the display target image, such as not displaying a blood vessel behind the heart, the extraction map is corrected based on the background information (step 33). Needless to say, this background information is also given to the two-dimensional image display device by the input device 6. An unnecessary background voxel is deleted from the extraction map based on the relationship between the reference plane, the extracted voxel, and the background.
このようにして生成された抽出マップにしたがって第３フレーム画像からボクセルが抽出される（ステップ34）。抽出されたボクセルが伸張され，レンダリングされることにより第３フレームの二次元画像が生成される。 Voxels are extracted from the third frame image according to the extraction map generated in this way (step 34). The extracted voxel is expanded and rendered to generate a two-dimensional image of the third frame.
上述の実施例では，第３フレームについて説明しているが，第３フレームでなく，第４フレーム以降についても同様に処理できるのはいうまでもない。 In the above-described embodiment, the third frame has been described. Needless to say, the same processing can be performed not on the third frame but on the fourth and subsequent frames.
上述したように，第１フレームについて割り当てられた不透明度，生成された抽出マップなどを利用して第３フレームの抽出マップを生成するのと同様に，第３フレームの不透明度，抽出マップなどを利用して第４フレーム以降の抽出マップを生成するようにしてもよい。さらに，第１フレームに割り当てられた不透明度，生成された抽出マップを利用して，第２フレームの抽出マップを生成するようにしてもよい。 As described above, the opacity of the third frame, the extraction map, and the like are generated in the same manner as the generation of the extraction map of the third frame using the opacity assigned to the first frame and the generated extraction map. An extraction map for the fourth and subsequent frames may be generated by use. Furthermore, the extraction map of the second frame may be generated using the opacity assigned to the first frame and the generated extraction map.
上述の実施例においては，圧縮されているマスク・データは可逆なものと想定されており，第１フレームまたは第２フレームのボクセル・データｂ１またはｂ２であれば，確度が100パーセントの抽出マップが生成されている。しかしながら，圧縮されているマスク・データがJPEG（Joint Photographic Experts Group）2000などにより非可逆なものの場合には，不確実な抽出マップが生成されるので，生成された抽出マップが補正されるようにしてもよい。また，圧縮されているマスク・データが縮小処理される場合にも不確実な抽出マップが生成されるので，生成された抽出マップが補正されるようにしてもよい。 In the above-described embodiment, it is assumed that the compressed mask data is reversible. If the voxel data b1 or b2 of the first frame or the second frame is used, an extraction map with 100% accuracy is obtained. Has been generated. However, if the compressed mask data is irreversible by JPEG (Joint Photographic Experts Group) 2000 or the like, an uncertain extraction map is generated, so that the generated extraction map is corrected. May be. Further, since an uncertain extraction map is generated even when the compressed mask data is reduced, the generated extraction map may be corrected.
また，抽出マップの生成，不確実な抽出マップが表示対象を表わすかどうかの判定，抽出マップの補正を停止する指令を入力装置６から与えるようにしてもよい。入力装置６からの停止指令が与えられない場合に上述の処理が行われるようになる。 Further, the input device 6 may give a command for generating an extraction map, determining whether an uncertain extraction map represents a display target, and stopping correction of the extraction map. When the stop command from the input device 6 is not given, the above-described processing is performed.
さらに，二次元画像生成装置のＣＰＵ１の処理能力にもとづいて，上述した処理が行われずに通常のデータの抽出，伸張およびレンダリング処理が行われた場合に所定時間以上かかってしまうと判断された場合に上述した抽出処理，レンダリング処理，抽出マップ生成処理，判定処理，抽出マップ補正処理等が行われるようにしてもよい。 Furthermore, based on the processing capability of the CPU 1 of the two-dimensional image generation device, when it is determined that it takes more than a predetermined time when normal data extraction, expansion, and rendering processing are performed without performing the above-described processing. The above-described extraction processing, rendering processing, extraction map generation processing, determination processing, extraction map correction processing, and the like may be performed.
図14から図16は，変形例を示すもので画像データの抽出処理手順を示すフローチャートである。これらの図において，図５から図７に示す処理と同一の処理については同一符号を付して説明を省略する。 FIG. 14 to FIG. 16 show a modification and are flowcharts showing image data extraction processing procedures. In these drawings, the same processes as those shown in FIGS. 5 to 7 are denoted by the same reference numerals and description thereof is omitted.
上述した実施例では，フラッシュ・メモリ９にマスク・データが格納されており，マスク・データを利用して不透明度の割り当て処理が行われているが，この変形例では表示する立体の不透明度を表わす圧縮された不透明度データがあらかじめフラッシュ・メモリ９に格納されているものである。 In the embodiment described above, the mask data is stored in the flash memory 9 and the opacity assignment processing is performed using the mask data. The compressed opacity data to be represented is stored in the flash memory 9 in advance.
第１フレームまたは第２フレームについての抽出処理の場合には（図14ステップ11でＹＥＳ），第１フレームの不透明度データがフラッシュ・メモリ９から読み取られ（図14ステップ12Ａ），読み取られた不透明度データが伸張される（図14ステップ13Ａ）。不透明度データを用いて上述のように抽出部分の特定（図14ステップ15），抽出マップの生成（図14ステップ16），抽出マップにしたがうボクセルの抽出（図14ステップ17）が行われる。 In the case of the extraction process for the first frame or the second frame (YES in step 11 in FIG. 14), the opacity data of the first frame is read from the flash memory 9 (step 12A in FIG. 14). The transparency data is expanded (step 13A in FIG. 14). Using the opacity data, the extraction part is specified (step 15 in FIG. 14), the extraction map is generated (step 16 in FIG. 14), and the voxels are extracted according to the extraction map (step 17 in FIG. 14).
第３フレーム以降の抽出処理の場合（図14ステップ11でＮＯ），この変形例では不透明度データがフラッシュ・メモリ９に格納されているので，上述した実施例における不透明度の割り当て処理等は行われない（図６ステップ22−24参照）。視点または表示対象画像が変更される場合には（図15ステップ25でＹＥＳ），上述のように変更された視点または変更された表示対象画像にもとづいて抽出部分が特定される（図15ステップ26）。視点および表示対象画像のいずれも変更されないと（図15ステップ25でＮＯ），以前に特定された抽出部分が読み出される（図15ステップ27）。 In the case of the extraction process after the third frame (NO in step 11 in FIG. 14), the opacity data is stored in the flash memory 9 in this modified example. (Refer to step 22-24 in FIG. 6). When the viewpoint or the display target image is changed (YES in step 25 in FIG. 15), the extraction portion is specified based on the changed viewpoint or the changed display target image as described above (step 26 in FIG. 15). ). If neither the viewpoint nor the display target image is changed (NO in step 25 in FIG. 15), the previously identified extracted portion is read out (step 27 in FIG. 15).
上述したのと同様に不確実な抽出マップが生成され（図15ステップ28），不確実な抽出マップが表示対象画像を表わさない場合には（図16ステップ29でＮＯ），補正処理が行われる（図16ステップ30）。 As described above, an uncertain extraction map is generated (step 28 in FIG. 15), and when the uncertain extraction map does not represent a display target image (NO in step 16 in FIG. 16), correction processing is performed. (FIG. 16, step 30).
この変形例においては，抽出部分が照射範囲内に収まっている場合に（図16ステップ31でＮＯ），補正された抽出マップに死角となっているボクセルが含まれているときには，そのボクセルが削除されるように抽出マップが補正される（図16ステップ35）。 In this modified example, when the extracted portion is within the irradiation range (NO in step 31 in FIG. 16), if the corrected extraction map includes a voxel that is a blind spot, the voxel is deleted. Thus, the extraction map is corrected (step 35 in FIG. 16).
その後，上述のように，背景情報に基づいた抽出マップの補正が行われ（図16ステップ33），抽出マップにしたがうボクセルの抽出処理が行われる（図16ステップ34）。抽出されたボクセルが伸張され，かつレンダリングされることにより二次元画像が表示されるのは上述した通りである。 Thereafter, as described above, the extraction map is corrected based on the background information (step 33 in FIG. 16), and voxel extraction processing according to the extraction map is performed (step 34 in FIG. 16). As described above, the extracted voxel is expanded and rendered to display a two-dimensional image.
上述の実施例においては，フラッシュ・メモリ９から読み出されたマスク・データまたは不透明度データは可逆に伸張され，読み出されたマスク・データまたは不透明度データが第１フレームまたは第２フレームの場合には，確度100％の抽出マップが生成されているが（図５，図14参照），フラッシュ・メモリ９から読み出されたマスク・データまたは不透明度データが非可逆に伸張される，あるいは縮小処理が行われる場合には，第３フレーム以降の処理と同様に図６ステップ22または図15ステップ25以降の処理が行われ，不確実な抽出マップが生成されるようにしてもよい。 In the above embodiment, the mask data or opacity data read from the flash memory 9 is reversibly expanded, and the read mask data or opacity data is the first frame or the second frame. In this case, an extraction map with 100% accuracy is generated (see FIGS. 5 and 14), but the mask data or opacity data read from the flash memory 9 is irreversibly expanded or reduced. When the process is performed, the process from step 22 in FIG. 6 or the process from step 25 in FIG. 15 is performed in the same manner as the process from the third frame, and an uncertain extraction map may be generated.
上述した実施例では，第３フレームのボクセル・データｂ３からデータを抽出する場合に，第１フレームのボクセル・データｂ１から抽出されたボクセル・データと同じ位置のボクセル・データが抽出されているが，第４フレーム以降のフレーム（第γフレーム）のボクセル・データについては，第１フレームまたは第２フレームのボクセル・データｂ１またはｂ２から抽出されたボクセル・データと同じ位置のボクセル・データを抽出するのではなく，第３フレームのボクセル・データｂ３等から抽出されたボクセル・データの位置と同じ位置のボクセル・データを抽出するようにしてもよい。 In the above-described embodiment, when data is extracted from the voxel data b3 of the third frame, voxel data at the same position as the voxel data extracted from the voxel data b1 of the first frame is extracted. For the voxel data of the fourth and subsequent frames (γth frame), the voxel data at the same position as the voxel data extracted from the voxel data b1 or b2 of the first frame or the second frame is extracted. Instead of this, voxel data at the same position as the position of the voxel data extracted from the voxel data b3 and the like of the third frame may be extracted.
１ ＣＰＵ
２ 表示装置
５ メモリ
６ 入力装置
８ フラッシュ・メモリ
60，70，80 抽出マップ
1 CPU
2 Display device 5 Memory 6 Input device 8 Flash memory
60, 70, 80 extraction map
Claims (16)
上記抽出手段によって抽出された画像データを二次元表示用に画像処理する画像処理手段，
上記抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成する抽出マップ生成手段，
上記抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，上記抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定する判定手段，および
上記判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，上記判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正する抽出マップ補正手段，
を備えた二次元画像生成装置。 Extraction means for extracting image data from frame image data representing frames constituting a four-dimensional image according to an extraction map indicating image data to be extracted;
Image processing means for image processing the image data extracted by the extracting means for two-dimensional display;
When extracting the image data from the α-th frame image data representing the α-th frame in the extracting means, an extraction map for the α-th frame is generated so as to extract image data representing the display target image for two-dimensional display. When extracting image data from β-th frame image data representing the β-th (where β> α) frame, image data corresponding to the image portion represented by the image data extracted from the α-th frame image data Is generated from the β-th frame image data, and the β-th frame image data is extracted from the γ-th frame image data representing the γ-th (where γ> β) frame. extracting map generating means for generating an extraction map for the first γ frame to extract image data corresponding to an image portion represented by the image data
Based on the extraction map generated by the extraction map generation means, it is determined whether the image data extracted from the β-th frame image represents a display target image for two-dimensional display, and is generated by the extraction map generation means the determining means, and said determining means for image data extracted from the γ frame image based on the extracted map for the γ frame to determine whether representing the display target image for two-dimensional display, extracted from the β-frame image An image representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data in response to determining that the image data to be displayed does not represent a display target image for two-dimensional display data, a second β extraction map frame is corrected so as to extract from the β-frame image data, by said determining means In response to determining that the image data extracted from the γth frame image does not represent a display target image for two-dimensional display, an image portion represented by the image data extracted from the βth frame image data is displayed. Extraction map correction means for correcting the extraction map for the γth frame so as to extract image data representing a neighboring image from the γth frame image data ;
A two-dimensional image generation apparatus comprising:
請求項１に記載の二次元画像生成装置。 An opacity is assigned to the display target image, and the extraction map for the α-th frame generated by the extraction map generating means converts the image data having an opacity greater than 0% into a display target image for two-dimensional display. The β-th frame extraction map is image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data and has an opacity of 0. To extract image data larger than%,
The two-dimensional image generation apparatus according to claim 1 .
所望の視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出し，かつ死角となる部分の画像データの抽出を停止する第αフレーム用抽出マップを生成するものであり，
上記抽出マップ補正手段は，
上記判定手段によって，第βフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである，
請求項１または２に記載の二次元画像生成装置。 The extraction map generation means
Extracting image data representing a display target image for two-dimensional display when viewed from a desired viewpoint, and generating an extraction map for the α-th frame that stops extracting the image data of the part that becomes a blind spot,
The extraction map correction means is
When the determination means determines that the image data extracted from the βth frame image does not represent a display target image for two-dimensional display, the image data extracted from the αth frame image data is displayed. The β-th frame extraction map is corrected so that image data representing an image in the vicinity of the image portion to be extracted is extracted from the β-th frame image data.
The two-dimensional image generation apparatus according to claim 1 or 2 .
上記抽出マップ生成手段は，
上記視点変更指令入力手段から入力された視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出する第αフレーム用抽出マップを生成するものである，
請求項３に記載の二次元画像生成装置。 A viewpoint change command input means for inputting a viewpoint change command;
The extraction map generation means
An α-th frame extraction map for extracting image data representing a display target image for two-dimensional display when viewed from the viewpoint input from the viewpoint change command input means;
The two-dimensional image generation apparatus according to claim 3 .
をさらに備えた請求項２から４のうち，いずれか一項に記載の二次元画像生成装置。 Opacity calculating means for calculating the opacity of the α frame image represented by the α frame image data and the opacity of the β frame image represented by the β frame image data;
The two-dimensional image generation apparatus according to any one of claims 2 to 4 , further comprising:
をさらに備えた請求項１から４に記載の二次元画像生成装置。 Display target image change command input means for inputting a command to change the display target image for two-dimensional display;
Further two-dimensional image generating apparatus according to claims 1 to 4 with.
フレーム画像データを可逆的に伸張する可逆伸張手段をさらに備え，
上記抽出手段は，上記可逆伸張手段によって可逆的に伸張されたフレーム画像データから画像データを抽出するものである，
請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。 The frame image data is compressed,
Reversible decompression means for reversibly decompressing the frame image data;
The extraction means extracts image data from the frame image data reversibly expanded by the reversible expansion means.
The two-dimensional image generation device according to any one of claims 1 to 6 .
フレーム画像データを非可逆的に伸張する非可逆伸張手段をさらに備え，
上記抽出手段は，上記非可逆伸張手段によって非可逆的に伸張されたフレーム画像データから画像データを抽出するものである，
請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。 The frame image data is compressed,
Irreversible decompression means for irreversibly decompressing the frame image data,
The extraction means is for extracting image data from the frame image data expanded irreversibly by the irreversible expansion means.
The two-dimensional image generation device according to any one of claims 1 to 6 .
上記抽出手段は，上記縮小手段によって縮小されたフレーム画像データから画像データを抽出するものである，
請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。 A reduction means for reducing the frame image data;
The extraction means is for extracting image data from the frame image data reduced by the reduction means.
The two-dimensional image generation device according to any one of claims 1 to 6 .
請求項１から９のうち，いずれか一項に記載の二次元画像生成装置。 The extraction map generating means generates an extraction map for α-th frame that stops extracting image data representing a background image of a display target image for two-dimensional display.
The two-dimensional image generation device according to any one of claims 1 to 9 .
請求項１から10のうち，いずれか一項に記載の二次元画像生成装置。 The extraction map correcting means converts image data representing an image in the vicinity of the image portion represented by the image data extracted from the α-th frame image data in correspondence with the movement of the display target image for two-dimensional display. The β-th frame extraction map is corrected so as to be extracted from β-frame image data.
The two-dimensional image generation device according to any one of claims 1 to 10 .
上記抽出マップ生成手段は，上記表示範囲設定手段によって設定された表示範囲の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成するものである，
請求項１から11のうち，いずれか一項に記載の二次元画像生成装置。 A display range setting means for setting a display range of a display target image for two-dimensional display;
The extraction map generating means generates an α-th frame extraction map so as to extract image data representing a display target image in the display range set by the display range setting means.
The two-dimensional image generation device according to any one of claims 1 to 11 .
をさらに備えた請求項１から12のうち，いずれか一項に記載の二次元画像生成装置。 Stop command input means for inputting a command to stop generation of the extraction map by the extraction map generation means, determination by the determination means, and correction of the extraction map by the extraction map correction means;
The two-dimensional image generation apparatus according to any one of claims 1 to 12 , further comprising:
請求項１から13のうち，いずれか一項に記載の二次元画像生成装置。 Based on the data amount of the frame image data and the image processing capability of the image processing means, when the image processing time by the image processing means is a predetermined time or more, the extraction means, the image processing means, and the extraction map generation means , Processing of the determination means and the extraction map correction means.
The two-dimensional image generation device according to any one of claims 1 to 13 .
画像処理手段が，上記抽出手段によって抽出された画像データを二次元表示用に画像処理し，
抽出マップ生成手段が，上記抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成し，
判定手段が，上記抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，上記抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，
抽出マップ補正手段が，上記判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，上記判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正する，
二次元画像生成装置の動作制御方法。 The extraction means extracts image data from frame image data representing frames constituting a four-dimensional image according to an extraction map indicating image data to be extracted,
The image processing means performs image processing on the image data extracted by the extracting means for two-dimensional display,
When the extraction map generating means extracts image data from the α-th frame image data representing the α-th frame in the extraction means, the α-th image data is extracted so as to extract the image data representing the display target image for two-dimensional display. When an extraction map for a frame is generated and image data is extracted from β-th frame image data representing a β-th (where β> α) frame, an image represented by image data extracted from the α-th frame image data When the β-th frame extraction map is generated so as to extract image data corresponding to the portion, and image data is extracted from the γ-th frame image data representing the γ-th (where γ> β) frame, Generates an extraction map for the γ-th frame so as to extract image data corresponding to the image portion represented by the image data extracted from the frame image data ,
The determination means determines whether the image data extracted from the β-th frame image based on the extraction map generated by the extraction map generation means represents a display target image for two-dimensional display, and the extraction map generation means Determining whether the image data extracted from the γ-th frame image based on the γ-th frame extraction map generated by the step represents a display target image for two-dimensional display;
The extraction map correction means extracts from the α-th frame image data when the determination means determines that the image data extracted from the β-th frame image does not represent a display target image for two-dimensional display. the image data representing the image in the vicinity of the image portion represented by the image data, a second β extraction map frame is corrected so as to extract from the β-frame image data, by said determining means, from the γ-frame image Represents an image in the vicinity of the image portion represented by the image data extracted from the βth frame image data in response to determining that the extracted image data does not represent a display target image for two-dimensional display. Correcting the extraction map for the γth frame so as to extract the image data from the γth frame image data ;
An operation control method for a two-dimensional image generation apparatus.
抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出させ，
抽出された画像データを二次元表示用に画像処理させ，
第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成させ，
生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定させ，
第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正させるように二次元画像生成装置のコンピュータを制御するプログラム。 A computer-readable program for controlling a computer of a two-dimensional image generation apparatus,
According to the extraction map indicating the image data to be extracted, the image data is extracted from the frame image data representing the frames constituting the four-dimensional image,
The extracted image data is processed for 2D display,
When extracting image data from α-th frame image data representing an α-th frame, an α-th frame extraction map is generated so as to extract image data representing a display target image for two-dimensional display, and β ( However, when image data is extracted from β-th frame image data representing β> α), image data corresponding to the image portion represented by the image data extracted from the α-th frame image data is extracted. When an extraction map for the βth frame is generated and image data is extracted from the γth frame image data representing the γth (where γ> β) frame, it is represented by the image data extracted from the βth frame image data. Generating an extraction map for the γ-th frame so as to extract image data corresponding to the image portion to be processed ,
It is determined whether the image data extracted from the β-th frame image represents a display target image for two-dimensional display based on the generated extraction map, and the γ-th frame based on the generated γ-th frame extraction map Whether the image data extracted from the image represents a display target image for two-dimensional display ,
In response to the determination that the image data extracted from the β-th frame image does not represent a display target image for two-dimensional display, the image portion represented by the image data extracted from the α-th frame image data The β-th frame extraction map is corrected so that image data representing neighboring images is extracted from the β-th frame image data, and the image data extracted from the γ-th frame image represents a display target image for two-dimensional display. The image data representing the image in the vicinity of the image portion represented by the image data extracted from the β-th frame image data is extracted from the γ-th frame image data in response to the determination that the image data is extracted from the γ-th frame image data. A program for controlling a computer of a two-dimensional image generation apparatus so as to correct a frame extraction map .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012075836A JP5732001B2 (en) | 2012-03-29 | 2012-03-29 | Two-dimensional image generation apparatus, operation control method thereof, and operation control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012075836A JP5732001B2 (en) | 2012-03-29 | 2012-03-29 | Two-dimensional image generation apparatus, operation control method thereof, and operation control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013206244A JP2013206244A (en) | 2013-10-07 |
| JP5732001B2 true JP5732001B2 (en) | 2015-06-10 |
Family
ID=49525233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012075836A Active JP5732001B2 (en) | 2012-03-29 | 2012-03-29 | Two-dimensional image generation apparatus, operation control method thereof, and operation control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5732001B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7125312B2 (en) * | 2018-09-07 | 2022-08-24 | 富士フイルムヘルスケア株式会社 | MAGNETIC RESONANCE IMAGING APPARATUS, IMAGE PROCESSING APPARATUS, AND IMAGE PROCESSING METHOD |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3013593B2 (en) * | 1991-05-09 | 2000-02-28 | 株式会社日立製作所 | Image display method |
| JPH07141522A (en) * | 1993-06-16 | 1995-06-02 | Hitachi Ltd | Artificial visual field image generating device |
| JPH09251554A (en) * | 1996-03-18 | 1997-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Image processor |
| US6390984B1 (en) * | 2000-09-14 | 2002-05-21 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for locking sample volume onto moving vessel in pulsed doppler ultrasound imaging |
| JP3516942B2 (en) * | 2001-11-26 | 2004-04-05 | ザイオソフト株式会社 | Three-dimensional image processing method, apparatus and program |
| JP4843357B2 (en) * | 2006-04-19 | 2011-12-21 | 株式会社東芝 | Image processing device |
| JP5264097B2 (en) * | 2007-04-11 | 2013-08-14 | 株式会社日立メディコ | Ultrasonic diagnostic equipment |
| JP2011218090A (en) * | 2010-04-14 | 2011-11-04 | Olympus Corp | Image processor, endoscope system, and program |
-
2012
- 2012-03-29 JP JP2012075836A patent/JP5732001B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013206244A (en) | 2013-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4966431B2 (en) | Image processing device | |
| KR101356544B1 (en) | Method and apparatus for generating 3d stereoscopic image | |
| US20190050665A1 (en) | Image display control device, method, and program | |
| US8571304B2 (en) | Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map | |
| CN106898027B (en) | Method and apparatus for mapping three-dimensional images to two-dimensional images | |
| JP5818531B2 (en) | Image processing system, apparatus and method | |
| KR20180006917A (en) | Method and apparatus for X-ray scanning of occlusal tooth model | |
| KR102175162B1 (en) | Ultrasonic diagnostic apparatus and operating method for the same | |
| JP7210506B2 (en) | 3D perspective indicator, method for generating 3D perspective indicator, and applications thereof | |
| JP2023511670A (en) | A method and system for augmenting depth data from a depth sensor, such as by using data from a multi-view camera system | |
| KR102459850B1 (en) | Method and apparatus for processing 3-dimension image, and graphic processing unit | |
| RU2768013C2 (en) | Method and device for providing information to a user observing multi-view content | |
| JP5595207B2 (en) | Medical image display device | |
| WO2013047007A1 (en) | Parallax adjustment device and operation control method therefor | |
| JP2006507051A5 (en) | ||
| JP5732001B2 (en) | Two-dimensional image generation apparatus, operation control method thereof, and operation control program | |
| JP5413263B2 (en) | Image generation method | |
| JP2009160313A (en) | Image processing apparatus, image processing method, and computer program | |
| JP5808004B2 (en) | Image processing apparatus, image processing method, and program | |
| KR102117290B1 (en) | Medical image reconstruction device and method | |
| EP3195272B1 (en) | Device for visualizing a 3d object | |
| JP2011076224A5 (en) | ||
| JP5307051B2 (en) | Stereoscopic image adjusting apparatus and adjusting method | |
| JP4899151B2 (en) | Parallax interpolation processing method and processing apparatus | |
| EP3130273B1 (en) | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140411 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150410 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5732001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |