WO2001097174A1 - Dispositif et procede d'entree de points pour images tridimensionnelles - Google Patents

Dispositif et procede d'entree de points pour images tridimensionnelles Download PDF

Info

Publication number
WO2001097174A1
WO2001097174A1 PCT/JP2001/005167 JP0105167W WO0197174A1 WO 2001097174 A1 WO2001097174 A1 WO 2001097174A1 JP 0105167 W JP0105167 W JP 0105167W WO 0197174 A1 WO0197174 A1 WO 0197174A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
display surface
dimensional image
orientation
display
Prior art date
Application number
PCT/JP2001/005167
Other languages
English (en)
French (fr)
Inventor
Han-Joon Kim
Original Assignee
Imagnosis Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagnosis Inc. filed Critical Imagnosis Inc.
Priority to DE60141834T priority Critical patent/DE60141834D1/de
Priority to EP01938717A priority patent/EP1308903B1/en
Priority to CA002411193A priority patent/CA2411193C/en
Priority to JP2002511295A priority patent/JP4141253B2/ja
Priority to KR1020027016155A priority patent/KR100770248B1/ko
Priority to AT01938717T priority patent/ATE464623T1/de
Priority to US10/296,717 priority patent/US7215325B2/en
Priority to CNB018112927A priority patent/CN1248168C/zh
Publication of WO2001097174A1 publication Critical patent/WO2001097174A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/21Collision detection, intersection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Definitions

  • the present invention relates to an apparatus and a method for designating and inputting an arbitrary point on a three-dimensional image displayed on a display surface.
  • the present invention relates to a device and method for inputting an arbitrary designated point to a three-dimensional image used in the medical imaging field.
  • the methods for constructing medical three-dimensional images can be broadly classified into two types: surface rendering and volume rendering.
  • the surface rendering method is a method of constructing the outline and surface shape of the object to be displayed (in terms of algorithm, surface patches / tiles represented by triangular patches).
  • the volume rendering method is a method based on a ray casting algorithm, and is a method of assigning opacity and color information to each of the poxels constituting a three-dimensional object so as to make the contents of the object visible.
  • the present invention has been made under such a background, and a main object of the present invention is to provide a point input device and a method capable of designating an arbitrary point of a three-dimensional image by a simple operation.
  • the present invention also provides a point input device that can specify an arbitrary point on a three-dimensional image regardless of a three-dimensional construction method such as surface rendering or volume rendering, and has a simple processing operation and a short processing time. And methods.
  • the invention according to claim 1 is a display unit for displaying a three-dimensional image on a display surface, a display control unit for setting a direction of the three-dimensional image displayed on the display surface to a desired direction, and a display unit for displaying a three-dimensional image on the display surface.
  • a method of creating a vertical straight line passing through the point and on the display surface In response to the specification of an arbitrary point of the three-dimensional image displayed in the second orientation different from the first orientation, a method of creating a vertical straight line passing through the point and on the display surface.
  • a point input device for a three-dimensional image comprising: a step; and means for obtaining coordinates of an intersection between the created surface and the straight line, and holding the intersection as a designated point.
  • the designated point is displayed on a three-dimensional image, or the data value of the designated point is displayed.
  • a designated point related processing means such as to extract the peripheral portion around the designated point, an input device points for the three-dimensional image of claim 1, wherein.
  • the invention according to claim 3 is a method for designating an arbitrary point on a three-dimensional image displayed on a display surface, wherein the direction of the three-dimensional image displayed on the display surface is determined by a user.
  • the display is controlled so as to be in the first orientation according to the operation, and in response to an arbitrary point of the three-dimensional image displayed in the first orientation on the display surface being designated by the user, Passing the point, creating a plane in the vertical direction on the display surface; and changing the orientation of the three-dimensional image displayed on the display surface to a second orientation different from the first orientation in accordance with a user operation.
  • a step of creating a straight line in the vertical direction on the display surface In response to the fact that an arbitrary point of the three-dimensional image displayed in the second orientation is designated by the user on the display surface, A step of creating a straight line in the vertical direction on the display surface, and a step of obtaining intersection coordinates of the created surface and the straight line and holding the coordinates as a designated point.
  • This is an arbitrary point input method.
  • the invention according to claim 4 is a display unit for displaying a three-dimensional image on a display surface, a display control unit for setting a direction of the three-dimensional image displayed on the display surface to a desired direction, and a first display unit on the display surface.
  • the invention according to claim 5 is a method for specifying an arbitrary point in a three-dimensional image displayed on a display surface
  • the display of the three-dimensional image displayed on the display surface is controlled in the first direction by controlling the display so that the orientation of the three-dimensional image displayed on the display surface becomes the first direction according to the operation of the user.
  • the user specifying any point in, create two straight lines through the point and perpendicular to the display surface or a single line perpendicular to the display surface,
  • the orientation of the three-dimensional image displayed on the display surface is controlled to be a second orientation different from the first orientation according to a user operation, and the second orientation is displayed on the display surface.
  • a plane is created through the point and perpendicular to the display surface,
  • This is a method for inputting an arbitrary point in a three-dimensional image, characterized in that the point of the obtained intersection coordinates is held as a designated point.
  • a human input method for an arbitrary point on a three-dimensional image wherein the processing of (1) and the processing of (2) are reversed. is there.
  • the invention according to claim 7 is a program for designating an arbitrary point on a three-dimensional image displayed on a display surface
  • the display of the three-dimensional image displayed on the display surface is controlled in the first direction by controlling the display so that the orientation of the three-dimensional image displayed on the display surface becomes the first direction according to the operation of the user.
  • the orientation of the three-dimensional image displayed on the display surface is controlled so as to be a second orientation different from the first orientation in accordance with a user operation, and is displayed in the second orientation on the display surface.
  • the invention according to claim 8 is a method for designating an arbitrary point on a three-dimensional image displayed on a display surface, wherein a direction of the three-dimensional image displayed on the display surface is changed by a user operation.
  • the display is controlled to be in the first orientation according to the image, and in response to an arbitrary point of the three-dimensional image displayed in the first orientation on the display surface being designated by the user.
  • a step of creating a cross-sectional image passing through the point in the vertical direction on the display surface, a step of displaying the created cross-sectional image on the display surface, and an arbitrary point on the cross-sectional image displayed on the display surface Step that stores the point coordinates in response to the designation by And a step of converting the stored point coordinates on the cross-sectional image into three-dimensional coordinates and holding the three-dimensional coordinates, and an arbitrary point in the three-dimensional image.
  • the user can specify an arbitrary point appearing in the three-dimensional image while checking the three-dimensional image displayed on the display surface.
  • the designation of an arbitrary point in the three-dimensional image can be performed while checking the three-dimensional image displayed in the first orientation and the three-dimensional image displayed in the second orientation. Can be easily specified.
  • the three-dimensional image passes through the first designated point and is perpendicular to the display surface, and the second designated point is perpendicular to the display surface. Since the specified point in the 3D image is specified by the coordinates of the intersection with the straight line in the direction, the specified point can be specified correctly and only one point can be specified.
  • the designated point in addition to the method for determining the designated point based on an intersection between a plane and a straight line, the designated point is designated based on a three-dimensional image displayed in the first orientation as described in claim 4. Based on the three-dimensional image displayed in the second orientation, passing through a point and perpendicular to the display surface, and based on the three-dimensional image displayed in the second orientation, passing through the specified point and passing through a specified plane and perpendicular to the display surface. Only one point can be specified by the coordinates of the intersection of the planes.
  • the 3D image is displayed in the second orientation. You can create a straight line or one plane at that time, then display the 3D image in the first orientation, and then create one or two planes. The order of creation is not fixed.
  • any point in the three-dimensional image can be correctly specified by a simple operation.
  • FIG. 1 is a block diagram showing a hardware configuration of a point input device for a three-dimensional image according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a three-dimensional image displayed on the display surface of the display.
  • FIG. 3 is a diagram showing the created surface (7j plane).
  • FIG. 4 is a diagram showing a display example of a state where the three-dimensional rooster image of FIG. 2 is viewed from another viewpoint.
  • FIG. 5 is a diagram showing a display example of a designated point displayed on a three-dimensional image.
  • FIG. 6 is a diagram showing another example of the three-dimensional image displayed on the display surface of the display.
  • FIG. 7 is a diagram showing the created surface (vertical section).
  • FIG. 8 is a diagram showing a display example in a state where the three-dimensional image of FIG. 6 is viewed from another viewpoint.
  • FIG. 9 is an explanatory diagram showing the processing shown in FIGS. 6 to 8 in a plan view.
  • FIG. 10 is a flowchart showing the processing operation of the control unit.
  • FIG. 11 is a flowchart showing the processing operation of the control unit.
  • FIG. 12 is an explanatory diagram of a case where a point designation process according to the present invention is performed on an image of a display method that performs three-dimensional projection display from an arbitrary direction.
  • FIG. 1 is a block diagram showing a hardware configuration of a point input device for a three-dimensional image according to an embodiment of the present invention.
  • This device has a control unit 1 including a microcomputer and the like, and the control unit 1 includes a memory 2 for storing an operation program and various data.
  • a display 3 for displaying a three-dimensional image is connected to the control unit 1.
  • the display 3 can be constituted by a display using a cathode ray tube, a liquid crystal display, or the like.
  • An operation unit 4 is also connected to the control unit 1.
  • the operation unit 4 includes a keyboard, a mouse, and other input devices for signal input and output.
  • the control unit 1 can read information recorded on a CD-ROM, an optical disc, or another information recording medium 5, and record the read information in the memory 2 as needed. Also, a modem 6 for communication is connected to the control unit 1 so that necessary information and data can be fetched from an information network or the like via this modem 6 or predetermined data can be transmitted to the information network. It is possible. '' The features of the point input device according to this embodiment are displayed on the display surface of the display 3. The user can specify a desired position with respect to the three-dimensional image, and is stored and displayed in association with the specified point force three-dimensional image.
  • Such processing is executed according to a program described below, which is performed by the control unit 1.
  • the present invention is also characterized by a method of designating an arbitrary point on a three-dimensional image executed by the program.
  • a program for realizing the present invention may be stored in the memory 2 of the control unit 1 in advance, or may be recorded on the information recording medium 5.
  • the program recorded on the information recording medium 5 is stored in the memory 2 of the control unit 1 by being installed in the control unit 1.
  • the program according to the present invention may be downloaded to the control unit 1 from an external information network via the modem 6.
  • the operation executed by the control unit 1, that is, the features of the program according to this embodiment will be specifically described.
  • the control unit 1 can install the program recorded on the information recording medium 5 and the program received via the modem 6 into the memory 2 as described above, as well as tomographic images captured by MRI, CT, or the like.
  • Image data can be captured and stored in memory 2.
  • data recorded on the information recording medium 5 may be imported, or tomographic image data sent via the modem 6 may be imported.
  • the present invention is not limited to the case where the tomographic image data is provided to the control unit 1 and a medical three-dimensional image is constructed in the control unit 1, and the medical three-dimensional image data itself may be provided to the control unit 1.
  • FIG. 2 is a view showing an example of the three-dimensional image 8 displayed on the display surface 7 of the display 3.
  • the three-dimensional image 8 is an image constructed three-dimensionally based on tomographic images such as MRI and CT given to the control unit 1. Alternatively, it is a display of the three-dimensional image data itself given to the control unit 1.
  • the user rotates the three-dimensional image 8 displayed on the display surface 7 so as to be in a desired direction, enlarges a desired part, or obtains a tomographic image of a desired part.
  • the direction of the three-dimensional image 8 displayed on the display surface 7 can be set to a desired direction, and an arbitrary point appearing in the three-dimensional image 8 can be designated. For this point specification, for example, move the cursor to the specified part of the three-dimensional image 8 with the mouse. This can be done by clicking the mouse.
  • the control unit 1 When an arbitrary point on the three-dimensional image 8 is designated, the control unit 1 responds to the designated point, creates and stores a vertical plane, for example, a horizontal plane on the display surface 7 through the designated point.
  • Figure 3 shows the horizontal plane created and stored.
  • the horizontal plane shown in FIG. 3 need only be created in the control unit 1 and stored in the memory, and need not be displayed on the display 3.
  • the user operates the three-dimensional image 8 displayed on the display surface 7 of the display 3 so as to be in a different direction from the direction displayed in FIG.
  • the direction of the three-dimensional image 8 shown in FIG. 2 and the direction of the ⁇ -dimensional image 8 shown in FIG. 4 are not limited as long as the user specifies an arbitrary point in the three-dimensional image and the point is visible. Good.
  • the user specifies a desired point. This point designation can also be performed using a mouse or the like as in the above-described operation.
  • the control unit 1 passes through the designated point and a straight line in the vertical direction on the display surface 7. Create and memorize. The created line does not need to be displayed on the display 3. Then, the control unit 1 obtains the intersection coordinates of the horizontal plane created and stored when the display screen of FIG. 2 is displayed and the straight line created when the display screen of FIG. A point at the intersection coordinates is displayed on the three-dimensional image as a designated point. For example, the designated point 9 is displayed as shown in FIG.
  • the user can directly specify an arbitrary point of the three-dimensional image 8 while viewing the three-dimensional image. Since the point designation is performed based on the three-dimensional image displayed in the first orientation displayed on the display surface 7 and the three-dimensional image displayed in the second orientation, The designated point can be specified easily.
  • a three-dimensional image 8 is displayed on the display surface 7 of the display 3 in an arbitrary direction, and a part of the specified image is designated.
  • the designated point is indicated by an X.
  • a vertical cross section is created on the display surface 7 through the specified point.
  • Figure 7 shows the created vertical section.
  • the user rotates and moves the three-dimensional image displayed on the display surface 7 in FIG. 6, for example, in the direction shown in FIG.
  • the part to be specified is the part that also appeared in Fig. 6.
  • FIG. 9 is an explanatory diagram showing the processing of FIGS. 6 to 8 in a plan view.
  • 9A is the display surface 7 in FIG. 6, and 7B is the display surface 7 in FIG.
  • the vertical section perpendicular to the display surface 7 formed in FIG. 7 is represented as VS in FIG.
  • a line passing through the point specified in FIG. 8 and perpendicular to the display surface 7B is represented by VL in FIG.
  • VL a line passing through the point specified in FIG. 8 and perpendicular to the display surface 7B.
  • FIGS. 10 and 11 are flowcharts showing the processing operation of the control unit 1 shown in FIG. Next, a description will be given according to the flow of FIGS. 10 and 11 with reference to FIGS. 1 to 9.
  • a three-dimensional image is displayed on the display 3 (step S1).
  • the displayed three-dimensional image is an image that is three-dimensionally constructed based on tomographic images such as MRI and CT.
  • Such a program for three-dimensional construction is installed in the control unit 1 in advance, and the control unit 1 displays a tomographic image as a three-dimensional image based on the three-dimensional image construction program.
  • the three-dimensional image may be an image constructed by a surface rendering method or an image constructed by a volume rendering method. Alternatively, it may be a three-dimensional image based on data such as a pseudo projection method.
  • the controller 1 determines whether or not the mode is the three-dimensional point input mode (step S2). When performing three-dimensional point input, the device is set to that mode. If the mode is not the three-dimensional point input mode, the control unit 1 performs another process (step S18).
  • the control unit 1 performs a process of displaying the three-dimensional image 3 displayed on the display surface 7 of the display 3 in a direction desired by the user (step S3).
  • the direction desired by the user is a direction in which the user can visually recognize a point to be designated in the three-dimensional image.
  • the user cannot visually recognize the point that the user wants to specify, so the user rotates the three-dimensional image so that the point can be visually recognized and displays it. Therefore, it is possible to specify a point to be specified while checking it on the three-dimensional image.
  • the user specifies a point on the three-dimensional image 8 displayed on the display surface 7. As described above, this point can be specified by moving the cursor to a position to be specified using a mouse or the like.
  • control unit 1 determines that the first designated point has been input (step S 4), it passes through the input point, is parallel to the viewpoint direction, and is perpendicular to the display surface 7 (perpendicular to the display surface 7).
  • the direction is a vertical or horizontal cross section with respect to the display surface 7.) is created and stored in the memory 2 (step S5).
  • an instruction to input the second designated point is displayed on the display 3.
  • the user operates the image displayed on the display surface 7 so as to be different from the first direction.
  • the three-dimensional image 8 on the display surface 7 is displayed in the second direction (step S6).
  • Step S7 determines that there is a designated point input at the point (step S7), and draws a line passing through the designated input point and parallel to the viewpoint direction (a straight line perpendicular to the display surface 7). Create and memorize (Step S8).
  • step S8 the coordinates of the intersection of the plane (cross section) created in step S5 and the straight line created in step S7 are calculated (step S8), and the intersection coordinates are stored in a memory as a designated point, and The point specified by the coordinates is displayed on the three-dimensional image 8 on the display surface 7 (step S9).
  • step S5 the plane created in step S5 and the straight line created in step S8 may be displayed together with the designated point, or the display of these planes and straight lines may be omitted. . If the displayed designated point is at a position different from the desired point, the user can input that cancellation is to be performed (step S10). If there is a cancel input, the control unit 1 invalidates the points specified in steps S4, S7, and S9 (step S11), and the process returns to step 'S3.
  • the user can then change the shape, size and color of the mark representing the designated point. If the user wants to change the shape, size, and color of the mark representing the designated point, the user inputs that fact through the operation unit 4 and the control unit 1 performs the change processing (step S13).
  • a mark representing a designated point is displayed on the 3D image due to the relationship with the 3D image to be displayed, if there is a problem such as difficulty in viewing the 3D image, the mark representing the designated point is replaced with the 3D image. It does not have to be displayed above. In this case, if you want to recall a specified point that has already been specified, for example, if you want to extract the area around the specified point and display it in an enlarged view, the edge of the display surface (image display An icon for specifying the designated point may be displayed outside the area. By displaying such an icon at the end of the display surface, it is possible to call up a point on the specified 3D image once, to extract the surrounding area of the point on the specified 3D image, and to enlarge and display it. If you want to create a tomographic image including the specified point, instead of picking the specified point on the 3D image, select the existing specified point by picking the icon displayed in the column outside the image Operation can be simplified.
  • CT image is the value of the radiation reflected by human tissue when irradiated with radiation, expressed as the relative value of the X-ray absorption coefficient.
  • the relative value of the X-ray absorption coefficient of human tissue when the coefficient is set to 0.For example, it is about 80 to 100 for bone and lime, and about 20 to 70 for blood and organ.
  • the control unit 1 performs necessary extraction processing (step S17), and displays the extracted portion, for example, in an enlarged manner.
  • the three-dimensional image is displayed in the first orientation, a plane perpendicular to the display surface at that time is created, and then the three-dimensional image is oriented in the second orientation, and the display at that time is performed.
  • a plane perpendicular to the display surface at that time is created, and then the three-dimensional image is oriented in the second orientation, and the display at that time is performed.
  • two planes perpendicular to the display plane for example, Direction and horizontal direction
  • one plane perpendicular to the display surface is created, and those three planes are created. May be determined and that point may be set as the designated point.
  • first create a straight line then create a surface, and specify the intersection as a specified point.
  • Any method may be used in which an arbitrary point is specified, a plane or a straight line passing through the specified point and perpendicular to the display surface is created, and the specified point is specified from the intersection.
  • the image displayed on the display surface is described as being a three-dimensionally constructed image.
  • the image displayed on the display surface is not limited to the three-dimensionally constructed image, and may be M a X-IF, It may be a three-dimensional projection display image from any direction such as Min_IF, Rayum, or the like.
  • an image of a display method that performs three-dimensional projection display from an arbitrary direction such as a MIP (Maximum Intensity Projection) method or a Laysum method.
  • Images in this notation are displayed as images like ordinary radiographs, but have three-dimensional information. Therefore, while rotating the image in an arbitrary direction, a projected image in that state can be created and displayed as needed.
  • the present invention can be applied to an image of the relevant display method.
  • FIG. 12 when a point is specified on the projection display screen in one direction, the point is specified.
  • a plane perpendicular to the screen is created.
  • the created plane is displayed as a straight line on the projection screen, but it is displayed on the image as a straight line because the plane perpendicular to the screen is projected from the viewpoint direction.
  • the computer has three-dimensional information.
  • a projection display screen in another direction is displayed. That is, a projection display screen with a changed viewpoint direction is displayed.
  • a projection display screen with a changed viewpoint direction is displayed.
  • you display the surface created by specifying the point first it will be displayed as a surface instead of a straight line.
  • a second point is designated from this viewpoint, the three-dimensional coordinates of the intersection of a straight line passing through the point and perpendicular to the screen and the plane can be calculated in the control unit 1 and designated. Point coordinates can be retained. Also, the designated point can be displayed on the image.
  • the present invention can be applied to a point input in a medical image three-dimensionally projected and displayed from an arbitrary direction.
  • an arbitrary point in a medical three-dimensional image can be specified as follows.
  • display control is performed such that the orientation of the three-dimensional image or the three-dimensional projected image displayed on the display surface is set to an arbitrary first orientation according to a user operation.
  • a cross-sectional image passing through the point and perpendicular to the display surface is created. Then, the created cross-sectional image is displayed on the display surface.
  • the user can specify an arbitrary point on the displayed cross-sectional image. Since the specified point is a point on the cross-sectional image, the three-dimensional coordinates of the point are calculated by the control unit 1 and held. Thereby, any point in the three-dimensional image can be specified.
  • condition setting for creating the cross-sectional image passes through the point specified in the first direction and is specified as a cross-section perpendicular to the display surface, the cross-sectional image of the position, Even if you do not make complicated settings for creation, simply specify one point in the first direction and a section perpendicular to the display surface will be created automatically through that point, so section creation is Easy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

明 細 書
三次元画像のための点入力装置および方法
技術分野
この発明は、表示面上に表示される三次元画像に対して任意の点を指定して入 力するための装置および方法に関する。 特に、 医療画像分野において使用される 、三次元画像に対する任意の指定点の入力装置および方法に関する。 従来技術
医療画像分野では、 MR I、 C T等の断層画像を三次元構築した画像処理が広 く用いられている。 医用三次元画像の構築方法は、大別すると、 サーフヱイスレ ンダリング法とボリュ一ムレンダリング法の 2種類に分かれる。 サーフェイスレ ンダリング法は、表示しょうとしてる対象の輪郭、表面形状を (アルゴリズム上 では三角パッチに代表されるような表面パッチゃタイルにより) 構築する手法で ある。 ボリュームレンダリング法は、 レイキャスティングのアルゴリズムに基づ く手法であり、三次元物体を構成する各ポクセルに対して、 不透明度および色情 報を割り付けて、物体の中身を可視ィ匕する方法である。 これら手法により三次元 構築した画像を、 臨床で使用するにあたっては、構築画像上での計測、 マーキン グ、抽出等の画像処理を行うために、三次元画像上の任意の点 (箇所) をピック (指定または特定) する必要がある。
サーフヱスレンダリング法では、輪郭が抽出されているため、輪郭表示上の点 はピックできるが、他の構造物と重なつている内部をピックすることはできない 一方、 ボリュームレンダリング法においては、 内部情報のみであるため、 三次 元画像上で直接任意の点をピックすることは、 全くできない。
そのため、従来、 臨床における任意の点の指定は、三次元構築画像上ではなく 、 断層画像上(正面、 上面、側面等の複数の視点上) で行うのが一般的である ( なお、上述したように、 サーフヱイスレンダリング法では、 直接三次元画像上で ピックできるが、 その指定点は外形輪郭上に限られてしまう) 。 そのため、画像 上の任意の点を指定するのに、処理操作が多く、,複雑で、 しかも時間がかかると いう課題があった。 発明の開示
この発明は、 かかる背景のもとになされたもので、 三次元画像の任意の点を簡 単な操作によつて指定できる点入力装置および方法を提供することを主たる目的 とする。
この発明はまた、 サーフヱイスレンダリング、 ボリュームレンダリング等の三 次元構築手法に関係なく、 三次元画像上で任意の点を特定でき、 そのための処理 操作が簡易で、 かつ処理時間の短い点入力装置および方法を提供することを目的 とする。
請求項 1記載の発明は、 三次元画像を表示面上に表示させるための表示手段、 表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示 面上に第 1の向きで表示されている三次元画像の任意の点が指定されたことに応 答して、 その点を通り、表示面に垂直方向の面を作成する手段、表示面上に、前 記第 1の向きとは異なる第 2の向きで表示されている三次元画像の任意の点が指 定されたことに応答して、 その点を通り、 表示面に垂直方向の直線を作成する手 段、 および前記作成された面と直線との交点座標を求め、 その交点を指定点とし て保持する手段、 を含むことを特徴とする三次元画像のための点入力装置である 請求項 2記載の発明は、三次元画像に前記指定点を表示し、 または前記指定点 のデータ値を表示し、 または指定点を中心とするその周囲部分の抽出を行う等の 指定点関連処理手段をさらに含むことを特徴とする、 請求項 1記載の三次元画像 のための点入力装置である。
請求項 3記載の発明は、表示面上に表示された三次元画像における任意の点を 指定するための方法であって、表示面上に表示された三次元画像の向きを、ュ一 ザの操作に応じた第 1の向きになるように表示制御し、表示面上に第 1の向きで 表示されている三次元画像の任意の点がユーザによつて指定されたことに応答し て、 その点を通り、表示面に垂直方向の面を作成するステップと、表示面に表示 された三次元画像の向きを、 ユーザの操作に応じ前記第 1の向きとは異なる第 2 の向きになるように制御するステップと、表示面上に、 第 2の向きで表示されて いる三次元画像の任意の点がュ一ザによつて指定されたことに応答して、 その点 を通り、表示面に垂直方向の直線を作成するステップと、前記作成した面と直線 との交点座標を求めて指定点として保持するステップと、 を含むことを特徴とす る、三次元画像に対する任意の点の入力方法である。
請求項 4記載の発明は、三次元画像を表示面上に表示させるための表示手段、 表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、表示 面に第 1の向きで表示されている三次元画像の任意の点が指定されたことに応じ て、 その点を通り、表示面に垂直方向の 2つの面を作成する手段、表示面上に、 前記第 1の向きとは異なる第 2の向きで表示されている三次元画像の任意の点が 指定されたことに応答して、 その点を通り、 表示面に垂直方向の 1つの面を作成 する手段、 および前記記憶された 3つの平面が交わる交点座標を求め、 その交点 を指定点として保持する手段、 を含むことを特徴とする三次元画像のための点入 力装置である。
請求項 5記載の発明は、表示面上に表示された三次元画像における任意の点を 指定するための方法であって、
①表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 1の向 きになるように表示制御し、表示面上に第 1の向きで表示されている三次元画像 の任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面 に垂直方向の 2つの面または表示面に垂直方向の 1本の直線を作成し、
②表示面に表示された三次元画像の向きを、ュ一ザの操作に応じ前記第 1の向 きとは異なる第 2の向きになるように制御し、表示面上に、 第 2の向きで表示さ れている三次元画像の任意の点がユーザによって指定されたことに応答して、 そ の点を通り、表示面に垂直方向の 1つの面を作成し、
③前記①の処理で作成された 2つの面と前記②の処理で作成された 1つの面の 3つの面が互いに交わる交点の座標を求めるか、 または、前記第 1の処理で作成 された直線と前記第 2の処理で作成された 1つの面との交点の座標を求め、
④求めた交点座標の点を指定点として保持することを特徴とする、三次元画像 に対する任意の点の入力方法である。 請求項 6記載の発明は、 請求項 5記載の入力方法において、前記①の処理と前 記②の処理とを前後逆にしたことを特徴とする、三次元画像に対する任意の点の 人力方法である。
請求項 7記載の発明は、表示面上に表示された三次元画像における任意の点を 指定するためのプログラムであって、
①表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 1の向 きになるように表示制御し、表示面上に第 1の向きで表示されている三次元画像 の任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面 に垂直方向の 1つの面または表示面に垂直方向の 1本の直線を作成する処理、
②表示面に表示された三次元画像の向きを、 ユーザの操作に応じ前記第 1の向 きとは異なる第 2の向きになるように制御し、表示面上に、 第 2の向きで表示さ れている三次元画像の任意の点がユーザによって指定されたことに応答して、 そ の点を通り、表示面に垂直方向の 1つの面を作成する処理、
③前記①の処理で作成された 2つの面と前記②の処理で作成された 1つの面の 3つの平面が互いに交わる交点の座標を求めるか、 または、前記第 1の処理で作 成された直線と前記第 の処理で作成された 1つの面との交点の座標を求める処 理、
④求めた交点座標の点を指定点として保持する処理、
を含むことを特徴とする、 三次元画像における任意の点を指定するためのプログ ラムである。
請求項 8記載の発明は、表示面上に表示された三次元画像における任意の点を 指定するための方法であって、表示面上に表示された三次元画像の向きを、 ユー ザの操作に応じた第 1の向きになるように表示制御し、表示面上に第 1の向きで 表示されている三次元画像の任意の点がュ一ザによつて指定されたことに応答し て、 その点を通り、表示面に垂直方向の断面画像を作成するステップと、作成さ れた断面画像を表示面に表示するステップと、表示面に表示された断面画像上の 任意の点がユーザによつて指定されたことに応答して、 その点座標を記憶するス テツフ。と、 断面画像上の記憶された点座標を三次元座標に変換して保持するステ ップと、 を含むことを特徴とする、三次元画像における任意の点の入力方法であ る。
請求項 1ないし 7の発明によれば、 ユーザは、表示面に表示される三次元画像 を確認しながら、 その三次元画像に現れる任意の点を指定することができる。 そ して、三次元画像における任意の点の指定は、第 1の向きで表示される三次元画 像と、第 2の向きで表示される三次元画像で確認しながら行うことができ、 所望 の点を簡単に指定することができる。
この発明の点入力装置または点入力方法では、三次元画像の第 1に指定された 指定点を通り、表示面に垂直方向の平面と、第 2に指定された指定点を通り表示 面に垂直方向の直線との交点座標によって三次元画像における指定点を特定する ため、指定点が正しくかっただ 1点を特定することができる。
また、 この発明の指定点の特定方法は、平面と直線との交点によって求める以 外に、請求項 4記載のように、 第 1の向きで表示される三次元画像に基づいて、 指定された点を通り、表示面に垂直方向の 2つの平面と、第 2の向きで表示され る三次元画像に基づいて、 指定された点を通り、表示面に垂直方向の 1つの平面 との 3つの平面の交わる交点座標によって、 ただ 1点を特定することができる。 また、指定点を特定するのに、 3つの平面の交点により特定するか、 1つの平 面と直線との交点により特定するかが重要であり、 まず三次元画像を第 2の向き で表示させて、 そのときに直線または 1つの平面を作成し、 次に三次元画像を第 1の向きで表示させて、 そのときに 1つの平面または 2つの平面を作成してもよ く、平面および直線の作成手順に順序が定まっているわけではない。
請求項 2の発明では、特定された指定点に関連して、 その指定点を中心とした 種々の処理を行うことができる。
請求項 8の発明でも、簡単な操作で三次元画像における任意の点を正しく指定 することができる。 図面の簡単な説明
図 1は、 この発明の一実施形態に係る三次元画像のための点入力装置のハード ゥヱァ構成を示すブロック図である。
図 2は、表示器の表示面上に表示された三次元画像の一例を示す図である。 図 3は、作成された面(7j平面) を示す図である。
図 4は、 図 2の三次元酉像を別の視点から見た状態の表示例を示す図である。 図 5は、 三次元画像上に表示された指定点の表示例を示す図である。
図 6は、表示器の表示面上に表示された三次元画像の他の例を示す図である。 図 7は、作成された面(縦断面) を示す図である。
図 8は、 図 6の三次元画像を別の視点から見た状態の表示例を示す図である。 図 9は、 図 6〜図 8に示す処理を、 平面的に表わした説明図である。
図 1 0は、制御部の処理動作を示すフローチャートである。
図 1 1は、制御部の処理動作を示すフロ一チャートである。
図 1 2は、任意方向からの三次元投影表示を行う表示法の画像に対し、 この発 明に係る点指定処理を行う場合の説明図である。 発明の実施の形態
以下には、 図面を参照して、 この発明の一実施形態について具体的に説明をす る。
図 1は、 この発明の一実施形態にかかる三次元画像のための点入力装置のハ一 ドウヱァ構成を示すブロック図である。 この装置は、 マイクロコンピュータ等を 含む制御部 1を有しており、制御部 1には動作プログラムや種々のデータを記憶 するためのメモリ 2が含まれている。 制御部 1には三次元画像を表示するための 表示器 3が接続されている。 表示器 3は、 ブラウン管を用いたディスプレイや、 液晶ディスプレイ、 その他で構成することができる。 制御部 1には、 また、操作 部 4が接続されている。 操作部 4にはキーボード、 マウスその他の信号ゃデ一夕 の入力機器が含まれる。
制御部 1は、 C D— R 0 Mや光ディスクその他の情報記録媒体 5に記録された 情報を読み取り、 その読取った情報を必要に応じてメモリ 2に記録することがで きる。 また、制御部 1には通信用のモデム 6が接続されており、 このモデム 6を 介して情報ネットワーク等から必要な情報やデータを取り込んだり、情報ネット ワークへ所定のデー夕を送信することが可能である。 ' この実施形態にかかる点入力装置の特徴は、表示器 3の表示面上に表示される 三次元画像に対して、 ユーザが所望の位置を指定することができ、 その指定され た点力三次元画像に関連づけて記憶され、表示されることである。
かかる処理は、制御部 1により行われる以下に説明するプログラムに従って実 行される。 この発明は、 また、 かかるプログラムによって実行される三次元画像 上の任意の点の指定方法が特徴である。
この発明を実現するプログラムは、制御部 1のメモリ 2に予め記憶されていて もよいし、 情報記録媒体 5に記録されていてもよい。 情報記録媒体 5に記録され たプログラムは、制御部 1にインストールされることによって、 制御部 1のメモ リ 2に記憶される。 また、 この発明にかかるプログラムは、 モデム 6を介して、 外部の情報ネットワークから制御部 1にダウンロードすることができてもよい。 以下、制御部 1により実行される動作、 つまりこの実施形態にかかるプログラ ムの特徴につ 、て具体的に説明をする。
制御部 1は、上述したように情報記録媒体 5に記録されたプログラムや、 モデ ム 6を介して受信したプログラムをメモリ 2にィンストールすることができると ともに、 M R Iや C T等で撮影された断層画像データを取り込んでメモリ 2に記 憶することができる。 断層画像データも、 情報記録媒体 5に記録されたものを取 り込んでもよいし、 モデム 6を介して送られてくる断層画像データを取り込むこ とも可能である。 また、 断層画像データが制御部 1に与えられ、 制御部 1におい て医用三次元画像が構築される場合に限らず、 医用三次元画像デー夕そのものが 、制御部 1に与えられてもよい。
図 2は、表示器 3の表示面 7上に表示された三次元画像 8の一例を示す図であ る。 三次元画像 8は、 制御部 1に与えられた M R I、 C T等の断層画像を元に三 次元に構築された画像である。 あるいは、 制御部 1に与えられた三次元画像デー 夕自体を表示したものである。 ユーザは、操作部 4を操作することにより、表示 面 7に表示された三次元画像 8を、所望の向きになるように回転させたり、所望 の部位を拡大させたり、所望の部位の断層面を表示させたりすることができる。 この実施形態では、表示面 7に表示される三次元画像 8の向きを所望の向きに し、三次元画像 8に現れている任意の点を指定することができる。 この点指定は 、 たとえばマウスによって、三次元画像 8の指定したい部分にカーソルを合わせ 、 マウスをクリックすること等で行うことができる。
制御部 1では、三次元画像 8の任意の点が指定されると、 それに応答して、 そ の指定点を通り、表示面 7に垂直方向のたとえば水平面を作成して記憶する。 図 3に、作成して記憶された水平面を示す。 この図 3に示す水平面は、制御部 1内で作成されてメモリ に記憶されればよく、表示器 3に表示される必要はな い。
ュ一ザは、 次いで、表示器 3の表示面 7に表示されている三次元画像 8を、 図 2に表示される向きとは別の向きになるように操作する。 たとえば図 4に示す向 きにする。 図 2に示す三次元画像 8の向きや、 図 4に示す Ξ次元画像 8の向きは 、 ユーザが三次元画像内の任意の点を特定する場合において、 その点が視認可能 な向きであればよい。
図 4に示す三次元画像 8において、 ユーザは、 所望の点を指定する。 この点指 定も、上述した操作と同様、 マウス等により行うことができる。
制御部 1では、 図 4に示す三次元画像 8が表示されているときに、ュ一ザによ り任意の点が指定されると、 その指定点を通り、表示面 7に垂直方向の直線を作 成して記憶する。 この作成された直線は、 表示器 3に表示される必要はない。 そして制御部 1は、 図 2の表示画面が表示されたときに作成して記憶した水平 面と、 図 4の表示画面が表示されているときに作成した直線との交点座標を求め て、 その交点座標の点を指定点として三次元画像上に表示する。 たとえば、 図 5 に示すように、指定点 9を表示する。
以上の処理により、 ユーザは、三次元画像 8の任意の点を、三次元画像を見な がら直接指定することができる。 し力、も、 点指定は、 表示面 7上に表示された第 1の向きで表示されている三次元画像と、第 2の向きで表示されている三次元画 像とに基づいて行うので、 かつ簡易に指定点を特定できる。
この実施形態における処理について、 別の具体例を述べる。
図 6に示すように、表示器 3の表示面 7上に任意の向きに三次元画像 8を表示 させ、特定した画像の部位を指定する。 指定された点を X印で示す。
この点指定に応答して、 その指定点を通り、表示面 7に垂直方向の縦断面が作 成される。 作成される縦断面を図 7に示す。 ユーザは、次に図 6の表示面 7に表示されている三次元画像を、 たとえば図 8 の向きに回転, 移動させ、 図 8の三次元画像 8に現れている指定したい部位 (X 印で示す。 この指定したい部位は、 図 6においても現れていた部位である。 ) を 特定する。
この図 8における点指定により、 その指定点を通り、表示面 7に垂直方向の直 線が作成して記憶される。
図 9は、 図 6〜図 8の処理を、平面図的に表わした説明図である。 図 9におけ る 7 Aは、 図 6の表示面 7であり、 7 Bは図 8における表示面 7である。 図 7で 形成された表示面 7に垂直方向の縦断面は、 図 9では V Sとして表わされる。一 方、 図 8で指定した点を通り、表示面 7 Bに垂直な線は図 9において V Lで表わ される。 そして面 V Sと直線 V Lとの交点座標を求めれば、 それが特定した三次 元画像上の点 Pとなる。
このようにして、三次元画像内の任意の点を、 簡単な操作で正しく特定するこ とができる。
図 1 0, 図 1 1は、 図 1に示す制御部 1の処理動作を示すフローチャートであ る。 次に、 図 1 0 , 図 1 1の流れに従って、 図 1〜図 9を参照しながら説明をす る。
まず、表示器 3に三次元画像が表示される (ステップ S 1 ) 。 この表示される 三次元画像は、 M R I、 C T等の断層画像を基に三次元構築される画像である。 かかる三次元構築のためのプログラムは、 制御部 1に予めィンストールされてお り、 制御部 1はこの三次元画像構築のプログラムに基づいて、 断層画像を三次元 画像として表示する。 三次元画像は、 サ一フェイスレンダリング法により構築さ れた画像でもよいし、 ボリュームレンダリング法により構築された画像でもよい 。 あるいは、疑似投影法等のデータに基づく三次元画像であってもよい。
次いで、 制御部 1は三次元点入力モードか否かの判別をする (ステップ S 2 ) 。 三次元点入力を行う場合は、装置はそのモードに設定される。 もし三次元点入 力モードでなければ、 制御部 1は他の処理を行う (ステップ S 1 8 ) 。
三次元点入力モードの場合は、 ユーザは、 表示器 3の表示面 7に表示された三 ?欠元画像 8の向きを、所望の向き (第 1の向き) になるように操作する。 この操 作に応じて、制御部 1は表示 3の表示面 7に表示されている三次元画像 3を、 ュ 一ザが所望する向きに表示する処理を行う (ステップ S 3 ) 。
ユーザが所望する向きとは、 ユーザが三次元画像中の指定したい点を視認する ことができる向きである。 三次元画像の向きによっては、 ュ一ザはその指定した い点を視認することができないから、 その点が視認できる向きに三次元画像を回 転させ、表示させる。 従って、指定したい点を三次元画像上で確認しながら指定 することができる。
表示面 7に表示された三次元画像 8に対し、 ユーザは点を指定する。 この点指 定は、上述したように、 マウス等によりカーソルを指定すべき箇所に合わせるこ とにより行うことができる。
制御部 1は、 1点目の指定点入力ありと判定すると (ステップ S 4 ) 、 その入 力点を通り、視点方向に平行で、 表示面 7に対して垂直方向の平面(表示面 7に 垂直方向とは、表示面 7に対して、縦方向または横方向の断面である。 ) を作成 してメモリ 2に言己憶する (ステップ S 5 ) 。
次いで、 2点目の指定点を入力すべき旨の指示を表示器 3に出す。 その指示に 応じて、 ユーザは表示面 7に表示される画像の向きを第 1の向きとは異なる向き になるように操作する。 この操作に応じて表示面 7の三次元画像 8は、 第 2の向 きに表示される (ステップ S 6 ) 。
そしてその第 2の向きにおいて、 ユーザは指定すべき点を視認し、その点を 2 点目の指定点として入力する。 これにより、制御部 1は 点目の指定点入力あり の判別をし (ステップ S 7 ) 、 その指定された入力点を通り、視点方向に平行な 線(表示面 7に垂直方向の直線) を作成して記憶する (ステップ S 8 ) 。
そして、 ステップ S 5で作成した平面(断面) と、 ステップ S 7で作成した直 線との交点座標を算出し (ステップ S 8 ) 、 その交点座標を指定点としてメモリ に記憶すると共に、 当該交点座標で特定される点を、表示面 7の三次元画像 8上 に表示する (ステップ S 9 ) 。
この表示例は、前述した図 5に示すものである。 指定点の表示では、 ステップ S 5で作成した平面や、 ステップ S 8で作成した直線が、指定点と一緒に表示さ れていてもよいし、 これら平面や直線は表示が省略されてもよい。 ユーザは、表示された指定点が、所望する点とは異なる位置であれば、 キャン セルすべき旨を入力できる (ステップ S 1 0 ) 。 キャンセル入力があれば、 制御 部 1はステップ S 4, S 7 , S 9で特定された点を無効にし (ステップ S 1 1 ) 、処理はステツフ' S 3に戻る。
交点座標で表わされる指定点が、 ユーザが所望する点である場合は、次にユー ザはその指定点を表わすマークの形、 大きさおよび色を変更することができる。 ユーザが指定点を表わすマークの形、大きさおよび色を変更したい場合は、 そ の旨を操作部 4から入力すれば、 制御部 1でその変更処理が行われる (ステップ S 1 3 ) 。
表示される三次元画像との関係上、 指定点を表わすマークが三次元画像上に表 示されると、三次元画像が見にくい等の問題がある場合は、指定点を表わすマー クを三次元画像上に表示しなくてもよい。 この場合において、既に指定した指定 点を呼び出したい場合、 たとえば指定点の周囲部分を抽出して拡大表示させたい 場合等に、 その指定点を特定しやすいように、表示面の端部 (画像表示領域外等 ) に指定点を特定するためのアイコンを表示してもよい。 かかるアイコンを表示 面の端部に表示することにより、 一旦指定した三次元画像上の点を呼び出したい 場合、指定した三次元画像上の点の周囲部分を抽出して拡大表示したい場合、 あ るいはその指定点を含む断層像を作成したい場合等に、 三次元画像上で指定点を ピックするのではなく、画像外の欄に表示されたアイコンをピックすることで、 既存の指定点を選択することができ、操作が簡易化する。
また、指定点の C T値 (C T画像は、放射線を照射し、人体組織によって反射 されてくる放射線の値を、 X線吸収係数の相対値で表わしたものである。 つまり 、水の X線吸収係数を 0としたときの人体組織の X線吸収係数の相対値であり、 たとえば骨や石灰物では、 8 0〜 1 0 0 0程度であり、 血液や 臓では 2 0〜 7 0程度である。 指定点の C T値を判断することによって、 たとえば骨の石灰化の 程度を判断できるし、 肝臓の場合、 その部位に腫瘍が生じているか否かの判断の 参照になる。 ) を表示させることができる (ステップ S 1 4 )。 表示させたい場 合、 ユーザは操作部 4を操作すればよく、 それに応じて、指定点近傍に C T値が 表示される (ステップ S 1 5 ) 。 なお、指定点近傍に C T値が表示されるのでは なく、 C T値は、表示面 7の片隅等、特定の表示領域に表示されるような構成と さらに、指定した指定点を中心に、 たとえば所定寸法の半径の領域を抽出する ことができる。 抽出操作が行われたと判別されると、 制御部 1では、必要な抽出 処理を行い (ステップ S 1 7 ) 、 その抽出部位をたとえば拡大表示等させる。 以上説明した実施形態では、三次元画像を第 1の向きに表示させて、 そのとき の表示面に対する垂直方向の面を作成し、 次いで三次元画像を第 2の向きにして 、 そのときの表示面に対する垂直方向の直線を作成する例を示したが、三次元画 像を第 1の向きに向けたときに、表示面に対して垂直方向の 2つの面(たとえば 、表示面に対して縦方向および横方向の 2つの垂直方向の面) を作成し、三次元 画像を第 2の向きに向けたときに、表示面に対して垂直方向の 1つの面を作成し て、 それら 3つの面の交点を求めてその点を指定点としてもよい。
また、 まず直線を作成し、次いで面を作成して、 その交点を指定点として特定 要は、 2つの視点方向から三次元画像を見たとき、各視点方向から見た三次元 画像上において、任意の点をそれぞれ指定し、 その指定点を通り表示面に垂直方 向の面または直線を作成して、 それらの交点から指定点を特定するやり方であれ ばよい。
上述の実施形態では、表示面に表示される画像は三次元構築された画像である として説明したが、表示面に表示される画像は、 三次元構築画像に限らず、 M a X— I F、 M i n _ I F、 R a y s um等の任意方向からの三次元投影表示画像 であってもよい。
医用画像として、 M I P (Maximum Intensity Projection) 法や、 Laysum法と いう、任意方向からの三次元投影表示を行う表示法の画像が使用されることがあ る。 この表示法の画像は、 通常のレントゲン写真のような画像として表示される が、 三次元情報を持っている。 そのため、画像を任意方向に回転させながら、 そ の状態での投影画像を随時作成して表示することが可能である。 この発明は、 係 る表示法の画像に対しても適用することが可能である。 すなわち、 図 1 2を参照 して説明すると、 1つの方向での投影表示画面上で、 点指定を行うと、 その点を 通り、画面に垂直な面が作成される。 この作成された面は投影画面上に直線とし て表示されるが、 それは、視点方向から画面に垂直な面を投影したために直線と して画像上に表示されるのであって、 制御部 1 (コンピュータ) 内では三次元情 報を持っている。
次に、 他の方向での投影表示画面を表示する。 すなわち視点方向を変えた投影 表示画面を表示させる。 この場合に、 先に点指定により作成された面を表示させ ると、 直線ではなく面として表示される。 そしてこの視点で、第 2の点指定を行 えば、 その点を通り画面に垂直な直線と前記の面との交点の三次元的な座標を、 制御部 1内で算出することができ、指定点の座標を保持することができる。 また 、 その指定点を画像の上に表示することができる。
以上のように、 この発明は、任意の方向から三次元投影表示された医用画像に おける点入力に対しても適用することができる。
この発明のさらに他の実施形態として、 次のようにして医用三次元画像におけ る任意の点を特定することが可能である。
すなわち、表示面上に表示された三次元画像または三次元投影画像の向きを、 ユーザの操作に応じて任意の第 1の向きになるように表示制御する。 そして表示 画面上に第 1の向きで表示されている三次元画像または三次元投影画像上の任意 の点が指定されると、 その点を通り、表示面に垂直方向の断面画像を作成する。 そして作成された断面画像を表示面に表示させる。
ユーザは、表示された断面画像上の任意の点を指定することができる。 そして 指定された点は、 断面画像上の点であるから、 その点の三次元座標が制御部 1で 算出されて保持される。 これにより、 三次元画像における任意の点を特定するこ とができる。
つまりこの実施形態では、第 1の向きで表示される三次元画像または三次元投 影画像において、任意の点が表示されると、表示面に垂直方向の面を作成する際 に、作成した面、 すなわち断面画像を表示させるのである。 それにより、第 2の 向き (断面に直交方向) から行う点指定を断面画像上で直接行うことができるこ とになる。 これにより、三次元画像表示による重なり、 遮りに関係なく点の指定 ができる。 かかるやり方は、従来の二次元画像上での点入力に比べて、 直接三次元表示画 像上で操作を行えるため、三次元的な位置決めが容易である。 また、操作の度に 、三次元画像、 二次元画像と切り換える必要がない。 また、 断面画像作成のため の条件設定が、 第 1の向きで指定された点を通り、表示面に垂直な断面と特定さ れているため、 従来のように、位置や向き等の断面画像作成のための複雑な設定 をしなくても、 第 1の向きで 1点を指定するだけで、 その点を通り、表示面に垂 直な断面が自動的に作成されるから、 断面作成が容易である。
この発明は、以上説明した実施形態に限定されるものではなく、 請求項記載の 範囲内において種々の変更が可能である。
この出願は、 2 0 0 0年 6月 1 6日に日本国特許庁に提出された特願 2 0 0 0 - 1 8 2 0 6 9号に基づき、条約による優先権を主張しており、 この出願の全開 示はこの出願に組み込まれるものとする。

Claims

請求の範囲
1 . 三次元画像を表示面上に表示させるための表示手段、
表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、 表示面上に第 1の向きで表示されている三次元画像の任意の点が指定されたこ とに応答して、 その点を通り、表示面に垂直方向の面を作成する手段、
表示面上に、 前記第 1の向きとは異なる第 2の向きで表示されている三次元画 像の任意の点が指定されたことに応答して、 その点を通り、表示面に垂直方向の 直線を作成する手段、 および
前記作成された面と直線との交点座標を求め、 その交点を指定点として保持す る手段、
を含むことを特徴とする三次元画像のための点入力装置。
2 . 三次元画像に前記指定点を表示し、 または前記指定点のデータ値を表示し、 または指定点を中心とするその周囲部分の抽出を行う等の指定点関連処理手段を さらに含むことを特徴とする、請求項 1記載の三次元画像のための点入力装置。
3 . 表示面上に表示された三次元画像における任意の点を指定するための方法で あって、
表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 1の向き になるように表示制御し、表示面上に第 1の向きで表示されている三次元画像の 任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面に 垂直方向の面を作成するステップと、
表示面に表示された三次元画像の向きを、 ユーザの操作に応じ前記第 1の向き とは異なる第 2の向きになるように制御するステップと、
表示面上に、 第 2の向きで表示されている三次元画像の任意の点がユーザによ つて指定されたことに応答して、 その点を通り、表示面に垂直方向の直線を作成 するステップと、
前記作成した面と直線との交点座標を求めて指定点として保持するステツプと 、 を含むことを特徴とする、≡次元画像に対する任意の点の入力方法。
4 . 三次元画像を表示面上に表示させるための表示手段、
表示面上に表示された三次元画像の向きを所望の向きにする表示制御手段、 表示面に第 1の向きで表示されている三次元画像の任意の点が指定されたこと に応じて、 その点を通り、表示面に垂直方向の 2つの面を作成する手段、 表示面上に、 前記第 1の向きとは異なる第 2の向きで表示されている三次元画 像の任意の点が指定されたことに応答して、 その点を通り、表示面に垂直方向の
1つの面を作成する手段、 および
前記記憶された 3つの平面が交わる交点座標を求め、 その交点を指定点として 保持する手段、
を含むことを特徴とする三次元画像のための点入力装置。
5 . 表示面上に表示された三次元画像における任意の点を指定するための方法で おつ こ、
①表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 Iの向 きになるように表示制御し、表示面上に第 1の向きで表示されている三次元画像 の任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面 に垂直方向の 2つの面または表示面に垂直方向の 1本の直線を作成し、
②表示面に表示された三次元画像の向きを、 ユーザの操作に応じ前記第 1の向 きとは異なる第 2の向きになるように制御し、表示面上に、 第 2の向きで表示さ れている三次元画像の任意の点がユーザによって指定されたことに応答して、 そ の点を通り、表示面に垂直方向の 1つの面を作成し、
③前記①の処理で作成された 2つの面と前記②の処理で作成された 1つの面の 3つの面が互いに交わる交点の座標を求めるか、 または、前記第 1の処理で作成 された直線と前記第 の処理で作成された 1つの面との交点の座標を求め、
④求めた交点座標の点を指定点として保持することを特徴とする、三次元画像 に対する任意の点の入力方法。
6 . 請求項 5記載の入力方法において、前記①の処理と前記②の処理とを前後逆 にしたことを特徴とする、 三次元画像に対する任意の点の入力方法。
7 . 表示面上に表示された三次元画像における任意の点を指定するためのプログ ラムであって、
①表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 1の向 きになるように表示制御し、表示面上に第 1の向きで表示されている三次元画像 の任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面 に垂直方向の 2つの面または表示面に垂直方向の 1本の直線を作成する処理、
②表示面に表示された三次元画像の向きを、 ユーザの操作に応じ前記第 1の向 きとは異なる第 2の向きになるように制御し、表示面上に、 第 2の向きで表示さ れている三次元画像の任意の点がユーザによつて指定されたことに応答して、 そ の点を通り、表示面に垂直方向の 1つの面を作成する処理、
③前記①の処理で作成された 2つの面と前記②の処理で作成された 1つの面の 3つの平面が互いに交わる交点の座標を求めるか、 または、 前記第 1の処理で作 成された直線と前記第 2の処理で作成された 1つの面との交点の座標を求める処 理、
④求めた交点座標の点を指定点として保持する処理、
を含むことを特徴とする、 三次元画像における任意の点を指定するためのプログ ラム。
8 . 表示面上に表示された三次元画像における任意の点を指定するための方法で あつてヽ
表示面上に表示された三次元画像の向きを、 ユーザの操作に応じた第 1の向き になるように表示制御し、表示面上に第 1の向きで表示されている三次元画像の 任意の点がユーザによって指定されたことに応答して、 その点を通り、表示面に 垂直方向の断面画像を作成するステツプと、
作成された断面画像を表示面に表示するステツプと、
表示面に表示された断面画像上の任意の点がユーザによつて指定されたことに 応答して、 その点座標を記憶するステップと、
断面画像上の記憶された点座標を三次元座標に変換して保持するステップと、 を含むことを特徴とする、 三次元画像における任意の点の入力方法。
PCT/JP2001/005167 2000-06-16 2001-06-18 Dispositif et procede d'entree de points pour images tridimensionnelles WO2001097174A1 (fr)

Priority Applications (8)

Application Number Priority Date Filing Date Title
DE60141834T DE60141834D1 (de) 2000-06-16 2001-06-18 Punkteingabeeinrichtung und verfahren f r dreidimensionale bilder
EP01938717A EP1308903B1 (en) 2000-06-16 2001-06-18 Point inputting device and method for three-dimensional images
CA002411193A CA2411193C (en) 2000-06-16 2001-06-18 Point inputting device and method for three-dimensional images
JP2002511295A JP4141253B2 (ja) 2000-06-16 2001-06-18 三次元画像のための点入力装置および方法
KR1020027016155A KR100770248B1 (ko) 2000-06-16 2001-06-18 삼차원 화상을 위한 점입력장치 및 방법, 및 그 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
AT01938717T ATE464623T1 (de) 2000-06-16 2001-06-18 Punkteingabeeinrichtung und verfahren f r dreidimensionale bilder
US10/296,717 US7215325B2 (en) 2000-06-16 2001-06-18 Point inputting device and method for three-dimensional images
CNB018112927A CN1248168C (zh) 2000-06-16 2001-06-18 用于三维图象的点输入装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000-182069 2000-06-16
JP2000182069 2000-06-16

Publications (1)

Publication Number Publication Date
WO2001097174A1 true WO2001097174A1 (fr) 2001-12-20

Family

ID=18682907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2001/005167 WO2001097174A1 (fr) 2000-06-16 2001-06-18 Dispositif et procede d'entree de points pour images tridimensionnelles

Country Status (9)

Country Link
US (1) US7215325B2 (ja)
EP (1) EP1308903B1 (ja)
JP (1) JP4141253B2 (ja)
KR (1) KR100770248B1 (ja)
CN (1) CN1248168C (ja)
AT (1) ATE464623T1 (ja)
CA (1) CA2411193C (ja)
DE (1) DE60141834D1 (ja)
WO (1) WO2001097174A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007130240A (ja) * 2005-11-10 2007-05-31 Imagunooshisu Kk 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP2008520312A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターベンション手順の間の画像表示用の画像処理システム及び方法
JP2010162340A (ja) * 2008-12-15 2010-07-29 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP5495357B2 (ja) * 2005-10-07 2014-05-21 株式会社日立メディコ 画像表示方法及び医用画像診断システム
US9330496B2 (en) 2009-12-28 2016-05-03 Fukuoka University Three dimensional coordinate location device, method for same, and program

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1449481A4 (en) * 2001-10-31 2010-06-23 Imagnosis Inc MEDICAL PICTURE PROCESSING DEVICE, METHOD AND PROGRAM
JP4319156B2 (ja) * 2005-03-02 2009-08-26 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP4732925B2 (ja) * 2006-03-09 2011-07-27 イマグノーシス株式会社 医用画像の表示方法およびそのプログラム
CA2645539A1 (en) * 2006-03-09 2007-09-13 Imagnosis Inc. Medical 3-dimensional image display control program and medical 3-dimensional image display method
US20100328304A1 (en) * 2006-12-14 2010-12-30 Imagnosis Inc. Display direction correcting device, correcting method, and correction program for medical 3d image
JP5224451B2 (ja) * 2008-06-03 2013-07-03 富士フイルム株式会社 投影画像作成装置、方法およびプログラム
ATE529841T1 (de) 2008-11-28 2011-11-15 Agfa Healthcare Nv Verfahren und vorrichtung zur bestimmung einer position in einem bild, insbesondere einem medizinischen bild
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
CN111772664B (zh) * 2020-06-24 2024-02-13 北京朗视仪器股份有限公司 一种快速头影测量装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916814A (ja) * 1995-06-30 1997-01-17 Shimadzu Corp 医用画像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0198084A (ja) * 1987-10-09 1989-04-17 Toshiba Corp 3次元画像処理装置
JPH03231643A (ja) * 1990-02-08 1991-10-15 Toshiba Corp 画像表示装置
US5602564A (en) 1991-11-14 1997-02-11 Hitachi, Ltd. Graphic data processing system
JPH06337920A (ja) * 1993-05-28 1994-12-06 Toshiba Medical Eng Co Ltd 画像処理装置
US6052100A (en) * 1994-03-16 2000-04-18 The United States Of America Represented By The Secertary Of The Navy Computer controlled three-dimensional volumetric display
JP3788847B2 (ja) * 1997-06-23 2006-06-21 東芝医用システムエンジニアリング株式会社 画像処理装置
JPH1186039A (ja) * 1997-09-04 1999-03-30 Toshiba Iyou Syst Eng Kk 画像処理支援装置
US6273896B1 (en) * 1998-04-21 2001-08-14 Neutar, Llc Removable frames for stereotactic localization
US6546277B1 (en) * 1998-04-21 2003-04-08 Neutar L.L.C. Instrument guidance system for spinal and other surgery
JP4290273B2 (ja) 1999-01-13 2009-07-01 株式会社日立メディコ 画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916814A (ja) * 1995-06-30 1997-01-17 Shimadzu Corp 医用画像表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008520312A (ja) * 2004-11-23 2008-06-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インターベンション手順の間の画像表示用の画像処理システム及び方法
JP5495357B2 (ja) * 2005-10-07 2014-05-21 株式会社日立メディコ 画像表示方法及び医用画像診断システム
US8747319B2 (en) 2005-10-07 2014-06-10 Hitachi Medical Corporation Image displaying method and medical image diagnostic system
JP2007130240A (ja) * 2005-11-10 2007-05-31 Imagunooshisu Kk 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP4638330B2 (ja) * 2005-11-10 2011-02-23 イマグノーシス株式会社 医用三次元画像の表示方向修正装置、修正方法および修正用プログラム
JP2010162340A (ja) * 2008-12-15 2010-07-29 Fujifilm Corp 画像処理装置および方法並びにプログラム
US9330496B2 (en) 2009-12-28 2016-05-03 Fukuoka University Three dimensional coordinate location device, method for same, and program

Also Published As

Publication number Publication date
KR100770248B1 (ko) 2007-10-25
KR20030013432A (ko) 2003-02-14
CA2411193A1 (en) 2002-11-25
CN1248168C (zh) 2006-03-29
US7215325B2 (en) 2007-05-08
CA2411193C (en) 2009-02-03
ATE464623T1 (de) 2010-04-15
EP1308903A4 (en) 2009-05-13
DE60141834D1 (de) 2010-05-27
CN1443342A (zh) 2003-09-17
EP1308903B1 (en) 2010-04-14
US20030132933A1 (en) 2003-07-17
JP4141253B2 (ja) 2008-08-27
EP1308903A1 (en) 2003-05-07

Similar Documents

Publication Publication Date Title
US9014438B2 (en) Method and apparatus featuring simple click style interactions according to a clinical task workflow
US10420533B2 (en) Ultrasound diagnosis apparatus and control method thereof
US7889227B2 (en) Intuitive user interface for endoscopic view visualization
JP5427179B2 (ja) 解剖学的データの視覚化
WO2001097174A1 (fr) Dispositif et procede d'entree de points pour images tridimensionnelles
US20070279436A1 (en) Method and system for selective visualization and interaction with 3D image data, in a tunnel viewer
JPH1011614A (ja) 三次元画像構成法における視点位置及び視線方向の設定方法及び装置
JPH08107875A (ja) 内視鏡形状検出装置
JP2006513503A (ja) 三次元表示における複数箇所を管理する装置及び方法
KR20020041290A (ko) 3차원 슬랩 렌더링 시스템 및 그 방법
CN113645896A (zh) 手术计划、手术导航和成像用系统
US20140055448A1 (en) 3D Image Navigation Method
KR20130089645A (ko) 정보 비주얼화를 위한 방법, 장치 및 어레인지먼트
KR101611484B1 (ko) 의료영상의 제공방법
JP4159396B2 (ja) 内視鏡形状検出装置
JP2001195610A (ja) 画像処理装置
JP2004089599A (ja) 画像表示装置
JP2001087228A (ja) 読影支援装置
JPH11283018A (ja) 医用画像処理装置
JP4536176B2 (ja) カラー画像表示装置およびその方法
JP2001101449A (ja) 三次元画像表示装置
JP3301654B2 (ja) 医用画像処理装置
JP3441123B2 (ja) 画像表示装置
JPH07146954A (ja) 医用画像診断装置
JPH06149967A (ja) 三次元画像診断装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2001938717

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2411193

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 10296717

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020027016155

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 018112927

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020027016155

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2001938717

Country of ref document: EP