JP6765662B2 - Internal image display device, internal image display method and program - Google Patents
Internal image display device, internal image display method and program Download PDFInfo
- Publication number
- JP6765662B2 JP6765662B2 JP2016083110A JP2016083110A JP6765662B2 JP 6765662 B2 JP6765662 B2 JP 6765662B2 JP 2016083110 A JP2016083110 A JP 2016083110A JP 2016083110 A JP2016083110 A JP 2016083110A JP 6765662 B2 JP6765662 B2 JP 6765662B2
- Authority
- JP
- Japan
- Prior art keywords
- image display
- display device
- internal image
- information
- internal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000001727 in vivo Methods 0.000 claims description 14
- 230000010365 information processing Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、体内画像表示装置、体内画像表示方法及びプログラムに関する。 The present invention relates to an in-vivo image display device, an in-vivo image display method and a program.
コンピュータ断層撮影（ＣＴ）および磁気共鳴撮影（ＭＲＩ）などにより撮像された体内画像を取得し、当該画像に基づいて体内を検査する技術が知られている。 There is known a technique of acquiring an in-vivo image taken by computed tomography (CT), magnetic resonance imaging (MRI), or the like, and inspecting the inside of the body based on the image.
特許文献１には、ＣＴ又はＭＲＩなどにより取得された体内（三次元空間のオブジェクト）の二次元スライス画像を記憶し、当該画像を画像表示システムで表示させる技術について開示されている。 Patent Document 1 discloses a technique for storing a two-dimensional slice image of a body (an object in a three-dimensional space) acquired by CT or MRI, and displaying the image on an image display system.
しかしながら、上記の従来技術では、予め取得された二次元スライス画像を表示させるため、三次元オブジェクトにおける表示させる断面位置や断面の角度等の指定には制限がある。また、三次元画像における表示位置をより直観的な方法で指定可能な技術も必要とされている。 However, in the above-mentioned conventional technique, since the two-dimensional slice image acquired in advance is displayed, there is a limitation in specifying the cross-sectional position and the cross-sectional angle to be displayed in the three-dimensional object. There is also a need for a technique that allows the display position in a three-dimensional image to be specified in a more intuitive way.
本発明は上記に鑑みてなされたものであり、その課題は、高い自由度で、直感的に体内の画像を表示可能な技術を提供することにある。 The present invention has been made in view of the above, and an object of the present invention is to provide a technique capable of intuitively displaying an image of an internal body with a high degree of freedom.
本発明の一態様における体内画像表示装置は、外部装置との接触の状態に応じた座標情報を取得する座標取得手段と、自機の傾き情報を取得する傾き取得手段と、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段とを備える。 The in-vivo image display device according to one aspect of the present invention includes a coordinate acquisition means for acquiring coordinate information according to a state of contact with an external device, an inclination acquisition means for acquiring inclination information of the own machine, and the acquired above-mentioned. It is provided with a display means for displaying a cross-sectional image of the inside of the body based on data selected from the three-dimensional body image data of the point cloud according to the coordinate information and the inclination information.
本発明の一態様における体内画像表示方法は、制御部を備えた情報処理装置により実施される体内画像表示方法であって、前記制御部が、外部装置との接触の状態に応じた座標情報を取得するステップと、前記制御部が、前記情報処理装置の傾き情報を取得するステップと、前記制御部が、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示させるように制御するステップとを備える。 The internal image display method according to one aspect of the present invention is an internal image display method performed by an information processing device including a control unit, and the control unit provides coordinate information according to a state of contact with an external device. The step to acquire, the step in which the control unit acquires the tilt information of the information processing device, and the step in which the control unit acquires the acquired coordinate information and the tilt information, and the three-dimensional body of the point cloud. It includes a step of controlling to display a cross-sectional image of the inside of the body based on the data selected from the image data.
本発明の一態様におけるプログラムは、コンピュータを、外部装置との接触の状態に応じた座標情報を取得する座標取得手段、自機の傾き情報を取得する傾き取得手段、前記取得された前記座標情報と前記傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段、として機能させる。 The program according to one aspect of the present invention is a coordinate acquisition means for acquiring coordinate information according to a state of contact with an external device, an inclination acquisition means for acquiring tilt information of the own machine, and the acquired coordinate information. And the tilt information, it functions as a display means for displaying a cross-sectional image of the inside of the body based on the data selected from the three-dimensional body image data of the point cloud.
本発明によれば、高い自由度で、直感的に体内の画像を表示可能な技術を提供することができる。 According to the present invention, it is possible to provide a technique capable of intuitively displaying an image inside a body with a high degree of freedom.
以下、本発明の実施形態について、図面を参照しつつ詳細に説明する。ただし、発明の範囲をこれらに限定するものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the scope of the invention is not limited to these.
［外観及びハードウェア構成］
図１から図３を参照して、一実施形態に係る表示システム及び当該表示システムを構成する体内画像表示装置の外観及びハードウェア構成について説明する。
[Appearance and hardware configuration]
With reference to FIGS. 1 to 3, the appearance and hardware configuration of the display system according to the embodiment and the internal image display device constituting the display system will be described.
まず、図１に示すように、表示システム１は、体内画像表示装置１０及び体内画像表示装置２０を備える。また、外観上、体内画像表示装置１０はその上面の大部分を覆うような形状及びサイズで設けられた表示装置１５を備え、体内画像表示装置２０もその上面の大部分を覆うような形状及びサイズで設けられた表示装置２５を備える。 First, as shown in FIG. 1, the display system 1 includes an internal image display device 10 and an internal image display device 20. Further, in appearance, the internal image display device 10 includes a display device 15 provided in a shape and size so as to cover most of the upper surface thereof, and the internal image display device 20 also has a shape and a shape and size that covers most of the upper surface thereof. A display device 25 provided in size is provided.
図２は、体内画像表示装置１０の裏面及び側面の外観を示す斜視図である。図２に示すように、体内画像表示装置１０には、それぞれが側面から裏面に渡って体内画像表示装置１０の表面から突出するように設けられた突起物群１７が設けられている。突起物群１７は、突起物１７ａから１７ｌを有する。突起物１７ａから１７ｌは、それぞれ異なる間隔で設けられている。 FIG. 2 is a perspective view showing the appearance of the back surface and the side surface of the internal image display device 10. As shown in FIG. 2, the internal image display device 10 is provided with a group of protrusions 17 provided so as to project from the front surface of the internal image display device 10 from the side surface to the back surface. The protrusion group 17 has protrusions 17a to 17l. The protrusions 17a to 17l are provided at different intervals.
図３を参照して、体内画像表示装置１０が備える主なハードウェアの構成を説明する。体内画像表示装置１０は、情報処理装置により構成され、限定はしないが、例えば、スマートフォン又はタブレット端末により構成される。体内画像表示装置１０は、主なハードウェアの構成として、制御部１１、通信部１２、記憶部１３、操作部１４、表示部１５、センサ１６、及び突起物群１７を備える。図示しないが、体内画像表示装置１０は、一般的な情報処理装置、スマートフォン又はタブレット端末が有する他の構成を備えることができる。以下に、図３に示す各構成について説明する。 The configuration of the main hardware included in the internal image display device 10 will be described with reference to FIG. The in-body image display device 10 is composed of an information processing device, and is not limited to, for example, a smartphone or a tablet terminal. The internal image display device 10 includes a control unit 11, a communication unit 12, a storage unit 13, an operation unit 14, a display unit 15, a sensor 16, and a protrusion group 17 as main hardware configurations. Although not shown, the internal image display device 10 can include other configurations of a general information processing device, a smartphone or a tablet terminal. Each configuration shown in FIG. 3 will be described below.
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ及びメモリ１１ｂを主に備えて構成される。制御部１１は、例えば、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行することにより、体内画像表示装置１０が有する各構成による処理を制御する。 The control unit 11 mainly includes a CPU (Central Processing Unit) 11a and a memory 11b. The control unit 11 controls the processing according to each configuration of the internal image display device 10 by, for example, the CPU 11a executing a predetermined program stored in the memory 11b or the like.
通信部１２は、体内画像表示装置１０が体内画像表示装置２０などの外部装置と通信するための通信インタフェースである。記憶部１３は、ハードディスク又は半導体記憶装置等によって構成され、体内画像表示装置１０における処理の実行に必要な各種プログラム及び各種情報、並びに処理結果の情報を記憶する。 The communication unit 12 is a communication interface for the internal image display device 10 to communicate with an external device such as the internal image display device 20. The storage unit 13 is composed of a hard disk, a semiconductor storage device, or the like, and stores various programs and various information necessary for executing the processing in the internal image display device 10, and information on the processing result.
操作部１４は、体内画像表示装置１０に対する操作を受け付けるためのユーザインタフェースである。操作部１４は、タッチパネル、ボタンキー、及び音声入力部などの入力手段によって構成される。特に、操作部１４としてのタッチパネルは、表示部１５と一体的に設けられており、表示部１５の表面において導電体が接触した位置を検出可能であり、また、マルチタッチ認識可能に構成されている。体内画像表示装置２０が備える表示部２５及び操作部（図示せず）も表示部１５及び操作部１４と同様に構成されている。 The operation unit 14 is a user interface for receiving an operation on the internal image display device 10. The operation unit 14 is composed of input means such as a touch panel, button keys, and a voice input unit. In particular, the touch panel as the operation unit 14 is provided integrally with the display unit 15, can detect the position where the conductor comes into contact with the surface of the display unit 15, and is configured to be multi-touch recognizable. There is. The display unit 25 and the operation unit (not shown) included in the internal image display device 20 are also configured in the same manner as the display unit 15 and the operation unit 14.
表示部１５は、体内画像表示装置１０による処理結果を表示するためのユーザインタフェースである。表示部１５は、例えば、液晶パネル等により構成され、前述のように、体内画像表示装置１０の上面の大部分を覆うような形状で設けられている。 The display unit 15 is a user interface for displaying the processing result of the internal image display device 10. The display unit 15 is composed of, for example, a liquid crystal panel or the like, and is provided in a shape that covers most of the upper surface of the internal image display device 10 as described above.
センサ１６は、体内画像表示装置１０の状態や位置を検知するための各種のセンサにより構成される。センサ１６は、例えば、加速度センサー、ジャイロセンサー、電子コンパス、及び気圧センサーを含む。これによりセンサ１６は、例えば、体内画像表示装置１０の傾き（仰角）及び高度を検知することができる。また、センサ１６は、センサ１６（又は投影装置１０）から周辺のオブジェクト（例えば壁）までの距離を測定するなど、任意の方法により、ＸＹＺ座標における体内画像表示装置１０の位置を検出可能なセンサを含むことも可能である。 The sensor 16 is composed of various sensors for detecting the state and position of the internal image display device 10. The sensor 16 includes, for example, an acceleration sensor, a gyro sensor, an electronic compass, and a barometric pressure sensor. As a result, the sensor 16 can detect, for example, the inclination (elevation angle) and altitude of the internal image display device 10. Further, the sensor 16 is a sensor capable of detecting the position of the internal image display device 10 in XYZ coordinates by an arbitrary method such as measuring the distance from the sensor 16 (or the projection device 10) to a surrounding object (for example, a wall). It is also possible to include.
突起物群１７は、導電体により構成される。前述のとおり、突起物群１７は、突起物１７ａから１７ｌを有する。突起物１７ａから１７ｌは、それぞれ異なる間隔で、体内画像表示装置１０の側面から裏面に渡って体内画像表示装置１０の表面から突出するように設けられている。 The protrusion group 17 is composed of a conductor. As described above, the protrusion group 17 has protrusions 17a to 17l. The protrusions 17a to 17l are provided so as to project from the front surface of the internal image display device 10 from the side surface to the back surface of the internal image display device 10 at different intervals.
体内画像表示装置２０が備える構成は、体内画像表示装置１０と同様であるため、ここでは説明を省略する。 Since the configuration of the internal image display device 20 is the same as that of the internal image display device 10, description thereof will be omitted here.
［機能構成］
図４を参照して、一実施形態において体内画像表示装置１０が有する機能について説明する。図４に示すように、体内画像表示装置１０は、主な機能構成として、データベース１１０、座標情報取得部１２０、傾き情報取得部１３０、及び表示制御部１４０を備える。これらの機能は、例えば、体内画像表示装置１０において、ＣＰＵ１１ａがメモリ１１ｂ等に格納された所定のプログラムを実行して体内画像表示装置１０のハードウェアの処理及び動作を制御することで、図４に示す各機能構成を実現する。以下に各機能構成について詳細に説明する。
[Functional configuration]
The function of the internal image display device 10 in one embodiment will be described with reference to FIG. As shown in FIG. 4, the internal image display device 10 includes a database 110, a coordinate information acquisition unit 120, a tilt information acquisition unit 130, and a display control unit 140 as main functional configurations. For example, in the internal image display device 10, the CPU 11a executes a predetermined program stored in the memory 11b or the like to control the processing and operation of the hardware of the internal image display device 10. Realize each function configuration shown in. Each functional configuration will be described in detail below.
データベース１１０は、体内画像表示装置１０において実行される処理に必要な情報、及び当該処理により生成された情報など、各種情報を記憶する。データベース１１０は、例えば、ポイントクラウドの三次元体内画像データを記憶している。当該ポイントクラウドの三次元体内画像データは、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）などで医療用の３Ｄスキャンにより撮像された画像データであり、例えば、臓器や骨の三次元画像データを含む。また、記憶されているポイントクラウドの三次元体内画像データは、静止画のデータであっても良いし、動画のデータであってもよい。 The database 110 stores various information such as information necessary for the process executed by the internal image display device 10 and information generated by the process. The database 110 stores, for example, three-dimensional in-vivo image data of a point cloud. The three-dimensional in-vivo image data of the point cloud is image data captured by medical 3D scanning by MRI (Magnetic Resonance Imaging), CT (Computed Tomography), or the like, and for example, three-dimensional image data of organs and bones. Including. Further, the stored three-dimensional internal image data of the point cloud may be still image data or moving image data.
座標情報取得部１２０は、外部装置との接触の状態に応じた座標情報を取得する。例えば、図１に示すように体内画像表示装置１０の側面が突起物群１７を介して外部装置である体内画像表示装置２０の表示部２５に接触しているとする。このとき、体内画像表示装置２０は、自機のタッチパネルと一体的に構成された表示部２５の表面における体内画像表示装置１０の突起物群１７の接触位置の座標情報を検出して通信部を介して（例えば、無線により）体内画像表示装置１０に送信する。座標情報取得部１２０は、体内画像表示装置２０から送信された当該座標情報を、通信部１２を介して取得することができる。 The coordinate information acquisition unit 120 acquires coordinate information according to the state of contact with the external device. For example, as shown in FIG. 1, it is assumed that the side surface of the internal image display device 10 is in contact with the display unit 25 of the internal image display device 20 which is an external device via the protrusion group 17. At this time, the internal image display device 20 detects the coordinate information of the contact position of the protrusion group 17 of the internal image display device 10 on the surface of the display unit 25 integrally configured with the touch panel of the own machine, and detects the coordinate information of the contact position of the communication unit. It is transmitted to the internal image display device 10 via (for example, by radio). The coordinate information acquisition unit 120 can acquire the coordinate information transmitted from the internal image display device 20 via the communication unit 12.
なお、上述のとおり、突起物１７ａから１７ｌは、それぞれ異なる間隔で体内画像表示装置１０に設けられているため、体内画像表示装置２０は、予め記憶された突起物間の間隔情報に基づいて、体内画像表示装置２０に対する体内画像表示装置１０の接触面（接触側面）を検出することができる。体内画像表示装置２０は、当該検出された体内画像表示装置１０の接触面の情報を通信部を介して体内画像表示装置１０に送信することができる。 As described above, since the protrusions 17a to 17l are provided on the internal image display device 10 at different intervals, the internal image display device 20 is based on the distance information between the protrusions stored in advance. The contact surface (contact side surface) of the internal image display device 10 with respect to the internal image display device 20 can be detected. The internal image display device 20 can transmit the information on the contact surface of the detected internal image display device 10 to the internal image display device 10 via the communication unit.
傾き情報取得部１３０は、センサ１６により検出された体内画像表示装置１０の傾き情報を取得する。傾き情報は、例えば、水平を基準としたときの体内画像表示装置１０の表示部１５の表面の仰角傾きの情報である。 The tilt information acquisition unit 130 acquires tilt information of the internal image display device 10 detected by the sensor 16. The tilt information is, for example, information on the elevation angle tilt of the surface of the display unit 15 of the internal image display device 10 with respect to the horizontal.
表示制御部１４０は、座標情報取得部１２０により取得された座標情報と、傾き情報取得部１３０により取得された傾き情報とに応じて、データベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を体内画像表示装置１０の表示部１５に表示する。すなわち、表示制御部１４０は、取得された座標情報及び傾き情報に基づいてポイントクラウドの三次元体内画像データのうち、表示対象とする画像のデータを選択し、当該選択されたデータに基づいて表示部１５に対して表示を行う。表示制御部１４０による処理のさらに具体的な例は後述する。 The display control unit 140 uses the three-dimensional internal image data of the point cloud stored in the database 110 according to the coordinate information acquired by the coordinate information acquisition unit 120 and the inclination information acquired by the inclination information acquisition unit 130. A cross-sectional image of the inside of the body based on the selected data is displayed on the display unit 15 of the body image display device 10. That is, the display control unit 140 selects the data of the image to be displayed from the three-dimensional internal image data of the point cloud based on the acquired coordinate information and the tilt information, and displays the data based on the selected data. Display is performed for unit 15. A more specific example of the processing by the display control unit 140 will be described later.
［処理フロー］
以下に、図５に示すようなポイントクラウドの三次元体内画像データ５１を体内画像表示装置１０の表示部１５に表示する処理の例を図６から図８を参照して説明する。三次元体内画像データ５１は、データベース１１０に記憶されたデータである。
[Processing flow]
Hereinafter, an example of a process of displaying the three-dimensional internal image data 51 of the point cloud as shown in FIG. 5 on the display unit 15 of the internal image display device 10 will be described with reference to FIGS. 6 to 8. The three-dimensional in-vivo image data 51 is data stored in the database 110.
図６は、体内画像表示装置１０による処理フローの例を示している。この処理フローに含まれる各処理ステップは、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。図６に示す各処理のステップについて以下に説明する。 FIG. 6 shows an example of a processing flow by the internal image display device 10. Each processing step included in this processing flow may add another step between each processing step. Further, the steps described as one step for convenience can be executed by being divided into a plurality of steps, while those described as one step can be grasped as one step for convenience. The steps of each process shown in FIG. 6 will be described below.
まず、ステップＳ１１において、表示制御部１４０は、初期処理として、体内画像表示装置２０と、三次元体内画像データ５１との間の仮想的な位置関係を設定する。 First, in step S11, the display control unit 140 sets a virtual positional relationship between the internal image display device 20 and the three-dimensional internal image data 51 as initial processing.
図７は、体内画像表示装置２０と、三次元体内画像データ５１との間において設定された仮想的な位置関係の例を示している。この例において、体内画像表示装置２０及び三次元体内画像データ５１は、体内画像表示装置２０の表示部２５の上面に三次元体内画像データ５１が載せられているという位置関係に設定されている。 FIG. 7 shows an example of a virtual positional relationship set between the internal image display device 20 and the three-dimensional internal image data 51. In this example, the internal image display device 20 and the three-dimensional internal image data 51 are set in a positional relationship in which the three-dimensional internal image data 51 is placed on the upper surface of the display unit 25 of the internal image display device 20.
ステップＳ１２において、座標情報取得部１２０は、外部装置である体内画像表示装置２０との接触の状態に応じた座標情報を取得する。座標情報の取得方法の例の詳細は前述のとおりである。 In step S12, the coordinate information acquisition unit 120 acquires coordinate information according to the state of contact with the internal image display device 20 which is an external device. The details of the example of the method of acquiring the coordinate information are as described above.
ステップＳ１３において、傾き情報取得部１３０は、センサ１６により検出された体内画像表示装置１０の傾き情報を取得する。傾き情報の取得方法の例は前述のとおりである。 In step S13, the tilt information acquisition unit 130 acquires the tilt information of the internal image display device 10 detected by the sensor 16. An example of the method of acquiring the inclination information is as described above.
ステップＳ１４において、表示制御部１４０は、座標情報取得部１２０により取得された座標情報と、傾き情報取得部１３０により取得された傾き情報とに応じて、データベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を体内画像表示装置１０の表示部１５に表示する。 In step S14, the display control unit 140 three-dimensionally stores the point cloud stored in the database 110 according to the coordinate information acquired by the coordinate information acquisition unit 120 and the inclination information acquired by the inclination information acquisition unit 130. A cross-sectional image of the inside of the body based on the data selected from the body image data is displayed on the display unit 15 of the body image display device 10.
図８を参照して、表示制御部１４０による画像表示の制御の例を説明する。図８には、図７で示した位置関係で体内画像表示装置２０及び三次元体内画像データ５１が示されている。表示制御部１４０は、仮想視点を位置８１、視野角を角度θ、ニアプレーンを位置８２、ファープレーンを位置８３として、三次元体内画像データ５１からデータを選択して取得する。すなわち、表示制御部１４０は、位置８１を仮想視点とし、角度θを視野角としたときに三次元体内画像内における視界に入る領域のうち、位置８２に位置する平面を断面とし、位置８３に位置する平面までを奥行とする画像のデータを選択して取得する。表示制御部１４０は、当該取得したデータに基づいて表示部１５に画像を表示する。画像８４は、表示制御部１４０による制御の結果、表示部１５に表示される画像の例である。 An example of image display control by the display control unit 140 will be described with reference to FIG. In FIG. 8, the in-vivo image display device 20 and the three-dimensional in-vivo image data 51 are shown in the positional relationship shown in FIG. The display control unit 140 selects and acquires data from the three-dimensional internal image data 51 with the virtual viewpoint as the position 81, the viewing angle as the angle θ, the near plane as the position 82, and the far plane as the position 83. That is, the display control unit 140 uses the plane located at position 82 as the cross section of the region that enters the field of view in the three-dimensional internal image when the position 81 is the virtual viewpoint and the angle θ is the viewing angle, and the position 83 Select and acquire image data whose depth is up to the plane on which it is located. The display control unit 140 displays an image on the display unit 15 based on the acquired data. Image 84 is an example of an image displayed on the display unit 15 as a result of control by the display control unit 140.
ここで、位置８１及び角度θは、例えば、体内画像表示装置１０の表示部１５の全体が視野内に入るように設定される。ニアプレーンの位置８２は、例えば、体内画像表示装置１０の表面（表示部１５が設けられた面）の位置に設定される。ファープレーンの位置８３は、例えば、体内画像表示装置１０の裏面の位置に設定される。なお、ニアプレーン及びファープレーンの位置は自由に設定することができる。例えば、プレイヤによる操作指示に応じて、ファープレーンの位置を体内画像表示装置１０の裏面の位置よりもニアプレーンに近い位置、又は遠い位置に設定することができる。 Here, the position 81 and the angle θ are set so that, for example, the entire display unit 15 of the internal image display device 10 is within the field of view. The position 82 of the near plane is set, for example, to the position of the surface of the internal image display device 10 (the surface on which the display unit 15 is provided). The position 83 of the fur plane is set to, for example, a position on the back surface of the internal image display device 10. The positions of the near plane and the fur plane can be freely set. For example, the position of the fur plane can be set to a position closer to or farther from the near plane than the position on the back surface of the internal image display device 10 in response to an operation instruction by the player.
仮想視点の位置８１、視野の角度θ、ニアプレーンの位置８２、及びファープレーンの位置８３は例えば上記のように設定されることにより、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きの変動に応じて、表示制御部１４０によりデータベース１１０に記憶されたポイントクラウドの三次元体内画像データから選択されるデータが変化する。その結果、表示部１５に表示される画像も変化する。 The position 81 of the virtual viewpoint, the angle θ of the field of view, the position 82 of the near plane, and the position 83 of the fur plane are set as described above, so that the contact position of the internal image display device 10 with respect to the internal image display device 20 and the contact position of the internal image display device 10 The data selected from the three-dimensional internal image data of the point cloud stored in the database 110 by the display control unit 140 changes according to the fluctuation of the inclination of the internal image display device 10. As a result, the image displayed on the display unit 15 also changes.
以上のように本実施形態によれば、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きの変動に応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づいて画像が表示部１５に表示される。ここで、三次元オブジェクトについての予め取得された二次元スライス画像を表示する場合と比較して、ポイントクラウドの三次元体内画像データに基づく画像の表示は、表示可能な画像（例えば、三次元オブジェクトの断面画像）の自由度が高い。また、ユーザが体内画像表示装置１０の位置を動かしたり、体内画像表示装置１０の傾きを変えることにより表示される画像が変化するため、ユーザは表示させたい画像を直感的に選択して表示させることができる。すなわち、本実施形態によれば、高い自由度で、直感的に体内の画像を表示可能である。 As described above, according to the present embodiment, the data is selected from the three-dimensional internal image data of the point cloud according to the fluctuation of the contact position of the internal image display device 10 with respect to the internal image display device 20 and the inclination of the internal image display device 10. The image is displayed on the display unit 15 based on the data. Here, as compared with the case of displaying a pre-acquired two-dimensional slice image of a three-dimensional object, the display of the image based on the three-dimensional internal image data of the point cloud is a displayable image (for example, a three-dimensional object). The degree of freedom of the cross-sectional image) is high. Further, since the displayed image changes when the user moves the position of the internal image display device 10 or changes the inclination of the internal image display device 10, the user intuitively selects and displays the image to be displayed. be able to. That is, according to the present embodiment, it is possible to intuitively display an image of the inside of the body with a high degree of freedom.
［変形例］
本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
[Modification example]
The present invention is not limited to the above-described embodiment, and can be implemented in various other forms without departing from the gist of the present invention. The above embodiments are merely exemplary in all respects and are not to be construed as limiting.
変形例１
例えば、上記の実施形態では、表示システム１は、体内画像表示装置１０及び体内画像表示装置２０を備えたが、変形例として、表示システム１は、さらに第三の体内画像表示装置を備えてもよい。ここで、第三の体内画像表示装置は、体内画像表示装置１０の構成と同様の構成を有する。
Modification 1
For example, in the above embodiment, the display system 1 includes the internal image display device 10 and the internal image display device 20, but as a modification, the display system 1 may further include a third internal image display device. Good. Here, the third internal image display device has the same configuration as the internal image display device 10.
このとき、第三の体内画像表示装置は、外部装置である体内画像表示装置１０の傾きの情報と、外部装置である体内画像表示装置１０との接触の状態に応じた座標情報とを取得することができる。傾きの情報及び座標情報の取得方法は、体内画像表示装置１０の構成で説明した方法と同様である。第三の体内画像表示装置は、取得した傾きの情報及び座標情報に応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示部に表示する。 At this time, the third internal image display device acquires information on the inclination of the internal image display device 10 which is an external device and coordinate information according to the state of contact with the internal image display device 10 which is an external device. be able to. The method of acquiring the tilt information and the coordinate information is the same as the method described in the configuration of the internal image display device 10. The third in-vivo image display device displays a cross-sectional image of the inside of the body based on the data selected from the three-dimensional in-vivo image data of the point cloud on the display unit according to the acquired tilt information and coordinate information.
図８を参照してさらに説明すると、上記の変形例において、体内画像表示装置１０の表示部１５上に第三の体内画像表示装置が接触している場合、第三の体内画像表示装置の体内画像表示装置１０に対する接触位置及び第三の体内画像表示装置の傾きに応じて、ポイントクラウドの三次元体内画像データから選択されるデータが変化する。その結果、第三の体内画像表示装置の表示部に表示される画像が変化する。 To further explain with reference to FIG. 8, in the above modified example, when the third internal image display device is in contact with the display unit 15 of the internal image display device 10, the inside of the third internal image display device The data selected from the three-dimensional internal image data of the point cloud changes according to the contact position with respect to the image display device 10 and the inclination of the third internal image display device. As a result, the image displayed on the display unit of the third internal image display device changes.
すなわち、体内画像表示装置２０に対する体内画像表示装置１０の接触位置及び体内画像表示装置１０の傾きに応じて体内画像表示装置１０の表示部１５に表示される画像が変化する。さらに、体内画像表示装置１０の表示部１５に表示された画像と、体内画像表示装置１０に対する第三の体内画像表示装置の接触位置と、第三の体内画像表示装置の傾きとに応じて第三の体内画像表示装置の表示部に表示される画像が変化する。 That is, the image displayed on the display unit 15 of the internal image display device 10 changes according to the contact position of the internal image display device 10 with respect to the internal image display device 20 and the inclination of the internal image display device 10. Further, according to the image displayed on the display unit 15 of the internal image display device 10, the contact position of the third internal image display device with respect to the internal image display device 10, and the inclination of the third internal image display device. The image displayed on the display unit of the internal image display device of the third body changes.
変形例２
他の変形例として、予め選択された画像データの属性に応じてポイントクラウドの三次元体内画像データからデータを選択し、当該選択されたデータに基づいて表示部１５等の表示部に画像を表示させるように制御することができる。
Modification 2
As another modification, data is selected from the three-dimensional internal image data of the point cloud according to the attribute of the image data selected in advance, and the image is displayed on the display unit such as the display unit 15 based on the selected data. It can be controlled to cause.
例えば、属性として画像の色を予め選択し、選択された色（又は選択された色以外の色）の画像についてのみ、表示部１５等の表示部に表示させるように制御することができる。 For example, it is possible to select an image color in advance as an attribute and control the display unit such as the display unit 15 to display only the image of the selected color (or a color other than the selected color).
このように画像データの属性に応じて表示させる画像を選択可能にすることで、例えば、三次元体内画像のうち、骨のみ表示させる、又は臓器のみ表示させるといった表示制御が可能となる。 By making it possible to select an image to be displayed according to the attribute of the image data in this way, for example, it is possible to control the display such that only the bone or only the organ is displayed among the three-dimensional internal images.
変形例３
また、上記の実施形態では、体内画像表示装置１０は、自機に記憶されたポイントクラウドの三次元体内画像データに基づいて画像を表示部１５に表示させた。変形例として、体内画像表示装置１０は、ネットワークを介して外部装置やクラウド環境など、外部から取得したポイントクラウドの三次元体内画像データに基づいて画像を表示させてもよい。
Modification 3
Further, in the above embodiment, the internal image display device 10 causes the display unit 15 to display an image based on the three-dimensional internal image data of the point cloud stored in the own device. As a modification, the internal image display device 10 may display an image based on the three-dimensional internal image data of the point cloud acquired from the outside such as an external device or a cloud environment via a network.
１ 表示システム
１０、２０ 体内画像表示装置
１１ 制御部
１２ 通信部
１３ 記憶部
１４ 操作部
１５ 表示部
１６ センサ
１７ 突起物群
1 Display system 10, 20 Internal image display device 11 Control unit 12 Communication unit 13 Storage unit 14 Operation unit 15 Display unit 16 Sensor 17 Projection group
Claims (6)
自機の傾き情報を取得する傾き取得手段と、
前記外部装置の傾き情報を取得する手段と、
前記取得された前記座標情報と、前記自機の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段と
を備える体内画像表示装置。 Coordinate acquisition means for acquiring coordinate information according to the state of contact with an external device,
Tilt acquisition means to acquire tilt information of own machine,
Means for acquiring tilt information of the external device and
A cross-sectional image of the inside of the body based on the data selected from the three-dimensional in-body image data of the point cloud is displayed according to the acquired coordinate information , the tilt information of the own machine, and the tilt information of the external device. An in-vivo image display device including a display means.
前記制御部が、外部装置との接触の状態に応じた座標情報を取得するステップと、
前記制御部が、前記情報処理装置の傾き情報を取得するステップと、
前記制御部が、前記外部装置の傾き情報を取得するステップと、
前記制御部が、前記取得された前記座標情報と、前記情報処理装置の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示させるように制御するステップと
を備える体内画像表示方法。 It is an in-vivo image display method implemented by an information processing device equipped with a control unit.
A step in which the control unit acquires coordinate information according to a state of contact with an external device, and
A step in which the control unit acquires tilt information of the information processing device,
A step in which the control unit acquires tilt information of the external device,
The control unit is based on data selected from the three-dimensional internal image data of the point cloud according to the acquired coordinate information , the tilt information of the information processing device, and the tilt information of the external device. An in-vivo image display method comprising a step of controlling to display a cross-sectional image of.
外部装置との接触の状態に応じた座標情報を取得する座標取得手段、
自機の傾き情報を取得する傾き取得手段、
前記外部装置の傾き情報を取得する手段、
前記取得された前記座標情報と、前記自機の傾き情報と、前記外部装置の傾き情報とに応じて、ポイントクラウドの三次元体内画像データから選択されたデータに基づく体内の断面画像を表示する表示手段、
として機能させるためのプログラム。
Computer,
Coordinate acquisition means for acquiring coordinate information according to the state of contact with an external device,
Tilt acquisition means to acquire tilt information of own machine,
Means for acquiring tilt information of the external device,
A cross-sectional image of the inside of the body based on the data selected from the three-dimensional body image data of the point cloud is displayed according to the acquired coordinate information , the tilt information of the own machine, and the tilt information of the external device. Display means,
A program to function as.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016083110A JP6765662B2 (en) | 2016-04-18 | 2016-04-18 | Internal image display device, internal image display method and program |
| PCT/JP2017/015456 WO2017183604A1 (en) | 2016-04-18 | 2017-04-17 | In vivo image display device, in vivo image display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016083110A JP6765662B2 (en) | 2016-04-18 | 2016-04-18 | Internal image display device, internal image display method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017192441A JP2017192441A (en) | 2017-10-26 |
| JP6765662B2 true JP6765662B2 (en) | 2020-10-07 |
Family
ID=60116754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016083110A Active JP6765662B2 (en) | 2016-04-18 | 2016-04-18 | Internal image display device, internal image display method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6765662B2 (en) |
| WO (1) | WO2017183604A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099808A (en) * | 2001-09-25 | 2003-04-04 | Gtv:Kk | Image processing apparatus, virtual operation apparatus, program for causing computer to achieve image processing function, and image processing system |
| US7840042B2 (en) * | 2006-01-20 | 2010-11-23 | 3M Innovative Properties Company | Superposition for visualization of three-dimensional data acquisition |
| JP4676415B2 (en) * | 2006-11-21 | 2011-04-27 | 株式会社竹中工務店 | Sectional image display device, sectional image display method, and sectional image display program |
| US9672614B2 (en) * | 2012-10-09 | 2017-06-06 | Koninklijie Philips N.V. | Multi-structure atlas and/or use thereof |
| JP2015116440A (en) * | 2013-12-20 | 2015-06-25 | キヤノンマーケティングジャパン株式会社 | Image display system of cross-sectional image, control method, program |
-
2016
- 2016-04-18 JP JP2016083110A patent/JP6765662B2/en active Active
-
2017
- 2017-04-17 WO PCT/JP2017/015456 patent/WO2017183604A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017183604A1 (en) | 2017-10-26 |
| JP2017192441A (en) | 2017-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
| CN105637559B (en) | Use the structural modeling of depth transducer | |
| KR102529120B1 (en) | Method and device for acquiring image and recordimg medium thereof | |
| US10620791B2 (en) | Information processing apparatus and operation reception method | |
| US10007351B2 (en) | Three-dimensional user interface device and three-dimensional operation processing method | |
| EP3389020B1 (en) | Information processing device, information processing method, and program | |
| CN108885803A (en) | Virtual object manipulation in physical environment | |
| US9684169B2 (en) | Image processing apparatus and image processing method for viewpoint determination | |
| US9245372B2 (en) | Map systems and methods for displaying panoramic images | |
| US20180188801A1 (en) | Content Browsing | |
| US10818089B2 (en) | Systems and methods to provide a shared interactive experience across multiple presentation devices | |
| TW201346640A (en) | Image processing device, and computer program product | |
| US20150339859A1 (en) | Apparatus and method for navigating through volume image | |
| WO2017043145A1 (en) | Information processing device, information processing method, and program | |
| US20140340400A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
| US20160284130A1 (en) | Display control method and information processing apparatus | |
| CN116472486A (en) | Image-based finger tracking and controller tracking | |
| JP2019155062A (en) | Display system, display control device, and program | |
| US10901549B2 (en) | Program, computer apparatus, program execution method, and system | |
| JP2014013487A (en) | Display device and program | |
| JP6765662B2 (en) | Internal image display device, internal image display method and program | |
| JP6266229B2 (en) | Image processing apparatus, method, and program | |
| WO2020084192A1 (en) | Method, arrangement, and computer program product for three-dimensional visualization of augmented reality and virtual reality environments | |
| EP3474125A1 (en) | Medical image visualization | |
| WO2016068015A1 (en) | Coordinate acquisition device and display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190417 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200910 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6765662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |