JP6142462B1 - Superimposed image display system - Google Patents

Superimposed image display system Download PDF

Info

Publication number
JP6142462B1
JP6142462B1 JP2016027610A JP2016027610A JP6142462B1 JP 6142462 B1 JP6142462 B1 JP 6142462B1 JP 2016027610 A JP2016027610 A JP 2016027610A JP 2016027610 A JP2016027610 A JP 2016027610A JP 6142462 B1 JP6142462 B1 JP 6142462B1
Authority
JP
Japan
Prior art keywords
image
icon
unit
user
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016027610A
Other languages
Japanese (ja)
Other versions
JP2017146759A (en
Inventor
張 博
博 張
俊一 田野
俊一 田野
Original Assignee
株式会社菊池製作所
国立大学法人電気通信大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社菊池製作所, 国立大学法人電気通信大学 filed Critical 株式会社菊池製作所
Priority to JP2016027610A priority Critical patent/JP6142462B1/en
Application granted granted Critical
Publication of JP6142462B1 publication Critical patent/JP6142462B1/en
Publication of JP2017146759A publication Critical patent/JP2017146759A/en
Application status is Active legal-status Critical

Links

Images

Abstract

【課題】実空間に重なった状態で当該ユーザに視認されるアイコンを任意の線図としてユーザが自由に生成可能となる重畳画像表示システムを提供すること。 A user may provide a superimposed image display system to be freely generated as arbitrary diagram icons that are visible to the user in a state of overlapping in the real space.
【解決手段】重畳画像表示システム10は、所定の状態を検出する状態検出装置14と、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を表示部20に提示する画像提示装置15とを備えている。 A superimposed image display system 10 includes a state detector 14 for detecting a predetermined state, the display unit to present an image including an icon in a state of overlapping the real space existing field of view of the user are visible to the user and an image display device 15 for presentation to 20. 状態検出装置14は、実空間に存在する1又は複数の部位における3次元位置を含む位置情報を検出する位置情報検出手段23を有する。 State detecting device 14 includes a position information detecting unit 23 for detecting the position information including three-dimensional position in one or more sites present in the real space. 画像提示装置15は、ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段58と、位置情報検出手段23の検出結果により、アイコンが前記部位に連なって見えるように、当該アイコンを含む提示画像を提示するアイコン付画像提示手段60とを備えている。 Image display device 15, an icon generating unit 58 for generating the icon in any shape by a user, the detection result of the position information detection unit 23, so that the icon is visible continuous with the site presentation image containing the icon and an icon with the image presentation means 60 for presenting.
【選択図】 図6 .FIELD 6

Description

本発明は、重畳画像表示システムに係り、更に詳しくは、別途取得された重畳画像が外界の実空間の一部領域に重なった状態でユーザに視認させる提示画像を所望の状態で所定のディスプレイに表示する重畳画像表示システムに関する。 The present invention relates to a superposed image display system, and more particularly, a presentation image to be visually recognized by the user on a predetermined display in a desired state in a state where the superimposed image which is separately acquired overlaps a partial area of ​​the external world in the real space about superimposed image display system for displaying.

ユーザの頭部に装着され、所定の重畳画像を外界の実空間に重ね合わせてユーザに視認させる透過型のヘッドマウントディスプレイが知られている。 Mounted on the head of the user, the transmission type head mounted display which visually recognized by the user by superimposing a predetermined superimposing image in the real space of the external world are known. このヘッドマウントディスプレイは、様々な分野での利用が進んでいるが、例えば、医療分野においては、手術現場で術者が装着するヘッドマウントディスプレイに、X線画像診断装置や超音波画像診断装置等によって得られた患者の診断画像を前記重畳画像として表示するシステムが知られている(例えば、特許文献1参照)。 The head-mounted display, although advances have applications in various fields, for example, in the medical field, a head mounted display operator mounted in operating field, X-rays image diagnostic apparatus and an ultrasonic image diagnostic apparatus or the like system for displaying is known as the superimposed image diagnostic images of patients obtained by (e.g., see Patent Document 1).

前記特許文献1のシステムは、超音波プローブを用いて取得した超音波画像と、撮像部により撮像された生体の外観に係る生体画像とを重ね合わせた提示画像を表示部に表示するシステムである。 The Patent Document 1 system is a system for displaying an ultrasound image acquired using an ultrasonic probe, a presentation image obtained by superimposing a biometric image of the appearance of a living body picked up by the imaging unit on the display unit . このシステムでは、超音波プローブにマーカが固定され、当該マーカを撮像部で撮像することで、マーカの3次元位置を検出し、当該3次元位置からマーカの位置及び向きに応じた位置、形状、大きさの超音波画像を生体画像に重ね合わせた提示画像を生成するようになっている。 In this system, the marker is fixed to the ultrasonic probe, by imaging the marker by the imaging unit, detect the three-dimensional position of the marker, the position corresponding to the position and orientation of the marker from the 3-dimensional position, shape, It has the size of the ultrasound image to generate a presentation image superimposed on the biometric image.

特許第5410629号公報 Patent No. 5410629 Publication

前記マーカの認識状態は、前記システムの安定性にとって重要であるため、当該マーカの認識状態をユーザに視認させることが好ましい。 Recognition state of the marker, because it is important for the stability of the system, it is preferable to visually recognize the state of the marker to the user. また、提示画像としては、マーカの認識状態を表したもののみならず、前記システムを使った医療行為の際に有用となる任意の線図を前記生体画像の所定位置に配置することが有用である。 As the presentation image, not only those showing the recognition status of the marker, it is useful to place any of the diagram to be useful in the medical practice using the system in a predetermined position of the biometric image is there. すなわち、ユーザである術者自身が、術前或いは術中に、生体画像や超音波画像を見ながら、任意の線図を自由に生成し、当該生成された線図が前記超音波画像や前記生体画像に併せて術者に提示可能にすることが前記システムの使用価値を高め、円滑な医療行為に資すると考えられる。 That is, the user operator himself, the preoperative or intraoperative, while watching the biometric image or ultrasound image, free to produce any of the diagram, the generated diagram is the ultrasonic image and the biometric enhance the use value of the system is possible to be presented to the operator in accordance with the image, it is considered to contribute to smooth medical practice.

本発明は、このような課題に着目して案出されたものであり、その目的は、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを任意の線図として所望のタイミングでユーザが自由に生成することができる重畳画像表示システムを提供することにある。 The present invention has been devised in view of such problems, and its object is an icon in a state of overlapping the real space existing field of view of the user are visible to the user as an arbitrary diagram user at a desired timing and to provide a superimposed image display system capable of freely generated.

前記目的を達成するため、本発明は、主として、ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、前記状態検出装置は、前記実空間に存在する1又は複数の部位における3次元位置を含む位置情報を検出する位置情報検出手段を備え、前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段 To achieve the above object, the present invention primarily in the superimposed image display system for displaying the presentation image including an icon in a state of overlapping the real space existing field of view of the user are visible to the user in a predetermined display, includes a state detecting device for detecting a predetermined state, and an image display device for presenting the presentation image on the display, the state detecting device includes a three-dimensional position in one or more sites present in the real space includes a position information detecting means for detecting the position information, the image display device includes an icon generating means for generating the icon in any shape by the user, the detection result of the position information detection means, the icon is the site as appears continuous with the icon with the image presentation means for presenting to said display said presentation image containing the icon を備える、という構成を採っている。 It adopts a configuration that includes a.

本発明によれば、提示画像に付加されるアイコンについて、ユーザが任意の線図を自由且つ柔軟に作成して提示画像内の所定位置に表示することができ、別途取得された重畳画像を実空間の一部領域に重ねた状態でユーザに視認させる重畳画像システムの有用性を更に高めることができる。 According to the present invention, the icons to be added to the presentation image, the user can be displayed at a predetermined position in the presentation image by creating an arbitrary diagram free and flexible, the superimposed image which is separately acquired real You can further enhance the utility of the superimposed image system to be viewed by the user in a state of overlapping a partial area of ​​the space.

本実施形態に係る重畳画像表示システムの主たる構成を表す概念図である。 It is a conceptual diagram showing a main configuration of a superimposed image display system according to the present embodiment. 前記重畳画像表示システムの全体構成を表すブロック図である。 Is a block diagram showing the entire configuration of the superimposed image display system. 第1の処理部の構成を説明するためのブロック図である。 It is a block diagram for explaining the structure of the first processing unit. 第2の処理部の構成を説明するためのブロック図である。 It is a block diagram for explaining the configuration of the second processing unit. 第3の処理部の構成を説明するためのブロック図である。 Is a block diagram illustrating the configuration of a third processing unit. 第4の処理部の構成を説明するためのブロック図である。 It is a block diagram for explaining a configuration of a fourth processing unit. (A)〜(C)は、アイコンの表示例を示す概念図である。 (A) ~ (C) is a conceptual diagram showing a display example of icons. (A)、(B)は、アイコンの他の表示例を示す概念図である。 (A), (B) is a conceptual diagram showing another display example of the icon.

以下、本発明の実施形態について図面を参照しながら説明する。 It will be described below with reference to the accompanying drawings, embodiments of the present invention.

図1には、本実施形態に係る重畳画像表示システムの主たる構成を表す概念図が示され、図2には、前記重畳画像表示システムの全体構成を表すブロック図が示されている。 1 shows a conceptual diagram showing a main configuration of a superimposed image display system according to the present embodiment is shown in FIG. 2, a block diagram showing the entire configuration of the superimposed image display system is shown. これらの図において、前記重畳画像表示システム10は、医療用として適用されるものであって、患者Pの患部等の診断画像を取得する画像診断装置11と、ユーザである医師Dの頭部に装着されるとともに、当該医師Dが視認可能となるように所定の画像を表示するディスプレイとして機能するヘッドマウントディスプレイ12と、医師D等により所定の情報や指令が入力される入力装置13と、所定の状態を検出する状態検出装置14と、所定の提示画像をヘッドマウントディスプレイ12に提示する画像提示装置15とを備えて構成されている。 In these figures, the superimposed image display system 10, there is applied as a medical, a diagnostic imaging apparatus 11 for obtaining diagnostic images such as the affected part of the patient P, the head of the physician D is the user together is mounted, a head mounted display 12 which functions as a display for the physician D displays a predetermined image so as to be visible, an input device 13 for predetermined information and instruction is input by the physician D or the like, a predetermined a state detection device 14 that detects the state, is constituted by an image display device 15 for presenting a predetermined presentation image on the head mounted display 12.

この重畳画像表示システム10は、ヘッドマウントディスプレイ12を装着した医師Dの視界に存在する患者Pやその患部の実空間の一部領域に、画像診断装置11により別途取得された診断画像等を重畳画像として重ねた提示画像をヘッドマウントディスプレイ12で表示するシステムである。 The superimposed image display system 10, the partial region of the patient P and the real space of the affected area that exists in the field of view of the physician D wearing the head-mounted display 12, superimposed the diagnostic image or the like which is separately acquired by the image diagnostic apparatus 11 a system for displaying presentation image overlaid as image head-mounted display 12.

本実施形態において、前記画像診断装置11としては、2次元超音波診断装置が適用される。 In the present embodiment, as the image diagnostic apparatus 11, two-dimensional ultrasound diagnostic apparatus is applied. この2次元超音波診断装置では、プローブ17(図1参照)によるビーム走査によって、ビーム走査面と同一断面における断層画像であるカラー若しくはモノクロの2次元画像等の超音波画像を生成するようになっている。 In this two-dimensional ultrasound diagnostic apparatus, the beam scanning by the probe 17 (see FIG. 1), so as to generate an ultrasound image such as a two-dimensional color image or monochrome is tomographic image in the beam scanning surface has the same cross-sectional ing. ここで、患部の所定範囲でビーム走査を行い、当該ビーム走査時におけるプローブ17の3次元位置を所定時間毎に計測することで、前記患部の所定範囲内における体内の臓器等の立体像の生成を可能にする機能を画像診断装置11に付随して設けることもできる。 Here, performs beam scanning in a predetermined range of the affected, by measuring the three-dimensional position of the probe 17 when the beam scanning at predetermined time intervals, generating the stereoscopic image, such as an organ in the body within a predetermined range of the affected area It may be provided in association with the image diagnostic apparatus 11 functions permitting. なお、以下の説明において、前記超音波画像等の診断画像と前記立体像とを適宜「医療情報画像」と総称する。 In the following description, the collectively referred to diagnostic image and the appropriate a stereoscopic image such as an ultrasonic image "medical information image". また、前記画像診断装置11としては、本実施形態の超音波診断装置に限らず、CT、MRI等の他の画像診断装置を本発明に適用することも可能である。 Further, as the diagnostic imaging apparatus 11 is not limited to the ultrasonic diagnostic apparatus of the present embodiment, it is also possible to apply CT, another diagnostic imaging apparatus such as MRI to the present invention.

前記ヘッドマウントディスプレイ12は、いわゆるビデオシースルー型のものが用いられており、実空間を撮像することで前記重畳画像の背景となる背景画像を取得する撮像装置としてのビデオカメラ19と、画像提示装置15からの提示画像を表示する表示部20とを備えている。 The head mounted display 12 has is used as a so-called video see-through, a video camera 19 as an imaging device for acquiring a background image as a background of the superimposed image by imaging the real space, the image display device and a display unit 20 for displaying the presentation image from the 15.

前記ビデオカメラ19は、ヘッドマウントディスプレイ12を装着した医師Dが、自身の目前の実空間を実際に直視したのと同様の背景画像を取得できるように配置されている。 The video camera 19, the physician D who wears the head mounted display 12 is disposed so as to be able obtain the same background image to that actually direct the real space The current itself. 従って、医師Dは、自身の目前に存在する患者Pやその患部の様子について、表示部20に表示される背景画像で視認可能となる。 Thus, the physician D, for the patient P and state of the affected area that exists at hand itself, becomes visible in the background image displayed on the display unit 20. なお、本発明においては、前記背景画像を取得できる限りにおいて、他の種々の撮像装置を採用することもできる。 In the present invention, as long as you can get the background image, it is also possible to employ various other imaging apparatus.

なお、本発明においては、ヘッドマウントディスプレイ12として、前記提示画像を医師Dの左右両眼に提示する複眼タイプのものが用いられている。 In the present invention, as a head-mounted display 12, those of the compound-eye type for presenting the presentation image in the left and right eyes of the doctor D is used. なお、このヘッドマウントディスプレイ12では、左右両側のビデオカメラ19で撮像された画像データから、公知の画像処理により、医師Dの眼前に配置され左右両眼に対応する左右の表示部20を通じて、医師Dが視認可能な後述の提示画像が提示されるようになっている。 In the head-mounted display 12, the image data captured by the left and right sides of the video camera 19, by a known image processing, through the left and right of the display section 20 which is disposed in front of the eyes of the doctor D corresponding to the left and right eyes, the physician D presentation image viewable described later is adapted to be presented.

また、ヘッドマウントディスプレイ12として、ハーフミラー等を用いた光学的手法を用いることで、医師Dが直視する実空間の背景に重畳画像を重ね合わせて医師Dに提示する光学シースルー型のヘッドマウントディスプレイを用いても良い。 Further, as a head-mounted display 12, by using an optical method using a half mirror or the like, an optical see-through type head mounted display which by superimposing a superimposed image on the background of real space physician D is a direct view presented to the physician D it may also be used. この場合、当該光学シースルー型のヘッドマウントディスプレイに前記撮像装置が別途取り付けられ、後述と同様の処理が行われる。 In this case, the imaging device is separately mounted to the optical see-through type head mounted display, the same processing as described below, is performed.

なお、本発明は、前記ヘッドマウントディスプレイ12への画像提示に限定されるものではなく、後述する各処理によって他のディスプレイへの画像提示も可能である。 The present invention, the head-mounted display 12 is not limited to the image presentation to, and can be an image presentation to other display by the processes described below.

前記入力装置13は、特に限定されるものではないが、コンピュータ等の機器に対する画面操作や画面入力をする際に用いられるキーボード、マウス、タッチパネル、タッチペン等の公知の装置からなる。 The input device 13 is not particularly limited, consisting known device keyboard, a mouse, a touch panel, a touch pen or the like to be used for a screen operation and screen input for devices such as a computer.

前記状態検出装置14は、医師Dの所定の部位の動作方向や動作量を検出するユーザ動作検出手段22と、実空間内に存在する所定の部位の3次元位置を含む位置情報を検出する位置情報検出手段23とを備えている。 Position wherein the state detecting device 14, which detects the position information includes a user operation detection means 22 for detecting the operation direction and operation amount of a predetermined site of the physician D, and 3-dimensional position of a predetermined site present in the real space and an information detection means 23.

前記ユーザ動作検出手段22では、ヘッドマウントディスプレイ12に設けられた加速度センサ等を用いて、医師Dの頭部の動作方向や動作量を計測するようになっている。 Wherein the user operation detecting means 22, using a head-mounted display 12 an acceleration sensor provided in or the like, and measure the operating direction and operation amount of the head of the physician D. なお、当該ユーザ動作検出手段22として、医師Dの頭部以外の身体部位の動作方向等を計測可能に構成し、当該身体部位の動作に基づく後述の処理を行うようにしても良い。 Note that the a user operation detection unit 22, the operation direction and the like of the body part other than the head of the physician D and measurable configured, may be performed processing described later based on the operation of the body part.

前記位置情報検出手段23は、実空間に存在する1又は複数の所定の物体の部位に設置されるマーカ26と、当該マーカ26を認識して前記部位の3次元位置を特定し、当該部位の姿勢等を含めた前記位置情報を検出する検出部27とにより構成された公知のセンシングシステムからなる。 Wherein the position information detecting unit 23 includes a marker 26 which is installed at the site of one or more predefined object present in the real space, it recognizes the marker 26 identifies the three-dimensional position of the site, of the site etc. consisting of a known sensing system constructed in accordance with a detection unit 27 for detecting the position information including the position.

前記マーカ26は、特に限定されるものではないが、仰向けで寝た状態の患者Pの体表部分の複数箇所に固定配置された光学マーカ26Aと、プローブ17の先端側1箇所等に取り付けられた磁気マーカ26Bとにより構成されている。 The marker 26 is not particularly limited, and optical markers 26A fixedly disposed at a plurality of positions of the body surface part of the patient P in the sleeping state supine, attached to the distal end side one position or the like of the probe 17 is constituted by a magnetic marker 26B was.

前記検出部27は、ビデオカメラ19で光学マーカ26Aを撮像することにより、光学マーカ26Aが設置された部位の位置情報を検出する光学トラッキング機能と、図示しない磁界発生装置からの磁界の状態を磁気マーカ26Bで検知することで、磁気マーカ26Bが設置された部位の位置情報を検出する磁気トラッキング機能とを有している。 The detector 27, by capturing the optical markers 26A by the video camera 19, magnetic and optical tracking function for detecting the position information of the region where the optical markers 26A is installed, the state of the magnetic field from the magnetic field generator (not shown) by detecting a marker 26B, and a magnetic tracking function for detecting the position information of the region where the magnetic marker 26B is installed.

なお、前記位置情報検出手段23としては、実空間に配置されるマーカ26を使って、当該マーカ26の設置部位の位置情報を検出可能な限りにおいて、超音波センサ等、他のセンサ等を用いることもできる。 Incidentally, as the positional information detecting means 23, with the marker 26 disposed in the real space, as long as capable of detecting the position information of the installation site of the marker 26, an ultrasonic sensor or the like, other sensors such as using it is also possible.

前記画像提示装置15は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段や各部として機能させるためのプログラムがインストールされている。 The image display device 15 is constituted by a computer comprising a storage device such as a processor and a memory or a hard disk such as a CPU, a program for causing the computer to function as each means and each part of the following are installed.

この画像提示装置15は、図2に示されるように、画像診断装置11とビデオカメラ19で得られた各種の画像データを取り込む画像取込手段29と、外部で生成された関連情報を取り込む関連情報取込手段30と、画像取込手段29からの画像データや関連情報取込手段30からの関連情報から、ヘッドマウントディスプレイ12に提示する提示画像を決定する提示画像決定手段31とを備えて構成されている。 The image display device 15, as shown in FIG. 2, associated to capture the image capturing means 29 for capturing the various image data obtained by the image diagnostic apparatus 11 and the video camera 19, the related information generated by the external an information capturing means 30, the relevant information from the image data and related information acquisition unit 30 from the image capturing means 29, and a presentation image determining unit 31 for determining the presentation image to be presented to the head-mounted display 12 It is configured.

前記画像取込手段29は、画像診断装置11からの各種画像データを取得する診断画像取込部33と、背景画像となるビデオカメラ19の撮像画像を取得するカメラ画像取込部34と、診断画像取込部33で取り込まれた画像データが取得時刻や前記位置情報に対応して逐次記憶される画像データ記憶部35とを備えている。 Wherein the image capturing means 29, the diagnostic image acquisition unit 33 for acquiring various types of image data from the image diagnostic apparatus 11, the camera image acquisition unit 34 for acquiring the image captured by the video camera 19 as a background image, diagnostic and an image data storage unit 35 to be stored sequentially in response to the image capturing unit 33 image data acquisition time and the location information captured by.

前記関連情報取込手段30では、図示省略した外部の各種装置やコンピュータで生成された外部高度医療情報、例えば、CTやMRI等の画像情報、それらから特定の器官のみを抽出した画像情報、所定のシミュレーション結果、その他文字による付記情報等が取り込まれるようになっている。 In the related information acquisition unit 30, the external advanced medical information generated by the various external devices and computers (not shown), for example, image information such as CT and MRI, image information obtained by extracting only a specific organ from them, given simulation results, callout information due other characters are adapted to be taken up.

前記提示画像決定手段31では、入力装置13による医師Dからの入力指令により、ヘッドマウントディスプレイ12における後述の第1〜第4のモードでの画像表示態様が選択され、選択された各画像表示態様に応じた各種の処理がなされる。 In the presentation image determining unit 31, the input command from the physician D by the input device 13, an image display mode at the first to fourth modes described in the head mounted display 12 is selected, the image display mode has been selected various processing corresponding to is made.

すなわち、提示画像決定手段31は、重畳画像の背後に存在する背景画像の一部領域の重畳画像に対する透視度合いを表す重畳画像の透明度が調整される第1のモードでの画像提示を行うための第1の処理部37と、提示画像における超音波画像の提示態様を経時的に変化させる第2のモードでの画像提示を行うための第2の処理部38と、関連情報取込手段30で取り込まれた関連情報を包含した第3のモードでの画像提示を行うための第3の処理部39と、医師D側で任意に作成した線図からなるアイコンを包含した第4のモードでの画像提示を行うための第4の処理部40とからなる。 That is, presenting the image determination unit 31, for performing image display in the first mode in which transparency of the superimposed image representing the perspective degree for superimposing images of a part of the background image that exists behind the superimposed image is adjusted a first processing section 37, a second processing unit 38 for performing image display of the presentation aspects of the ultrasound images in the presentation image in a second mode in which temporally changes in the context information acquisition means 30 a third processing unit 39 for performing image display in the third mode which includes the captured related information, in the fourth mode, which includes an icon formed of the diagram created arbitrarily doctor D side a fourth processing unit 40. for image presentation.

前記第1の処理部27は、図3に示されるように、画像取込手段29で取り込まれて重畳画像となる超音波画像の透明度を調整する透明度調整手段42と、当該透明度が調整された後の超音波画像を画像取込手段29からの背景画像に重ね合わせた合成画像を提示画像として生成する合成画像生成手段43とを有している。 The first processing unit 27, as shown in FIG. 3, a transparency adjusting means 42 for adjusting the transparency of the ultrasonic image to be superimposed image is captured by the image capturing means 29, the transparency is adjusted after and a synthetic image generating means 43 for generating a composite image superimposed on the background image from the image capturing means 29 an ultrasound image as presentation image.

前記透明度調整手段42では、超音波画像を構成する色彩毎に、当該超音波画像の透明度を調整する画像処理が行われる。 In the transparency adjusting means 42, for each color constituting the ultrasound image, the image processing for adjusting the transparency of the ultrasound image. すなわち、ここでは、入力装置13による医師Dからの入力指令により、黒色の透明度と、黒以外の色の透明度と、予め指定する特定色(青や赤等)の透明度とをそれぞれ独立して指定し、当該指定に基づいて、超音波画像の透明度を色彩毎に独立して調整する画像処理が行われる。 In other words, in this case, the input command from the physician D by the input device 13, and the transparency of the black, the transparency of a color other than black, specified independently of the transparency of a specific color to be specified in advance (blue or red, etc.) and, based on the specified image processing for adjusting independently the transparency of the ultrasonic image for each color is performed.

前記合成画像生成手段43では、背景画像中のプローブ17の先端位置付近で、その向きに対応した向きで重畳画像が表示されるように合成画像を生成する。 In the synthetic image generating means 43, in the vicinity of the tip position of the probe 17 in the background image, a superimposed image in a direction corresponding to the orientation to generate a composite image to be displayed. すなわち、位置情報検出手段23で検出されたプローブ17の先端部分の位置情報に基づいて、背景画像内のプローブ17の先端部分の位置や姿勢を特定し、背景画像中のプローブ17の先端部分に、当該プローブ17の姿勢に対応した向きで超音波画像を重畳するようになっている。 That is, based on the position information of the tip portion of the probe 17 detected by the position information detecting unit 23 identifies the position and attitude of the distal end portion of the probe 17 within the background image, the tip portion of the probe 17 in the background image , so as to superimpose the ultrasound image in an orientation corresponding to the attitude of the probe 17. なお、ここでは、医師Dの選択等により、リアルタイムで得られた1枚の2次元画像が重畳画像とされ、或いは、経時的に連続する複数枚の2次元画像を抽出し、それらを順に重ねたものが重畳画像とされる。 Here, the selection of a physician D, 2-D image of one obtained in real time is a superimposed image, or extracting two-dimensional images of a plurality of time continuous, overlapping them in the order what was is a superimposed image.

以上により、第1の処理部37では、医師Dの視界に存在する患者Pの患部を含む実空間の画像が背景画像となり、その患部にプローブ17を当てることで得られた超音波画像が、重畳画像となって当該患部に突き刺さったように見えるように、合成画像が生成される。 Thus, in the first processing unit 37, an image of the real space is a background image including the affected part of the patient P present in the field of view of a physician D, the ultrasonic image obtained by applying a probe 17 in the affected area, become superimposed image to look like pierced to the affected part, the composite image is generated. この際、背景画像に重畳される超音波画像は、医師Dのニーズに応じて指定された透明度とされる。 In this case, an ultrasonic image is superimposed on the background image is a transparency designated in accordance with the needs of the physician D. 例えば、全色を透明にしないで、画像取込手段29からのそのままの状態の超音波画像を重畳画像とし、或いは、全色を透明にして、画像取込手段29からの超音波画像を見せずに、超音波画像の背後に存在する背景画像の一部領域を完全に視認可能にすることができる。 For example, without the clear all colors, the ultrasound image of intact from the image capturing means 29 as a superimposed image or the full color by a transparent, showing the ultrasound image from the image capturing means 29 without, a partial area of ​​the background image that exists behind the ultrasound image can be completely visible. 加えて、超音波画像の黒色部分のみを透明にし、黒色以外の色や特定の色の透明度を調整した超音波画像を重畳画像とする等、超音波画像の透明度を種々調整できる。 In addition, only the black portion of the ultrasound image is transparent, equal to the ultrasound image by adjusting the transparency of the color or specific color other than black and superimposed image, it can be variously adjust the transparency of the ultrasonic image. これにより、手術中において、背景画像に重畳画像を重ね合わせた合成画像を医師Dに提示する際に、背景画像の色彩に応じて重畳画像の表示部分を必要最小限にし、背景画像において重畳画像による隠蔽部分を極力少なくしつつ、得られた超音波画像のうち必要情報のみを同時に医師Dに視認させることが可能になる。 Thus, during the surgery, when presenting a composite image obtained by superimposing a superimposed image on the background image to the physician D, to the minimum necessary to display portions of the superimposed image according to the color of the background image, a superimposed image in the background image as much as possible while reducing the hidden portion by, it is possible to visually recognize only simultaneously to the physician D necessary information among the obtained ultrasound image.

前記第2の処理部38は、図4に示されるように、提示態様の異なる複数種類の提示画像を生成する複数画像生成手段45と、表示部20での提示画像の提示態様を経時的に変化させる画像切替手段46とを有している。 The second processing unit 38, as shown in FIG. 4, a plurality image generating means 45 for generating a plurality of types of presentation images having different presentation aspects, over time the presentation aspects of the presentation image on the display unit 20 and an image switching unit 46 for changing.

前記複数画像生成手段45は、画像取込手段29からの超音波画像を所定の位置及び姿勢で提示する第1の提示態様に係る提示画像を生成する第1生成部48と、正面視の超音波画像を立体的に提示する第2の提示態様に係る提示画像を生成する第2生成部49と、正面視の超音波画像を平面的に提示する第3の提示態様に係る提示画像を生成する第3生成部50からなる。 Wherein the plurality image generating unit 45 includes a first generator 48 for generating a presentation image according to the first presentation mode that presents an ultrasonic image from the image capturing means 29 at a predetermined position and orientation, the front view super a second generating unit 49 for generating a presentation image according to the second presented embodiment stereoscopically presenting ultrasound image, generating a presentation image according to the third presentation mode that presents an ultrasound image of the front view in a plane and a third generation unit 50.

前記第1生成部48では、第1の処理部37の合成画像生成手段43(図3参照)と同様の処理により、プローブ17の先端部分の姿勢に対応した向きの超音波画像を重畳画像として背景画像に重ね合わせた合成画像が提示画像として生成される。 In the first generation unit 48, the first processing unit same processing as the composite image generation unit 43 of the 37 (see FIG. 3), an ultrasound image of the orientation corresponding to the attitude of the distal end portion of the probe 17 as a superimposed image composite image superimposed on the background image is generated as the presentation image.

前記第2生成部49では、診断画像取込部33若しくは画像データ記憶部35から、現在若しくは過去の超音波画像を取得し、プローブ17の位置及び姿勢に関係無く、当該超音波画像を正面視の3次元画像として背景画像の中央に重畳した合成画像が提示画像として生成される。 In the second generator 49, the diagnostic image capturing unit 33 or the image data storage unit 35, acquires the current or past ultrasound image, regardless of the position and orientation of the probe 17, the front view the ultrasound image composite image superimposed on the center of the background image as a three-dimensional image is generated as the presentation image. すなわち、ここでは、医師Dの両眼視差により、超音波画像が背景画像に対して立体的に重なって見えるように合成画像が生成される。 In other words, in this case, the binocular disparity of the physician D, ultrasound image combined image is generated so as to appear to overlap the stereoscopic the background image.

前記第3生成部50では、診断画像取込部33若しくは画像データ記憶部35から取得された現在若しくは過去の超音波画像を取得し、プローブ17の位置及び姿勢に関係無く、当該超音波画像を正面視の2次元画像として背景画像の中央に重畳した合成画像が提示画像として生成される。 In the third generation unit 50 acquires the current or past ultrasound image acquired from the diagnostic image capture unit 33 or the image data storage unit 35, regardless of the position and orientation of the probe 17, the ultrasonic image composite image superimposed on the center of the background image is generated as the presentation image as a two-dimensional image of the front view.

なお、特に限定されるものではないが、前記第2生成部49、前記第3生成部50においては、画像取込手段29から取得された超音波画像が、正面視で背景画像のほぼ中央付近に配置されるように当該背景画像に重畳され、背景画像に対する超音波画像のサイズの割合は、予め設定された割合とされ、第2生成部49においては、画像取込手段29から取得された超音波画像が、3次元画像として背景画像に重畳されるが、重畳する視野における3次元位置は、ヘッドマウントディスプレイ12の表示部20から例えば50cm前方など、予め設定された距離とされる。 Although not particularly limited, the second generation unit 49, in the third generation unit 50, an ultrasonic image obtained from the image capturing means 29, near the center of the background image in the front view is superimposed on the background image to be positioned, the size ratio of the ultrasound image relative to the background image is the ratio previously set, in the second generation unit 49, which is acquired from the image capturing means 29 ultrasonic image, but is superimposed on the background image as a three-dimensional image, 3-dimensional position in the superimposed field of view, such as 50cm forward from the display unit 20 of the head-mounted display 12, is a pre-set distance.

前記画像切替手段46では、前記第1、第2、第3の提示態様の順で、若しくは、その逆の順で、表示部20に表示される各提示画像が所定時間毎に自動的に切り替わるように、画像切り替えを行う。 In the image switching unit 46, in the order of the first, second, third presentation mode, or in the order of the reverse, the presentation image to be displayed on the display unit 20 is automatically switched at predetermined time intervals as described above, perform the image switching.

前記第3の処理部39は、図5に示されるように、超音波画像を重畳画像として背景画像に重ね合わせた合成画像を生成する合成画像生成手段52と、ユーザ動作検出手段22での検出結果に基づいて、関連情報取込手段30からの関連情報を提示する関連情報提示手段53とを備えている。 The third processing unit 39, as shown in FIG. 5, the composite image generating unit 52 for generating a composite image superimposed on the background image an ultrasound image as superimposed image, the detection of the user activity detector 22 based on the results, and a related information presentation unit 53 for presenting the related information from the related information acquisition unit 30.

前記合成画像生成手段52では、第1の処理部37の合成画像生成手段43(図3参照)と同様の処理により、プローブ17の先端部分の姿勢に対応した向きの超音波画像を重畳画像として背景画像に重ね合わせた合成画像が提示画像として生成される。 In the composite image generating unit 52, the first processing unit same processing as the composite image generation unit 43 of the 37 (see FIG. 3), an ultrasound image of the orientation corresponding to the attitude of the distal end portion of the probe 17 as a superimposed image composite image superimposed on the background image is generated as the presentation image.

前記関連情報提示手段53では、ユーザ動作検出手段22で検出された医師Dの頭部の動作方向や動作量により、合成画像生成手段52で生成された合成画像に、関連情報取込手段30からの関連情報を所定部位に付加した提示画像を生成するようになっている。 In the related information presenting unit 53, the operation direction and the operation amount of the head of the physician D detected by the user operation detecting unit 22, the generated composite image in the composite image generating unit 52, from the related information acquisition unit 30 It has the relevant information to generate a presentation image to which the predetermined portion. すなわち、ここでは、所定量以上医師Dが上を向いたと判断された場合に、合成画像生成手段52で生成された合成画像について、表示部20の表示範囲の上方に関連情報が提示されるようになっており、それ以外の場合は、合成画像生成手段52で生成された合成画像のみが表示部20に提示される。 In other words, in this case, when a predetermined amount or more doctor D is determined to upturned, the generated composite image in the composite image generating unit 52, the relevant information is presented on the upper portion of the display range of the display unit 20 It has become so, otherwise, only the synthesized image generated by the composite image generating unit 52 is presented on the display unit 20.

前記第4の処理部40は、図6に示されるように、実空間を撮像した背景画像に、超音波画像等の前記医療情報画像を重畳画像として重畳した合成画像を生成する合成画像生成手段57と、合成画像中の所望の部位に重ね合されて医師Dに視認されるアイコンを医師Dによる任意の形状で生成するアイコン生成手段58と、アイコン生成手段58で生成されたものを含め各種のアイコンが記憶されるアイコン記憶手段59と、合成画像生成手段57での合成画像中の所定の位置に、アイコンを含む提示画像を生成して表示部20に提示するアイコン付画像提示手段60とを備えている。 The fourth processing unit 40, as shown in FIG. 6, the background image of the captured real space, composite image generating means for generating a composite image by superimposing the medical information image such as an ultrasonic image as a superimposed image 57, the icon generating unit 58 to generate the desired are superposed on site icon is visible to the physician D in the composite image in an arbitrary shape by a physician D, various including those generated by the icon generating unit 58 the icon as storage means 59 is stored, at a predetermined position in the composite image in the composite image generating unit 57, an icon with the image presentation means 60 for presenting on the display unit 20 generates a presentation image including an icon It is equipped with a.

前記アイコンとしては、図7に示されるように、背景画像中のマーカ26の位置に表示される基準アイコン62と、基準アイコン62に連なって表示される拡張アイコン63とがある。 As the icon, as shown in FIG. 7, a reference icon 62 displayed on the position of the marker 26 in the background image, there is an expansion icon 63 to be displayed continues to the reference icon 62.

前記基準アイコン62は、マーカ26に対応して予め設定された形状のものがアイコン記憶手段59に記憶されている。 The reference icon 62, a shape which is set in advance corresponding to the marker 26 is stored in the icon storage unit 59. なお、特に限定されるものではないが、本実施形態では、光学マーカ26Aに対応する基準アイコン62として、光学マーカ26Aを囲む矩形状のアイコンがアイコン記憶手段59に予め記憶されている。 Although not particularly limited, in the present embodiment, as a reference icon 62 corresponding to the optical marker 26A, a rectangular icon surrounding the optical markers 26A are pre-stored in the icon storage unit 59. また、磁気マーカ26Bに対応する基準アイコン62として、立方体状のアイコンがアイコン記憶手段58に予め記憶されている。 With reference to the icon 62 corresponding to the magnetic marker 26B, cubic icons are previously stored in the icon storage unit 58.

前記拡張アイコン63は、医師D等の入力に基づいてアイコン生成手段58により生成された任意の形状の線図、すなわち、直線や曲線、或いは、面や立体等の図形等からなる。 The expansion icon 63, the diagram of any shape generated by the icon generating unit 58 on the basis of an input such as a doctor D, i.e., straight lines and curves, or consist of figures such as face and three-dimensional.

前記合成画像生成手段57では、第1の処理部37の合成画像生成手段43(図3参照)と同様の処理により、背景画像におけるプローブ17の先端部分に、超音波画像等の医療情報画像を重畳画像として重ね合わせた合成画像が生成される。 In the composite image generating unit 57, by the same processing as the composite image generation unit 43 of the first processing section 37 (see FIG. 3), the tip portion of the probe 17 in the background image, the medical information image such as an ultrasonic image composite image by superimposing the superimposed image is generated.

前記アイコン生成手段58は、図6に示されるように、描画ソフトウェアやCADソフトウェア等のコンピュータにより拡張アイコン63の生成を行う画像エディタ描画手段68と、医師D等の空中描画により拡張アイコン63の生成を行う手書き描画手段69とを有している。 The icon generating unit 58, as shown in FIG. 6, an image editor rendering unit 68 for generating the extension icon 63 by the drawing software or CAD software of a computer, generates the expansion icon 63 over the air drawing such as a doctor D and a handwritten drawing unit 69 for performing. 当該アイコン生成手段58では、医師D等の入力指令により、画像エディタ描画手段68での拡張アイコン63の生成と、手書き描画手段69での拡張アイコン63の生成とを選択可能となっている。 In the icon generating unit 58, the input command such as a doctor D, a product of the extension icon 63 in the image editor drawing means 68, and can select a product expansion icon 63 of handwritten drawing means 69.

前記画像エディタ描画手段68では、予め付番等されたマーカ26のうち、拡張アイコン63を付加したい対象のマーカ26(以下、「対象部位」と称する)が指定されると、当該対象部位それぞれについて、医師D等が入力装置13を操作することによるコンピュータ描画によって任意の形状の拡張アイコン63が生成される。 In the image editor drawing means 68, of the markers 26 which is previously numbered like extension icon for which you want to add the 63 markers 26 (hereinafter, referred to as "target site") is specified, for each of the target sites , Enhanced icon 63 of any shape by a computer drawing by the physician D or the like operates the input device 13 is produced. 当該拡張アイコン63は、検出部27で検出された対象部位の位置情報に対応してアイコン記憶手段59に記憶される。 The expansion icon 63 is stored in the icon storage unit 59 in correspondence with the positional information of the target region detected by the detector 27.

前記手書き描画手段69は、マーカ26が取り付けられた入力部材71と、検出部27で検出される入力部材71の位置情報に基づき拡張アイコン63の形状を特定するアイコン形状特定部72とからなる。 The handwritten drawing means 69 includes an input member 71 which marker 26 is attached, consists of the icon shape specifying section 72 specifying the shape of the expanded icon 63 based on the position information of the input member 71 to be detected by the detector 27.

前記手書き描画手段67では、マーカ26が取り付けられて検出部27で3次元位置等の位置情報が検出される入力部材71を用い、次のようにして拡張アイコン63が生成される。 In the handwritten drawing means 67, using the input member 71 the position information of the three-dimensional position or the like by the detection unit 27 marker 26 is attached is detected, Enhanced icon 63 is generated as follows. すなわち、先ず、医師D等が入力部材71で対象部位を直接接触することで、当該対象部位が指定される。 That is, first, by contacting a target site directly physician D etc. in the input member 71, the target site is designated. その後、アイコン形状特定部72では、医師D等が入力部材71を手で空中を移動させたときの当該入力部材71の軌跡に基づく位置情報の経時変化により、任意の形状の拡張アイコン63が位置情報を伴って生成される。 Then, the icon shape specifying section 72, the change with time of the position information based on the locus of the input member 71, extension icon 63 of any shape position when the physician D, etc., moves the air by hand input member 71 It is generated with the information. このように生成された拡張アイコン63は、前記対象部位の位置情報に対応してアイコン記憶手段59に記憶される。 This extension icon 63 generated in this manner is stored in the icon storage unit 59 in correspondence with the position information of the target region. なお、手書き描画手段67では、合成画像生成手段57で生成された合成画像中の任意の部分や領域をトレースするように入力部材71を移動させることもできる。 It is also possible to move the handwriting in the drawing unit 67, the input member 71 so as to trace any portion or region in the composite image generated by the composite image generating unit 57. これにより、例えば、合成画像中の複雑な形状の術具等のガイドとなる拡張アイコン63を生成することが可能になり、また、合成画像中の複雑な形状の患部における注意部位等のガイドとなる拡張アイコン63を生成することも可能になる。 Thus, for example, it is possible to generate an extended icon 63 serving as a guide for a surgical instrument such as a complicated shape in the composite image, and a guide attention site such as the diseased part of complex shape in the composite image it also becomes possible to generate an extended icon 63 made.

なお、前記アイコン生成手段58にあっては、予め設定された形状の異なる複数の拡張アイコン63の中から、対象部位毎に医師Dが選択することも可能である。 Incidentally, in the said icon generating unit 58, different from the plurality of extension icon 63 of predetermined shape, it is also possible to physician D can be selected for each target site. 更に、当該選択された拡張アイコン63をテンプレートとし、画像エディタ描画手段68や手書き描画手段69を用いて当該テンプレートを任意に変形することにより、拡張アイコン63を生成することもできる。 Furthermore, an expansion icon 63 to which the selected as a template, by arbitrarily deforming the template using the image editor drawing unit 68 and handwritten drawing unit 69, it is also possible to generate an extended icon 63.

前記アイコン付画像提示手段60は、合成画像生成手段57で生成された合成画像中の前記各対象部位に基準アイコン62を重畳する基準アイコン重畳部73と、対象部位の基準アイコン62に対応して設定された拡張アイコン63を合成画像中に重畳する拡張アイコン重畳部74と、各拡張アイコン63の交点や交線を合成画像中に重畳する付加線図重畳部75と、各拡張アイコン63の延長線や延長面を合成画像中に重畳する延長線図重畳部76と、これら各重畳部74〜76での重畳処理後の画像を提示画像として、表示部20に提示する提示部77とにより構成されている。 The icon with the image presentation means 60, a reference icon superimposing unit 73 for superimposing a reference icon 62 to the each target site in the generated composite image in the composite image generating unit 57, in response to the reference icon 62 of sites and Enhanced icon superimposing unit 74 for superimposing the extension icon 63 that was set in the composite image, and the additional diagram superimposing unit 75 for superimposing an intersection or crossing line of each extension icon 63 in the composite image, the extension of each extension icon 63 constituted by an extension view superimposing unit 76 for superimposing lines or extension surface in the composite image, the image after the superimposition processing in each of these overlapped portions 74 to 76 as the presentation image, the presentation unit 77 to present on the display unit 20 It is.

前記基準アイコン重畳部73では、検出部27により対象部位の位置情報が検出されたときに、当該対象部位に設置されているマーカ26に対応した基準アイコン62がアイコン記憶手段59から抽出され、合成画像中の当該対象部位の位置に重畳される。 In the reference icon superimposing unit 73, when the position information of the target site by the detection unit 27 has been detected, the reference icon 62 corresponding to the marker 26 is installed in the target region is extracted from the icon storage unit 59, the synthetic It is superimposed on the position of the target region in the image. なお、検出部27による対象部位の認識状態や認識誤差の大小により、基準アイコン62の色彩や濃淡を変化させることもでき、また、任意の時点で、基準アイコン62の表示非表示を切り替えることも可能である。 Incidentally, the recognition status and the size of the recognition errors of the target region by the detection unit 27, can also vary the color and shade of the reference icon 62, also, at any time, also to switch the display on-off reference icon 62 possible it is.

前記拡張アイコン重畳部74では、図7に示されるように、基準アイコン62に拡張アイコン63が連なるように合成画像に重畳される。 In the expanded icon superimposing unit 74, as shown in FIG. 7, Enhanced icon 63 to the reference icon 62 is superimposed on the synthesized image so as to be continuous. すなわち、ここでは、合成画像中の基準アイコン62の存在する部位を対象部位とし、当該対象部位に対応する形状の拡張アイコン63が、アイコン記憶手段59から抽出され、合成画像中で、医師Dの指定する位置や向きで基準アイコン62に連なるように重畳される。 In other words, in this case, the existing site of the reference icon 62 in the composite image as a target site, extension icon 63 having a shape corresponding to the target region, are extracted from the icon storage unit 59, in the composite image, the physician D It is superimposed so as to be continuous to the reference icon 62 at the position or orientation for designating.

また、図8に示されるように、拡張アイコン63として、複数の対象部位間に跨る線図が設定されたときに、患者や機器等の物体の相対移動等、各対象部位が経時的に相対移動した場合、それに伴い、基準アイコン重畳部73では、合成画像中において、検出部27の検出結果に基づき、各対象部位に重畳される基準アイコン62を経時的に画面内を移動させる。 Further, as shown in FIG. 8, it extended as icons 63, when a line drawing that spans between the plurality of sites have been set, the relative movement or the like of the object such as a patient or equipment, each target site over time relative If you moved, accordingly, the reference icon superimposed portion 73, in a composite image, based on the detection result of the detector 27, over time move the screen the reference icon 62 superimposed on the target site. この場合、拡張アイコン重畳部74では、同図中矢印で表されるように、各基準アイコン62の相対移動に伴って、基準アイコン62間を跨る接続状態を維持するように、拡張アイコン63の形状の自動変形を行うようになっている。 In this case, the extension icon superimposing unit 74, as represented in FIG arrow, with the relative movement of the reference icon 62, to maintain the connection state across between reference icon 62, the expansion icon 63 and it performs the automatic modification of the shape.

前記付加線図重畳部75では、図7(B)に示されるように、拡張アイコン重畳部74で重畳された複数の拡張アイコン63の交点部分や交線部分が発生した場合、これら部分を合成画像中で強調表示するための交点や交線が付加される。 In the additional diagram superimposing unit 75, as shown in FIG. 7 (B), if the intersections and the intersection line portion of the plurality of expansion icon 63 superimposed with Enhanced icon superimposing unit 74 has occurred, combining these parts intersection and the intersection line for highlighting in the image is added.

前記延長線図重畳部76では、図7(C)に示されるように、拡張アイコン重畳部74で重畳された複数の拡張アイコン63を延長した拡張部分の線図をそれぞれ自動的に生成した上で、当該各拡張部分の線図において交点部分や交線部分が発生した場合、これら部分を合成画像中で強調表示するための交点や交線が付加される。 In the extension view superimposing unit 76, as shown in FIG. 7 (C), on the diagram of extension that extends a plurality of expansion icon 63 superimposed with Enhanced icon superimposing section 74 were automatically generated, respectively in the case where intersections or intersection section in the diagram of the respective extension occurs, the intersection and the intersection line for highlighting those portions in the composite image is added.

なお、これら付加線図重畳部75や延長線図重畳部76での処理は、入力装置13による医師D等の指令に基づいて選択的に行われる。 The processing of these additional diagrams superimposing unit 75 and the extension line diagram superimposing unit 76 is selectively performed on the basis of a command such as a doctor D by the input device 13.

以上のように、拡張アイコン63を設定することにより、例えば、前記重畳画像表示システム10を穿刺治療に関する医療行為に用いる場合において、穿刺目標の確認等に有用となる。 As described above, by setting the expansion icon 63, for example, in the case of using the superimposed image display system 10 in medical practice regarding puncture treatment, it is useful in the confirmation of the puncture target. 特に、付加線図重畳部75で交点や交線が付加されると、穿刺針の先端が特定平面に到達する距離等の目安を把握することができ、また、延長線図重畳部76で交点や交線が付加されると、穿刺針の移動における将来位置や将来の危険性について医師Dが容易に把握可能となる。 In particular, the intersection and intersection lines are added by the adding diagram superimposing unit 75 can grasp the measure of distance such as the tip of the puncture needle to reach a particular plane, also, the intersection with the extension line diagram superimposing unit 76 When and intersection lines are added, the physician D is easily grasped for future position and future risk of movement of the puncture needle.

なお、前記第1〜第4の処理部37〜40での各種処理は、それぞれ単独で行っても良いし、これら処理を複数組み合わせて行っても良い。 Incidentally, the first to various processing in the fourth processing unit 37 to 40 may each be carried out alone or may be performed by combining a plurality of these treatments. 例えば、第1と第4の処理部37,40での処理を併用し、提示画像として、重畳画像の透明度を調整しつつ、重畳画像と背景画像を合成した合成画像に任意のアイコンを付加したものを生成することも可能である。 For example, the first and a combination of processing in the fourth processing unit 37 and 40, as the presentation image, while adjusting the transparency of the superimposed image, and adding an arbitrary icon was synthesized superimposed image and the background image composite image it is also possible to generate one.

また、前記実施形態では、重畳画像表示システム10を医療現場で用いた場合を図示説明したが、本発明はこれに限らず、同様の構成で他の用途に適用することもできる。 In the above embodiment has been shown and described a case of using a superimposed image display system 10 in the medical field, the present invention is not limited thereto, it can also be applied to other uses the same configuration.

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。 Other configuration of each part of the device of the present invention is not limited to the example illustrated configuration, as long as to achieve the substantially similar effects, and various modifications are possible.

10 重畳画像表示システム 12 ヘッドマウントディスプレイ(ディスプレイ) 10 superimposed image display system 12 head-mounted display (display)
14 状態検出装置 15 画像提示装置 22 ユーザ動作検出手段 23 位置情報検出手段 26 マーカ 27 検出部 29 画像取込手段 30 関連情報取込手段 42 透明度調整手段 46 画像切替手段 53 関連情報提示手段 58 アイコン生成手段 60 アイコン付画像提示手段 68 画像エディタ描画手段 69 手書き描画手段 71 入力部材 72 アイコン形状特定部 14 state detection device 15 the image display device 22 the user operation detecting means 23 the position information detecting unit 26 marker 27 detector 29 image capturing means 30 associated information capturing means 42 Clarity Control unit 46 image switching unit 53 related information presenting unit 58 the icon generating It means 60 icon with the image presentation means 68 image editor drawing unit 69 handwritten drawing means 71 the input member 72 icon shape specifying section

Claims (6)

  1. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、 In superimposed image display system for displaying the presentation image in a state of overlapping the real space existing user field of view includes an icon that is visible to the user in a predetermined display,
    所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、 Includes a state detecting device for detecting a predetermined state, and an image display device for presenting the presentation image on the display,
    前記状態検出装置は、前記実空間に存在する複数の部位における3次元位置を含む位置情報を検出する位置情報検出手段を備え、 It said state detecting device includes a position information detecting means for detecting the position information including three-dimensional position at the site of multiple that exists in the real space,
    前記位置情報検出手段は、相対移動する複数の前記部位にそれぞれ配置されるマーカと、当該マーカの認識によって前記各部位の前記位置情報をそれぞれ検出する検出部とからなり、 Wherein the position information detecting means is composed of a marker arranged in a plurality of the sites relative movement, and a detection unit for detecting each of said position information of each part by the recognition of the marker,
    前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え Wherein the image presentation apparatus, comprising an icon generating means for generating the icon in any shape by the user, the detection result of the position information detection means, so that the icon is visible continuous with the site, the icon an image presenting unit with icons for presenting the presentation image on the display, as the icons, and a icon memory means and extended icons generated by the reference icon and the icon generating means corresponding to the marker is stored,
    前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記各部位間に跨る前記拡張アイコンが生成されたときに、前記検出部で検出された前記各部位の位置情報に基づいて、前記拡張アイコンが前記各部位に跨った状態を維持するように、当該拡張アイコンを自動変形することを特徴とする重畳画像表示システム。 The Icons with image presentation means, together with said reference icon in a state of overlapping recognized the marker detection unit is disposed, in a state in which the user specifies, as the expansion icon connected to the reference icon presents arranged the presentation image, said when the extension icon across between each site was generated, on the basis of the detected position information of each part by the detection unit, wherein the extension icons each site as conditions to maintain that across the overlap image display system, characterized in that the extension icon automatically deformed.
  2. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、 In superimposed image display system for displaying the presentation image in a state of overlapping the real space existing user field of view includes an icon that is visible to the user in a predetermined display,
    所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、 Includes a state detecting device for detecting a predetermined state, and an image display device for presenting the presentation image on the display,
    前記状態検出装置は、前記実空間に存在する1又は複数の部位における3次元位置を含む位置情報を検出する位置情報検出手段を備え、 It said state detecting device includes a position information detecting means for detecting the position information including three-dimensional position in one or more sites present in the real space,
    前記位置情報検出手段は、前記部位に設置されるマーカと、当該マーカの認識によって前記位置情報を検出する検出部とからなり、 Wherein the position information detecting means is composed of a marker is placed on the site, a detector for detecting the position information by the recognition of the marker,
    前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え Wherein the image presentation apparatus, comprising an icon generating means for generating the icon in any shape by the user, the detection result of the position information detection means, so that the icon is visible continuous with the site, the icon an image presenting unit with icons for presenting the presentation image on the display, as the icons, and a icon memory means and extended icons generated by the reference icon and the icon generating means corresponding to the marker is stored,
    前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記アイコン生成手段で複数生成された前記拡張アイコンの間で交点部分及び交線部分の少なくとも一方が発生した場合に、当該部分が強調表示される前記提示画像を提示することを特徴とする重畳画像表示システム。 The Icons with image presentation means, together with said reference icon in a state of overlapping recognized the marker detection unit is disposed, in a state in which the user specifies, as the expansion icon connected to the reference icon when the placed the presentation image presented, at least one of the intersections and the intersection line portion between said extended icons plurality generated by the icon generating unit occurs, the presentation image in which the part is highlighted superimposed image display system characterized by presenting.
  3. ユーザの視界に存在する実空間に重なった状態で当該ユーザに視認されるアイコンを含む提示画像を所定のディスプレイに表示する重畳画像表示システムにおいて、 In superimposed image display system for displaying the presentation image in a state of overlapping the real space existing user field of view includes an icon that is visible to the user in a predetermined display,
    所定の状態を検出する状態検出装置と、前記提示画像を前記ディスプレイに提示する画像提示装置とを備え、 Includes a state detecting device for detecting a predetermined state, and an image display device for presenting the presentation image on the display,
    前記状態検出装置は、前記実空間に存在する1又は複数の部位における3次元位置を含む位置情報を検出する位置情報検出手段を備え、 It said state detecting device includes a position information detecting means for detecting the position information including three-dimensional position in one or more sites present in the real space,
    前記位置情報検出手段は、前記部位に設置されるマーカと、当該マーカの認識によって前記位置情報を検出する検出部とからなり、 Wherein the position information detecting means is composed of a marker is placed on the site, a detector for detecting the position information by the recognition of the marker,
    前記画像提示装置は、前記ユーザによる任意の形状で前記アイコンを生成するアイコン生成手段と、前記位置情報検出手段の検出結果により、前記アイコンが前記部位に連なって見えるように、当該アイコンを含む前記提示画像を前記ディスプレイに提示するアイコン付画像提示手段と、前記アイコンとして、前記マーカに相当する基準アイコンと前記アイコン生成手段で生成される拡張アイコンとが記憶されるアイコン記憶手段とを備え Wherein the image presentation apparatus, comprising an icon generating means for generating the icon in any shape by the user, the detection result of the position information detection means, so that the icon is visible continuous with the site, the icon an image presenting unit with icons for presenting the presentation image on the display, as the icons, and a icon memory means and extended icons generated by the reference icon and the icon generating means corresponding to the marker is stored,
    前記アイコン付画像提示手段では、前記検出部で認識された前記マーカに重なった状態で前記基準アイコンが配置されるとともに、前記ユーザが指定する状態で、前記拡張アイコンが前記基準アイコンに連なるように配置された前記提示画像を提示し、前記アイコン生成手段で複数生成された前記拡張アイコンについて、更に自動的に延長した拡張部分の線図をそれぞれ生成した上で、これら拡張アイコンの間で交点部分及交線部分の少なくとも一方が発生した場合に、当該部分が強調表示される前記提示画像を提示することを特徴とする重畳画像表示システム。 The Icons with image presentation means, together with said reference icon in a state of overlapping recognized the marker detection unit is disposed, in a state in which the user specifies, as the expansion icon connected to the reference icon presents arranged the presentation image, the said extension icons plurality generated by the icon generating unit further automatically extended diagram of extended portions on generated respectively, intersections between these extensions icons when at least one of 及交 line portion occurs, the superimposed image display system characterized by presenting the presentation image in which the part is highlighted.
  4. 前記アイコン生成手段は、コンピュータにより前記拡張アイコンの生成を行う画像エディタ描画手段を備えたことを特徴とする請求項1、2又は3記載の重畳画像表示システム。 The icon generating unit, superimposed image display system according to claim 1, 2 or 3, wherein further comprising an image editor rendering unit for generating said extension icon by a computer.
  5. 前記アイコン生成手段は、前記ユーザの空中描画により前記拡張アイコンの生成を行う手書き描画手段を備えたことを特徴とする請求項1、2又は3記載の重畳画像表示システム。 The icon generating unit, superimposed image display system according to claim 1, 2 or 3, wherein further comprising a handwriting drawing means for generating the extension icon by air drawing of the user.
  6. 前記手書き描画手段は、前記マーカが取り付けられた入力部材と、前記位置情報検出手段で検出される当該入力部材の位置情報に基づき前記拡張アイコンの形状を特定するアイコン形状特定部とを備え、 The handwritten drawing means comprises an input member to which the marker is attached, an icon shape specification unit for specifying the shape of the expanded icon based on the position information of the input member detected by the position information detecting means,
    前記アイコン形状特定部では、前記ユーザが前記入力部材を用いて、前記拡張アイコンを付加したい実空間中の対象部位を直接接触することで、当該対象部位が指定され、前記ユーザが前記入力部材を手で空中移動させたときの当該入力部材の3次元位置の経時変化により、前記拡張アイコンが生成されることを特徴とする請求項記載の重畳画像表示システム。 In the icon shape specifying section, the user is using the input member, by contacting a target site in the real space to be added to the expanded icon directly, the target site is specified, the user of said input member the time course of the three-dimensional position of the input member obtained while airborne vehicles by hand, superimposed image display system according to claim 5, characterized in that the expansion icon is generated.
JP2016027610A 2016-02-17 2016-02-17 Superimposed image display system Active JP6142462B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016027610A JP6142462B1 (en) 2016-02-17 2016-02-17 Superimposed image display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027610A JP6142462B1 (en) 2016-02-17 2016-02-17 Superimposed image display system

Publications (2)

Publication Number Publication Date
JP6142462B1 true JP6142462B1 (en) 2017-06-07
JP2017146759A JP2017146759A (en) 2017-08-24

Family

ID=59011973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027610A Active JP6142462B1 (en) 2016-02-17 2016-02-17 Superimposed image display system

Country Status (1)

Country Link
JP (1) JP6142462B1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (en) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method
JP2006085375A (en) * 2004-09-15 2006-03-30 Canon Inc Image processing method and image processor
JP2007512854A (en) * 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニBracco Imaging S.P.A. Surgical navigation system (camera probe)
JP2011153995A (en) * 2010-01-28 2011-08-11 Fa System Engineering Kk Stereoscopic caliper image forming apparatus and program of stereoscopic video display
JP2012014680A (en) * 2010-06-02 2012-01-19 Nintendo Co Ltd Information processing program, information processor, information processing system and information processing method
JP2013125487A (en) * 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc Space hand-writing system and electronic pen
JP2015026138A (en) * 2013-07-24 2015-02-05 富士通株式会社 Information processing device, position specifying method, and position specifying program
JP2015204079A (en) * 2014-04-16 2015-11-16 富士通株式会社 Display method, display program and display device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (en) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method
JP2007512854A (en) * 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニBracco Imaging S.P.A. Surgical navigation system (camera probe)
JP2006085375A (en) * 2004-09-15 2006-03-30 Canon Inc Image processing method and image processor
JP2011153995A (en) * 2010-01-28 2011-08-11 Fa System Engineering Kk Stereoscopic caliper image forming apparatus and program of stereoscopic video display
JP2012014680A (en) * 2010-06-02 2012-01-19 Nintendo Co Ltd Information processing program, information processor, information processing system and information processing method
JP2013125487A (en) * 2011-12-16 2013-06-24 Konica Minolta Business Technologies Inc Space hand-writing system and electronic pen
JP2015026138A (en) * 2013-07-24 2015-02-05 富士通株式会社 Information processing device, position specifying method, and position specifying program
JP2015204079A (en) * 2014-04-16 2015-11-16 富士通株式会社 Display method, display program and display device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6017006705; 羽石 秀昭: '体幹部臓器の高精度低侵襲治療を支援する画像技術' 電子情報通信学会技術研究報告 Vol.113 No.219 MI2013-43 (2013-09), 20130906, P.31-34, 一般社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
JP2017146759A (en) 2017-08-24

Similar Documents

Publication Publication Date Title
Liao et al. 3-D augmented reality for MRI-guided surgery using integral videography autostereoscopic image overlay
CN104605855B (en) A positioning system virtual touch screen
US6493575B1 (en) Fluoroscopic tracking enhanced intraventricular catheter system
JP4933164B2 (en) The information processing apparatus, information processing method, program, and storage medium
US7376903B2 (en) 3D display system and method
Bichlmeier et al. Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality
EP1937176B1 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
US8819591B2 (en) Treatment planning in a virtual environment
JP4533087B2 (en) Image processing method, image processing apparatus
RU2608322C2 (en) Holographic user interfaces for medical procedures
US20060020204A1 (en) System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
US5694142A (en) Interactive digital arrow (d'arrow) three-dimensional (3D) pointing
KR100439756B1 (en) Apparatus and method for displaying virtual endoscopy diaplay
US7061484B2 (en) User-interface and method for curved multi-planar reformatting of three-dimensional volume data sets
Poston et al. Dextrous virtual work
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
US20090147074A1 (en) Methods and Systems for Marking Stereo Pairs of Images
US5638819A (en) Method and apparatus for guiding an instrument to a target
US8554307B2 (en) Image annotation in image-guided medical procedures
US9681925B2 (en) Method for augmented reality instrument placement using an image based navigation system
US20100137706A1 (en) Method of, and apparatus for, controlling medical navigation systems
US6049622A (en) Graphic navigational guides for accurate image orientation and navigation
US9439736B2 (en) System and method for controlling a remote medical device guidance system in three-dimensions using gestures
CA2721107A1 (en) Interactive virtual reality image generating system
EP2222224B1 (en) Method and system for interactive percutaneous pre-operation surgical planning

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170421

R150 Certificate of patent or registration of utility model

Ref document number: 6142462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350