JP6801073B2

JP6801073B2 - 付加情報表示装置、方法およびプログラム

Info

Publication number: JP6801073B2
Application number: JP2019501050A
Authority: JP
Inventors: 太櫻木
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2017-02-24
Filing date: 2017-11-15
Publication date: 2020-12-16
Anticipated expiration: 2037-11-15
Also published as: JPWO2018154877A1; WO2018154877A1; US20190304107A1

Description

本開示の技術は、ディスプレイ等の表示装置に表示されている画像に関連する付加情報を表示するための付加情報表示装置、方法およびプログラムに関するものである。

近年、内視鏡装置、アンギオ装置および超音波装置等により取得された画像に対して、内視鏡の現在位置、および取得された画像に現れてない臓器または血管の位置を把握できるように、ＣＴ（Computed Tomography）画像あるいはＭＲＩ（Magnetic Resonance Imaging）画像等から生成された３次元画像等の付加情報を、取得された画像に重畳表示することが行われている。

取得された画像に付加情報を重畳表示するためには、内視鏡装置等に付加情報を取り込むか、付加情報を生成する装置に内視鏡装置等により取得した画像を取り込む必要がある。内視鏡装置等に付加情報を取り込む場合、取得した画像に付加情報を重畳表示できるようにするために、内視鏡装置等の改良が必要となる。また、付加情報を生成する装置に内視鏡装置等から画像を取り込む場合でも、内視鏡装置等と接続するための機材が必要となる。また、医療機器は、臨床現場で使用するためには接続試験等を行って役所の認可を受ける必要がある。このため、内視鏡装置等と付加情報を生成する装置とを接続して実際の診断に使用することは、容易ではない。

一方、近年、ヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）に各種情報を表示することが行われている。例えば、特開２０１４−２１１６４３号公報および特開２０１２−２３３９６３号公報には、ＨＭＤのカメラで画像を表示するディスプレイを撮影し、ディスプレイの形状に基づいて撮影画像からディスプレイを検出し、ディスプレイに表示されたマークを検出し、ＨＭＤにおける検出したマークに基づいて規定される位置に、画面を投影する手法が提案されている。とくに、特開２０１２−２３３９６３号公報に記載された手法は、ディスプレイの周囲に位置するように画像を投影する手法が提案されている。

しかしながら、特開２０１４−２１１６４３号公報および特開２０１２−２３３９６３号公報に記載された手法は、投影する画像の位置を定めるために、ディスプレイにマーカを表示する必要がある。このため、ディスプレイまたはディスプレイに表示される画像に改良を加える必要がある。このような改良を加えることは、とくに医療機器の場合、さらなる役所の認可のための試験等が必要となるため、容易ではない。

本開示の技術は上記事情に鑑みなされたものであり、付加情報を重畳するための画像を取得する装置に改良を加えることなく、表示された画像に付加情報を併せて表示できるようにすることを目的とする。

本開示による付加情報表示装置は、画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
撮影画像から第１の表示手段を検出する検出手段と、
検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
検出した第１の表示手段と付加情報とを位置合わせする位置合わせ手段と、
位置合わせされた付加情報を第２の表示手段に表示する表示制御手段とを備えたことを特徴とするものである。

「付加情報」とは、第１の表示手段に表示された表示画像に関連する任意の画像を含む情報を意味し、例えば、第１の表示手段に表示された画像が内視鏡画像である場合には、３次元画像から生成された、内視鏡画像に対応する位置の仮想内視鏡画像を付加情報として用いることができる。また、第１の表示手段に表示された画像がアンギオ装置により取得された血管の造影画像である場合には、３次元画像から生成した対応する部位の擬似２次元画像（レイサム画像）を付加情報として用いることができる。また、第１の表示手段に表示されている、画像を取得した患者のバイタル情報および診断結果等のテキスト情報等も付加情報として用いることができる。

「検出した第１の表示手段と付加情報とを位置合わせする」とは、検出した第１の表示手段自体のみならず、検出した第１の表示手段に含まれる表示画像も含めて付加情報と位置合わせをすることを意味する。したがって、「検出した第１の表示手段と付加情報とを位置合わせする」とは、検出した第１の表示手段の枠等の筐体と付加情報とを位置合わせすること、および検出した第１の表示手段に含まれる表示画像と付加情報とを位置合わせすることを含む。

なお、本開示による付加情報表示装置においては、付加情報決定手段は、検出した第１の表示手段の種類に基づいて、付加情報を決定するものであってもよい。

また、本開示による付加情報表示装置においては、付加情報決定手段は、検出した第１の表示手段に表示された表示画像に基づいて、付加情報を決定するものであってもよい。

また、本開示による付加情報表示装置においては、検出手段は、第１の表示手段の形状を用いて撮影画像から第１の表示手段を検出するものであってもよい。

また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせするものであってもよい。

また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせするものであってもよい。

また、本開示による付加情報表示装置においては、位置合わせ手段は、検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせするか、検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせするかを選択可能であってもよい。

また、本開示による付加情報表示装置においては、付加情報決定手段は、表示画像に含まれる情報以外の情報を付加情報に決定するものであってもよい。

また、本開示による付加情報表示装置においては、第２の表示手段は、シースルー型のヘッドマウントディスプレイであり、撮影画像を取得するための撮影手段が、ヘッドマウントディスプレイに取り付けられてなるものであってもよい。

本開示による付加情報表示方法は、画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
撮影画像から第１の表示手段を検出し、
検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
検出した第１の表示手段と付加情報とを位置合わせし、
位置合わせされた付加情報を第２の表示手段に表示することを特徴とするものである。

なお、本開示による付加情報表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本開示による他の付加情報表示装置は、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得処理と、
撮影画像から第１の表示手段を検出する検出処理と、
検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定処理と、
検出した第１の表示手段と付加情報とを位置合わせする位置合わせ処理と、
位置合わせされた付加情報を第２の表示手段に表示する表示制御処理とを実行することを特徴とするものである。

本開示によれば、画像が表示された第１の表示手段が撮影されることにより取得された撮影画像から第１の表示手段が検出され、第１の表示手段に含まれる表示画像に関連する付加情報が決定され、検出された第１の表示手段と付加情報とが位置合わせされ、位置合わせされた付加情報が第２の表示手段に表示される。このため、第１の表示手段に対して何ら改良を加えなくても、第２の表示手段において、第１の表示手段の表示画像に付加情報を併せて表示することができる。

本発明の実施形態による付加情報表示装置を適用した診断支援システムの概要を示す図コンピュータに付加情報表示プログラムをインストールすることにより実現される付加情報表示装置の概略構成を示す図撮影画像を示す図撮影画像の他の例を示す図付加情報の位置合わせを説明するための図ＨＭＤを装着した操作者に見える画像を示す図本実施形態において行われる処理を示すフローチャート内視鏡画像が表示されているディスプレイを見ている状態でＨＭＤに表示される付加情報を示す図肝臓の手術画像が表示されているディスプレイを見ている状態でＨＭＤに表示される付加情報を示す図付加情報の位置合わせを説明するための図付加情報の位置合わせを説明するための図付加情報の位置合わせを説明するための図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による付加情報表示装置を適用した診断支援システムの概要を示す図である。図１に示すように、診断支援システムは、画像表示システム１および本実施形態による付加情報表示装置２からなる。

画像表示システム１は、アンギオ装置により取得された血管造影画像であるアンギオ画像を表示するシステムであり、アンギオ装置３、およびディスプレイ４を備える。画像表示システム１においては、アンギオ装置３により被写体５の血管造影撮影が行われ、これにより取得されたアンギオ画像がディスプレイ４に表示される。なお、ディスプレイ４が第１の表示手段に対応する。

付加情報表示装置２は、コンピュータ６およびヘッドマウントディスプレイ（Head Mount Display、以下ＨＭＤとする）７を備える。なお、ＨＭＤ７が第２の表示手段に対応する。本実施形態においては、ＨＭＤ７は透過型のＨＭＤであり、ＨＭＤ７を装着した診断支援システムの操作者（例えば医師）は、ＨＭＤ７に表示される画像を見つつ、ＨＭＤ７を介して周囲を見ることができる。なお、ＨＭＤ７には、ＨＭＤ７の操作者の視線方向の撮影を行うカメラ９が取り付けられている。また、コンピュータ６は、被写体５の画像等を保管する画像サーバ８とネットワークを介して接続されている。画像サーバ８には、例えばＣＴ装置、ＭＲＩ装置、および超音波装置等により取得された３次元画像等が保存される。

本実施形態においては、ＨＭＤ７を装着した操作者がディスプレイ４に表示された画像を観察すると、後述するようにディスプレイ４に表示された画像に関連する付加情報がＨＭＤ７に表示される。

コンピュータ６は、本実施形態の付加情報表示プログラムをインストールしたものである。コンピュータ６は、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。付加情報表示プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに付加情報表示プログラムをインストールすることにより実現される付加情報表示装置の概略構成を示す図である。図２に示すように、付加情報表示装置２は、標準的なワークステーションの構成として、プロセッサであるＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、付加情報表示装置２には、上述したＨＭＤ７と、マウス等の入力部１４とが接続されている。

ストレージ１３には、ネットワークを経由して画像サーバ８から取得した３次元画像Ｖ０、および後述するように付加情報表示装置２での処理に必要な情報を含む各種情報が記憶されている。

また、メモリ１２には、付加情報表示プログラムが記憶されている。また、メモリ１２は、付加情報表示プログラムが処理を行う際の作業領域にもなる。付加情報表示プログラムは、ＣＰＵ１１に実行させる処理として、画像が表示されたディスプレイ４をカメラ９が撮影することにより取得された撮影画像を取得する画像取得処理、撮影画像からディスプレイ４を検出する検出処理、検出したディスプレイ４に含まれる表示画像に関連する付加情報を決定する付加情報決定処理、検出したディスプレイ４と付加情報とを位置合わせする位置合わせ処理、および位置合わせされた付加情報をＨＭＤ７に表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータ６は、画像取得部２１、検出部２２、付加情報決定部２３、位置合わせ部２４および表示制御部２５として機能する。また、付加情報表示装置２は、画像取得処理、検出処理、付加情報決定処理、位置合わせ処理および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。

画像取得部２１は、ＨＭＤ７に取り付けられたカメラ９が撮影した撮影画像を取得する。図３は撮影画像の例を示す図である。図３に示すように、撮影画像Ｇ２には、表示画像Ｇ１が表示されたディスプレイ４が含まれる。なお、表示画像Ｇ１はアンギオ画像であり、例えば心臓において造影剤により造影された血管が含まれている。

検出部２２は、撮影画像Ｇ２からディスプレイ４を検出する。ディスプレイ４の検出は、撮影画像Ｇ２から矩形の領域を検出することにより行えばよい。また、矩形の輪郭を検出することにより行ってもよい。なお、後述するようにディスプレイ４を見る角度によっては、撮影画像Ｇ２に含まれるディスプレイ４の形状が歪む。このため、検出部２２は、４つの線分により囲まれる領域をディスプレイ４として検出するようにしてもよい。

付加情報決定部２３は、表示画像Ｇ１に関連する付加情報を決定する。本実施形態においては、検出部２２が検出したディスプレイ４に含まれる表示画像Ｇ１に基づいて、表示画像Ｇ１に含まれる情報とは異なる情報を付加情報に決定する。例えば、表示画像Ｇ１を解析して表示画像Ｇ１の種類を判定し、その判定結果から付加情報Ａ１を決定する。本実施形態においては、表示画像Ｇ１はアンギオ画像であり、血管が造影されている。付加情報決定部２３は、表示画像Ｇ１を解析することにより、表示画像Ｇ１がアンギオ画像であることを判定する。表示画像Ｇ１がアンギオ画像であることが判定されると、付加情報決定部２３は、心臓の血管の擬似２次元画像（レイサム画像）を付加情報Ａ１に決定する。付加情報決定部２３は、被写体５の３次元画像Ｖ０を画像サーバ８から取得し、３次元画像Ｖ０からレイサム画像を生成する。なお、付加情報Ａ１は、血管の部分のみ画素値を有し、他の領域は透明である矩形の画像である。

位置合わせ部２４は、撮影画像Ｇ２から検出したディスプレイ４と付加情報Ａ１との位置合わせを行う。本実施形態においては、レイサム画像である付加情報Ａ１が、ディスプレイ４に含まれる表示画像Ｇ１の対応する血管に重畳されるように位置合わせを行う。

なお、ＨＭＤ７においては、カメラ９の撮影方向とＨＭＤ７を装着した操作者の視線方向とがずれている。このため、付加情報Ａ１がＨＭＤ７に表示された際に、ＨＭＤ７を通じて見えるディスプレイ４と付加情報Ａ１とが適切に位置合わせされるように、本実施形態による診断支援システムを使用するに先立ち、カメラ９の撮影方向を操作者の視線方向と一致させるためのキャリブレーションが行われる。キャリブレーションは、以下のようにして行われる。まず、ＨＭＤ７を装着した状態において周知のチェッカーボードをカメラ９により撮影し、チェッカーボードの画像をＨＭＤ７に表示する。そして、操作者にチェッカーボードの格子点を指し示してもらい、指し示した位置と実際のチェッカーボードの格子点の位置とが一致するように、ＨＭＤ７に表示するチェッカーボードの画像を拡大縮小、平行移動および回転する。これにより、画像を拡大縮小、平行移動および回転させるための変換パラメータが取得される。位置合わせ部２４は、この変換パラメータを第１のパラメータとしてストレージ１３に保存する。このような第１のパラメータによりカメラ９が取得した画像を変換してＨＭＤ７に表示することにより、ＨＭＤ７を通じて見える物体と、ＨＭＤ７に表示されるその物体の画像の位置とを一致させることができる。

位置合わせ部２４は、撮影画像Ｇ２に含まれるディスプレイ４と付加情報Ａ１との位置合わせに際し、まず撮影画像Ｇ２に含まれるディスプレイ４の形状の歪みを補正する。操作者がディスプレイ４を見る角度によっては、図４に示すように、撮影画像Ｇ２に含まれるディスプレイ４の形状が歪んでいる。このため、位置合わせ部２４は、撮影画像Ｇ２に含まれるディスプレイ４の形状が矩形となるように撮影画像Ｇ２をアフィン変換等により変換して、変換された撮影画像Ｇ２１を取得する。なお、この際の変換パラメータは第２のパラメータとしてストレージ１３に保存される。

そして、位置合わせ部２４は、変換された撮影画像Ｇ２１に含まれるディスプレイ４と付加情報Ａ１とを位置合わせする。本実施形態においては、ディスプレイ４に含まれる表示画像Ｇ１と付加情報Ａ１との位置合わせを行う。具体的には、レイサム画像である付加情報Ａ１と変換された撮影画像Ｇ２１に含まれる表示画像Ｇ１とのマッチングを行い、図５に示すように、付加情報Ａ１に対応する撮影画像Ｇ２１上の血管の位置に付加情報Ａ１が重畳されるように、位置合わせを行う。位置合わせにより、変換された撮影画像Ｇ２１上における付加情報Ａ１を重畳する位置座標が決定される。なお、付加情報Ａ１の位置座標は、例えば、撮影画像Ｇ２１上における付加情報Ａ１の四隅の座標である。

表示制御部２５は、位置合わせされた付加情報Ａ１をＨＭＤ７に表示する。この際、ＨＭＤ７を装着している操作者がＨＭＤ７を通して見ているディスプレイ４に含まれる表示画像Ｇ１に付加情報Ａ１が位置合わせされるように、ＨＭＤ７における付加情報Ａ１を表示する位置を変換する。すなわち、表示制御部２５は、上述した第２のパラメータにより付加情報Ａ１を変換し、さらにキャリブレーション時に取得した第１のパラメータにより付加情報Ａ１を変換して、ＨＭＤ７に表示する。これにより、操作者がＨＭＤ７を通して見ているディスプレイ４の表示画像Ｇ１に、変換された付加情報Ａ１が重畳されて表示される。図６はＨＭＤを装着した操作者に見える画像を示す図である。図６に示すように、ＨＭＤ７を装着した操作者には、表示画像Ｇ１が表示されたディスプレイ４がＨＭＤ７を通じて見えるが、さらに表示画像Ｇ１に位置合わせされた付加情報Ａ１が見えることとなる。

次いで、本実施形態において行われる処理について説明する。図７は本実施形態において行われる処理を示すフローチャートである。なお、キャリブレーションは行われて、第１のパラメータがストレージ１３に保存されているものとする。ＨＭＤ７を装着した操作者が画像が表示されたディスプレイ４を見ることにより、カメラ９が操作者の視線方向の撮影を行い、画像取得部２１が撮影画像Ｇ２を取得する（ステップＳＴ１）。次いで、検出部２２が、撮影画像Ｇ２からディスプレイ４を検出し（ステップＳＴ２）、付加情報決定部２３が、検出されたディスプレイ４に含まれる表示画像Ｇ１に関連する付加情報Ａ１を決定する（ステップＳＴ３）。そして、位置合わせ部２４が、検出されたディスプレイ４と付加情報Ａ１とを位置合わせし（ステップＳＴ４）、表示制御部２５が、位置合わせされた付加情報Ａ１をＨＭＤ７に表示し（ステップＳＴ５）、ステップＳＴ１に戻る。なお、２回目以降の処理においては、付加情報決定部２３による付加情報Ａ１の決定の処理は省略される。

このように、本実施形態においては、ディスプレイ４を撮影することにより取得した撮影画像Ｇ２からディスプレイ４を検出し、検出されたディスプレイ４に含まれる表示画像Ｇ１に関連する付加情報Ａ１を決定し、検出されたディスプレイ４と付加情報Ａ１とを位置合わせし、位置合わせされた付加情報Ａ１をＨＭＤ７に表示するようにしたものである。このため、ディスプレイ４に対して何ら改良を加えなくても、ＨＭＤ７において、ディスプレイ４に表示された表示画像Ｇ１に付加情報Ａ１を併せて表示することができる。

ところで、ディスプレイ４の種類は、ディスプレイ４が接続されている装置の種類に応じて異なることが多い。例えば、上記実施形態ではアンギオ装置３にディスプレイ４が接続されているが、内視鏡装置では異なる種類のディスプレイが接続される。また、タブレット端末に画像を表示する場合もある。上記実施形態においては、付加情報決定部２３は、表示画像Ｇ１に基づいて付加情報Ａ１を決定しているが、ディスプレイ４の種類、例えばディスプレイ４のサイズおよび枠の形状を判定し、その判定結果からディスプレイ４にどのような画像が表示されているかを判定して、付加情報Ａ１を決定するようにしてもよい。

ここで、ディスプレイ４が内視鏡画像を表示する種類のものである場合、または表示画像Ｇ１が内視鏡画像である場合、付加情報決定部２３は、被写体５の３次元画像Ｖ０から生成した仮想内視鏡画像を付加情報Ａ１に決定することができる。図８は、内視鏡画像が表示されているディスプレイ４を見ている状態でＨＭＤ７に表示される付加情報を示す図である。図８においては、内視鏡画像である表示画像Ｇ１が表示されているディスプレイ４の外枠に沿うように、位置合わせされた仮想内視鏡画像である付加情報Ａ１が表示されている。

一方、ディスプレイ４に表示される画像が、例えば肝臓の手術中の画像である場合、被写体の３次元画像から生成した肝臓のモデル画像を付加情報Ａ１として用いることができる。図９は肝臓の手術中の画像が表示されたディスプレイ４を見ている状態でＨＭＤ７に表示される付加情報Ａ１を示す図である。図９においては、ディスプレイ４に表示されている表示画像Ｇ１に含まれる肝臓に、肝臓の血管および腫瘍を含む肝臓のモデル画像である付加情報Ａ１が重畳されて表示されている。

また、上記実施形態においては、位置合わせ部２４が、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換している。しかしながら、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるように変換してもよい。この場合、位置合わせ部２４は、撮影画像Ｇ２から検出したディスプレイ４に、変換された付加情報Ａ１を位置合わせする。すなわち、変換された付加情報Ａ１と検出したディスプレイ４に含まれる表示画像Ｇ１とのマッチングを行い、図１０に示すように、撮影画像Ｇ２上の血管の位置に変換された付加情報Ａ１が重畳されるように、撮影画像Ｇ２に変換された付加情報Ａ１を位置合わせする。位置合わせにより、撮影画像Ｇ２上における変換された付加情報Ａ１を重畳する位置が決定される。また、この場合、表示制御部２５は、位置合わせされた付加情報Ａ１をキャリブレーション時に取得した第１のパラメータにより変換してＨＭＤ７に表示する。これにより、操作者がＨＭＤ７を通じて見ているディスプレイ４の表示画像Ｇ１に、付加情報Ａ１が重畳して表示される。

また、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換するか、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるようにするかを選択可能なものとしてもよい。この場合、入力部１４からの入力により位置合わせ部２４が指示を受け付けて、ディスプレイ４の形状が矩形となるように撮影画像Ｇ２を変換するか、付加情報Ａ１の形状を撮影画像Ｇ２に合わせるようにするかを選択するようにすればよい。

また、上記実施形態においては、付加情報Ａ１としてレイサム画像等を用いているが、付加情報Ａ１は画像に限定されるものではない。例えば、被写体である患者の血圧等のバイタル情報を付加情報Ａ１として用いることもできる。この場合、付加情報Ａ１は、撮影画像Ｇ２におけるディスプレイ４の枠を基準として位置合わせがなされる。例えば、図１１に示すように、ディスプレイ４の外枠に沿うように付加情報Ａ１を位置合わせすればよい。また、図１２に示すように、ディスプレイ４の１つの頂点と付加情報Ａ１の表示領域の重心とが一致するように、付加情報Ａ１を位置合わせしてもよい。また、バイタル情報に代えて、診断結果等のテキスト情報、バイタル情報の変化を示すグラフ等を付加情報Ａ１として用いることも可能である。

また、上記実施形態においては、ＨＭＤ７をシースルー型のＨＭＤとしているが、没入型のＨＭＤを用いてもよい。この場合、カメラ９により撮影された画像がＨＭＤに表示されることとなる。このため、撮影画像Ｇ２と付加情報Ａ１とのキャリブレーションが不要となるため、より高速に付加情報Ａ１を表示することができる。

また、ＨＭＤに代えて、タブレット端末を用いてもよい。この場合、タブレット端末が本実施形態による付加情報表示装置となる。そして、タブレット端末のカメラにより撮影した画像がタブレット端末のディスプレイに表示され、さらに付加情報Ａ１が決定されて、ディスプレイに表示された画像に位置合わせされて、付加情報Ａ１が表示されることとなる。

以下、本発明の実施形態の効果について説明する。

検出した第１の表示手段の種類に基づいて付加情報を決定することにより、第１の表示手段に表示された画像に適した付加情報を第２の表示手段に表示することができる。

検出した第１の表示手段に表示された表示画像に基づいて付加情報を決定することにより、表示画像に適した付加情報を第２の表示手段に表示することができる。

検出した第１の表示手段の形状の歪みに基づいて表示画像を補正し、補正された表示画像と付加情報とを位置合わせすることにより、撮影画像において第１の表示手段が傾いている等して歪んでいる場合であっても、表示画像と付加情報とを精度よく位置合わせして、付加情報を表示することができる。

検出した第１の表示手段の形状の歪みに基づいて付加情報を補正し、表示画像と補正された付加情報とを位置合わせすることにより、撮影画像において第１の表示手段が傾いている等して歪んでいる場合であっても、表示画像に併せて歪んだ状態の付加情報を表示することができる。

１画像表示システム
２付加情報表示装置
３アンギオ装置
４ディスプレイ
５被写体
６コンピュータ
７ヘッドマウントディスプレイ（ＨＭＤ）
８画像サーバ
９カメラ
１１ＣＰＵ
１２メモリ
１３ストレージ
２１画像取得部
２２検出部
２３付加情報決定部
２４位置合わせ部
２５表示制御部
Ｇ１表示画像
Ｇ２撮影画像
Ａ１付加情報

Claims

画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
前記撮影画像から前記第１の表示手段を検出する検出手段と、
前記検出した前記第１の表示手段の種類に基づいて、前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
前記検出した第１の表示手段と前記付加情報とを位置合わせする位置合わせ手段と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する表示制御手段とを備えた付加情報表示装置。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
前記撮影画像から前記第１の表示手段を検出する検出手段と、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせすることにより、前記検出した第１の表示手段と前記付加情報とを位置合わせする位置合わせ手段と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する表示制御手段とを備えた付加情報表示装置。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する画像取得手段と、
前記撮影画像から前記第１の表示手段を検出する検出手段と、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する付加情報決定手段と、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせするか、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせするかを選択可能であり、選択された位置合わせの手法により、前記検出した第１の表示手段と前記付加情報とを位置合わせする位置合わせ手段と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する表示制御手段とを備えた付加情報表示装置。
前記付加情報決定手段は、前記検出した前記第１の表示手段に表示された表示画像に基づいて、前記付加情報を決定する請求項２または３記載の付加情報表示装置。
前記位置合わせ手段は、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせする請求項１記載の付加情報表示装置。
前記検出手段は、前記第１の表示手段の形状を用いて前記撮影画像から前記第１の表示手段を検出する請求項１から５のいずれか１項記載の付加情報表示装置。
前記付加情報決定手段は、前記表示画像に含まれる情報以外の情報を前記付加情報に決定する請求項１から６のいずれか１項記載の付加情報表示装置。
前記第２の表示手段は、シースルー型のヘッドマウントディスプレイであり、前記撮影画像を取得するための撮影手段が、該ヘッドマウントディスプレイに取り付けられてなる請求項１から７のいずれか１項記載の付加情報表示装置。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
前記撮影画像から前記第１の表示手段を検出し、
前記検出した前記第１の表示手段の種類に基づいて、前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
前記検出した第１の表示手段と前記付加情報とを位置合わせし、
前記位置合わせされた前記付加情報を第２の表示手段に表示する付加情報表示方法。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
前記撮影画像から前記第１の表示手段を検出し、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせすることにより、前記検出した第１の表示手段と前記付加情報とを位置合わせし、
前記位置合わせされた前記付加情報を第２の表示手段に表示する付加情報表示方法。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得し、
前記撮影画像から前記第１の表示手段を検出し、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定し、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせするか、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせするかを選択可能であり、選択された位置合わせの手法により、前記検出した第１の表示手段と前記付加情報とを位置合わせし、
前記位置合わせされた前記付加情報を第２の表示手段に表示する付加情報表示方法。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する手順と、
前記撮影画像から前記第１の表示手段を検出する手順と、
前記検出した前記第１の表示手段の種類に基づいて、前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する手順と、
前記検出した第１の表示手段と前記付加情報とを位置合わせする手順と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する手順とをコンピュータに実行させる付加情報表示プログラム。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する手順と、
前記撮影画像から前記第１の表示手段を検出する手順と、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する手順と、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせすることにより、前記検出した第１の表示手段と前記付加情報とを位置合わせする手順と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する手順とをコンピュータに実行させる付加情報表示プログラム。
画像が表示された第１の表示手段を撮影することにより取得された撮影画像を取得する手順と、
前記撮影画像から前記第１の表示手段を検出する手順と、
前記検出した第１の表示手段に含まれる表示画像に関連する付加情報を決定する手順と、
前記検出した第１の表示手段の形状の歪みに基づいて前記表示画像を補正し、該補正された表示画像と前記付加情報とを位置合わせするか、前記検出した第１の表示手段の形状の歪みに基づいて前記付加情報を補正し、前記表示画像と前記補正された付加情報とを位置合わせするかを選択可能であり、選択された位置合わせの手法により、前記検出した第１の表示手段と前記付加情報とを位置合わせする手順と、
前記位置合わせされた前記付加情報を第２の表示手段に表示する手順とをコンピュータに実行させる付加情報表示プログラム。