WO2011070845A1

WO2011070845A1 - 頭部装着型表示装置および頭部装着型表示システム

Info

Publication number: WO2011070845A1
Application number: PCT/JP2010/067461
Authority: WO
Inventors: 悟菊池; 裕昌小林; 浩池田
Original assignee: オリンパス株式会社
Priority date: 2009-12-11
Filing date: 2010-10-05
Publication date: 2011-06-16
Also published as: JP2011120790A

Abstract

　装着者にとって不要な映像を切り替える。映像が入力される映像入力部（４）と、装着者の頭部に装着され、該装着者の眼前に配置されるように支持されて、映像入力部（４）に入力された入力映像を表示する映像表示部（３）と、入力映像が、被験体の観察部位の映像であるか否かを判定する映像判定部（９）と、該映像判定部（９）により、入力映像が体内の観察部位の映像であると判定されたときに、入力映像を映像表示部（３）に表示させる制御部（１０）とを備える頭部装着型表示装置を提供する。

Description

頭部装着型表示装置および頭部装着型表示システム

　本発明は、頭部装着型表示装置および頭部装着型表示システムに関するものである。

　従来、内視鏡外科手術において、眼鏡型またはゴーグル型の頭部装着型表示装置（ｈｅａｄ　ｍｏｕｎｔｅｄ　ｄｉｓｐａｌｙ：ＨＭＤ）が使用される場合がある（例えば、特許文献１参照。）。ＨＭＤは、頭部に装着されるフレームと、内視鏡から映像が送られてくる表示素子とを備えている。ＨＭＤを装着している装着者は、眼前に配置された表示素子に視線を移すことにより、術部で器具等を操作しながら体勢を変えることなく体内の内視鏡映像も観察することができる。

特開平９－９８９８５号公報

　しかしながら、内視鏡に血液等が付着して画面が汚れるため、手術中に度々内視鏡を抜き出して洗浄する必要がある。また、画角など仕様の異なる内視鏡が必要になったときも、内視鏡を一旦抜き去って再び挿入する必要がある。このときに、装着者の眼前に配置された表示素子には、内視鏡を体の内外で抜き差ししたり洗浄したりしている最中の内視鏡により観察される映像も表示される。このように、手術中に、装着者にとって不要な映像が表示されるという問題がある。

　本発明は、上述した事情に鑑みてなされたものであって、装着者にとって不要な映像を切り替えることができる頭部装着型表示装置および頭部装着型表示システムを提供することを目的としている。

　上記目的を達成するために、本発明は以下の手段を提供する。
　本発明の第１の態様は、映像が入力される映像入力部と、装着者の頭部に装着され、該装着者の眼前に配置されるように支持されて、前記映像入力部に入力された入力映像を表示する映像表示部と、前記入力映像が、被験体の観察部位の映像であるか否かを判定する映像判定部と、該映像判定部により、前記入力映像が体内の観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に表示させる制御部とを備える頭部装着型表示装置である。

　本発明の第１の態様によれば、装着者が装着フレームを装着した状態で、撮像装置などにより撮像した映像を映像入力部に入力することにより、装着者は体勢を変えることなく撮像装置で撮影された映像を眼前に見ることができる。
　この場合に、制御部は、撮像装置などから入力された入力画像が映像判定部により被験体の観察部位の映像であると判定された場合に、入力画像を映像表示部に表示させる。すなわち、装着者にとって必要な入力映像は表示しつつ、不要な入力映像を切り替えることができる。

　上記第１の態様においては、前記入力映像を記憶する第１の映像記憶部と、所定の基準映像を記憶する第２の映像記憶部と、前記第１の映像記憶部に記憶された入力映像が前記第２の映像記憶部に記憶された基準映像と類似しているか否かを判定する類似判定部とを備え、前記映像判定部は、前記類似判定部により前記入力映像が前記基準映像と類似していると判定されたときに、前記入力映像が、前記観察部位以外の非観察部位の映像であるか、または、前記観察部位の映像であるかを判定し、前記制御部は、前記映像判定部により前記入力映像が前記非観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に非表示し、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記入力映像を映像表示部に表示する構成であってもよい。

　このように構成することで、撮像装置の視野を観察部位から非観察部位に移動する過程で撮影される映像を基準映像とすることにより、入力映像が観察部位と非観察部位との間で移動したことを簡便に判定することができる。

　上記構成においては、前記基準映像は、内視鏡が挿脱可能な筒状のトロカールの開口をその内部から撮影した映像であることとしてもよい。
　このようにすることで、予め体内に挿入されたトロカールを介して内視鏡を体の内外で抜き差しする場合に、内視鏡を体内に挿入したときに、内視鏡の先端がトロカールの開口から出る前に入力映像が観察部位になったと判定され、一方内視鏡を体内から抜き去ったときに、内視鏡の先端がトロカール内に収納された後に非観察部位になったと判定される。これにより、入力映像の観察部位と非観察部位との移動を迅速にかつ確実に判定することができる。

　上記第１の態様においては、前記入力映像を記憶する映像記憶部と、該映像記憶部に記憶された入力映像から所定の特徴部分を抽出する特徴部抽出部と、該特徴部抽出部により抽出された特徴部分の動きを検出する動き検出部とを備え、前記映像判定部は、前記動き検出部により検出された前記特徴部分の動きが、略同一の方向に所定の時間にわたって続いたときに、前記入力映像が前記観察部位以外の非観察部位の映像であるか、または、前記観察部位の映像であるかを判定し、前記制御部は、前記映像判定部により前記入力映像が前記非観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に非表示し、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記入力映像を映像表示部に表示する構成であってもよい。

　このように構成することで、撮像装置を一方向に操作して観察部位に接近および離間させる場合に、そのときの撮像装置などの動きを入力映像内の特徴部分の動きから検出することにより、入力映像が観察部位の映像であるか非観察部位の映像であるかを判定することができる。

　上記構成においては、前記特徴部分は、内視鏡が挿脱可能な筒状のトロカールの開口をその内部から撮影したときの輪郭であることとしてもよい。
　このようにすることで、予め体内に挿入されたトロカールを介して内視鏡を体の内外で抜き差ししたときに、その過程で入力映像にトロカールの開口が映される。したがって、該開口の輪郭の移動から、内視鏡が体の内外で抜き差しされた操作を検出することができる。

　上記第１の態様においては、前記入力映像を記憶する映像記憶部と、該映像記憶部に記憶された入力映像の所定のラインの輝度分布を検出する輝度分布検出部と、該輝度分布検出部により検出された輝度分布が、所定の閾値より低い輝度値の低輝度領域と所定の閾値より高い輝度値の高輝度領域とに２極化しているか否かを判定し、前記輝度分布が２極化している場合に、前記低輝度領域のライン幅を検出する映像処理部とを備え、前記映像判定部は、前記映像処理部により検出された前記低輝度領域のライン幅が経時的に増加したときに、前記入力映像が前記観察部位以外の非観察部位の映像であると判定し、前記映像処理部により検出された前記低輝度領域のライン幅が経時的に減少したときに、前記入力映像が前記観察部位の映像であると判定することとしてもよい。

　このようにすることで、体内に挿入されたトロカールを介して内視鏡を抜き差しする場合に、トロカールの内部からその開口が映されたときに、比較的輝度の高いトロカールの内面と、トロカールの開口から覗く比較的輝度の低い体内との輝度の差により２極化された輝度分布が検出される。そして、内視鏡を挿入するときは、低輝度領域のライン幅が拡大し、内視鏡を抜き去るときは低輝度領域のライン幅が縮小する。これにより、内視鏡を体内に抜き差しする操作を検出することができる。

　上記第１の態様においては、前記映像表示部に入力する映像を、前記入力映像と他の任意映像とで切り替える映像切替部を備え、前記制御部は、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記映像切替部により前記入力映像に切り替えさせ、前記映像判定部により前記入力映像が前記観察部位以外の非観察部位であると判定されたときに、前記映像切替部により前記任意映像に切り替えさせることとしてもよい。
　このようにすることで、入力映像が非観察部位のときには、任意映像を映像表示部に表示させることができる。

　上記第１の態様においては、前記制御部は、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記映像表示部の表示をオンにし、前記映像判定部により前記入力映像が前記観察部位以外の非観察部位であると判定されたときに、前記映像表示部の表示をオフにすることとしてもよい。
　このようにすることで、入力映像が非観察部位のときには、映像表示部の表示を切ることができる。
　上記第１の態様においては、前記被験体の映像を取得し、取得した映像を前記映像入力部に入力する映像取得部を備えることとしてもよい。

　本発明の第２の態様は、先端部に、その挿入方向の動きを検出する動き検出部が設けられた内視鏡と、該内視鏡により撮影された内視鏡映像が前記映像入力部に入力される上記いずれかに記載の頭部装着型表示装置とを備える頭部装着型表示システムである。
　本発明の第２の態様によれば、内視鏡を体の内外で抜き差ししたときに、その動きが動き検出部により検出されることにより、内視鏡映像が観察部位の映像であるか非観察部位の映像であるかが判定される。そして、観察部位の映像であると判定された場合には映像表示部に内視鏡映像が表示される。すなわち、装着者にとって不要な内視鏡映像を見ずに済むように映像が切り替えることができる。

　本発明によれば、装着者にとって不要な映像を切り替えることができるという効果を奏する。

本発明の一実施形態に係る頭部装着型表示装置の全体構成図である。図１の頭部装着型表示装置の機能ブロック図である。映像表示部の構成を示す図である。基準映像の一例を示す図である。図１の頭部装着型表示装置の変形例を示す機能ブロック図である。図１の頭部装着型表示装置のもう１つの変形例を示す機能ブロック図である。図１の頭部装着型表示装置のもう１つの変形例を示す機能ブロック図である。内視鏡の輝度分布に基づいた内視鏡映像の判定方法を説明する図であり、トロカールの開口が映った内視鏡映像である。内視鏡の輝度分布に基づいた内視鏡映像の判定方法を説明する図であり、図８Ａの走査ラインＡにおける輝度グラフである。内視鏡の輝度分布に基づいた内視鏡映像の判定方法を説明する図であり、図８Ａから移動した内視鏡映像である。内視鏡の輝度分布に基づいた内視鏡映像の判定方法を説明する図であり、図９Ａの走査ラインＡにおける輝度グラフである。図１の頭部装着型表示装置の変形例であり、撮像装置を備えた構成図を示している。図１０の頭部装着型表示装置の機能ブロック図である。本発明の一実施形態に係る頭部装着型表示システムの全体構成図である。図１２の頭部装着型表示システムで使用される内視鏡の構成を示す図である。図１２の頭部装着型表示システムの機能ブロック図である。

　本発明の一実施形態に係る頭部装着型表示装置（ＨＭＤ）１について、図面を参照して以下に説明する。
　本実施形態に係るＨＭＤ１は、図１に示されるように、頭部に装着フレーム２を装着して眼前に配置された映像表示部３の映像を観察するものである。ＨＭＤ１は、図２に示されるように、内視鏡を用いて観察される映像（内視鏡映像）が入力される映像入力部４と、映像入力部４に入力された内視鏡映像（入力映像）のフォーマットを変換する信号処理部５と、内視鏡映像を記憶するフレームメモリ（第１の記憶部）６と、予め選択された基準映像が記憶されるリファレンスメモリ（第２の記憶部）７と、内視鏡映像が基準映像に類似しているか否かを判定する類似判定部８と、内視鏡映像が体内の観察部位の映像であるか否かを判定する映像判定部９と、映像表示部３の表示を制御する制御部１０とを備えている。なお、本実施形態において、「体内」とは、体の内部を意味し、体壁や内臓のみならず、体腔や口腔等も含む概念である。

　装着フレーム２は、ＨＭＤ１を装着する装着者の頭部を取り囲むように環状に形成されている。装着フレーム２は、装着者の頭部の大きさに合わせて長さを調節できるように、図示しないベルトなどを備えていてもよい。装着フレーム２は、装着者の頭部の形状にぴったりと合うように、前頭部側に配置される位置に弾性材料からなる頭接部２ａが設けられている。

　映像表示部３は、装着者が装着フレーム２を装着したときに、装着者の視界の一部を遮る位置に配置されるように、装着フレーム２に支持されている。これにより、装着者は、映像表示部３の周辺部を直視で見つつ、視線を移動させることにより映像表示部３の映像を見ることができる。ここで、「直視で見る」とは、装着者が、映像表示部３を介さずに、対象を直接に見ることをいう。映像表示部３は、図３に示されるように、映像入力部４に入力された映像を表示する表示素子３ａと、表示素子３ａに表示された映像を装着者の眼に導くプリズム３ｂとを備えている。表示素子３ａには、ＬＣＤ（液晶）、ＯＬＥＤ（有機ＥＬ）またはＬＣＯＳ（反射型液晶）などを使用したディスプレイが用いられる。映像表示部３は、図示しないスイッチにより、表示素子３ａを点灯して映像の表示をオンにした状態と、表示素子３ａを消灯して映像の表示をオフにした状態とに切り替え可能になっている。

　映像入力部４は、内視鏡により撮影された内視鏡映像が入力される。なお、内視鏡映像は、図示しないモニタにも入力され、ＨＭＤ１の装着者以外の人も内視鏡映像をモニタで観察できるようになっている。映像入力部４は、内視鏡映像を、信号処理部５が処理できる信号に変換する。

　信号処理部５は、映像入力部４に入力された内視鏡映像のフォーマットを適宜変更する。例えば、インターレース映像信号からプログレッシブ映像信号への変更等を行う。
　フレームメモリ６は、信号処理部５によりフォーマットが変換された内視鏡映像をフレーム単位で時系列に記憶する。

　リファレンスメモリ７は、基準映像Ａを記録している。ここで、基準映像Ａとは、図４に示されるように、過去の内視鏡手術において、患者の体内に挿入されたトロカール１１の内部からトロカール１１の開口１１ａを撮影した映像のことである。すなわち、基準映像Ａは、内視鏡がトロカール１１内を通過している最中において、内視鏡の先端が開口１１ａ近傍に配置されているときの映像である。基準映像Ａと内視鏡映像とにおいて、トロカール１１の内面とその開口１１ａから覗く暗い体内とのコントラストが鮮明になることが好ましい。従って、トロカール１１は、内面が、明度の高い色のもの、または、内視鏡の照明光を反射する金属などの材料で覆われたものが用いられる。

　類似判定部８は、フレームメモリ６に記憶された内視鏡映像のフレーム映像について逐次、基準映像Ａと類似しているか否かを判定する。類似判定部８は、フレーム映像が基準映像Ａと類似していると判定した場合には、その旨の信号を映像判定部９に出力する。これにより、内視鏡がトロカール１１内に挿入されてトロカール１１の開口近傍まで前進したとき、または、内視鏡がトロカール１１内から引き抜かれてトロカール１１内に収納されたときに、基準映像Ａと類似した内視鏡映像が撮影され、内視鏡の挿脱の操作が迅速に検出されるようになっている。

　フレーム映像と基準映像Ａとの類似の可否を判定する方法は、本実施形態において特に限定されない。例えば、これらの映像の類似の可否の判定には、これら２つの映像の相関を利用した方法や、各画素の差分を利用した方法など、周知の方法が用いられる。

　映像判定部９は、内視鏡映像が患者（被験体）の体内の観察部位の映像であるかそれ以外の非観察部位の映像であるかを判定する。すなわち、映像判定部９は、類似判定部８からフレーム映像が基準映像Ａと類似している旨の信号を受け取ったときに、判定を他方に切り替える。より具体的には、映像判定部９は、類似判定部８からの信号を受け取るまで、内視鏡映像が「観察部位の映像である」と判定していた場合には、類似判定部８からの信号を受け取たっときに「非観察部位の映像である」という判定に切り替える。逆に、映像判定部９は、類似判定部８からの信号を受け取るまで、内視鏡映像が「非観察部位の映像である」と判定していた場合には、類似判定部８からの信号を受け取ったときに「観察部位の映像である」という判定に切り替える。ここで、映像判定部９は、ＨＭＤ１に電源が投入されたときの初期状態では、内視鏡映像が、非観察部位の映像であると設定されている。

　これにより、映像判定部９は、最初に類似判定部８から信号を受け取ったときには、初期状態として、内視鏡映像が非観察部位の映像であると設定されているため、内視鏡映像が、観察部位の映像に変化したと判断して判定を切り替える。また、映像判定部９は、次に類似判定部８から信号を受け取ったときには、内視鏡映像が観察部位の映像であるとの判定から非観察部位の映像であるとの判定に切り替える。以下、映像判定部９は、類似判定部８から信号を受け取る度に、内視鏡映像が観察部位の映像であるという判定と、非観察部位の映像であるとの判定とに交互に切り替える。

　制御部１０は、映像判定部９により内視鏡映像が観察部位の映像であると判定されているときは、スイッチにより映像表示部３の内視鏡映像の表示をオンにする。また、制御部１０は、映像判定部９により内視鏡映像が非観察部位の映像であると判定されているときは、スイッチにより映像表示部３の内視鏡映像の表示をオフにするようになっている。

　このように構成されたＨＭＤ１の作用について以下に説明する。
　術者（装着者）は、本実施形態に係るＨＭＤ１を頭部に装着して、患者を直視で見ながら手術を開始する。手術には、術者の他に、内視鏡を操作して体内の術部を撮影するスコピストが立ち会う。術者が患者の体内にトロカール１１を挿入し、内視鏡の電源を投入すると、モニタに体外の内視鏡映像が表示される。このときには映像表示部３は映像が消えたままである。

　そして、スコピストがモニタを観察しながらトロカール１１内に内視鏡を挿入していくと、内視鏡がトロカール１１からトロカール１１外に出る直前に、内視鏡映像が映像表示部３に表示される。術者は、適宜視線をずらして映像表示部３の内視鏡映像を参照しつつ、手元を直視で見ながら器具等を操作して手術を行う。手術中に内視鏡を洗浄や交換するためにスコピストがトロカール１１内から内視鏡を抜き去ると、内視鏡がトロカール１１内に収納された直後に術者の眼前から内視鏡映像が消える。その後、映像表示部３の映像は、スコピストが再び内視鏡をトロカール１１内に挿入するまで消えた状態となる。

　このように、本実施形態によれば、内視鏡をトロカール１１内に挿入またはトロカール１１内から抜き去るタイミングで映像表示部３の表示が点灯または消灯される。これにより、内視鏡がトロカール１１内を通過している最中や内視鏡が洗浄されている最中などの不要な内視鏡映像を術者が眼前で見ずに済む。また、このような不要な内視鏡映像は、術者によっては不快な映像となり、術者の集中力を妨げたり術者に不要なストレスを与える場合がある。本実施形態によれば、このような術者へのストレス等を防ぐことができるという利点がある。また、映像表示部３の表示が適切なタイミングで切り替えられるので、術者による映像表示部３の操作や表示を切り替えるタイミングの指示などが不要であり、術者に負担をかけずに済むという利点がある。

　上記実施形態においては、内視鏡映像が非観察部位の映像になったときに映像表示部３の表示をオフにすることとしたが、これに代えて、映像表示部３に他の映像を表示させてもよい。この場合、ＨＭＤ１は、例えば、図５に示されるように、サブメモリまたはもう１つの映像入力部１２と、映像表示部３に入力する映像を切り替える映像切替部１３とを備える。映像入力部１２に入力された内視鏡映像のフォーマットを変更する必要があれば、映像入力部１２と映像切替部１３との間に、図示しない信号処理部を設けてもよい。

　サブメモリ１２を備える場合には、青一色のブルーバック映像や術者の好みに応じた映像など、術者に不快感を与えない映像をサブメモリ１２に予め記憶しておく。もう１つの映像入力部１２を備える場合には、患者のバイタルや心電図などの外部装置映像をもう１つの映像入力部１２に入力する。制御部１０は、映像判定部９により内視鏡映像が非観察部位の映像であると判定されている間、映像表示部３への入力を映像入力部４からサブメモリまたはもう１つの映像入力部１２に切り替えるように映像切替部１３を制御する。映像表示部３は、映像切替部１３の切替動作に応じて、内視鏡映像または内視鏡映像以外の任意映像を表示する。このようにしても、内視鏡映像が術者にとって不要なときには表示されなく（非表示に）なり、術者のストレスを軽減することができる。

　上記実施形態においては、内視鏡映像が観察部位の映像であるか、または、非観察部位の映像であるかを、内視鏡映像と基準映像Ａとの類似の可否に基づいて判定することとしたが、これに代えて、内視鏡映像の動きに基づいて判定することとしてもよい。この場合、ＨＭＤ１は、図６に示されるように、内視鏡映像から特徴部分を抽出する特徴部分抽出部１４と、特徴部分の動きを検出する動き検出部１５とを備える。

　特徴部分抽出部１４は、フレームメモリ（映像記憶部）６に記憶されたフレーム映像から、トロカール１１の開口の輪郭を特徴部分として抽出する。特徴部分を抽出する方法は特に制限はない。例えば、トロカール１１の明るい内面とその開口から覗く暗い体内との輝度の差を利用し、各位置の輝度を空間微分することにより、トロカール１１の開口の輪郭を抽出することができる。
　または、上記実施形態と同様にリファレンスメモリを備え、該リファレンスメモリにトロカール１１の開口部分の映像をテンプレート映像として記憶しておく。そして、特徴部分抽出部１４は、フレーム映像内からテンプレート映像と類似した領域を検索することにより、トロカール１１の輪郭を抽出してもよい。

　動き検出部１５は、連続したフレーム映像について、各フレーム映像における特徴部分抽出部１４により抽出された特徴部分の位置の変化から、特徴部分の動きベクトルを検出する。映像判定部９は、動き検出部１５により検出された動きベクトルの向きが所定の時間にわたって略同一であった場合に、内視鏡映像が非観察部位の映像であるとの判定と観察部位の映像であるとの判定とを交互に切り替える。このようにしても、術者にとって必要な内視鏡映像と不要な内視鏡映像とを判定しながら映像表示部３の表示を適宜切り替えて、術者のストレスを軽減することができる。

　上記実施形態においては、内視鏡映像が観察部位の映像であるか、または、非観察部位の映像であるかの判定を、内視鏡映像の輝度の分布に基づいて判定することとしてもよい。この場合、図７に示されるように、内視鏡映像の所定の走査ラインの輝度分布を検出する輝度分布検出部１６と、輝度分布の形状を判定して処理する映像処理部１７とを備える。

　輝度分布検出部１６は、フレームメモリ６に記憶されていく各フレーム映像について逐次所定の位置の走査ラインの輝度グラフ（輝度分布）を作成する。このとき、図８Ａに示されるように、フレーム映像Ｃにトロカール１１の開口１１ａが映っている場合、走査ラインａにおける輝度グラフは、図８Ｂに示されように、途中位置を境にして輝度値の高い高輝度領域と輝度値の低い低輝度領域とに２極化する。そして、内視鏡がトロカール１１内で移動すると、図９Ａに示されるように、フレーム映像内の開口１１ａの寸法は変化し、図９Ｂに示されるように、低輝度領域が占める走査ラインａ上のライン幅Ｗ１，Ｗ２が変化する。

　なお、輝度分布検出部１６は、輝度グラフを作成する前の各フレーム映像について、所定の閾値以上の輝度を有する画素を白とし、所定の閾値より小さい輝度を有する画素を黒とすることにより２値化してもよい。

　映像処理部１７は、輝度分布検出部１６によって検出された輝度値が所定の閾値より高い領域と所定の閾値より低い領域とに、輝度グラフが２極化しているか否かを判定する。そして、映像処理部１７は、輝度グラフが２極化していると判定した場合、低輝度領域のライン幅Ｗ１を算出し、次のフレーム映像においても同様にしてライン幅Ｗ２を算出し、ライン幅Ｗ１とライン幅Ｗ２を比較する。

　そして、映像判定部９は、低輝度領域のライン幅Ｗ１，Ｗ２が経時的に増加していれば、内視鏡が開口１１ａに近づいて体内に挿入されたと判断し、判定を観察部位の映像に切り替える。一方、映像判定部９は、低輝度領域のライン幅Ｗ１，Ｗ２が経時的に減少していれば、内視鏡が開口から遠のいて体内から抜き出されたと判断し、判定を非観察部位の映像に切り替える。このようにしても、内視鏡をトロカール１１内に抜き差しする操作に基づいて、内視鏡映像を判定することができる。

　上記実施形態においては、映像表示部３に内視鏡映像を表示することとしたが、これに代えて、図１０に示されるように、カメラ１８などの映像取得部を備え、該映像取得部により取得された映像を映像表示部３に表示することとしてもよい。例えば、図１０に示されるように、術者の前頭部側に左右対称に配置されるように、２つのカメラ１８が装着フレーム２に支持されていてもよい。カメラ１８は、術者の前方の視野を拡大して撮影することができるため、術者が楽な姿勢で手元の拡大された映像を映像表示部３で観察できる。カメラ１８の視野を照明する照明部１９を備えていてもよい。

　この場合、ＨＭＤ１は、例えば、図１１に示されるように、色相検出部２０と映像処理部２１とを備える。色相検出部２０は、フレーム映像の各画素の色を赤、緑および青の色成分に分解することにより、赤の色成分が占める度合いを検出する。映像処理部２１は、色相検出部２０により検出された赤の色成分の度合いについて、フレーム映像の全画素の平均値を算出する。映像判定部９は、映像処理部２１により算出された赤の色成分の平均値が、所定の閾値以上であれば、カメラ映像が観察部位の映像であると判定し、所定の閾値より小さければ、カメラ映像が非観察部位の映像であると判定する。このように、カメラ映像が術部の映像である場合は、映像の色が肌色や赤色に偏り、カメラ映像が術部以外の映像である場合は、術部の場合と色の偏りが異なることを利用し、映像の赤色の色相の差から観察部位であるか否かを判定する。このような場合でも、拡大観察が不要なカメラ映像は、映像表示部３に表示されないため、術者のストレスを軽減することができる。

　上記実施形態においては、ＨＭＤ１単体の構成としたが、これに代えて、図１２に示されるように、ＨＭＤ１と内視鏡２２とを備えた頭部装着型表示システム１００を構成していてもよい。符号２３は内視鏡映像を処理する処理装置を、符号２４は内視鏡映像を表示するモニタを示している。内視鏡映像は、処理装置２３を介して映像入力部４に入力される。

　この場合、内視鏡２２は、図１３に示されるように、その挿脱の操作を検出する動き検出部、例えば、内視鏡２２の先端部の前後方向の加速度を検出する加速度センサ２５を備えていてもよい。加速度センサと２５しては、例えば、ＭＥＭＳ加速度センサを用いることができるが、これに限定されない。符号２６はレンズやカバーガラスなどの光学部材、符号２７はＣＣＤカメラなどの撮像装置、符号２８は発光ダイオードなどの照明装置、符号２９は集積回路などが設けられた基板を示している。

　加速度センサ２５により検出された加速度の情報は、図示しない配線を介してＨＭＤ１に送信され、図１４に示されるように、動き検出部１５にその加速度の情報が入力される。この場合、動き検出部１５は、入力された加速度から、内視鏡２２の先端部の動きベクトルを検出する。映像判定部９は、動き検出部１５により検出された動きベクトルの大きさおよび方向に基づいて、内視鏡映像が観察部位の映像であるか非観察部位の映像であるかを判定する。このようにしても、内視鏡２２の挿脱の操作を加速度に基づいて検出することにより、内視鏡映像が体内の観察部位であるか否かを判定し、該判定に基づいて不要な内視鏡映像を映像表示部３に表示させない（非表示にする）ことにより、術者のストレスを軽減することができる。

　１　頭部装着型表示装置（ＨＭＤ）
　２　装着フレーム
　２ａ　頭接部
　３　映像表示部
　３ａ　表示素子
　３ｂ　プリズム
　４　映像入力部
　５　信号処理部
　６　フレームメモリ（第１の映像記憶部、映像記憶部）
　７　リファレンスメモリ（第２の映像記憶部）
　８　類似判定部
　９　映像判定部
　１０　制御部
　１１　トロカール
　１１ａ　開口
　１２　サブメモリまたは映像入力部
　１３　映像切替部
　１４　特徴部分抽出部
　１５　動き検出部
　１６　輝度分布検出部
　１７　映像処理部
　１８　カメラ（映像取得部）
　１９　照明部
　２０　色相検出部
　２１　映像処理部
　２２　内視鏡
　２３　処理装置
　２４　モニタ
　２５　加速度センサ（動き検出部）
　２６　光学部材
　２７　撮像装置
　２８　照明装置
　２９　基板
　１００　頭部装着型表示システム
　Ａ　基準映像
　Ｂ　体内
　Ｃ　フレーム映像
　ａ　走査ライン

Claims

　映像が入力される映像入力部と、
　装着者の頭部に装着され、該装着者の眼前に配置されるように支持されて、前記映像入力部に入力された入力映像を表示する映像表示部と、
　前記入力映像が、被験体の観察部位の映像であるか否かを判定する映像判定部と、
　該映像判定部により、前記入力映像が体内の観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に表示させる制御部とを備える頭部装着型表示装置。
　前記入力映像を記憶する第１の映像記憶部と、
　所定の基準映像を記憶する第２の映像記憶部と、
　前記第１の映像記憶部に記憶された入力映像が前記第２の映像記憶部に記憶された基準映像と類似しているか否かを判定する類似判定部とを備え、
　前記映像判定部は、前記類似判定部により前記入力映像が前記基準映像と類似していると判定されたときに、前記入力映像が、前記観察部位以外の非観察部位の映像であるか、または、前記観察部位の映像であるかを判定し、
　前記制御部は、前記映像判定部により前記入力映像が前記非観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に非表示し、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記入力映像を映像表示部に表示する請求項１に記載の頭部装着型表示装置。
　前記基準映像は、内視鏡が挿脱可能な筒状のトロカールの開口をその内部から撮影した映像である請求項２に記載の頭部装着型表示装置。
　前記入力映像を記憶する映像記憶部と、
　該映像記憶部に記憶された入力映像から所定の特徴部分を抽出する特徴部抽出部と、
　該特徴部抽出部により抽出された特徴部分の動きを検出する動き検出部とを備え、
　前記映像判定部は、前記動き検出部により検出された前記特徴部分の動きが、略同一の方向に所定の時間にわたって続いたときに、前記入力映像が前記観察部位以外の非観察部位の映像であるか、または、前記観察部位の映像であるかを判定し、
　前記制御部は、前記映像判定部により前記入力映像が前記非観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に非表示し、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記入力映像を前記映像表示部に表示する請求項１に記載の頭部装着型表示装置。
　前記特徴部分は、内視鏡が挿脱可能な筒状のトロカールの開口をその内部から撮影したときの輪郭である請求項４に記載の頭部装着型表示装置。
　前記入力映像を記憶する映像記憶部と、
　該映像記憶部に記憶された入力映像の所定のラインの輝度分布を検出する輝度分布検出部と、
　該輝度分布検出部により検出された輝度分布が、所定の閾値より低い輝度値の低輝度領域と所定の閾値より高い輝度値の高輝度領域とに２極化しているか否かを判定し、前記輝度分布が２極化している場合に、前記低輝度領域のライン幅を検出する映像処理部とを備え、
　前記映像判定部は、前記映像処理部により検出された前記低輝度領域のライン幅が経時的に増加したときに、前記入力映像が前記観察部位の映像であると判定し、前記映像処理部により検出された前記低輝度領域のライン幅が経時的に減少したときに、前記入力映像が前記観察部位以外の非観察部位の映像であると判定する請求項１に記載の頭部装着型表示装置。
　前記映像表示部に入力する映像を、前記入力映像と他の任意映像とで切り替える映像切替部を備え、
　前記制御部は、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記映像切替部により前記入力映像に切り替えさせ、前記映像判定部により前記入力映像が前記観察部位以外の非観察部位の映像であると判定されたときに、前記映像切替部により前記任意映像に切り替えさせる請求項１に記載の頭部装着型表示装置。
　前記制御部は、前記映像判定部により前記入力映像が前記観察部位の映像であると判定されたときに、前記映像表示部の表示をオンにし、前記映像判定部により前記入力映像が前記観察部位以外の非観察部位の映像であると判定されたときに、前記映像表示部の表示をオフにする請求項１に記載の頭部装着型表示装置。
　前記被験体の映像を取得し、取得した映像を前記映像入力部に入力する映像取得部を備える請求項１に記載の頭部装着型表示装置。
　先端部にその挿入方向の動きを検出する動き検出部が設けられた内視鏡と、
　該内視鏡により撮影された内視鏡映像が前記映像入力部に入力される請求項１から請求項９のいずれかに記載の頭部装着型表示装置とを備える頭部装着型表示システム。