JP6933935B2

JP6933935B2 - カメラシステム

Info

Publication number: JP6933935B2
Application number: JP2017169185A
Authority: JP
Inventors: 大樹梶田
Original assignee: 大樹梶田
Priority date: 2017-09-04
Filing date: 2017-09-04
Publication date: 2021-09-08
Anticipated expiration: 2037-09-04
Also published as: JP2019042199A

Description

本発明は、外科手術などにおける治療対象患部の映像をカメラで撮影し、モニターディスプレー上に表示する手術等の医療支援カメラシステムおよび表示方法に関する。

手術などの医療行為に際しては照明が用いられ、この照明には、治療対象患部に、術者の身体、特に、頭、腕、手など、および手術器械の陰が生じないようにするため、無影灯が通常用いられている。
この無影灯としては、天井から懸垂するアームの先端に取り付けられ、移動および傾動が可能な円形の支持基体と、この支持基体の中央に配置された中央灯と、この中央灯の周囲に配置され、前記支持基体に取り付けられた複数の周囲灯を備えた構造のものが多く用いられている。
ところで、施療中において、次の手術器械の準備を行ったりするための施術を補助する者、別室で手術の進行状況を把握する者は、直接、治療患部を観察することができないため、撮影映像により治療患部の状態を知るのが通常である。
このとき、カメラが用いられるが、このカメラは、無影灯の移動、傾動とともに、移動、傾動するのが便利なことから、該無影灯に取り付けられることが多い。無影灯にカメラを備えた例として、特願平１１−２６７６６３（特許文献１）、特願２０１６−５１８６５７（特許文献２）が提案されており、無影灯の中央の光源に近接した位置、もしくは無影灯を操作するハンドル部の内部にカメラが設けられている。
この構造のカメラ付き無影灯を用いての施術の場合、治療対象患部に照明が当たっていたとしても、撮影映像では術者の身体、特に、頭、腕、手など、および手術器械などが映り込んでしまい、該患部が映っていないという状況が生じる。以下に、この課題について詳述する。

特願平１１−２６７６６３特願２０１６−５１８６５７特開２０１２−１２０８１２号公報

手術における治療対象患部の撮影においては、治療者である術者の覗き込み動作、手や指の動きまたは手術器械等により、撮影対象である治療対象患部が隠れてしまう視野障害が生じる。視野障害を避けて撮影を完遂するためには、手術中に絶え間なく変化する、治療対象患部と、撮影の障害となりうる術者、手術器械などとの位置関係に合わせて、カメラの位置、方向、画角を調整することが必要である。ただし実際には、治療対象患部と障害物の位置の変化に合わせて、直ちにカメラの操作を行うことは困難であり、以下に困難を生じる要因を挙げる。

まず、手術室の現場で上記のようなカメラの操作のための人員を配置することが困難であることが挙げられる。執刀医や助手として手術に参加する外科医である術者、手術器械を術者に手渡す器械出し看護師は、手術の進行に集中しているため、撮影映像の状況を術中に把握することは困難である。手術室には、器械出し看護師に追加の手術器械を差し出す外回り看護師が配置されており、業務の合間にカメラの操作を行う場合もある。それでも、治療対象患部と障害物の位置が変わるたびに、直ちにカメラの操作を行うことは困難である。

次に、カメラの位置を変化させることが困難である状況があることが挙げられる。手術の場では、治療対象患部は消毒され、手術用ベッドに横たわる患者は滅菌された布で覆われており、術者、器械出し看護師は手術衣の上に滅菌ガウンを着ており、その周囲には滅菌された手術器械を置く器械台が配置されている。治療対象患部の撮影にあたり、カメラはこれら滅菌状態の人や物に触れることは許されず、カメラが配置されうるのは治療対象患部の真上付近であるか、滅菌状態の人や物からさらに離れた位置となる。また無影灯は通常では治療対象患部の真上付近に配置される。カメラが治療対象患部の真上付近のある場合、カメラの位置を操作しうる外回り看護師は滅菌ガウンを着用していないので、滅菌状態の人や物に触れることなくカメラに近づくことは困難である。

また、特許文献１、特許文献２のように、無影灯に1台のカメラを備えるのみでは、治療対象患部に照明が当たっているものの、カメラと治療対象患部の間に術者の頭や手などの障害物が介在することによって視野障害が生じる状況が生じうる。このとき、障害物を避けて治療対象患部を撮影するためにはカメラの位置を操作する必要があるが、特許文献１、特許文献２のいずれも、カメラと無影灯が同一の筐体に備わっているために、術者の動作に合わせてカメラの位置、方向を操作する場合に、これに連動して無影灯の位置、方向も変わってしまい、治療対象患部に照明が当たらなくなる困難を生じる。

いずれの場合においても共通することは、手術室では、安全な手術の完遂が、良好な映像の撮影よりも優先されるということであり、カメラの操作よりも、治療対象患部への安定した照明が優先される。これらの理由から、特許文献１、特許文献２のいずれのカメラも、障害物による視野障害を避けて治療対象患部の撮影を遂行することは困難である。

また、撮影中に障害物によるカメラの視野障害が生じたときには、術者は手術の進行に集中しており、ディスプレーを同時に見ることは不可能であるので、カメラの視野障害が生じていることに気づくことは困難であり、撮影が遂行されていない状況のまま、手術は進行してしまう。

一方で、医療の現場で求められる手術の映像において、最も必要な情報は治療対象患部への医療操作の内容であって、撮影映像の視聴者がこれを正確に随時把握するためには、術者の頭や体、腕や手などの撮影の視野障害を避けて、治療対象患部の撮影を遂行する必要がある。

本発明は、上記のような必要性や状況に鑑みてなされたものであり、本発明の目的は、術者が撮影を意識せず、手術に集中しながらにして、治療対象患部の撮影を完遂することができ、撮影された映像のいずれかには、高確率に治療対象患部が映っているカメラシステムを提供することにある。

本発明は、カメラと複数の光源で構成されるカメラユニットについて、光源による照明の範囲がカメラで撮影される範囲に収まるものとし、このカメラユニットを複数配置して無影灯を構成することで、無影灯の複数の光源の集合の内部に複数のカメラが分散して配置されたものとし、治療対象患部にいずれの光源が当たっていた場合においても、同時にこの光源の近傍に位置するカメラによって撮影が完遂される状況を実現する。この状況においては、術者は撮影の状況を意識することなく、治療対象患部への安定した照明を保ちながら、カメラの位置を変化させずとも、いずれかのカメラにおいて、治療対象患部の撮影を完遂することが可能である。また治療対象患部への安定した照明を改善するために無影灯が移動した場合においても、治療対象患部の撮影はいずれかのカメラにおいて達成される。以下、より具体的な構成の説明を記載する。

本発明は、上記目的を達成するため手術などの医療に際し治療対象患部を撮影する無影灯付きカメラ機構、ならび該カメラ機構で撮影された映像を表示するモニター機構を備えたカメラシステムであり、該無影灯付きカメラ機構は、全体の形態は手術に際して一般に用いられる無影灯と同様であり、複数の光源を備え、一般的な無影灯と同様に、移動および傾斜が可能な全体基体と、該全体基体のほぼ中央に滅菌のカバーを装着できる操作ハンドルを備え、該全体基体の中央部に中央カメラユニット、該中央カメラユニットの周囲に少なくとも１つの周囲カメラユニットを備えることを特徴とする。全体的な形態や構成は一般的な無影灯と同様であり、術者は一般的な無影灯を操作する感覚で治療対象患部に照明を当てることが可能である。

このとき、前記周囲カメラユニットは、それぞれに備える複数の光源の近傍に周囲カメラを備えており、光源の照明の方向と該周囲カメラの撮影の方向は一致しているため、複数の光源のうちいずれかの照明が治療対象患部に届いている場合には、該患部に到達した光源の近傍に位置する周囲カメラからは、該患部が撮影されている可能性が高い。逆に、照明が治療対象患部に到達していない場合には、撮影されている映像にも該患部は写っていない可能性が高くなるが、該患部に照明が到達していない状況では手術の実施が困難であるので、術者は前記操作ハンドルを把持して該無影灯付きカメラ機構の前記全体基体を移動および傾動させ、該患部に照明が届くようにすることは、一般的な無影灯における操作と同様であり、この操作によって、該患部がいずれかの光源の近傍のカメラによって撮影される状況に復帰することが可能となる。この操作の間、術者は撮影の状況を気に留める必要はない。なお、前記周囲カメラユニットには光源が必須であるが、前記中央カメラユニットに光源を設置するかどうかは任意である。

前記モニター機構には複数のカメラの映像が入力され、ディスプレー装置に表示される映像は初期設定では中央カメラのものが望ましいが、手術の状況によっては周囲カメラの映像のほうが多くの情報を有する場合があり、該モニター機構に備える操作装置を操作することで、該ディスプレー装置の映像を切り替えたり、複数の映像を同時に表示したりすることができる。

本発明は、このような構成により、手術などの医療に関わる動画の効果的な活用を支援する機能を提供するものであり、
・術者は撮影を意識することなく、従来の無影灯を操作するのと同じ感覚で手術を行うのみで、治療対象患部の撮影を完遂できる。
・撮影のための人員を配置する必要がない。
・障害物によるカメラの視野障害が生じるときには、同時に光源の照明も治療対象患部に届かなくなるため、術者が視野障害の発生に気付くことができ、照明を当てるために無影灯付きカメラ機構を移動、傾動させることで、視野障害も改善させることができる。
・ディスプレーに、より確実に治療対象患部の映像を表示することが可能となり、手術に関わる外回り看護師、麻酔科医、手術の見学者である医師や学生、手術室の管理者などのスタッフが、より正確な手術の進行状況を、実際に手術が行われている現場を術者の背後から覗き込まなくても把握でき、手術室の効率的な運営や、汚染の減少による創部感染の発生数の減少などが期待される。
・その他、医療の現場において、手術を含めた医療処置を撮影した映像の用途については、医療事故の原因の究明や、患者へのより具体的な説明による満足度の向上、外科医や若手医療スタッフの教育の改善などの効果が期待できる。

なお歯科医療の領域においては、特開２０１２−１２０８１２号公報（特許文献３）に、複数のビデオカメラによる多視点映像を出力するビデオカメラシステムに無影灯を組み合わせる手段が提案されているが、単純にこの手段を、全身を扱う医科の手術に流用しても、良好な撮影は達成し得ない。

まず、歯科における治療対象患部を多視点から撮影するためには、口腔の入り口である口裂や、上下の切歯の間を通して、少なくとも大臼歯までの深さの構造を複数のカメラで撮影できるように、ビデオカメラを配置する必要がある。口裂は成人男性でも６ｃｍ大程度までの広さであって、上下の切歯間の距離は５ｃｍ程度までであり、第三大臼歯までの深さも６ｃｍ程度である。歯科における診察の体勢で歯科医が無影灯を操作するためには、無影灯は高くても患者から６０〜７０ｃｍの位置にあるので、この距離から口裂や切歯間を通して第三大臼歯を複数の視点から撮影するためには、カメラ間の距離は１５ｃｍ程度以内に配置する必要がある。もちろん、小児や女性などで口が小さい場合には、カメラはより近い位置に配置されていなければならない。これでは、手術の際に視野障害を生じうる術者の頭の幅よりも狭い距離しかカメラが離れておらず、医科の手術において治療対象患部を撮影することは困難である。医科の手術では、歯科の診療よりも広い身体範囲を治療対象とし、治療に携わるスタッフの人数も多いことから、治療対象患部に良好な照明を当てるためには、無影灯は少なくとも５０ｃｍ大程度の広さに光源を備える必要がある。カメラと光源の位置関係に留意しなければ、この無影灯に複数のカメラを備えたところで、前述したように、治療対象患部に照明は当たっているものの、カメラでは撮影されていない状況が生じる。この状況に気付くためには、第三者がディスプレーを監視する必要があり、撮影が達成されていない状況から復帰するためには、やはり無影灯ごとカメラの位置、方向を操作する必要があり、これは治療の進行に支障を生じ、患者に危害を生じるおそれもある。

本発明によるシステム実施形態である。複数のカメラの映像の中から、操作装置によってディスプレー装置に表示する映像を選択する構成を示す図である。複数のカメラの映像を同時に録画ユニットで記録する構成を示す図である。同時に撮影された複数の映像を、共通の撮影日時で記録して、同時に再生する実施形態例を示す図である。操作ハンドルの回転によって、周囲カメラユニットの傾動ユニットを傾動させる実施形態例を示す図である。本発明装置にカメラの映像の方向を知らせるガイド光照射装置を備えた場合に、撮影対象に照射するガイド光の実施形態例を示す図である。本発明装置にマイクを備えた実施形態例である。同時に取得された複数の映像と音声を、共通の撮影日時で記録して、同時に再生する実施形態例を示す図である。本発明装置に半天球カメラを備えた実施形態例である。操作ハンドルに光源、画角、ピントの自動調節、録画ユニット、録音装置の操作装置を備え、焦点距離操作装置がモニター機構の操作装置例からの入力もしくはユニット基体の傾動によってピントの自動調節を作動する本発明装置の実施形態例である。記録された複数の映像および音声を、共通の撮影日時の範囲で切り出して、複数の分割データとして出力する構成を示す図である。ディスプレー装置が映像障害を認識したときに映像を切り替えるアルゴリズムの一例を示すフローチャートである。距離計測装置とモニター機構に備えるCPUよってディスプレー装置に表示する映像を選択する構成を示す図である。動画データ、音声データの内容を自動認識して文字列データを作成し、撮影時間情報に文字列のタグ情報を付加してリストデータを作成する構成を示す図である。

本発明を具体化した実施形態を、以下図面を参照して詳細に説明する。図は説明の都合上模式的に描いてある。

図１はカメラシステム１０が１台の中央カメラユニット１６と６台の周囲カメラユニット２６からなる本発明の実施例を示す。無影灯の光源は中央カメラユニットの光源２４については必須ではなく、周囲カメラユニットの光源３２については図１の実施例のように周囲カメラ３０を取り囲むように配置してもよいし、並列するように配置してもよい。中央カメラ２２は図１の実施例のように操作ハンドル２０に並設してもよいし、操作ハンドル内に設置してもよい。各カメラの映像はモニター機構４０のディスプレー装置４２に表示される。無影灯付きカメラ機構１２とモニター機構４０の数は、最小で１対１であるが、多対１、１対多、多対多のいずれの場合もありうる。モニター機構４０は手術室において壁面に固定される場合や、カートに乗せて移動可能な場合に限らず、院内ネットワークを介して手術室や医局のスタッフルームに設置される場合、患者の同意があれば他施設に設置されてインターネットを介して手術の状況をライブサージャリーとして視聴される場合がありうる。ディスプレー装置４２に表示する映像は操作装置４４を用いて選択が可能である。操作装置４４はモニター機構４０に設置されたボタンであったり、マウスやキーボードであったりする場合や、ディスプレー装置４２がタッチパネルとなっている場合、モニター機構４０に無線で接続するリモートコントローラーである場合、これらの組み合わせである場合がありうる。リモートコントローラーを滅菌されたビニール袋に入れれば、滅菌ガウンを着たスタッフでも映像の選択が可能となる。ディスプレー装置４２は表示されている映像の一部を拡大して表示することが可能であり、治療対象患部が小さく映っている場合には、該患部を選択して拡大して表示することができる。これはディスプレー装置４２にポインタを表示してマウスなどで操作すること、もしくはディスプレー装置４２がタッチパネルとなっていることによって、拡大すべき領域の選択が可能となる。

図２は操作装置４４が中央カメラ２２と６台の周囲カメラ３０の映像の中からディスプレー装置４２に表示する映像を選択する構成を示す。手術の現場では、ディスプレーの映像を視聴するのは術者ではなく手術室看護師や、手術には参加していない見学者が主である。本発明では、撮影された複数の映像をモニター機構で選択して表示し、拡大する手段を提供する。各映像のそれぞれについて表示のオンとオフを指定することができ、指定のない場合は中央カメラ２２の映像のみをディスプレー装置４２に表示する。オンと指定されたカメラの数に応じてディスプレー装置の画面の領域を自動的に分割して映像を並べて表示するが、分割の大きさの比率や、それぞれの映像の配置の順は操作装置４４で調整できる。またそれぞれの分割された領域に表示された映像について、映像の拡大が可能である。

図３は録画ユニット６２が中央カメラ２２と６台の周囲カメラ３０の映像を同時に入力する構成を示す。図示していない録画の開始と停止を操作するスイッチを備え、一つのスイッチの操作ですべてのカメラの録画の開始と停止を行う。スイッチは録画ユニットに備える場合と、図１に例示した操作ハンドル２０に備える場合と、リモートコントローラーに備える場合と、これらの組み合わせである場合がありうる。

図４は中央カメラ２２と２台の周囲カメラ３０で同時に撮影された複数の映像を、共通の撮影日時６６を付加して録画装置６４に記録して、出力手段６８を介して、任意の組み合わせでの複数の動画を、記録された撮影日時信号付加装置６６からの撮影日時信号Ｓｇ１を揃えて同時に再生し、映像をモニター機構４０のディスプレー装置４２に表示する場合の実施形態例を示す。複数の動画を同時に再生する場合、撮影された現実時間を合わせて同一の場面を再生するためには、各動画に記録される録画時間にずれがある場合に、再生時間の細かな調整を行う必要がある場合があった。本発明では、この手間をなくすために、複数の映像を記録の時間を合わせて同時に並行して録画する手段、これら複数の録画映像を撮影の時間をあわせて同時に再生もしくはデータに出力する手段を提供する。本発明では、共通の撮影日時信号Ｓｇ１により撮影日時を揃えて複数の動画を再生することで、別カメラの映像へ時間のずれのなく画面の切り替えをしたり、同時に表示したりすることが可能である。なお周囲カメラ３０は模式的に２台で図示したが、実際には、視野障害のおそれを回避する効果的な撮影のためには３台以上の周囲カメラ３０で中央カメラ２２を取り囲む構成であることが望ましい。録画ユニット６２は図４に例示したようにモニター機構４０と離れて構成されている場合もあれば、モニター機構４０の内部に組み込まれている場合がありうる。また、出力手段６８は図４に例示したように録画ユニット６２に備えられている場合もあれば、録画ユニット６２がモニター機構４０に組み込まれている状況においては、操作装置４４が出力手段６８の役割を担う場合がありうる。また図４に例示したように動画の出力先がディスプレー装置４２である場合には、同時に出力された複数の動画を同時に再生しながら、操作装置４４を介して、図２で例示した際と同様に、ディスプレー装置４２に表示する動画の選択や、画面の構成の調整が可能である。また、出力先がディスプレーでなくＤＶＤなどの記憶媒体である場合もありうるが、この場合には、複数の動画のうちから任意の動画を選択して独立した動画ファイルとして出力する場合や、任意の組み合わせの動画を任意の配置で並べて表示した一つの動画ファイルとして出力する場合がありうる。

図５はリンク装置８２によって操作ハンドル２０とそれぞれの周囲カメラユニット２６の傾動ユニット８４を機械的にリンクし、操作ハンドル２０の回転によって、傾動ユニット８４を操作する実施形態例を示す。リンク装置８２は、図示していない傘歯車やヘリカルギアーを用いて回転の力の方向を変換し、傾動ユニット８４に機械的に力を伝達する場合がありうる。なお図５では周囲カメラユニット２６は円形であり、この円の直径に一致する軸で回転することで、無影灯付きカメラ機構１２の中央に対する傾動を行うように例示しているが、周囲カメラユニット２６の形状は円形に限らず、また、傾動の方式は無影灯付きカメラ機構１２の中央に対するものであれば、傾動の中心や支点が周囲カメラユニット２６の中心からずれていてもよい。また他の形態例として、リンク装置８２は電子信号を伝達し、傾動ユニット８４に備えるモーターを作動して、傾動を達成する電動式のものであってもよい。

図６は前記無影灯付きカメラ機構にカメラの映像の方向を知らせるガイド光照射装置を備えた場合に、撮影対象９０に照射するガイド光の実施形態例を示す。映像の垂直方向に沿ったガイド光９２と、映像の水平方向い沿ったガイド光９４を撮影対象９０に照射することにより、術者はディスプレーで映像を確認することなく、ガイド光を見ながら無影灯付きカメラ機構を操作して撮影対象９０を映像に表示する傾きの調整が可能である。ガイド光は線状光の組み合わせで、一方向に映像の特定の方向を示すポインタを表示すべきであり、本例では矢頭で垂直方向の上方を示している９２が、この形態は任意である。複数のカメラの映像の傾きが水平方向に平行であれば、該ガイド光照射装置は一つで十分であるが、そうでなければ、前記カメラユニットに一つずつ備えてもよい。
ガイド光の照射は、無影灯付きカメラ機構を移動、傾動した際に自動で出力し、一定時間経過したら自動で消灯されるのが望ましい。前記無影灯付きカメラ機構の移動および傾動が生じたことの検知は、加速度センサーが用いられる。もちろん、加速度センサーに限らず、該無影灯付きカメラ機構の移動や傾動、該周囲カメラユニットの傾動に必要な関節の角度を計測する内界センサーなどの手段によって、これら運動の発生を検知する場合もありうる。
また、前記ガイド光は人体、特に眼球への安全性を確保する必要がある。

図７は無影灯付きカメラ機構１２にマイク１０２を備え、録音装置１０４、音声出力装置１０６に音声を出力するマイク１０２を備えた本発明の実施例である。手術においては、スタッフの会話も重要な情報である。特に、滅菌ガウンを着て手術に参加するインターンのスタッフに指導を行う場合には、手術中にメモを取ることはできないので、指導された内容を正確に記憶することは困難である。また、指導の内容は手術室看護師や見学者にも共有されるに値するが、術者の発声の音量が十分でなく、周囲の人間には聞き取れない場合がある。説明の都合上、図１の中央カメラ２２、モニター機構４０などを省略しているが、これらの構成は図１と同様である。図７にはマイク１０２は操作ハンドル２０に並設する場合を例示しているが、効果的な収音のためには、術者に近い操作ハンドル２０の先端付近にマイク１０２が設置されることが望ましい。また、手術室には心電図や血中酸素飽和度をモニターする生体モニターや、電気メスなどの医療機器が発する音が響き渡っている場合があるため、マイク１０２はノイズキャンセリングの機能を備え、照明および撮影の方向に沿った単一指向性のマイクであることが望ましい。

図８は図４にマイク１０２、音声出力装置１０６、録音装置１０４を追加した本発明の実施例である。音声出力装置１０６は図示のようにモニター機構４０に組み込まれている場合の他に、独立に備えられる場合や、イヤホンのようにスタッフが装用する機器である場合がありうる。録音装置１０４は、図示にように録画ユニット６２に組み込み、同時に記録される動画と同一の撮影日時６６を付加して録音を行うことが望ましい。動画の出力においては、出力手段６８を介して、撮影日時６６を揃えて動画と音声を同時に出力することが可能である。共通の撮影日時６６を揃えて複数の動画および音声を再生することで、別カメラの映像へ時間のずれのなく画面の切り替えをしたり、同時に表示したりすることが可能である。

図９は無影灯付きカメラ機構１２の中央カメラ２２が半天球カメラもしくはステレオカメラもしくは赤外線カメラ１２２であり、操作ハンドル２０の先端にいずれかのカメラ１２２が備えられている本発明の実施例である。
手術室においては、治療対象患部の映像のみでなく、スタッフや手術器械の配置や操作など、広範囲の状況が把握されることが望ましい。本発明では、半天球カメラによって広範囲の映像を取得する手段を提供する。半天球カメラを用いる場合、半天球カメラとは別に中央カメラが中央カメラユニット１６に備えられる場合がありうるが、この場合においても、３６０°に渡って映像障害のない映像を得るためには、半天球カメラは操作ハンドル２０の先端に設置されることが望ましい。なお、図９においては図１におけるモニター機構４０は省略して図示しているが、半天球カメラ１２２の映像も他のカメラと同様にモニター機構４０に入力され、操作装置４４によって映像の選択や拡大範囲の調整が可能である。
また、治療対象患部の状況を把握するうえで、二次元表示の映像で得られる情報は、三次元表示の映像で得られる情報に劣る。本発明では、ステレオカメラ１２２によって三次元で映像を表示する手段を提供する。ステレオカメラを用いる場合、前記ディスプレー装置４２の映像を二次元で表示するか三次元で表示するかは前記モニター機構４０の前記操作装置４４で選択できる。ステレオカメラは前記中央カメラ２２もしくは前記周囲カメラ３０のうち任意の２台を組み合わせたものでもよいし、いずれか１台以上のカメラ自体がステレオカメラであるものでもよい。
また、手術室ではしばしば赤外線カメラを用いて治療対象患部の評価を行う場面があるが、このとき、該患部の付近に赤外線カメラを滅菌の袋に入れて持ち込んで撮影を行う手間がある。本発明では、この手間を省略して赤外線カメラの映像を表示する手段を提供する。赤外線カメラを用いる場合、前記中央カメラ２２もしくは前記周囲カメラ３０のうち１台が赤外線カメラであるか、赤外線カメラに切り替えることが可能であればよい。

図１０は操作ハンドル２０の側面にスイッチ１３４、１３６、１４２、１４６、１４８を備え、術者が手術の間に操作することで、電子信号を介して、光源、画角、各カメラのピントの自動調節機能の作動の切り替え、録画ならびに録音の開始と停止が行うことができ、また各カメラのピントの自動調節機能はユニット基体の傾動を検知する１４４ことによっても作動することができる本発明の実施例における構成を示す。従来、カメラの設定や録画、録音の操作は、滅菌ガウンを着ているスタッフには行えないため、手術室の人員が不足しており、滅菌ガウンを着ていないスタッフがいない場合には操作が困難であった。本発明では、一般の無影灯において滅菌のカバーが装着されるハンドル部に光源、カメラの画角、オートフォーカス設定、録音、録画の操作を行う手段を備えたカメラシステムを提供する。操作ハンドル２０は手術の実施に当たっては滅菌ガウンを着た術者でも操作できるように、滅菌されたカバーを装着される。このとき、スイッチ１３４、１３６、１４２、１４６、１４８の操作に支障がないように、該カバーはビニールや薄いプラスチックなどの透明で柔らかい素材から作製されたものであることが望ましい。また、スイッチ１３４、１３６、１４２、１４６、１４８の位置は、無影灯付きカメラ機構の全体を移動ならびに傾動させる、もしくは周囲カメラユニットを傾動させるために操作ハンドル２０に触れたときに、誤って該スイッチ１３４、１３６、１４２、１４６、１４８を作動してしまうおそれのないように配置する必要がある。
なおカメラの自動調節機能は、カメラと治療対象患部との位置関係が変わった場合に自動で作動することが望ましいが、カメラと該患部との位置関係が変わりうる前記無影灯付きカメラ機構１２の移動および傾動、もしくは前記周囲カメラユニット２６の傾動が生じたことの検知は、前記周囲カメラユニット２６のいずれかに備えた加速度センサーを用いれば、これらのいずれの運動についても検出が可能であるので、加速度センサーを用いることが望ましい。もちろん、加速度センサーに限らず、該無影灯付きカメラ機構１２の移動や傾動、該周囲カメラユニット２６の傾動に必要な関節の角度を計測する内界センサーなどの手段によって、これら運動の発生を検知する場合もありうる。

図１１は記録された複数の動画１５２、１５４および音声１５６を外部レコーダに出力する際に、記録が行われたすべての時間に渡ってデータを出力するのではなく、撮影時間の範囲Ｔ１〜Ｔ２を限定してデータの出力を行う場合に、各データを同位置の時間の範囲でデータとして切り出し、各動画に音声を合成して出力する本発明の実施例を示すものである。本発明では図４ならびに図８で示したように、いずれの動画データもしくは音声データでも、同一の撮影日時データを共有しているため、データを切り出す時間の範囲Ｔ１〜Ｔ２を指定すれば、一括で複数の動画データの分割が可能である。

図１２は前記ディスプレー装置が映像障害を認識したときに映像を切り替えるアルゴリズムの一例を示すフローチャートである。モニター機構を操作する滅菌ガウンを着ていないスタッフが手術室にいない場合には、ディスプレーに表示された映像を切り替えることが困難であり、手術の助手や器械出し看護師が映像を切り替えたい場合に不便を生じる。本発明では、表示された映像が映像障害によって治療対象患部を表示していないことをモニター機構が検知し、自動で別の映像に切り替わりうる手段を備えたカメラシステムを提供する。図２で説明したように、映像の指定を行わない場合、該ディスプレー装置には中央カメラの映像が表示される（ステップＳ１）。該ディスプレー装置は、表示する映像が該患部を表示していない可能性が高いことを、映像の画素の構成から検知し、自動で別のカメラの映像に切り替わることができる。手術においては、外患部の映像の画素は肌色や赤色などで構成される範囲が大きく、該患部が撮影されていないときに表示される映像の画素は、該患部の周囲を覆う清潔な布や手術衣や帽子の一般的な色である青色や緑色であったり、術者の手袋の色である緑色であったりする。該ディスプレー装置は、映像の一定の割合の範囲を青色や緑色の画素が占めたときに、映像障害が生じたものと認識する（ステップＳ２）。ステップＳ２でＹＥＳであれば、監視時間タイマーをセットする（ステップＳ３）。タイマーセット時間が経過するまでは、映像障害が持続しているかどうかの認識を継続する（ステップＳ４）。映像障害がなくなっていればステップＳ５でＹＥＳとなり、中央カメラの映像の表示を継続する。映像障害が継続していればステップＳ５でＮＯとなり、タイマーセット時間が経過するまで映像障害のモニターを継続する。映像障害が継続したままタイマーセット時間が経過すると、
ステップＳ４でＹＥＳとなり、自動で別のカメラの映像に切り替わって映像を表示する（ステップＳ６）。以下、表示されている映像について、同様に映像障害を検知し、自動で別のカメラの映像に切り替わることが可能である。この映像障害の認識は、複数の映像を同時に表示している場合にはそれぞれの映像について同時に実行される。また、表示していない映像についても、バックグラウンドで同様に映像障害の監視を行うことによって、切り替わる先の映像を、映像障害の生じていない映像に指定することも可能である。

図１３は中央カメラ２２およびそれぞれの周囲カメラ３０の近傍に距離計測装置１７２を備え、モニター機構４０に備えるＣＰＵ１７４よってディスプレー装置４２に表示する映像を自動で選択する本発明の構成例を示す。距離計測装置１７２は、レーザー距離計を用いる場合には、光源にレーザークラス１（近赤外線）を採用し、人体、特に眼球への安全性を確保する必要がある。それぞれの距離計測装置１７２の計測値はＣＰＵ１７４に伝達され、該ＣＰＵ１７４は、治療対象患部を撮影していた状況における計測値から、一定の時間に渡ってこの値が大きく変化した場合に、該距離計測装置１７４の近傍に位置するカメラ２２、３０の映像を、ディスプレー装置４２で表示されないように制御することが可能である。

図１４は、動画データ１８２、音声データ１８８の内容をそれぞれ動画認識手段１８４および音声認識手段１９０によって自動認識し、文字列データを作成し、撮影時間情報に文字列のタグ情報を付加してリストデータ１８６、１９２を作成する本発明の構成を示す。記録された動画は長時間であり、全体的な色調や構成は単調であることが多く、再生したい手術の場面の記録時間を同定することはしばしば困難である。これに対する手段として動画の視聴者が手動でタグ情報を動画に追加する方法があるが、大きな手間を要する。本発明では、記録された映像、音声を機械的に自動認識し、データの時間情報に文字列のタグ情報を付加することで、記録の時間情報を検索可能とすることで、再生したい場面が同定されうる手段を提供する。動画認識手段１８４、音声認識手段１９０の具体例としては、それぞれ、Ｇｏｏｇｌｅ社が提供しているＣｌｏｕｄＶｉｄｅｏＩｎｔｅｌｌｉｇｅｎｃｅおよびＣｌｏｕｄＳｐｅｅｃｈのＡＰＩ（アプリケーションプログラミングインタフェース）が挙げられる。ただし、実際には、動画データ１８２および音声データ１８８には患者情報が含まれるため、Ｇｏｏｇｌｅ社のサーバーとの連絡が必要である該ＡＰＩを使用する場合には、予め患者の許可を得る必要がある。院外のネットワークを介さずに本発明を実施するためには、院内に動画認識手段１８４、音声認識手段１９０を構築しての運用が求められる。

１０本発明装置例
１２無影灯付きカメラ機構
１４全体基体
１６中央カメラユニット
１８中央ユニット基体
２０操作ハンドル
２２中央カメラ
２４光源
２６周囲カメラユニット
２８周囲ユニット基体
３０周囲カメラ
３２光源
４０モニター機構
４２ディスプレー装置
４４操作装置
６２録画ユニット
６４録画装置
６６各映像に共通して付加する撮影日時信号付加装置
６８出力手段
８２リンク装置
８４傾動ユニット
９０撮影対象
９２映像の垂直方向を示すガイド光
９４映像の水平方向を示すガイド光
１０２マイク
１０４録音装置
１０６音声出力装置
１２２半天球カメラもしくはステレオカメラもしくは赤外線カメラ
１３２中央カメラユニットもしくは周囲カメラユニット
１３４光源の操作スイッチ
１３６画角の操作スイッチ
１３８中央カメラもしくは周囲カメラ
１４０焦点距離操作装置
１４２自動ピント調節機能の操作スイッチ
１４４ユニット基体の傾動を検知
１４６録画の操作スイッチ
１４８録音の操作スイッチ
１５２動画１
１５４動画２
１５６音声
１５８出力データ１
１６０出力データ２
１７２距離計測装置
１７４ CPU
１８２動画データ１
１８４動画認識手段
１８６動画データ１に由来する時間とタグ情報のリストデータ
１８８音声データ
１９０音声認識手段
１９２音声データに由来する時間とタグ情報のリストデータ
Ｔ１切り出しの起点時間
Ｔ２切り出しの終点時間
Ｓｇ１各映像に共通して付加する撮影日時データ

Claims

手術などの施療行為に際し用いられ、治療対象患部および／または術者の手許を固定画及び動画で撮影できる無影灯付きカメラ機構、ならびにこのカメラ機構で撮影された映像を表示するモニター機構を備えたカメラシステムにおいて、前記カメラ機構は、移動および傾斜が可能な全体基体、この全体基体のほぼ中央に配設された中央カメラユニット、および前記全体基体に設けられ、前記中央カメラユニットの周囲に配設された少なくとも１つの周囲カメラユニットを備え、前記中央カメラユニットは、中央ユニット基体、この中央ユニット基体の中央部に立設され、術者の操作により、前記カメラ機構全体を移動および傾動させることができるようになっている操作ハンドル、およびこの操作ハンドルに内蔵もしくは隣接して配設された中央カメラを備え、前記周囲カメラユニットは、それぞれ、周囲ユニット基体、この周囲ユニット基体に配設された周囲カメラ、および前記周囲ユニット基体に、前記周囲カメラに隣接して配置された複数の光源を備え、前記中央カメラと周囲カメラは、それぞれ異なった視点で、治療対象患部および／または術者の手許を固定画及び動画で同時に撮影できるようになっており、前記モニター機構は、通常は前記中央カメラの映像を表示する少なくとも１台のディスプレー装置、および視聴者の操作により、該ディスプレー装置に表示される映像を周囲カメラが撮影した映像からも選択することが可能な操作装置を備えていることを特徴とするカメラシステム。
前記中央カメラユニットは、前記中央カメラの近傍に配置された複数の光源を備え、これら複数の光源は無影灯を構成している請求項１のカメラシステム。
前記操作装置は、前記中央カメラユニットおよび前記周囲カメラユニットの撮影した映像のうち、２つ以上の映像を組み合わせて前記ディスプレー装置に表示させることができる機能を有している請求項１または２のカメラシステム。
前記中央カメラユニットおよび前記周囲カメラユニットで撮影されたそれぞれの映像を並行して同時に録画する録画ユニットを更に備えた請求項１〜３のいずれかのカメラシステム。
前記録画ユニットは、前記中央カメラユニットおよび前記周囲カメラユニットで同時に撮影された２つ以上の映像を、撮影された時間を同期して同時に再生することができる請求項４のカメラシステム。
前記周囲カメラユニットは、前記周囲ユニット基体を傾動させる傾動ユニットを更に備え、前記操作ハンドルと該傾動ユニットはリンク装置を介して連絡しており、前記操作ハンドルは回転軸に沿って回転させることで、該リンク装置を介して前記傾動ユニットを作動して、前記周囲カメラユニットの基体を、前記中央カメラユニットに対して傾動させることによって、前記周囲カメラの方向を調整することが可能な請求項１または２のカメラシステム。
前記無影灯付きカメラ機構は、前記中央カメラもしくは前記周囲カメラのいずれかのカメラの映像の縦横方向を示す光線であるガイド光を撮影対象に照射するガイド光照射装置を備え、ディスプレーを見なくても撮影された映像の治療対象患部に対する傾きを知ることができる請求項１〜６のいずれかのカメラシステム。
手術中の会話を含む音声情報を取得するマイクを備え、更に取得した音声情報を記録する録音装置、取得した音声を出力する音声出力装置を備えた請求項１〜７のいずれかのカメラシステム。
手術中の会話を含む音声情報を取得するマイク、およびこのマイクにより取得した音声情報を記録する録音装置を備え、更に、前記中央カメラユニット、前記周囲カメラユニットおよび前記マイクで撮影および録音されたそれぞれの映像および音声を並行して同時に録画および録音する録画ユニットを備え、この録画ユニットは、前記中央カメラユニット、前記周囲カメラユニットおよび前記マイクで撮影および録音された映像および音声を、時間を同期して同時に再生することができる請求項１〜３のいずれかのカメラシステム。
前記操作ハンドルは、ハンドルの先端に半天球カメラを備え、周囲の環境を３６０°に渡って録画することが可能な請求項１〜９のいずれかのカメラシステム。
前記中央カメラが半天球カメラであり、周囲の環境を３６０°に渡って録画することが可能な請求項１〜９のいずれかのカメラシステム。
前記操作ハンドルは、ハンドルの側面に前記中央ユニットおよび前記周囲ユニット基体の光源の操作装置を備え、光源の点消灯、照度の調整に関する指示信号を送ることができる請求項１〜１１のいずれかのカメラシステム。
前記中央カメラと前記周囲カメラはそれぞれ画角操作装置を備え、前記操作ハンドルは、ハンドルの側面に該画角操作装置に指示信号を送るためのスイッチを備えた請求項１〜１２のいずれかのカメラシステム。
前記中央カメラと前記周囲カメラはそれぞれ焦点距離操作装置を備え、該焦点距離操作装置は自動ピント調節機能によって自動で撮影対象に合わせてピントを調節することが可能な請求項１〜１３のいずれかのカメラシステム。
前記操作ハンドルは、ハンドルの側面のスイッチを介して、前記中央カメラと前記周囲カメラの前記焦点距離操作装置の前記自動ピント調節機能の作動と停止を操作することが可能な請求項１４のカメラシステム。
前記焦点距離操作装置は、前記自動ピント調節機能が停止しているときに、前記操作ハンドルを介した前記前記中央カメラと前記周囲カメラの画角の調整、および前記カメラ機構全体の移動もしくは傾動の操作が生じたことを検知したときに、前記自動ピント調節機能を働かせてピントを合わせてから、自動で自動ピント調節機能を停止させることが可能な請求項１４または１５のカメラシステム。
前記操作ハンドルは、ハンドルの側面に前記録画ユニットの操作装置を付随し、録画の開始と停止の操作ができる請求項１〜１６のいずれかのカメラシステム。
前記操作ハンドルは、ハンドルの側面に前記録音装置の操作装置を付随し、録音の開始と停止の操作ができる請求項８または９のカメラシステム。
前記モニター機構の前記操作装置は、前記中央カメラと前記周囲カメラの前記焦点距離操作装置の自動ピント調節機能の作動と停止を操作することが可能な請求項１４〜１６のいずれかのカメラシステム。
前記中央カメラと前記周囲カメラのうち少なくとも一台がステレオカメラであり、前記ディスプレー装置は、該ステレオカメラで撮影された映像を三次元表示できる請求項１〜１９のいずれかのカメラシステム。
前記中央カメラと前記周囲カメラのうち少なくとも一台が赤外線カメラであり、前記ディスプレー装置は、該赤外線カメラで撮影された映像を表示できる請求項１〜２０のいずれかのカメラシステム。
前記モニター機構は、前記ディスプレー装置に表示される映像を選択する前記操作装置によって、前記中央カメラ、前記周囲カメラ、前記半天球カメラのいずれかで撮影された映像を、任意の撮影範囲で切り出し拡大して前記ディスプレーに表示することができる請求項１０のカメラシステム。
前記録画ユニットは、記録された複数の映像および音声を、時間の同期を保ちながら、任意の時間の範囲で切り出して、データとして出力することができる請求項４〜２２のいずれかのカメラシステム。
前記ディスプレー装置は、表示されている映像が治療対象患部および／または術者の手許などの撮影対象を表示していないことを映像の画素を認識して検知し、一定時間以上にわたり状況が改善しない場合に、自動で別の映像の表示に切り替わることが可能な請求項１〜２３のいずれかのカメラシステム。
前記中央ユニット基体および前記周囲ユニット基体は、前記中央カメラおよび前記周囲カメラの近傍に撮影対象までの距離を光学的に計測する距離計測装置を備え、前記モニター機構に備えるCPUに距離情報を伝達し、該CPUはこの距離が突然に大きく変化し、一定の時間に渡って距離が復帰しないことを検知したときに、撮影対象が撮影されていないものと判定し、前記ディスプレー装置の映像を自動で別のカメラの映像の表示に切り替えることが可能な請求項１〜２４のいずれかのカメラシステム。
前記録画ユニットおよび前記録音装置は、記録された映像の画像情報、音声情報を機械的に自動認識し、データの時間情報にタグ情報を付加することで、タグ情報に基づいて記録の時間情報を検索可能とし、該当する時点からの再生を可能とする請求項９のカメラシステム。