JPWO2013073061A1 - 撮影装置及び撮影システム - Google Patents

Abstract

体外から体内へ刺し通される管状体に挿通可能なように形成されたアームの先端に複数の撮影ユニットが配列されたカメラアレイを備えた撮影装置であって、前記カメラアレイは、前記複数の撮影ユニットを前記アームの延長上に配列させる整列位置と前記アームの側方に向けて配列される展開位置との間で変位可能に設けられたものである前記撮影装置。

Description

本発明は、体内の撮影が可能な撮影装置及び撮影システムに関するものである。

体表に小さな孔を開けて腹腔内に挿入した硬性鏡に視野を用い、他に２ヶ所体表に開けた小孔から手術用器具を使って手術を行う、いわゆる腹腔鏡下手術という手術手技は、１９９０年代に登場して胆嚢摘出手術に利用されるようになった。それ以来、この手術は徐々にその他の手術領域でも応用されるようになり現在では多岐にわたる手術手技が開発されるようになった。
しかしながら、硬性鏡により得られる視野は年を経るに従って画質が向上したものの（特許文献１、２参照）、あいかわらず硬性鏡の先端に位置するレンズにより捉えられた映像は、それ自体の視野が狭く、見る方向も制限され、硬性鏡手術開始当時以来とあまり大きな変化がないのが現実である。狭い視野のなかで手術手技を行うことにより、視野から外れた部位で生じた出血に気がつかなかったり、視野外で手術器具を軟組織に接触させて損傷したりする事故は現在でも後をたたない。このような状況のなかでわれわれは腹腔内にいながらできる限り広い視野を確保し、自由に視点を移動できて、かつバーチャルリアリティー技術を利用して腹腔内の状況をリアルタイムかつ４次元的（時空間的）に把握することが可能な、新しい方式の硬性鏡手術、及びロボット手術用カメラシステムの開発を試みた。

特開２００１−０４５４７２号公報 特開２００７−１３５７５６号公報

本発明は、上記の事情に鑑みてなされたものであり、腹腔内にいながらできる限り広い視野を確保し、カメラの物理的な移動を伴わずに自由に視点を移動できて、かつバーチャルリアリティー技術を応用して腹腔内の状況をリアルタイムかつ４次元的（時空間的）に把握することが可能な、新しい方式の硬性鏡手術、及びロボット手術用カメラシステムを提供することにある。

そこで本発明は、体外から体内へ刺し通される管状体に挿通可能なように形成されたアームの先端に複数の撮影ユニットが配列されたカメラアレイを備えた撮影装置であって、前記カメラアレイは、前記複数の撮影ユニットを前記アームの延長上に配列させる整列位置と前記アームの側方に向けて配列される展開位置との間で変位可能に設けられたものである前記撮影装置を提供する。
前記アームの先端には、複数の前記カメラアレイを設けてもよい。
また、前記複数の撮影ユニットの配列は展開位置で弧状をなすことが好ましい。
また、本発明の撮影装置は、隣り合う２つの前記撮影ユニットからの画像信号を基にしてステレオ画像を形成してもよい。
さらに、本発明の撮影装置は、前記複数の撮影ユニットから取得される視点の異なる複数の被写体画像を基にして、被写体中に含まれる対象物体の３次元モデルを生成する３次元モデル生成手段を備えることもできる。
さらに、本発明の撮影装置は、前記カメラアレイは、ＳＭＡアクチュエータを介して互いに連結された複数の可動片を有し、前記ＳＭＡアクチュエータの作動時に隣り合う可動片が傾斜して前記可動体が弧状に撓曲し、それぞれの前記可動片上に配置された撮影ユニットが撓曲時に弧の中心側の所定ポイントを向くようにしてもよい。
また、本発明の撮影システムは、上記の撮影装置と、この撮影装置に設けられた複数の撮影ユニットからの画像信号に基づいて形成された視点の異なる複数の画像を表示する画像表示装置とを有することを特徴とする。
本発明の撮影システムは、隣り合う２つの前記撮影ユニットからの画像信号を基にしてステレオ画像を形成するステレオ画像生成手段と、前記ステレオ画像を表示する表示制御手段とを備えてもよい。
さらに、本発明の撮影システムは、前記視点の異なる複数の画像に基づき、被写体に含まれる対象物体の３次元モデルを生成する３次元モデル生成手段と、前記３次元モデルに基づきユーザによって任意に選択された視点から観察される前記対象物体の画像を表示する表示制御手段とを備えてもよい。

図１は、第１〜第８カメラを配列したカメラモジュールを概略的に示した説明図である。
図２は、カメラアレイが整列位置に位置する撮影装置を説明する説明図である。
図３は、カメラアレイが外側に開かれた撮影装置について説明する説明図である。
図４は、カメラアレイが展開位置に位置した撮影装置について説明する説明図である。
図５は、カメラアレイが展開位置に位置した撮影装置について説明する説明図である。
図６は、可動片とその周囲を斜めから観察した斜視図である。
図７は、可動片を、光軸を含む面で可動片の配列方向と略垂直な方向に可動片を切断した断面図である。
図８は、ＳＭＡアクチュエータを備えた可動片の動きについて示した説明図である。
図９は、本発明の撮影装置の電気的な構成について示した機能ブロック図である。
図１０は、本発明の撮影システムを概略的に示した説明図である。
図１１は、デジタルカメラを８機並べた７倍スケールモデルの斜視図である。
図１２は、ＣＭＯＳカメラモジュールの概観を示した図である。
図１３は、カメラアレイを用いて対象臓器を撮影している図である。
図１４は、第１〜第８カメラによって取得された被写体画像である。
図１５は、第３カメラＣ３および第４カメラＣ４によって取得された被写体画像から生成されたステレオ画像である。
図１６は、生成された３次元モデルを基にして形成された仮想的な画像である。

２ 撮影装置
４ アーム
６ 第１カメラアレイ
７ 第２カメラアレイ
８ａ〜８ｈ 可動片
１０ 撮影ユニット
１２ 照明光源
１５ レンズ
１７ 画像センサ
２２ ヒンジ（移動制御手段）
３２ 弾性支持体
３５ 牽引ワイヤ
３７ コイルバネ
４０ ＳＭＡアクチュエータ
５０ 中央制御部
５８ ステレオ画像生成部（ステレオ画像生成手段）
６０ ３次元モデル生成部（３次元モデル生成手段）
６４ 通信インターフェース
１００ 画像表示装置
１０２ 表示画面

１．本発明の概要
本発明は、体外から体内へ刺し通される管状体に挿通可能なように形成されたアームの先端に複数の撮影ユニットが配列されたカメラアレイを備えた撮影装置であって、前記カメラアレイは、前記複数の撮影ユニットを前記アームの延長上に配列させる整列位置と前記アームの側方に向けて配列される展開位置との間で変位可能に設けられたものである前記撮影装置である。
本発明の撮影装置において、上記整列位置と展開位置との間の変異は、カメラアレイの移動を制御する移動制御手段により実行される。
ところで、腹腔鏡の視野の制限の大きな原因は腹腔鏡下手術自体の手技に由来する。つまり体表に空けた小孔に装着したトロカール（管状体）から腹腔に挿入した腹腔鏡の視野はトロカールを中心として腹腔内を扇状に眺めまわすような視野に限られてしまう。また気腹して腹腔内の空間領域をできるだけ大きくはするものの、手術対象となる臓器と腹腔鏡先端のレンズとの距離を充分とれないこともあり、結果的に狭い視野しか得られない場合が多い。
そこで本発明者は、対象臓器を中心とした円弧上に一定の角度の間隔で臓器を取り囲むような配置をとることのできる複数の小型ビデオカメラの集合体を考案した。ただしこのような配置をした多視点カメラアイをそのまま腹腔内に挿入することは困難であるため、これらのカメラは図１ａに示すように左右２列に分割され、かつカメラを固定する部材をフレキシブルにすることにより全体を硬性鏡のように棒状の形状に変形した状態でトロカールを経て腹腔内に挿入されるものとした。挿入されたカメラ群は、例えばユーザによって操作される展開用ワイヤを体外から引くことにより、腹腔内で円弧上に配置されるものとした（図１ｂ）。図１は８個のカメラを搭載した態様について示す。その際、各カメラの位置を円弧上に正しく配置するために、例えば、各カメラが載った隣同士のアセンブリの側面がワイヤの張力によって接触し、規則性のあるカメラアレイの位置設定で配置し、円弧の形状で固定されるように設計した。また腹腔から離脱する際には展開用のワイヤを緩め、折り畳み用のワイヤを引いて元の棒状の形状に戻せるものとした。
本発明の撮影装置は、トロカールを通して体内に挿入できるように、撮影装置の先端形状を細長い棒状に変形でき、体内に挿入された後に、視点の異なる複数の画像を取得できるように、体内でカメラを円弧状に展開し異なる位置に配置して体内を撮影するものである。各画像センサからは画像信号が出力され、これらの画像センサからの画像信号に基づいて、視点の異なる複数の被写体画像を形成することができる。視点の異なる複数の被写体画像のうち、ペアになる２つの被写体画像を用いることにより多方向からの立体画像（ステレオ画像）を簡単に形成することができるものである。
以下に本発明のより具体的な態様について述べる。
２．多視点カメラ
図２は整列位置に配置された２つのカメラアレイを有する撮影装置を概略的に説明する模式図である。また、図３はカメラアレイが外側に開いた撮影装置の説明図であり、図４は外側に開いたカメラアレイが弧状に撓曲した撮影装置の説明図である。図５は、４つのカメラアレイを展開したときの図である。
図２〜４に示すように、本発明の撮影装置２は、アーム４、第１、第２カメラアレイ６、７を備え、第１、第２カメラアレイ６、７はアーム４の先端に配置されている。各カメラアレイ６、７は複数の可動片８を有し、第１カメラアレイ６は第１〜第４可動片８ａ〜８ｄ、第２カメラアレイ７は第５〜第８可動片８ｅ〜８ｈを有する。アーム４は細長く形成され、その先端には細長く形成されたカメラアレイ６、７がヒンジ２２を介して設けられている。アーム４、各カメラアレイ６、７が細長く形成されることにより、患者に刺し通されたトロカールなどの管状体を通して、撮影装置２を患者の体内に導入することができる。また、カメラアレイの数は２つに限定されるものではなく３つ以上を設けることができる。図５は４つのカメラアレイを展開したときの図である。カメラアレイは図３のように直線状に展開してもよく、図４のように弧状に撓曲させて、半球面に沿ってアレイが位置する形状（例えば傘を開いたときの骨組み部分のような形状）に展開させることもできる。
図６はカメラアレイ６、７を構成する可動片と、この可動片に備えられた撮影ユニット等を説明する説明図である。また、図７は可動片を、光軸を含む面で可動片の配列方向と略垂直な方向に可動片を切断した断面図である。ここでは一例として可動片８ｂを図示した。図６、７に示すように、各可動片８ａ〜８ｈはそれぞれ撮影ユニット１０、及び照明光源１２を備える。撮影ユニット１０は、被写体と対面するレンズ１５、このレンズ１５の像面側に位置する画像センサ１７、画像センサ１７からの信号を増幅しデジタル化して画像データを形成する信号処理回路が設けられた回路基板２０を備える。画像センサ１７としては、例えば、ＣＭＯＳ画像センサやＣＣＤ画像センサを用いることができ、中でもＣＭＯＳ型の画像センサを用いることにより消費電力や外形サイズを抑えることができる。また照明光源１２としてはＬＥＤ光源が好ましく、ＬＥＤ光源を用いることにより可動片のコンパクト化、高輝度化、及び低消費電力化ができる。なお、図示はしていないが、撮影ユニット１０に、必要に応じてシャッタ機構や、アイリス、変倍機構を組み込んでもよい。これらの機構を撮影ユニットに組み込むことによって、よりクオリティの高い画像を取得することが可能となる。
それぞれのカメラアレイ６、７は、例えば移動制御手段であるヒンジ２２を介してアーム４に対して回動可能に取り付けられている（図２）。ヒンジ２２を介してアーム４に取り付けられた各カメラアレイ６、７は、自由端６ａ、７ａがアーム４の延長上に位置して各撮影ユニット１０がアーム４の延長上に配置された整列位置（図２参照）と、各カメラアレイ６、７の自由端６ａ、７ａがヒンジ２２を介してアーム４の両サイドに位置して各撮影ユニット１０がアーム４の側方に拡がるように配置された展開位置（図３、図４参照）との間で移動することができる。各カメラアレイ６、７は、ユーザの操作によって整列位置と展開位置との間で移動を制御してもよいし、サーボモータなどの各種モータを用いて移動を制御してもよいが、ここでは牽引ワイヤ３５をユーザが引っ張ることで各カメラアレイ６、７が整列位置から展開位置に移動し、牽引ワイヤを弛めることで各カメラアレイ６、７が展開位置から整列位置に復帰する構造とした。それぞれのカメラアレイ６、７が展開位置に位置すると、各可動片８ａ〜８ｈに備えられたレンズ１５が露呈する。
各カメラアレイ６、７において、可動片８の撮影ユニット１０は、好ましくはカメラアレイ６の固定端側から自由端側へ向かって略等間隔を隔てて配列される。レンズ１５の近傍には照明光源１２が設けられ（図６参照）、これにより暗い体内を明るく照らして撮影することができる。隣り合うレンズ１５との光軸間の距離は特に制限しないが、５〜１００ｍｍ、好ましくは１０〜７０ｍｍの範囲内で定めるのが好ましい。この距離とすることにより人間の両眼で観察したときと同様の立体画像を取得することができる。これは、隣り合う撮影ユニット１０のうち、一方の側の撮影ユニット１０で左眼用の被写体画像を取得し、他方の側の撮影ユニット１０で右眼用の被写体画像を取得することから可能となる。また、隣り合っていなくても、例えばアーム４側から数えて第１番目の撮影ユニット（可動片８ａ又は８ｄに搭載された撮影ユニット）と第３番目の撮影ユニット（可動片８ｃ又は８ｇに搭載された撮影ユニット）とで取得した被写体画像を左眼用画像及び右眼用画像とすることによって、自由な視点からの好ましい立体感に富むステレオ画像データを形成することもできる。
各可動片８ａ〜８ｈは、例えば、弾性支持体３２及びコイルバネ３７を介して接続することができる。弾性支持体３２は中空管状に形成され、各可動片８ａ〜８ｈに備えられた後述する回路基板２０（図７参照）からアーム４へ向かうハーネスやケーブルが内側に通されている。各可動片の間に介在するコイルバネ３７は両端がそれぞれ可動片に固定され、可動片の移動に応じて付勢力を付与するように構成されている。
図２や図６に示すように、各可動片８ａ〜８ｈの間には、牽引ワイヤ３５が通されたバイアス用のコイルバネ３７を被写体側に配置し、像側にはフレキシブルに撓曲可能な弾性支持体３２を配置することができる。牽引ワイヤ３５の一端はユーザが引っ張れるようにアーム４の端部から露呈し、牽引ワイヤ３５は各可動片８ａ〜８ｃ、８ｅ〜８ｇを通され他端が可動片８ｄ及び８ｈに固定されている。各可動片の間にはバネ３７が設けられ、牽引ワイヤ３５はこのバネ３７内を通される。この構成により、ユーザが牽引ワイヤ３５の一端を引っ張ると、他端に固定された可動片８ｄ、８ｈがバネ３７の付勢力に抗して牽引され、隣り合う可動片の被写体側の間隔が像面側の間隔よりも狭まり、図４に示すように各カメラアレイ６、７は弧状に変形する。このとき、各可動片８ａ〜８ｈのレンズ１５の光軸は弧の内側の所定の位置に向けられる。これにより被写体中の対象物体について異なる角度から撮影することができる。より詳しく説明すると（図４）、アーム４にヒンジ２２を介して回動可能に取り付けられた可動片８ａ、８ｅの隣に位置した第２可動片８ｂ、８ｆの像側はフレキシブルな弾性支持体３２によって支えられているため、可動片８ａ、８ｅとの間隔は像側よりも被写体側の方が小さくなるよう可動片８ｂ、８ｆが変移する。結果として、可動片８ｂ、８ｆに備えられたレンズ１５の光軸が内側を向くように第２可動片８ｂ、８ｆは変移する。同様に、可動片８ａ、８ｅから数えて３つ目の可動片８ｃ、８ｇも、可動片８ｂ、８ｆに対して弾性支持体３２及びバイアス用コイルバネ３７を介して取り付けられており、このためこの可動片８ｃ、８ｇに備えられたレンズ１５が可動片８ｂ、８ｆよりもさらに内側を向くように可動片８ｃ、８ｇは変移する。また、同様に、可動片８ａ、８ｅから数えて４つ目の可動片８ｄ、８ｈのレンズ１５が可動片８ｃ、８ｇよりもさらに内側を向くように、可動片８ｄ、８ｈは変移することができる。
上記では牽引ワイヤ３５をユーザが直接引っ張り操作して各カメラアレイ６、７を弧状に変形させたが、ＳＭＡアクチュエータを用いて各カメラアレイ６、７を弧状に変形させてもよい。図８は、第１可動片８ａに支持体を介して変位可能に支持された第２可動片８ｂの動きについて説明する説明図である。一例として、可動片８ａと可動片８ｂとの間を部分的に示す。図８（ａ）に示すように、例えば、牽引ワイヤ３５の一端を可動片８ａに設けられたＳＭＡコイルバネ４０に接続し、牽引ワイヤ３５の他端を可動片８ｂに固定する。ＳＭＡコイルバネ４０が通電されると、図８（ｂ）に示すように、可動片８ａと可動片８ｂとの被写体側の間隔が像側の間隔よりも狭まり、可動片８ｂの被写体側が可動片８ａに引き寄せられる。このような仕組みを各稼動片８ｃ〜８ｈにも用いることにより、各カメラアレイ６、７を弧状に変形することも可能である。ＳＭＡアクチュエータ４０は一般的に知られているものを用いることができ、例えばコイル状に巻かれて形成され、通電して変態温度以上になるとコイルが収縮する。このように、ＳＭＡアクチュエータを用いて各カメラアレイを弧状に変形させることもできる。
ユーザによる牽引ワイヤ３５の引っ張りが解除されると、牽引ワイヤ３５の引張力よりもバイアス用コイルバネ３７の付勢力の方が大きくなり、牽引ワイヤ３５が通されたバイアス用コイルバネ３７の付勢力によってバイアス用コイルバネ３７の両サイドに位置する可動片が離間して各カメラアレイ６、７は図２に示すような整列位置に復帰する。これにより、隣り合う可動片８ａ〜８ｄ、８ｅ〜８ｈのレンズ光軸Ｐ（図７）が略平行をなす状態に戻る。各カメラアレイ６、７を展開位置から整列位置に移動させることにより、各カメラアレイ６、７が棒状になりトロカールを通して体内から引き抜くことが可能となる。
上記では、ヒンジ２２を介してアーム４に第１可動片８ａ、８ｅを回動可能に取り付けたが、可動片との間に設けたのと同様に、ヒシジの代わりにＳＭＡアクチュエータを用いて各カメラアレイを整列位置と展開位置との間で移動させてもよい。ＳＭＡアクチュエータを使用して可動片を整列位置と展開位置との間で移動させることにより、棒状にカメラアレイが閉じられた状態で撮影装置をトロカールを通して体内に挿入し、各カメラアレイが体内に挿入された後にカメラアレイを展開位置に移動させて視点の異なる複数の被写体画像を取得することができる。このとき、展開位置に位置する各カメラアレイの位置を予め計測し、各レンズ間の距離や隣り合う撮影ユニットに備えられるレンズの光軸によって形成される輻輳角や基線長などを予めデータとしてＲＯＭに記憶することで利便性が向上する。
３．撮影装置
図９は本発明の撮影装置の電気的な構成について概略的に示した機能ブロック図である。図９のブロック図に示すように、撮影装置２は、中央制御部５０、ＲＯＭ５２、ＲＡＭ５４、記憶部５６、ステレオ画像生成部（ステレオ画像生成手段）５８、３次元モデル生成部（３次元モデル生成手段）６０、通信インターフェース（以降、通信Ｉ／Ｆと省略する）６２、信号処理回路７０、Ａ／Ｄ変換器７２、操作インターフェース（以降、操作Ｉ／Ｆという）７４、画像処理部８０、特徴抽出部８４等を備える。ＲＯＭ５２には撮影装置２で使用される様々なプログラムが予め格納され、プログラムの使用時には各プログラムがＲＡＭ５４に読み出されて使用される。記憶部５６は記録媒体などにアクセスして画像データの記録等を行う。
レンズ１５からの被写体の光学像がＣＭＯＳイメージセンサ等の画像センサ１７の受光エリア上に結像され、画像センサ１７からの画像信号は信号処理回路７０に送られる。信号処理回路７０は画像信号の増幅するアンプや増幅された画像信号を補正するゲイン補正回路を含み、画像信号を増幅し補正する。信号処理回路７０で増幅され補正された画像信号はＡ／Ｄ変換器７２でアナログ信号からデジタル信号に変換され、画像データとして画像処理部８０に送られる。画像処理部８０に入力された画像データは、輪郭、ホワイトバランス、輝度、コントラストなどが補正され、記憶部５６に記憶される。
記憶部５６に記憶される画像データは、例えば撮影毎に整理して記憶され、それぞれの撮影ごとに第１〜第８の撮影ユニット１０によって取得された視点の異なる複数の被写体画像がひとまとまりとして区分けされて記憶される。区分けして記憶する場合には、撮影ごとにフォルダを作成し、このフォルダ内に例えば第１〜第８撮影ユニット１０によって撮影される８つの画像を格納することで撮影毎に整理して画像データを記憶することができる。
ステレオ画像生成部５８は、記憶部５６に撮影毎にまとめられて記憶された視点の異なる複数の被写体画像のうち、例えば隣り合った２つの撮影ユニット１０からの被写体画像データを用いて被写体の画像を立体的に表示できるステレオ画像データを形成する。２つの被写体画像データのうち、例えば左側に位置する撮影ユニットで取得された被写体画像を左眼用画像とし、右側に位置する撮影ユニット１０で取得された被写体画像を右眼用画像として、後述する画像表示装置にこれら右眼用の被写体画像と左眼用の被写体画像とを表示することで、ユーザに立体感のある被写体を表示することができる。
より立体感に富む画像をユーザに表示したい場合には、視差（パララックス）がより大きく生じるように、例えば第１可動片８ａの撮影ユニット１０と第３可動片８ｃの撮影ユニット１０とで取得された被写体画像データを用いてステレオ画像データを形成することにより、より立体感に富む被写体画像をユーザに表示することが可能となる。
３次元モデル生成部６０は、各撮影ユニット１０からの画像データに基づき、３次元モデル（３次元形状データ）を生成する。３次元モデルの形成方法は様々あるが、例えば、ステレオ法、視体積交差法、因子分解法が従来からよく知られており、いずれを用いて３次元モデルを生成してもよい。例えばステレオ法では、視点の異なる複数の被写体画像のそれぞれについて、特徴抽出部８４で特徴を抽出する。特徴の抽出手順は従来から知られているものでよく、輝度、コントラスト、輪郭等の情報を適宜用いて算出するとよい。特徴抽出部で抽出された各特徴ポイントに対応するポイントを書く画像間で特定し、三角測量の原理を用いてそのポイントまでの距離を求める。これは、カメラアレイ６、７上の各撮影ユニット１０の位置情報はＲＯＭ５２に予め格納されており、この位置情報と、被写体における対象物体上の特徴点に対する角度情報とから対象物体の特徴ポイントまでの距離を求めることができ、これにより対象物体の３次元モデルを生成することができる。これにより、術野全体の立体構造の把握、手術機器の術野全体に対する絶対的位置の把握をすることができる。
また、ステレオ法以外にも視体積交差法を用いてもよい。視体積は視点を頂点とし対象物体のシルエットを断面とする錐体であり、視体積交差法では、全視点における対象物体の視体積の共通部分を求めて対象物体のモデルを生成する。このため、異なる位置に配置された複数の撮影ユニットで撮影した画像から対象物体のシルエットを抽出してシルエットの交わりを計算する。上記のステレオ法や視体積交差法以外の３次元モデルの生成法として因子分解法を用いてもよい。生成された３次元モデルは、記憶部５６に格納される。
３次元モデルを用いることにより、ユーザは自在に視点を変えて被写体に含まれる対象物体を観察することができるため、例えば、手術などで様々な仮想的な視点から対象物体をじっくり観察したい場合には、視点を任意に定めて３次元モデルに基づき画像を形成し、後述する画像表示装置に表示するとよい。
通信Ｉ／Ｆ６２は、記憶部５６に記憶された視点の異なる複数の画像データ、ステレオ画像データ、３次元モデル（３次元形状データ）を外部に送信する。外部へのデータ送信に際しては、データを変調して無線信号を形成し図示しないアンテナより送信する。通信Ｉ／Ｆ６２より送信された無線信号は例えば図１０に示す画像表示装置によって受信される。
４．画像表示システム
図１０は本発明の撮影装置とこの撮影装置と通信可能に接続された画像表示装置とを有する画像表示システムの構成を示した模式図である。画像表示システムは、撮影装置２及び画像表示装置１００によって構成され、撮影装置２と画像表示装置１００とは情報伝達ができるように接続されている。画像表示装置１００としては、デスク上に載置されるディスプレイのほか、ディスプレイを備えたパーソナルコンピュータ、表示画面を備えた携帯型の電子機器、ユーザの頭部に装着され左眼用の小型液晶パネルと右眼用小型液晶パネルを備えたヘッドマウントディスプレイなど、撮影装置と通信して画像を表示できるものであればどのようなものでもよい。
画像表示装置１００は画像表示面１０２、図示しない表示制御部、通信Ｉ／Ｆを備え、表示制御部は画像表示面１０２上に表示される画像を制御する。画像の表示態様としては、例えば、表示制御部１０２は視点の異なる複数の被写体画像を画像表示面１０２上に並べて表示したり、一部を重ねて表示することができ、この中からユーザによって選択された被写体画像を拡大表示することもできる。
さらに、３次元モデルに基づいて被写体中の対象物（一例として、肝臓など体内の臓器）を表示し、３次元モデルに基づく画像は自在に視点を変えることができる。
また、ステレオ画像データに基づき、画像表示面１０２上に右眼用の画像と左眼用の画像とを並べて表示してユーザに被写体の立体画像を示すこともできる。ヘッドマウントディスプレイを利用する場合には左眼用の表示パネルに左眼用の画像を表示し、右眼用の表示パネルに右眼用の画像を表示してユーザにステレオ画像を提供することができる。
次に本発明の作用について説明する。例えば、患者の体外から体内に刺し通されたトロカール内を通して撮影装置２の先端を体内に挿入するため、第１〜第４可動片８ａ〜８ｄに第５〜第８可動片８ｅ〜８ｈを対向させて第１〜第８可動片８ａ〜８ｈを棒状にする。これによりトロカールを通して第１〜第８可動片８ａ〜８ｈを体内に挿入することができる。第１〜第８可動片８ａ〜８ｈが体内に挿入された後、第１、第５可動片８ａ、８ｅがアーム４に対して回動し、これに伴って第１、第５回動片８ａ、８ｅに連結された第２〜第４可動片８ｂ〜８ｄ、第６〜第８可動片８ｆ〜８ｈが互いに離間するように変移する。
それぞれの可動片に備えられたＳＭＡアクチュエータ４０が作動すると牽引ワイヤ３５が引っ張られ、第１〜第８可動片８ａ〜８ｈに備えられたそれぞれのレンズ１５が所定の場所を向く。第１〜第８可動片８ａ〜８ｈのＳＭＡアクチュエータ４０が作動して各レンズ１５がカメラアレイ６、７に対して予め定められた場所に向けられると、被写体の撮影が可能となる。第１〜第８可動片８ａ〜８ｈに備えられた撮影ユニット１０を用いて被写体を撮影すると、例えば視点の異なる８つの被写体画像を取得することができる。
この視点の異なる８つの被写体画像のうち、隣り合う可動片に設けられた画像センサ１７からの画像データを基にして立体的に表示するステレオ画像データを形成することができる。また、視点の異なる複数（図２〜４では最大８つ）の画像に基づいて被写体中の対象物体に関する３次元モデルを生成することができる。対象物体の３次元モデルを生成することにより、例えばユーザが指定する任意の視点から対象物体を観察した仮想的な画像を表示装置１００の画像表示画面１０２上に表示することが可能となる。
撮影装置２を体内から引き抜くときは、展開位置に位置する第１〜第８可動片８ａ〜８ｈを閉じ位置に変移させて装置の先端を棒状にする。第１〜第８可動片８ａ〜８ｈを閉じ位置に移行させるときは、ＳＭＡアクチュエータ４０の通電をカットして各カメラアレイ６、７の形状を直線状にし、第１、第５可動片８ａ、８ｅのレンズ１０が対向するように向かい合わせることにより、第２〜第４、第６〜第８可動片がアーム４の延長上に配列させることができ、撮影装置２の第１、第２カメラアレイ６、７を棒状へ移行させることができる。このように各カメラアレイ６、７を開いた展開位置から閉じた整列位置に移行させることにより、トロカール内を通して撮影装置２の先端部を体内から引き抜くことができる。
また、上記では、撮影装置２側でステレオ画像、及び３次元モデルを生成し、撮影装置２と通信可能に接続された画像表示装置１００の表示画面１０２上にステレオ画像、３次元モデルに基づく画像を表示したが、ステレオ画像の生成や３次元モデルの生成は撮影装置２で行わずに画像表示装置側で実施してもよい。例えば、画像表示装置として、画像処理回路を有するコンピュータ装置を用いる場合は、撮影装置で取得した視点の異なる複数の被写体画像をコンピュータ装置に送信し、コンピュータ装置は受信した画像を基にしてステレオ画像や３次元モデルを形成して表示画面上に表示する。ステレオ画像や３次元モデルの生成には比較的高い計算能力が要求されるため、高い計算能力を有したコンピュータ装置に本発明の撮影装置を接続させることにより、よりスムーズに複数の被写体画像、ステレオ画像、３次元モデルに基づく画像を表示することができる。
また、上記の実施形態ではカメラアレイ６、７を弧状に変形させたが、この機構を省いてより簡便な装置としてもよい。例えば、カメラアレイが図３に示す状態のときに各レンズが所定の場所を向くように各撮影ユニット１０の向きを予め定めておくことにより、各カメラアレイを弧状に変形させることなく複数の被写体画像を取得することもできる。
以上のように、本発明の撮影装置及び画像表示システムによれば、体内に挿入されるアーム（支持部材）の先端に、一端を中心として回動可能に設けられたカメラアレイと、前記カメラアレイの固定端側から自由端側に所定の間隔を隔てて前記カメラアレイ上で列をなし、前記カメラアレイに対して予め定められた場所に向けられる複数のカメラと、前記カメラアレイの自由端を前記アームの延長上に位置させて前記複数のカメラを前記アームの延長上に配列させる整列位置と、前記カメラアレイを前記整列位置から回動させて前記複数のカメラを前記アームの側方に配列させる展開位置との間で前記カメラアレイの移動を制御する移動制御手段とを備えたことにより、カメラアレイを整列位置に位置させることでトロカールなどの管状体を通して体内にカメラアレイを挿入し、挿入されたカメラアレイを展開位置に移動させて複数のカメラを用いて視点の異なる複数の被写体画像を取得することができる。この視点の異なる複数の被写体画像を取得することにより、ステレオ画像の生成、３次元モデルの生成が可能となる。生成されたステレオ画像は、例えばユーザに左眼用画像および右眼用画像として見せることにより、ユーザに立体感に富む被写体画像を表示することができる。また、生成された３次元モデルを基に、ユーザが任意に選択した視点から被写体に含まれる対象物体を観察した画像を表示することができるため、所望する対象物体についてユーザが観察したい部分を的確に表示することができ、利便性の高いシステムを提供することができる。

本発明者は本発明の撮影装置を製作し、検証した。
開発段階ではまず腹腔内で必要なカメラの視点数、配置する角度、各カメラの適正な視野角を得るために通常のデジタルカメラを用い、図１１に示すような７倍のスケールサイズのモデルを試作して設計すべき多視点カメラシステムの構造を決定した。このシステムは第１〜第８カメラＣ１〜Ｃ８の８つのデジタルカメラを使用し、これらのデジタルカメラを半径６５ｃｍの半円状のカメラマウントに等間隔に配置した７倍スケールのモデルであり、この考案したシステムを通して基本性能を検討した。これにより視点の異なる８つの被写体画像を取得でき、さらに、隣り合ったカメラによって取得される画像のペア、例えばカメラＣ１とカメラＣ２とによって取得される１対の被写体画像（以降、ステレオ画像という）をＳＴ１とし、同様にカメラＣ２とカメラＣ３とによって取得されるステレオ画像をＳＴ２として８つのカメラを用いてＳＴ１〜ＳＴ７までの７つのステレオ画像を取得することもできる。
この試作をもとに、図１２に示すような解像度が１０２４ｘ７６８であるＣＭＯＳビデオカメラを８機使用し、図１に示すように、これらが棒状の状態（図１ａ参照）から例えば半径７ｃｍの円弧上に配置（図１ｂ参照）される多視点試作カメラを製作し、摘出臓器を用いた実験により、以下に示す視点移動機能、ステレオ立体視機能、４次元表示機能の検証を行った。
各ＣＭＯＳビデオカメラを駆動するための電気回路は１５ｘ１０ｍｍの基板にまとめた。それぞれのカメラ用の光源もこの基板上に配置することにより、対象臓器を均一に照明できるようにした。またこれらの基板への電源ライン、信号ラインは各カメラアセンブリ背後に位置するフレキシブルケーブルを用いることによりケーブルの量を減らし装置全体の小型化を図った。
画像表示機能の製作
自由な視点の獲得
図１３に示したような、腹腔内の対象物に対して円弧上に配置された８機のビデオカメラの視点を自由に選択することにより、腹腔内で物理的にカメラを移動させることなく、視野を変えることを可能とする機能を搭載し、図１４に示したように、同時に視点の異なる８つの被写体画像を取得することができた。また、各カメラは独立して稼動しているため、必要に応じ、術者が複数のモニターにより他方向から腹腔内を観察できる機能も持たせた。さらに隣り合ったカメラの視点を利用し、ステレオ視を可能とし（図１５参照）、８方向からのステレオ画像を任意に選択できるものとした（ＳＴ１〜ＳＴ７）。図１５は図１ｂに示した第３カメラＣ３と第４カメラＣ４とから取得された被写体画像から生成されたステレオ画像ＳＴ３の内容を示したものである。
時間変化を伴う腹腔内の立体構造の把握
また、図１６に示すように、８方向からの画像を用いて臓器の表面形状を計測し３次元モデルを生成して３次元形状として表示し、さらにその部分の色彩とテクスチャーをマッピングできる機能を搭載した。これにより手術の進行に伴い切開、焼灼、切除等によって変化する対象臓器（対象物体）の立体形状の時間的な変化の把握を可能とした。
結果
多視点カメラ
自由な視点の獲得とステレオ画像の獲得
図１５に摘出した肝臓と胆嚢を用いた実験により得られた８方向からの視点の画像が示され、各画像の位置は図１ｂに示すカメラ番号と対応している。結果的に半径７ｃｍ、中心角１６０°の円弧上の８視点から１０２４ｘ７６８の解像度で３０フレーム毎秒の画像を取得することができた。得られた画像は体外のコントロールユニットより任意の視点を選択してメインのモニターに表示し、カメラを物理的に体内で動かすことなく多くの視点から手術部位の臓器の状態を観察することが可能となった。またコントロールユニットにより８つのカメラ全ての画像を出力し、必要に応じてサブモニター群に表示して使用できることを確認した。
手術領域の四次元的情報の獲得
任意の時点での図１４に示したような８方向からの画像をキャプチャーし、その時の視野内の臓器表面形状を計測してサーフェスモデル化し、各ビデオ画像から得た色彩とテクスチャーを付加して、手術対象部位のその時点での立体構造を把握できるようにした。図１６に示すように、作成した立体構造はサブモニター上に表示し、インタラクティブに拡大・縮小、及び回転を行えるようにした。得られた立体画像上では対象臓器表面の形状だけでなく、付近に位置する手術器具の位置、形状も把握できることがわかった。
本発明については、実際の開発機の７倍モデルを用いて機能の検討を行い、このデータを用いて腹腔内で使用できるサイズの試験機を開発した。そしてブタから摘出した肝臓と胆嚢を用いてｉｎ ｖｉｔｒｏな実験を行い、得られる画像の持つ情報を確認し、その有用性を検討することができた。この結果、物理的なカメラの移動を伴わない自由な視点の獲得は、腹腔鏡下手術に新しい視点をもたらすことがわかった。また視点移動可能なステレオ画像による深さ方向の情報を持った視覚の獲得は、より安全な腹腔鏡下手術を可能にすることを確認した。
また８方向からのキャプチャー画像により得られる臓器の表面形状は、術野の立体的な変化を時系列に把握できる機能を持つことを確認し、かつ切除部分の位置や堆積などを定量的に計測することも可能であることがわかった。
また、この臓器表面形状の情報を基に、術前のＸ―ｒａｙ ＣＴ、ＭＲＩより得た対象臓器内部の血管、腫瘍などの胸像をキャプチャした術野画像上に重畳表示させることによって、腹腔鏡下手術、ロボット手術において、より多角的な情報を術者に与えることができる。
さらに、ある一定時間ごとに画像をキャプチャーして表面形状を構築する機能を持たせることにより、４次元的な術野の変化の情報を利用することができ、またこの構築した立体像と多視点の画像情報を常に時系列に記録することにより、偶発的に生じた事故や術者の熟練度などを定量的に検証する手段にもなり得る。

本発明により、体内の撮影が可能な撮影装置及び撮影システムが提供される。
本発明の撮影装置によれば、腹腔内に位置しながらできる限り広い視野を確保し、自由に視点を移動できて、かつバーチャルリアリティー技術を応用して腹腔内の状況をリアルタイムに４次元的に把握することが可能な、新しい方式の硬性鏡手術、及びロボット手術用のカメラシステムを提供することができる。

Claims (8)

1. 体外から体内へ刺し通される管状体に挿通可能なように形成されたアームの先端に複数の撮影ユニットが配列されたカメラアレイを備えた撮影装置であって、前記カメラアレイは、前記複数の撮影ユニットを前記アームの延長上に配列させる整列位置と前記アームの側方に向けて配列される展開位置との間で変位可能に設けられたものである前記撮影装置。
2. 前記カメラアレイが複数設けられたことを特徴とする請求項１に記載の撮影装置。
3. 前記複数の撮影ユニットの配列が展開位置で弧状をなすことを特徴とする請求項１又は２に記載の撮影装置。
4. 隣り合う２つの前記撮影ユニットからの画像信号を基にしてステレオ画像を形成するステレオ画像生成手段を備えたことを特徴とする請求項１〜３のいずれか１項に記載の撮影装置。
5. 前記複数の撮影ユニットから取得される視点の異なる複数の被写体画像を基にして、被写体中に含まれる対象物体の３次元モデルを生成する３次元モデル生成手段を備えたことを特徴とする請求項１〜４のいずれか１項に記載の撮影装置。
6. 請求項１〜３のいずれか１項に記載の撮影装置と、この撮影装置に設けられた複数の撮影ユニットからの画像信号に基づいて形成された視点の異なる複数の画像を表示する画像表示装置とを有する画像表示システム。
7. 隣り合う２つの前記撮影ユニットからの画像信号を基にしてステレオ画像を形成するステレオ画像生成手段と、前記ステレオ画像を表示する表示制御手段とを備えたことを特徴とする請求項６に記載の画像表示システム。
8. 前記視点の異なる複数の画像に基づき、被写体に含まれる対象物体の３次元モデルを生成する３次元モデル生成手段と、前記３次元モデルに基づきユーザによって任意に選択された視点から観察される前記対象物体の画像を表示する表示制御手段とを備えたことを特徴とする請求項６または７に記載の画像表示システム。