JP6529345B2

JP6529345B2 - 画像合成装置及び画像合成方法

Info

Publication number: JP6529345B2
Application number: JP2015113782A
Authority: JP
Inventors: 正久 ▲浜▼田; 正人緒方
Original assignee: Kripton Co Ltd
Current assignee: Kripton Co Ltd
Priority date: 2015-06-04
Filing date: 2015-06-04
Publication date: 2019-06-12
Anticipated expiration: 2035-06-04
Also published as: JP2017005288A

Description

本発明は、画像合成装置及び画像合成方法に関し、具体的には、複数のカメラで撮像した手術画像を合成する画像装置及び画像方法に関する。

手術映像を記録して残すことは、病院の資産として、学会発表の資料として、また、後進育成の資料としてなど、様々な場面での活用が期待される。さらに、手術中に医師、看護師が情報共有する上で、重要な役割を担っている。

特許文献１には、手術中の術部の画像情報を取得し、取得した情報を画像処理することにより、手術時の動画から患部に関する情報を得ることを可能とした医療画像記録装置が開示されている。

特開２０１１−０３６３７１号公報

上記特許文献１には撮像するためのカメラの配置について詳細な記載がないが、いかなる位置に配置したとしても、手術中は医師や看護師が動くため被写体である患部とカメラとの間に遮蔽物（医師の頭等）が介在する場合がある。

このように患部とカメラとの間に遮蔽物が入ると撮像した画像の一部が見えなくなるので、複数のカメラで患部を撮像することが考えられる。

しかしながら、複数のカメラで撮像した複数の画像を同時に表示しても、どのタイミングでどの画像のどの部分が見えなくなるかは予測困難であるため、資料としての画像の使い勝手が悪くなる。

本発明はこのような課題に鑑みてなされたものであり、その目的は、複数のカメラで撮像した複数の画像をより見やすく合成することができる画像合成装置を提供することにある。

上記課題を解決するために、本発明に係る画像合成装置は、複数のカメラが撮像した被写体の画像を合成して一の画像を出力する画像合成装置であって、第１カメラが出力する第１画像及び第２カメラが出力する第２画像が入力される画像入力部と、前記第１画像及び前記第２画像に基づいて合成画像を生成する画像統合部と、を備え、前記画像統合部は、前記第１カメラと前記被写体との間に介在する遮蔽物によって前記第１画像に遮蔽領域が発生しているか否かを判断し、前記第１画像に前記遮蔽領域が発生している場合には、前記第２画像によって前記遮蔽領域を補完して合成画像を生成する、ことを特徴とする。

本発明によれば、第１カメラと被写体との間に介在する遮蔽物によって第１カメラが出力する第１画像に遮蔽領域が発生している場合に、第２カメラが出力する第２画像によって遮蔽領域を補完することで、遮蔽領域のない手術映像を提供することができる。遮蔽領域のない手術映像により、医師や看護師は、手術中、最良の手術映像を共有しながら手術を行うことができる。また、煩雑な確認・編集作業を必要としない、使い勝手の良い資料として活用することができる。

本発明によれば、複数のカメラで撮像した複数の画像をより見やすく合成することができる。

本発明の実施形態に係る画像合成装置を有する手術映像記録システムの概略図である。本実施形態における画像合成の概念図である。本実施形態における画像合成の概念図である。本発明の実施形態に係る画像合成装置の構成を示すブロック図である。本発明の実施形態に係る画像合成処理を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

図１は、本発明の実施形態に係る画像合成装置を有する手術映像記録システムの概略図である。図１では、手術映像記録システムを設置した手術室内の状況を模式的に示している。

画像合成装置１０は、被写体の画像を撮像する複数のカメラＣ０、Ｃ１、Ｃ２と通信可能に接続される。複数のカメラＣ０、Ｃ１、Ｃ２は、各カメラが有するレンズの光軸が重ならないように、手術室内のライトＬに取り付けられ、撮像した画像を画像合成装置１０に出力する。術者の視点からの画像を撮像するカメラＣ０を、基準カメラと称する。本実施形態では、カメラＣ０が本発明の「第１カメラ」に相当し、カメラＣ１，Ｃ２が本発明の「第２カメラ」に相当する。

前述したように、被写体とカメラＣ０との間には遮蔽物として医師または看護師を含む人Ｍが介在する場合がある。画像合成装置１０は、カメラＣ０と被写体との間に介在する人ＭによってカメラＣ０が出力する画像に遮蔽領域が発生している場合に、他のカメラＣ１，Ｃ２が出力する画像によって遮蔽領域を補完して合成画像を生成する。

画像合成装置１０が生成した合成画像は、画像表示装置３０に出力される。画像表示装置３０は、ディスプレイ３０１を有している。画像合成装置１０から出力された合成画像は、ディスプレイ３０１に表示される。

図２及び図３は、本実施形態における画像合成の概念図である。図２においては、被写体Ｂ１とカメラＣ０との間に、遮蔽物Ｂ２が介在している。カメラＣ０が撮像した画像Ｍ０においては、被写体Ｂ１の一部が遮蔽物Ｂ２によって遮られていて遮蔽領域となっている。一方、カメラＣ１及びカメラＣ２が撮像した画像Ｍ１及び画像Ｍ２においては、被写体Ｂ１は遮蔽されずに撮像されている。

図２においては、空間上の点Ｐ_ｉは、画像Ｍ０においては点ｐ_ｉ ^０として映っており、画像Ｍ１においては点ｐ_ｉ ^１として映っており、画像Ｍ２においては点ｐ_ｉ ^２として写っている。本実施形態では、点ｐ_ｉ ^１及び点ｐ_ｉ ^２を点ｐ_ｉ ^０の位置に変換することで合成画像を生成している。

図３の（Ａ）に示される画像Ｍ１及び図３の（Ｃ）に示される画像Ｍ２を変換し、図３の（Ｂ）に示される画像Ｍ０を補完することで、図３の（Ｄ）に示される合成画像ＭＸが生成される。合成画像ＭＸにおいては、遮蔽物Ｂ２は画像から消えており、被写体Ｂ１の全体を映すことができる。

図４は、本発明の実施形態に係る画像合成装置１０の構成を示すブロック図である。画像合成装置１０は、カメラ画像入力部１０１と、最適カメラチャンネル判断部１０２と、画像補正・統合部１０３と、合成画像出力部１０４と、を備えている。

カメラ画像入力部１０１は、カメラＣ０、Ｃ１、Ｃ２から出力される画像Ｍ０、画像Ｍ１、画像Ｍ２を受け付ける。

カメラ画像入力部１０１から出力された画像データは、最適カメラチャンネル判断部１０２に入力される。最適カメラチャンネル判断部１０２は、最適カメラがどのカメラなのかを判断する。最適カメラチャンネル判断部１０２は、画像Ｍ０、画像Ｍ１、画像Ｍ２の遮蔽領域を検出する。次に、最適カメラチャンネル判断部１０２は、検出した遮蔽領域に基づく遮蔽率と中心偏移率とに基づいて、各カメラについて画像の適合率を算出する。

ここで、中心偏移率とは、遮蔽領域が画像Ｍの中心部にあるか端部にあるかに関する指標であり、例えば、画面対角距離の１／２を画素数でＲとし、画像中心から遮蔽領域の重心までの距離を画素数でＣとしたとき、中心偏移率＝Ｃ／Ｒ（０〜１までの値をとり、０のときに中心偏移率なし。）と定義することができる。

また、適合率については、例えば、適合率＝１−（遮蔽率×（１−中心偏移率））（０〜１までの値をとり、１のときに適合率が最良。）と定義することができる。

最後に、最適カメラチャンネル判断部１０２は、算出した適合率に基づいて、最適カメラを決定する。遮蔽率に加えて中心偏移率を考慮することで、画像の中心に撮像されると想定される被写体に関する遮蔽に対して、遮蔽率の重みづけをすることができる。

最適カメラチャンネル判断部１０２から出力された画像データは、画像補正・統合部１０３に入力される。画像補正・統合部１０３は、それらの画像データに基づいて合成画像を生成する。具体的には、最適カメラが基準カメラでない場合、画像補正・統合部１０３は、最適カメラの画像を基準カメラの視点に変換する。さらに、画像補正・統合部１０３は、最適カメラの画像に遮蔽領域が発生しているか否かを判断し、遮蔽領域が発生している場合には、最適カメラ以外の他カメラの画像を基準カメラの視点に変換して、変換した他カメラの画像によって最適カメラの遮蔽領域を補完して合成画像ＭＸを生成する。

画像補正・統合部１０３から出力された合成画像ＭＸの画像データは、合成画像出力部１０４に入力される。合成画像出力部１０４は、合成画像ＭＸの画像データを画像表示装置３０に出力する。

（画像合成処理）
続いて、図５を参照して、本発明の実施形態に係る画像合成処理を詳細に説明する。

ステップＳ３０１において、画像合成装置１０のカメラ画像入力部１０１が、カメラＣ０、Ｃ１、Ｃ２から出力される画像Ｍ０、画像Ｍ１、画像Ｍ２を受け付ける。

ステップＳ３０１に続くステップＳ３０２において、最適カメラチャンネル判断部１０２が、画像Ｍ０、画像Ｍ１、画像Ｍ２の遮蔽領域を検出する。遮蔽領域は、頭及び手とすることもできるし、手については手技を確認するための必要な画像であるとして、頭のみを遮蔽領域と定義することもできる。また、遮蔽領域の検出手法としては、手術用キャップ、及び手術用手袋の特性（色、形等）を用いることも考えられるし、他の手法を用いて遮蔽領域を検出することもできる。

ステップＳ３０２に続くステップＳ３０３において、最適カメラチャンネル判断部１０２は、検出した遮蔽領域に基づく遮蔽率と中心偏移率とに基づいて、各カメラについて画像の適合率を算出する。

ステップＳ３０４に続くステップＳ３０４において、最適カメラチャンネル判断部１０２は、算出した適合率に基づいて、最適カメラを決定する。適合率が最大のカメラを最適カメラとして決定する。尚、ステップＳ３０３及びステップＳ３０４を省略し、予め定められた基準カメラを最適カメラとみなして画像合成を実行してもよい。

ステップＳ３０４に続くステップＳ３０５において、画像補正・統合部１０３は、後述する座標変換処理によって、最適カメラ以外のカメラが撮像した画像を、基準カメラの視点に変換する。最適カメラが基準カメラでない場合、最適カメラの画像を基準カメラの視点に変換する。

ステップＳ３０５に続くステップＳ３０６においては、画像補正・統合部１０３が、ステップＳ３０２において検出した遮蔽領域が無くなるように、ステップＳ３０５において変換した画像を合成する。

ステップＳ３０６に続くステップＳ３０７において、合成画像出力部１０４は、画像補正・統合部１０３が生成した合成画像を出力する。

（事前処理）
本発明の実施形態に係る画像合成処理を行う前に、画像補正・統合部１０３は、カメラＣ１の画像Ｍ１から基準カメラであるカメラＣ０の画像Ｍ０へ変換する射影パラメータＨ_１、及びカメラＣ２の画像Ｍ２からカメラＣ０の画像Ｍ０へ変換する射影パラメータＨ_２を算出するために、各カメラＣのカメラ特性を表すカメラパラメータを決定する。

レンズの焦点距離、レンズ歪み、画像中心（光軸と画像面の交点）の座標等を含むカメラパラメータは、カメラＣで撮像した画像の特徴点と、３次元座標系内の特徴点の位置の対応関係から、計算によって求めることができる。例えば、画像補正・統合部１０３は、キャリブレーションパターンを撮像したカメラＣの画像から格子点の位置を検出して、検出した格子点の位置と３次元座標系の格子点の位置との対応関係から、カメラパラメータを計算することができる。

次に、画像補正・統合部１０３は、計算した各カメラＣのカメラパラメータに基づいて、射影パラメータＨ_１、及び射影パラメータＨ_２を算出する。最後に、画像補正・統合部１０３は、算出した射影パラメータＨ_１、及び射影パラメータＨ_２を用いて、カメラＣ１の画像Ｍ１、及びカメラＣ２の画像Ｍ２をカメラＣ０の視点に変換し、変換した画像をカメラＣ０の画像Ｍ０に重ねて、重畳した画像のずれが所定の閾値以内であるか否かを判断する。画像のずれが所定の閾値以内である場合には、画像補正・統合部１０３は、カメラパラメータ及び射影パラメータＨを記憶部（図示せず）に格納して事前処理を終了する。

（射影パラメータＨの算出方法）
図４に３次元空間上の点Ｐ_i（i：点の番号）と対応するカメラＣｋ（ｋ＝０、１、２）の画像の２次元点ｐ_ｉ ^ｋの関係を示す。３次元空間上の点Ｐ_iと画像上の点ｐ_ｉ ^ｋの間の関係について同次座標を用いてベクトル式で記述すると式（ｆ０１）となる。

ここで、行列Ｍ^ｋ _Ｉ、行列Ｍ^ｋ _ＥはそれぞれカメラＣｋの内部及び外部パラメータを示し、λ^kは奥行情報を示す不定値である。

式（ｆ０１）を要素に転換すると、式（ｆ０２）となる。

ここで、ｆ_ｘ、ｆ_ｙは焦点距離、ｃ_ｘ、ｃ_ｙは光軸の画像中心からのずれを示す座標値、Ｒ、ｔは３次元座標系からカメラ座標系への回転行列と平行移動ベクトルとをそれぞれ示す。

（射影パラメータＨの算出方法１：全ての対象点が平面上にある場合（弱透視投影））
このとき、弱透視投影による制限から点Ｐ_iのＺ値はＺ_i＝0となり、式（ｆ０２）は式（ｆ０３）のように簡略化される。

両辺をλ^kで割り、左辺のｘ_ｉ ^ｋ／λ^ｋ及びｙ_ｉ ^ｋ/λ^kを簡単のため再度ｘ_ｉ ^ｋ及びｙ_ｉ ^ｋと表記し、右辺の1/λ^kは行列Ｍ^ｋ _Ｉの中に入れ全体を射影変換行列Ｈ^kとまとめると、式（ｆ０４）となり、最終的に式（ｆ０５）となる。

また、カメラＣｍ（ｋ≠ｍ）に関しては、式（ｆ０６）より、カメラＣｍの画像とカメラＣｋの画像の画像間の対応は、式（ｆ０７）となる。

行列Ｈ^mは３行３列のマトリクスであるのでｄｅｔＨ^m≠0であれば逆行列が存在する。これが、カメラＣｍの画像からカメラＣｋの画像へ変換する射影変換行列Ｈ^m2kである。

内部パラメータ、外部パラメータとの関係で射影変換行列Ｈ^m2kを記述すると、式（ｆ０８）となる。

すなわち、カメラＣｋとカメラＣｍの内部パラメータと外部パラメータとが既知であれば、各カメラ画像間の射影変換行列を算出することができる。

（射影パラメータＨの算出方法２：一般の場合（すなわち制限のない透視投影））

両辺をλ^kで割り、左辺のｘ_ｉ ^ｋ／λ^ｋ及びｙ_ｉ ^ｋ/λ^kを簡単のため再度ｘ_ｉ ^ｋ及びｙ_ｉ ^ｋと表記し、右辺の1/λ^kは[r₁,r₂,r₃,t]の中に入れ全体を射影変換行列Ｈ^kとまとめると、式（ｆ１０）となり、最終的に式（ｆ１１）となる。

また、カメラＣｍ（ｋ≠ｍ）に関しては、式（ｆ１２）となる。

しかし、この場合、行列Ｈ^mは４行３列のマトリクスであるので、通常の逆行列の存在が保証されない。したがって、一般化逆行列である式（ｆ１３）を用いる。

これにより、カメラＣｍの画像とカメラＣｋの画像の画像間の対応は、式（ｆ１４）となる。

これが、カメラＣｍの画像からカメラＣｋの画像へ変換する射影変換行列Ｈ^m2kである。

内部パラメータ、外部パラメータとの関係で射影変換行列Ｈ^m2kを記述すると、式（ｆ１５）となる。

すなわち、カメラＣｋとカメラＣｍの内部パラメータと外部パラメータならびに不定項λ^k が既知であれば、各カメラ画像間の射影変換行列を算出することができる。

（座標変換処理）
画像補正・統合部１０３は、前述した合成画像を生成するために、カメラＣ１の画像Ｍ１、及びカメラＣ２の画像Ｍ２をカメラＣ０の視点に変換する。具体的には、オフライン時に記憶部に格納した射影パラメータＨ、及びカメラ画像入力部１０１からの画像を用いて、式（ｆ１６）、式（ｆ１７）に基づいてカメラＣ１（またはカメラＣ２）の画像Ｍ１（または画像Ｍ２）上の点（p,q）をカメラＣ０の視点上の点（p’,q’）に座標変換する。

ここで、式（ｆ１６）、式（ｆ１７）に記載の記号ｚは、座標系のｚ成分を示すものではなく、不定項λ^kの逆数をｚと便宜上表記したものである。なお、この不定項λ^kはそれぞれの画素（p,q）に付随するものであり、空間上でのカメラ中心点と画素（p,q）を結ぶ直線を延長したとき最初に交差する物体までの実距離を示す。

さらに、画像補正・統合部１０３は、点（p’,q’）に座標変換される点（p,q）のＲＧＢ値（r,g,b）、及び画像の重なり情報αを用いて、式（ｆ１８）、式（ｆ１９）、式（ｆ２０）に基づいて、座標変換後の点（p’,q’）におけるＲＧＢ値（r’,g’,b’）を算出する。ここで、最適カメラの遮蔽領域を補完する他カメラが１つである場合、αは１となり、補完する他カメラが２つである場合、αは１／２となる。

Ｃ０、Ｃ１、Ｃ２：カメラ
Ｌ：ライト
Ｍ：人
１０：画像合成装置
１０１：カメラ画像入力部
１０２：最適カメラチャンネル判断部
１０３：画像補正・統合部
１０４：合成画像出力部
３０：画像表示装置
３０１：ディスプレイ
Ｂ１：被写体
Ｂ２：遮蔽物
Ｍ０、Ｍ１、Ｍ２：画像
ＭＸ：合成画像

Claims

手術中に複数のカメラが撮像した被写体の画像を合成して一の画像を出力する画像合成装置であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像が入力される画像入力部と、
前記第１カメラ及び前記第２カメラの中から最適カメラを決定する最適カメラ決定部と、
前記第１画像及び前記第２画像に基づいて合成画像を生成する画像統合部と、を備え、
前記最適カメラ決定部は、
各画像について、人の頭又は手を含む遮蔽物によって前記被写体が遮られている遮蔽領域を、前記頭又は手に着用されている物の特性を用いて検出し、
各画像における前記遮蔽領域による遮蔽率を算出し、
前記第１カメラ及び前記第２カメラのうち、より低い遮蔽率を有する画像を出力したカメラを最適カメラとして決定し、
前記画像統合部は、
前記最適カメラが出力した画像に遮蔽領域が発生しているか否かを判断し、
前記最適カメラが出力した画像に前記遮蔽領域が発生している場合には、前記最適カメラとは異なる他のカメラが出力した画像によって前記遮蔽領域を補完して合成画像を生成する、ことを特徴とする画像合成装置。
最適カメラ決定部は、各画像における前記遮蔽領域の中心偏移率をさらに算出し、前記画像統合部は、前記遮蔽率と前記中心偏移率とに基づいて前記最適カメラを決定する、請求項１に記載の画像合成装置。
前記画像統合部は、前記最適カメラが出力した画像を、前記最適カメラの視点とは異なる他の視点に変換する、請求項１又は２に記載の画像合成装置。
前記第１カメラが有する第１レンズの第１光軸と、前記第２カメラが有する第２レンズの第２光軸とが重ならないように、前記第１カメラ及び前記第２カメラが配置されており、
前記画像統合部は、
前記第２画像の各画素が、対応する前記第１画像の各画素に重なるように座標変換を実行する、ことを特徴とする請求項１から３のいずれか一項に記載の画像合成装置。
手術中に複数のカメラが撮像した被写体の画像を合成して一の画像を出力する画像合成方法であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受け付けるステップと、
各画像について、人の頭又は手を含む遮蔽物によって前記被写体が遮られている遮蔽領域を、前記頭又は手に着用されている物の特性を用いて検出するステップと、
各画像における前記遮蔽領域による遮蔽率を算出するステップと、
前記第１カメラ及び前記第２カメラのうち、より低い遮蔽率を有する画像を出力したカメラを最適カメラとして決定するステップと、
前記最適カメラが出力した画像に遮蔽領域が発生しているか否かを判断するステップと、
前記最適カメラが出力した画像に前記遮蔽領域が発生している場合には、前記最適カメラとは異なる他のカメラが出力した画像によって前記遮蔽領域を補完して合成画像を生成するステップと、
を含むことを特徴とする画像合成方法。