JPWO2016043063A1

JPWO2016043063A1 - 画像処理装置および画像処理方法

Info

Publication number: JPWO2016043063A1
Application number: JP2016548833A
Authority: JP
Inventors: 浩司鹿島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-09-18
Filing date: 2015-09-04
Publication date: 2017-07-06
Also published as: US10701339B2; US20170257619A1; WO2016043063A1

Abstract

本開示は、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、プローブの側方である側視方向の被写体を撮像して得られた側視画像を、円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。本開示は、例えば、画像処理装置等に適用できる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにする画像処理装置および画像処理方法に関する。

内視鏡手術に用いられる内視鏡プローブにおいて、プローブの先端方向である直視方向を撮像する直視用カメラの他に、プローブの側方である側視方向を撮像する側視用カメラを備えたものが提案されている（例えば、特許文献１,２参照）。

特開２０１２−１２０６２１号公報国際公開第２０１２／７７１１７号

側視用カメラを備えることにより、直視方向の術野以外の視野を拡大させることができるが、直視用カメラと側視用カメラで得られた画像を術者にとって分かり易く提示することが求められる。

本開示は、このような状況に鑑みてなされたものであり、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができるようにするものである。

本開示の一側面の画像処理装置は、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える。

本開示の一側面の画像処理方法は、画像処理装置が、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する。

本開示の一側面においては、プローブの先端方向である直視方向の被写体を撮像して得られた直視画像が円形状の領域内に配置され、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像が、前記円形状の外周に沿わせて扇形状に配置された合成画像が生成される。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の一側面によれば、直視用カメラと側視用カメラで得られた画像を分かり易く提示することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。内視鏡プローブの先端部分を示す図である。ディスプレイに表示された合成画像の例を示す図である。直視画像と側視画像の位置関係について説明する図である。直視画像と側視画像の位置関係について説明する図である。合成画像の表示を説明する図である。合成画像の表示を説明する図である。設定可能な合成画像のパラメータを説明する図である。ズーム操作に応じたパラメータ制御を説明する図である。設定可能な合成画像のパラメータを説明する図である。設定可能な合成画像のパラメータを説明する図である。設定可能な合成画像のパラメータを説明する図である。設定可能な合成画像のパラメータを説明する図である。設定可能な合成画像のパラメータを説明する図である。画像合成表示処理を説明するフローチャートである。第１の変形例を説明する図である。第１の変形例を説明する図である。第２の変形例を説明する図である。第３の変形例を説明する図である。本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。

＜内視鏡システムの構成例＞
図１は、本開示に係る内視鏡システムの一実施の形態の構成例を示すブロック図である。

図１の内視鏡システム１は、内視鏡プローブ１１、画像処理装置１２、及びディスプレイ１３により構成される。

内視鏡システム１は、手術対象となる体内の部位（術部）を被観察部として撮像してディスプレイ１３に映し出し、ディスプレイ１３を見ながら被観察部に処置を施す内視鏡下手術で用いられる。

内視鏡プローブ１１は、患者の体内に挿入され、術部に光を照射して術部の画像を撮像し、画像処理装置１２に供給する。画像処理装置１２は、内視鏡プローブ１１で撮像された画像を、術者に見やすいように処理（画像処理）する。ディスプレイ１３は、画像処理装置１２から供給される処理後の画像を表示し、術者に提示する。

内視鏡プローブ１１は、直視用カメラ２１、側視用カメラ２２A及び２２B、ズーム駆動部２３、並びに、照明部２４を備える。

画像処理装置１２は、直視用カメラデータ取得部３１、側視用カメラデータ取得部３２A及び３２B、画像合成部３３、表示制御部３４、操作部３５、並びに、設定部３６を備える。

直視用カメラ２１は、内視鏡プローブ１１の先端方向である直視方向の被写体を撮像し、その結果得られる画像を生成する。側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の側方である側視方向の被写体を撮像し、その結果得られる画像を生成する。直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）センサなどのイメージセンサで構成される。

図２は、直視用カメラ２１並びに側視用カメラ２２A及び２２Bが設けられている内視鏡プローブ１１の先端部分を示す図である。

図２に示されるように、直視用カメラ２１は、第１カメラ２１Aと第２カメラ２１Bのステレオカメラで構成され、内視鏡プローブ１１の直視方向が撮像方向となるように、内視鏡プローブ１１の先端に取り付けられている。

また、側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の先端から所定の距離内の円筒状の側面に、撮像範囲が均等になるように内視鏡プローブ１１の軸中心に対して対称な位置に取り付けられている。

直視用カメラ２１が術部を撮像するものであるのに対して、側視用カメラ２２A及び２２Bは、補助的な情報として、術部周辺部を撮像する。従って、例えば、直視用カメラ２１には、いわゆる４Ｋカメラと呼ばれる、水平方向×垂直方向の画素数が約４０００×約２０００の画素数を有する高解像度のイメージセンサを採用し、側視用カメラ２２A及び２２Bのそれぞれには、水平方向×垂直方向の画素数が約２０００×約１０００の画素数を有する低解像度のイメージセンサを採用するなど、直視用カメラ２１と側視用カメラ２２A及び２２Bとで解像度の異なるイメージセンサとすることができる。

なお、本実施の形態では、直視用カメラ２１並びに側視用カメラ２２A及び２２Bは、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプであることとするが、イメージセンサを内視鏡プローブ１１の根元のCCU（カメラコントロールユニット）等に配置して、そのイメージセンサに、内視鏡プローブ１１の先端部で取り込んだ光を光ファイバ等で伝送する構造とすることもできる。

図１に戻り、ズーム駆動部２３は、画像処理装置１２の操作部３５から供給される制御信号に基づいて、撮像光学系の光学レンズを駆動する。これにより、ディスプレイ１３に表示される直視用カメラ２１のフォーカス及びズーム倍率が変更される。なお、本実施の形態では、側視用カメラ２２A及び２２Bのズーム倍率は固定とするが、側視用カメラ２２A及び２２Bのズーム倍率も、直視用カメラ２１と同様に変更可能としてもよい。

照明部２４は、例えば、ハロゲンランプ、キセノンランプ、LED (Light Emitting Diode）光源などで構成され、術部を照明するための光を出射する。照明部２４は、例えば、図２の直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍に、LED光源を配置する構成とすることもできるし、直視用カメラ２１並びに側視用カメラ２２A及び２２Bそれぞれの近傍には光の出射部のみを設け、ハロゲンランプ、キセノンランプ等の光源ユニットからの光を光ファイバ等で出射部に伝送させ、出力する構造としてもよい。照明部２４の照明のオンオフ及び光量は、操作部３５からの制御信号により制御される。

直視用カメラデータ取得部３１は、直視用カメラ２１により得られた撮像データを取得し、画像合成部３３に供給する。

側視用カメラデータ取得部３２Aは、側視用カメラ２２Aにより得られた撮像データを取得し、画像合成部３３に供給する。側視用カメラデータ取得部３２Bは、側視用カメラ２２Bにより得られた撮像データを取得し、画像合成部３３に供給する。

画像合成部３３は、直視用カメラ２１、側視用カメラ２２A、及び、側視用カメラ２２Bそれぞれにより得られた撮像画像を所定の位置に配置した合成画像を生成し、表示制御部３４に供給する。画像合成部３３には、設定部３６からパラメータが供給され、画像合成部３３は、パラメータに応じて合成画像を生成する。画像合成部３３が生成する合成画像の詳細については後述する。

表示制御部３４は、画像合成部３３から供給される合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。

ディスプレイ１３は、例えばLCD(Liquid Crystal Display)などで構成され、２D表示と、ステレオカメラに対応した３D表示を可能とする。勿論、３D表示が不要である場合には、ディスプレイ１３は、２D表示のみが可能なディスプレイとすることができる。また、ディスプレイ１３は、ヘッドマウントディスプレイなどでもよい。

操作部３５は、ズーム倍率、照明光量などの内視鏡プローブ１１に対する術者（ユーザ）の操作を受け付け、受け付けた操作内容に応じて、ズーム駆動部２３及び照明部２４に制御信号を出力する。

また、操作部３５は、合成画像を生成するためのパラメータの入力も受け付け、入力されたパラメータを設定部３６に出力する。

設定部３６は、操作部３５から供給された各種のパラメータを取得し、内部のメモリに保存する。また、設定部３６は、メモリに記憶されている各種のパラメータを、必要に応じて画像合成部３３に供給する。

内視鏡システム１は、以上のように構成されている。

＜合成画像の説明＞
図３は、画像合成部３３によって生成されてディスプレイ１３に表示された合成画像の例を示している。

合成画像５０には、第１の円C1と、それよりも直径の大きい第２の円C2が含まれる。第１の円C1の内側には、直視画像表示領域５１が設けられている。直視画像表示領域５１は、直視用カメラ２１で撮像された画像が表示される領域である。以下、直視用カメラ２１で撮像された画像を直視画像ともいう。

また、第１の円C1と第２の円C2の間の領域には、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bが設けられている。側視Aカメラ表示領域５２Aは、側視用カメラ２２Aで撮像された画像が表示される領域であり、側視Bカメラ表示領域５２Bは、側視用カメラ２２Bで撮像された画像が表示される領域である。

側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bのそれぞれは扇形状となっている。また、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bは、側視用カメラ２２A及び２２Bの位置に対応した対称な位置に配置されている。以下では、側視用カメラ２２Aまたは２２Bで撮像された画像を、側視画像ともいう。また、側視用カメラ２２A及び２２Bのそれぞれを区別する必要がない場合には、単に、側視用カメラ２２ともいう。

側視用カメラ２２で得られた矩形の側視画像を、扇形状に変換する処理には、超音波診断装置のコンベックス型プローブを使ったBモード表示のアルゴリズムに用いられている、スキャンコンバージョン処理を採用することができる。スキャンコンバージョン処理は、走査線の信号列で表される画像データを、直交座標系で表される画像データに変換する処理である。扇形状の外側になるほどデータが疎になるため、線形補間などを用いて適切に補間される。スキャンコンバージョン処理の詳細は、例えば、”http://www.cse.wustl.edu/~jain/cse567-08/ftp/scan/”,”http://ece.gmu.edu/~ssikdar/papers/conference%20papers/Sikdar_SPIE_2001.pdf”,”http://www.ti.com/lit/an/sprab32/sprab32.pdf”などに開示されている。

第１の円C1と第２の円C2の間の領域のうち、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２B以外の非表示領域５３は、側視用カメラ２２で撮像された画像が表示されない領域である。非表示領域５３は、画像の表示がないことが術者に明確に認識できるような表示、例えば、グレー表示などとされる。

ディスプレイ１３の表示領域のうちの、合成画像５０の外側の領域５４には、例えば、ズーム倍率等のパラメータ情報が表示される。

以上のように、画像処理装置１２は、内側の第１の円C1の円形領域内に、直視用カメラ２１で撮像された直視画像を配置し、側視用カメラ２２A及び２２Bで撮像された側視画像を、第１の円C1の外周に沿わせて扇形状に配置した合成画像を生成し、ディスプレイ１３に表示させる。

近年、手術用のディスプレイ１３は高精細化及び大画面化する傾向にある。このように直視画像の円周上に側視画像も付加情報として提示することで、ディスプレイ１３の表示エリアを有効に活用することができる。

図４及び図５を参照して、合成画像における直視画像と側視画像の位置関係について説明する。

図４のAは、内視鏡プローブ１１の先端部分を斜め下方向から見た斜視図であり、図４のBは、内視鏡プローブ１１の先端部分を真下から見た図である。

直視用カメラ２１の所定の位置（方向）を基準位置（基準方向）とすると、図４のAに示されるように、側視カメラ２２Aが配置されている位置（方向）は、直視用カメラ２１の基準位置に対して所定の角度αで一意に定められる。

また、図４のBに示される側視用カメラ２２Aの視野角βについても、レンズ設計によって一意に定められる。

この側視カメラ２２Aの配置角度αと視野角βに基づいて、合成画像における側視Aカメラ表示領域５２Aは、図５に示されるように、第１の円C1と第２の円C2の間の領域内の所定位置に決定される。すなわち、側視Aカメラ表示領域５２Aの円弧方向の中心位置が、直視画像の基準位置に対して角度αの位置となり、側視Aカメラ表示領域５２Aの扇形状の角度がβとなるように、側視Aカメラ表示領域５２Aが、第１の円C1と第２の円C2の間の領域に配置される。直視画像表示領域５１に対する側視Bカメラ表示領域５２Bの位置関係についても同様である。これにより、合成画像において、直視画像と側視画像の映像の連続性が確保された表示となり、術者の術野の視認性が向上する。

なお、イメージセンサが内視鏡プローブ１１の先端部に取り付けられたChip-On-Tipタイプではなく、イメージセンサの向きと内視鏡プローブ１１の先端部分の向きの位置関係が変わり得る場合には、例えば、直視用カメラ２１の基準位置（基準方向）を示すような切欠きを内視鏡プローブ１１の先端部分に設け、切欠きが直視画像内に映るようにして、直視画像内の切欠きを画像処理により検出することで、直視用カメラ２１の向きを検出し、検出された向きに基づいて側視カメラ２２Aの角度αを算出し、側視Aカメラ表示領域５２Aの配置を決定することができる。

次に、図６及び図７を参照して、合成画像の表示について説明する。

内視鏡プローブ１１が挿入される体内の空間を、図６のAに示されるように、円柱形状６１の内側の空間に見立てる。例えば、図６のBに示されるように、円柱形状６１の底面に文字「F」が記載され、円柱形状６１の内側面（内壁）に文字「A」と文字「B」が、対向する位置に記載されているとする。

この場合、画像処理装置１２の画像合成部３３によれば、図６のCに示されるような合成画像５０が生成される。すなわち、合成画像５０の直視画像表示領域５１には文字「F」が映し出され、側視Aカメラ表示領域５２Aには文字「A」が映し出され、側視Bカメラ表示領域５２Bには文字「B」が映し出される。

また、図７に示されるように、内視鏡プローブ１１が術者の操作によって回転された場合には、ディスプレイ１３の合成画像５０の表示も、内視鏡プローブ１１の動きに合わせて回転させるようにすることができる。あるいは、内視鏡プローブ１１の動きに関係なく、合成画像５０の表示は固定としてもよい。

直視画像表示領域５１には、２眼の直視用カメラ２１で撮像された３D画像が表示される。ここで、３D画像とは、３D表示を行うための２D画像であり、左眼用画像と右眼用画像の組で構成される。左眼用画像と右眼用画像には視差が設定されており、左眼用画像と右眼用画像を交互に表示させることにより、表示された映像を見た人に立体感（奥行き感）を知覚させることができる。

一方、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bには、対応する単眼の側視用カメラ２２（２２A及び２２B）により得られた平面的な画像（２D画像）が表示される。

あるいはまた、画像合成部３３は、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２Bについても、対応する単眼の側視用カメラ２２で得られた画像から、視差を設けた左眼用画像と右眼用画像を生成し、３D画像を表示させるようにしてもよい。この場合、側視Aカメラ表示領域５２A及び側視Bカメラ表示領域５２B内の位置（座標点）が、直視画像表示領域５１から遠くなるほど、換言すれば、扇形状の外側になるほど、奥行き感が少なく、より手前に感じるように視差画像を生成することができる。

以上のように合成画像を生成してディスプレイ１３に表示させることにより、術部の上部から、術部を覗き込んだときに見えるような表示が可能となる。

例えば、矩形状の直視画像及び側視画像を並べて配置する表示方法や、直視画像を表示したモニタと、側視画像を表示したモニタを並べて表示する表示方法などの場合は、術者が側視画像を見るために視点を大きく動かす必要がある。これに対して、本開示の表示方法によれば、視点を動かす必要がなく、直視画像と側視画像との位置関係も瞬時に判断することができる。

すなわち、本開示の表示方法によれば、術者は、直視画像と側視画像との位置関係を容易かつ瞬時に判断することができ、直視方向の術部だけでなく、その周辺の術野も容易に把握することができる。したがって、直視用カメラ２１と側視用カメラ２２で得られた画像を分かり易く提示することができる。

また、直視方向以外の周辺の術野も容易に把握することができるので、直視方向以外のエリアで、例えば、内視鏡プローブ１１や鉗子が臓器に接触するようなことも防止することができる。

＜パラメータの例＞
図８乃至図１４を参照して、設定部３６で設定可能な合成画像のパラメータについて説明する。

設定部３６では、例えば、図８に示されるような、合成画像５０の第１の円C1の直径P１と、第２の円C2の直径P2を設定することができる。直径P１と直径P2の関係により、扇形状の側視画像の高さが決定される。

ここで設定される第１の円C1の直径P１と、第２の円C2の直径P2は、固定的な値としてもよいが、初期状態のデフォルトの値として、例えば、図９に示されるように、画像合成部３３が、直視画像に対するズーム操作に応じて変更する制御を行ってもよい。

すなわち、図９は、ズーム操作に応じて、合成画像の第１の円C1の直径P１を変更する制御の例を示している。

直視画像のズームイン操作がなされた場合、ユーザが直視画像を注視することが重量な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも大きい値P1’に変更する制御を行う。

一方、直視画像のズームアウト操作がなされた場合、ユーザが直視画像の周囲を広く確認することが重要な場面であると推定されるので、画像合成部３３は、直視画像が表示される第１の円C1の直径を、デフォルトの値P1よりも小さい値P1”に変更する制御を行う。

また、設定部３６では、図１０に示されるように、合成画像５０が表示されるディスプレイ１３上の位置も、例えば、右側、中央、左側のように、パラメータで設定することができる。

また、図１１に示されるように、側視Aカメラ表示領域５２Aと、側視Bカメラ表示領域５２Bの扇形状の横幅Wも設定することができる。

図１２に示されるように、直視画像表示領域５１が含まれる第１の円C1の直径が、直視用カメラ２１のズーム倍率に応じて変化する表示モード、第１の円C1の直径がズーム倍率に応じて変化した場合に、図１３に示されるように、側視画像を表示する側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出す表示モードや、図１４に示されるように、側視Aカメラ表示領域５２Aと側視Bカメラ表示領域５２Bがディスプレイ１３の表示領域からはみ出ないように側視画像の高さを調整する表示モードなどを設定することができる。

以上説明した各種の表示設定が、術者の嗜好に応じて適切に選択される。なお、使用者は、全てのパラメータを必ず設定する必要はなく、未設定の場合には、画像合成部３３が自動で調整する。

＜画像合成処理の処理フロー＞
図１５のフローチャートを参照して、画像処理装置１２による画像合成表示処理について説明する。

初めに、ステップＳ１において、画像処理装置１２は、直視画像と側視画像を取得する。具体的には、直視用カメラデータ取得部３１が、直視用カメラ２１から供給された直視画像を取得して画像合成部３３に供給する。また、側視用カメラデータ取得部３２Aが、側視用カメラ２２Aから供給された側視画像を取得し、側視用カメラデータ取得部３２Bが、側視用カメラ２２Bから供給された側視画像を取得し、それぞれ、画像合成部３３に供給する。

ステップＳ２において、画像合成部３３は、取得した直視画像と側視画像を用いて、第１の円C1の内側に直視画像を配置し、第１の円C1の外側の円周上に、側視用カメラ２２Aと側視用カメラ２２Bで撮像された側視画像を扇形状に配置した合成画像を生成し、表示制御部３４に供給する。

ステップＳ３において、表示制御部３４は、画像合成部３３から供給された合成画像の画像データを、ディスプレイ１３の入力形式に対応した画像信号に変換してディスプレイ１３に出力することにより、合成画像をディスプレイ１３に表示させる。

上述したステップＳ１乃至Ｓ３の処理は、直視画像と側視画像が内視鏡プローブ１１から供給されている間、継続的に実行される。

術者は、画像合成表示処理により表示された合成画像を見ることにより、直視方向の術部だけでなく、側方を含む広域な範囲を同時に観察することができる。

＜変形例１＞
上述した例では、円筒状の内視鏡プローブ１１の側面に取り付けられている側視用カメラ２２の個数が２個である例について説明したが、側視用カメラ２２の個数は、１個でもよいし、３個以上でもよい。

図１６は、４個の側視用カメラ２２A乃至２２Dが、側方の周囲を均等に４方向に分割して撮像するように内視鏡プローブ１１の側面に取り付けられている例を示している。なお、側視用カメラ２２Dの取り付け位置は図１６では見えない位置となるため、図１６では、側視用カメラ２２Dは示されていない。

４個の側視用カメラ２２A乃至２２Dが設けられている場合、第１の円C1と第２の円C2の間の領域には、図１７に示されるように、側視Aカメラ表示領域５２A、側視Bカメラ表示領域５２B、側視Cカメラ表示領域５２C、及び、側視Dカメラ表示領域５２Dが、撮像方向に応じて配置される。

このように、本開示の表示方法によれば、側視用カメラ２２の位置や個数の変更に容易に対応することができる。

４個の側視用カメラ２２A乃至２２Dそれぞれで撮像された側視画像において、撮像範囲が重複している場合もある。撮像範囲が重複している領域は、任意のスティッチング技術を用いて、重複範囲を含む複数の側視画像がシームレスに接続される。

図１７では、斜線を付した領域が、隣り合う側視画像どうしで撮像範囲が重複している領域を示している。このような撮像範囲が重複している領域の側視画像としては、例えば、２枚の側視画像を合成比αで合成して重複部分の側視画像を生成し、隣り合う側視画像どうしを接続することができる。また例えば、４個の側視用カメラ２２A乃至２２Dそれぞれで撮像される側視画像の優先度を予め設定しておいて、その設定された優先度に応じて、重複する側視画像のいずれか一方を採用することで隣り合う側視画像どうしを接続するようにしてもよい。

＜変形例２＞
上述した実施の形態では、内視鏡プローブ１１の側方の周囲全体が出来るだけ撮像されるように、内視鏡プローブ１１の側面に側視用カメラ２２が均等配置される例について説明した。

しかし、図１８に示されるように、側視用カメラ２２A及び２２Bを、内視鏡プローブ１１の側方の周囲のうち、ある一定の側方のみに隣接して配置させ、側視用カメラ２２A及び２２Bがステレオカメラとして機能する配置とすることもできる。この場合、２個の側視用カメラ２２A及び２２Bは、内視鏡プローブ１１の長手方向に沿って配置されるため、側視用カメラ２２A及び２２B間の距離をある程度長めに確保することができるので、ステレオ視による距離情報を正確に得ることができる。

＜変形例３＞
図１９に示されるように、内視鏡プローブ１１は１個の側視用カメラ２２を回転機構とともに備え、側視用カメラ２２が３６０度回転することにより、内視鏡プローブ１１の側方の周囲全体を撮像した側視画像を取得して表示してもよい。この場合、内視鏡プローブ１１には、側視用カメラ２２の回転角を検出できる角度センサを搭載しておき、角度センサが、側視画像が取得された瞬間の側視用カメラ２２の回転角を検出する。そして、側視画像が取得された瞬間の角度情報に基づいて、合成画像における側視画像の表示位置を決定することができる。

＜コンピュータのハードウエア構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した画像合成表示処理を含む一連の処理が行われる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した複数の機能の全てまたは一部を適宜組み合わせた形態を採用することができる。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
画像処理装置。
（２）
前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
前記（１）に記載の画像処理装置。
（３）
複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
前記（２）に記載の画像処理装置。
（４）
撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
前記（２）または（３）に記載の画像処理装置。
（５）
前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記画像合成部は、前記直視画像のズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記直視画像は、３D画像である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記側視画像は、３D画像である
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
前記（８）に記載の画像処理装置。
（１０）
前記直視画像は、前記側視画像より高解像度の画像である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記合成画像の表示方法を設定する設定部をさらに備える
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記設定部は、扇形状の前記側視画像の横幅を設定する
前記（１１）に記載の画像処理装置。
（１３）
前記設定部は、前記円形状の径を設定する
前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記設定部は、扇形状の前記側視画像の高さを設定する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記設定部は、画面内の前記合成画像の表示位置を設定する
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
画像処理装置が、
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
画像処理方法。

１１内視鏡プローブ，１２画像処理装置，１３ディスプレイ，３３画像合成部，３４表示制御部，３５操作部，３６設定部，１０１ CPU，１０２ ROM，１０３ RAM，１０６入力部，１０７出力部，１０８記憶部，１０９通信部，１１０ドライブ

Claims

プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する画像合成部を備える
画像処理装置。
前記合成画像には、複数の撮像素子で得られた複数の前記側視画像が配置されている
請求項１に記載の画像処理装置。
複数の前記側視画像は、前記プローブの前記複数の撮像素子の位置に対応した前記円形状の外周の位置に配置されている
請求項２に記載の画像処理装置。
撮像範囲が重複している領域を含む複数の前記側視画像は、スティッチングにより接続される
請求項２に記載の画像処理装置。
前記直視画像と前記側視画像の境界では、映像の連続性が確保されている
請求項１に記載の画像処理装置。
前記画像合成部は、前記直視画像に対するズーム操作に応じて、前記直視画像を配置する前記円形状の直径を変更する制御を行う
請求項１に記載の画像処理装置。
前記直視画像は、３D画像である
請求項１に記載の画像処理装置。
前記側視画像は、３D画像である
請求項１に記載の画像処理装置。
前記側視画像は、扇形状の外側になるほど、より手前に感じる画像である
請求項８に記載の画像処理装置。
前記直視画像は、前記側視画像より高解像度の画像である
請求項１に記載の画像処理装置。
前記合成画像の表示方法を設定する設定部をさらに備える
請求項１に記載の画像処理装置。
前記設定部は、扇形状の前記側視画像の横幅を設定する
請求項１１に記載の画像処理装置。
前記設定部は、前記円形状の径を設定する
請求項１１に記載の画像処理装置。
前記設定部は、扇形状の前記側視画像の高さを設定する
請求項１１に記載の画像処理装置。
前記設定部は、画面内の前記合成画像の表示位置を設定する
請求項１１に記載の画像処理装置。
画像処理装置が、
プローブの先端方向である直視方向の被写体を撮像して得られた直視画像を円形状の領域内に配置し、前記プローブの側方である側視方向の被写体を撮像して得られた側視画像を、前記円形状の外周に沿わせて扇形状に配置した合成画像を生成する
画像処理方法。