WO2016114155A1 - 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム - Google Patents

Abstract

　本技術は、ユーザの負担を軽減することができるようにする画像処理装置、画像処理方法、プログラム、及び、内視鏡システムに関する。 視差量調整部において、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、3Dの生体画像の視差量が調整される。本技術は、例えば、内視鏡で生体を撮像する内視鏡システム等に適用することができる。

Description

画像処理装置、画像処理方法、プログラム、及び、内視鏡システム

　本技術は、画像処理装置、画像処理方法、プログラム、及び、内視鏡システムに関し、特に、例えば、ユーザの負担を軽減することができるようにする画像処理装置、画像処理方法、プログラム、及び、内視鏡システムに関する。

　例えば、内視鏡システムについては、内視鏡を用いた手術や診断等の処置において、処置具を奥行き方向にスムースに誘導するために、人体（内部）を、3D(Dimensions)の画像で撮像し、その結果得られる3Dの内視鏡画像を表示することが要請されている（例えば、特許文献１を参照）。

特許第3,869,029号公報

　3Dの内視鏡画像によれば、ユーザは、その3Dの内視鏡画像を観察することにより、奥行き方向の情報を得ることができ、そのため、例えば、処置具を、奥行き方向にスムースに誘導することができる。

　ところで、3Dの内視鏡画像は、例えば、ユーザの左眼で観察される左眼画像とユーザの右眼で観察される右眼画像とで構成される。そして、3Dの内視鏡画像を構成する左眼画像と右眼画像とには、視差があり、この視差があることによって、3Dの内視鏡画像を観察するユーザは、奥行き方向の情報を知覚する。

　以上のように、3Dの内視鏡画像を観察するユーザは、その3Dの内視鏡画像の視差によって、奥行き方向の情報を知覚することができるが、かかる3Dの内視鏡画像を観察するにあたって、ユーザは、3Dに特有の違和感や不快感を感じる場合があり、ユーザの負担になることがある。

　すなわち、3Dの内視鏡画像において、例えば、動きが激しい物体が映っている場合や、手前から奥に亘っている物体の手前側の部分が動く場合には、3Dの内視鏡画像を観察しているユーザが、負担を感じることがある。

　本技術は、このような状況に鑑みてなされたものであり、ユーザの負担を軽減することができるようにするものである。

　本技術の画像処理装置、又は、プログラムは、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部を備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。

　本技術の画像処理方法は、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整するステップを含む画像処理方法である。

　本技術の内視鏡システムは、3D(Dimensions)の画像を撮像する内視鏡と、前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部とを備える内視鏡システムである。

　本技術の画像処理装置、画像処理方法、プログラム、及び、内視鏡システムにおいては、生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量が調整される。

　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　本技術によれば、ユーザの負担を軽減することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した内視鏡システムの第１実施の形態の構成例を示すブロック図である。 3Dの内視鏡画像を撮像する内視鏡１１の模式的な構成例を示す図である。 視差量調整部１２の構成例を示すブロック図である。 画像シフト調整部３２Ｌ及び３２Ｒでの画素値のシフトによる視差量の調整を説明する図である。 3Dの内視鏡画像を表示する画像表示の処理の例を説明するフローチャートである。 3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。 画像補正部３３Ｌ及び３３Ｒでの欠落画素（の画素値）の補間の例を説明する図である。 欠落画素の補間による左眼画像及び右眼画像の補正の処理の例を説明するフローチャートである。 本技術を適用した内視鏡システムの第２実施の形態の構成例を示すブロック図である。 視差量調整部４０の構成例を示すブロック図である。 フレーム差分演算部４１の構成例を示すブロック図である。 3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。 本技術を適用した内視鏡システムの第３実施の形態の構成例を示すブロック図である。 鉗子６１が映っている3Dの内視鏡画像の例を示す図である。 視差量調整部７０の構成例を示すブロック図である。 鉗子領域検出部７１で生成される鉗子領域画像の例を示す図である。 3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。 鉗子領域検出の処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

　＜内視鏡システムの第１実施の形態＞

　図１は、本技術を適用した内視鏡システムの第１実施の形態の構成例を示すブロック図である。

　図１において、内視鏡システムは、内視鏡１１、視差量調整部１２、表示部１３、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６を有する。

　内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする3Dの画像である内視鏡画像を撮像する。

　すなわち、内視鏡１１は、例えば、外観上、内視鏡システムのユーザとしての手術等を行う術者（医師）が手で持つカメラヘッド１１Ａと、患者の体内に挿入される内視鏡スコープ１１Ｂとを有する。

　内視鏡下手術、つまり、内視鏡システムを用いた手術では、内視鏡スコープ１１Ｂが体内に挿入され、ユーザが、カメラヘッド１１Ａを持って、内視鏡１１を操作する。

　内視鏡１１では、例えば、内視鏡スコープ１１Ｂの先端から、光が照射され、その光によって、患者の体内の被写体となる術部（組織）が照明される。被写体を照明する光は、被写体で反射され、その被写体からの反射光が、内視鏡スコープ１１Ｂの先端から入射する。そして、内視鏡１１では、内視鏡スコープ１１Ｂの先端から入射した光が受光され、光電変換されることにより、被写体の3Dの内視鏡画像が撮像される。

　ここで、内視鏡１１で撮像された3Dの内視鏡画像は、左眼で観察される左眼画像の画像信号Lと、右眼で観察される右眼画像の画像信号Rとで構成される。左眼画像と右眼画像とには、視差があり、ユーザは、かかる視差がある左眼画像及び右眼画像を、左眼及び右眼でそれぞれ観察することにより、奥行き方向の情報を知覚することができる。

　内視鏡１１で撮像された3Dの内視鏡画像を構成する左眼画像の画像信号L、及び、右眼画像の画像信号Rは、視差量調整部１２に供給される。

　視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像（の画像信号L及びR）の視差が、その内視鏡画像を観察するユーザにとって負担になるかどうかに応じて、内視鏡画像１１からの3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整する。

　すなわち、図１において、視差量調整部１２は、例えば、後述するように、電気メス制御部１６から供給される電気メス制御情報に基づいて、内視鏡画像１１からの3Dの内視鏡画像の視差がユーザにとって負担になるかどうかを検出（判定）する。そして、内視鏡画像１１からの3Dの内視鏡画像の視差がユーザにとって負担になる場合には、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。

　視差量調整部１２は、視差量を調整した後の3Dの内視鏡画像を構成する左眼画像の画像信号L（以下、調整画像信号Lともいう）、及び、右眼画像の画像信号R（以下、調整画像信号Rともいう）を、表示部１３に供給する。

　表示部１３は、3Dの画像を表示することが可能な、例えば、ヘッドマウントディスプレイ等の表示デバイスであり、視差量調整部１２から供給される3Dの内視鏡画像を表示する。

　なお、3Dの内視鏡画像を構成する左眼画像の（調整）画像信号L及び（調整）右眼画像の画像信号Rの表示方式としては、例えば、サイドバイサイド方式や、ラインバイライン方式、フレームシーケンシャル方式等がある。表示部１３において、3Dの画像を表示する表示方式は、特に限定されるものではない。

　電気メス１４は、電気メス制御部１６から供給される高周波の電流を人体に流すことで、人体の組織を切開する施術を施すことができる処置具である。

　ここで、本明細書では、内視鏡システムを用いた手術や診断等において、何らかの処置を施すのに用いられる道具を、処置具といい、処置具の中で、特に、手術に用いられる道具を、術具という。電気メス１４は、エネルギデバイスと呼ばれる術具の１つである。エネルギデバイスとしては、電気メス１４のように、電流を用いるデバイスの他、例えば、超音波を用いるデバイス等がある。

　電気メススイッチ１５は、電気メス１４に流す電流をオン又はオフにするときに、例えば、ユーザによって操作される。電気メススイッチ１５は、電流をオン又はオフにするように操作されると、その操作に対応する電気メス制御信号を、電気メス制御部１６に供給する。

　電気メス制御部１６は、電気メススイッチ１５から供給される電気メス制御信号に応じて、電気メス１４への高周波の電流の供給を、オン又はオフにする。また、電気メス制御部１６は、電気メス制御信号に応じて、電気メス１４がオン又はオフになっていることを表す電気メス制御情報を、視差量調整部１２に供給する。

　以上のように構成される内視鏡システムでは、ユーザ(術者）が、内視鏡スコープ１１Ｂを、患者の体内に挿入し、内視鏡１１において、患者の体内の被写体となる術部（組織）の3Dの内視鏡画像が撮像される。

　内視鏡１１で撮像された3Dの内視鏡画像（を構成する左眼画像の画像信号L、及び、右眼画像の画像信号R）は、内視鏡１１から視差量調整部１２に供給され、さらに、視差量調整部１２から表示部１３に供給されて表示される。

　ユーザが、表示部１３に表示された3Dの内視鏡画像を見ながら、手術を実施するために、電気メススイッチ１５をオンにするように操作すると、オンを表す電気メス制御信号が、電気メス制御部１６に供給される。

　電気メス制御部１６は、電気メススイッチ１５からのオンを表す電気メス制御信号に応じて、電気メス１４への高周波の電流の供給をオンにし（開始し）、これにより、ユーザは、電気メス１４によって、患者の組織を切開することが可能になる。

　また、電気メス制御部１６は、電気メス１４のオン又はオフを表す電気メス制御情報を、視差量調整部１２に供給する。

　電気メス制御情報が、電気メス１４のオンを表しており、したがって、電気メス１４が使用されている場合、視差量調整部１２は、表示部１３に表示された3Dの内視鏡画像の視差がユーザの負担になる場合であるとして、内視鏡１１からの3Dの内視鏡画像の視差量を調整する。

　すなわち、電気メス１４が使用されている場合には、その電気メス１４を用いて、人体の組織が切開されるときに、ミストや煙が生じる。この、電気メス１４の使用時に生じるミストや煙が激しく動き、内視鏡スコープ１１Ｂの先端に近接して、3Dの内視鏡画像に映ると、その3Dの内視鏡画像を観察しているユーザは、動きの激しいミストや煙に不快感を感じることがある。

　3Dの内視鏡画像に映る動きの激しいミストや煙によって生じるユーザの不快感は、3Dの内視鏡画像を観察するユーザの負担を大きくし、ユーザが、本来見たい部分を注視することの妨げとなる。

　そこで、電気メス１４が使用されている場合には、その電気メス１４の使用によって生じるミストや煙が3Dの内視鏡画像に映ることによるユーザの負担を軽減すべく、視差量調整部１２は、内視鏡１１からの3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。

　そして、表示部１３では、視差量調整部１２において視差量が調整された3Dの内視鏡画像が表示される。

　なお、図１では、エネルギデバイスとして、電気メス１４を採用しているが、エネルギデバイスとしては、電気メス１４の他、例えば、超音波を用いるデバイス等の、電気メス１４以外のエネルギデバイスを採用することができる。

　図２は、3Dの内視鏡画像を撮像する内視鏡１１の模式的な構成例を示す図である。

　内視鏡１１は、2個の撮像素子（イメージセンサ）２１Ｌ及び２１Ｒを有する。

　撮像素子２１Ｌは、左眼画像となる画像を撮像する。撮像素子２１Ｒは、右眼画像となる画像を撮像する。

　図２において、撮像素子２１Ｌ及び２１Ｒは、水平（左右）方向に並べて配置されており、これにより、撮像素子２１Ｌ及び２１Ｒでは、視差がある左眼画像及び右眼画像がそれぞれ撮像される。

　なお、内視鏡１１において、撮像素子２１Ｌ及び２１Ｒは、例えば、内視鏡スコープ１１Ｂの先端部分や、カメラヘッド１１Ａに設けることができる。

　また、3Dの画像を撮像する方法としては、例えば、いわゆる２眼で撮像を行う方法や、１眼（単眼）で撮像を行う方法があるが、内視鏡１１において、3Dの内視鏡画像を撮像する方法は、特に限定されるものではない。

　図３は、図１の視差量調整部１２の構成例を示すブロック図である。

　図３において、視差量調整部１２は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、視差画像生成部３４、並びに、視差調整画像生成部３５を有する。

　現像部３１Ｌには、内視鏡１１から、3Dの内視鏡画像を構成する左眼画像の画像信号Lが供給される。

　ここで、内視鏡１１で撮像される3Dの内視鏡画像を構成する左眼画像及び右眼画像は、例えば、ベイヤ配列等の所定の配列の、いわゆるRAW画像になっている。

　現像部３１Ｌは、内視鏡１１からの左眼画像の画像信号Lを対象に、現像処理を行って、R(red)，G(green)、及び、B(blue)の各プレーンの画像信号を有する現像信号Lを生成し、画像シフト調整部３２Ｌ、及び、視差画像生成部３４に供給する。

　画像シフト調整部３２Ｌには、現像部３１Ｌから左眼画像の現像信号Lが供給される他、視差調整画像生成部３５から、後述する視差調整画像が供給される。

　画像シフト調整部３２Ｌは、現像部３１Ｌからの左眼画像（の現像信号L）の画素の画素値を、視差調整画像生成部３５からの視差調整画像に従って、水平方向にシフトすることにより、現像部３１Ｌからの左眼画像で構成される3Dの内視鏡画像の視差量を調整する。

　画像シフト調整部３２Ｌは、画素値のシフト後の左眼画像（の画像信号）を、画像補正部３３Ｌに供給する。

　画像補正部３３Ｌは、画像シフト調整部３２Ｌからの、画素値のシフト後の左眼画像を構成する画素のうちの欠落画素を補間することにより、左眼画像を補正する。

　ここで、画像シフト調整部３２Ｌから画像補正部３３Ｌに供給される、画素値のシフト後の左眼画像を構成する画素の中には、画素値が欠落している欠落画素が存在することがある。

　すなわち、後述する視差画像生成部３４での視差量の誤検出や、画像シフト調整部３２Ｌでの画素値のシフトにおけるシフト先の重複、シフト先にならなかった画素の存在等に起因して、画素値のシフト後の左眼画像には（右眼画像についても同様）、画素値が欠落している欠落画素が存在することがある。

　画像補正部３３Ｌは、左眼画像の欠落画素の画素値を、その欠落画素の近傍の画素であって、欠落画素ではない画素の画素値を用いて補間することで、左眼画像を補正する。そして、画像補正部３３Ｌは、補正後の左眼画像の画像信号、すなわち、視差量が調整された3Dの内視鏡画像を構成する、欠落画素がない左眼画像の画像信号を、調整画像信号Lとして、表示部１３に供給する。

　現像部３１Ｒには、内視鏡１１から、3Dの内視鏡画像を構成する右眼画像の画像信号Rが供給される。

　現像部３１Ｒ、画像シフト調整部３２Ｒ、及び、画像補正部３３Ｒは、現像部３１Ｌ、画像シフト調整部３２Ｌ、及び、画像補正部３３Ｌとそれぞれ同様の処理を行う。

　すなわち、現像部３１Ｒは、内視鏡１１からの右眼画像の画像信号Rを対象に、現像処理を行って、R，G、及び、Bの各プレーンの画像信号を有する現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。

　画像シフト調整部３２Ｒは、現像部３１Ｒからの右眼画像（の現像信号R）の画素の画素値を、視差調整画像生成部３５からの視差調整画像に従って、水平方向にシフトすることにより、現像部３１Ｒからの右眼画像で構成される3Dの内視鏡画像の視差量を調整する。

　画像シフト調整部３２Ｒは、画素値のシフト後の右眼画像（の画像信号）を、画像補正部３３Ｒに供給する。

　画像補正部３３Ｒは、画素値補正部３３Ｌと同様に、画像シフト調整部３２Ｒからの、画素値のシフト後の右眼画像を構成する画素のうちの欠落画素を補間することにより、右眼画像を補正する。画像補正部３３Ｒは、右眼画像の補正により得られる、視差量が調整された3Dの内視鏡画像を構成する、欠落画素がない右眼画像の画像信号を、調整画像信号Rとして、表示部１３に供給する。

　視差画像生成部３４は、現像部３１Ｌから供給される左眼画像（の現像信号L）と、現像部３１Ｒから供給される右眼画像（の現像信号R）とを用いて、それらの左眼画像と右眼画像との視差量を検出する。

　すなわち、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像のうちの一方の画像である、例えば、左眼画像を基準として、その左眼画像の各画素について、右眼画像において対応する対応画素を検出する。

　具体的には、視差画像生成部３４は、例えば、左眼画像の各画素を、順次、注目する注目画素に選択し、右眼画像の画素から、注目画素に対応する対応画素を検出する。

　対応画素は、例えば、右眼画像において、注目画素を含むブロックと類似するブロックを水平方向に探索するブロックマッチング等を行うことによって検出することができる。

　視差画像生成部３４は、右眼画像において、注目画素に対応する位置からの、対応画素の位置のずれ量を、注目画素と対応画素との視差量として検出し、その視差量を画素値とする視差画像を生成する。

　すなわち、視差画像生成部３４は、注目画素に対して検出された視差量を、注目画素の位置の画素の画素値とする画像を、視差画像として生成する。

　視差画像生成部３４は、視差画像を生成すると、その視差画像を、視差調整画像生成部３５に供給する。

　視差調整画像生成部３５は、視差画像生成部３４からの視差画像を用いて、その視差画像の画素値になっている視差量を調整する視差調整値を画素値とする視差調整画像を生成する。

　すなわち、視差量調整画像生成部３５には、視差画像生成部３４から視差画像が供給される他、電気メス制御部１６から、電気メス制御情報が供給される。

　視差量調整画像生成部３５は、電気メス制御情報に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成する。

　具体的には、いま、視差画像の位置(x,y)の画素の画素値である視差量を、d(x,y)と表すとともに、視差調整画像の位置(x,y)の画素の画素値である視差調整値を、c(x,y)と表すこととする。

　視差調整画像生成部３５は、例えば、式（１）又は式（２）に従って、視差量d(x,y)を調整する視差調整値c(x,y)を求める。

　c(x,y)=(d(x,y)-d(x,y)/a)/2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　c(x,y)=0
　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）

　なお、式（１）において、aは、1以上の定数であり、例えば、内視鏡システムの開発者によって、実験的に値が決定される。

　また、視差調整値c(x,y)を、式（１）及び式（２）のうちのいずれに従って求めるかは、電気メス制御情報に基づいて制御される。

　すなわち、電気メス制御情報が、電気メス１４のオンを表している場合には、視差調整値c(x,y)は、式（１）に従って求められる。また、電気メス制御情報が、電気メス１４のオフを表している場合には、視差調整値c(x,y)は、式（２）に従って求められる。

　ここで、式（１）によれば、視差調整値c(x,y)として、視差量d(x,y)に対応する値((d(x,y)-d(x,y)/a)/2)が求められる。また、式（２）によれば、視差調整値c(x,y)として、0が求められる。

　したがって、電気メス１４がオンになっており、その電気メス１４の使用によって、ミストや煙が生じやすい場合には、式（１）に従い、視差量d(x,y)に対応する値の視差調整値c(x,y)が求められる。

　また、電気メス１４がオフになっており、その電気メス１４の使用に起因するミストや煙の発生がない場合には、式（２）に従い、値が0の視差調整値c(x,y)が求められる。

　視差調整画像生成部３５は、以上のような視差調整値c(x,y)を画素値とする視差調整画像を生成し、画像シフト調整部３２Ｌ及び３２Ｒに供給する。

　画像シフト調整部３２Ｌ及び３２Ｒでは、以上のようにして視差調整画像生成部３５から供給される視差調整画像に従い、左眼画像及び右眼画像の画素の画素値を水平方向にシフトすることにより、その左眼画像及び右眼画像で構成される3Dの内視鏡画像の視差量が調整される。

　図４は、画像シフト調整部３２Ｌ及び３２Ｒでの画素値のシフトによる視差量の調整を説明する図である。

　いま、左眼画像の現像信号Lの位置(x,y)の画素を注目画素として、その注目画素の画素値を、l(x,y)と表すとともに、右眼画像の現像信号Rの、注目画素に対応する対応画素の画素値を、r(x,y)と表すこととする。

　画像シフト調整部３２Ｌは、左眼画像の現像信号Lの注目画素の画素値l(x,y)を、視差調整画像の位置(x,y)の画素の画素値である視差調整値c(x,y)に従って、水平方向にシフトすることにより、注目画素と対応画素との視差量を調整する。

　すなわち、画像シフト調整部３２Ｌは、例えば、式（３）に従い、注目画素の画素値l(x,y)を、-c(x,y)だけ水平方向にシフトした位置の画素値l'(x-c(x,y),y)とする。

　l'(x-c(x,y),y)=l(x,y)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）

　同様に、画像シフト調整部３２Ｒは、右眼画像の現像信号Rの対応画素の画素値r(x,y)を、視差調整画像の位置(x,y)の画素の画素値である視差調整値c(x,y)に従って、水平方向にシフトすることにより、注目画素と対応画素との視差量を調整する。

　すなわち、画像シフト調整部３２Ｒは、例えば、式（４）に従い、対応画素の画素値r(x,y)を、+c(x,y)だけ水平方向にシフトした位置の画素値r'(x+c(x,y),y)とする。

　r'(x+c(x,y),y)=r(x,y)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）

　視差調整値c(x,y)が0より大である場合には、シフト後の画素値l'(x-c(x,y),y)とr'(x+c(x,y),y)との間の視差は、シフト前の画素値l(x,y)とr(x,y)との間の視差よりも小さくなり、したがって、視差によって感じるユーザの負担を軽減することができる。

　画像シフト調整部３２Ｌ及び３２Ｒでは、左眼画像の現像信号Lの各画素を、順次、注目画素として、左眼画像の現像信号L及び右眼画像の現像信号Rの各画素の画素値をシフトする。

　そして、画像シフト調整部３２Ｌは、左眼画像の現像信号Lの各画素の画素値のシフトによって得られる画像の信号を、左眼画像の調整現像信号Lとして、画像補正部３３Ｌに供給する。同様に、画像シフト調整部３２Ｒは、右眼画像の現像信号Rの各画素の画素値のシフトによって得られる画像の信号を、右眼画像の調整現像信号Rとして、画像補正部３３Ｒに供給する。

　ここで、図３で説明したように、電気メス１４がオフの場合には、視差調整値c(x,y)は、式（２）に従って0になるので、画像シフト調整部３２Ｌ及び３２Ｒにおいて、画素値のシフトによる視差量の調整は、実質的に行われない。

　一方、電気メス１４がオンの場合には、視差調整値c(x,y)は、式（１）に従って求められ、画像シフト調整部３２Ｌ及び３２Ｒにおいて、その視差調整値c(x,y)に従って、画素値のシフトが行われることにより、視差が小さくなるように、視差量が調整される。

　オンになっている電気メス１４が、人体（被術者（患者））の組織に接触すると、ミストや煙が発生する。このミストや煙が激しく動き、内視鏡スコープ１１Ｂの先端に近接して、3Dの内視鏡画像に映ると、その3Dの内視鏡画像を観察しているユーザは、動きの激しいミストや煙に、3Dの画像に特有の不快感を感じることがある。

　3Dの内視鏡画像に映る動きの激しいミストや煙によって生じるユーザの不快感は、3Dの内視鏡画像を観察するユーザの負担を大きくし、ユーザが、本来見たい部分を注視することの妨げとなる。

　図１の内視鏡システムでは、電気メス１４がオンの場合に、上述したように、視差が小さくなるように、3Dの内視鏡画像の視差量が調整されるので、3Dの内視鏡画像を観察するユーザの負担を軽減することができる。

　図５は、図１の内視鏡システムにおいて、3Dの内視鏡画像を表示する画像表示の処理の例を説明するフローチャートである。

　ステップＳ１において、内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の組織を被写体とする3Dの内視鏡画像を撮像し、その3Dの内視鏡画像を構成する左眼画像の画像信号Lと右眼画像の画像信号Rとを、視差量調整部１２に供給する。

　そして、処理は、ステップＳ１からステップＳ２に進み、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像（の画像信号L及びR)の視差量を調整し、その視差量の調整後の3Dの内視鏡画像（の調整画像信号L及びR）を、表示部１３に供給する。

　すなわち、視差量調整部１２は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、その3Dの内視鏡画像の視差量を、視差が小さくなるように調整する。そして、視差量調整部１２は、視差量の調整後の3Dの内視鏡画像を、表示部１３に供給して、処理は、ステップＳ２からステップＳ３に進む。

　ステップＳ３では、表示部１３は、視差量調整部１２から供給される3Dの内視鏡画像を表示する。その後、処理は、ステップＳ３からステップＳ１に戻り、以下、同様の処理が繰り返される。

　図６は、図１の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。

　ステップＳ１１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ１２に進む。

　すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、及び、視差画像生成部３４に供給する。

　現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。

　ステップＳ１２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部３５に供給して、処理は、ステップＳ１３に進む。

　ステップＳ１３では、視差調整画像生成部３５は、電気メス制御部１６から供給される電気メス制御情報に基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。

　そして、視差調整画像生成部３５は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ１４に進む。

　ステップＳ１４では、画像シフト調整部３２Ｌ及び３２Ｒは、視差調整画像生成部３５からの視差調整画像に従い、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像の各画素の画素値を水平方向にシフトすることにより、その左眼画像及び右眼画像で構成される3Dの内視鏡画像の視差量を調整する。

　そして、画像シフト調整部３２Ｌは、画素値のシフト後の左眼画像（の調整画像信号L）を、画像補正部３３Ｌに供給する。さらに、画像シフト調整部３２Ｒは、画素値のシフト後の右眼画像（の調整画像信号R）を、画像補正部３３Ｌに供給し、処理は、ステップＳ１４からステップＳ１５に進む。

　ステップＳ１５では、画像補正部３３Ｌは、画像シフト調整部３２Ｌからの、画素値のシフト後の左眼画像を構成する画素のうちの欠落画素を補間することにより、左眼画像を補正する。そして、画像補正部３３Ｌは、左眼画像の補正によって得られる、欠落画素がない左眼画像（の調整画像信号L）を、表示部１３に供給する。

　さらに、ステップＳ１５では、画像補正部３３Ｒは、画像シフト調整部３２Ｒからの、画素値のシフト後の右眼画像を構成する画素のうちの欠落画素を補間することにより、右眼画像を補正する。そして、画像補正部３３Ｒは、右眼画像の補正によって得られる、欠落画素がない右眼画像（の調整画像信号R）を、表示部１３に供給し、処理は終了する（リターンする）。

　図７は、画像補正部３３Ｌ及び３３Ｒでの欠落画素（の画素値）の補間の例を説明する図である。

　画像補正部３３Ｌは、左眼画像を構成する画素を、順次、注目画素とする。そして、注目画素が、画像シフト調整部３２Ｌでの画素値のシフトによって画素値が欠落している欠落画素である場合には、その欠落画素となっている注目画素の画素値を補間する。

　欠落画素となっている注目画素の画素値の補間は、例えば、注目画素の近傍の画素のうちの、欠落画素になっていない画素の画素値を用いて行われる。

　すなわち、画像補正部３３Ｌは、例えば、図７に示すように、左眼画像において、注目画素に隣接する8画素のうちの、欠落画素になっていない画素の画素値の平均値を、欠落画素となっている注目画素の画素値として求める。

　図７では、欠落画素になっている注目画素に隣接する8画素のうちの、注目画素の右に隣接する右隣接画素と、注目画素の下に隣接する下隣接画素とが、欠落画素になっている。この場合、欠落画素になっている注目画素に隣接する8画素のうちの、右隣接画素及び下隣接画素を除く6画素の画素値a,b,c,d,e,fの平均値(a+b+c+d+e+f)/6によって、欠落画素になっている注目画素の画素値が補間される。

　画像補正部３３Ｒでも、画像補正部３３Ｌと同様に、右眼画像の欠落画素の補間が行われる。

　図８は、図６のステップＳ１５で行われる、欠落画素の補間による左眼画像及び右眼画像の補正の処理の例を説明するフローチャートである。

　ステップＳ２１において、画像補正部３３Ｌは、補間を行った画素（欠落画素）をカウントする変数としての画素カウントと、左眼画像において、注目画素とする画素の位置を表す変数としての注目画素位置とをリセットし、処理は、ステップＳ２２に進む。

　すなわち、画素カウントのリセットでは、例えば、画素カウントが0に設定される。注目画素位置のリセットでは、例えば、注目画素位置が、左眼画像の最も左上の画素の位置から、1画素分だけ左の位置に設定される。

　ステップＳ２２では、画像補正部３３Ｌは、注目画素位置を、例えば、ラスタスキャン順に、1画素分だけ更新し、処理は、ステップＳ２３に進む。

　ステップＳ２３では、画像補正部３３Ｌは、左眼画像の画素のうちの、注目画素位置の画素、すなわち、注目画素が、欠落画素であるかどうかを判定する。

　ステップＳ２３において、注目画素が、欠落画素でないと判定された場合、処理は、ステップＳ２４及びＳ２５をスキップして、ステップＳ２６に進む。

　また、ステップＳ２３において、注目画素が、欠落画素であると判定された場合、処理は、ステップＳ２４に進む。

　ステップＳ２４では、画像補正部３３Ｌは、左眼画像の画素の中で、注目画素の近傍（周辺）にある画素のうちの、欠落画素でない画素の画素値を用いて、欠落画素になっている注目画素の画素値を補間し、処理は、ステップＳ２５に進む。

　ステップＳ２５では、画像補正部３３Ｌは、ステップＳ２４で補間を行った画素をカウントする変数としての補間画素数を、1だけインクリメントし、処理は、ステップＳ２６に進む。

　ステップＳ２６では、画像補正部３３Ｌは、左眼画像を構成するすべての画素を、注目画素として、注目画素が欠落画素かどうかの判定を行ったかどうかを判定する。

　ステップＳ２６において、左眼画像を構成するすべての画素を、まだ、注目画素としていないと判定された場合、処理は、ステップＳ２２に戻り、以下、同様の処理が繰り返される。

　また、ステップＳ２６において、左眼画像を構成するすべての画素を、注目画素としたと判定された場合、すなわち、注目画素位置が、左眼画像のラスタスキャン順で最後の画素の位置になっている場合、処理は、ステップＳ２７に進み、画像補正部３３Ｌは、画素カウントが0であるかどうかを判定する。

　ステップＳ２７において、画素カウントが0でないと判定された場合、処理は、ステップＳ２１に戻り、以下、同様の処理が繰り返される。

　すなわち、直前のステップＳ２２ないしＳ２６のループ処理において、左眼画像に欠落画素が存在し、その欠落画素の画素値の補間が行われた場合、左眼画像に、まだ、欠落画素が存在する可能性があるため、ステップＳ２１ないしＳ２７の処理が、リカーシブに繰り返される。

　一方、ステップＳ２７において、画素カウントが0であると判定された場合、処理は終了する（リターンする）。

　すなわち、直前のステップＳ２２ないしＳ２６のループ処理において、左眼画像に欠落画素が存在しないことが確認された場合、画像補正部３３Ｌは、ステップＳ２４の画素値の補間によって得られた左眼画像を、表示部１３に供給し、処理は終了する。

　ここで、画像補正部３３Ｌにおいて、注目画素が欠落画素であるかどうかの判定は、例えば、欠落画素を表す欠落フラグを用いて行うことができる。

　すなわち、画像シフト調整部３２Ｌにおいて、シフト後の画素値を格納するメモリに、欠落フラグを埋め込んでおき（記憶させておき）、そのメモリに、シフト後の画素値を、上書きの形で書き込ませる。

　この場合、シフト後の画素値が書き込まれなかったメモリアドレスには、欠落フラグが記憶されたままになっているので、欠落フラグが記憶されたメモリアドレスに対応する画素が、欠落画素であると判定することができる。

　なお、画像補正部３３Ｒでは、画像補正部３３Ｌと同様に、右眼画像の補正が行われる。

　＜内視鏡システムの第２実施の形態＞

　図９は、本技術を適用した内視鏡システムの第２実施の形態の構成例を示すブロック図である。

　なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。

　図９において、内視鏡システムは、内視鏡１１、表示部１３、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６を有する点で、図１の場合と共通する。

　但し、図９の内視鏡システムは、視差量調整部１２に代えて、視差量調整部４０が設けられている点で、図１の場合と相違する。

　視差量調整部４０は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整し、その調整後の内視鏡画像を表示部１３に供給する点で、図１の視差量調整部１２と共通する。

　但し、視差量調整部４０は、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における視差が負担になる負担領域の視差量を調整する点で、電気メス制御情報に基づいて視差量を調整する視差量調整部１２と相違する。

　そのため、図９の内視鏡システムでは、図１の場合のように、電気メス制御部１６から視差量調整部４０には、電気メス制御情報が供給されるようにはなっていない。

　但し、図９の内視鏡システムでは、図１の場合と同様に、電気メス制御部１６から視差量調整部４０に、電気メス制御情報を供給することができる。この場合、視差量調整部４０では、電気メス制御情報に基づき、電気メス１４がオンになっているときに、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における負担領域の視差量の調整を行うことができる。

　図１０は、図９の視差量調整部４０の構成例を示すブロック図である。

　なお、図中、図３の視差量調整部１２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

　図１０において、視差量調整部４０は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、並びに、視差画像生成部３４を有する点で、図３の視差量調整部１２と共通する。

　但し、図１０の視差量調整部４０は、視差調整画像生成部３５に代えて、視差調整画像生成部４３が設けられている点で、図３の視差量調整部１２と相違する。さらに、図１０の視差量調整部４０は、フレーム差分演算部４１、及び、輝度信号変換部４２が、新たに設けられている点で、図３の視差量調整部１２と相違する。

　フレーム差分演算部４１、及び、輝度信号変換部４２には、現像部３１Ｌで得られる左眼画像（の現像信号L）、及び、現像部３１Ｒで得られる右眼画像（の現像信号R）のうちの一方が供給される。

　図１０では、左眼画像及び右眼画像のうちの、例えば、視差画像の生成で基準となる左眼画像が、フレーム差分演算部４１、及び、輝度信号変換部４２に供給される。

　フレーム差分演算部４１は、現像部３１Ｌから供給される左眼画像の隣接するフレームどうしの各画素の画素値の差分絶対値を演算し、その差分絶対値を画素値とするフレーム差分画像を、視差調整画像生成部４３に供給する。

　輝度信号変換部４２は、現像部３１Ｌから供給される左眼画像のR，G、及び、Bの各プレーンの現像信号Lから、その左眼画像の各画素の輝度信号を求め、その輝度信号を画素値とする輝度画像を、視差調整画像生成部４３に供給する。

　輝度信号は、現像信号LとしてのR，G、及び、Bの値から、式（５）により求めることができる。

　Y=0.2126R+0.7152G+0.0722B
　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）

　視差調整画像生成部４３には、フレーム差分演算部４１からフレーム差分画像が供給されるとともに、輝度信号変換部４２から輝度画像が供給される他、視差画像生成部３４から、視差画像が供給される。

　視差調整画像生成部４３は、フレーム差分演算部４１からのフレーム差分画像、及び、輝度信号変換部４２からの輝度画像に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成する。

　すなわち、いま、フレーム差分画像の位置(x,y)の画素値である差分絶対値を、S(x,y)と表すとともに、輝度画像の位置(x,y)の画素値である輝度（信号）を、L(x,y)と表すこととする。

　視差調整画像生成部４３は、例えば、式（６）、式（７）、及び、式（８）に従い、視差画像の画素値である視差量d(x,y)を用いて、視差調整値c(x,y)を求め、その視差調整値c(x,y)を画素値とする視差調整画像を生成して、画像シフト調整部３２Ｌ及び３２Ｒに供給する。

　c(x,y)=(d(x,y)-d(x,y)/a(x,y))/2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　if (c(x,y)<0) {c(x,y)=0}
　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　a(x,y)=b・L(x,y)・S(x,y)
　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）

　なお、式（８）において、bは、a(x,y)を調整する調整値であり、例えば、内視鏡システムの開発者によって、実験的に値が決定される。

　式（６）ないし式（８）によれば、視差調整値c(x,y)は、式（６）に従って求められる。但し、式（６）に従って求められる視差調整値c(x,y)が負の値である場合には、視差調整値c(x,y)は、式（７）に従って0に補正される。

　式（６）の視差調整値c(x,y)は、視差量d(x,y)と、a(x,y)とを用いて求められ、a(x,y)は、式（８）に従い、差分絶対値S(x,y)と輝度L(x,y)とを用いて求められる。したがって、式（６）の視差調整値c(x,y)は、視差量d(x,y)と、差分絶対値（動き）S(x,y)とに対応する値になっているということができる。さらに、式（６）の視差調整値c(x,y)は、視差量d(x,y)と、輝度L(x,y)とに対応する値になっている、ということもできる。

　式（６）ないし式（８）によれば、差分絶対値S(x,y)や、輝度L(x,y)が大きい画素については、a(x,y)が大になり、ひいては、視差調整値c(x,y)が大になる。その結果、差分絶対値S(x,y)や、輝度L(x,y)が大きい画素については、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差が、より小さくなるように調整される。

　ここで、フレーム差分画像の画素の画素値である差分絶対値S(x,y)は、その画素における動きを表す。また、電気メス１４の使用によって発生するミストや煙は、動きが流動的で大きく、さらに、白色に近くて、輝度レベルが大きいといった特徴がある。したがって、3Dの内視鏡画像において、差分絶対値S(x,y)や輝度L(x,y)が大きい画素は、ミストや煙が映る領域の画素であると推定することができる。

　また、3Dの内視鏡画像において、ミストや煙が映る領域は、その動きの激しさから、3Dの内視鏡画像を観察するユーザに不快感を感じさせるので、ユーザの負担となる負担領域であるということができる。

　以上のように、3Dの内視鏡画像において、ミストや煙が映る領域は、負担領域であり、差分絶対値S(x,y)や輝度L(x,y)が大きくなる。

　差分絶対値S(x,y)や輝度L(x,y)が大きい画素については、上述したように、視差調整画像生成部３５において、値が大きな視差調整値c(x,y)が求められ、その結果、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差量が、より小さくなるように調整される。

　したがって、3Dの内視鏡画像において、電気メス１４の使用によって生じたミストや煙が映る負担領域の視差は小さくなり、ユーザの負担を軽減することができる。

　なお、上述の場合には、動きを表す差分絶対値S(x,y)と、輝度L(x,y)との両方に基づいて、負担領域の視差量を調整することとしたが、負担領域の視差量の調整は、差分絶対値S(x,y)及び輝度L(x,y)のうちの一方に基づいて行うことができる。

　すなわち、式（８）において、L(x,y)=1とすることにより、動きを表す差分絶対値S(x,y)に基づいて、負担領域の視差量の調整を行うことができる。また、式（８）において、S(x,y)=1とすることにより、輝度L(x,y)に基づいて、負担領域の視差量の調整を行うことができる。

　ここで、上述の式（６）ないし式（８）においては、a(x,y)は、3Dの内視鏡画像（の左眼画像）における位置(x,y)の画素が、ミストや煙等が映る負担領域である程度（以下、負担領域度ともいう）を表す。そして、負担領域度a(x,y)が大きい画素ほど、視差量が小さくなるように調整される。

　視差量調整部４０では、以上のように、画素の負担領域度a(x,y)に応じた視差量の調整を行う他、例えば、閾値処理によって、負担領域を検出し、その負担領域についてだけ、視差量の調整を行うことができる。

　すなわち、視差量調整部４０では、視差調整画像生成部４３において、例えば、式（９）に従って、視差調整値c(x,y)を求めることができる。

　if (L(x,y)>TH1 & S(x,y)>TH2) {c(x,y)=(d(x,y)-d(x,y)/a)/2} else{c(x,y)=0}
　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）

　式（９）において、TH1及びTH2は、負担領域の検出に用いる閾値であり、aは、1以上の定数である。TH1，TH2、及び、aは、例えば、内視鏡システムの開発者によって、実験的に値が決定される。

　式（９）によれば、輝度L(x,y)が閾値TH1より大であり、かつ、差分絶対値S(x,y)が閾値TH2より大である場合、3Dの内視鏡画像（の左眼画像）における位置(x,y)の画素が、ミストや煙等の、ユーザの負担になる所定の物体が映る負担領域（を構成する画素）として検出される。そして、負担領域については、式（１）の場合と同様に、視差量d(x,y)に対応する値（(d(x,y)-d(x,y)/a)/2）の視差調整値c(x,y)が求められる。

　また、式（９）によれば、輝度L(x,y)が閾値TH1より大でないか、又は、差分絶対値S(x,y)が閾値TH2より大でない場合、3Dの内視鏡画像における位置(x,y)の画素が、負担領域ではないとして、値が0の視差調整値c(x,y)が求められる。

　したがって、式（９）によれば、3Dの内視鏡画像において、ミストや煙等が映る負担領域について、視差が小さくなるように調整され、その結果、ユーザの負担を軽減することができる。

　図１１は、図１０のフレーム差分演算部４１の構成例を示すブロック図である。

　図１１において、フレーム差分演算部４１は、フレームメモリ５１及び差分絶対値演算部５２を有する。

　フレームメモリ５１及び差分絶対値演算部５２には、現像部３１Ｌから左眼画像のフレーム（の現像信号L）が供給される。

　フレームメモリ５１は、現像部３１Ｌからの左眼画像のフレームを記憶する。

　差分絶対値演算部５２は、現像部３１Ｌから供給される左眼画像のフレームを、順次、注目フレームとして、フレームメモリ５１に記憶された、注目フレームの直前のフレームと、注目フレームとの各画素の画素値の差分絶対値を演算する。そして、差分絶対値演算部５２は、差分絶対値を画素値とするフレーム差分画像を生成し、視差調整画像生成部４３に供給する。

　すなわち、いま、注目フレームが、N番目のフレーム#Nであるとすると、差分絶対値演算部５２は、フレームメモリ５１に記憶された、N-1番目のフレーム#N-1とフレーム#Nとの各画素について、画素値の差分絶対値を演算することにより、フレーム差分画像を生成する。

　次に、図９の内視鏡システムで行われる、3Dの内視鏡画像を表示する画像表示の処理について説明する。

　図９の内視鏡システムでは、図５のフローチャートで説明した場合と同様の画像表示の処理が行われる。但し、図５の画像表示の処理において、ステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理は、図６の場合と異なる。

　図１２は、図９の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。

　ステップＳ４１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ４２に進む。

　すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、視差画像生成部３４、フレーム差分演算部４１、及び、輝度信号変換部４２に供給する。

　現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。

　ステップＳ４２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部４３に供給して、処理は、ステップＳ４３に進む。

　ステップＳ４３では、フレーム差分演算部４１は、現像部３１Ｌからの左眼画像の隣接するフレームどうしの各画素の画素値の差分絶対値を演算し、その差分絶対値を画素値とするフレーム差分画像を生成して、視差調整画像生成部４３に供給する。

　さらに、ステップＳ４３では、輝度信号変換部４２は、現像部３１Ｌからの左眼画像から、その左眼画像の各画素の輝度信号を求め、その輝度信号を画素値とする輝度画像を生成して、視差調整画像生成部４３に供給する。

　そして、処理は、ステップＳ４３からステップＳ４４に進み、視差調整画像生成部４３は、フレーム差分演算部４１からのフレーム差分画像と、輝度信号変換部４２からの輝度画像とに基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。

　さらに、視差調整画像生成部４３は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ４４からステップＳ４５に進む。

　以下、ステップＳ４５及びＳ４６では、図６のステップＳ１４及びＳ１５とそれぞれ同様の処理が行われる。

　＜内視鏡システムの第３実施の形態＞

　図１３は、本技術を適用した内視鏡システムの第３実施の形態の構成例を示すブロック図である。

　なお、図中、図１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜、省略する。

　図１３において、内視鏡システムは、内視鏡１１、及び、表示部１３を有する点で、図１の場合と共通する。

　但し、図１３の内視鏡システムは、電気メス１４、電気メススイッチ１５、及び、電気メス制御部１６に代えて、鉗子６１が設けられている点で、図１の場合と相違する。

　さらに、図１３の内視鏡システムは、視差量調整部１２に代えて、視差量調整部７０が設けられている点で、図１の場合と相違する。

　鉗子６１は、ユーザによって、患者の体内に挿入され、術部に処置を施すこと等に用いられる。

　視差量調整部７０は、内視鏡画像１１からの3Dの内視鏡画像の視差が、その内視鏡画像を観察するユーザにとって負担になる場合に、3Dの内視鏡画像の視差量を、ユーザの負担が軽減されるように調整し、その調整後の内視鏡画像を表示部１３に供給する点で、図１の視差量調整部１２と共通する。

　但し、視差量調整部７０は、内視鏡画像１１からの3Dの内視鏡画像に基づいて、その3Dの内視鏡画像における視差が負担になる負担領域を検出し、その負担領域の視差量を調整する点で、電気メス制御情報に基づいて視差量を調整する視差量調整部１２と相違する。

　なお、図９の視差量調整部４０では、3Dの内視鏡画像において、ミストや煙が映る領域を負担領域としたが、図１３の視差量調整部７０では、3Dの内視鏡画像において、例えば、鉗子６１等の処置具が映る領域が、負担領域として検出される。

　すなわち、3Dの内視鏡画像において、例えば、鉗子６１が映る領域である鉗子領域は、手前から奥の術部の方向に向かって広範囲に亘っていることがある。この場合、ユーザによる鉗子６１の操作によって、鉗子領域の中でも面積が大きい手前側の領域が大きく動くと、上述の激しく動くミストや煙と同様に、ユーザに不快感を与え、ユーザの負担になることがある。

　そこで、視差量調整部７０は、鉗子領域の全部又は一部を、負担領域として検出し、その負担領域の視差を小さくするように調整することで、ユーザの負担を軽減する。

　なお、視差量調整部７０では、鉗子領域の全体を、負担領域として検出することもできるし、鉗子領域のうちの、動いた場合のユーザへの負担が大きい手前側の領域だけを、負担領域として検出することもできる。

　図１４は、鉗子６１が映っている3Dの内視鏡画像（を構成する左眼画像又は右眼画像）の例を示す図である。

　図１４では、3Dの内視鏡画像の、左側と右側とに、体腔に挿入された鉗子６１としての2本の鉗子が、組織を背景として映っている。

　図１４の3Dの内視鏡画像においては、左側の鉗子６１が、手前から奥の術部の方向に広範囲に亘って映っている。かかる3Dの内視鏡画像において、左側の鉗子６１が映る鉗子領域の、特に、面積が大きい手前側の領域が大きく動くと、3Dの内視鏡画像を観察しているユーザに不快感を与え、ユーザの負担になることがある。

　図１５は、図１３の視差量調整部７０の構成例を示すブロック図である。

　なお、図中、図３の視差量調整部１２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

　図１５において、視差量調整部７０は、現像部３１Ｌ及び３１Ｒ、画像シフト調整部３２Ｌ及び３２Ｒ、画像補正部３３Ｌ及び３３Ｒ、並びに、視差画像生成部３４を有する点で、図３の視差量調整部１２と共通する。

　但し、図１５の視差量調整部７０は、視差調整画像生成部３５に代えて、視差調整画像生成部７２が設けられている点で、図３の視差量調整部１２と相違する。さらに、図１５の視差量調整部７０は、鉗子領域検出部７１が、新たに設けられている点で、図３の視差量調整部１２と相違する。

　鉗子領域検出部７１には、現像部３１Ｌで得られる左眼画像（の現像信号L）、及び、現像部３１Ｒで得られる右眼画像（の現像信号R）のうちの一方が供給される。

　図１５では、左眼画像及び右眼画像のうちの、例えば、視差画像の生成で基準となる左眼画像が、鉗子領域検出部７１に供給される。

　鉗子領域検出部７１は、現像部３１Ｌから供給される左眼画像から、鉗子６１が映る鉗子領域を検出し、その検出結果を表す鉗子領域画像を生成して、視差調整画像生成部７２に供給する。

　ここで、鉗子領域検出部７１での鉗子領域の検出の方法は、特に限定されるものではない。鉗子領域の検出の方法としては、例えば、第１の検出方法や第２の検出方法を採用することができる。

　第１の検出方法では、鉗子６１の色が、体内の組織の色と明らかに異なることを前提として、左眼画像の現像信号LのR，G、及び、Gの各値から、色相(hue)が演算される。そして、その色相の閾値処理を行うことにより、鉗子６１の色になっている領域が、鉗子領域として検出される。

　第２の検出方法では、左眼画像の現像信号LのR，G、及び、Gの各値から、各画素の輝度が求められ、その輝度を画素値とする輝度画像が生成される。さらに、輝度画像のエッジ検出を行うことで、エッジが表されたエッジ画像が生成され、そのエッジ画像のハフ変換を行うことで、エッジ画像上の直線（状のエッジ）が検出される。そして、エッジ画像上の直線の中から、長さの長い2つの直線が検出され、その2つの直線で囲まれる領域が、鉗子領域として検出される。

　視差調整画像生成部７２には、鉗子領域検出部７１から鉗子領域画像が供給される他、視差画像生成部３４から、視差画像が供給される。

　視差調整画像生成部７２は、鉗子領域検出部７１からの鉗子領域画像に基づき、視差画像生成部３４からの視差画像を用いて、視差調整画像を生成し、画像シフト調整部３２Ｌ及び３２Ｒに供給する。

　すなわち、位置(x,y)の画素が、鉗子領域（の画素）であり、かつ、位置(x,y)の画素の視差d(x,y)が、閾値TH3より大である場合、視差調整画像生成部７２は、例えば、式（１０）に従って、視差調整値c(x,y)を求める。

　c(x,y)=(d(x,y)-d(x,y)/a(x,y))/2
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１０）

　また、位置(x,y)の画素が、鉗子領域でないか、又は、位置(x,y)の画素が、鉗子領域であっても、視差d(x,y)が、閾値TH3より大でない場合、視差調整画像生成部７２は、例えば、式（１１）に従って、視差調整値c(x,y)を求める。

　c(x,y)=0
　　　　　　　　　　　　　　　　　　　　　　　　・・・（１１）

　以上のように、視差調整画像生成部７２は、式（１０）又は式（１１）に従って、視差調整値c(x,y)を求め、その視差調整値c(x,y)を画素値とする視差調整画像を生成して、画像シフト調整部３２Ｌ及び３２Ｒに供給する。

　なお、閾値TH3は、負担領域の検出に用いる閾値であり、aは、1以上の定数である。TH3及びaは、例えば、内視鏡システムの開発者によって、実験的に値が決定される。

　以上のような視差調整画像生成部７２では、所定の物体としての鉗子６１が映る鉗子領域の中で、視差d(x,y)が閾値TH3より大きい領域、すなわち、手前側の領域が、負担領域として検出される。そして、負担領域については、例えば、式（１）の場合と同様に、視差量d(x,y)に対応する値（(d(x,y)-d(x,y)/a)/2）の視差調整値c(x,y)が求められる。

　また、視差調整画像生成部７２では、位置(x,y)の画素が、鉗子領域でないか、又は、位置(x,y)の画素が、鉗子領域であっても、視差d(x,y)が、閾値TH3より大でない場合、位置(x,y)の画素が、負担領域ではないとして、値が0の視差調整値c(x,y)が求められる。

　したがって、画像シフト調整部３２Ｌ及び３２Ｒにおいて、視差調整画像生成部７２で求められる視差調整値c(x,y)（を画素値とする視差調整画像）に基づいて、視差の調整を行うことにより、ユーザの負担を軽減することができる。

　すなわち、画像シフト調整部３２Ｌ及び３２Ｒでは、3Dの内視鏡画像において、鉗子６１が映る鉗子領域のうちの手前側の負担領域について、視差が小さくなるように調整される。その結果、ユーザの負担を軽減することができる。

　図１６は、図１５の鉗子領域検出部７１で生成される鉗子領域画像の例を示す図である。

　図１６のＡは、鉗子領域検出部７１において、鉗子領域の検出の対象となる対象画像としての左眼画像の例を示している。

　図１６のＡの左眼画像においては、左眼画像の中央から下部に亘って、鉗子６１が映っている。

　図１６のＢは、図１６のＡの左眼画像から鉗子領域を検出することにより生成される鉗子領域画像の例を示している。

　鉗子領域画像は、鉗子領域を表す、例えば、2値の画像になっている。

　次に、図１３の内視鏡システムで行われる、3Dの内視鏡画像を表示する画像表示の処理について説明する。

　図１３の内視鏡システムでは、図５のフローチャートで説明した場合と同様の画像表示の処理が行われる。但し、図５の画像表示の処理において、ステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理は、図６の場合と異なる。

　図１７は、図１３の内視鏡システムにおいて、図５のステップＳ２で行われる、3Dの内視鏡画像の視差量の調整の処理の例を説明するフローチャートである。

　ステップＳ５１において、現像部３１Ｌ及び３１Ｒは、現像処理を行って、処理は、ステップＳ５２に進む。

　すなわち、現像部３１Ｌは、内視鏡１１からの3Dの内視鏡画像を構成する左眼画像の画像信号Lを対象に、現像処理を行って、現像信号Lを生成し、画像シフト調整部３２Ｌ、視差画像生成部３４、及び、鉗子領域検出部７１に供給する。

　現像部３１Ｒは、内視鏡１１からの3Dの内視鏡画像を構成する右眼画像の画像信号Rを対象に、現像処理を行って、現像信号Rを生成し、画像シフト調整部３２Ｒ、及び、視差画像生成部３４に供給する。

　ステップＳ５２では、視差画像生成部３４は、現像部３１Ｌからの左眼画像、及び、現像部３１Ｒからの右眼画像を用いて、視差量d(x,y)を画素値とする視差画像を生成し、視差調整画像生成部７２に供給して、処理は、ステップＳ５３に進む。

　ステップＳ５３では、鉗子領域検出部７１は、現像部３１Ｌからの左眼画像から鉗子領域を検出する鉗子領域検出の処理を行い、鉗子領域を表す鉗子領域画像を生成して、視差調整画像生成部７２に供給する。

　そして、処理は、ステップＳ５３からステップＳ５４に進み、視差調整画像生成部７２は、鉗子領域検出部７１からの鉗子領域画像に基づき、視差画像生成部３４から供給される視差画像を用いて、視差調整値c(x,y)を画素値とする視差調整画像を生成する。

　さらに、視差調整画像生成部７２は、視差調整画像を、画像シフト調整部３２Ｌ及び３２Ｒに供給して、処理は、ステップＳ５４からステップＳ５５に進む。

　以下、ステップＳ５５及びＳ５６では、図６のステップＳ１４及びＳ１５とそれぞれ同様の処理が行われる。

　図１８は、図１７のステップＳ５３で行われる鉗子領域検出の処理の例を説明するフローチャートである。

　鉗子領域検出部７１は、上述の第１及び第２の検出方法のうちの、例えば、第２の検出方法によって、左眼画像から鉗子領域を検出する。

　すなわち、ステップＳ６１において、鉗子領域検出部７１は、現像部３１Ｌからの左眼画像の現像信号LのR，G、及び、Gの各値から、各画素の輝度を求め、その輝度を画素値とする輝度画像を生成して、処理は、ステップＳ６２に進む。

　ステップＳ６２では、鉗子領域検出部７１は、輝度画像のエッジ検出を行い、エッジが表されたエッジ画像を生成して、処理は、ステップＳ６３に進む。

　ステップＳ６３では、鉗子領域検出部７１は、エッジ画像をハフ変換することにより、エッジ画像上の直線（線分）を検出して、処理は、ステップＳ６４に進む。

　ステップＳ６４では、鉗子領域検出部７１は、ステップＳ６３で検出されたエッジ画像上の直線の中から、長さの長い順に2つの直線を、鉗子領域の境界を表す境界直線として検出し、処理は、ステップＳ６５に進む。

　ステップＳ６５では、鉗子領域検出部７１は、2つの境界直線で囲まれる領域を、鉗子領域として検出し、処理は終了する（リターンする）。

　なお、図１３の視差量調整部７０では、鉗子６１が映る鉗子領域（の一部）を、負担領域として検出することとしたが、視差量調整部７０では、鉗子６１の他、例えば、シース等の処置具、その他の、3Dの内視鏡画像を観察するユーザの負担になる所定の物体（例えば、奥行き方向に大きく動く物体や、3Dの内視鏡画像において大きな領域を占める、動く物体等）が映る領域の一部又は全部を、負担領域として検出することができる。そして、その負担領域について、ユーザの負担を軽減するように、視差量の調整を行うことができる。

　以上のように、本実施の形態の内視鏡システムによれば、例えば、3Dの内視鏡画像を観察しながら外科手術を行うケースにおいて、内視鏡スコープ１１Ｂの先端に近接した激しい動きのミストや煙に対し、視差量が調整されるので、違和感や不快感の少ない3Dの内視鏡画像を、ユーザ（術者）に提示することができる。

　さらに、本実施の形態の内視鏡システムによれば、例えば、3Dの内視鏡画像を観察しながら外科手術を行うケースにおいて、内視鏡スコープ１１Ｂの先端に近接した動きの激しい鉗子領域に対し、視差量が調整されるので、違和感や不快感の少ない3Dの内視鏡画像を、ユーザに提示することができる。

　したがって、本実施の形態の内視鏡システムによれば、ユーザの疲労を軽減し、集中力の維持に貢献することできる。

　なお、本技術は、体内に、内視鏡スコープ１１Ｂが挿入される内視鏡１１で撮像された内視鏡画像の他、例えば、いわゆるカプセル型の内視鏡で撮像された内視鏡画像を処理する場合に適用することができる。

　さらに、本技術は、人体を撮像した画像の他、人体以外の生体を撮像した画像を処理する場合に適用することができる。

　また、本技術は、内視鏡１１で生体を撮像した内視鏡画像の他、例えば、顕微鏡で生体を撮像した生体画像を処理する場合に適用することができる。その他、本技術は、ファイバスコープと呼ばれる内視鏡で、生体以外の被写体を撮像した内視鏡画像に適用することができる。

　さらに、上述の第１実施の形態ないし第３実施の形態の内視鏡システムにおける視差量の調整は、組み合わせて用いることができる。すなわち、例えば、視差量を小さくする調整は、煙やミストが映る領域と、鉗子が映る鉗子領域との両方に行うことができる。

　＜本技術を適用したコンピュータの説明＞

　次に、視差量調整部１２や、４０，７０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。

　そこで、図１９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

　あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　なお、本技術は、以下の構成をとることができる。

　＜１＞
　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
　を備える画像処理装置。
　＜２＞
　前記視差量調整部は、エネルギデバイスが使用されている場合に、前記3Dの生体画像の視差量を調整する
　＜１＞に記載の画像処理装置。
　＜３＞
　前記エネルギデバイスは、電気メスである
　＜２＞に記載の画像処理装置。
　＜４＞
　前記視差量調整部は、前記3Dの生体画像に基づいて、前記3Dの生体画像における視差が負担になる負担領域の視差量を調整する
　＜１＞に記載の画像処理装置。
　＜５＞
　前記視差量調整部は、前記3Dの生体画像の動きに基づいて、前記負担領域の視差量を調整する
　＜４＞に記載の画像処理装置。
　＜６＞
　前記視差量調整部は、前記3Dの生体画像の輝度に基づいて、前記負担領域の視差量を調整する
　＜４＞に記載の画像処理装置。
　＜７＞
　前記視差量調整部は、前記3Dの生体画像の動き及び輝度に基づいて、前記負担領域の視差量を調整する
　＜４＞に記載の画像処理装置。
　＜８＞
　前記視差量調整部は、前記3Dの生体画像において、所定の物体が映る領域を、前記負担領域として検出する
　＜４＞に記載の画像処理装置。
　＜９＞
　前記視差量調整部は、前記3Dの生体画像において、処置具が映る領域を、前記負担領域として検出する
　＜８＞に記載の画像処理装置。
　＜１０＞
　前記視差量調整部は、前記3Dの生体画像において、ミスト又は煙が映る領域を、前記負担領域として検出する
　＜８＞に記載の画像処理装置。
　＜１１＞
　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が小さくなるように調整する
　＜１＞ないし＜１０＞のいずれかに記載の画像処理装置。
　＜１２＞
　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量に対応する調整値だけ小さくなるように調整する
　＜１１＞に記載の画像処理装置。
　＜１３＞
　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量と、前記3Dの生体画像の動き及び輝度のうちの一方又は両方とに対応する調整値だけ小さくなるように調整する
　＜１１＞に記載の画像処理装置。
　＜１４＞
　前記視差量調整部は、前記3Dの生体画像を構成する左眼で観察される左眼画像、及び、右眼で観察される右眼画像とのうちの一方の画像の注目画素の画素値と、前記左眼画像及び前記右眼画像のうちの他方の画像の、前記注目画素に対応する対応画素の画素値とを水平方向にシフトすることにより、前記3Dの生体画像の視差量を調整する
　＜１＞ないし＜１３＞のいずれかに記載の画像処理装置。
　＜１５＞
　前記左眼画像及び前記右眼画像のうちの、前記画素値のシフトによって画素値が欠落した欠落画素の画素値を補間することにより、前記左眼画像及び前記右眼画像を補正する画像補正部をさらに備える
　＜１４＞に記載の画像処理装置。
　＜１６＞
　前記画像補正部は、前記欠落画素の画素値を、その欠落画素の近傍の画素のうちの、欠落画素になっていない画素の画素値によって補間する
　＜１５＞に記載の画像処理装置。
　＜１７＞
　前記生体画像は、内視鏡で前記生体を撮像した内視鏡画像である
　＜１＞ないし＜１６＞のいずれかに記載の画像処理装置。
　＜１８＞
　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する
　ステップを含む画像処理方法。
　＜１９＞
　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
　として、コンピュータを機能させるためのプログラム。
　＜２０＞
　3D(Dimensions)の画像を撮像する内視鏡と、
　前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、
　前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部と
　を備える内視鏡システム。

　１１　内視鏡，　１１Ａ　カメラヘッド，　１１Ｂ　内視鏡スコープ，　１２　視差量調整部，　１３　表示部，　１４　電気メス，　１５　電気メススイッチ，　１６　電気メス制御部，　２１Ｌ，２１Ｒ　撮像素子，　３１Ｌ，３１Ｒ　現像部，　３２Ｌ，３２Ｒ　画像シフト調整部，　３３Ｌ，３３Ｒ　画像補正部，　３４　視差画像生成部，　３５　視差調整画像生成部，　４０　視差量調整部，　４１　フレーム差分演算部，　４２　輝度信号変換部，　４３　視差調整画像生成部，　５１　フレームメモリ，　５２　差分絶対値演算部，　６１　鉗子，　７０　視差量調整部，　７１　鉗子領域検出部，　１０１　バス，　１０２　CPU，　１０３　ROM，　１０４　RAM，　１０５　ハードディスク，　１０６　出力部，　１０７　入力部，　１０８　通信部，　１０９　ドライブ，　１１０　入出力インタフェース，　１１１　リムーバブル記録媒体

Claims (20)

1. 　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
   　を備える画像処理装置。
2. 　前記視差量調整部は、エネルギデバイスが使用されている場合に、前記3Dの生体画像の視差量を調整する
   　請求項１に記載の画像処理装置。
3. 　前記エネルギデバイスは、電気メスである
   　請求項２に記載の画像処理装置。
4. 　前記視差量調整部は、前記3Dの生体画像に基づいて、前記3Dの生体画像における視差が負担になる負担領域の視差量を調整する
   　請求項１に記載の画像処理装置。
5. 　前記視差量調整部は、前記3Dの生体画像の動きに基づいて、前記負担領域の視差量を調整する
   　請求項４に記載の画像処理装置。
6. 　前記視差量調整部は、前記3Dの生体画像の輝度に基づいて、前記負担領域の視差量を調整する
   　請求項４に記載の画像処理装置。
7. 　前記視差量調整部は、前記3Dの生体画像の動き及び輝度に基づいて、前記負担領域の視差量を調整する
   　請求項４に記載の画像処理装置。
8. 　前記視差量調整部は、前記3Dの生体画像において、所定の物体が映る領域を、前記負担領域として検出する
   　請求項４に記載の画像処理装置。
9. 　前記視差量調整部は、前記3Dの生体画像において、処置具が映る領域を、前記負担領域として検出する
   　請求項８に記載の画像処理装置。
10. 　前記視差量調整部は、前記3Dの生体画像において、ミスト又は煙が映る領域を、前記負担領域として検出する
    　請求項８に記載の画像処理装置。
11. 　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が小さくなるように調整する
    　請求項１に記載の画像処理装置。
12. 　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量に対応する調整値だけ小さくなるように調整する
    　請求項１１に記載の画像処理装置。
13. 　前記視差量調整部は、前記3Dの生体画像の視差量を、視差が、前記視差量と、前記3Dの生体画像の動き及び輝度のうちの一方又は両方とに対応する調整値だけ小さくなるように調整する
    　請求項１１に記載の画像処理装置。
14. 　前記視差量調整部は、前記3Dの生体画像を構成する左眼で観察される左眼画像、及び、右眼で観察される右眼画像とのうちの一方の画像の注目画素の画素値と、前記左眼画像及び前記右眼画像のうちの他方の画像の、前記注目画素に対応する対応画素の画素値とを水平方向にシフトすることにより、前記3Dの生体画像の視差量を調整する
    　請求項１に記載の画像処理装置。
15. 　前記左眼画像及び前記右眼画像のうちの、前記画素値のシフトによって画素値が欠落した欠落画素の画素値を補間することにより、前記左眼画像及び前記右眼画像を補正する画像補正部をさらに備える
    　請求項１４に記載の画像処理装置。
16. 　前記画像補正部は、前記欠落画素の画素値を、その欠落画素の近傍の画素のうちの、欠落画素になっていない画素の画素値によって補間する
    　請求項１５に記載の画像処理装置。
17. 　前記生体画像は、内視鏡で前記生体を撮像した内視鏡画像である
    　請求項１に記載の画像処理装置。
18. 　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する
    　ステップを含む画像処理方法。
19. 　生体を撮像した3D(Dimensions)の生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部
    　として、コンピュータを機能させるためのプログラム。
20. 　3D(Dimensions)の画像を撮像する内視鏡と、
    　前記内視鏡で生体を撮像することにより得られる3Dの生体画像の視差がユーザにとって負担になるかどうかに応じて、前記3Dの生体画像の視差量を調整する視差量調整部と、
    　前記視差量調整部で前記視差量が調整された前記3Dの生体画像を表示する表示部と
    　を備える内視鏡システム。

Images