WO2017145788A1

WO2017145788A1 - 画像処理装置、画像処理方法、プログラム、及び、手術システム

Info

Publication number: WO2017145788A1
Application number: PCT/JP2017/004846
Authority: WO
Inventors: 鶴　大輔; 恒生林; 高橋　康昭; 浩司鹿島; 憲治池田
Original assignee: ソニー株式会社
Priority date: 2016-02-26
Filing date: 2017-02-10
Publication date: 2017-08-31
Also published as: US20190051039A1

Abstract

本技術は、陰影がある医用画像を適切に提供することができるようにする画像処理装置、画像処理方法、プログラム、及び、手術システムに関する。画像処理装置は、医用画像に対し、陰影を付加又は抑制するか否かを判定し、その判定の結果に基づき、陰影補正画像を生成するよう制御する。本技術は、例えば、内視鏡で撮影された医用画像を見ながら手術を行う手術システム等に適用することができる。

Description

画像処理装置、画像処理方法、プログラム、及び、手術システム

　本技術は、画像処理装置、画像処理方法、プログラム、及び、手術システムに関し、特に、例えば、陰影がある医用画像を適切に提供することができるようにする画像処理装置、画像処理方法、プログラム、及び、手術システムに関する。

　例えば、内視鏡下手術では、内視鏡で術部が撮影され、その術部が映った医用画像を見ながら、手術が行われる。

　内視鏡では、被写体を照明する照明光が、術部や術部の周辺に照射され、その反射光をカメラで受光することにより、医用画像が撮影される。内視鏡は、照明光（光源）の光軸とカメラの光軸とがほぼ一致するように構成されており、そのため、医用画像に映る被写体には、ほとんど影が生じない。

　かかる医用画像によれば、術部等の被写体が影に隠れて見にくくなることを防止することができる。

　しかしながら、影がほとんど生じない医用画像に映る被写体は、凹凸感のない（のっぺりした）画像になる。かかる画像では、被写体の立体的な構造が把握しにくくなることや、影のでき方等で感じられる、被写体（例えば、内蔵や、鉗子等の処置具等）どうしの間の前後感（前後の距離感）を感じにくくなることがある。

　なお、3D(Dimensional)画像の陰影を強調する技術（例えば、特許文献１）や、内視鏡の観察視野の方向と直交する方向に照射される照明光により、被写体に影を付す技術（例えば、特許文献２）が、先に提案されている。

特開2014-022867号公報特開平10-165357号公報

　医用画像について、凹凸感や、立体感、前後感をだす方法としては、医用画像に、陰影を付す方法がある。

　しかしながら、特許文献１の技術は、3D画像の中に既に存在する陰影を強調する技術であり、陰影がほとんどない医用画像に陰影を付すことが難しいことがある。

　また、特許文献２の技術では、内視鏡の観察視野の方向と直交する方向に照射される照明光が体腔内の壁面で反射することにより生じる反射光で、術部等を側方から間接的に照明することにより、内視鏡で撮影される画像に陰影が付される。

　したがって、術部が広い空間に存在する場合には、反射光が拡散して、陰影を付しにくいことがある。さらに、所望の陰影を付すことが難しい。

　ところで、医用画像に、陰影を付すことができれば、その医用画像を見る術者等は、凹凸感や、立体感、前後感を感じることができる。

　しかしながら、仮に、医用画像に、陰影を付すことができたとしても、例えば、術部が影に隠れて見えにくくなることがある。

　したがって、医用画像に、常時、陰影を付すことが適切であるとは限らない。

　本技術は、このような状況に鑑みてなされたものであり、陰影がある医用画像を適切に提供することができるようにするものである。

　本技術の画像処理装置、又は、プログラムは、医用画像に対し、陰影を付加又は抑制するか否かを判定し、前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部を備える画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。

　本技術の画像処理方法は、医用画像に対し、陰影を付加又は抑制するか否かを判定し、前記判定の結果に基づき、陰影補正画像を生成するよう制御するステップを含む画像処理方法である。

　本技術の手術システムは、医用画像を撮影する内視鏡と、被写体を照明する照明光を発する光源と、前記照明光によって照明された被写体を、前記内視鏡で撮影することにより得られ前記医用画像の画像処理を行う画像処理装置とを備え、前記画像処理装置は、医用画像に対し、陰影を付加又は抑制するか否かを判定し、前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部を有する手術システムである。

　本技術の画像処理装置、画像処理方法、プログラム、及び、手術システムにおいては、医用画像に対し、陰影を付加又は抑制するか否かが判定され、前記判定の結果に基づき、陰影補正画像を生成するよう制御される。

　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　本技術によれば、例えば、陰影がある医用画像を適切に提供することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

陰と影を説明する図である。本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。内視鏡システムの使用例を示す図である。内視鏡１１で撮影される医用画像の例を説明する図である。画像処理装置１２の第１の構成例を示すブロック図である。影画像生成部５３での影情報の生成の例を説明する図である。陰影合成処理部４２において陰影合成処理が行われることにより、出力画像に生じるアーチファクトを説明する図である。陰影合成処理部４２において陰影合成処理が行われることにより、出力画像に生じるアーチファクトを説明する図である。画像処理装置１２の処理の例を説明するフローチャートである。画像処理装置１２の第２の構成例を示すブロック図である。画像処理装置１２の処理の例を説明するフローチャートである。画像処理装置１２で得られる出力画像の例を示す図である。画像処理装置１２の第３の構成例を示すブロック図である。照明制御部７１での光源２１の制御の例を説明する図である。複数の（設定）照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第１の例を説明する図である。複数の照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第２の例を説明する図である。複数の照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第３の例を説明する図である。陰影領域検出部８２の処理の例を説明する図である。隠れ画像生成部８３、及び、影画像生成部８５の処理の例を説明する図である。影除去部８４の処理の例を説明する図である。影画像生成部８５の処理の例を説明する図である。合成部８６の処理の例を説明する図である。仮想光源位置設定部５１で設定される仮想光源位置を説明する図である。画像処理装置１２の処理の例を説明するフローチャートである。画像処理装置１２の第４の構成例を示すブロック図である。画像処理装置１２の第５の構成例を示すブロック図である。陰領域検出部１１１での陰領域の検出の例を説明する図である。画像処理装置１２の処理の例を説明するフローチャートである。本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

　＜陰と影＞

　図１は、陰と影を説明する図である。

　図１では、被写体に向かって、左斜め上の手前側から、照明光が照射されている。図１に示すように、陰(shade)とは、光（照明光）があたっていない暗い部分を意味し、影(shadow)とは、光が物体（被写体）に遮られてできる暗い部分を意味する。

　本明細書において、陰影というときは、陰のみ、影のみ、又は、陰と影の両方を意味することとする。

　＜本技術を適用した内視鏡システムの一実施の形態＞

　図２は、本技術を適用した内視鏡システムの一実施の形態の構成例を示すブロック図である。

　図２において、内視鏡システムは、内視鏡１１、画像処理装置１２、及び、表示装置１３を有する。

　内視鏡１１は、例えば、施術を施す人体の術部等の生体である被写体を照明しながら撮影し、その撮影により得られる、術部が映った医用画像を、画像処理装置１２に対する入力画像として、画像処理装置１２に供給する。

　内視鏡１１は、光源２１、及び、カメラ２２を有し、光源２１によって照明された術部等の被写体を、カメラ２２によって撮影する撮像部である。

　光源２１は、例えば、LED (Light Emitting Diode）等を有し、術部等の被写体を照明する照明光を発する。

　カメラ２２は、例えば、光学系、及び、CMOS（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサ（いずれも図示せず）等を有する。カメラ２２は、光源２１が発する照明光が被写体で反射されることにより入射する被写体光（反射光）を受光することにより、術部等の被写体が映った医用画像を撮影し、入力画像として、画像処理装置１２に供給する。

　なお、カメラ２２では、医用画像として、2D(Dimension)画像を撮影することもできるし、左眼用の画像（L(Left)画像）と右眼用の画像（R(Right)画像）とからなる3D画像を撮影することもできる。

　画像処理装置１２は、内視鏡１１（のカメラ２２）からの医用画像に、後述する陰影処理や、その他の必要な画像処理を施し、その画像処理の結果得られる画像を、表示装置１３に対する出力画像として、表示装置１３に供給する。

　その他、画像処理装置１２は、必要に応じて、内視鏡１１を制御する。

　すなわち、画像処理装置１２は、例えば、光源２１を制御することにより、光源２１が発する照明光を制御する。また、画像処理装置１２は、例えば、カメラ２２を制御することにより、絞りや、フォーカス（位置）、ズームを調整する。さらに、画像処理装置１２は、例えば、カメラ２２を制御することにより、医用画像のフレームレートや、医用画像を撮影するときの露光時間（シャッタスピード）を制御する。

　表示装置１３は、画像処理装置１２から供給される画像を表示する。表示装置１３としては、例えば、画像処理装置１２と一体となったディスプレイや、画像処理装置１２とは別個の据え置き型のディスプレイ、ヘッドマウントディスプレイ等を採用することができる。

　図３は、図２の内視鏡システムの使用例を示す図である。

　図２の内視鏡システムは、例えば、手術対象となる体内の部位である術部（患部）を被写体として撮影して、その被写体が映った医用画像である内視鏡画像を、表示装置１３に表示する。図２の内視鏡システムは、術者である医師が、その医用画像（内視鏡画像）を見ながら、術部に処置を施す内視鏡下手術等で用いられる。

　内視鏡１１は、例えば、患者（人体）の体腔に挿入され、その体腔内の術部を被写体とする医用画像を撮影する。

　すなわち、内視鏡１１は、例えば、外観上、内視鏡システムのユーザとしての手術を行う術者（医師）等が手で持って操作するカメラヘッド３１、及び、患者の体内に挿入される、細長い筒状の内視鏡スコープ３２等を有する。

　内視鏡下手術では、例えば、図３に示すように、内視鏡１１の内視鏡スコープ３２と、処置具とが、患者の体内に挿入される。ここで、処置具としては、エナジーデバイスや鉗子等があるが、図３では、鉗子３３が、患者の体内に挿入されている。

　内視鏡１１では、例えば、内視鏡スコープ３２の先端から、光源２１が発する照明光が照射され、その照明光によって、患者の体内の被写体としての術部が照明される。さらに、内視鏡１１では、照明光が術部で反射された反射光が、内視鏡スコープ３２の先端から入射し、カメラヘッド３１に内蔵されるカメラ２２で受光されることにより、被写体としての術部が撮影される。

　図４は、図２の内視鏡１１で撮影される医用画像の例を説明する模式図である。

　内視鏡１１では、光源２１が発する照明光の光軸と、カメラ２２の光軸とがほぼ一致する。そのため、カメラ２２で撮影される医用画像に映る被写体には、ほとんど影が生じない。

　しかしながら、影がほとんど生じない医用画像は、画像img1のように、凹凸感のない（のっぺりした）画像になる。かかる医用画像では、被写体の立体的な構造が把握しにくくなることや、影のでき方等で感じられる、被写体（例えば、内蔵や、鉗子等の処置具等）どうしの間の前後感（前後の距離感）を感じにくくなることがある。

　そこで、図２の内視鏡システムでは、画像処理装置１２において、仮想的な仮想光源を設定し、カメラ２２で撮影された医用画像に、陰影を付加又は抑制する陰影処理を行うことで、医用画像の陰影を調整する。

　すなわち、画像処理装置１２では、例えば、カメラ２２の光軸に対して、例えば、斜め45度の方向の位置等に、仮想光源を設定し、その仮想光源に対応する陰影処理を、医用画像に施す。これにより、画像処理装置１２では、仮想光源が発する照明光によって被写体である術部が照明されているかのような医用画像が生成される。

　画像処理装置１２で陰影処理が施された医用画像は、画像img2に示すように、凹凸感や、立体感、前後感（２つの物体の距離感）がある画像になる。

　かかる陰影処理が施された医用画像によれば、術者は、医用画像に映る被写体の表面構造（形状）や空間位置、被写体(物体）どうしの位置関係等を把握しやすくなり、手術をスムースに進めることができる。

　ここで、医用画像が、3D画像である場合には、2D画像に比較して、立体感等が生じる。しかしながら、内視鏡１１で撮影される医用画像としての3D画像については、視差が小さいため、3D画像であっても、奥行き方向の位置を把握することが容易ではないことがある。

　これに対して、陰影処理が施された画像img2のような医用画像によれば、奥行き方向の位置を容易に把握することができる。

　但し、陰影処理が施された医用画像については、その医用画像に映る術部が影に隠れて見えにくくなることがある。

　したがって、医用画像に、常時、陰影処理を行うことが適切であるとは限らない。

　そこで、図２の内視鏡システムでは、画像処理装置１２において、陰影処理を、医用画像に行うかどうかの陰影要否判定を行い、その陰影要否判定の判定結果に応じて、医用画像に、陰影処理を行うことで、陰影がある医用画像を適切に提供する。

　＜画像処理装置１２の第１の構成例＞

　図５は、図２の画像処理装置１２の第１の構成例を示すブロック図である。

　図５において、画像処理装置１２は、制御部４０を有する。

　制御部４０は、陰影要否判定部４１、及び、陰影合成処理部４２を有し、各種の制御を行う。すなわち、制御部４０は、例えば、カメラ２２からの入力画像としての医用画像に対し、陰影を付加又は抑制するか否かを判定する陰影要否判定を行い、その陰影要否判定の結果に基づき、入力画像に対して、陰影に関する補正を行った画像である陰影補正画像を生成する制御等を行う。

　陰影合成処理部４２は、陰影処理部５０及び合成部５４を有する。

　陰影処理部５０は、仮想光源位置設定部５１、奥行き推定部５２、及び、影画像生成部５３を有する。

　陰影要否判定部４１は、カメラ２２からの入力画像としての医用画像に、陰影を付加又は抑制する陰影処理を行うかどうかの陰影要否判定を行い、その陰影要否判定結果（陰影要否判定の結果）に応じて、陰影合成処理部４２（の処理）を制御する。

　ここで、陰影要否判定部４１では、陰影要否判定は、例えば、術者等のユーザの操作や、医用画像、処置具の使用状況等に応じて行うことができる。

　すなわち、例えば、術者は、術部等の特定の被写体の凹凸や、形状、輪郭等を観察したい場合に、陰影を付加する陰影処理を行うように、内視鏡システムを操作することができる。この場合、陰影要否判定部４１では、ユーザの操作に応じて、陰影を付加する陰影処理を行うと判定される。

　さらに、例えば、複数の内視鏡（腹腔鏡）を用いるLECS(Laparoscopy and Endoscopy Cooperative Surgery)が行われる場合に、術者は、必要に応じて、陰影を付加する陰影処理を行うように、内視鏡システムを操作することができる。

　この場合、陰影要否判定において、ユーザの操作に応じて、陰影を付加する陰影処理を行うと判定され、陰影処理が行われるときには、例えば、術者は、陰影処理後の医用画像に映る、他の術者等が操作する内視鏡の影から、その内視鏡の位置を把握することができる。また、術者は、例えば、その術者が操作する内視鏡の影から、その内視鏡の位置や向きを把握することができる。さらに、術者は、例えば、処置具が視野に入っていなくても、陰影処理後の医用画像に、視野に入っていない処置具の影が映っている場合には、その影によって、視野に入っていない処置具の位置を把握することができる。

　また、陰影要否判定は、術者が、奥行きや前後関係を把握したいかどうかに応じて行うことができる。

　術者が、奥行きや前後関係を把握したい場合としては、例えば、縫合が行われている場合や、ステープラやエナジーデバイス等で処置が行われている場合がある。

　陰影要否判定部４１では、縫合が行われていることや、ステープラやエナジーデバイス等で処置が行われていること等を、例えば、医用画像に映るシーンを検出することで認識することができる。そして、陰影要否判定部４１では、縫合が行われている場合（例えば、医用画像に、針や糸が映っている場合）や、ステープラやエナジーデバイス等で処置が行われている場合（例えば、医用画像に、ステープラやエナジーデバイスが映っている場合）には、陰影を付加する陰影処理を行うと判定することができる。

　さらに、陰影要否判定部４１では、エナジーデバイス等で処置が行われていることを、そのエナジーデバイス等の使用状況、すなわち、スイッチのオン／オフの状態等から認識することができる。そして、陰影要否判定部４１では、エナジーデバイス等で処置が行われている場合には、陰影を付加する陰影処理を行うと判定することができる。

　以上のように、陰影要否判定を行い、例えば、ステープラやエナジーデバイス等で処置が行われる場合に、医用画像に、陰影を付加する陰影処理が行われるときには、術者は、ステープラやエナジーデバイス等で処置を行おうとする対象までの距離を容易に把握することができる。

　また、ステープラで組織を挟む場合には、その組織を、浅すぎることも深すぎることもなく、適切な深さで挟むことが要求される。ステープラで組織を適切な深さで挟むには、その組織の厚みを正確に把握することが必要であるが、陰影を付加する陰影処理が行われた医用画像によれば、術者は、組織の厚みを正確に把握することができる。

　さらに、陰影要否判定は、医用画像の輝度に応じて行うことができる。

　すなわち、陰影要否判定部４１では、医用画像に映る術部を認識し、術部の少なくとも一部の輝度が、周囲の輝度と比較して大きく低下している場合には、その輝度が低下している部分である影を抑制する陰影処理を行うと判定することができる。この場合、医用画像において、術部に重なる影が抑制されることにより、術部が影に隠れて見えにくくなることを防止することができる。

　陰影合成処理部４２には、カメラ２２で撮影された医用画像が入力画像として供給される。

　陰影合成処理部４２は、陰影要否判定部４１の制御に従い、カメラ２２からの入力画像に、陰影合成処理を行い、その陰影合成処理後の医用画像を、出力画像として、表示装置１３に供給するか、又は、カメラ２２からの入力画像に、陰影合成処理（後述する陰影処理及び合成処理）を行わず、そのまま、出力画像として、表示装置１３に供給する。

　ここで、陰影合成処理部４２で行われる陰影合成処理には、陰影処理部５０で行われる陰影処理と、合成部５４で行われる合成処理とがある。

　ここで、合成処理は、陰影処理により得られる、影が映った影画像等を用いて行われるため、陰影要否判定において、陰影処理を行わないと判定された場合には、陰影処理は勿論、合成処理も行われない。したがって、陰影要否判定は、陰影処理の他、合成処理、又は、陰影合成処理（陰影処理及び合成処理）の要否の判定であるともいうことができる。

　陰影（合成）処理には、入力画像（医用画像）に陰影を付加する処理と、入力画像に生じている陰影を抑制する処理とがある。

　陰影の付加には、陰影がない部分に、陰影を付加することの他、陰影がある部分に、より濃い陰影を付加することや、陰影がある部分の範囲を拡大（拡張）すること等の、いわば陰影を強調することが含まれる。

　また、陰影の抑制には、陰影の濃さを薄くすることや、陰影がある部分の範囲を縮小することは勿論、陰影を完全に抑制する陰影の除去も含まれる。

　合成処理では、陰影処理により生成される影画像等を、入力画像等に合成することで、例えば、入力画像に映る被写体に影が付加された合成画像や、入力画像に映る被写体の影が除去された合成画像が、出力画像として生成される。

　仮想光源位置設定部５１は、例えば、ユーザの操作に応じて、仮想光源の位置を設定し、影画像生成部５３に供給する。

　例えば、ユーザが、影を付したい方向を指定するように操作を行うと、仮想光源位置設定部５１は、影を付したい方向とは反対方向の位置に、仮想光源位置を設定する。

　なお、仮想光源位置設定部５１は、その他、例えば、推奨する固定の位置（例えば、カメラ２２の光軸と被写体との交点において、カメラ２２の光軸との角度が斜め45度の方向の位置等）を、デフォルトの仮想光源位置として設定することができる。

　また、例えば、仮想光源位置設定部５１では、医用画像のシーン検出を行い、鉗子等の細長い処置具の長手方向と、仮想光源からの光線とが重ならない位置を、仮想光源位置として設定することができる。この場合、陰影処理によって、鉗子等の処置具の影ができないことを防止することができる。

　奥行き推定部５２には、カメラ２２から入力画像としての医用画像が供給される。

　ここで、カメラ２２では、例えば、3D画像が撮影され、カメラ２２から奥行き推定部５２には、入力画像（医用画像）として、3D画像が供給される。

　ここで、3D画像とは、立体視可能な視差を有する２枚の画像（左眼用の画像（L画像）と右眼用の画像（R画像））を意味する。以下の「3D画像」の記載も、同様である。

　奥行き推定部５２は、カメラ２２からの3D画像である入力画像から、その入力画像の各画素の視差、ひいては、その各画素に映る被写体の奥行き方向（カメラ２２の光軸方向）の距離の情報である奥行き情報を推定し、影画像生成部５３に供給する。

　影画像生成部５３は、仮想光源位置設定部５１からの仮想光源位置と、奥行き推定部５２からの奥行き情報とから、入力画像に映る被写体について、仮想光源よって生じる影の影画像（影が映った影画像）を生成し、合成部５４に供給する。

　合成部５４には、影画像生成部５３から影画像が供給される他、カメラ２２から入力画像としての医用画像が供給される。

　合成部５４は、カメラ２２からの入力画像と、影画像生成部５３からの影画像（のうちの後述する影領域）とを合成する合成処理を行うことで、医用画像に影を付加した出力画像を生成し、表示装置１３に出力（供給）する。

　ここで、影画像や、影画像と入力画像とを合成した合成画像は、上述の陰影補正画像（入力画像に対して、陰影に関する補正を行った画像）であるということができる。

　なお、合成部５４での入力画像と影画像との合成としては、例えば、アルファブレンディングを採用することができる。

　アルファブレンディングの係数αは、例えば、固定の値に設定することや、ユーザの操作に応じた値に設定することができる。係数αとしては、0.0ないし1.0の範囲の値が設定されるが、係数αを、0.0又は1.0とすることにより、入力画像に影を付さないことや、入力画像の画素を影のみが映る画素に置換することができる。

　さらに、図５では、陰影合成処理部４２では、合成部５４において入力画像と影画像とを合成した合成画像を、出力画像として出力することとしたが、入力画像と影画像との合成は、合成部５４で行うのではなく、入力画像と影画像との表示時に行うことができる。

　すなわち、陰影合成処理部４２では、例えば、入力画像と影画像とのそれぞれを、出力画像として出力することができる。この場合、例えば、透過型のヘッドマウントディスプレイや、グラス型のウエアラブルデバイス等の、いわば透過型の表示デバイスに、影画像を表示するとともに、表示装置１３に、入力画像を表示することで、入力画像と影画像とを合成した合成画像を提供することができる。又は、透過性のある第１の表示パネルを、透過性を問わない第２の表示パネルの上側（ユーザと対向する側）に配置して、表示装置１３を構成し、第１の表示パネルに、影画像を表示するとともに、第２の表示パネルに、入力画像を表示することにより、入力画像と影画像とを合成した合成画像を表示することができる。

　また、図５では、カメラ２２において、3D画像を、入力画像として撮影し、奥行き推定部５２において、入力画像としての3D画像から、奥行き情報を推定することとしたが、奥行き情報を推定する方法は、3D画像を用いる方法に限定されるものではない。

　すなわち、例えば、カメラ２２では、2D画像を、入力画像として撮影することができる。この場合、内視鏡１１（図１）には、距離センサ（奥行きセンサ）を内蔵させ、奥行き推定部５２では、入力画像としての2D画像と、距離センサのセンシング結果とから、奥行き情報を推定することができる。

　ここで、2D画像とは、１枚の画像を意味する。以下の「2D画像」の記載も、同様である。

　なお、奥行き推定部５２では、奥行きの推定に、その他、例えば、フォーカス情報等を用いることができる。

　図６は、図５の影画像生成部５３での影情報の生成の例を説明する図である。

　図６において、横軸は、入力画像の各画素の位置を表し、縦軸は、奥行き情報を表す。

　影画像生成部５３は、仮想光源位置から、入力画像の各画素（の位置）に向かう光線（としての直線）を引いたときに、光線が、他の画素の奥行き情報に遮られて届かない（奥行き情報の）画素で構成される領域を、仮想光源によって生じる影の影領域として求める（推定する）。

　さらに、影画像生成部５３は、影領域の画素の画素値が、例えば、黒色や黒色に近い暗い色等の、あらかじめ設定された色、又は、ユーザの操作に応じて設定された色の画像を、影画像として生成する。

　図７及び図８は、図５の陰影合成処理部４２において陰影処理が行われることにより、出力画像に生じるアーチファクトを説明する図である。

　内視鏡１１においては、光源２１（による照明光が発せられる位置）とカメラ２２とは、ほぼ同一の位置にあるとみなすことができる。

　影画像生成部５３では、光源２１の位置とは異なる位置に設定された仮想光源位置から照明光が発せられると仮定して、図６で説明したように、仮想光源位置から、入力画像の各画素に向かう照明光としての光線が、他の画素の奥行き情報に遮られて届かない画素で構成される領域が、影領域として求められる。

　以上のように、影画像生成部５３では、仮想光源位置及び奥行き情報を用いて、影領域が求められるため、仮想光源位置や、入力画像に映る被写体の位置によっては、本来生じないはずの影領域が、アーチファクトとして、出力画像に生じる（現れる）ことがある。

　すなわち、いま、影が生じる被写体、つまり、仮想光源位置からの光線を遮る被写体を、対象被写体ともいうこととする。

　対象被写体が、例えば、鉗子やエナジーデバイス等のような、それほど厚みがない、細長い形状の処置具である場合には、そのような処置具については、仮想光源位置によって影が生じる位置は異なるが、本来、図７に示すように、細長い形状の影sh1が生じる。

　一方、影画像生成部５３では、図６で説明したことから、カメラ２２から見て対象被写体の裏側（奥側）に向かって、対象被写体が詰まっている（存在する）とみなして、影領域が求められる。

　そのため、例えば、カメラ２２の光軸との距離が大となるような仮想光源位置が設定された場合や、仮想光源位置からの光線を遮る対象被写体の位置と、その対象被写体の影（対象被写体によって生じる影）が投影される投影面との距離が大である場合には、影画像生成部５３において、図８に示すように、対象被写体が、投影面まで詰まっているかのような影領域sh2が求められる。

　すなわち、カメラ２２の光軸との距離が大となるような仮想光源位置が設定された場合や、仮想光源位置からの光線を遮る対象被写体の位置と、その対象被写体の影（対象被写体によって生じる影）が投影される投影面との距離が大である場合には、奥行き情報は、投影面に対して、いわば、中身が詰まった凸モデルとなるため、奥行き情報だけでは、仮想光源からの照明光により生じる、対象被写体の影を正確に投影することが困難になる。

　かかる影領域sh2の影画像と、入力画像とが合成された場合、その合成により得られる出力画像には、本来生じないはずの影領域sh2が、アーチファクトとして生じる。

　そこで、仮想光源位置設定部５１（図５）では、仮想光源位置を設定するときに、カメラ２２の光軸と仮想光源位置との距離を、所定の距離以内に制限することができる。

　又は、対象被写体の位置と、その対象被写体の影が投影される投影面との距離が一定距離以上の対象被写体については、影の付加を制限することができる。すなわち、例えば、合成部５４において、対象被写体の位置と、その対象被写体の影が投影される投影面との距離が一定距離以上の対象被写体に対して求められた影領域は、入力画像に合成しないことや、影画像生成部５３において、対象被写体の位置と、その対象被写体の影が投影される投影面との距離が一定距離以上の対象被写体について、影領域を生成しないこと、あるいは、影画像自体を生成しないことができる。

　又は、合成部５４において、本来生じないはずの影領域としてのアーチファクトが目立たないように、入力画像と影画像とをアルファブレンディングするときの係数αを調整することができる。

　図９は、図５の画像処理装置１２の処理の例を説明するフローチャートである。

　ステップＳ１１において、陰影要否判定部４１は、陰影要否判定を行う。

　ステップＳ１１の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要でないと判定された場合、処理は、ステップＳ１２に進み、陰影合成処理部４２は、カメラからの入力画像を、そのまま、出力画像として、表示装置１３に出力し、処理は終了する。

　また、ステップＳ１１の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要であると判定された場合、処理は、ステップＳ１３に進み、仮想光源位置設定部５１は、仮想光源位置を設定し、影画像生成部５３に供給する。そして、処理は、ステップＳ１３からステップＳ１４に進み、以下、陰影合成処理（陰影処理及び合成処理）が行われる。

　すなわち、ステップＳ１４では、奥行き推定部５２は、カメラ２２からの入力画像としての3D画像から奥行き情報を推定することにより取得し、影画像生成部５３に供給して、処理は、ステップＳ１５に進む。

　ステップＳ１５では、影画像生成部５３は、仮想光源位置設定部５１からの仮想光源位置と、奥行き推定部５２からの奥行き情報とから、図６で説明したように、仮想光源よって生じる影の影画像を生成し、合成部５４に供給して、処理は、ステップＳ１６に進む。

　ステップＳ１６では、合成部５４は、カメラ２２からの入力画像と、影画像生成部５３からの影画像（のうちの影領域）とを合成することで、医用画像に影を付加した出力画像を生成し、表示装置１３に出力して、処理は終了する。

　なお、図５では、画像処理装置１２において、陰影処理として、影の付加を行うこととしたが、画像処理装置１２では、影の付加の他、影の抑制を行うことができる。影の抑制は、例えば、仮想光源位置として、光源２１の位置を設定して、影画像を生成し、入力画像から、影画像の影領域を除去することで行うことができる。入力画像において、影領域が除去された部分（以下、除去部分ともいう）は、例えば、その除去部分に影がない過去の入力画像のうちの、最新の入力画像によって補間することができる。

　＜画像処理装置１２の第２の構成例＞

　図１０は、図２の画像処理装置１２の第２の構成例を示すブロック図である。

　なお、図中、図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

　図１０において、画像処理装置１２は、制御部４０を有する。

　制御部４０は、陰影要否判定部４１、陰影合成処理部４２、物体設定部６１、及び、物体検出部６２を有する。

　陰影合成処理部４２は、陰影処理部５０、及び、合成部５４を有する。

　したがって、図１０の画像処理装置１２は、制御部４０を有する点、並びに、制御部４０が、陰影要否判定部４１、及び、陰影合成処理部４２を有する点で、図５の場合と共通する。

　但し、図１０の画像処理装置１２は、制御部４０に、物体設定部６１、及び、物体検出部６２が新たに設けられている点で、図５の場合と相違する。

　物体設定部６１は、例えば、ユーザの操作等に応じて、陰影処理の対象とする物体である対象物体を設定し、物体検出部６２に供給する。

　なお、物体設定部６１では、ユーザの操作に応じて、対象物体を設定する他、例えば、手術に用いる処置具や、針、糸等の、あらかじめ決められた物体を、対象物体に設定することができる。

　例えば、ユーザは、被写体の凹凸や形状、輪郭を観察したい場合には、例えば、手術器具等を除く患部・臓器を対象物体に設定することができる。また、ユーザは、LECSを行う場合には、例えば、術野外の処置具を含めた処置具を対象物体に設定することができる。さらに、ユーザは、例えば、縫合や、ステープラやエナジーデバイスを使用する処置を施す場合、例えば、針や糸、処置具を対象物体に設定することができる。その他、物体設定部６１では、例えば、ユーザが注目している注目位置やフォーカス位置にある物体を対象物体に設定することができる。

　物体検出部６２には、物体設定部６１から対象物体（を表す情報）が供給される他、カメラ２２からの入力画像（医用画像）が供給される。

　物体検出部６２は、入力画像から対象物体を検出（特定）する。そして、物体検出部６２は、入力画像から対象物体を検出することができた場合には、入力画像における対象物体の位置（領域）や姿勢等の、入力画像における対象物体を特定する物体情報を生成して、影画像生成部５３に供給する。

　なお、物体検出部６２では、入力画像から対象物体が検出されたかどうかを表す検出情報を、陰影要否判定部４１に供給することができる。

　この場合、陰影要否判定部４１では、図５で説明したことに加え、又は、図５で説明したことに代えて、物体検出部６２からの検出情報に応じて、陰影要否判定を行うことができる。

　すなわち、陰影要否判定では、検出情報が、対象物体が検出されたことを表す場合には、陰影処理を行うと判定し、検出情報が、対象物体が検出されていないことを表す場合には、陰影処理を行わないと判定することができる。

　図１０では、影画像生成部５３は、入力画像に映る被写体のうちの、物体検出部６２からの物体情報によって特定される対象物体のみを対象として、仮想光源位置及び奥行き情報とから、仮想光源よって生じる、対象物体の影の影画像を生成し、合成部５４に供給する。

　図１１は、図１０の画像処理装置１２の処理の例を説明するフローチャートである。

　なお、ここでは、説明を簡単にするため、陰影要否判定部４１が、図５で説明したことに代えて、物体検出部６２からの検出情報に応じて、陰影要否判定を行うこととする。

　ステップＳ２３において、物体設定部６１が、対象物体を設定し、物体検出部６２に供給して、処理は、ステップＳ２４に進む。

　ステップＳ２４では、図９のステップＳ１３と同様に、仮想光源位置設定部５１が、仮想光源位置を設定し、影画像生成部５３に供給して、処理は、ステップＳ２５に進む。

　ステップＳ２５では、物体検出部６２が、入力画像から対象物体を検出し、その検出結果を表す検出情報を、陰影要否判定部４１に供給して、処理は、ステップＳ２６に進む。

　ステップＳ２６では、陰影要否判定部４１は、物体検出部６２からの検出情報に基づき、カメラ２２からの入力画像に、陰影処理が必要であるかどうかの陰影要否判定を行う。

　ステップＳ２６の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要でないと判定された場合、すなわち、入力画像から対象物体が検出されていない場合、処理は、ステップＳ２２に進む。ステップＳ２２では、図９のステップＳ１２と同様に、陰影合成処理部４２は、カメラからの入力画像を、そのまま、出力画像として、表示装置１３に出力し、処理は終了する。

　また、ステップＳ２６の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要であると判定された場合、すなわち、入力画像に、対象物体が映っており、そのため、入力画像から対象物体が検出された場合、物体検出部６２は、入力画像から検出された対象物体の物体情報を生成して、影画像生成部５３に供給する。そして、処理は、ステップＳ２６からステップＳ２７に進み、以下、陰影合成処理が行われる。

　すなわち、ステップＳ２７において、図９のステップＳ１４と同様に、奥行き推定部５２が、カメラ２２からの入力画像としての3D画像から奥行き情報を取得し、影画像生成部５３に供給して、処理は、ステップＳ２８に進む。

　ステップＳ２８では、影画像生成部５３は、入力画像に映る被写体のうちの、物体検出部６２からの物体情報によって特定される対象物体のみを対象として、仮想光源位置及び奥行き情報とから、仮想光源よって生じる、対象物体の影の影画像を生成し、合成部５４に供給して、処理は、ステップＳ２９に進む。

　ステップＳ２９では、図９のステップＳ１６と同様に、合成部５４は、カメラ２２からの入力画像と、影画像生成部５３からの影画像とを合成することで、医用画像に影を付加した出力画像を生成し、表示装置１３に出力して、処理は終了する。

　なお、図１０及び図１１では、物体検出部６２において、物体設定部６１で設定された対象物体を検出することとしたが、物体検出部６２では、特定のシーン（例えば、縫合が行われているシーン等）を検出し、そのシーンに特有の物体（例えば、縫合が行われているシーンにおいて、縫合に用いられている糸等）を、対象物体として検出することができる。そして、陰影合成処理部４１では、特定のシーンから検出された対象物体に、影を付すこと等ができる。

　図１２は、図１０の画像処理装置１２で得られる出力画像の例を示す図である。

　すなわち、図１２は、対象物体として、鉗子が設定された場合の出力画像の例を示している。

　対象物体として、鉗子が設定された場合には、図１２に示すように、鉗子にのみ、仮想光源によって生じる影が付加された出力画像が生成される。

　図１２の出力画像によれば、例えば、術者は、出力画像に映る鉗子と、その鉗子の影との距離の差によって、鉗子と、影が映る腹壁等との位置関係を、自然に（本能的に）把握することができる。さらに、術者は、例えば、出力画像に映る鉗子の影の変化の仕方で、鉗子が奥行き方向に移動するときの移動速度を、自然に把握することができる。

　なお、鉗子等に陰影を付加する場合、その鉗子等の全体ではなく、先端部から所定の範囲にのみ陰影を付加することができる。この場合、陰影を付加する処理を軽減することができる。

　ここで、上述したように、図１０の画像処理装置１２では、入力画像から対象物体が検出され、その対象物体に影を付加した出力画像が生成される。

　対象物体については、その対象物体が一般に有する所定の厚みを見込むこと、すなわち、厚みを推定することができる。

　そこで、図１０の影画像生成部５３では、図７及び図８で説明したように、カメラ２２から見て対象被写体の裏側（奥側）に向かって、対象被写体が詰まっている（存在する）とみなして、影領域sh2（図８）を求めるのではなく、対象物体の厚みの推定値に基づき、その推定値だけの厚みのある対象物体が存在するとみなして、対象物体に本来生じる影と同様の影領域sh1（図７）を求めることができる。

　これにより、本来生じないはずの影領域sh2が、アーチファクトとして、出力画像に生じることを防止することができる。

　なお、図１０の画像処理装置１２でも、図５の場合と同様に、陰影処理として、影の付加を行う他、影の抑制を行うことができる。

　＜画像処理装置１２の第３の構成例＞

　図１３は、図２の画像処理装置１２の第３の構成例を示すブロック図である。

　図１３において、画像処理装置１２は、制御部４０、照明制御部７１、及び、照明条件設定部７２を有する。

　制御部４０は、陰影要否判定部４１、及び、陰影合成処理部４２を有する。

　陰影合成処理部４２は、陰影処理部８０、及び、合成部８６を有する。

　陰影処理部８０は、仮想光源位置設定部５１、記憶部８１、陰影領域検出部８２、隠れ画像生成部８３、影除去部８４、及び、影画像生成部８５を有する。

　したがって、図１３の画像処理装置１２は、制御部４０を有する点、並びに、制御部４０が、陰影要否判定部４１、及び、陰影合成処理部４２を有する点で、図５の場合と共通する。

　但し、図１３の画像処理装置１２は、照明制御部７１、及び、照明条件設定部７２が新たに設けられている点で、図５の場合と相違する。

　また、図１３の画像処理装置１２は、陰影合成処理部４２が、陰影処理部８０及び合成部８６を有する点で、陰影合成処理部４２が、陰影処理部５０及び合成部５４を有する図５の場合と相違する。

　図１３の画像処理装置１２では、後述する、複数の異なる（設定）照明条件で撮影された入力画像の複数のフレームを用いて、入力画像において陰影がある陰影領域が検出され、仮想光源位置に応じて、陰影領域に、陰影処理が行われる。

　照明制御部７１は、照明条件設定部７２から供給される照明条件に従い、光源２１による照明の照明条件、すなわち、術部等の被写体を照明する照明条件を変えるように、光源２１を制御する。

　ここで、照明条件としては、例えば、光源２１の位置や、光源２１が発する照明光の強さ、向き等がある。

　照明条件設定部７２は、ユーザの操作等に応じて、又は、あらかじめ決められた複数の異なる照明条件を設定し、照明制御部７１に供給する。

　ここで、照明条件設定部７２で設定された照明条件を、設定照明条件ともいう。

　照明制御部７１は、照明条件設定部７２からの複数の設定照明条件それぞれを周期的に、注目照明条件として選択し、被写体を照明する照明条件が、注目照明条件になるように、光源２１を制御する。

　記憶部８１には、カメラ２２からの入力画像（医用画像）が供給される。

　ここで、図１３では、カメラ２２において、2D画像が撮影され、カメラ２２から記憶部８１には、入力画像として、2D画像が供給される。但し、カメラ２２で撮影される入力画像は、図５や図１０の画像処理装置１２の場合と同様に、3D画像であっても良い。

　記憶部８１は、カメラ２２から供給される入力画像のフレームを順次記憶する。

　ここで、図１３では、上述したように、照明制御部７１が、複数の設定照明条件それぞれを周期的に、注目照明条件として選択し、被写体を照明する照明条件が、注目照明条件になるように、光源２１を制御する。

　したがって、カメラ２２では、複数の設定照明条件それぞれで、入力画像（のフレーム）が連続して撮影されることが繰り返される。

　例えば、複数の設定照明条件が、２個の異なる設定照明条件であれば、その２個の異なる設定照明条件で、入力画像のフレームが連続して撮影されることが繰り返される。また、例えば、複数の設定照明条件が、３個の異なる設定照明条件であれば、その３個の異なる設定照明条件で、入力画像のフレームが連続して撮影されることが繰り返される。

　いま、照明条件設定部７２で設定された複数の（異なる）設定照明条件それぞれで連続して撮影された入力画像の複数のフレームを、フレームセットということとする。

　記憶部８１は、少なくとも、フレームセットを構成するフレーム数だけの入力画像を記憶する記憶容量を有する。

　記憶部８１は、その記憶部８１に記憶されたフレームセットを、陰影領域検出部８２に供給する。

　また、記憶部８１は、フレームセットから、後述するベース画像と影領域抽出対象画像とを選択する。そして、記憶部８１は、ベース画像を、影除去部８４に供給するとともに、影領域抽出対象画像を、隠れ画像生成部８３に供給する。

　陰影領域検出部８２は、記憶部８１からのフレームセット、すなわち、複数の異なる設定照明条件それぞれで連続して撮影された入力画像の複数のフレームを用いて、入力画像において陰影がある陰影領域を検出し、その陰影領域が特定された入力画像を、隠れ画像生成部８３、及び、影画像生成部８５に供給する。

　隠れ画像生成部８３は、記憶部８１からの影領域抽出対象画像と、陰影領域検出部８２からの陰影領域（が特定された入力画像）とを用いて、ベース画像では影に隠れて見えない影領域になっているが、影領域抽出対象画像には映っている部分が特定された画像を、隠れ画像として生成し、影除去部８４に供給する。

　影除去部８４は、記憶部８１からのベース画像に、隠れ画像生成部８３からの隠れ画像を合成することで、ベース画像では影領域になって見えない部分が見えるようになった画像を、ベース画像から影領域を除去した影除去画像として生成し、合成部８６に供給する。

　影画像生成部８５には、陰影領域検出部８２から陰影領域が特定された入力画像が供給される他、仮想光源位置設定部５１から仮想光源位置が供給される。

　影画像生成部８５は、陰影領域検出部８２からの陰影領域が特定された入力画像を用いて、ベース画像に付加する影領域が特定された影画像を取得する。

　さらに、影画像生成部８５は、仮想光源位置設定部５１からの仮想光源位置に応じて、影画像の影領域に、新たな影（領域）を付加した新たな影画像を生成し、合成部８６に供給する。

　合成部８６は、影除去部８４からの影除去画像と、影画像生成部８５からの（新たな）影画像（の影領域）との合成を、例えば、図５の合成部５４と同様に行うことで、新たな影を付加した出力画像を生成し、表示装置１３に出力する。

　ここで、影除去画像や、影除去画像と影画像とを合成した合成画像は、図５で説明した陰影補正画像（入力画像に対して、陰影に関する補正を行った画像）であるということができる。

　図１４は、照明制御部７１での光源２１の制御の例を説明する図である。

　図１４のＡは、内視鏡１１を構成する内視鏡スコープ３２の先端を正面とする場合の、その先端の構成例を示す正面図である。

　図１４のＢは、内視鏡スコープ３２の先端の構成例を示す側面図である。

　図１４のＡにおいて、内視鏡スコープ３２の先端には、撮影窓と照明窓とが設けられている。

　撮影窓からは、被写体からの反射光が入射し、カメラ２２まで導かれる。

　なお、図１４では、内視鏡スコープ３２の先端の正面は、（ほぼ）円の形状に構成されており、その円の中心部分に、撮影窓が設けられている。

　照明窓は、光源２１の一部であり、照明窓からは、照明光が照射（出射）される。

　なお、図１４では、撮影窓の周囲に、４個の照明窓が設けられている。但し、照明窓の数は、４個に限定されるものではない。すなわち、内視鏡スコープ３２には、４個以外の複数個の照明窓を設けることができる。

　照明窓からは、照明制御部７１の制御に従って、照明光が照射される。照明制御部７１は、例えば、４個の照明窓について、照明光を照射する照明窓を制御（選択）することができる。

　照明条件設定部７２では、例えば、奇数フレーム及び偶数フレームのうちの一方のフレームの入力画像の撮影時には、照明光が、４個の照明窓のうちの右の照明窓から、照射され、他方のフレームの入力画像の撮影時には、照明光が、４個の照明窓のうちの左の照明窓から照射されるように、２個の設定照明条件を設定することができる。

　入力画像の奇数フレーム及び偶数フレームのうちの一方のフレームでは、右の照明窓から照射される照明光により、被写体の左側に影が生じ、他方のフレームでは、左の照明窓から照射される照明光により、被写体の右側に影が生じる。

　なお、設定照明条件としては、照明光の位置（照明光が照射される照明窓）の他、照明光の照明方向や、照明光の強さ等を設定することができる。

　図１５は、複数の（設定）照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第１の例を説明する図である。

　なお、以下では、説明を簡単にするため、照明制御部７１は、照明条件設定部７２からの複数の設定照明条件それぞれを、例えば、フレームごとに、注目照明条件として順次選択することとする。すなわち、被写体を照明する照明条件は、フレームごとに切り替えられることとする。

　図１５では、被写体を照明する照明条件が、フレーム単位で、周期的に、２個の設定照明条件c1及びc2それぞれに切り替えられ、入力画像iが撮影されている。

　すなわち、入力画像iの奇数番目のフレームi#2n-1(n=1,2,...)が、設定照明条件c1で撮影され、偶数番目のフレームi#2nが、設定照明条件c2で撮影されている。

　この場合、入力画像iの連続して撮影された２フレームi#k及びi#k+1(k=1,2,...)を、図１３で説明したフレームセットとして、出力画像oのフレームo#kが生成される。

　すなわち、入力画像iの最新のフレームが、フレームi#k+1であるとすると、そのフレームi#k+1と、その１フレーム前のフレームi#kとの、入力画像の連続する２フレームを用いて、出力画像oの最新のフレームo#kが生成される。

　以上のように、被写体を照明する照明条件が、フレームごとに、２個の設定照明条件c1及びc2それぞれに切り替えられる場合、出力画像oのフレームo#kの生成には、入力画像iの最新のフレームi#k+1と、その１フレーム前のフレームi#kとのフレームセットが必要になる。

　そのため、入力画像iの撮影開始後、出力画像oの出力が開始されるまでには、１フレームの遅延が生じる。

　内視鏡手術では、リアルタイムの画像を視聴することが要求されることから、入力画像iの撮影開始後、出力画像oの出力が開始されるまでに、遅延がなるべく生じないことが重要である。

　そこで、図１５において、入力画像iの撮影開始後に最初に得られるフレームi#1に対しては、そのフレームi#1を、そのまま出力画像o（のフレーム）として出力することができる。この場合、その出力画像oは、陰影（合成）処理を施した画像にはならないが、入力画像iの撮影開始後、出力画像oの出力が開始されるまでに遅延が生じることを防止することができる。

　図１６は、複数の（設定）照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第２の例を説明する図である。

　図１６では、被写体を照明する照明条件が、フレーム単位で、周期的に、３個の設定照明条件c1，c2、及び、c3それぞれに切り替えられ、入力画像iが撮影されている。

　すなわち、入力画像iの3n-2番目のフレームi#3n-2が、設定照明条件c1で撮影され、3n-1番目のフレームi#3n-1が、設定照明条件c2で撮影され、3n番目のフレームi#3nが、設定照明条件c3で撮影されている。

　この場合、入力画像iの連続して撮影された３フレームi#kないしi#k+2を、図１３で説明したフレームセットとして、出力画像oのフレームo#kが生成される。

　すなわち、入力画像iの最新のフレームが、フレームi#k+2であるとすると、そのフレームi#k+2を含む入力画像iの最新の３フレームi#kないしi#k+2を用いて、出力画像oの最新のフレームo#kが生成される。

　以上のように、被写体を照明する照明条件が、フレームごとに、３個の設定照明条件c1ないしc3それぞれに切り替えられる場合、出力画像oのフレームo#kの生成には、入力画像iの３フレームi#kないしi#k+2のフレームセットが必要になる。

　そのため、入力画像iの撮影開始後、出力画像oの出力が開始されるまでには、２フレームの遅延が生じる。

　図１５で説明したように、内視鏡手術では、入力画像iの撮影開始後、出力画像oの出力が開始されるまでに、遅延がなるべく生じないことが重要である。

　そこで、被写体を照明する照明条件が３個の設定照明条件c1ないしc3それぞれに切り替えられ、入力画像iが撮影される場合には、出力画像の生成は、以下のように行うことができる。

　すなわち、図１７は、複数の（設定）照明条件それぞれで撮影された入力画像のフレームからの出力画像の生成の第３の例を説明する図である。

　図１７では、図１６の場合と同様に、被写体を照明する照明条件が、フレーム単位で、周期的に、３個の設定照明条件c1，c2、及び、c3それぞれに切り替えられ、入力画像iが撮影されている。

　そして、出力画像oの２番目以降のフレームo#kは、図１６の場合と同様に、入力画像iの連続して撮影された３フレームi#kないしi#k+2を、フレームセットとして、出力画像oのフレームo#kが生成されている。

　但し、出力画像oの１番目のフレームo#1だけは、図１５の場合と同様に、入力画像iの連続して撮影された２フレームi#k及びi#k+1を、フレームセットとして、出力画像oのフレームo#kが生成されている。

　この場合、入力画像iの撮影開始後、出力画像oの出力が開始されるまでの遅延を、１フレームの遅延に抑制することができる。

　なお、図１７において、入力画像iの撮影開始後に最初に得られるフレームi#1に対しては、そのフレームi#1を、そのまま出力画像o（のフレーム）として出力することができる。この場合、その出力画像oは、陰影処理を施した画像にはならないが、入力画像iの撮影開始後、出力画像oの出力が開始されるまでに遅延が生じることを防止することができる。

　また、被写体を照明する照明条件の個数は、上述した２個や３個に限定されるものではなく、４個以上であっても良い。

　図１８は、図１３の陰影領域検出部８２の処理の例を説明する図である。

　なお、以下では、説明を簡単にするため、被写体を照明する照明条件が、フレーム単位で、周期的に、２個の設定照明条件それぞれに交互に切り替えられ、入力画像iが撮影されることとする。

　さらに、２個の設定照明条件のうちの一方の設定照明条件としては、カメラ２２の右側の位置（カメラ２２から被写体を見たときのカメラ２２の右側の位置）から被写体を照明することを採用し、他方の照明条件としては、カメラ２２の左側の位置から被写体を照明することを採用することとする。

　例えば、いま、カメラ２２の左側の位置から被写体subを照明して、入力画像の最新のフレーム#n（以下、入力画像#nとも記載する）が撮影されたこととすると、最新の入力画像#nと、その入力画像#nの直前に撮影された入力画像（のフレーム）#n-1とがフレームセットとして、記憶部８１から陰影領域検出部８２に供給される。

　ここで、最新の入力画像#nでは、カメラ２２の左側の位置から被写体subが照明されており、その入力画像#nの直前に撮影された入力画像#n-1では、カメラ２２の右側の位置から被写体subが照明されている。

　したがって、カメラ２２の左側の位置から被写体subが照明されている入力画像#nでは、被写体subの右側に、被写体subによって生じる影の影領域shRが存在する。また、カメラ２２の右側の位置から被写体subが照明されている入力画像#n-1では、被写体subの左側に、被写体subによって生じる影の影領域shLが存在する。

　陰影領域検出部８２は、入力画像#nと#n-1との画素単位の差分絶対値等の差分に関する情報を求め、その差分絶対値を画素値とする差分画像を生成する。

　さらに、陰影領域検出部８２は、差分画像において、画素値が大きい画素が集まって構成される領域すべてを検出し、その領域の中から、所定の面積以上の領域を、陰影領域（陰影が映る領域）の候補として検出する。なお、陰影領域検出部８２では、差分画像において、画素値が大きい画素が集まって構成される領域すべてを、陰影領域の候補として検出することができる。

　入力画像#nでは、入力画像#n-1の影領域shLに対応する領域には、影がなく、入力画像#n-1でも、入力画像#nの影領域shRに対応する領域には、影がない。

　したがって、入力画像#nと#n-1との差分画像において、影領域shL及びshRの画素の画素値（差分絶対値）は大になるので、影領域shL及びshRは、陰影領域の候補として検出される。

　陰影領域検出部８２は、陰影領域の候補の検出後、入力画像#n及び#n-1それぞれについて、陰影領域の候補内の画素の輝度の平均値である平均輝度を求める。

　そして、陰影領域検出部８２は、入力画像#n及び#n-1それぞれについて、平均輝度が閾値としての輝度以下の陰影領域の候補を、陰影領域の１種である影領域（影の領域）として検出し、その影領域が特定された入力画像#n及び#n-1を、隠れ画像生成部８３、及び、影画像生成部８５に供給する。

　図１８では、入力画像#nの影領域shR、及び、入力画像#n-1の影領域shLが検出され、影領域shRが特定された入力画像#n、及び、影画像shLが特定された入力画像#n-1が、影領域検出部８２から、隠れ画像生成部８３、及び、影画像生成部８５に供給される。

　なお、陰影領域検出部８２で用いられる閾値としての輝度としては、例えば、あらかじめ決められた固定の値を採用することができる。さらに、閾値としての輝度としては、例えば、入力画像#n及び#n-1の全体や陰影領域の候補の輝度のヒストグラムに応じて決定することができる。

　また、図１８では、入力画像#n及び#n-1それぞれについて、平均輝度が閾値としての輝度以下の陰影領域の候補を、陰影領域の１種である影領域として検出することとしたが、その他、例えば、平均輝度が閾値としての輝度以下でない陰影領域の候補を、陰影領域の他の１種である陰領域（陰の領域）として検出することができる。

　そして、陰領域についても、影領域と同様に処理することができるが、ここでは、説明を簡単にするため、陰領域についての処理の説明は、省略する。

　図１９は、図１３の隠れ画像生成部８３、及び、影画像生成部８５の処理の例を説明する図である。

　図１３で説明したように、記憶部８１は、フレームセット、すなわち、いまの場合、入力画像#n及び#n-1から、ベース画像と影領域抽出対象画像とを選択する。

　ベース画像は、出力画像のベースとなる画像であり、フレームセットの入力画像のうちの、最新の入力画像が、ベース画像に選択される。したがって、入力画像#n及び#n-1のフレームセットについては、最新の入力画像#nが、ベース画像に選択される。

　影領域抽出対象画像は、出力画像に付される影（領域）の元となる影領域が抽出（検出）される画像であり、フレームセットの入力画像のうちの、撮影時の照明（光源）の位置が、仮想光源位置に最も近い入力画像が、影領域抽出対象画像に選択される。

　例えば、いま、入力画像#nが撮影されたときの照明の位置（被写体を照明する照明光を発する光源（照明窓）の位置）としてのカメラ２２の左側の位置と、入力画像#n-1が撮影されたときの照明の位置としてのカメラ２２の右側の位置とを結ぶ直線上の、カメラ２２の右側の位置から、カメラ２２の左側の位置への方向とは逆方向の位置（カメラ２２の右側の位置より右の位置）に、仮想光源位置が設定されていることとする。

　この場合、入力画像#nが撮影されたときの照明の位置としてのカメラ２２の左側の位置と、入力画像#n-1が撮影されたときの照明の位置としてのカメラ２２の右側の位置とのうちの、カメラ２２の右側の位置の方が、仮想光源位置に近い。

　したがって、撮影時の照明の位置が、カメラ２２の右側の位置の入力画像#n-1が、影領域抽出対象画像に選択される。

　影画像生成部８５は、陰影領域検出部８２から供給される陰影領域としての影領域shL及びshRがそれぞれ特定された入力画像#n-1及び#nのうちの、影領域抽出対象画像である入力画像#n-1を、ベース画像に付加する影領域が特定された影画像として取得する。

　一方、隠れ画像生成部８３は、記憶部８１から供給される影領域抽出対象画像である入力画像#n-1から、陰影領域検出部８２から供給される入力画像#n及び#n-1のうちのベース画像である入力画像#nの影領域shRに対応する領域を抽出する。

　すなわち、隠れ画像生成部８３は、影領域抽出対象画像である入力画像#n-1から、ベース画像である入力画像#nの影領域shRに対応する領域を、ベース画像では影に隠れて見えない影領域shRになっているが、影領域抽出対象画像には映っている隠れ領域hideとして抽出する。

　そして、隠れ画像生成部８３は、隠れ領域hideが特定された影領域抽出対象画像である入力画像#n-1を、隠れ画像として、影除去部８４に供給する。

　図２０は、図１３の影除去部８４の処理の例を説明する図である。

　影除去部８４は、記憶部８１からのベース画像である入力画像#nに、隠れ画像生成部８３からの隠れ画像の隠れ領域hideを合成することで、ベース画像では影領域shRになって見えない部分が見えるようになった画像を、ベース画像から影領域を除去した影除去画像として生成し、合成部８６に供給する。

　図２１は、図１３の影画像生成部８５の処理の例を説明する図である。

　図１９で説明したように、影画像生成部８５は、影領域shLが特定された影領域抽出対象画像である入力画像#n-1を、影画像として取得する。

　この影画像の影領域shLは、影領域抽出対象画像である入力画像#n-1の影領域shLであるが、影画像生成部８５は、仮想光源位置設定部５１からの仮想光源位置に応じて、影画像の影領域shLに、新たな影を付加した新たな影画像を生成する。

　すなわち、影画像生成部８５は、影画像の影領域shLの所定の方向の輪郭を、その輪郭の形状を維持しつつ、所定の方向に、所定の大きさ（画素数）だけ拡張することで、影領域shLを、その影領域shLに新たな影を付加したかのような新たな影領域shL'に拡張する。

　ここで、影領域shLの輪郭を拡張する所定の方向及び大きさは、影領域抽出対象画像である入力画像#n-1の撮影時の照明（光源）の位置と、仮想光源位置との位置関係に応じて決定される。

　すなわち、影領域shLの輪郭を拡張する所定の方向は、仮想光源位置から、影領域抽出対象画像である入力画像#n-1の撮影時の照明の位置に向かう方向に決定される。

　ここでは、図１８で説明したように、影領域抽出対象画像である入力画像#n-1の撮影時の照明の位置は、カメラ２２の右側の位置であり、仮想光源位置は、カメラ２２の右側の位置よりさらに右の位置に設定されている。

　したがって、影領域shLの輪郭を拡張する所定の方向は、左方向（カメラ２２から被写体を見たときの左方向）に決定される。

　また、影領域shLの輪郭を拡張する所定の大きさ方向は、仮想光源位置と、影領域抽出対象画像である入力画像#n-1の撮影時の照明の位置との間の距離に対応する値、すなわち、例えば、その距離に比例するような値に決定される。

　したがって、仮想光源位置が、影領域抽出対象画像である入力画像#n-1の撮影時の照明の位置から（右に）離れているほど、影領域shLの輪郭は、大きく拡張される。

　なお、影画像の影領域shLの拡張は、影画像の画素の画素値を、影を表す画素値に変更することがで行われる。

　影を表す画素値としては、例えば、黒色や、暗い色、ユーザが識別しやすいように選択（設定）した色等を採用することができる。

　また、影を表す画素値としては、例えば、画素の元の画素値と、黒色や、暗い色、ユーザが識別しやすいように選択した色等とのアルファブレンディング（0.0より大で、1.0より小さい値の数αを用いたアルファブレンディング）により得られる画素値を採用することができる。

　画像において、影が映っていても、その影の部分にある被写体は、影の濃さ（薄さ）に応じた明瞭さで視認することができ、したがって、影の部分にある被写体が、まったく見えない（映っていない）画像は、不自然な画像になることがある。

　上述したように、影を表す画素値として、画素の元の画素値と、黒色等とのアルファブレンディングにより得られる画素値を採用する場合には、出力画像が、上述のような不自然な画像になることを防止することができる。

　図２２は、図１３の合成部８６の処理の例を説明する図である。

　合成部８６は、影除去部８４からの影除去画像と、影画像生成部８５からの（新たな）影画像（の影領域shL'）との合成を、例えば、アルファブレンディングによって行うことで、被写体subの影として、影画像の新たな影領域shL'が付加された出力画像を生成し、表示装置１３に出力する。

　図２３は、図１３の仮想光源位置設定部５１で設定される仮想光源位置の例を説明する図である。

　図２３では、カメラ２２の右側の位置PRと、カメラ２２の左側の位置PLとに、（実）光源２１が存在し、図１８で説明したように、被写体subは、その位置PR及びPLそれぞれから、フレーム単位で交互に照明される。

　影の付加を行う場合、仮想光源位置Pは、被写体subから見たときに、位置PR及びPLよりも外側の位置に設定される。仮想光源位置Pを、位置PR及びPLよりも外側の位置ではなく、内側の位置P'に設定した場合には、被写体subの影は拡張されず、縮小されることになるからである。

　なお、影の抑制を行う場合、仮想光源位置Pは、被写体subから見たときに、位置PR及びPLよりも内側の位置に設定される。

　ここで、陰影（合成）処理として、影の付加を行うか、又は、影の抑制を行うかが問われない場合には、仮想光源位置設定部５１では、例えば、任意の位置に、仮想光源位置Pを設定することができる。

　一方、上述したように、影の付加を行う場合には、仮想光源位置Pを、光源２１の位置PR及びPLの間の外側の位置に設定し、影の抑制を行う場合には、仮想光源位置Pを、位置PR及びPLの間の内側の位置に設定する必要がある。したがって、この場合、仮想光源位置設定部５１は、光源２１の位置PR及びPLを認識する必要がある。仮想光源位置設定部５１は、例えば、照明条件設定部７２（図１３）で設定される照明条件から、光源２１の位置PR及びPLを認識することができる。

　図２４は、図１３の画像処理装置１２の処理の例を説明するフローチャートである。

　ステップＳ４１において、陰影要否判定部４１は、陰影要否判定を行う。

　ステップＳ４１の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要でないと判定された場合、処理は、ステップＳ４２に進み、陰影合成処理部４２は、カメラからの入力画像を、そのまま、出力画像として、表示装置１３に出力し、処理は終了する。

　また、ステップＳ４１の陰影要否判定において、カメラ２２からの入力画像に、陰影処理が必要であると判定された場合、処理は、ステップＳ４３に進み、照明条件設定部７２は、複数の設定照明条件を設定し、照明制御部７１に供給する。

　照明制御部７１は、照明条件設定部７２からの複数の設定照明条件それぞれを周期的に、注目照明条件として選択し、被写体を照明する照明条件が、注目照明条件になるように、光源２１（による照明）を制御する処理を開始する。

　これにより、被写体を複数の照明条件で照明しながら撮影された医用画像が、入力画像として、カメラ２２から記憶部８１に順次供給されて記憶される。

　なお、ここでは、説明を簡単にするため、例えば、図１８で説明したように、２個の設定照明条件が、被写体の照明条件として、交互に切り替えられることとする。この場合、フレームセットは、入力画像の最新のフレームと、その直前のフレームとの２フレームで構成される。

　その後、処理は、ステップＳ４３からステップＳ４４に進み、仮想光源位置設定部５１は、仮想光源位置を設定し、影画像生成部８５に供給して、処理は、ステップＳ４５に進む。

　ステップＳ４５では、陰影領域検出部８２は、図１８で説明したように、記憶部８１に記憶されたフレームセットとしての入力画像の２フレームの差分画像を生成し、処理は、ステップＳ４６に進む。

　ステップＳ４６では、陰影領域検出部８２は、図１８で説明したように、差分画像を用いて、フレームセットとしての入力画像において陰影がある陰影領域としての影領域を検出する。そして、陰影領域検出部８２は、差分画像を用いて検出された影領域が特定された入力画像を、隠れ画像生成部８３、及び、影画像生成部８５に供給し、処理は、ステップＳ４７に進む。

　ステップＳ４７では、影画像生成部８５は、図１９で説明したように、陰影領域検出部８２からの影領域が特定された入力画像から、ベース画像に付加する影領域が特定された影画像を取得（生成）し、処理は、ステップＳ４８に進む。

　ステップＳ４８では、記憶部８１が、フレームセットから、影領域抽出対象画像を選択し、隠れ画像生成部８３に供給して、処理は、ステップＳ４９に進む。

　ステップＳ４９では、隠れ画像生成部８３が、図１９で説明したように、記憶部８１からの影領域抽出対象画像と、陰影領域検出部８２からの影領域が特定された入力画像とを用いて、ベース画像では影に隠れて見えない影領域になっているが、影領域抽出対象画像には映っている部分が特定された画像を、隠れ画像として生成する。

　隠れ画像生成部８３は、隠れ画像を、影除去部８４に供給し、処理は、ステップＳ４９から、ステップＳ５０に進む。

　ステップＳ５０では、記憶部８１は、フレームセットからベース画像を選択し、影除去部８４に供給して、処理は、ステップＳ５１に進む。

　ステップＳ５１では、影除去部８４が、図２０で説明したように、記憶部８１からのベース画像に、隠れ画像生成部８３からの隠れ画像を合成することで、ベース画像では影領域になって見えない部分が見えるようになった画像を、ベース画像から影領域を除去した影除去画像として生成する。

　そして、影除去部８４は、影除去画像を、合成部８６に供給して、処理は、ステップＳ５１からステップＳ５２に進む。

　ステップＳ５２では、影画像生成部８５が、図２１で説明したように、仮想光源位置設定部５１からの仮想光源位置に応じて、影画像の影領域に、新たな影（領域）を付加した新たな影画像、すなわち、影領域を拡張した影画像を生成する。

　そして、影画像生成部８５は、影画像を、合成部８６に供給して、処理は、ステップＳ５２からステップＳ５３に進む。

　ステップＳ５３では、合成部８６が、影除去部８４からの影除去画像と、影画像生成部８５からの影画像（の影領域）とを合成することで、入力画像の影を拡張した影を、新たな影として付加した出力画像を生成し、表示装置１３に出力して、処理は終了する。

　なお、合成部８６では、影除去画像と影画像とを合成せずに、そのまま、出力画像として出力し、影除去画像と影画像との合成は、図５で説明した場合と同様に、影除去画像と影画像との表示時に行うことができる。

　＜画像処理装置１２の第４の構成例＞

　図２５は、図２の画像処理装置１２の第４の構成例を示すブロック図である。

　なお、図中、図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

　図２５において、画像処理装置１２は、制御部４０、照明制御部７１、及び、照明条件設定部７２を有する。

　陰影合成処理部４２は、陰影処理部８０及び合成部８６を有する。

　したがって、図２５の画像処理装置１２は、図１３の場合と同様に構成されている。

　但し、図２５では、光源２１の他に、光源９１及び９２が設けられており、照明制御部７１が、光源２１の他、光源９１及び９２を制御する点で、光源としては、光源２１のみが設けられ、その光源２１のみの制御が行われる図１３の場合と相違する。

　光源９１や９２は、例えば、体腔内に、内視鏡１１（の内視鏡スコープ３２（図３））や処置具等を挿入するのに、腹壁等に小さな孔を空けて取り付けられる開孔器具であるトロッカ（図示せず）に設けることができる。

　また、光源９１や９２は、例えば、トロッカから挿入される鉗子等の処置具の先端に取り付けることができる。この場合、光源９１や９２が取り付けられた処置具は、トロッカから挿入された状態で、術者やロボット等によって保持される。

　図２５の画像処理装置１２では、照明制御部７１が、１の光源２１だけではなく、複数としての、例えば、３個の光源２１，９１、及び、９２を制御するので、よりバリエーションに富んだ照明条件で、被写体を照明することができる。その結果、例えば、立体感等を、効果的に感じさせる影（領域）を付加した出力画像を生成することが可能になる。

　なお、図２５の画像処理装置１２には、入力画像に映るシーンを検出するシーン検出部１０１や、入力画像に映る陰影（の領域）を検出する陰影領域検出部１０２を、さらに設けることができる。

　この場合、照明制御部７１では、照明条件設定部７２から供給される（設定）照明条件に従って、光源２１や９１，９２を制御するのとは別に、シーン検出部１０１で検出される入力画像に映るシーンや、陰影領域検出部１０２で検出される入力画像に映る陰影に応じて、光源２１や９１，９２を制御することができる。

　すなわち、照明制御部７１では、入力画像に映るシーンや陰影に応じて、例えば、光源２１や９１，９２のオン／オフ、つまり、被写体を照明する位置（被写体を照明する照明光が発せられる位置）を制御することができる。

　また、照明制御部７１では、入力画像に映るシーンや陰影に応じて、例えば、光源２１や９１，９２の強度、つまり、被写体を照明する照明光の強度を制御することができる。

　例えば、入力画像としての医用画像に映っている術部に、他の被写体の影がかかっている場合には、光源２１，９１、及び、９２のうちの、術部に、他の被写体の影がかからない方向から照明光を照射することができる光源のみをオンにし、他の光源をオフにすることができる。

　なお、照明制御部７１において、光源２１や９１，９２の制御を、照明条件設定部７２から供給される照明条件に従って行うのか、又は、シーン検出部１０１で検出される入力画像に映るシーンや、陰影領域検出部１０２で検出される入力画像に映る陰影に応じて行うのかは、例えば、ユーザの操作に応じて切り替えることができる。

　また、照明制御部７１では、ユーザの操作に応じて、光源２１や９１，９２を制御することができる。

　例えば、ユーザが、影を付けたい方向を指示した場合には、照明制御部７１では、光源２１，９１、及び、９２のうちの、ユーザが指示した方向に影を生じさせる位置から照明光を照射することができる光源のみをオンにし、他の光源をオフにすることができる。

　また、例えば、ユーザが、影の濃さを指示した場合には、照明制御部７１では、光源２１や９１，９２のうちの必要な光源の強度を、ユーザが指示した影の濃さに対応する強度に制御することができる。

　なお、図２５において、陰影領域検出部１０２は、陰影領域検出部８２によって代用することができる。

　＜画像処理装置１２の第５の構成例＞

　図２６は、図２の画像処理装置１２の第５の構成例を示すブロック図である。

　図２６において、画像処理装置１２は、制御部４０を有する。

　陰影合成処理部４２は、陰影処理部５０、及び、陰付加部１１２を有する。

　陰影処理部５０は、仮想光源位置設定部５１、奥行き推定部５２、及び、陰領域検出部１１１を有する。

　したがって、図２６の画像処理装置１２は、制御部４０を有する点で図５の場合と共通するとともに、制御部４０が、陰影要否判定部４１、及び、陰影合成処理部４２を有する点、陰影合成処理部４２が、陰影処理部５０を有する点、並びに、陰影処理部５０が、仮想光源位置設定部５１及び奥行き推定部５２を有する点で、図５の場合と共通する。

　但し、図２６の画像処理装置１２は、陰影合成処理部４２が、合成部５４に代えて陰付加部１１２を有する点、並びに、陰影処理部５０が、影画像生成部５３に代えて、陰領域検出部１１１を有する点で、図５の場合と相違する。

　陰領域検出部１１１には、仮想光源位置設定部５１から仮想光源位置が供給されるとともに、奥行き推定部５２から奥行き情報が供給される。

　陰領域検出部１１１は、仮想光源位置設定部５１からの仮想光源位置と、奥行き推定部５２からの奥行き情報とから、仮想光源よって生じる陰の陰領域を検出し、陰付加部１１２に供給する。

　陰付加部１１２には、陰領域検出部１１１から陰領域が供給される他、カメラ２２から入力画像としての医用画像が供給される。

　陰付加部１１２は、カメラ２２からの入力画像に、陰領域検出部１１１からの陰領域を合成すること等によって、入力画像に陰領域を付加した出力画像を生成し、表示装置１３に出力する。

　なお、陰付加部１１２での入力画像と影領域との合成としては、例えば、図５の合成部５４の場合と同様のアルファブレンディングを採用することができる。

　図２７は、図２６の陰領域検出部１１１での陰領域の検出の例を説明する図である。

　入力画像の各画素の位置を表すxy平面と、各画素に映る被写体の奥行き情報を表すz軸とで規定される３次元空間（以下、奥行き空間ともいう）において、仮想光源位置から、奥行き情報としての点に向かう光線を表すベクトルを、光線ベクトルということとする。

　陰領域検出部１１１は、各画素の奥行き情報について、その奥行き情報としての点における法線方向を表す法線ベクトルと、その奥行き情報としての点に向かう光線ベクトルとの内積を求める。

　そして、陰領域検出部１１１は、内積の大きさが所定の閾値以下（又は未満）になる奥行き情報の画素で構成される領域を、陰領域として検出する。

　図２８は、図２６の画像処理装置１２の処理の例を説明するフローチャートである。

　ステップＳ７１ないしＳ７４では、図９のステップＳ１１ないしＳ１４とそれぞれ同様の処理が行われる。

　そして、ステップＳ７５では、陰領域検出部１１１が、仮想光源位置設定部５１からの仮想光源位置と、奥行き推定部５２からの奥行き情報とを用いて、図２７で説明したように、仮想光源よって生じる陰の影領域を検出する。

　陰領域検出部１１１は、陰領域を、陰付加部１１２に供給し、処理は、ステップＳ７５からステップＳ７６に進む。

　ステップＳ７６では、陰付加部１１２は、カメラ２２からの入力画像に、陰領域検出部１１１からの陰領域を合成することによって、入力画像に陰領域を付加した出力画像、すなわち、入力画像の陰を強調した出力画像を生成し、表示装置１３に出力して、処理は終了する。

　図２６の画像処理装置１２では、入力画像に陰領域が付加されることにより、陰が強調されるので、ユーザは、凹凸感や立体感を感じやすくなる。

　＜本技術を適用したコンピュータの説明＞

　次に、上述した画像処理装置１２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

　図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。

　あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

　なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

　コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。

　CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。

　これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。

　なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　また、本技術は、医療用の内視鏡システムの他、医療用電子顕微鏡（手術用顕微鏡）等の、生体の術部等が映る医用画像を撮影する機能を有する医療機器に適用することができる。さらに、本技術は、医用画像の他、任意の画像を撮影する機能を有する機器に適用することができる。

　なお、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　なお、本技術は、以下の構成をとることができる。

　＜１＞
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　を備える画像処理装置。
　＜２＞
　前記制御部は、ユーザからの入力に応じて、前記判定を行う
　＜１＞に記載の画像処理装置。
　＜３＞
　前記制御部は、前記医用画像に応じて、前記判定を行う
　＜１＞又は＜２＞に記載の画像処理装置。
　＜４＞
　前記制御部は、処置具の使用状況に応じて、前記判定を行う
　＜１＞ないし＜３＞のいずれかに記載の画像処理装置。
　＜５＞
　前記制御部は、仮想光源よって前記医用画像の特定の被写体に対して生じる影の前記陰影補正画像を生成するよう制御する
　＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
　＜６＞
　前記制御部は、前記被写体の奥行きを推定し、前記奥行きに基づき前記陰影補正画像を生成するよう制御する
　＜５＞に記載の画像処理装置。
　＜７＞
　前記制御部は、前記医用画像を撮影する撮像部の光源位置と前記仮想光源の位置とが所定の距離以下になるよう制御する
　＜６＞に記載の画像処理装置。
　＜８＞
　前記制御部は、前記被写体と、前記被写体に対して前記仮想光源よって生じる影領域との奥行き方向の距離が所定の距離以上の前記被写体については、前記陰影補正画像を生成しないよう制御する
　＜６＞に記載の画像処理装置。
　＜９＞
　前記医用画像は、視差を有する２つの画像であり、
　前記２つの画像の前記被写体の視差情報から、前記奥行きを推定する
　＜６＞ないし＜８＞のいずれかに記載の画像処理装置。
　＜１０＞
　前記制御部は、更に、
　前記医用画像から対象物体を特定し、
　前記対象物体を対象として、前記陰影補正画像を生成するよう制御する
　＜１＞ないし＜９＞のいずれかに記載の画像処理装置。
　＜１１＞
　前記対象物体を設定する物体設定部をさらに備える
　＜１０＞に記載の画像処理装置。
　＜１２＞
　前記制御部は、前記対象物体の厚みを所定の厚みとして、前記陰影補正画像を生成するよう制御する
　＜１０＞又は＜１１＞に記載の画像処理装置。
　＜１３＞
　前記制御部は、
　前記被写体を異なる照明条件で撮影した複数の前記医用画像を用いて、
　前記陰影補正画像を生成するよう制御する
　＜１＞ないし＜４＞のいずれかに記載の画像処理装置。
　＜１４＞
　前記照明条件を設定する照明条件設定部をさらに備える
　＜１３＞に記載の画像処理装置。
　＜１５＞
　前記制御部は、影が映った影画像を、前記陰影補正画像として生成する
　＜１＞ないし＜１４＞のいずれかに記載の画像処理装置。
　＜１６＞
　前記制御部は、影が映った影画像と、前記医用画像とを合成することで、前記医用画像に影を付加した出力画像を、前記陰影補正画像として生成する
　＜１＞ないし＜１４＞のいずれかに記載の画像処理装置。
　＜１７＞
　前記医用画像に映る所定の被写体の長手方向と、前記仮想光源の光軸とが重ならない位置を、前記仮想光源の位置に設定する
　＜５＞に記載の画像処理装置。
　＜１８＞
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する
　ステップを含む画像処理方法。
　＜１９＞
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　として、コンピュータを機能させるためのプログラム。
　＜２０＞
　医用画像を撮影する内視鏡と、
　被写体を照明する照明光を発する光源と、
　前記照明光によって照明された被写体を、前記内視鏡で撮影することにより得られ前記医用画像の画像処理を行う画像処理装置と
　を備え、
　前記画像処理装置は、
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　を有する
　手術システム。

　＜Ｏ１＞
　陰影を付加又は抑制する陰影処理を、術部が映った医用画像に行うかどうかの陰影要否判定を行う判定部と、
　前記陰影要否判定の判定結果に応じて、前記医用画像に、前記陰影処理を行う陰影処理部と
　を備える画像処理装置。
　＜Ｏ２＞
　前記判定部は、ユーザからの入力に応じて、前記陰影要否判定を行う
　＜Ｏ１＞に記載の画像処理装置。
　＜Ｏ３＞
　前記判定部は、前記医用画像に応じて、前記陰影要否判定を行う
　＜Ｏ１＞又は＜Ｏ２＞に記載の画像処理装置。
　＜Ｏ４＞
　前記判定部は、処置具の使用状況に応じて、前記陰影要否判定を行う
　＜Ｏ１＞ないし＜Ｏ３＞のいずれかに記載の画像処理装置。
　＜Ｏ５＞
　前記医用画像の各画素に映る被写体の奥行きを推定する奥行き推定部と、
　仮想的な仮想光源の仮想光源位置を設定する仮想光源位置設定部と、
　前記被写体の奥行きと前記仮想光源位置とから、前記仮想光源よって生じる影の影画像を生成する影画像生成部と
　をさらに備え、
　前記陰影処理部は、前記医用画像と前記影画像とを合成することで、前記医用画像に影を付加した出力画像を生成する
　＜Ｏ１＞ないし＜Ｏ４＞のいずれかに記載の画像処理装置。
　＜Ｏ６＞
　前記仮想光源位置設定部は、前記医用画像を撮影するカメラの光軸と前記仮想光源位置との距離を、所定の距離以内に制限する
　＜Ｏ５＞に記載の画像処理装置。
　＜Ｏ７＞
　前記陰影処理部は、前記医用画像に映る被写体と、その被写体に対して前記仮想光源よって生じる影との奥行き方向の距離が一定距離以上の被写体については、影の付加を制限する
　＜Ｏ５＞又は＜Ｏ６＞に記載の画像処理装置。
　＜Ｏ８＞
　前記仮想光源位置設定部は、前記医用画像に映る所定の被写体と、前記仮想光源の光軸とが重ならない位置を、前記仮想光源位置に設定する
　＜Ｏ５＞ないし＜Ｏ７＞のいずれかに記載の画像処理装置。
　＜Ｏ９＞
　前記医用画像は、3D(Dimensional)画像であり、
　前記奥行き推定部は、前記3D画像から、前記医用画像の各画素に映る被写体の奥行きを推定する
　＜Ｏ５＞ないし＜Ｏ８＞のいずれかに記載の画像処理装置。
　＜Ｏ１０＞
　前記医用画像から、前記陰影処理の対象とする対象物体を検出する物体検出部をさらに備え、
　前記陰影処理部は、前記対象物体を対象として、前記陰影処理を行う
　＜Ｏ１＞ないし＜Ｏ９＞のいずれかに記載の画像処理装置。
　＜Ｏ１１＞
　前記対象物体を設定する物体設定部をさらに備える
　＜Ｏ１０＞に記載の画像処理装置。
　＜Ｏ１２＞
　前記陰影処理部は、前記対象物体の厚みとして、所定の厚みを見込んで、前記陰影処理を行う
　＜Ｏ１０＞又は＜Ｏ１１＞に記載の画像処理装置。
　＜Ｏ１３＞
　前記医用画像に映る被写体を照明する照明条件を変えながら撮影された前記医用画像のフレームのうちの、異なる照明条件で撮影された複数のフレームを用いて、前記医用画像において陰影がある陰影領域を検出する陰影領域検出部と、
　仮想的な仮想光源の仮想光源位置を設定する仮想光源位置設定部と
　をさらに備え、
　前記陰影処理部は、前記仮想光源位置に応じて、前記陰影領域に、前記陰影処理を行う
　＜Ｏ１＞ないし＜Ｏ４＞のいずれかに記載の画像処理装置。
　＜Ｏ１４＞
　前記陰影処理部は、
　　前記複数のフレームのうちの最新のフレームを、ベース画像として、前記ベース画像において影がある影領域を除去した影除去画像を生成し、
　　前記複数のフレームのうちの１フレームを、影領域抽出対象画像として、前記影領域抽出対象画像、及び、前記仮想光源位置を用いて、前記影領域抽出対象画像において影がある影領域に新たな影を付加した影画像を生成し、
　　前記影除去画像と、前記影画像とを合成することで、前記医用画像に前記新たな影を付加した出力画像を生成する
　＜Ｏ１３＞に記載の画像処理装置。
　＜Ｏ１５＞
　前記医用画像の各画素に映る被写体の奥行きを推定する奥行き推定部と、
　仮想的な仮想光源の仮想光源位置を設定する仮想光源位置設定部と、
　前記被写体の奥行きと前記仮想光源位置とから、前記仮想光源よって生じる陰の陰領域を検出する陰領域検出部と
　をさらに備え、
　前記陰影処理部は、前記医用画像に前記陰領域を付加した出力画像を生成する
　＜Ｏ１＞ないし＜Ｏ４＞のいずれかに記載の画像処理装置。
　＜Ｏ１６＞
　陰影を付加又は抑制する陰影処理を、術部が映った医用画像に行うかどうかの陰影要否判定を行うことと、
　前記陰影要否判定の判定結果に応じて、前記医用画像に、前記陰影処理を行うことと
　を含む画像処理方法。
　＜Ｏ１７＞
　陰影を付加又は抑制する陰影処理を、術部が映った医用画像に行うかどうかの陰影要否判定を行う判定部と、
　前記陰影要否判定の判定結果に応じて、前記医用画像に、前記陰影処理を行う陰影処理部と
　して、コンピュータを機能させるためのプログラム。
　＜Ｏ１８＞
　画像を撮影する内視鏡と、
　被写体を照明する照明光を発する光源と、
　前記照明光によって照明された術部を、前記内視鏡で撮影することにより得られる、前記術部が映った医用画像の画像処理を行う画像処理部と
　を備え、
　前記画像処理部は、
　陰影を付加又は抑制する陰影処理を、術部が映った医用画像に行うかどうかの陰影要否判定を行う判定部と、
　前記陰影要否判定の判定結果に応じて、前記医用画像に、前記陰影処理を行う陰影処理部と
　を有する
　手術システム。

　１１　内視鏡，　１２　画像処理装置，　１３　表示装置，　２１　光源，　２２　カメラ，　３１　カメラヘッド，　３２　内視鏡スコープ，　３３　鉗子，　４０　制御部，　４１　陰影要否判定部，　４２　陰影合成処理部，　５０　陰影処理部，　５１　仮想光源位置設定部，　５２　奥行き推定部，　５３　影画像生成部，　５４　合成部，　６１　物体設定部，　６２　物体検出部，　７１　照明制御部，　７２　照明条件設定部，　８０　陰影処理部，　８１　記憶部，　８２　陰影領域検出部，　８３　隠れ画像生成部，　８４　陰除去部，　８５　影画像生成部，　８６　合成部，　９１，９２　光源，　１０１　シーン検出部，　１０２　陰影領域検出部，　１１１　陰領域検出部，　１１２　陰付加部，　２０１　バス，　２０２　CPU，　２０３　ROM，　２０４　RAM，　２０５　ハードディスク，　２０６　出力部，　２０７　入力部，　２０８　通信部，　２０９　ドライブ，　２１０　入出力インタフェース，　２１１　リムーバブル記録媒体

Claims

　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　を備える画像処理装置。
　前記制御部は、ユーザからの入力に応じて、前記判定を行う
　請求項１に記載の画像処理装置。
　前記制御部は、前記医用画像に応じて、前記判定を行う
　請求項１に記載の画像処理装置。
　前記制御部は、処置具の使用状況に応じて、前記判定を行う
　請求項１に記載の画像処理装置。
　前記制御部は、仮想光源よって前記医用画像の特定の被写体に対して生じる影の前記陰影補正画像を生成するよう制御する
　請求項１に記載の画像処理装置。
　前記制御部は、前記被写体の奥行きを推定し、前記奥行きに基づき前記陰影補正画像を生成するよう制御する
　請求項５に記載の画像処理装置。
　前記制御部は、前記医用画像を撮影する撮像部の光源位置と前記仮想光源の位置とが所定の距離以下になるよう制御する
　請求項６に記載の画像処理装置。
　前記制御部は、前記被写体と、前記被写体に対して前記仮想光源よって生じる影領域との奥行き方向の距離が所定の距離以上の前記被写体については、前記陰影補正画像を生成しないよう制御する
　請求項６に記載の画像処理装置。
　前記医用画像は、視差を有する２つの画像であり、
　前記２つの画像の前記被写体の視差情報から、前記奥行きを推定する
　請求項６に記載の画像処理装置。
　前記制御部は、更に、
　前記医用画像から対象物体を特定し、
　前記対象物体を対象として、前記陰影補正画像を生成するよう制御する
　請求項１に記載の画像処理装置。
　前記対象物体を設定する物体設定部をさらに備える
　請求項１０に記載の画像処理装置。
　前記制御部は、前記対象物体の厚みを所定の厚みとして、前記陰影補正画像を生成するよう制御する
　請求項１０に記載の画像処理装置。
　前記制御部は、前記被写体を異なる照明条件で撮影した複数の前記医用画像を用いて、前記陰影補正画像を生成するよう制御する
　請求項１に記載の画像処理装置。
　前記照明条件を設定する照明条件設定部をさらに備える
　請求項１３に記載の画像処理装置。
　前記制御部は、影が映った影画像を、前記陰影補正画像として生成する
　請求項１に記載の画像処理装置。
　前記制御部は、影が映った影画像と、前記医用画像とを合成することで、前記医用画像に影を付加した出力画像を、前記陰影補正画像として生成する
　請求項１に記載の画像処理装置。
　前記医用画像に映る所定の被写体の長手方向と、前記仮想光源の光軸とが重ならない位置を、前記仮想光源の位置に設定する
　請求項５に記載の画像処理装置。
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する
　ステップを含む画像処理方法。
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　として、コンピュータを機能させるためのプログラム。
　医用画像を撮影する内視鏡と、
　被写体を照明する照明光を発する光源と、
　前記照明光によって照明された被写体を、前記内視鏡で撮影することにより得られ前記医用画像の画像処理を行う画像処理装置と
　を備え、
　前記画像処理装置は、
　医用画像に対し、陰影を付加又は抑制するか否かを判定し、
　前記判定の結果に基づき、陰影補正画像を生成するよう制御する制御部
　を有する
　手術システム。