JPWO2017141544A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にする。【解決手段】本開示に係る画像処理装置は、撮像画像の各画素の画素値に基づいて、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、を備える。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

従来、例えば下記の特許文献１には、観察対象の内部に挿入されてその観察対象の内部の被写体を照明しながら撮像する内視鏡において、第１の照明部および第２の照明部の各々の投光強度を調整することで、合成された配光分布のピーク位置を変更する配光分布制御を行う技術が記載されている。

特開２０１４−２３０７０８号公報

しかし、上記特許文献に記載された技術では、特に低輝度部において、照明部により光量を上げない領域が生じるため、ｓｎ比、量子化精度を向上させることができない問題がある。

また、上記特許文献１に記載された技術では、領域毎に複数の光源光量を制御するため、暗い領域と明るい領域の境界が光源の境界と一致していないと、撮像時の被写体の明るさが不均一になり、画質が低下する問題がある。

そこで、画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にすることが求められていた。

本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、を備える、画像処理装置が提供される。

また、本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、を備える、画像処理方法が提供される。

また、本開示によれば、撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本開示によれば、画像のダイナミックレンジを拡大するとともに、ｓｎ比を向上して画質を良好にすることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る内視鏡システムの概略構成を示す模式図である。 ＣＣＵとその周辺の構成を示す模式図である。 通常撮像、ＨＤＲ撮像（空間分割多段階露光）、ＨＤＲ撮像（時間分割多段階露光）を比較して示す模式図である。 本実施形態に係る露光比とダイナミックレンジの関係を示す模式図である。 光量、ｓ／ｎ、量子化精度の関係を示す模式図である。 露光比、光量、及び画質の関係を示す模式図である。 光量と露光比の組み合わせ例を示す模式図である。 光量決定処理を示すフローチャートである。 露光比決定処理を示すフローチャートである。 図９のステップＳ３０で取得した飽和画素の頻度を示す模式図である。 図９のステップＳ３０で取得した飽和画素の頻度を示す模式図である。 図２の構成に対してズーム領域設定部を追加した例を示す模式図である。 図２の構成に対して術具検出部１４０を追加した例を示す模式図である。 図２の構成に対して視線検出部１５０を追加した例を示す模式図である。 カメラヘッドに絞りを設け、撮像素子への入射光量を制限する例を示す模式図である。 露光時間で撮像素子への入射光量を制限する例を示す模式図である。 長蓄画素の画素値Ｐ_Ｌに応じて係数ａの値が変化する様子を示す特性図である。 光量と露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させる例を示す模式図である。 露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させない例を示す模式図である。 同一の被写体を撮像した場合に、通常撮像（Ａ）と、本実施形態に係るＨＤＲ撮像（Ｅ）と、比較例と、を比較して示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．内視鏡システムの構成例
２．ＣＣＵの構成例
３．本実施形態に係るＨＤＲ撮像について
４．光量決定処理について
５．本実施形態の異なる態様について
６．長蓄画素と短蓄画素の混合について
７．本実施形態と比較例との比較

１．内視鏡システムの構成例
まず、図１を参照して、本開示の一実施形態に係る内視鏡システム１０００の概略構成について説明する。近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術システム１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２a,１２bと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２a,１２bに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。内視鏡２は、画像を撮像する撮像素子を含むカメラヘッド２００を有している。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。

このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。

内視鏡２の観察光学系を通じて撮像された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。

光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。

処置具用装置７は、例えば患部１６を電気熱を用いて切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。

気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。また、フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。

２．ＣＣＵの構成例
図２は、ＣＣＵ（画像処理装置）５とその周辺の構成を示す模式図である。ＣＣＵ５は、画像処理部１００、光量決定部１１０、露光比決定部１２０、を有して構成される。ＣＣＵ５には、カメラヘッド２００、表示装置（モニタ）９、光源装置６が接続されている。図２に示す構成では、光源装置６から被写体に照射する光量で撮像素子への入射光量が制御される。なお、図２に示すＣＣＵ５の各構成要素は、ＣＰＵなどの中央演算処理装置と、これを機能させるためのプログラム（ソフトウェア）から構成されることができる。

カメラヘッド２００の撮像素子が撮像した被写体の画像の画像データ（各画素の画素値）は、ＣＣＵ５に送られる。光量決定部１１０は、画素値に基づいて光量を決定し、光量を光源装置６へ光量を送る。光源装置６は、受け取った光量に基づいて被写体に光を照射する。なお、光量決定部１１０が光量を決定する処理は、後で詳細に説明する。

露光比決定部１２０は、画素値に基づいて露光比を決定し、露光比をカメラヘッド２００へ送る。ここで、露光比とは、長蓄画素の露光量と短蓄画素の露光量の比である。カメラヘッド２００は、露光比に基づいて長蓄画素と短蓄画素の露光時間を調整して撮像を行い、画素値を調整する。なお、露光比決定部１２０が光量を決定する処理は、後で詳細に説明する。

画像処理部１００は、カメラヘッド２００からの入力画像を表示装置９に出力するため、各種画像処理を行う。また、画像処理部１００は、後述する手法により露光比に応じて短蓄画素のダイナミックレンジを拡大した際に、短蓄画素の画素値を露光比に応じて調整する。また、画像処理部１００は、長蓄画素の光量を増加した場合に、光量に応じて長短蓄画素の画素値を調整する。更に、画像処理部１００は、長蓄画素と短蓄画素を混合する処理を行う。

カメラヘッド２００は、ＨＤＲ撮像が可能な撮像素子を備えている。ＨＤＲ撮像とは、複数の異なる露光条件で撮像した画像を合成することでダイナミックレンジを拡張する撮像方式である。カメラヘッド２００には、露光比決定部が決定した露光比が送られる。撮像素子は、露光比に基づいて、長蓄画素の露光時間と短蓄画素の露光時間を決定し、露光を行う。ここで、短蓄画素の露光時間は、露光比に応じて、長蓄画素の露光時間よりも少なくなる。

３．本実施形態に係るＨＤＲ撮像について
図３は、通常撮像、ＨＤＲ撮像（空間分割多段階露光）、ＨＤＲ撮像（時間分割多段階露光）を比較して示す模式図である。通常撮像では、全画素の露光時間（シャッター開放時間）が同一とされ、フレーム毎に同じ露光時間で全画素に露光が行われる。

一方、ＨＤＲ撮像（空間分割多段階露光）では、空間内に長時間露光画素と短時間露光画素が混在しており、一例として長時間露光画素と短時間露光画素とが千鳥状に配置される。ここで、長時間露光画素を長蓄画素、短時間露光画素を短蓄画素と称する。フレーム毎に、長蓄画素と短蓄画素では異なる時間で露光が行われる。

また、ＨＤＲ撮像（時間分割多段階露光）では、時間方向で長時間露光フレーム、短時間露光フレームが切り換わる。その他、ＨＤＲ撮像としては、入射光を分割し、感度の異なる撮像素子で撮像する方式も考えられる。

図４は、本実施形態に係る露光比とダイナミックレンジの関係を示す模式図である。通常撮像（Ａ）では、被写体の光量を１００％とし、撮像により各画素で画素値が取得される。撮像素子のダイナミックレンジを１０ビットとすると、０〜１０２３までの画素値を取得可能である。図４の下段に示した画像のように、画像中で画素値１０２３を超える光量の範囲は飽和領域となる。

一方、本実施形態に係るＨＤＲ撮像（Ｂ）では、長蓄画素については通常撮像（Ａ）と同様に撮像を行い、短蓄画素については、被写体の光量を５０％にして撮像を行う。そして、画像処理部１００は、短蓄画素については、撮像により得られた画素値を２倍にする。これにより、短蓄画素では、０〜２０４６までの画素値を取得可能となり、ダイナミックレンジを拡大することができ、飽和レベルが通常撮像（Ａ）に対して２倍となるため、画像中の飽和領域を減少できる。図４の下段に示した画像では、通常撮像（Ａ）に対して、ＨＤＲ撮像（Ｂ）では飽和領域が減少している。短蓄画素では、光量が５０％であるため、通常撮像に対してｓｎ比（ｓ／ｎ）は１／√２となる。一方、長蓄画素のｓ／ｎは、通常撮像と同じである。

図５は、光量、ｓ／ｎ、量子化精度の関係を示す模式図である。図５において、通常撮像（Ａ）は、図４に示したものと同様である。通常撮像（Ｃ）は、通常撮像（Ａ）に対して光量を２００％にしたものである。通常撮像（Ｃ）では、光量が通常撮像（Ａ）の２倍になるため、画像全体が明るくなり、図５の下段に示すように飽和領域も増加する。この際、光量が２倍になることでｓ／ｎは√２倍になる。

通常撮像（Ｄ）では、光量（２００％）に応じて通常撮像（Ｃ）の画素値を１／２とする。これにより、光量１００％の通常撮像（Ａ）と画像の明るさが揃うことになる。なお、画素値の調整は画像処理部１００が行う。光量１００％の通常撮像（Ａ）と明るさを揃えることにより、５１２よりも大きい画素値は存在しないことになる。この際、０〜５１２を１０２３階調分持つことになるため、量子化精度は通常の２倍となる。

ＨＤＲ撮像（Ｅ）では、長蓄画素については通常撮像（Ｄ）と同様とし、短蓄画素については、被写体の光量を１００％にして撮像を行う。これにより、長蓄画素についてはダイナミックレンジが０〜５１２であるが、短蓄画素についてはダイナミックレンジが０〜１０２３となり、通常撮像（Ｄ）よりもダイナミックレンジが拡大する。長蓄画素に対する短蓄画素の露光比は２：１となる。露光比２：１でＨＤＲ撮像を行うと、画素値５１２よりも大きい信号値（画素値）も取得可能となる。全体的な明るさは通常撮像（Ａ）と同様となり、長蓄画素では、通常撮像（Ａ）に対してｓ／ｎは√２倍、量子化精度は２倍となる。これにより、飽和レベルは通常撮像（Ａ）と同じであるが、ｓ／ｎを向上することができる。

図５に示したように、撮像素子への入射光量を制御することでｓ／ｎ、量子化精度を向上させることができる。ここで、ｓ／ｎは光量の平方根に比例するという特性をもつため、光量を２倍にするとｓ／ｎは√２倍になる。

図６は、露光比、光量、及び画質の関係を示す模式図である。図６において、通常撮像（Ａ）、ＨＤＲ撮像（Ｂ）、ＨＤＲ撮像（Ｅ）は、図４、図５に示したものと同様である。ＨＤＲ撮像（Ｆ）では、長蓄画素についてはＨＤＲ撮像（Ｅ）と同様とし、短蓄画素については、被写体の光量を５０％にして撮像を行い、撮像により得られた画素値を２倍にする。これにより、長蓄画素についてはダイナミックレンジが０〜５１２であるが、短蓄画素についてはダイナミックレンジが０〜２０４６となり、ダイナミックレンジが更に拡大する。長蓄画素に対する短蓄画素の露光比は４：１となる。露光比が４：１のため、飽和レベルは４倍に拡大されるが、長蓄画素の光量が２００％のため、光量１００％時と明るさを同一にするため画素値を１／２にすると、実質的な飽和レベル拡張は２倍となる。短蓄画素では、光量が５０％であるため、通常撮像（Ａ）に対してｓ／ｎは１／√２となる。

図７は、光量と露光比の組み合わせ例を示す模式図である。図７に示すように、撮影条件に応じて光量と露光比を最適に組み合わせることで、ダイナミックレンジを最適に確保することができる。なお、図７において、露光比が「標準値」の場合は、ダイナミックレンジが０〜１０２３となり、露光比が「標準値の２倍」の場合は、ダイナミックレンジが０〜２０４６となり、露光比が「標準値の４倍」の場合は、ダイナミックレンジが０〜４０９２となり、露光比が標準値よりも大きくなる程、ダイナミックレンジが拡大する。図７において、具体的には、光量に基づいて、長蓄画素のレベル帯、ｓ／ｎ、量子化精度が決定される。また、露光比により飽和レベルの拡張度合いが決定される。また、露光比の標準値は光量設定に依存する。本実施形態では、カメラヘッド２００の撮像素子が撮像して得られた画像データに基づいて、図７に示す光量と露光比を動的に変更することで、最適な画像を得ることが可能である。上述したように、画像処理部１００は、露光比に応じて短蓄画素のダイナミックレンジを拡大した際に、短蓄画素の画素値を露光比に応じて調整する。例えば、光量が２００％で露光比が４：１の場合、短蓄画素の画素値を２倍にする。また、光量が４００％で露光比が８：１の場合、短蓄画素の画素値を４倍にする。これにより、図７の各例に示されているように、短蓄画素においてダイナミックレンジを拡大することができる。また、画像処理部１００は、長蓄画素の光量を増加した場合に、光量に応じて長短蓄画素の画素値を調整する。例えば、光量を２００％にした場合は長蓄画素の画素値を１／２とし、光量を４００％にした場合は長蓄画素の画素値を１／４とする。このような画素値の調整を行うため、画像処理部１００には光量（％）と露光比が送られる。

図６に示したように、見た目のダイナミックレンジは同一（通常撮像（Ａ）とＨＤＲ撮像（Ｅ）、ＨＤＲ撮像（Ｂ）とＨＤＲ撮像（Ｆ））にもかかわらず、長蓄画素に相当する明るさ領域のｓ／ｎや量子化精度を向上させることが可能となる。本実施形態では、画像特徴に応じて最適な光量と露光比の組み合わせを設定することで、図７に示すようなダイナミックレンジ拡張、ｓ／ｎ向上、量子化精度向上を達成した画像の出力を可能とする。

４．光量決定処理について
次に、光量決定処理について説明する。図８は、光量決定処理を示すフローチャートである。光量の決定は、図２に示す光量決定部１１０によって行われる。先ず、ステップＳ１０では、カメラヘッド２００の撮像素子から画像データを取得し、各画素の画素値を示すヒストグラムを取得する。また、ステップＳ１０では、画素値０〜１０２３を正規化して、０〜１．０の値に変換する。変換により得られた値０〜０．１は、撮像素子の飽和画素値に対する比率である。

ステップＳ１０において、ヒストグラムを取得する信号は、Ｙ，Ｇ，Ｒ，Ｂ信号のいずれであっても良い。また、ヒストグラムを取得する領域は、マスク内の全画素、マスク内の任意領域（電子ズームする際の切り出し領域等）、術具の先端領域、術者の注視領域、等のいずれであっても良い。また、光量は４００％までに限らず、それ以上であっても良い。

次のステップＳ１２では、変換した画素値が０〜０．２５である画素の数の全体画素数に対する比率（構成比）が第１の閾値を超えているか否かを判定し、第１の閾値を超えている場合はステップＳ１４へ進む。ステップＳ１４では、光量を４００％とする。

一方、ステップＳ１２において、構成比が第１の閾値を超えていない場合は、ステップＳ１６へ進み、変換した画素値が０〜０．５である画素の数の全体画素数に対する比率（構成比）が第２の閾値を超えているか否かを判定し、第２の閾値を超えている場合はステップＳ１８へ進む。ステップＳ１８では、光量を２００％とする。

また、ステップＳ１６において、構成比が第２の閾値を超えていない場合は、ステップＳ２０へ進み、光量を１００％とする。

以上のように、図８の処理では、注目領域（ヒストグラムを取得する領域）の画素値が低い値に集中している場合は、光量を増やしてその画素値帯のｓ／ｎが向上するように処理が行われる。図７に示したように、光量を高くすると長蓄画素に対応する暗部のｓ／ｎ、量子化精度は通常撮像（Ａ）に比べて向上する一方で、明部のｓ／ｎ、量子化精度は通常撮像（Ａ）と同じか通常撮像（Ａ）よりも低下する。これは、明部では短蓄画素が利用されることに起因する。従って、画像内に明部が殆ど無い場合は、光量を高くしても明部が存在しないためｓ／ｎ等の低下は視認されることはない。一方、明部が多くを占めるような画像では、ｓ／ｎ等の低下が視認されてしまう。光量決定部では画像のヒストグラムに基づいて、画質低下を視認され難くなるように光量を決定する。

図８の処理で決定された光量は、光源装置６に送られる。光源装置６は、受け取った光量に基づいて被写体を照射する。

５．露光比決定処理について
次に、露光比決定処理について説明する。図９は、露光比決定処理を示すフローチャートである。露光比の決定は、図２に示す露光比決定部１２０によって行われる。先ず、ステップＳ３０では、飽和画素の頻度を取得する。飽和画素の頻度は、図１０及び図１１に示すように、画素値を横軸とし、飽和している画素と飽和していない画素の数を示すデータである。次のステップＳ３２では、飽和画素の構成比が第１の閾値を超えているか否かを判定し、飽和画素の構成比が第１の閾値を超えている場合はステップＳ３４へ進み、露光比が上限値と一致したか否かを判定する。そして、ステップＳ３４で露光比が上限値と一致しない場合はステップＳ３６へ進み、露光比を上げる。一方、ステップＳ３４で露光比が上限値と一致する場合は処理を終了する。

また、ステップＳ３２で飽和画素の構成比が所定の閾値以下の場合は、ステップＳ３８へ進み、飽和画素値の１／２から飽和画素値まで範囲の画素の構成比が第２の閾値よりも小さい条件と、露光比が下限値と一致していない条件が共に成立するか否かを判定し、両条件が共に成立する場合はステップＳ４０へ進み、露光比を下げる。

ステップＳ３６、ステップＳ４０では、露光比を所定量だけ増減する。露光比が上限に達した場合（ステップＳ３４）、または露光比が下限値に達した場合（ステップＳ４０）は、露光比の増減は行わず、露光比は上限値または下限値とされる。

図１０及び図１１は、ステップＳ３０で取得した飽和画素の頻度を示す模式図である。図１０に示すヒストグラムでは、飽和画素が多く、飽和画素の構成比が第１の閾値よりも大きくなる。従って、このような画像の場合、ステップＳ３２からステップＳ３６へ進み、露光比を上げる処理が行われる。また、露光比が上限値に達した場合（ステップＳ３４）は、処理を終了する。

また、図１１に示すヒストグラムでは、飽和画素値の１／２から飽和画素値まで範囲の画素が少ない。従って、このような画像の場合、ステップＳ３８からステップＳ４０へ進み、へ進み、露光比を下げる処理が行われる。この場合、露光比を下げても飽和画素が大量に発生することはない。また、露光比が下限値に達した場合（ステップＳ３８）は、処理を終了する。

なお、図９の処理において、飽和画素は、厳密に飽和している画素ではなく、ある値以上の画素値を有する画素を飽和画素としても良い。露光比の下限値は、光量に応じて変えることができ、光量１００％のときは１、光量２００％のときは２、光量４００％のときは４となる。

図９の処理により、飽和している画素が多ければ、露光比を上げてダイナミックレンジを拡張し、飽和画素を含め明るい画素が殆ど無い場合は、不必要にダイナミックレンジが広がっているため、露光比を下げる。

なお、光量決定部１１０、露光比決定部１２０で参照する領域はマスク内全領域としているが、いずれかの決定部で参照する領域を以下で説明する領域としても良い。

以上のように、図８、図９の処理を行うことで、撮像した画像に基づいて光量と露光比を最適に設定することができる。従って、所望のダイナミックレンジを確保することができるとともに、ｓ／ｎを向上させることが可能となる。

５．本実施形態の異なる態様について
次に、本実施形態のいくつかの異なる態様について説明する。図１２は、図２の構成に対してズーム領域設定部１３０を追加した例を示している。内視鏡システムが電子ズーム機能を有する場合、図１２に示すように、光量決定部１１０と露光比決定部１２０がズーム領域設定部１３０からズーム対象領域を取得する。これにより、図２では光量決定部１１０及び露光比決定部１２０が参照する領域は画像のマスク内全域であったが、図１２では実際に表示装置９に表示される領域（電子ズームの切り出し領域）のみ光量決定部１１０及び露光比決定部１２０が参照することになる。従って、表示装置９に表示される領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。

図１３は、図２の構成に対して術具検出部１４０を追加した例を示している。術具検出部１４０を備えることで、術具の先端領域を示す情報が光量決定部１１０、露光比決定部１２０へ送られる。これにより、光量決定部１１０や露光比決定部１２０で参照する領域が術具の先端領域（術具の先端が到達可能な領域）とされる。従って、術具の先端領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。

図１４は、図２の構成に対して視線検出部１５０を追加した例を示している。視線検出部１５０を備えることで、術者の視線の領域を示す情報が光量決定部１１０、露光比決定部１２０へ送られる。これにより、光量決定部１１０や露光比決定部１２０で参照する領域が術者の視線の領域とされる。従って、術者の視線の領域に基づいて、光量決定部１１０におけるヒストグラムの取得の対象領域、及び露光比決定部１２０における飽和画素頻度の取得の対象領域を設定することが可能である。

なお、参照する領域は光量決定部１１０と露光比決定部１２０で同一でなくても良い。図８のステップＳ１０おいて、光量決定部１１０がヒストグラムを取得する領域は、マスク内の全画素、図１２で説明したマスク内の任意領域（電子ズームの切り出し領域）、図１３で説明した術具の先端領域、図１４で説明した術者の注視領域のいずれであっても良い。同様に、図９のステップＳ３０において、露光比決定部１２０が飽和画素頻度を取得する領域は、マスク内の全画素、図１２で説明したマスク内の任意領域（電子ズームの切り出し領域）、図１３で説明した術具の先端領域、図１４で説明した術者の注視領域のいずれであっても良い。

以上説明した構成では、光源装置６から被写体へ照射する光量で撮像素子への入射光量を制限しているが、カメラヘッド２００のレンズのＦ値、または撮像素子の電子シャッターによる露光時間を調整することで、撮像素子への入射光量を調整するようにしても良い。

図１５は、カメラヘッド２００に絞りを設け、撮像素子への入射光量を制限する例を示す模式図である。図１５では、図２の構成に対してレンズＦ値決定部１６０を追加している。図１５に示す構成では、撮像素子への入射光量を絞りで制限するため、被写体の光量を絞りで調整できる。このため、光源装置６を設ける必要はない。

図１５に示す構成では、光量決定部１１０が決定した光量がレンズＦ値決定部１６０に送られる。レンズＦ値決定部１６０は、光量とレンズのＦ値との関係を記述したテーブル又は変換式に基づいて、光量に応じてレンズのＦ値を決定する。Ｆ値はカメラヘッド２００に送られる。カメラヘッド２００は、Ｆ値に基づいて絞りを駆動し、撮像素子への入射光量を制限する。

図１６は、露光時間で撮像素子への入射光量を制限する例を示す模式図である。図１６では、図２の構成に対して露光時間決定部１７０を追加している。図１６に示す構成では、露光時間で撮像素子への入射光量を制限するため、被写体の光量を露光時間で調整できる。このため、光源装置６を設ける必要はない。

図１６に示す構成では、光量決定部１１０が決定した光量が露光時間決定部１７０に送られる。露光時間決定部１７０は、光量と露光時間との関係を記述したテーブル又は変換式に基づいて、光量に応じて露光時間を決定する。露光時間はカメラヘッド２００に送られる。カメラヘッド２００は、露光時間に基づいて電子シャッターによる露光を行い、撮像素子への入射光量を制限する。

６．長蓄画素と短蓄画素の混合について
次に、以上のようにして長蓄画素と短蓄画素の画像データ（画素値）を取得した後、長蓄画素と短蓄画素を混合（ブレンド）して画像データを生成する処理について説明する。上述したように、長蓄画素を用いることでｓ／ｎが良くなるため、被写体の明度が比較的低く、長蓄画素が飽和していない場合は、長蓄画素の比率を大きくし、短蓄画素の比率を小さくして両者を混合する。従って、長蓄画素と短蓄画素から算出される任意の画素の画素値Ｐ_Ｏは、以下の式で表すことができる。
Ｐ_Ｏ＝ａ＊Ｐ_Ｌ＋（１−ａ）＊Ｐ_Ｓ

上式において、Ｐ_Ｌは長蓄画素の画素値、Ｐ_Ｓは短蓄画素の画素値、係数ａは長蓄画素の画素値Ｐ_Ｌに応じて変化する係数であって、長蓄画素の画素値Ｐ_Ｌに応じて変化する。図１７は、長蓄画素の画素値Ｐ_Ｌに応じて係数ａの値が変化する様子を示す特性図である。図１７では、長蓄画素の画素値Ｐ_Ｌ（例えば、０〜１０２３）を正規化して、０〜１．０の値に変換している。画素値Ｐ_Ｌが閾値ＴＨ_Ｌに達するまでは、係数ａは１となる。従って、上式により、画素値Ｐ_Ｏは長蓄画素の画素値Ｐ_Ｌとなる。

また、長蓄画素の画素値Ｐ_Ｌが閾値ＴＨ_Ｌよりも大きくなると、画素値Ｐ_Ｌが大きくなるに従って係数ａの値が低下し、画素値Ｐ_Ｌが閾値ＴＨ_Ｈに達すると係数ａは０となる。従って、上式により、画素値Ｐ_Ｏは短蓄画素の画素値Ｐ_Ｓとなる。

なお、図１７に示すように、長蓄画素と短蓄画素の混合の仕方に応じて、閾値ＴＨ_Ｌ、閾値ＴＨ_Ｈの値は適宜変更できる。

また、図１８は、光量と露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させる例を示す模式図である。階調圧縮の際、表示される画像の明るさが急激に変動しないように、最大輝度の変動を緩やかにする。例えば、露光比を変えた瞬間に、短蓄画素の最大輝度を１０２３から２０４６に一瞬で変えるのではなく、中間の遷移状態に示すように、最大輝度を緩やかに変化させる。また、短蓄画像側の露光時間又は光源光量を緩やかに変化させるようにしてもよい。

図１９は、露光比を変化させて状態Ａから状態Ｂへ遷移させる際に、飽和レベルを変化させない例を示す模式図である。ＨＤＲ画像の合成の際に、短蓄画素と長蓄画素が混合される領域が連続的になるように、ブレンドの閾値を状態Ｂに合わせた値に遷移させていき、状態Ｂに一致した状態になった後に、光量や露光比などを状態Ｂに変える。長蓄の撮像素子に入射される光量、短蓄の撮像素子に入射される光量を緩やかに変化させるようにしてもよい。

７．本実施形態と比較例との比較
図２０は、同一の被写体を撮像した場合に、通常撮像（Ａ）と、本実施形態に係るＨＤＲ撮像（Ｅ）と、比較例（前述した特許文献１に記載された技術）と、を比較して示す模式図である。ここで、図２０は、飽和が無い被写体の場合を示している。以下、本実施形態と比較例との相違について説明する。

図２０において、奥行きが３段階に配置された３つの被写体Ａ，Ｂ，Ｃの輝度は、通常撮像（Ａ）に示した通りである。

比較例では、遠方の被写体Ａに高光量を照射した場合と、それより近接の被写体Ｂに通常光量を照射した場合とで、イメージャーに入射する光量が同じであればｓ／ｎは両者で不変である。一方、本実施形態に係るＨＤＲ撮像では、上述のように長蓄画素側のｓ／ｎ、量子化精度が向上する。

また、比較例では、時分割多段階露光を行っているが、時分割多段階露光を行うと、フレームレートが低下する。本実施形態では、図３で説明した空間分割多段階露光を行った場合はフレームレートの低下を抑えることが可能である。

また、比較例では、画素値の平均値を用いているため、低輝度と高輝度の頻度が多く中輝度の頻度が少ない場合に、平均値として中輝度と判定されてしまう。また、比較例では、１画素でも飽和している画素があるとそれに引っ張られる可能性がある。

また、図２０に示すように、比較例では、領域によって複数の光源光量を制御するため、暗い領域と明るい領域の境界が光源の境界と一致していないと、撮像時の被写体の明るさが不均一になる。一方、本実施形態では、単一の光源を用いるため、そのような問題は発生しない。

また、比較例では、光源が照射する領域内の特徴量で光量や露光比の制御を行っているため、対象領域に低輝度部分が少なければその領域の見え方を改善することは出来ない。一方、本実施形態では、画面全体だけでなく、鉗子の先端やユーザーの注視点など対象領域を限定することで、その領域内での特徴量から光量や露光比の制御が可能である。

更に、比較例では、輝度の低い領域をその他の領域に比べて明るく照射するため、暗い部分を明るくすることはできるが、本来のコントラスト感とは違った見え方になる。一方、本実施形態では、あくまでも撮像時は本来のコントラスト感での撮像をし、画像処理で暗部をより明るくするといったようなことは可能（画作りの自由度が高い）である。

また、比較例は、光量を上げない領域の低輝度部は、ｓ／ｎ、量子化精度の向上はない。本実施形態によれば、画面内の全ての低輝度部のｓ／ｎ、量子化精度を向上させることも可能である。

以上説明したように本実施形態によれば、画像のダイナミックレンジを拡張するとともに、ｓ／ｎおよび量子化精度の向上を行うことができる。この際、被写体の画像特徴を参照することで、画質低下を抑制することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、
前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、
を備える、画像処理装置。
（２） 前記光量及び前記露光量の比に基づいて前記長時間露光画素と前記短時間露光画素の画素値を調整する画像処理部を更に備える、前記（１）に記載の画像処理装置。
（３） 前記光量決定部は、前記撮像画像の前記領域に含まれる画素のうち所定の画素値よりも小さい画素値を有する画素の比率に基づいて、前記光量を決定する、前記（１）又は（２）に記載の画像処理装置。
（４） 前記露光比決定部は、前記比率が第１の閾値より大きい場合は、前記露光量の比を増加させる、前記（３）に記載の画像処理装置。
（５） 前記露光比決定部は、前記比率が前記第１の閾値以下の場合は、前記撮像画像の領域に含まれる画素のうち所定の画素値から飽和画素値までの画素値を有する画素の比率に基づいて、当該比率が第２の閾値よりも小さい場合は、前記露光比を減少させる、前記（４）に記載の画像処理装置。
（６） 前記所定の画素値は飽和画素値の１／２である、前記（５）に記載の画像処理装置。
（７） 前記撮像画像を撮像するカメラのズーミングに応じて前記撮像画像の前記領域が設定される、前記（１）〜（６）のいずれかに記載に画像処理装置。
（８） 術具の先端領域に応じて前記撮像画像の前記領域が設定される、前記（１）〜（６）のいずれかに記載に画像処理装置。
（９） 術者の視線の領域に応じて前記撮像画像の前記領域が設定される、前記（１）〜（６）のいずれかに記載に画像処理装置。
（１０） 前記光量決定部は、被写体を照射する光源に前記光量を送る、前記（１）〜（９）のいずれかに記載の画像処理装置。
（１１） 前記光量決定部は、前記撮像画像を撮像するカメラのＦ値を調整するため、前記光量を前記カメラに送る、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２） 前記光量決定部は、前記撮像画像を撮像するカメラの露光時間を調整するため、前記光量を前記カメラに送る、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１３） 前記露光比決定部は、前記撮像画像を撮像する撮像素子に前記長時間露光画素と前記短時間露光画素の露光時間を調整させるため、前記撮像画像を撮像するカメラに前記露光量の比を送る、前記（１）〜（１２）のいずれかに記載の画像処理装置。
（１４） 前記長時間露光画素と前記短時間露光画素は前記撮像画像の同一フレームの空間内に配置される、前記（１）〜（１３）のいずれかに記載の画像処理装置。
（１５） 前記長時間露光画素と前記短時間露光画素は前記撮像画像の時間的に異なるフレームにそれぞれ配置される、前記（１）〜（１３）のいずれかに記載の画像処理装置。
（１６） 前記長時間露光画素と前記短時間露光画素を混合した画素を生成する処理を行う画像処理部を備え、
前記画像処理部は、前記長時間露光画素の画素値に基づいて、当該画素値が小さいほど前記短時間露光画素に対する前記長時間露光画素の割合を大きくして前記混合した画素を生成する、前記（１）〜（１５）のいずれかに記載の画像処理装置。
（１７） 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、
前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、
を備える、画像処理方法。
（１８） 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、
前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、
としてコンピュータを機能させるためのプログラム。

５ ＣＣＵ
６ 光源装置
１００ 画像処理部
１１０ 光量決定部
１２０ 露光比決定部
２００ カメラヘッド

Claims (18)

1. 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する光量決定部と、
   前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する露光比決定部と、
   を備える、画像処理装置。
2. 前記光量及び前記露光量の比に基づいて前記長時間露光画素と前記短時間露光画素の画素値を調整する画像処理部を更に備える、請求項１に記載の画像処理装置。
3. 前記光量決定部は、前記撮像画像の前記領域に含まれる画素のうち所定の画素値よりも小さい画素値を有する画素の比率に基づいて、前記光量を決定する、請求項１に記載の画像処理装置。
4. 前記露光比決定部は、前記比率が第１の閾値より大きい場合は、前記露光量の比を増加させる、請求項３に記載の画像処理装置。
5. 前記露光比決定部は、前記比率が前記第１の閾値以下の場合は、前記撮像画像の領域に含まれる画素のうち所定の画素値から飽和画素値までの画素値を有する画素の比率に基づいて、当該比率が第２の閾値よりも小さい場合は、前記露光量の比を減少させる、請求項４に記載の画像処理装置。
6. 前記所定の画素値は飽和画素値の１／２である、請求項５に記載の画像処理装置。
7. 前記撮像画像を撮像するカメラのズーミングに応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
8. 術具の先端領域に応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
9. 術者の視線の領域に応じて前記撮像画像の前記領域が設定される、請求項１に記載に画像処理装置。
10. 前記光量決定部は、被写体を照射する光源に前記光量を送る、請求項１に記載の画像処理装置。
11. 前記光量決定部は、前記撮像画像を撮像するカメラのＦ値を調整するため、前記光量を前記カメラに送る、請求項１に記載の画像処理装置。
12. 前記光量決定部は、前記撮像画像を撮像するカメラの露光時間を調整するため、前記光量を前記カメラに送る、請求項１に記載の画像処理装置。
13. 前記露光比決定部は、前記撮像画像を撮像する撮像素子に前記長時間露光画素と前記短時間露光画素の露光時間を調整させるため、前記撮像画像を撮像するカメラに前記露光量の比を送る、請求項１に記載の画像処理装置。
14. 前記長時間露光画素と前記短時間露光画素は前記撮像画像の同一フレームの空間内に配置される、請求項１に記載の画像処理装置。
15. 前記長時間露光画素と前記短時間露光画素は前記撮像画像の時間的に異なるフレームにそれぞれ配置される、請求項１に記載の画像処理装置。
16. 前記長時間露光画素と前記短時間露光画素を混合した画素を生成する処理を行う画像処理部を備え、
    前記画像処理部は、前記長時間露光画素の画素値に基づいて、当該画素値が小さいほど前記短時間露光画素に対する前記長時間露光画素の割合を大きくして前記混合した画素を生成する、請求項１に記載の画像処理装置。
17. 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定することと、
    前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定することと、
    を備える、画像処理方法。
18. 撮像画像の各画素の画素値に基づいて、前記撮像画像の光量を決定する手段、
    前記撮像画像の領域に含まれる画素のうち前記画素値が飽和している画素の比率に基づいて、短時間露光画素の露光量に対する長時間露光画素の露光量の比を決定する手段、
    としてコンピュータを機能させるためのプログラム。

Images