JP7420141B2 - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Description

本技術は、モニタ出力用の画像信号の生成を行う画像処理装置、撮像装置、画像処理方法及びプログラムについての技術分野に関する。特にフォーカス度合いを確認可能な画像についての画像信号の生成を行う撮像装置、撮像信号処理装置、撮像信号処理方法に関する。

撮像装置には、撮像されている画の明るさやホワイトバランスなどをリアルタイムに確認するためのモニタ出力を備えるものがある。その目的から、モニタに表示される画像は本来、撮像されている画像の輝度やホワイトバランス、解像感を忠実に表現できることが望ましい。しかし、多くの高解像度の撮像センサを有する撮像装置においては、撮像センサと同等もしくはそれ以上の画素数による表示系を有することはコストの面や小型化の面から難しい。従って、そのような撮像装置が有する表示系においては、本来の解像感やフォーカス位置を表現することが難しかった。
特許文献１では、解像度を落とした撮像画像に対して高解像領域で検出したピーキング信号を重畳させることでフォーカス位置を表現する技術が開示されている。

特開２０１１－１７６７８８号公報

しかし、撮像される画像にピーキング信号を重畳して表示する場合では、撮像の対象（被写体）によっては見難くなる虞があり、ユーザによっては使用に抵抗を感じる場合があった。
そこで、本技術は、撮像される画像にピーキング信号を重畳させることなくフォーカス位置を確認可能な画像を生成することを目的とする。

本技術に係る画像処理装置は、一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、前記一の撮像画像信号についてのピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行うブレンド処理部と、を備えたものである。
互いに異なる周波数特性を有する画像信号とは、例えば、高周波成分を含む画像信号と、高周波成分が除去された画像信号などである。

上記した画像処理装置における前記画像信号生成部は、第１の解像度とされた入力画像信号を第２の解像度とされた出力信号に変換する解像度変換処理を行う第１解像度変換処理部を備えていてもよい。
第１の解像度は、例えば、４Ｋ解像度（水平３８４０画素、垂直２１６０画素）とされ、第２の解像度は、例えば、ＨＤ解像度（水平１２８０画素、垂直７２０画素）とされる。或いは、第１の解像度が８Ｋ解像度（水平７６８０画素、垂直４３２０画素）とされ、第２の解像度が４Ｋ解像度や２Ｋ解像度（水平１９２０画素、垂直１０８０画素）、或いはＨＤ解像度とされてもよい。

上記した画像処理装置における前記複数の画像信号は、第１画像信号と第２画像信号を含み、前記第１画像信号は前記第２画像信号よりも高周波成分を多く含む画像信号とされてもよい。
一方の画像信号が他方よりも高周波成分を多く含む画像とされ、表示画像の部分ごとに画像信号のブレンド比を変化させることにより、表示画像の部分ごとに含まれる高周波成分の多寡を変化させることができる。

上記した画像処理装置における前記第１画像信号は、帯域制限フィルタを介さない画像信号とされ、前記第２画像信号は、ローパスフィルタを介した画像信号とされてもよい。
第１画像信号は、表示画像におけるフォーカス位置に多く使用される。また、第２画像信号は、表示画像におけるフォーカス位置以外の部分に多く使用される。

上記した画像処理装置における前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、前記第２画像信号は、帯域制限フィルタを介さない画像信号とされてもよい。
第１画像信号はハイパスフィルタを介すことにより、高周波成分が強調された画像信号とされる。

上記した画像処理装置における前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、前記第２画像信号は、ローパスフィルタを介した画像信号とされてもよい。
第１画像信号がハイパスフィルタを介したものであることにより高周波成分が強調された画像信号とされ、第２画像信号がローパスフィルタを介したものであることにより低周波成分が強調された画像信号とされる。

上記した画像処理装置においては、前記一の撮像画像信号から高周波数帯域のエッジ検出信号を前記ピーキング信号として抽出する高周波数帯エッジ検出部を備えていてもよい。
即ち、画像処理装置が高周波数帯エッジ検出部を含む構成とされる。

上記した画像処理装置における前記高周波数帯エッジ検出部は、高周波数帯域のエッジ情報が保たれた状態で解像度変換処理を行う第２解像度変換処理部を備えていてもよい。
これにより、ブレンド比の決定に用いられるピーキング信号は高周波成分が除去されていないままダウンコンバートされた信号とされる。

上記した画像処理装置における前記高周波数帯エッジ検出部は、撮像に用いたレンズについてのレンズ情報に基づいて前記高周波数帯域を制御する帯域制御部を備えていてもよい。
レンズ情報とは、例えば、ズームレンズの位置情報やＦ値などの情報であってもよいし、それらの情報を特定可能なレンズ型番などであってもよい。

上記した画像処理装置における前記ブレンド処理部は、前記ブレンド比に基づいてαブレンドを行ってもよい。
これにより、ブレンド処理部によって周波数特性の異なる二つの画像信号が合成される。

本技術に係る撮像装置は、第１の画素数による撮像素子と、前記第１の画素数よりも少ない第２の画素数による表示部と、前記撮像素子から出力される一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行い前記表示部に出力する画像信号を生成するブレンド処理部と、を備えたものである。
例えば、第１の画素数は４Ｋ解像度である水平３８４０画素、垂直２１６０画素に基づく画素数とされ、第２の画素数はＨＤ解像度である水平１２８０画素、垂直７２０画素に基づく画素数とされる。

上記した撮像装置においては、前記ブレンド処理部からの出力を前記表示部に入力するモードと、前記ブレンド処理部を介さずに解像度変換処理部からの出力を前記表示部に入力するモードとを切り換える切り換え処理部を備えていてもよい。
切り換え処理部に対応して、切り換えるための操作子を設けてもよい。操作子としては、例えば、物理的なボタンのような操作子であってもよいし、メニュー画面から切り換え可能とされることによりメニュー画面を操作するための操作子が切り換え操作子として動作してもよい。また、表示部がタッチパネルを搭載している場合には、表示部が切り換え操作子として動作してもよい。即ち、表示部上に配置されたアイコン等を操作することにより、モードの切り換えを行うように構成してもよい。

上記した撮像装置における前記ブレンド比は、前記ピーキング信号及びユーザの設定に応じて決定されてもよい。
ブレンド比は、ピーキング信号のみに基づいて決定されてもよいし、ユーザの設定のみに基づいて決定されてもよいし、ピーキング信号及びユーザの設定の双方に基づいて決定されてもよい。また、これらの切り換えをユーザが設定できるようにされていてもよい。

上記した撮像装置においては、前記表示部において前記ブレンド処理部からの出力に応じた表示がなされている場合に、前記ブレンド処理部からの出力に応じた表示がなされていることをユーザに報知するための報知部を備えていてもよい。
報知部は、例えば、ブレンド処理された画像が表示されていることを示すアイコンを表示部上に表示させる処理を実行してもよいし、報知ＬＥＤ（Light Emitting Diode）などの発光部を設けることにより報知処理を実行してもよい。

本技術に係る画像処理方法は、画像処理装置が行う画像処理方法であって、一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成し、ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行うものである。

本技術に係るプログラムは、一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する処理と、ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行う処理と、を情報処理装置に実行させるプログラムである。

本技術の実施の形態の撮像装置についての斜視図である。 実施の形態における撮像装置のブロック図である。 第１の実施の形態における信号処理部の一例を示すブロック図である。 高解像度画像のイメージ図である。 通常画像のイメージ図である。 通常画像から高周波成分を除去した画像のイメージ図である。 ブレンド部から出力されるモニタ出力画像のイメージ図である。 第２の実施の形態における信号処理部の一例を示すブロック図である。 第３の実施の形態における信号処理部の一例を示すブロック図である。 第４の実施の形態における信号処理部の一例を示すブロック図である。 変形例１における信号処理部の一例を示すブロック図である。 変形例２における撮像装置のブロック図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図１３に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、実施の形態について添付図面を参照しながら次の順序で説明する。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．第４の実施の形態＞
＜５．変形例＞
＜６．まとめ＞
＜７．応用例＞
＜８．本技術＞

＜１．第１の実施の形態＞
本実施の形態に係る撮像装置１の外観を図１に示す。
撮像装置１は、内部に基板等が配置される内部空間を備えたカメラ筐体２と、カメラ筐体２の前方に取り付けられ内部にレンズ群が配設されたレンズ筐体３を有している。
カメラ筐体２には、上部に電子ビューファインダ（ＥＶＦ：Electronic Viewfinder）４が設けられ、後方には背面モニタ５が取り付けられている。カメラ筐体２には、被写体を撮像するため及び撮像画像を確認するための各種操作子６が各部に設けられている。具体的には、例えば、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン（レリーズボタン）等である。

ＥＶＦ４は、後方から視認可能なＥＶＦモニタ７と、ＥＶＦモニタ７の上方及び左右の側方を囲むように後方に突出された枠状の囲い部８を備えている。即ち、ＥＶＦモニタ７はファインダ内に設けられている。

背面モニタ５は、カメラ筐体２に対して回動可能とされている。例えば、背面モニタ５の上端部を回動軸として背面モニタ５の下端部が後方に移動するように回動可能とされている。
なお、背面モニタ５の右端部や左端部が回動軸とされていてもよい。更に、複数の方向に回動可能とされていてもよい。

図２は撮像装置１のブロック図である。撮像装置１は、光学系５０、撮像部５１、信号処理部５２、制御部５３、光学系ドライバ５４、操作入力部５５、表示部５６等が設けられている。表示部５６は、例えば、背面モニタ５やＥＶＦモニタ７とされる。以下の説明においては、表示部５６としてのＥＶＦモニタ７に画像を出力する。
尚、図２には図示していないが、撮像装置１は、メモリ部、センサ類、記憶部、通信部などを備えて構成されていてもよい。

光学系５０は、入射端レンズ、ズームレンズ、フォーカスレンズ、集光レンズなどの各種レンズや絞り機構などを含んで構成されている。絞り機構は、信号電荷が飽和せずにダイナミックレンジ内に入っている状態でセンシングが行われるように、レンズやアイリス（絞り）による開口量などを調整することで、露光制御を行う。光学系５０には、被写体から反射された光（被写体光）が入射される。

撮像部５１は、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子５１ａを備えて構成される。
撮像素子５１ａのセンサ面は、複数の画素が２次元配列されたセンシング素子を有して構成されている。
撮像部５１では、撮像素子５１ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ（Correlated Double Sampling）処理、ＡＧＣ（Automatic Gain Control）処理などを実行し、更にＡ／Ｄ（Analog/Digital）変換処理を行う。そして、デジタルデータとしての撮像画像データを後段の信号処理部５２に出力する。尚、以下の説明では、撮像素子５１ａが４Ｋ画像の解像度を有し、ＥＶＦモニタ７が２Ｋ解像度を有した例を挙げる。

信号処理部５２は、例えば、ＤＳＰ（Digital Signal Processor）などのデジタル信号処理に特化したマイクロプロセッサや、マイクロコンピュータなどにより構成される。

信号処理部５２は、撮像部５１から送られてくるデジタル信号（撮像画像信号）に対して、各種の信号処理を施すための各部を備える。
具体的には、信号処理部５２は、補正処理部５７、現像処理部５８、本線系出力処理部５９、第１解像度変換処理部６０、高周波数帯エッジ検出部６１、モニタ出力生成部６２等を備えている。詳しくは図３を参照して後述する。
これらの各部により信号処理が施されることにより、表示部としてのＥＶＦモニタ７に出力する画像信号と本線出力としての４Ｋ解像度の画像信号が信号処理部５２から出力される。

制御部５３は、撮像装置１の統括的な制御を行う。また、制御部５３は、光学系５０が備える各種のレンズを制御するために光学系ドライバ５４に対する指示を行う。
光学系ドライバ５４は、例えば、ズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構を駆動するモータに対するモータドライバ等が設けられている。
制御部５３は、光学系５０が備える各種レンズについての情報を取得可能とされている。レンズの情報としては、例えば、レンズの型番やズームレンズの位置やＦ値（絞り値）などの情報が含まれる。

補正処理部５７は、例えば、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理、ホワイトバランス補正、収差補正、シェーディング補正等の処理を行う。補正処理部５７から出力された画像信号は、現像処理部５８及び高周波数帯エッジ検出部６１に入力される。

現像処理部５８は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号及び色（Ｃ）信号を生成（分離）するＹＣ生成処理や、輝度や色を調整する処理、ニー補正やガンマ補正などの各処理を行う。

本線系出力処理部５９は、解像度変換処理や記録用や通信用のための符号化を行うコーデック処理などを行うことによって最終的な出力形式に変換し、４Ｋ画像などの本線出力として外部に出力する。

第１解像度変換処理部６０は、現像処理部５８から出力される画像信号に解像度変換処理（ダウンコンバート処理）を施し、４Ｋ解像度の画像信号から２Ｋ解像度の画像信号の生成を行う。該２Ｋ解像度の画像信号は、モニタ出力生成部６２に入力される。

高周波数帯エッジ検出部６１は、補正処理部５７で各種の補正処理が施された画像信号から２Ｋ解像度のエッジ検出信号を抽出する処理を行う。具体的には、高周波数帯エッジ検出部６１は、４Ｋ解像度の画像信号から高周波数帯域のエッジ検出信号を抽出し、該エッジ検出信号に解像度変換処理を施して２Ｋ解像度のエッジ検出信号を抽出する。

なお、高周波数帯エッジ検出部６１は、帯域制御部６３と第２解像度変換処理部６４を備えて構成される（図３参照）。即ち、エッジ検出信号を抽出するためのフィルタリングを帯域制御部６３で行い、第２解像度変換処理部６４で解像度変換を行うことにより２Ｋ解像度のエッジ検出信号を得る。

そのために、制御部５３は、抽出すべきエッジ検出信号の周波数に基づいた帯域制御が行われるように、レンズ情報に基づいて帯域制御部６３を制御する。例えば、帯域制御部６３を通過する帯域はズームレンズの位置に応じたものとなるように制御する。具体的には、ズーム撮影を行う場合、等倍による撮影よりも撮像画像の周波数帯域が下がることが多い。従って低い倍率で撮影を行っている場合は高い周波数成分がエッジ検出信号として抽出されるように帯域制御部６３を制御する。逆に、高い倍率で撮影を行っている場合（高倍率によるズーム撮影を行っている場合）には、高い周波数成分が抽出できずに適切なエッジ検出信号を得られない可能性があるため、少し低めの周波数成分がエッジ検出信号として抽出されるように帯域制御部６３を制御する。

また、制御部５３は、帯域制御部６３を通過する帯域がＦ値に応じて適切なものとなるように制御する。Ｆ値が大きすぎると、絞りボケによって高周波成分がエッジ検出信号として抽出されにくくなる。また、Ｆ値が小さすぎると開放ボケによって同様に高周波成分がエッジ検出信号として抽出されにくくなる。

更に、制御部５３は、帯域制御部６３を通過する帯域がレンズの種類に応じて適切なものとなるように制御する。即ち、レンズごとのＭＴＦ（Modulation Transfer Function）特性に応じて帯域制御部６３を制御する。

高周波数帯エッジ検出部６１は、４Ｋ解像度の画像信号から２Ｋ解像度における高周波数帯域のエッジ検出信号を抽出するものである。従って、高周波数帯エッジ検出部６１は、水平方向２画素及び垂直方向２画素から成る４画素単位で処理を行う。従って、高周波数帯エッジ検出部６１が備える帯域制御部６３及び第２解像度変換処理部６４についても４画素ごとの処理を行う。即ち、帯域制御部６３は、４画素における左上の１画素を処理する帯域制御部６３ａと、右上の１画素を処理する帯域制御部６３ｂと、左下の１画素を処理する帯域制御部６３ｃと、右下の１画素を処理する帯域制御部６３ｄから構成されていてもよい。

帯域制御部６３は、制御部５３からの指示に応じて、所定の帯域のエッジ検出信号を抽出する。帯域制御部６３は、水平方向のエッジを検出する処理と、垂直方向のエッジを検出する処理の双方を行う。水平方向のエッジを検出する処理や垂直方向のエッジを検出する処理としては、例えば、利得を安定化させるための利得係数を用いた利得安定化処理や、ランダムノイズを除去する処理等を行う。

また、本構成における帯域制御部６３は、水平方向のエッジ検出信号と垂直方向のエッジ検出信号のうち絶対値の大きな信号を選択して取り出し、処理対象の１画素についてのエッジ検出信号として出力する。即ち、帯域制御部６３からは、４画素それぞれのエッジ検出信号として、画素ごとの水平方向のエッジ検出信号と垂直方向のエッジ検出信号のいずれかが選択されて出力される。

第２解像度変換処理部６４は、帯域制御部６３から出力された４画素分のエッジ検出信号を受け取り、ダウンコンバート処理を施して１画素分のエッジ検出信号（ピーキング信号）として出力する。
本構成における第２解像度変換処理部６４は、高周波数帯にあるエッジ情報を損なわずにダウンコンバート処理を施すように構成されている。
具体的には、連続するエッジ検出信号の差分を算出し、該差分が最大である組を出力する。これにより、高周波数帯のエッジ情報が損なわれないように４Ｋ解像度のエッジ検出信号から２Ｋ解像度のエッジ検出信号が生成（抽出）される。

なお、第２解像度変換処理部６４は、ダウンコンバート処理を行うだけでなく、二乗化処理を行いより狭い範囲の帯域の信号を強調してもよい。また、更に、二乗化処理を施した信号と二乗化処理を施していない信号を選択可能とするセレクタを用いることにより、ユーザの好みに応じたエッジ検出信号を出力してもよい。

第２解像度変換処理部６４から出力されたピーキング信号と第１解像度変換処理部６０から出力された画像信号（以降、「通常画像信号」と記載）は、共にモニタ出力生成部６２へ入力される。
ピーキング信号と通常画像信号は表示部５６の解像度に合わせて共に２Ｋ解像度の信号とされている。モニタ出力生成部６２では、二つの信号を用いて表示部５６に画像を表示するための画像信号を生成する。

モニタ出力生成部６２は、通常画像信号を分岐させた画像信号から第１画像信号と第２画像信号を生成し、ピーキング信号に基づいて第１画像信号と第２画像信号をブレンドする処理を行う。
第１画像信号と第２画像信号は周波数特性の異なる画像信号とされ、例えば、第１画像信号は第２画像信号よりも相対的に高周波成分が多くされた画像信号とされる。

モニタ出力生成部６２は、帯域制限フィルタ６５とブレンド部６６を備えている。
帯域制限フィルタ６５の例は複数考えられる。図３に示す例は、帯域制限フィルタ６５としてＬＰＦ（Low Pass Filter）６５ａが用いられた例である。

第１解像度変換処理部６０から出力された通常画像信号は二つの画像信号に分岐され、一方が通常画像信号としてブレンド部６６へ入力され、他方がＬＰＦ６５ａに入力される。
ＬＰＦ６５ａでは、設定された所定周波数以上の帯域が除去された画像信号（以降、「ＬＰＦ画像信号」と記載）が生成される。

なお、ＬＰＦ６５ａのフィルタ係数は制御部５３により予め決められた所定の値が与えられてもよいし、可変の変数として与えられてもよい。
フィルタ係数が可変の場合は、撮影環境等により制御部５３が決定してもよいし、撮影者やビデオエンジニア等の操作に基づいて制御部５３が決定してもよい。

ブレンド部６６は、通常画像信号とＬＰＦ画像信号のブレンドを行う。ブレンドの手法としては、例えばαブレンドのようなフュージョン手法が用いられる。

例えば、ＬＰＦ画像信号の成分（比率）を０にしてブレンドすれば、単なる通常画が表示部５６に表示されることとなる。また、通常画像信号の成分（比率）を０にしてブレンドすれば、高周波成分が除去された画像が表示部５６に表示されることとなる。
ブレンド部６６では、ピーキング信号に基づいて、画素ごと或いは領域ごとにブレンド比を変えることにより、高周波成分が除去された領域と高周波成分が残った領域とを生成する。

具体的には、ピーキング信号が大きい画素（或いは領域）については、通常画像信号の比率を多くしＬＰＦ画像信号の比率を少なくする。また、ピーキング信号が小さい画素（或いは領域）については、通常画像信号の比率を少なくしＬＰＦ画像信号の比率を多くする。

例えば、ピーキング信号が最も大きい画素（領域）における通常画像信号とＬＰＦ画像信号のブレンド比と、ピーキング信号が最も小さい画素（領域）における該ブレンド比を決定し、その他の画素（領域）については、ピーキング信号が最も大きい画素（領域）からピーキング信号が最も小さい画素（領域）に向けて線形的にブレンド比が変化するようにされてもよい。

なお、ピーキング信号が大きい画素（領域）は、高周波成分を多く含んでいる画素（領域）とされており、例えばフォーカスが合っている画素（領域）とされる。また、ピーキング信号が小さい画素（領域）は、高周波成分が余り含まれていない画素（領域）とされており、例えばフォーカスが合っていない画素（領域）とされる。

即ち、ブレンド部６６から出力されるモニタ出力信号は、フォーカスが合っている画素（領域）が相対的に強調されたものになる。
一例について、図４，図５，図６及び図７を参照して説明する。

図４は、４Ｋ画像などの高解像度画像のイメージ図である。人物の目、鼻及び口の部分にフォーカスが合っており顔の輪郭部分及び肩の部分はフォーカスが合ってない状態を示している。即ち、目、鼻及び口の部分は高周波成分が多く含まれており、顔の輪郭部分及び肩の部分は高周波成分が少なくされている。

図５は、通常画像信号による画像のイメージ図である。即ち、第１解像度変換処理部６０により解像度変換された画像とされる。目、鼻及び口の部分については、ある程度高周波成分が残った状態とされる。

図６は、ＬＰＦ６５ａを介した通常画像信号、即ち、ＬＰＦ画像信号による画像のイメージ図である。目、鼻及び口の部分についても高周波成分が除去された状態とされる。また、顔の輪郭及び肩の部分については更に高周波成分が除去された状態とされる。

図４に示す高解像度画像から高周波数帯エッジ検出部６１が抽出したピーキング信号は、目、鼻及び口についての画素領域が高くされ、輪郭部分及び肩の画素領域が小さくされる。
従って、ブレンド部６６がピーキング信号に基づいたブレンドを行うと、目、鼻及び口についての画素領域は図５に示す通常画像信号が優先され、輪郭部分及び肩についての画素領域は図６に示すＬＰＦ画像信号が優先される。即ち、ブレンド部６６から出力されるモニタ出力信号によって表示部５６に表示される画像は図７に示す態様となる。

即ち、モニタ出力信号は、フォーカスが合っていない画素領域がＬＰＦ画像信号とされることによりフォーカスが合っている画像領域が相対的に強調されたものとなる。

ブレンド部６６のブレンド手法についてはいくつか考えられる。
例えば、距離画像を用いたブレンドを行ってもよい。距離画像とは、被写体の撮像装置１からの奥行き方向の距離を画素ごとに検出し、検出した距離に基づく距離画素信号からなる画像を指す。

具体的に説明する。撮像装置１が被写体との距離を計測する手段を備えている場合、撮像装置１は距離画像を生成することができる。

先ず、ピーキング信号が高い画素領域については、通常画像信号を優先してブレンドする。
また、ピーキング信号が高い画素領域における被写体との距離をＤ１とすると、他の画素領域における被写体との距離は（Ｄ１＋ｄ１）で表すことができる。ｄ１は、画素ごとに異なり、ｄ１が小さいほどフォーカスが合っている被写体と同程度の距離にある被写体とされる。

距離画像を用いたブレンドでは、ｄ１が小さい画素ほど通常画素信号を優先してブレンドし、ｄ１が大きい画素ほどＬＰＦ画像信号を優先してブレンドする。
これにより、フォーカスが合っているにも関わらず高周波成分が少ないためにピーキング信号が小さくなってしまう画素領域についても通常画素信号を優先したブレンドが行われ、フォーカスが合っている画素領域であることを強調することができる。

他のブレンド手法としては、画像上の画素距離に応じてブレンドしてもよい。具体的には、表示部５６に表示される画像上において、ピーキング信号が高い画素領域と近い位置にある画素ほど通常画素信号を優先してブレンドし、該画素領域と遠い位置にある画素ほどＬＰＦ画像信号を優先してブレンドする。

これにより、どこの画素領域にフォーカスが合っているのかを把握しやすい画像を表示部５６などに表示させることができる。

＜２．第２の実施の形態＞
第２の実施の形態における撮像装置１Ａは、第１の実施の形態と比較して高周波数帯エッジ検出部とモニタ出力生成部の構成が異なる。
具体的に、図８を参照して説明する。

撮像装置１Ａは信号処理部５２Ａを備えている。図８は信号処理部５２Ａについてのブロック図である。信号処理部５２Ａは高周波数帯エッジ検出部６１Ａとモニタ出力生成部６２Ａを備えている。
高周波数帯エッジ検出部６１Ａは、複数の帯域制御部６３Ａａ，６３Ａｂ，・・・と複数の第２解像度変換処理部６４Ａａ，６４Ａｂ，・・・を備えている。

帯域制御部６３Ａａは、補正処理部５７で各種の補正処理が施された画像信号が入力され、エッジ検出信号を抽出するためのフィルタリング処理を行う。帯域制御部６３Ａａの出力は第２解像度変換処理部６４Ａａによってダウンコンバートされ、ピーキング信号Ｐａとしてモニタ出力生成部６２Ａのブレンド部６６Ａに入力される。

帯域制御部６３Ａｂは、補正処理部５７で各種の補正処理が施された画像信号が入力され、エッジ検出信号を抽出するためのフィルタリング処理を行う。帯域制御部６３Ａｂの出力は第２解像度変換処理部６４Ａｂによってダウンコンバートされ、ピーキング信号Ｐｂとしてモニタ出力生成部６２Ａのブレンド部６６Ａに入力される。

同様に他の帯域制御部６３Ａについても、補正処理部５７からの出力信号が入力され、抽出したエッジ検出信号がダウンコンバートされてピーキング信号Ｐとしてブレンド部６６Ａに入力される。

複数のピーキング信号Ｐａ，Ｐｂ，・・・は、それぞれが高周波数帯域における周波数の異なる特定の成分を抽出した信号とされている。

モニタ出力生成部６２Ａは、複数の帯域制限フィルタ６５，６５，・・・とブレンド部６６Ａを備えて構成されている。
複数の帯域制限フィルタ６５，６５，・・・は、ＬＰＦ６５ａ１，６５ａ２，・・・とされる。

ＬＰＦ６５ａ１，６５ａ２，・・・は、それぞれが異なる通過帯域を持つＬＰＦとされ、ＬＰＦ画像信号Ｌ１，Ｌ２，・・・をブレンド部６６Ａに出力する。

なお、ＬＰＦ６５ａ１，６５ａ２，・・・はＢＰＦ（Band Pass Filter）とされていてもよい。

ブレンド部６６Ａには、何れのＬＰＦ６５ａも介さない第１画像信号としての通常画像信号と、いずれかのＬＰＦ６５ａを介した第２画像信号としてのＬＰＦ画像信号Ｌ１，Ｌ２，・・・が入力される。

ブレンド部６６Ａは、入力された複数のピーキング信号Ｐａ，Ｐｂ，・・・に基づいて複数の画像信号（通常画像信号、ＬＰＦ画像信号Ｌ１、ＬＰＦ画像信号Ｌ２、・・・）のブレンドを行う。ブレンド部６６Ａは、複数の画像信号から二つの画像信号を選択してαブレンドを行ってもよいし、三つ以上の画像信号を選択してブレンドを行ってもよい。
また、画素領域ごとに異なるαブレンドを行ってもよいし、特定の画素領域について三つ以上の画像信号のブレンドを行ってもよい。

例えば、ピーキング信号Ｐａに基づいてＬＰＦ画像信号Ｌ１のブレンド比率を決定する。また、ピーキング信号Ｐｂに基づいてＬＰＦ画像信号Ｌ２のブレンド比率を決定する。最後に、ＬＰＦ画像信号Ｌ１，Ｌ２のブレンド比率に基づいて通常画像信号のブレンド比率を決定する。このようにして、複数の画像信号のブレンド比率を決定してもよい。

更に、高周波数帯エッジ検出部６１Ａにおいて通常画像信号のブレンド比率を決定するためのピーキング信号Ｐの生成が行われ、該ピーキング信号Ｐがブレンド部６６Ａに入力されてもよい。

なお、撮影者やビデオエンジニアによるブレンド比の操作が可能とされていてもよい。これにより、撮影者やビデオエンジニアの意図に沿った画を撮影可能とするための調整を容易に行うことが可能となる。

また、高周波数帯エッジ検出部６１Ａの代わりに特定周波数帯成分検出部６７としてもよい。即ち、特定周波数帯成分検出部６７が備える帯域制御部６３Ａａ，６３Ａｂ，・・・は、高周波帯域に限らず特定の周波数帯の信号をそれぞれ抽出し、第２解像度変換処理部６４Ａａ，６４Ａｂ，・・・は該特定の周波数帯の信号が失われないようにダウンコンバートを行う。

これにより、ブレンド部６６Ａは、特定の周波数帯の信号が強調されたモニタ出力信号を生成することが可能となる。即ち、撮影者やビデオエンジニアの所望する画を自由に作り出すことができる。

＜３．第３の実施の形態＞
第３の実施の形態における撮像装置１Ｂは、モニタ出力生成部が帯域制限フィルタ６５としてＨＰＦ（High Pass Filter）６５ｂを備えている例である。
具体的に、図９を参照して説明する。

撮像装置１Ｂは信号処理部５２Ｂを備えている。図９は信号処理部５２Ｂについてのブロック図である。
信号処理部５２Ｂはモニタ出力生成部６２Ｂを備えている。モニタ出力生成部６２Ｂは、ＨＰＦ６５ｂと加算器６８とブレンド部６６Ｂを備えている。
モニタ出力生成部６２Ｂには、高周波数帯エッジ検出部６１から出力されたピーキング信号と、第１解像度変換処理部６０から出力された通常画像信号が入力される。

モニタ出力生成部６２Ｂに入力された通常画像信号は三つの信号に分岐され、一つは通常画像信号のまま第２画像信号としてブレンド部６６Ｂに入力され、一つは加算器６８に入力され、残りの一つはＨＰＦ６５ｂを介して加算器６８に入力される。
加算器６８から出力される画像信号は、ＨＰＦ画像信号としてブレンド部６６Ｂに入力される。
即ち、ブレンド部６６Ｂには、ピーキング信号と共に、第１画像信号としてのＨＰＦ画像信号と第２画像信号としての通常画像信号が入力される。

ＨＰＦ画像信号は、通常画像信号に高周波成分を加えた信号であるため、通常画像信号よりも高周波成分が強調された信号である。

ブレンド部６６Ｂは、入力されたピーキング信号に基づいてＨＰＦ画像信号と通常画像信号のブレンド（例えばαブレンド）を行う。
具体的には、フォーカスが合っている画像領域についてはＨＰＦ画像信号を優先してブレンドを行い、フォーカスが合っていない画像領域については通常画像を優先してブレンドを行う。

これにより、フォーカスが合っている画像領域が強調されて表示部５６に表示される。
特に、高周波成分が印加されたＨＰＦ画像信号を第１画像信号とすることにより、第２画像信号が通常画像信号とされるため、ピーキング信号が小さい画素領域であっても被写体の視認がし易く、撮像される画の状態を表示部５６で確認し易い。

＜４．第４の実施の形態＞
第４の実施の形態における撮像装置１Ｃにおいては、モニタ出力生成部６２Ｃが第３解像度変換処理部６９を備えている。
具体的に、図１０を参照して説明する。

撮像装置１Ｃは信号処理部５２Ｃを備えている。図１０は信号処理部５２Ｃについてのブロック図である。
信号慮止部５２Ｃはモニタ出力生成部６２Ｃを備えている。モニタ出力生成部６２Ｃには、第２解像度変換処理部から出力されるピーキング信号と第１解像度変換処理部６０から出力される通常画像信号に加えて、現像処理部５８から出力された画像信号が入力される。

第１解像度変換処理部６０から出力された通常画像信号は第１画像信号としてブレンド部６６Ｃに入力される。
現像処理部５８から第１解像度変換処理部６０を介さずにモニタ出力生成部６２Ｃに入力された画像信号は、ダウンコンバートされていない高解像度の画像信号のままとされ、帯域制限フィルタ６５としてのＬＰＦ６５ａに入力され高周波成分が除去された後、第３解像度変換処理部６９に入力される。第３解像度変換処理部６９は、４Ｋ解像度の画像信号から２Ｋ解像度の画像信号へのダウンコンバート処理を実行し、ブレンド部６６Ｃへ第２画像信号として入力されるＬＰＦ画像信号を生成する。

ブレンド部６６Ｃは、入力されたピーキング信号に基づいて第１画像信号としての通常画像信号と第２画像信号としてのＬＰＦ画像信号のブレンド処理を行う。

なお、第３の実施の形態で説明したように、ブレンド部６６Ｃには、ＨＰＦ６５ｂを用いて生成された第１画像信号としてのＨＰＦ画像信号と、第２画像信号としての通常画像信号を入力するように構成してもよい。

なお、第１の実施の形態における撮像装置１は、第４の実施の形態における撮像装置１Ｃと比較してＬＰＦ６５ａの入力がダウンコンバートされた低解像度の画像信号とされるため、ＬＰＦ６５ａの処理負担が軽減され、処理を高速化することが可能である。即ち、表示部５６に表示される画像のリアルタイム性の向上に寄与することができる。

＜５．各種変形例＞
＜５－１．変形例１＞
上述した各例で説明した複数の画像信号は、ＨＰＦ及びＬＰＦの双方を用いて生成されてもよい。
例えば、第１画像信号がＨＰＦ６５ｂを用いて生成されたＨＰＦ画像信号とされ、第２画像信号がＬＰＦ６５ａを用いて生成されたＬＰＦ画像信号とされてもよい。

第１画像信号の生成にＨＰＦ６５ｂを用い、且つ、第２画像信号の生成にＬＰＦ６５ａを用いる構成は、本実施の形態だけでなく、第１、第２及び第３の実施の形態に適用することが可能である。

例えば、図１１は第１の実施の形態に本変形例１の構成を適用したものである。即ち、撮像装置１Ｄは、モニタ出力生成部６２Ｄを備える。モニタ出力生成部６２Ｄは、帯域制限フィルタ６５としてのＨＰＦ６５ｂとＬＰＦ６５ａと、加算器６８と、ブレンド部６６Ｄを備えている。

ＨＰＦ６５ｂ及び加算器６８は、第１画像信号としてのＨＰＦ画像信号を生成しブレンド部６６Ｄに出力する。
ＬＰＦ６５ａは、第２画像信号としてのＬＰＦ画像信号を生成しブレンド部６６Ｄに出力する。
ブレンド部６６Ｄは、ピーキング信号に基づいてＨＰＦ画像信号とＬＰＦ画像信号のブレンド処理を行う。

ＨＰＦ画像信号とＬＰＦ画像信号をブレンドすることにより、フォーカスの合った画素領域とフォーカスの合っていない画素領域の違いを更にはっきりさせることができるため、撮影画像の確認がし易くされる。

＜５－２．変形例２＞
変形例２は、ブレンド部６６によって複数の画像信号がブレンドされたブレンド画像と、通常の撮像画像の何れを表示部５６に表示させるか選択可能とするための構成を備えている。

具体的に図１２を参照して説明する。
撮像装置１Ｅは、上述した各種の構成に加えてセレクタ７１を備えている。

セレクタ７１には、モニタ出力生成部６２（ブレンド部６６）からの出力と第１解像度変換処理部６０からの出力（画像信号）が入力される。
セレクタ７１は、モニタ出力生成部６２からの出力と第１解像度変換処理部６０のうち、制御信号に基づいて選択したいずれかの画像信号を表示部５６に出力する。

セレクタ７１には、制御部５３からの制御信号が入力される。制御部５３は、状況に応じた、或いは、各種操作子６を用いた撮影者（或いはビデオエンジニア）による操作に応じた制御信号をセレクタ７１に出力する。

この構成により、例えば、撮影者はフォーカスが合っている画素領域を強調表示したブレンド画像と通常の画像のうち、所望の画像を表示部５６に表示させることができる。

撮像装置１Ｅは、ブレンド画像と通常画像の何れを表示部５６に表示しているかを報知するための制御を制御部５３が実行可能とされている。例えば、表示部５６が報知部として機能し、制御部５３の制御により表示部５６の画面上にブレンド画像と通常画像の何れの画像が表示されているかを示すアイコン画像等が表示される。

また、表示部５６以外に専用の報知部として、例えばＬＥＤ（Light Emitting Diode）などを備えた発光部が設けられていてもよい。

＜６．まとめ＞
上述した各例で説明したように、本技術に係る画像処理装置（撮像装置１，１Ａ，１Ｂ，１Ｃ，１Ｄ）は、一の撮像画像信号（補正処理部５７から出力された画像信号）から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、一の撮像画像信号についてのピーキング信号に基づいて決定されたブレンド比に基づいて複数の画像信号のブレンドを行うブレンド処理部（ブレンド部６６，６６Ａ，６６Ｂ，６６Ｃ，６６Ｄ）と、を備えている。
画像信号生成部は、例えば、第１の実施形態における撮像装置１が備える画像信号生成部７０（図３）や、第２の実施の形態における撮像装置１Ａが備える画像信号生成部７０Ａ（図８）や、第３の実施の形態における撮像装置１Ｂが備える画像信号生成部７０Ｂ（図９）や、第４の実施の形態における撮像装置１Ｃが備える画像信号生成部７０Ｃ（図１０）や、変形例における撮像装置１Ｃが備える画像信号生成部７０Ｄ（図１１）などである。
互いに異なる周波数特性を有する画像信号とは、例えば、高周波成分を含む画像信号と、高周波成分が除去された画像信号などである。
高周波成分を含む画像信号と高周波成分が除去された画像信号をブレンドして画像信号を生成することにより、フォーカス度合い（合焦位置）を確認しやすい画像を生成することが可能となる。また、撮像画像信号から生成された周波数特性の異なる画像信号をブレンドすることにより表示画像を生成する場合、ピーキング信号を重畳させた表示画像よりも自然な画像とすることができ画が見やすい。また、例えば、ピーキング信号を重畳させた表示画像は、重畳されたピーキング信号が見難く、フォーカス度合いを把握し難くなってしまう虞がある。本構成によれば、ブレンドする画像信号は、何れも周波数特性が異なるだけの自然画であるため、フォーカス度合いの確認がし易い。

上述した各例で説明したように、画像処理装置（撮像装置１，１Ａ，１Ｂ，１Ｃ，１Ｄ）における画像信号生成部７０（７０Ａ，７０Ｂ，７０Ｃ，７０Ｄ）は、第１の解像度とされた入力画像信号を第２の解像度とされた出力信号に変換する解像度変換処理を行う第１解像度変換処理部６０を備えていてもよい。
第１の解像度は、例えば、４Ｋ解像度（水平３８４０画素、垂直２１６０画素）とされ、第２の解像度は、例えば、ＨＤ解像度（水平１２８０画素、垂直７２０画素）とされる。或いは、第１の解像度が８Ｋ解像度（水平７６８０画素、垂直４３２０画素）とされ、第２の解像度が４Ｋ解像度や２Ｋ解像度（水平１９２０画素、垂直１０８０画素）、或いはＨＤ解像度とされてもよい。
第１解像度変換処理部６０を備えることにより、撮像している画像を確認するための低解像度の画像を表示部５６に表示させることなどが可能となる。
なお、第１の解像度よりも第２の解像度の方が低解像度とされた場合、第２の解像度とされた画像からフォーカス度合いを確認することが難しい場合がある。そのような場合であっても、複数の自然画のブレンドによって表示部に出力する画像信号が生成されることにより、フォーカス度合いの確認がし易い。

上述した各例で説明したように、複数の画像信号は、第１画像信号と第２画像信号を含み、第１画像信号は第２画像信号よりも高周波成分を多く含む画像信号とされてもよい。
一方の画像信号が他方よりも高周波成分を多く含む画像とされ、表示画像の部分（画素領域）ごとに画像信号のブレンド比を変化させることにより、表示画像の部分ごとに含まれる高周波成分の多寡を変化させることができる。
これにより、部分ごとの合焦度が表現された表示画像を生成することができる。従って、ユーザは、フォーカス位置が画像のどの部分に位置しているかを把握しやすく、フォーカス調整が容易となる。

第１、第２及び第４の実施の形態でそれぞれ説明したように、画像処理装置（撮像装置１，１Ａ，１Ｃ）における第１画像信号は、帯域制限フィルタ６５を介さない画像信号とされ、第２画像信号は、ローパスフィルタ（ＬＰＦ６５ａ）を介した画像信号とされてもよい。
第１画像信号は、表示画像におけるフォーカス位置に多く使用される。また、第２画像信号は、表示画像におけるフォーカス位置以外の部分に多く使用される。
ローパスフィルタを用いることで、周波数特性の異なる複数の画像信号を生成することができる。

第３の実施の形態で説明したように、画像処理装置としての撮像装置１Ｂにおける第１画像信号は、ハイパスフィルタ（ＨＰＦ６５ｂ）を介した画像信号とされ、第２画像信号は、帯域制限フィルタ６５を介さない画像信号とされてもよい。
第１画像信号はハイパスフィルタを介すことにより、高周波成分が強調された画像信号とされる。
ハイパスフィルタを用いることで、周波数特性の異なる複数画像信号を生成することができる。

変形例１で説明したように、画像処理装置としての撮像装置１Ｄにおける第１画像信号は、ハイパスフィルタ（ＨＰＦ６５ｂ）を介した画像信号とされ、第２画像信号は、ローパスフィルタ（ＬＰＦ６５ａ）を介した画像信号とされてもよい。
第１画像信号がハイパスフィルタを介したものであることにより高周波成分が強調された画像信号とされ、第２画像信号がローパスフィルタを介したものであることにより低周波成分が強調された画像信号とされる。
これにより、第１画像信号と第２画像信号の周波数特性の差が大きくなり、よりフォーカス度合いを確認しやすい画像信号を生成することができる。

各例で説明したように、画像処理装置としての撮像装置１（１Ａ，１Ｂ，１Ｃ，１Ｄ）一の撮像画像信号から高周波数帯域のエッジ検出信号をピーキング信号として抽出する高周波数帯エッジ検出部６１（６１Ａ）を備えていてもよい。
即ち、画像処理装置が高周波数帯エッジ検出部を含む構成とされる。
一の画像信号の入力に基づいてピーキング信号の生成とそれに基づくブレンド処理が画像処理装置内で実現される。ピーキング信号として高周波数帯域のエッジ検出信号を抽出することにより、高周波成分が多く含まれた画像位置を特定可能とされる。これにより、高周波成分が多く含まれた画像領域と高周波成分が少ない画像領域が特定可能とされ、高周波成分の多寡に応じたブレンドを行うことが可能となる。

各例で説明したように、画像処理装置としての撮像装置１（１Ａ，１Ｂ，１Ｃ，１Ｄ）における高周波数帯エッジ検出部６１（６１Ａ）は、高周波数帯域のエッジ情報が保たれた状態で解像度変換処理を行う第２解像度変換処理部６４（６４Ａａ，６４Ａｂ，・・・）を備えていてもよい。
これにより、ブレンド比の決定に用いられるピーキング信号は高周波成分が除去されていないままダウンコンバートされた信号とされる。
即ち、ダウンコンバートされた低画素数に対応した信号でありながら高周波成分が残されていることにより、ブレンド比を適切に決定することができる。その結果、画像の合焦位置には高周波成分が多い第１画像信号が第２画像信号よりも多くブレンドされ、フォーカス度合いを確認しやすい画像を生成することができる。

各例で説明したように、画像処理装置としての撮像装置１（１Ａ，１Ｂ，１Ｃ，１Ｄ）における高周波数帯エッジ検出部６１（６１Ａ）は、撮像に用いたレンズについてのレンズ情報に基づいて高周波数帯域を制御する帯域制御部６３（６３Ａａ，６３Ａｂ，・・・）を備えていてもよい。
レンズ情報とは、例えば、ズームレンズの位置情報やＦ値などの情報であってもよいし、それらの情報を特定可能なレンズ型番などであってもよい。
高周波数帯エッジ検出部で抽出すべきエッジ検出信号の周波数に対応するように、レンズ情報に基づいて帯域制御部の通過帯域が制御されることにより、エッジ検出信号の利得の安定化が図られる。

各例で説明したように、画像処理装置としての撮像装置１（１Ａ，１Ｂ，１Ｃ，１Ｄ）におけるブレンド処理部（ブレンド部６６，６６Ａ，６６Ｂ，６６Ｃ，６６Ｄ）は、ブレンド比に基づいてαブレンドを行ってもよい。
これにより、ブレンド処理部によって周波数特性の異なる二つの画像信号が合成される。
即ち、自然画の合成によりフォーカス度合いを確認可能な画像の生成を画像処理装置で実現することが可能となる。

撮像装置１（１Ａ，１Ｂ，１Ｃ，１Ｄ）は、第１の画素数による撮像素子５１ａと、第１の画素数よりも少ない第２の画素数による表示部５６（ＥＶＦモニタ７或いは背面モニタ５）と、撮像素子５１ａから出力される一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部７０（７０Ａ，７０Ｂ，７０Ｃ，７０Ｄ）と、ピーキング信号に基づいて決定されたブレンド比に基づいて複数の画像信号のブレンドを行い表示部５６に出力する画像信号を生成するブレンド処理部（ブレンド部６６，６６Ａ，６６Ｂ，６６Ｃ，６６Ｄ）と、を備えている。
例えば、第１の画素数は４Ｋ解像度である水平３８４０画素、垂直２１６０画素に基づく画素数とされ、第２の画素数はＨＤ解像度である水平１２８０画素、垂直７２０画素に基づく画素数とされる。
高解像度で撮影された撮像画像信号をそれよりも低解像度とされた表示部５６に表示する場合には、画像信号のダウンコンバートを行う必要がある。そして、ダウンコンバート処理においては、高周波成分が欠落する虞がある。本構成によれば、相対的に高周波成分を含む画像信号と相対的に高周波成分が除去された画像信号をブレンドして画像信号を生成することにより、フォーカス度合い（合焦位置）を確認しやすい画像を生成することが可能となる。
また、ダウンコンバートした自然画の合成により画像信号を生成することで、ピーキング信号を重畳させた表示画像よりもフォーカス度合いの把握が容易である。

変形例２で説明したように、撮像装置１Ｅは、ブレンド処理部（ブレンド部６６）からの出力を表示部５６に入力するモードと、ブレンド処理部を介さずに解像度変換処理部（第１解像度変換処理部６０）からの出力を表示部５６に入力するモードとを切り換える切り換え処理部（制御部５３）を備えていてもよい。
切り換え処理部に対応して、切り換えるための操作子を設けてもよい。操作子としては、例えば、物理的なボタンのような操作子であってもよいし、メニュー画面から切り換え可能とされることによりメニュー画面を操作するための操作子が切り換え操作子として動作してもよい。また、表示部５６がタッチパネルを搭載している場合には、表示部５６が切り換え操作子として動作してもよい。即ち、表示部上に配置されたアイコン等を操作することにより、モードの切り換えを行うように構成してもよい。
フォーカス度合いを確認するための画像を表示するモードと、ブレンド処理を行わずに通常のダウンコンバート処理を施した画像を表示するモードを切り換えることが可能とされていることにより、フォーカス度合いの確認をするか否かに応じて表示切り換えを行うことができる。これにより、ユーザの要望に添った画像表示を行うことができる。

第２の実施の形態で説明したように、ブレンド比は、ピーキング信号及びユーザ（撮影者やビデオエンジニアなど）の設定に応じて決定されてもよい。
ブレンド比は、ピーキング信号のみに基づいて決定されてもよいし、ユーザの設定のみに基づいて決定されてもよいし、ピーキング信号及びユーザの設定の双方に基づいて決定されてもよい。また、これらの切り換えをユーザが設定できるようにされていてもよい。
ユーザの設定に応じてブレンド比が決定されることで、ユーザの好みの画像を表示部５６に表示することができる。即ち、ユーザの目的に添った画像表示を行うことができる。

第２の実施の形態で説明したように、撮像装置１Ｅの表示部５６においてブレンド処理部（ブレンド部６６）からの出力に応じた表示がなされている場合に、ブレンド処理部からの出力に応じた表示がなされていることをユーザに報知するための報知部（表示部５６や発光部）を備えていてもよい。
報知部は、例えば、ブレンド処理された画像が表示されていることを示すアイコンを表示部５６上に表示させる処理を実行してもよいし、報知ＬＥＤ（Light Emitting Diode）などの発光部を設けることにより報知処理を実行してもよい。
これにより、ブレンド処理を適用した画像が表示部５６に表示されている状態で、該画像が撮像される画像と異なることを認識していない状態で撮影を行ってしまう可能性を排除することができる。

本技術に係る画像処理方法は、画像処理装置が行う画像処理方法であって、一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号（例えば第１画像信号と第２画像信号）を生成し、ピーキング信号に基づいて決定されたブレンド比に基づいて複数の画像信号のブレンドを行う画像処理方法である。

本技術に係るプログラムは、情報処理装置（画像処理装置）に実行させるプログラムであって、一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する処理と、ピーキング信号に基づいて決定されたブレンド比に基づいて複数の画像信号のブレンドを行う処理と、を備えるものである。

＜７．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１３は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１３では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１３では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１４を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１４は、図１３に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図１４を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、画像処理部５０６１を備えたＣＣＵ５０３９に好適に適用され得る。ＣＣＵ５０３９に本開示に係る技術を適用することにより、例えば、術部に対するフォーカス度合いが確認しやすくされるため、術部が鮮明に映し出されていることを確認しながら安全かつ確実に手術を行うことが可能とされる。

＜８．本技術＞
本技術は以下のような構成も採ることができる。
（１）
一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、
前記一の撮像画像信号についてのピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行うブレンド処理部と、を備えた
画像処理装置。
（２）
前記画像信号生成部は、第１の解像度とされた入力画像信号を第２の解像度とされた出力信号に変換する解像度変換処理を行う第１解像度変換処理部を備えた
上記（１）に記載の画像処理装置。
（３）
前記複数の画像信号は、第１画像信号と第２画像信号を含み、
前記第１画像信号は前記第２画像信号よりも高周波成分を多く含む画像信号とされた
上記（２）に記載の画像処理装置。
（４）
前記第１画像信号は、帯域制限フィルタを介さない画像信号とされ、
前記第２画像信号は、ローパスフィルタを介した画像信号とされた
上記（３）に記載の画像処理装置。
（５）
前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、
前記第２画像信号は、帯域制限フィルタを介さない画像信号とされた
上記（３）に記載の画像処理装置。
（６）
前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、
前記第２画像信号は、ローパスフィルタを介した画像信号とされた
上記（３）に記載の画像処理装置。
（７）
前記一の撮像画像信号から高周波数帯域のエッジ検出信号を前記ピーキング信号として抽出する高周波数帯エッジ検出部を備えた
上記（１）から上記（６）の何れかに記載の画像処理装置。
（８）
前記高周波数帯エッジ検出部は、高周波数帯域のエッジ情報が保たれた状態で解像度変換処理を行う第２解像度変換処理部を備えた
上記（７）に記載の画像処理装置。
（９）
前記高周波数帯エッジ検出部は、撮像に用いたレンズについてのレンズ情報に基づいて前記高周波数帯域を制御する帯域制御部を備えた
上記（７）から上記（８）の何れかに記載の画像処理装置。
（１０）
前記ブレンド処理部は、前記ブレンド比に基づいてαブレンドを行う
上記（１）から上記（９）の何れかに記載の画像処理装置。
（１１）
第１の画素数による撮像素子と、
前記第１の画素数よりも少ない第２の画素数による表示部と、
前記撮像素子から出力される一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、
ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行い前記表示部に出力する画像信号を生成するブレンド処理部と、を備えた
撮像装置。
（１２）
前記ブレンド処理部からの出力を前記表示部に入力するモードと、前記ブレンド処理部を介さずに解像度変換処理部からの出力を前記表示部に入力するモードとを切り換える切り換え処理部を備えた
上記（１１）に記載の撮像装置。
（１３）
前記ブレンド比は、前記ピーキング信号及びユーザの設定に応じて決定される
上記（１１）から上記（１２）の何れかに記載の撮像装置。
（１４）
前記表示部において前記ブレンド処理部からの出力に応じた表示がなされている場合に、前記ブレンド処理部からの出力に応じた表示がなされていることをユーザに報知するための報知部を備えた
上記（１１）から上記（１３）の何れかに記載の撮像装置。
（１５）
画像処理装置が行う画像処理方法であって、
一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成し、
ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行う
画像処理方法。
（１６）
一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する処理と、
ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行う処理と、を
情報処理装置に実行させるプログラム。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ…撮像装置、５１ａ…撮像素子、５３…制御部、５６…表示部、６０…第１解像度変換処理部、６１，６１Ａ…高周波数帯エッジ検出部、６３，６３Ａａ，６３Ａｂ…帯域制御部、６４，６４Ａａ，６４Ａｂ…第２解像度変換処理部、６５…帯域制限フィルタ、６５ａ，６５ａ１，６５ａ２…ＬＰＦ、６５ｂ…ＨＰＦ、６６，６６Ａ，６６Ｂ，６６Ｃ，６６Ｄ…ブレンド部、７０，７０Ａ，７０Ｂ，７０Ｃ，７０Ｄ…画像信号生成部

Claims (16)

1. 一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、
   前記一の撮像画像信号についてのピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行うブレンド処理部と、を備えた
   画像処理装置。
2. 前記画像信号生成部は、第１の解像度とされた入力画像信号を第２の解像度とされた出力信号に変換する解像度変換処理を行う第１解像度変換処理部を備えた
   請求項１に記載の画像処理装置。
3. 前記複数の画像信号は、第１画像信号と第２画像信号を含み、
   前記第１画像信号は前記第２画像信号よりも高周波成分を多く含む画像信号とされた
   請求項２に記載の画像処理装置。
4. 前記第１画像信号は、帯域制限フィルタを介さない画像信号とされ、
   前記第２画像信号は、ローパスフィルタを介した画像信号とされた
   請求項３に記載の画像処理装置。
5. 前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、
   前記第２画像信号は、帯域制限フィルタを介さない画像信号とされた
   請求項３に記載の画像処理装置。
6. 前記第１画像信号は、ハイパスフィルタを介した画像信号とされ、
   前記第２画像信号は、ローパスフィルタを介した画像信号とされた
   請求項３に記載の画像処理装置。
7. 前記一の撮像画像信号から高周波数帯域のエッジ検出信号を前記ピーキング信号として抽出する高周波数帯エッジ検出部を備えた
   請求項１に記載の画像処理装置。
8. 前記高周波数帯エッジ検出部は、高周波数帯域のエッジ情報が保たれた状態で解像度変換処理を行う第２解像度変換処理部を備えた
   請求項７に記載の画像処理装置。
9. 前記高周波数帯エッジ検出部は、撮像に用いたレンズについてのレンズ情報に基づいて前記高周波数帯域を制御する帯域制御部を備えた
   請求項７に記載の画像処理装置。
10. 前記ブレンド処理部は、前記ブレンド比に基づいてαブレンドを行う
    請求項１に記載の画像処理装置。
11. 第１の画素数による撮像素子と、
    前記第１の画素数よりも少ない第２の画素数による表示部と、
    前記撮像素子から出力される一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する画像信号生成部と、
    ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行い前記表示部に出力する画像信号を生成するブレンド処理部と、を備えた
    撮像装置。
12. 前記ブレンド処理部からの出力を前記表示部に入力するモードと、前記ブレンド処理部を介さずに解像度変換処理部からの出力を前記表示部に入力するモードとを切り換える切り換え処理部を備えた
    請求項１１に記載の撮像装置。
13. 前記ブレンド比は、前記ピーキング信号及びユーザの設定に応じて決定される
    請求項１１に記載の撮像装置。
14. 前記表示部において前記ブレンド処理部からの出力に応じた表示がなされている場合に、前記ブレンド処理部からの出力に応じた表示がなされていることをユーザに報知するための報知部を備えた
    請求項１１に記載の撮像装置。
15. 画像処理装置が行う画像処理方法であって、
    一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成し、
    ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行う
    画像処理方法。
16. 一の撮像画像信号から互いに異なる周波数特性を有する複数の画像信号を生成する処理と、
    ピーキング信号に基づいて決定されたブレンド比に基づいて前記複数の画像信号のブレンドを行う処理と、を
    情報処理装置に実行させるプログラム。

Images