JP7363767B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、フォーカス確認を容易に行えるようにする。

従来、ライブビュー撮影時のフォーカス確認のために、特許文献１では、ライブビュー画像において被写体の合焦した輪郭及びその周辺部分を異なる色や輝度とするピーキング表示が行われている。また、特許文献２では、自動焦点調節処理を行い、フォーカスがロック状態のときにピーキング表示が行われている。

特開２００７－０６０３２８号公報 特開２０１３－１５７８０４号公報

ところで、撮影者が意図する撮像対象の被写体と異なる被写体に対してピーキング表示が行われると、撮像対象の被写体のフォーカス状態を容易に確認することが困難となってしまう。

そこで、この技術ではフォーカス確認を容易に行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う表示処理部と、 前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部と
を有する画像処理装置にある。

この技術において、表示処理部は、例えばライブビュー画像の画像信号を用いて検出したエッジ成分が所定値以上の画素、または当該画素を含む所定範囲の画素の強調表示処理すなわちピーキング処理を行う。ここで、強調表示処理としては対象のエッジ成分の信号を置き換え用信号（置換色の信号）に置き換える処理や、輝度や彩度を変更する信号変更処理などがあげられる。また、表示処理部は、処理対象領域に基づいて所定値を設定してもよい。また、表示処理部は、フィルタ処理によりエッジ成分を検出して、フィルタ処理に用いるフィルタは、処理対象領域に基づいて設定してもよい。

処理領域設定部は、強調表示処理を行う処理対象領域のサイズと位置を調整して、処理対象領域を設定する。例えば、ユーザ操作に応じた操作信号を生成する操作部の操作キーを用いたサイズ設定操作に応じて処理対象領域のサイズを設定して、位置設定操作に応じて処理対象領域の位置を設定する。また、操作部では、画像信号に基づく画像を表示する表示部の表示面に設けられるタッチパネルが用いられている場合、処理領域設定部は、タッチパネルに対するユーザ操作の開始位置と終了位置に基づき処理対象領域のサイズと位置の設定を行い、例えば開始位置を処理対象領域の位置の基準として、終了位置に基づき処理対象領域のサイズを設定する。また、処理領域設定部は、画像信号を用いた被写体認識によって検出された所定の被写体に基づいて処理対象領域を設定してもよい。例えば、処理領域設定部は、検出された所定の被写体全体を包含する領域を処理対象領域に設定する。また、処理領域設定部は、検出された所定の被写体の姿勢に基づいて、処理対象領域の位置を設定してもよい。また、処理領域設定部は、処理対象領域を予め設定された形状の領域としてもよい。さらに、処理領域設定部は、画像信号を生成する際の撮像シーンモードに応じて所定の被写体を設定してもよい。

また、表示処理部は、処理対象領域の領域内または領域外の信号レベルを変更してもよい。また表示処理部は、合焦位置に対する現在の焦点位置に応じて強調表示処理で置き換えに用いる信号を変更してもよく、エッジ成分に応じて強調表示処理で置き換えに用いる信号を変更してもよい。さらに、表示処理部は、処理対象領域の領域内の色に応じて、強調表示処理で置き換えに用いる信号の色を設定してもよい。また、表示処理部は、強調表示処理を所定の周期で行うようにしてもよい。さらに、表示処理部で前記強調表示処理が行われた画像信号を外部機器へ出力する出力部を備えてもよい。

この技術の第２の側面は、
画像信号を用いて検出したエッジ成分に基づいて強調表示処理を表示処理部で行うことと、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を処理領域設定部で行うこと
を含む画像処理方法にある。

この技術の第３の側面は、
画像信号を用いた処理をコンピュータで実行させるプログラムであって、
前記画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う手順と、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、画像信号を用いて検出したエッジ成分に基づいて強調表示処理が行われる。また、強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定が行われる。このため、所望の画像領域に対してピーキング処理を行うことが可能となり、フォーカス確認を容易に行える。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置の構成を例示した図である。 ピーキング処理動作を示すフローチャートである。 ピーキングエリアを例示した図である。 ピーキングエリア設定処理の第１実施例を示すフローチャートである。 撮像装置に設けられた表示部と操作部を示した図である。 ピーキングエリア設定処理の第１実施例の動作を説明するための図である。 ピーキングエリア設定処理の第２実施例を示すフローチャートである。 ピーキングエリア設定処理の第２実施例の動作を説明するための図である。 ピーキングエリア設定処理の第３実施例を示すフローチャートである。 ピーキングエリア設定処理の第３実施例の動作を説明するための図である。 被写体認識結果として瞳を利用した場合を例示した図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１４に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。 ピーキングエリアの設定例を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．ピーキング処理について
２－１．ピーキング処理動作
２－２．ピーキングエリア設定処理
２－３．ピーキング処理の表示
３．応用例

＜１．撮像装置の構成＞
図１は、本開示に係る技術を適用した撮像装置の構成を例示している。撮像装置１０は、撮像光学系ブロック１１、撮像部１２、カメラ処理部１３、記録再生部１４、表示処理部１５、表示部１６、出力部１７、操作部１８、および制御部２０を用いて構成されている。

撮像光学系ブロック１１は、フォーカスレンズやズームレンズ等を用いて構成されている。撮像光学系ブロック１１は、制御部２０からの制御信号に基づきフォーカスレンズやズームレンズ等を駆動して、被写体光学像を撮像部１２の撮像面に結像させる。また、撮像光学系ブロック１１には、アイリス（絞り）機構やシャッタ機構等が設けられて、制御部２０からの制御信号に基づき各機構を駆動する構成であってもよい。

撮像部１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子を駆動する素子駆動部を用いて構成されている。撮像部１２は、光電変換を行い撮像素子の撮像面に結像された被写体光学像に応じた画像信号を生成する。また、撮像部１２は、撮像素子で生成された画像信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正等を行い、処理後の画像信号をカメラ処理部１３へ出力する。

カメラ処理部１３は、階調補正、色再現補正、輪郭強調、ガンマ補正等の処理を行う。また、カメラ処理部１３は、撮像部１２の撮像素子でカラーモザイクフィルタが用いられている場合、デモザイク処理を行い、各画素がカラーモザイクフィルタの各色成を示す画像信号を生成する。カメラ処理部１３は、カメラ処理後の画像信号を輝度信号と色差信号に変換して記録再生部１４へ出力する。また、カメラ処理部１３は、カメラ処理後の画像信号を表示処理部１５と出力部１７へ出力する。

記録再生部１４は、カメラ処理部１３から供給された輝度信号と色差信号を記録解像度に変換して符号化処理を行い、得られた符号化信号を所定のファイル形式として記録媒体（図示せず）に記録する。また、記録再生部１４は、記録媒体から読み出された符号化信号の復号処理を行い、得られた輝度信号と色差信号を表示処理部１５へ出力する。また、記録再生部１４は、記録媒体に記録する符号化信号あるいは記録媒体に記録されている符号化信号を出力部１７へ出力してもよい。

表示処理部１５は、カメラ処理部１３から供給された画像信号を用いて検出したエッジ成分に基づく値が所定値以上の画素、または当該画素を含む所定範囲の画素の強調表示処理を行う。

表示処理部１５は、エッジ検出部１５１と強調表示処理部１５２を有している。エッジ検出部１５１は、カメラ処理部１３から供給された画像信号を用いて、制御部２０で指定された処理対象領域（以下「ピーキングエリア」という）の画素ごとにエッジ成分を検出する。例えば、エッジ検出部１５１は、対象範囲の画像信号を用いて画素ごとにハイパス（またはバンドパス）フィルタ処理を行い、エッジ成分を示すエッジ検出信号を生成する。エッジ検出部１５１は、生成したエッジ検出信号を強調表示処理部１５２へ出力する。なお、エッジ検出信号の生成に用いるフィルタは所定の帯域のものであってもよく、ピーキングエリアのサイズに基づいてフィルタの帯域を設定するものであってもよい。具体的にはピーキングエリアのサイズが所定のサイズ以上の場合はフィルタの帯域を広く設定する、またはピーキングエリアのサイズが所定のサイズ以下である場合はフィルタの帯域を狭く設定するものであってもよい。さらに、ピーキングエリアのサイズとフィルタの帯域について相関をもつように設定してもよい。また、エッジ検出部１５１は、ピーキングエリア以外の画素についてもエッジ検出信号を生成していてもよく、生成したエッジ検出信号のうちピーキングエリアに対応するエッジ検出信号を強調表示処理部１５２へ出力してもよい。

強調表示処理部１５２は、エッジ検出部１５１で生成されたエッジ検出信号に基づいて強調表示処理を行う。強調表示処理部１５２は、エッジ検出部１５１から供給されたエッジ検出信号を予め設定されている閾値と比較して、エッジ検出信号の信号レベルが閾値以上である画素の信号を予め設定されている置き換え用信号（置換色の信号）に変更する。また、強調表示処理部１５２は、強調表示処理として置き換え用信号に変更することに限定されず、エッジ検出信号の信号レベルが閾値以上である画素の輝度や彩度などを変更する処理であってもよい。強調表示処理部１５２は、強調表示処理後の画像信号を出力部１７へ出力する。また、強調表示処理部１５２は、強調表示処理後の画像信号を表示解像度に変換して表示部１６へ出力する。さらに、強調表示処理部１５２は、制御部２０からの制御信号に基づき、強調表示処理を所定の動作モードで行い、他の動作モードでは、強調表示処理を行うことなくカメラ処理部１３から供給された画像信号を表示解像度に変換して表示部１６へ出力する。なお、強調表示処理と同様に、エッジ検出は所定の動作モードで行うようにしてもよい。

また、強調表示処理部１５２は、制御部２０からの制御信号に基づき、メニューや種々の設定状態等を示す表示信号を表示解像度の画像信号に重畳して表示部１６へ出力してもよい。

表示部１６は、例えば液晶表示素子あるいは有機ＥＬ表示素子を用いて構成されている。表示部１６は、表示処理部１５から供給された画像信号によって撮像中のカメラスルー画像や図示しない記録媒体に記録された再生画像などを表示する。また、表示部１６は、所定の動作モードであるときピーキング表示を行う。表示部１６は、例えば撮像装置の背面に設けられる。あるいは、表示部１６は、電子ビューファインダとして設けられてもよく、背面モニタと電子ビューファインダの双方が個別に設けられてもよく、撮像装置１０に着脱可能な構成として設けられてもよい。なお、表示部１６ではメニューや種々の設定状態等の表示を行い、表示部１６の画面上にタッチパネル等の操作部１８を設けて、ＧＵＩ（Graphical User Interface）を構成してもよい。

出力部１７は、カメラ処理部１３から供給された画像信号、表示処理部１５から供給された画像信号、記録再生部１４から供給された符号化信号の少なくとも何れかの信号を無線または有線の伝送路を介して外部機器に送信する。

操作部１８は、ユーザ操作に応じた操作信号を生成して制御部２０へ出力する。操作部１８は、複数の操作入力部の少なくとも何れかを有しており、操作入力部は、ユーザ操作に応じた操作信号を生成する。複数の操作入力部は、例えば物理操作入力部、音声操作入力部、視線操作入力部等である。物理操作入力部は、操作キーや操作ダイアル、操作レバー、上述のタッチパネルなどのように、ユーザによって加えられる力を利用して操作を行う。音声操作入力部は、ユーザ等から発せられた音声の認識結果を利用して操作を行う。視線操作入力部は、ユーザの視線を認識して認識結果例えば視線の位置、視線の移動方向、視線の移動量等の少なくとも何れか利用して操作を行う。

制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、操作部１８からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。また、制御部２０は、所定の動作モードであるとき、例えばライブビュー画像を表示する動作モード（ライブビュー動作モード）であるとき、フォーカス確認を容易に行うことができるように表示処理部１５のピーキング処理を制御する。例えば制御部２０は、ピーキングエリアのサイズと位置を調整して、ピーキングエリアを設定する。例えば、制御部２０は、操作部１８からの操作信号あるいは画像信号を用いて被写体認識を行うことにより得られた被写体認識結果等に基づき、ピーキングエリアを設定するピーキングエリアのサイズと位置を設定する。また、制御部２０は表示処理部１５で用いる閾値の設定や変更、置換色の設定や変更等を行ってもよい。

＜２．ピーキング処理について＞
＜２－１．ピーキング処理動作＞
次に、撮像装置１０で行うピーキング処理動作について説明する。図２は、ピーキング処理動作を示すフローチャートである。また、図３はピーキングエリアを例示している。

ステップＳＴ１で制御部はピーキングエリア設定処理を行う。制御部２０は、ユーザ操作等に基づき図３に示すようにピーキングエリアＡＰのサイズ（例えば横方向のサイズｄｘと縦方向のサイズｄｙ）と位置（例えばピーキングエリアの基準位置（ｘa，ｙa））を設定してステップＳＴ２に進む。このピーキングエリア設定処理の詳細については後述する。

ステップＳＴ２で制御部は閾値を設定する。制御部２０は、エッジ検出信号に基づき色の置き換えを行う画素を判別するための閾値Ｅthを設定する。閾値は予め設定されている値を用いてもよく、前回の撮像時に用いた値を用いてもよい。また、操作信号に基づきユーザ操作に応じて閾値の設定や設定されている閾値の変更を行ってもよい。

また、閾値は、生成されたエッジ検出信号の値に基づいて設定してもよい。具体的には、生成されたエッジ検出信号の平均値や中央値、またはヒストグラムを生成して上位から所定の割合に相当する値を閾値として設定する。これにより、生成されたエッジ検出信号の値に適したピーキング表示となり、ユーザの確認が容易となる。

また、閾値は、設定されたピーキングエリアのサイズに基づいて設定してもよい。具体的には、ピーキングエリアのサイズが所定のサイズ以下である場合は閾値を高く設定する。ピーキングエリアサイズが小さい場合は、ユーザはピンポイントなどのように特定のポイントでのフォーカス合わせを意図していることがあり、ピーキングエリア全体がピーキング表示となるような閾値と設定されるとフォーカスがかえって合わせにくくなるため、閾値を高く設定する。なお、ピーキングエリアのサイズに基づいた閾値の設定は、ピーキングエリアが小さい場合だけに閾値を高く設定する場合に限定されず、ピーキングエリアのサイズが所定のサイズ以下である場合に閾値を低く設定する、ピーキングエリアのサイズが所定のサイズ以上である場合に閾値を高く若しくは低く設定する、またはピーキングエリアのサイズと閾値について相関をもたせるように設定してもよい。

制御部２０は、設定された閾値を示す制御信号を表示処理部１５の強調表示処理部１５２へ出力してステップＳＴ３に進む。

ステップＳＴ３で制御部はエッジ検出と強調表示処理を開始させる。制御部２０は、撮像装置１０が所定の動作モード、例えばライブビュー動作モードである場合、表示処理部１５の動作を制御して、エッジ検出と強調表示処理を開始させてステップＳＴ４に進む。

ステップＳＴ４で表示処理部はピーキングエリア内の画素であるか判別する。表示処理部１５のエッジ検出部１５１は、カメラ処理部１３から出力された画像信号を画素順に用いて、ステップＳＴ１の処理で設定されたピーキングエリア内の画素であるか判別する。エッジ検出部１５１は、ピーキングエリア内の画素と判別した場合にステップＳＴ５に進み、ピーキングエリア内の画素でないと判別した場合にステップＳＴ８に進む。

ステップＳＴ５で表示処理部はエッジ検出信号を生成する。表示処理部１５のエッジ検出部１５１は、ピーキングエリア内の画素についてエッジ検出信号を生成する。例えば、エッジ検出信号の生成を行う処理対象画素を座標（ｉ，ｊ）、処理対象画素の信号レベルをＰ(i,j)とする。この場合、エッジ検出部１５１は式（１）の演算を行い、エッジ成分を示すエッジ検出信号Ｅ(i,j)を生成してステップＳＴ６に進む。
Ｅ(i,j)＝Ｐ(i,j)－（Ｐ(i-1,j)＋２Ｐ(i,j)＋Ｐ(i+1,j)）／４ ・・・（１）

ステップＳＴ６で表示処理部は強調表示対象画素であるか判別する。表示処理部１５の強調表示処理部１５２は、ステップＳＴ５で生成されたエッジ検出信号と予め設定されている閾値を比較して、エッジ検出信号Ｅ(i,j)が閾値Ｅth以上である画素は強調表示対象画素としてステップＳＴ７に進む。また、表示処理部１５の強調表示処理部１５２は、ピーキング表示の確認が容易となるように、判別された強調表示対象画素を含む所定範囲の画素を強調表示対象画素としてもよく、判別された強調表示対象画素の領域が所定サイズよりも小さい場合に、強調表示対象画素を含む所定範囲の画素を強調表示対象画素としてもよい。強調表示処理部１５２は、エッジ検出信号Ｅ(i,j)が閾値Ｅthよりも小さい画素は、強調表示対象画素でないと判別してステップＳＴ８に進む。

ステップＳＴ７で表示処理部は置換色に変更する。表示処理部１５の強調表示処理部１５２は、ステップＳＴ６で強調表示対象画素と判別された画素の信号レベルＰ(i,j)を予め設定されている置換色の信号レベルＶpkに変更することで強調表示対象画素を識別可能な表示としてステップＳＴ８に進む。

ステップＳＴ８で表示処理部は画像内の全画素の処理を完了したか判別する。表示処理部１５は画像内の各画素についてステップＳＴ４乃至ステップＳＴ７の処理を行ったか判別して、処理が行われていない画素がある場合はステップＳＴ４に戻り、未処理の画素に対してステップＳＴ４乃至ステップＳＴ７の処理を行う。また、表示処理部１５は、処理が行われていない画素がないと判別した場合はステップＳＴ９に進む。

ステップＳＴ９で制御部はピーキング処理の終了であるか判別する。制御部２０は、所定の動作モードから他の動作モードへの切り替えが行われた場合や撮像装置の動作を終了する場合、ピーキング処理を終了する。また、所定の動作モードである場合は、ステップＳＴ１０に進む。

ステップＳＴ１０で表示処理部はピーキング処理対象の画像を更新する。表示処理部１５はカメラ処理部１３から供給される次の画像をピーキング処理対象としてステップＳＴ４に戻り、ピーキング処理対象である新たな画像の画像信号を用いてステップＳＴ４乃至ステップＳＴ８の処理を行う。

このように、本技術によればピーキングエリアのサイズと位置とユーザが自由に設定できる。したがって、撮影者が意図する撮像対象の被写体とは異なる被写体に対してピーキング表示が行われることや、フォーカスがロック状態のときピーキング表示が行われる場合に、フォーカスの精度が悪く撮像対象の被写体と異なる被写体に対してピーキング表示が行われることを防止することが可能となる。このため、撮像装置１０でフォーカスの確認をユーザが行う場合に、ピーキングによる撮像対象の被写体のフォーカス確認と、ピーキングに邪魔されずに画角や被写体のフレーミングを、同時かつ容易に行うことができる。

＜２－２．ピーキングエリア設定処理＞
制御部２０は、ユーザ操作等に基づきピーキングエリアを設定する。ピーキングエリア設定処理の第１実施例では、ユーザ操作に基づいてピーキングエリアのサイズと位置を個々に設定する場合について説明する。図４は、ピーキングエリア設定処理の第１実施例を示すフローチャートである。また、図５は撮像装置に設けられた表示部と操作部を示している。操作部１８は、例えば複数の選択キー１８１と確定キー１８２を有している。図６は、ピーキングエリア設定処理の第１実施例の動作を説明するための図である。

ステップＳＴ２１で制御部はピーキングエリアを示すエリア枠を表示する。制御部２０は、例えば表示部１６を用いて、図６の（ａ）に示すようにピーキングエリアを示すエリア枠ＦＲの表示を行いステップＳＴ２２に進む。

ステップＳＴ２２で制御部はピーキングエリアのサイズ設定を行う。制御部２０は、操作信号に基づきピーキングエリアのサイズ（ｄｘ，ｄｙ）を設定する。制御部２０は、複数のエリアサイズからサイズを選択するメニュー表示を表示部１６に表示する。ユーザは図５に示す選択キー１８１を操作して所望のサイズを選択して確定キー１８２を操作する。制御部２０は、操作部１８からの操作信号に基づき、確定キーが操作されたときに選択されているサイズをピーキングエリアサイズとして、図６の（ｂ）に示すように、エリア枠ＦＲを選択されたピーキングエリアのサイズ（ｄｘ，ｄｙ）に設定する。また、制御部２０は、操作信号に基づきユーザのピンチイン操作やピンチアウト操作等に応じてエリア枠ＦＲのサイズを変更して、エリアサイズ設定完了操作時のエリア枠ＦＲのサイズをピーキングエリアのサイズ（ｄｘ，ｄｙ）に設定してもよい。また、制御部２０は、操作信号に基づきタッチ操作の継続時間が所定時間を超えた場合に、エリア枠ＦＲのサイズを自動的に変更して、タッチ操作終了時のエリア枠ＦＲのサイズをピーキングエリアのサイズ（ｄｘ，ｄｙ）に設定してもよい。なお、エリアサイズ設定完了操作には、表示されているエリア枠ＦＲのサイズをピーキングエリアのサイズに設定する操作（例えばタップ操作）に限らず、ピーキングエリアの位置設定を行うための切り替え操作、サイズ変更後の所定の時間経過等を含めてもよい。このように、制御部２０は、ユーザ操作に応じてピーキングエリアのサイズを設定してステップＳＴ２３に進む。

ステップＳＴ２３で制御部は、ピーキングエリアの位置設定を行う。制御部２０は、図５に示す選択キー１８１のユーザ操作に応じてしてエリア枠ＦＲの表示位置を移動する。また、制御部２０は、確定キー操作が行われたことを検出したとき、表示されたエリア枠ＦＲの位置をピーキングエリアの位置として、図６の（ｃ）に示すように、エリア枠ＦＲの左上位置をピーキングエリアの基準位置（ｘa，ｙa）に設定する。また、制御部２０は、操作信号に基づきユーザのドラッグ＆ドロップ操作等に応じてエリア枠ＦＲの位置を変更して、エリア位置設定完了操作時のエリア枠ＦＲの例えば左上位置をピーキングエリアの基準位置（ｘa，ｙa）に設定してもよい。なお、エリア位置設定完了操作には、表示されているエリア枠ＦＲの位置をピーキングエリアのサイズに設定する操作（位置決定ボタンＢＳの操作やタップ操作）に限らず、位置変更後の所定の時間経過等を含めてもよい。

制御部２０は、図４に示す処理を行い、ピーキングエリアを設定して図２のステップＳＴ２に進む。なお、図４に示す処理では、ステップＳＴ２３に示すピーキングエリアの位置設定を行ってからステップＳＴ２２に示すピーキングエリアのサイズ設定を行ってもよい。さらに、制御部２０は、操作信号に基づきエリア枠のサイズ調整と位置調整を行い、ピーキングエリアのサイズおよび位置を確定する操作時のエリア枠ＦＲのサイズと位置をピーキングエリアのサイズと位置に設定してもよい。

次に、ピーキングエリア設定処理の第２実施例では、ユーザ操作に基づいてピーキングエリアのサイズと位置を同時に設定する場合について説明する。なお、操作部１８は、画像信号に基づく画像を表示する例えば表示部１６の表示面に設けられたタッチパネルを有している。図７は、ピーキングエリア設定処理の第２実施例を示すフローチャートである。また、図８は、ピーキングエリア設定処理の第２実施例の動作を説明するための図である。

ステップＳＴ３１で制御部はスワイプ操作が行われたか判別する。制御部２０は、操作信号に基づき、ユーザが画面上のタッチパネルに触れて指先をスライドさせるスワイプ操作が行われたか判別する。制御部２０は、スワイプ操作が行われたと判別した場合にステップＳＴ３２に進み、スワイプ操作が行われたと判別していない場合にステップＳＴ３１に戻る。例えば、図８の（ａ）に示す位置Ｐａに触れた指Ｇｒが、図８の（ｂ）に示すように例えば位置Ｐｂまで矢印で示すようにスライドされたとき、ステップＳＴ３２以降の処理を行う。

ステップＳＴ３２で制御部はスワイプ操作の開始点を位置Ｐａとする。制御部２０は、ステップＳＴ３１でスライド操作を開始したときの指先位置を位置Ｐａに設定してステップＳＴ３３に進む。

ステップＳＴ３３で制御部はスワイプ操作の終了点を位置Ｐｂとする。制御部２０は、ステップＳＴ３１でスワイプ操作と判別したスライド操作を終了したときの指先位置を位置Ｐｂに設定してステップＳＴ３４に進む。

ステップＳＴ３４で制御部はピーキングエリアを決定する。制御部２０は、ステップＳＴ３２で設定された位置ＰａとステップＳＴ３３で設定された位置Ｐｂを結ぶ線を対角線とする矩形状の領域をピーキングエリアとする。制御部２０は、図８の（ｃ）に示すように、スワイプ操作を開始した位置Ｐａとスワイプ操作を終了した位置Ｐｂを結ぶ直線Ｌａｂを対角線とする矩形状の領域をピーキングエリアとして、このピーキングエリアをエリア枠ＦＲで示す。

また、ピーキングエリアは矩形状に限られない。例えば円形状にピーキングエリアを設定する場合、位置Ｐａと位置Ｐｂを結ぶ直線を直径とする円形状の領域をピーキングエリアに設定してもよく、操作の開始位置をピーキングエリアの位置の基準として終了位置に基づきピーキングエリアのサイズを設定してもよい。例えば位置Ｐａをピーキングエリアの中心として、位置Ｐａから位置Ｐｂまでの距離を半径とした円形状の領域をピーキングエリアに設定する。なお、ピーキングエリアの形状は、ピーキング設定処理を行う前に予めユーザ等によって指定されてもよく、ピーキング設定処理を開始したときにユーザが指定できるようにしてもよい。また、制御部２０は、例えば位置Ｐａと位置Ｐｂの入力指示をユーザに対して行い、タッチ操作によって指定された位置Ｐａと位置Ｐｂを用いて上述のようにピーキングエリアを設定してもよい。また、ピーキングエリアの設定は１つに限定されず、複数のピーキングエリアを設定できるようにしてもよい。

次に、ピーキングエリア設定処理の第３実施例では、撮像部１２で生成された画像信号を用いた被写体認識によって検出された所定の被写体に基づいてピーキングエリアを設定する。また、被写体認識よって検出する所定の被写体は、撮像部１２で画像信号を生成する際の撮像シーンモードに応じて設定してもよい。第３実施例では、撮像シーンモードが例えばポートレートモードとされて、被写体認識では人物の顔を検出する場合を例示する。

図９は、ピーキングエリア設定処理の第３実施例を示すフローチャートである。また、図１０は、ピーキングエリア設定処理の第３実施例の動作を説明するための図である。

ステップＳＴ４１で制御部は被写体認識によって顔が検出されたか判別する。制御部２０は、例えばカメラ処理部１３から供給された被写体認識結果に基づき、顔が検出されているか判別する。制御部２０は顔が検出されている場合にステップＳＴ４２に進み、顔が検出されていない場合にステップＳＴ４１に戻る。例えば図１０の（ａ）に示す撮像画ＭＧを用いた被写体認識結果において所望の被写体、例えば顔ＯＢが検出されている場合、ステップＳＴ４２以降の処理が行われる。

ステップＳＴ４２で制御部は顔の位置と大きさを判別する。制御部２０は図１０の（ｂ）に示すように検出されている顔ＯＢの画像上の位置と大きさを判別してステップＳＴ４３に進む。

ステップＳＴ４３で制御部はピーキングエリアを決定する。制御部２０は、検出されている顔の画像上の位置と大きさの判別結果に基づき図１０の（ｃ）に示すように、顔全体を包含する領域、例えば顔の輪郭が収まる矩形状の領域をピーキングエリアに設定して、このピーキングエリアをエリア枠ＦＲで示す。

また、制御部２０は、被写体認識結果として例えば瞳を利用してもよい。図１１は、被写体認識結果として瞳を利用した場合を例示した図である。この場合、検出した瞳ＥＰに基づき画像から目の位置と大きさを検出して、検出した目が収まる矩形状の領域をピーキングエリアに設定して、このピーキングエリアをエリア枠ＦＲで示す。

このように、被写体認識結果を用いてピーキングエリアのサイズと位置を自動的に設定すれば、ピーキングエリアのサイズや位置の設定操作を行うことなく、撮像シーンモードに応じた所定の被写体のフォーカスの確認と、ピーキングに邪魔されずに画角や被写体のフレーミングを、同時かつ容易に行うことができる。

また、ピーキングエリア設定処理は、操作部１８の音声操作入力部を用いて行ってもよい。音声操作では、例えばピーキングエリアのサイズを設定するための単語（例えば「大」「中」「小」等）、位置を設定するための単語（例えば「上」「下」「右」「左」等）、ピーキングエリアの形状を指定するための単語（例えば「四角」「円」等）を用いる。音声操作入力部または制御部２０は、マイクロフォンで集音された音声信号を用いて音声認識を行い、何れの操作が行われたか判別して、制御部２０は判別した操作に応じてピーキングエリアを設定する。

このように、音声を用いてピーキングエリア設定処理を行うようにすれば、ユーザは操作キー等を操作する必要がないことから、例えばファインダに表示された画像を用いてフォーカスの確認やフレーミングを行う場合に、ピーキングエリアの設定が容易となる。

また、ピーキングエリア設定処理は、操作部１８の視線操作入力部を用いて行ってもよい。視線操作入力部では、ユーザの視線を認識して、認識結果に基づきユーザが画像上の何れの位置に注目しているか判別して、判別した注目位置をピーキングエリアの設定に用いる。例えば判別した２つの注目位置を第２実施例で示した位置Ｐａ，Ｐｂとして用いることで、ピーキングエリアを設定できる。

さらに、制御部２０は、被写体認識結果とユーザ操作を組み合わせて、ピーキングエリアを設定することもできる。例えば、被写体認識結果と物理操作入力部からの操作信号を用いてピーキングエリアを設定する。この場合、被写体認識によって検出された例えば複数の顔からユーザ操作によって指定された顔に対応させてピーキングエリアを設定できる。また、被写体認識結果と音声操作入力部からの操作信号を用いてピーキングエリアを設定する。この場合、被写体認識によって検出された例えば顔に対して音声によって指定された顔のパーツに対応させてピーキングエリアを設定できる。

＜２－３．ピーキング処理の表示＞
次に、ピーキング処理の表示について説明する。ピーキングエリアの設定処理において、上述の実施の形態ではエリア枠を用いてピーキングエリアを示しているが、ピーキングエリア内またはピーキングエリア外の領域について信号レベルを変更することでピーキングエリアのサイズと位置を判別可能としてもよい。例えば制御部２０は、表示処理部１５を制御してピーキングエリア内の画像の置き換えを行い、白黒画像あるいはコントラストを高めた強調画像とする。また、制御部２０は、表示処理部１５を制御してピーキングエリア外の画像の置き換えを行い、白黒画像あるいはコントラストを低下させたフェード画像とする。このように、ピーキングエリアの設定処理において、ピーキングエリア内の画像あるいはピーキングエリア外の画像の置き換えることによっても、ピーキングエリアのサイズと位置を容易に把握できる。

ピーキング表示について上述の実施の形態では、強調表示対象画素を所定の置換色の信号に置き換えているが、合焦位置に対する現在の焦点位置あるいはエッジ検出で検出されたエッジ成分に応じて、強調表示処理で置き換えに用いる信号（置き換え用信号）を変更してもよい。

例えば撮像部に合焦方向を示すフォーカス検出機能が設けられている場合（例えば撮像素子に像面位相差センサが設けられている場合）、制御部２０は、撮像部１２から取得したフォーカス検出信号に基づき、表示処理部１５の強調表示処理部１５２を制御して、合焦位置に対する現在の焦点位置に応じて色を変化させる。具体的には、ピント位置が被写体よりも手前にある前ピンであるかピント位置が被写体よりも奥にある後ピンであるかに応じて色の切り替えを行い、前ピンであるときは暖色、後ピンであるときは寒色とする。このように置換色の色を変化させることで、ピーキング表示によってピント位置と被写体との位置関係を把握できるようになる。

また、強調表示処理で置き換えに用いる信号をエッジ成分に応じて変更する場合、例えば表示処理部１５の強調表示処理部１５２は、エッジ成分に応じて置換色の明度を変化させて、エッジ成分が高くなるに伴い明度を高くする。また、エッジ成分に応じて置換色の色を変化させて、エッジ成分が高くなるに伴い寒色から暖色に変化させてもよい。このように置換色を変化させることで、エッジ成分を大まかに把握できるようになる。

さらに、制御部２０は、ピーキングエリア内の色に基づき、強調表示処理で置き換えに用いる信号の色を変更してもよい。例えば、ピーキングエリア内の平均色あるいはピーキングエリア内における所望の被写体の平均色に対して、逆の色相（補色）あるいは所定の色相差を生じた色を置換色とする。このように置換色を変化させることで、ピーキングエリア内の色とピーキング表示の色の違いが顕著となり、ピーキング表示を認識しやすくできる。

また、制御部２０は、表示処理部１５の動作を制御して、強調表示処理を所定の周期で行うようにしてもよい。この場合、ピーキング表示は間欠的に表示されるので、ピーキング表示領域の元画像を確認できる。また、制御部２０は、表示処理部１５の動作を制御して、ピーキング表示領域の元画像を確認できるように、ピーキング表示が行われた撮像画とピーキング表示を行っていない撮像画を並べて表示してもよい。

さらに、制御部２０は、表示処理部１５と出力部１７の動作を制御して、表示部１６と外部機器の何れか一方または両方で、ピーキング表示が行われた撮像画を表示させてもよい。例えば、フォーカス制御を外部機器で行う場合、ピーキング表示が行われた撮像画を表示処理部１５から出力部１７を介して外部機器へ出力する。このとき、表示部１６でピーキング表示が行われていない撮像画を表示すれば、表示部１６に表示された撮像画に基づき、ピーキング表示の影響を受けることなく種々の作業を行うことができるようになる。

＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図１２は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１２を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図１２では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図１２では図示を省略しているが、手術室システム５１００には、手術室の外１部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図１３は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１３では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１３を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図１４は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１２に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１４では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１２に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１４では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１５を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１５は、図１４に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図１５を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。また、画像処理部５１７５に、図１に示す表示処理部１５の構成を含めて、フォーカス確認を容易に行うことができるようにピーキング処理を行う。制御部５１７７は、図１の制御部２０と同様にピーキングエリアのサイズや位置を設定する。制御部５１７７は、表示装置５１５５に術部画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。さらに、ピーキング表示が行われた術部画像を提示することで、術部に焦点を合わせることが容易となる。ピーキング表示が行われた術部画像は、術者５１８１が参照する表示装置５１５５で提示してもよく、表示装置５１５５に代えて術者５１８１を支援する補助者、例えば内視鏡５１１５のカメラヘッド５１１９に対してフォーカス調整操作を行うスコピストが参照する表示装置に表示してもよい。この場合、ピーキング表示が術者５１８１の術部の認識の妨げになってしまうことがない。また、スコピストが参照する表示装置には、ピーキング表示が行われた術部の画像が提示されるので、スコピストはピーキング表示を利用してフォーカス調整を行うことにより、フォーカスの合った術部画像を表示装置５１５５に表示させることができる。さらに、ピーキングエリアの設定をスコピストの操作に応じて行うようにすれば、術者５１８１は手術に専念できる。

また、ピーキングエリアの設定は、術部画像を用いた被写体認識結果に基づいて自動的に行ってもよい。例えば、特開２０１５－２２８９５５号公報に開示されている方法を利用してピーキングエリアを設定する。具体的には、術部画像内における鉗子の三次元空間上の位置を特定して、鉗子の姿勢を延長した延長線と３次元空間上の術部表面の交点を注目点とする。さらに、注目点を基準とする所定の大きさの画像領域をピーキングエリアとして設定する。図１６は、ピーキングエリアの設定例を示している。術部画像５３０１では、２本の鉗子５３０２ａ，５３０２ｂが撮像されており、例えば鉗子５３０２ａの姿勢を延長した延長線５３０３と３次元空間上の術部表面５３０４の交点を注目点Ｑとする。この注目点Ｑを中心とした所定の大きさの矩形状領域をピーキングエリアＡＰに設定する。

このようにピーキングエリアを設定すれば、スコピストが手術の経過に応じてピーキングエリアを設定しなくとも、ピーキングエリアの位置を手術の経過に応じて最適な位置に自動的に設定できる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（ComＦＲct Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 画像信号を用いて検出したエッジ成分に基づいて強調表示処理を行う表示処理部と、
前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部とを有する画像処理装置。
（２） ユーザ操作に応じた操作信号を生成する操作部をさらに備え、
前記処理領域設定部は、前記ユーザ操作に応じて前記処理対象領域を設定する（１）に記載の画像処理装置。
（３） 前記操作部は操作キーを有し、
前記処理領域設定部は、前記操作キーを用いたサイズ設定操作に応じて前記処理対象領域のサイズを設定して、前記操作キーを用いた位置設定操作に応じて前記処理対象領域の位置を設定する（２）に記載の画像処理装置。
（４） 前記操作部は、前記画像信号に基づく画像を表示する表示部の表示面に設けられるタッチパネルを有し、
前記処理領域設定部は、前記タッチパネルに対するユーザ操作の開始位置と終了位置に基づき前記処理対象領域のサイズと位置を設定する（２）に記載の画像処理装置。
（５） 前記処理領域設定部は、前記開始位置を前記処理対象領域の位置の基準として前記終了位置に基づき前記処理対象領域のサイズを設定する（４）に記載の画像処理装置。
（６） 前記処理領域設定部は、前記画像信号を用いた被写体認識によって検出された所定の被写体に基づいて前記処理対象領域に設定する（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記処理領域設定部は、前記検出された所定の被写体全体を包含する領域を前記処理対象領域に設定する（６）に記載の画像処理装置。
（８） 前記処理領域設定部は、前記処理対象領域の位置を、前記検出された所定の被写体の姿勢に基づいて設定する（６）に記載の画像処理装置。
（９） 前記処理領域設定部は、前記画像信号を生成する際の撮像シーンモードに応じて前記所定の被写体を設定する（６）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記表示処理部は、前記エッジ成分に基づく値が所定値以上の場合に前記強調表示処理を行い、
前記所定値は前記処理対象領域に基づいて設定される（１）乃至（９）の何れかに記載の画像処理装置。
（１１） 前記表示処理部は、フィルタ処理により前記エッジ成分を検出し、
前記フィルタ処理に用いるフィルタは、前記処理対象領域に基づいて設定される（１）乃至（９）の何れかに記載の画像処理装置。
（１２） 前記表示処理部は、前記処理対象領域の領域内または領域外の信号レベルを変更する（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記表示処理部は、合焦位置に対する現在の焦点位置に応じて、前記強調表示処理で置き換えに用いる信号を変更する（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記表示処理部は、前記エッジ成分に応じて、前記強調表示処理で置き換えに用いる信号を変更する（１）乃至（１２）のいずれかに記載の画像処理装置。
（１５） 前記表示処理部は、前記処理対象領域内の色に応じて、前記強調表示処理で置き換えに用いる信号の色を変更する（１）乃至（１２）のいずれかに記載の画像処理装。
（１６） 前記表示処理部は、前記強調表示処理を所定の周期で行う（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記表示処理部で前記強調表示処理が行われた画像信号を外部機器へ出力する出力部をさらに備える（１）乃至（１６）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法およびプログラムによれば、画像信号を用いて検出したエッジ成分に基づいて強調表示処理が行われる。また、強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定が行われる。このため、所望の画像領域でピーキング処理を行うことが可能となりフォーカス確認を容易に行える。したがって、フォーカス精度の高い撮像画が必要とされるシステム例えば手術システム等に適している。

１０・・・撮像装置
１１・・・撮像光学系ブロック
１２・・・撮像部
１３・・・カメラ処理部
１４・・・記録再生部
１５・・・表示処理部
１６・・・表示部
１７・・・出力部
１８・・・操作部
２０・・・制御部
１５１・・・エッジ検出部
１５２・・・強調表示処理部
１８１・・・選択キー
１８２・・・確定キー

Claims (8)

1. 画像信号を用いて検出したエッジ成分に基づく値が所定値以上の画素または該画素を含む所定範囲の画素の信号を強調表示のための信号に変更する強調表示処理を行う表示処理部と、
   前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う処理領域設定部と、
   ユーザ操作に応じた操作信号を生成する操作部を備え、
   前記処理対象領域は、前記操作信号に基づいて設定され、
   前記所定値は、前記処理対象領域のサイズに基づいて設定される
   画像処理装置。
2. 前記操作部は操作キーを有し、
   前記処理領域設定部は、前記操作キーを用いたサイズ設定操作に応じて前記処理対象領域のサイズを設定し、前記操作キーを用いた位置設定操作に応じて前記処理対象領域の位置を設定する
   請求項１に記載の画像処理装置。
3. 前記操作部は、前記画像信号に基づく画像を表示する表示部の表示面に設けられるタッチパネルを有し、
   前記処理領域設定部は、前記タッチパネルに対するユーザ操作の開始位置と終了位置に基づき前記処理対象領域のサイズと位置を設定する
   請求項１に記載の画像処理装置。
4. 前記処理領域設定部は、前記開始位置を前記処理対象領域の位置の基準として前記終了位置に基づき前記処理対象領域のサイズを設定する
   請求項３に記載の画像処理装置。
5. 前記表示処理部は、フィルタ処理により前記エッジ成分を検出し、
   前記フィルタ処理に用いるフィルタは、前記処理対象領域のサイズに基づいて設定される
   請求項１に記載の画像処理装置。
6. 前記表示処理部で前記強調表示処理が行われた画像信号を外部機器へ出力する出力部をさらに備える
   請求項１に記載の画像処理装置。
7. 画像信号を用いて検出したエッジ成分に基づく値が所定値以上の画素または該画素を含む所定範囲の画素の信号を強調表示のための信号に変更する強調表示処理を行う手順と、
   前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う手順を有し、
   前記処理対象領域は、ユーザ操作に応じた操作信号に基づいて設定され、
   前記所定値は、前記処理対象領域のサイズに基づいて設定される
   画像処理方法。
8. 画像信号を用いて検出したエッジ成分に基づく値が所定値以上の画素または該画素を含む所定範囲の画素の信号を強調表示のための信号に変更する強調表示処理を行う手順と、
   前記強調表示処理を行う処理対象領域の少なくともサイズもしくは位置の設定を行う手順を有し、
   前記処理対象領域は、ユーザ操作に応じた操作信号に基づいて設定され、
   前記所定値は、前記処理対象領域のサイズに基づいて設定される
   画像処理方法を
   コンピュータに実行させるためのプログラム。

Images