WO2020195246A1

WO2020195246A1 - 撮像装置、撮像方法、及びプログラム

Info

Publication number: WO2020195246A1
Application number: PCT/JP2020/005088
Authority: WO
Inventors: 川上　洋生
Original assignee: ソニー株式会社
Priority date: 2019-03-28
Filing date: 2020-02-10
Publication date: 2020-10-01
Also published as: JP7444163B2; EP3934234A1; US11729493B2; EP3934234A4; JPWO2020195246A1; CN113574858A; US20220182555A1

Abstract

本技術の一形態に係る撮像装置は、画像生成部と、エッジ検出部と、色制御部とを具備する。前記画像生成部は、被写体を撮像した撮像画像を生成する。前記エッジ検出部は、前記生成された撮像画像に含まれるエッジ部分を検出する。前記色制御部は、前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する。

Description

撮像装置、撮像方法、及びプログラム

　本技術は、被写体を撮像する撮像装置、撮像方法、及びプログラムに関する。

　従来、被写体を撮像する際のフォーカス操作を支援する技術が開発されている。例えば、フォーカスが合っている部分では、像が鮮明になり被写体の輪郭（エッジ）を検出することが可能である。このような検出結果を用いて、フォーカス状態を表す画像等が生成される。

　特許文献１には、映像信号から抽出された輪郭強調信号を用いて、画像の輪郭部分を強調する映像信号処理装置が記載されている。この映像信号処理装置では、ジャストフォーカスに近くなるほどレベルが高くなる輪郭強調信号が生成される。例えば輪郭強調信号は、そのレベルに応じて色差信号に加算される。このため、ピントが合っていない状態からジャストフォーカスに近くなると、輪郭の色が濃くなる。これにより、フォーカス状態の変化を視覚的に把握することが可能となっている（特許文献１の明細書段落［００２０］［００４５］［００６８］［００８１］図１、８等）。

特開２０１０－１３５８６５号公報

　フォーカスが合っているエッジ部分を視覚的に強調して表示することで、フォーカス操作をスムーズに行うことが可能であり、このような強調表示の視認性を向上することが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、エッジ部分の強調表示の視認性を向上することが可能な撮像装置、撮像方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る撮像装置は、画像生成部と、エッジ検出部と、色制御部とを具備する。
　前記画像生成部は、被写体を撮像した撮像画像を生成する。
　前記エッジ検出部は、前記生成された撮像画像に含まれるエッジ部分を検出する。
　前記色制御部は、前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する。

　この撮像装置では、被写体の撮像画像が生成され、撮像画像に含まれるエッジ部分が検出される。また検出されたエッジ部分ごとに、撮像画像でのエッジ部分に関する色情報を用いて、エッジ部分を強調する強調表示の色が制御される。これにより、エッジ部分の強調表示の視認性を向上することが可能となる。

　前記色制御部は、前記エッジ部分に関する色情報により表されるエッジ色と、前記強調表示の色との色の差が大きくなるように、前記強調表示の色を制御してもよい。

　前記色制御部は、前記エッジ色と、前記強調表示の色とが、色相面又は輝度方向において離れた色となるように、前記強調表示の色を制御してもよい。

　前記色制御部は、前記強調表示の色を複数の色候補から設定してもよい。

　前記複数の色候補は、有彩色の色候補を含んでもよい。この場合、前記色制御部は、前記複数の色候補のうち、前記エッジ色の色相から最も離れた色相を有する色候補を前記強調表示の色に設定してもよい。

　前記複数の色候補は、第１の色候補と、前記第１の色候補とは色相の異なる第２の色候補とを含んでもよい。

　前記第１及び前記第２の色候補は、互いに補色となるように設定されてもよい。

　前記複数の色候補は、無彩色の色候補を含んでもよい。この場合、前記色制御部は、前記複数の色候補のうち、前記エッジ色の輝度から最も離れた輝度を有する色候補を前記強調表示の色に設定してもよい。

　前記複数の色候補は、黒色と白色とを含んでもよい。前記色制御部は、前記エッジ色の輝度が所定の閾値よりも大きい場合に前記強調表示の色を前記黒色に設定し、前記エッジ色の輝度が前記所定の閾値よりも小さい場合に前記強調表示の色を前記白色に設定してもよい。

　前記複数の色候補は、ユーザにより設定されてもよい。

　前記複数の色候補は、前記被写体に応じて設定されてもよい。

　前記エッジ検出部は、前記エッジ部分の画素位置を検出てもよい。この場合、前記色制御部は、前記検出された画素位置ごとに前記強調表示の色を設定してもよい。

　前記エッジ部分に関する色情報は、前記エッジ部分の画素位置を囲む所定の画素領域に含まれる参照画素の画素情報を含んでもよい。
　前記色制御部は、前記参照画素の画素情報に基づいて、前記エッジ色の色相又は前記エッジ色の輝度を算出してもよい。

　前記色制御部は、前記エッジ色の色相として、前記参照画素の平均色相を算出してもよい。

　前記所定の画素領域は、前記被写体に応じて設定されてもよい。

　前記色制御部は、前記撮像画像の前記エッジ部分が前記強調表示の色で強調されたピーキング画像を生成してもよい。

　前記ピーキング画像は、前記エッジ部分とは異なる部分の色が、前記撮像画像と同じ色に設定されてもよい。

　前記色制御部は、前記ピーキング画像の前記エッジ部分の表示が動的に変化するように、前記強調表示の色を制御してもよい。

　本技術の一形態に係る撮像方法は、コンピュータシステムにより実行される撮像方法であって、被写体を撮像した撮像画像を生成することを含む。
　前記生成された撮像画像に含まれるエッジ部分が検出される。
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色が制御される。

　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　被写体を撮像した撮像画像を生成するステップ。
　前記生成された撮像画像に含まれるエッジ部分を検出するステップ。
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御するステップ。

本技術の一実施形態に係る撮像装置の構成例を示す模式図である。被写体のエッジ部分が強調されたピーキング画像の一例である。色相環を説明するための模式図である。カラーの重畳色を用いたピーキング表示の一例を示すフローチャートである。元画像の一例として挙げる色相環の画像である。図５に示す元画像から検出されたエッジ部分を示す画像である。エッジ画素の周辺の画素配置の一例を示す模式図である。図６に示すエッジ部分の平均色相の一例を示す模式図である。カラーの重畳色によるピーキング表示の一例を示す模式図である。比較例として挙げるピーキング表示の一例を示す模式図である。白黒の重畳色を用いたピーキング表示の一例を示すフローチャートである。元画像の一例として挙げるストライプパターンの画像である。図１２に示す元画像から検出されたエッジ部分を示す画像である。図１３に示すエッジ部分の元画像における輝度の一例を示す模式図である。白黒の重畳色によるピーキング表示の一例を示す模式図である。比較例として挙げるピーキング画像である。ピーキング表示の適用例について説明するための模式図である。内視鏡手術システムの概略的な構成の一例を示す図である。図１８に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。手術室システムの全体構成を概略的に示す図である。集中操作パネルにおける操作画面の表示例を示す図である。手術室システムが適用された手術の様子の一例を示す図である。図２２に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。顕微鏡手術システムの概略的な構成の一例を示す図である。図２４に示す顕微鏡手術システムを用いた手術の様子を示す図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　［撮像装置の構成］
　図１は、本技術の一実施形態に係る撮像装置の構成例を示す模式図である。撮像装置１００は、被写体を撮像するカメラ装置（カメラシステム）である。撮像装置１００は、例えばビデオカメラやデジタルスチルカメラ等として構成される。

　撮像装置１００は、撮像光学系１０と、イメージセンサ１１と、カメラコントローラ１２と、映像処理部１３と、記録部１４と、表示装置１５と、ユーザ操作部１６とを有する。なお、記録部１４及び表示装置１５は、撮像装置１００の外部に設けられてもよい。

　撮像光学系１０は、レンズ部２１と、レンズ制御部２２とを有する。レンズ部２１は、例えば鏡筒内に配置された複数のレンズで構成された光学系であり、鏡筒に入射する光を後述するイメージセンサ１１の受光面に集光する。レンズ部２１の具体的な構成は限定されず、例えば被写体の種類や撮像装置１００の用途等に応じたレンズが適宜用いられてよい。

　レンズ制御部２２は、レンズ部２１の光学特性（フォーカス、倍率、絞り等）を調整するための操作機構である。レンズ制御部２２は、例えばマニュアルフォーカスに対応するように構成される。レンズ制御部２２を操作することで、例えば複数のレンズの位置が変更され、フォーカスを調整する操作（フォーカス操作）が可能となる。レンズ制御部２２の具体的な構成は限定されず、例えばレンズ位置等を電子制御により調整する機構等が用いられてもよい。

　イメージセンサ１１は、受光面に入射した光を受光する撮像素子である。イメージセンサ１１は、受光面をレンズ部２１に向けて配置され、レンズ部２１を通過した被写体光２３を受光して画像データを生成する。画像データは、例えば所定のフレームレートで順次生成される。イメージセンサ１１としては、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像素子が用いられる。

　画像データは、被写体を撮像した撮像画像を構成するデータである。本開示において、撮像画像を構成する画像データを生成することは、撮像画像を生成することに相当する。画像データは、撮像画像を構成する複数の画素を表すための画素データを含む。これらの画素データは、例えばデジタル信号（画素信号）として伝送される。従って、画像データは、複数の画素信号の集合（画像信号）として生成されるとも言える。本実施形態では、画素データは、画素情報に相当する。

　各画素データには、例えば、被写体光２３に含まれる赤色光、緑色光、青色光の強度を示すＲＧＢデータが含まれる。なおＲＧＢデータは、例えば輝度Ｙと、赤色色差Ｃｒと、青色色差Ｃｂとで色を表すＹＣｒＣｂデータ等に一意に変換することが可能である。このように輝度及び色差により色を表す画像データを生成する構成等が用いられてもよい。この他、画像データの形式や種類等は限定されない。

　カメラコントローラ１２は、撮像装置１００の各部の動作を制御する演算ユニットであり、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要な構成を有する。カメラコントローラ１２は、例えば、後述するユーザ操作部１６を介して入力されたパラメータ等に基づいて、イメージセンサ１１や映像処理部１３の動作を制御する。この他、レンズ制御部２２の電子制御や、表示装置１５の動作制御等が行われてもよい。

　映像処理部１３は、イメージセンサ１１により所定のフレームレートで生成される画像データ（映像データ）に対して各種の処理を施す演算ユニットである。映像処理部１３は、例えば各種の演算処理を行うための設定を記録するレジスタ（メモリ）等を有する。このレジスタを書き変えて所定のプログラムを実装することで、所望のデジタル信号処理を実行することが可能となる。

　映像処理部１３は、例えばイメージングプロセッサ等の映像処理用のＩＣ（Integrated Circuit）を用いて構成される。なお、上記したカメラコントローラ１２は、映像処理部１３とともにイメージングプロッセサ上に構成されてもよい。例えば、本実施形態に係るプログラムを、カメラコントローラ１２のＲＡＭ及び映像処理部１３のレジスタにインストールして実行することで、撮像装置１００の各部により、本実施形態に係る撮像方法が実行される。

　図１に示すように、映像処理部１３は、カメラ信号処理部３０と、ピーキング検出部３１と、重畳色設定部３２と、重畳色選択部３３と、合成部３４とを有する。これらの各ブロックは、例えばイメージングプロッセサ内に構成される。また、各ブロックがＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)や、その他ＡＳＩＣ（Application Specific Integrated Circuit）等の専用デバイスを用いて構成されてもよい。

　カメラ信号処理部３０は、イメージセンサ１１により生成された画像データに対して補正処理や変換処理等を実行する。すなわち、カメラ信号処理部３０は、各種の処理が施された画像データ（撮像画像）を生成するとも言える。

　カメラ信号処理部３０では、例えば明るさ補正（シェーディング補正）等の撮像系補正、各画素データ（画素信号）のゲイン補正、モニタガンマに対応させるためのガンマ補正、各補正により変更された信号レベルを規格化する規格化補正（ニー補正）等の補正処理が実行される。これらの補正処理は、例えば撮像画像が適正に生成されるように、順次実行される。またカメラ信号処理部３０により、ＲＧＢデータをＹＣｒＣｂデータ等に変換する変換処理等が実行されてもよい。この他、画像データに対する各処理の種類等は限定されない。

　このように、撮像装置１００では、イメージセンサ１１及びカメラ信号処理部３０により、被写体を撮像した撮像画像が生成される。本実施形態では、イメージセンサ１１及びカメラ信号処理部３０は、画像生成部として機能する。

　カメラ信号処理部３０により、各処理が施された画像データは、例えば記録部に記録されるデータ、あるいは放送等に用いられるデータとして、撮像装置１００の本線に出力される。また、図１に示すように、撮像装置１００では、カメラ信号処理部３０により出力された画像データを元に、映像処理部１３の他の各部の処理が実行される。以下では、カメラ信号処理部３０から出力される画像データを元画像データと記載し、撮像画像データにより構成される画像を元画像と記載する。

　ピーキング検出部３１は、元画像においてピーキング表示の対象となる部分を検出する。ピーキング表示とは、画像内のフォーカスが合った部分を着色する強調表示である。具体的には、ピーキング検出部３１は、イメージセンサ１１及びカメラ信号処理部３０により生成された元画像（撮像画像）に含まれるエッジ部分を検出する。本実施形態では、ピーキング検出部３１は、エッジ検出部に相当する。

　例えば元画像に含まれる画素ごとに、ハイパスフィルタ処理を施し、高い周波数帯の成分を抽出する。より詳しくは、元画像データ（画素信号）がハイパスフィルタに入力され、高周波成分を含む画素の位置を表すエッジ検出データが生成される。この高周波成分を含む画素が、エッジ部分として検出される。このようにピーキング検出部は、エッジ部分の画素位置を検出する。これにより、エッジ部分の各位置を高精度に指定することが可能となる。なお、エッジ部分を検出する方法は限定されず、任意のエッジ検出処理が用いられてよい。

　重畳色設定部３２は、ピーキング検出部３１により検出されたエッジ部分ごとに、元画像におけるエッジ部分に関する色情報に基づいて、エッジ部分を強調する強調表示の色を制御する。すなわち、重畳色設定部３２は、元画像も加味して各エッジ部分の強調表示の色（元画像に対する重畳色）を設定する。以下では強調表示の色を、重畳色と記載する場合がある。

　エッジ部分に関する色情報とは、元画像でのエッジ部分の色や、そのエッジ部分の周辺の色を表す情報である。色情報としては、典型的には元画像の画素データに含まれる情報が用いられる。例えば元画像の各画素の、ＲＧＢの強度を表す情報（ＲＧＢデータ等）や、輝度及び色差を表す情報（ＹＣｒＣｂデータ等）が色情報となる。

　重畳色の設定は、エッジ部分ごとに実行される。従って、元画像に含まれる各エッジ部分は、単一の色で強調されるとは限らず、重畳色はエッジ部分ごとに異なる場合がある。これにより、例えば元画像における各エッジ部分の色に係らず、各エッジ部分を十分に強調することが可能となる。

　本実施形態では、エッジ部分として検出された画素位置ごとに重畳色が設定される。例えば、エッジ検出データにより指定されるエッジ部分の画素ごとに重畳色が設定され、重畳色と画素位置とを表すエッジ強調データが生成される。このエッジ強調データにより、ピーキング表示において、元画像に重畳される重畳画像が構成される。

　また重畳色設定部３２は、重畳色（強調表示の色）を複数の色候補から設定する。すなわち、各エッジ部分は、複数の色候補のうちのいずれかを用いて強調されることになる。このように、複数の色候補を予め設定しておくことで、重畳色を設定する処理は、色候補を選択する処理となる。これにより、各エッジ部分の重畳色を容易に設定することが可能となる。

　本実施形態では、複数の色候補は、ユーザにより設定される。例えばユーザにより複数の色候補が設定され、各色候補の情報が以下で説明する重畳色選択部３３により保持される。このユーザが設定した色候補に基づいて、各エッジ部分の重畳色が設定される。

　各色候補は、ユーザ操作部１６を介して設定される。例えば、表示装置１５に複数の色が表示され、その中から候補色が選択される。また例えば、ユーザが基本となる１色を選択することで、自動的に他の候補色が設定されてもよい。この他、複数の候補色を設定する方法は限定されない。

　このように、ユーザ自身が、重畳色の候補を設定可能であるため、強調されたエッジ部分を容易に視認することが可能となる。重畳色（強調表示の色）を設定する方法や、候補色の種類については、後に詳しく説明する。

　重畳色選択部３３は、ユーザによる複数の色候補の選択を受け付ける。例えば、ユーザが後述するユーザ操作部１６を操作して設定した色候補の情報が、カメラコントローラ１２を介して重畳色選択部３３に入力される。重畳色選択部３３は、入力された色候補の情報を保持し、重畳色設定部３２に対して適宜出力する。なお複数の色候補として、デフォルトの候補が設定され、重畳色選択部３３に記憶されてもよい。

　合成部３４は、カメラ信号処理部３０により生成された元画像（元画像データ）に、重畳色設定部３２により生成された重畳画像（エッジ強調データ）が重畳された画像を合成する。従って、合成部３４により合成された画像は、元画像においてフォーカスが合った部分（エッジ部分）が重畳色で表示されたピーキング画像となる。このように合成部は、元画像のエッジ部分が重畳色で強調されたピーキング画像を生成する。

　例えば、元画像データのエッジ部分に対応する画素の画素データが、重畳色を表す画素データに置換された画像データが、ピーキング画像として生成される。元画像及び重畳画像を合成する方法は限定されず、例えば画像上に他の表示等を重畳することが可能な回路等が適宜用いられてよい。

　このように、ピーキング画像は、エッジ部分の色が重畳色に設定され、エッジ部分とは異なる部分の色が、元画像と同じ色に設定された画像となる。すなわち、ピーキング表示は、エッジ部分に限定しており、エッジ部分以外は、通常の画像（元画像）がそのまま用いられる。これにより、ユーザは違和感なくピーキング表示を利用することが可能となる。

　合成部３４により生成されたピーキング画像４０は、表示装置１５に出力される。本実施形態では、重畳色設定部３２、重畳色選択部３３、及び合成部３４は、色制御部として機能する。

　記録部１４は、不揮発性の記録デバイスである。記録部１４は、撮像装置１００の本線に接続され、カメラ信号処理部３０により出力された元画像（元画像データ）を記録する。記録部１４としては、例えば磁気テープ、光ディスク、ＨＤＤ（Hard Disk Drive）、ＳＳＤ(Solid State Drive)等が用いられる。記録部１４の具体的な構成は限定されない。

　表示装置１５は、ピーキング画像を表示する表示デバイスである。表示装置１５としては、例えばビデオカメラ（撮像装置１００）のビューファインダ（ＶＦ：View Finder）が用いられる。また例えば、液晶や有機ＥＬ等を用いた外部ディスプレイが表示装置１５として用いられてもよい。外部ディスプレイは撮像装置１００本体のサブディスプレイであってもよいし、撮像装置１００とは別に設けられたディスプレイであってもよい。

　例えば撮影者であるユーザ（カメラマン）は、表示装置１５に表示されたピーキング画像を見ながら、レンズ制御部２２等を操作して、撮像装置１００のフォーカスを操作する。ピーキング画像では、フォーカスが合っている部分が重畳色により強調表示されている。これにより、ユーザは、画面内のフォーカスが合っている位置を確認しながら、被写体を撮影することが可能となる。

　なお表示装置１５の解像度と、イメージセンサ１１の解像度とが異なる場合が考えられる。例えばイメージセンサ１１が４Ｋ解像度（水平３８４０画素、垂直２１６０画素）であり、表示装置１５がＨＤ解像度（水平１９２０画素、垂直１０８０画素）であるといった構成があり得る。もちろんこれ以外の構成が用いられる場合であっても本技術は適用可能である。

　例えばビューファインダのような小型の表示装置１５の解像度は、イメージセンサ１１よりも低くなることがあり得る。この場合、例えばカメラ信号処理部３０により、表示装置１５の解像度に合わせてダウンコンバートされた元画像（元画像データ）等が生成されてもよい。このダウンコンバートされた元画像に対して、ピーキング検出部３１、重畳色設定部３２、及び合成部３４等の処理が適宜実行され、表示装置１５の解像度に合ったピーキング画像が生成される。あるいは、合成部３４から出力されたピーキング画像がダウンコンバートされてもよい。

　ユーザ操作部１６は、撮像装置１００に対するユーザの操作を受け付ける。例えば上記した重畳色の色候補が、ユーザ操作部１６を介して設定される。ユーザ操作部１６は、例えばボタンやレバー等の各種のスイッチ、スライダー、回転つまみ等を備える。また例えばタッチスクリーンとして機能する表示装置１５が、ユーザ操作部１６として構成されてもよい。この他、ユーザ操作部１６の具体的な構成は限定されない。

　［撮像装置の基本動作］
　図２は、被写体のエッジ部分が強調されたピーキング画像の一例である。以下では、図２に示すピーキング画像４０等を参照して撮像装置１００の基本動作について説明する。

　図２には、被写体１として、テーブル１ａと、その上に配置された左側の皿１ｂ及び右側の皿１ｃと、テーブル１ａの奥におかれた椅子１ｄとがグレーの線を用いて模式的に図示されている。このうち、左側の皿１ｂの一部と右側の皿１ｃの一部に、撮像装置１００のフォーカスが合っているものとする。

　また図中の黒色の線は、エッジ部分４１の強調表示４２を表している。図２に示すように、強調表示４２は、被写体１の一部（エッジ部分４１）に重畳されて表示される。図２に示す例では、強調表示４２の色（重畳色）として２種類の色候補が用いられる。以下では、２種類の色候補を第１の色候補４３ａ及び第２の色候補４３ｂと記載する。第１及び第２の色候補４３ａ及び４３ｂが重畳色に設定された強調表示４２は黒の実線及び黒の点線で表されている。なお、ピーキング画像４０は、典型的にはカラー画像である。

　例えば、被写体１からの光（被写体光２３）が、レンズ部２１を通してイメージセンサ１１に入射し、被写体１の画像が撮像される。イメージセンサ１１により生成された画像データは、カメラ信号処理部３０で処理され、元画像データ（元画像）として、記録部１４に記録される。また元画像データは、ピーキング表示の処理を受けてピーキング画像４０として表示装置１５に表示される。これにより、ユーザは、表示装置１５に表示されたピーキング画像４０を見ながら、レンズ制御部２２の操作を行うことが可能となる。

　ピーキング表示の処理では、ピーキング検出部３１により、元画像のエッジ部分４１が検出される。このエッジ部分４１が、フォーカスが合っている合焦位置となる。重畳色設定部３２により、元画像での色も加味してエッジ部分４１の重畳色が設定される。具体的には、ユーザにより設定され重畳色選択部３３に保持された複数の色候補４３（例えば第１及び第２の色候補４３ａ及び４３ｂ）から、元画像での色に応じて重畳色が選択される。

　重畳色の設定は、元画像におけるエッジ部分４１のエッジ色をもとに実行される。ここで、エッジ色とは、エッジ部分４１に関する色情報により表される色である。例えばある画素がエッジ部分４１として検出されたとする。このエッジ部分４１となる画素の色情報で表される色、すなわち、元画像における画素の色がエッジ色として用いられる。この場合、エッジ色は、エッジ部分４１そのものの色となる。

　また例えば、エッジ部分４１の周辺の画素も含んだ色情報で表される色がエッジ色として用いられてもよい。例えば周辺に含まれる画素の色情報に基づいて、各画素の色の平均が算出され、エッジ色として用いられる。この場合、エッジ色は、エッジ部分の周辺部分も含んだ平均の色となる。

　撮像装置１００では、エッジ色と重畳色とが互いに離れた色となるように、重畳色が設定される。本開示において、互いに離れた色とは、例えば色相面において互いに離れた色、あるいは輝度が互いに離れた色である。互いに離れた色では、色の差が大きいとも言える。従って、重畳色は、エッジ色とは色合いや明るさが似ていない色（差の大きい色）に設定される。つまり、エッジ色に似ていない色候補が、重畳色として選択される。

　例えば図２に示すピーキング画像４０において、第１の色候補４３ａが赤色に設定され、第２の色候補が水色に設定されたとする。この時、左側の皿１ｂが青色であり、右側の皿　ｃがオレンジ色であるとする。この場合、左側の皿１ｂで検出されたエッジ部分４１のエッジ色は青色成分の多い色となる。また右側の皿１ｃで検出されたエッジ部分４１のエッジ色は赤色成分や黄色成分の多い色となる。

　例えば左側の皿１ｂのエッジ部分４１の強調表示４２には、青色成分の多い色から離れた色である第１の色候補４３ａ（赤色）が重畳色として設定される。一方で、右側の皿１ｃのエッジ部分４１の強調表示４２には、赤色成分の多い色から離れた色である第２の色候補４３ｂ（水色）が重畳色として設定される。

　また例えば、第１の色候補４３ａが白色に設定され、第２の色候補４３ｂが黒色に設定されたとする。例えば左側の皿１ｂのエッジ部分４１が暗い色になっている場合には、輝度の高い第１の色候補４３ａが重畳色に設定される。また右側の皿１ｃのエッジ部分４１が明るい色になっている場合には、輝度の低い第２の色候補４３ｂが重畳色に設定される。

　なお、上記した説明は、あくまで一例であり、各エッジ部分４１のエッジ色は、単純に被写体１の色や明るさで定まるものではない。いずれにしろ、エッジ色は、元画像における色情報を用いて算出され、そのエッジ色から離れた色候補が適宜選択される。

　このように、本実施形態では、エッジ部分４１に関する色情報により表されるエッジ色と、重畳色との色の差が大きくなるように、重畳色が制御される。これにより、ピーキング画像４０内の強調表示４２を十分に目立たせることが可能となり、エッジ部分４１の位置を明瞭に表すことが可能となる。この結果、強調表示４２の視認性が向上し、フォーカス操作を十分に支援することが可能となる。

［カラーの重畳色によるピーキング表示］
　以下では、重畳色（複数の色候補４３）として、色相のある有彩色（カラー）が用いられる場合について説明する。

　図３は、色相環を説明するための模式図である。色相環５０は、色相を環状に配置したものである。図３には、色相環５０がグレースケールを用いて模式的に図示されているが、実際には色相環５０はカラーで表される。なお、各有彩色の色相は、ＲＧＢ値や色差値等に基づいて算出することが可能である。

　また図３には、色相環５０の各位置（角度）における色が示されている。例えば色相環５０では、赤色（Ｒ）を基準として、時計回りに６０°ずつ回転した各位置に紫色（Ｖ）、青色（Ｂ）、水色（ＬＢ）、緑色（Ｇ）、黄色（Ｙ）それぞれが配置される（図中の黒丸）。以下では、環状に色相を配置して構成される面を色相面と記載する。

　例えば色相面において赤色Ｒから最も離れた色は、水色ＬＢとなる。この赤色Ｒと水色ＬＢとは、色相環５０において正反対の位置に配置された補色となる。同様に、緑色Ｇと紫色Ｖとが補色となり、青色Ｂと黄色Ｙとが補色となる。

　本実施形態では、カラー（有彩色）の重畳色を設定可能である。この場合、複数の色候補は、有彩色の色候補を含む。有彩色の色候補は、例えば同じ色相環５０（輝度及び彩度が等しく設定された色）から設定される。また複数の色候補は、互いに異なる色相となるように設定される。

　以下では、主に２つの色候補が用いられる場合について説明する。すなわち、複数の色候補は、第１の色候補４３ａと、第１の色候補４３ａとは色相の異なる第２の色候補４３ｂとを含むように設定される。この場合、ピーキング画像４０においてエッジ部分４１は２つの色を用いて表示されることになる。これにより、視認性が高くシンプルな強調表示を実現することが可能となる。また強調表示４２の色数を抑えることで、ユーザは２色のみに集中してフォーカス操作を行うことが可能となり、優れた操作性を発揮することが可能となる。

　本実施形態では、第１及び第２の色候補４３ａ及び４３ｂは、互いに補色となるように設定される。すなわち、第１及び第２の色候補４３ａ及び４３ｂは、色相環５０において１８０°回転した色相となるように設定される。

　例えばユーザにより、互いに補色となる２色が設定されてもよい。また例えば、ユーザが選択した色を第１の色候補４３ａとして、その補色となる第２の色候補４３ｂが自動的に設定されてもよい。これにより、互いに色相が最も遠い色（補色）を用いて、エッジ部分４１（強調表示４２）が表されるため、各エッジ部分４１を十分に目立たせることが可能となる。

　また後述するように、エッジ部分４１の重畳色には、互いに補色となる２色の色候補のうち、エッジ色４４から見て色相平面において遠い色が設定される。すなわち、重畳色設定部３２は、エッジ色４４と、重畳色とが、色相面において離れた色となるように、重畳色を制御する。なお図３には、エッジ色４４の色相が白丸により模式的に図示されている。

　例えば、第１の色候補４３ａが赤色Ｒに設定され、第２の色候補４３ｂが水色ＬＢに設定されたとする。例えば赤色Ｒと黄色Ｙとの間の黄色Ｙに近いエッジ色４４ａが算出されると、色相面においてエッジ色４４ａから離れた色となる第２の色候補４３ｂ（水色）が重畳色として選択される。また例えば青色Ｂと紫色Ｖとの間の青色Ｂに近いエッジ色４４ｂが算出されると、色相面においてエッジ色４４ｂから離れた色となる第１の色候補４３ａ（赤色）が重畳色として選択される。

　すなわち、色相環において、第１の色候補４３ａから±９０°の範囲に含まれるエッジ色４４では、第２の色候補４３ｂが重畳色に設定され、第２の色候補４３ｂから±９０°の範囲に含まれるエッジ色４４では、第１の色候補４３ａが重畳色に設定される。これにより、各エッジ部分４１はエッジ色４４から離れた重畳色で表示されるため、元画像でのエッジ色４４に係らず、エッジ部分４１の強調表示４２の視認性を大幅に向上することが可能となる。

　なお、補色関係ではない２つの色候補４３（第１及び第２の色候補４３ａ及び４３ｂ）が設定されてもよい。この場合であっても、色相環５０においてエッジ色４４から離れた色候補４３が重畳色として設定される。これにより、ユーザは任意の２色を用いてピーキング表示を行うことが可能となり、自由度の高い強調表示４２を実現することが可能となる。

　また２つ以上の色候補４３を設定することも可能である。例えば３つの色候補４３が設定されてもよい。この場合、例えば３つの色候補４３は、色相環５０において互いに最も離れた角度（１２０°）となるように設定される。同様に４つの色候補４３や５つの色候補４３等を適宜設定することが可能である。このように２つ以上の色候補４３が設定される場合であっても、エッジ色４４と、重畳色とが、色相面において離れた色となるように、複数の色候補４３の中から重畳色が選択される。これにより、エッジ部分４１の色相に係らず、強調表示４２の視認性を十分に強調することが可能となる。

　図４は、カラーの重畳色を用いたピーキング表示の一例を示すフローチャートである。図５は、元画像の一例として挙げる色相環５０の画像である。以下では、図５に示す元画像２５を例に、図４を参照してカラーの重畳色を用いたピーキング表示処理について説明する。

　図５には、被写体１の一例として色相環５０が撮像された撮像画像（元画像２５）が図示されている。色相環５０の周辺（バックグラウンド）は黒色である。なお図５に示す色相環５０は、図３で説明した色相環５０と同様の角度配置になっている。また図５に示す元画像２５では、撮像装置１００のフォーカスは、色相環５０全体に合焦している。

　図４に示す処理は、例えば１つの元画像２５に対して行わる処理である。撮像装置１００では、例えば、所定のフレームレートで元画像２５が生成される度に、図４に示す処理が実行され、各元画像２５についてのピーキング表示が実行される。

　まず、ユーザにより設定された２つの色候補４３（第１及び第２の色候補４３ａ及び４３ｂ）の色相成分が算出される（ステップ１０１）。色相成分は、色相を表す色相値Ｈであり、例えば色相環５０での角度により表すことが可能である。各色候補４３ａ及び４３ｂについて、この色相値Ｈが算出される。なお色相値Ｈは、例えば重畳色選択部３３により算出される。

　例えば色候補がＲＧＢデータである場合には、ＲＧＢの各強度に基づいて色相値Ｈが算出される。また例えば色候補が色差データである場合には赤色色差Ｃｒ及び青色色差Ｃｂに基づいて色相値Ｈが算出される。この他、色候補のデータの形式に応じて色相値Ｈが適宜算出されてよい。

　以下では、第１の色候補４３ａが赤色Ｒに設定され、第２の色候補４３ｂが水色ＬＢに設定された場合について説明する。この場合、第１の色候補４３ａの色相成分として、赤色Ｒの位置に対応した色相環での角度が色相値Ｈとして算出される。また第２の色候補４３ｂの色相成分として、水色ＬＢの位置に対応した色相環５０での角度が色相値Ｈとして算出される。なお各色候補４３ａ及び４３ｂは補色であるため、各色候補４３ａ及び４３ｂの色相値Ｈは互いに１８０°ずれた値となる。

　色相値Ｈが算出されると、ステップ１０２～ステップ１０８に示すループ処理が実行される。これらのループ処理は、例えば元画像２５に含まれる画素ごとに順次行われる。あるいは、一つの列（水平ラインや垂直ライン）に含まれる複数の画素に対して、並列に処理が実行されてもよい。

　重畳色設定部３２により、ピーキング表示する画素の位置が取得される（ステップ１０２）。具体的には、ピーキング検出部３１により元画像２５から検出されたエッジ部分４１の検出結果（エッジ検出データ）に基づいて、エッジ部分４１に対応する画素の画素位置が適宜読み込まれる。

　図６は、図５に示す元画像２５から検出されたエッジ部分４１を示す画像である。図６には、色相環５０を含む元画像２５のエッジ部分４１に対応する画素（エッジ画素４５）が白色で図示されている。色相環５０を含む元画像２５からは、色相環５０の外縁の部分がエッジ部分４１として検出される。従って図６に示すように、色相環５０のエッジ画素４５は、円形に分布することになる。重畳色設定部３２では、これらのエッジ画素４５の画素位置が順次取得される。

　重畳色設定部３２により、ステップ１０２で取得された画素位置（エッジ画素４５）の周辺の画素データが取得される（ステップ１０３）。周辺の画素データとは、エッジ画素４５を囲む所定の画素領域に含まれる画素の画素データである。以下では、所定の画素領域に含まれる画素を参照画素と記載する。

　図７は、エッジ画素４５の周辺の画素配置の一例を示す模式図である。図７に示す画素配置は、エッジ画素４５を中心とした元画像２５の画素配置である。各画素は、縦横にマトリクス状に隣接して配置された四角を用いて表されている。このうち黒色の画素が、エッジ画素４５である。また所定の画素領域５１が黒色の太線を用いて図示されている。

　所定の画素領域５１には、エッジ画素４５と、エッジ画素４５の周辺に配置された周辺画素４６とが含まれる。これらエッジ画素４５及び周辺画素４６が、参照画素４７となる。図７に示す例では、所定の画素領域５１として、エッジ画素４５を中心とした３×３の画素領域が設定される。この場合、エッジ画素４５の周りに配置された８つの画素が周辺画素４６となる。

　所定の画素領域５１のサイズ、形状、位置等は限定されない。例えば、エッジ画素４５を中心とした５×５や７×７の画素領域が設定されてもよい。また２×２や４×４等の画素領域や、２×３や５×４といった画素領域が設定されてもよい。またエッジ画素４５が画素領域の中心からずれていてもよい。この他、エッジ画素４５を含む任意の領域が所定の画素領域５１として設定されてよい。

　例えばエッジ画素４５の画素位置が読み込まれると、所定の画素領域５１に含まれる他の画素（周辺画素４６）の画素位置が算出される。そして、各画素位置に基づいて、元画像２５から参照画素４７（エッジ画素４５及び周辺画素４６）の画素データがそれぞれ読み込まれる。

　参照画素４７の画素データは、所定の画素領域５１における各画素の色を表す情報を含む。従って参照画素４７の画素データには、エッジ画素４５（エッジ部分４１）周辺の色情報が含まれる。カラーのピーキング表示では、これらの画素データが、エッジ部分４１に関する色情報として用いられる。このように、エッジ部分４１に関する色情報は、エッジ部分４１の画素位置を囲む所定の画素領域５１に含まれる参照画素４７の画素データを含む。また、参照画素４７の画素データにより表される色が、エッジ色４４となる。

　重畳色設定部３２により、周辺の画素データ（参照画素４７の画素データ）から平均色相が算出される（ステップ１０４）。すなわち、エッジ部分４１の周辺である所定の画素領域５１の色相値の平均が算出される。

　参照画素４７の画素データから１つの色相値を算出する処理は、参照画素４７の画素データにより表されるエッジ色４４の色相を算出する処理に相当する。このように、撮像装置１００では、重畳色設定部３２により、参照画素４７の画素データに基づいて、エッジ色４４の色相が算出される。これにより、エッジ部分の周辺の色相の傾向に合わせて、重畳色を設定することが可能となり、重畳色を十分に目立たせることが可能となる。

　上記したように、本実施形態では、エッジ色４４の色相として、参照画素４７の平均色相が算出される。例えば、ステップ１０３で読み込まれた画素データに基づいて、各参照画素４７（エッジ画素４５及び周辺画素４６）の色相値がそれぞれ算出される。これらの色相値を平均して平均色相が算出される。

　図８は、図６に示すエッジ部分４１の平均色相の一例を示す模式図である。図８では、図を見やすくするため、図６に示すエッジ部分４１に対応する領域が、幅の広い環状の領域を用いて模式的に図示されている。またエッジ部分４１の各画素位置（エッジ画素４５）で算出された平均色相がグレースケールを用いて表されている。

　図８に示すように、各エッジ画素４５で算出される平均色相は、元画像２５である色相環５０の色相を反映した色相となる。例えば赤色Ｒのエッジ画素４５では、赤色Ｒに近い平均色相が算出され、水色ＬＢのエッジ画素４５では、水色ＬＢに近い平均色相が算出される。なお、実際には、被写体や背景の色に応じて、エッジ画素４５ごとに様々な平均色相が算出される。

　エッジ色４４の色相（平均色相）を算出する方法は限定されない。例えば、元画像２５に対して平均化フィルタやガウシアンフィルタ等のフィルタ処理を施し、各エッジ画素４５について、フィルタ適用後の画素データを取得して色相を算出してもよい。フィルタ処理は、例えば対象となる画素領域５１ごとに施される。これにより、ノイズ等の影響を低下することが可能となり、各エッジ画素４５の色を表すエッジ色の色相値を安定して算出することが可能となる。

　なお所定の画素領域５１は、被写体１に応じて設定されてもよい。例えば画像認識等の技術に基づいて、被写体１の種類や被写体１の表面の状態が検出され、その検出結果に基づいて、画素領域５１のサイズ等が設定される。

　例えば表面に細かい色彩パターンのある被写体１等が撮像される場合には、画素領域５１を小さく設定する。これによりエッジ部分４１以外の色の影響が低減され、エッジ色４４を精度よく算出することが可能となる。また被写体の色彩が一様であるような場合には、画素領域５１が大きく設定される。これにより、エッジ部分４１の周辺の色も加味したエッジ色４４を適正に算出することが可能となる。

　重畳色設定部３２により、エッジ画素４５の平均色相が第１の色候補４３ａに近いか否かが判定される（ステップ１０５）。平均色相が第１の色候補４３ａに近いか否かの判定は、平均色相が色相環５０において第１の色候補４３ａ（赤色Ｒ）と第２の色候補４３ｂ（水色ＬＢ）とのどちらに近いかを判定することで実行される。この判定に基づいて、エッジ画素４５の重畳色が設定される。

　図９は、カラーの重畳色によるピーキング表示の一例を示す模式図である。図９Ａは、エッジ部分４１を重畳色で表示した重畳画像６０の一例である。図９Ｂは、元画像２５と重畳画像６０とを合成したピーキング画像４０の一例である。

　例えば、エッジ画素４５の平均色相が、第１の色候補４３ａから離れており、第２の色候補４３ｂに近い場合（ステップ１０５のＮｏ）、エッジ画素４５の重畳色が第１の色候補４３ａに設定される（ステップ１０６）。

　例えば、第１の色候補４３ａ（赤色Ｒ）を基準として±９０°の範囲の外側、すなわち第２の色候補４３ｂ（水色ＬＢ）を基準として±９０°の範囲に含まれる平均色相が算出された場合、エッジ画素４５の重畳色は、第１の色候補４３ａに設定される（図３参照）。従って図９Ａに示すように、水色ＬＢに近いエッジ色４４（平均色相）が算出されたエッジ画素４５には、赤色Ｒの強調表示４２が設定される。

　また例えば、エッジ画素４５の平均色相が、第１の色候補４３ａに近く、第２の色候補４３ｂから離れている場合（ステップ１０５のＹｅｓ）、エッジ画素４５の重畳色が第２の色候補４３ｂに設定される（ステップ１０７）。

　例えば、第１の色候補４３ａ（赤色Ｒ）を基準として±９０°の範囲、すなわち第２の色候補４３ｂ（水色ＬＢ）を基準として±９０°の範囲の外側に含まれる平均色相が算出された場合、エッジ画素４５の重畳色は、第２の色候補４３ｂに設定される（図３参照）。従って図９Ｂに示すように、赤色Ｒに近いエッジ色４４（平均色相）が算出されたエッジ画素４５には、水色ＬＢの強調表示４２が設定される。

　このように、エッジ画素４５の重畳色は、その平均色相の色相値が第１の色候補４３ａの色相値に近い場合は補色関係にある第２の色候補４３ｂに設定され、逆に遠い場合は第１の色候補４３ａに設定される。すなわち、重畳色設定部３２は、複数の色候補のうち、エッジ色４４の色相から最も離れた色相を有する色候補４３を重畳色に設定する。

　図９Ｂには、元画像２５に含まれる色相環５０のエッジ部分４１が強調されたピーキング画像４０が模式的に図示されている。例えば色相環５０において水色ＬＢのエッジ部分４１（図中の左側）では、重畳色は赤色Ｒ（第１の色候補４３ａ）となる。従って、色相環５０の水色の部分とエッジ部分４１の強調表示４２（赤色）とを容易に識別することが可能となる。また例えば色相環５０において赤色Ｒのエッジ部分４１（図中の右側）では、重畳色が水色ＬＢ（第２の色候補４３ｂ）となる。これにより、色相環５０の赤色の部分とエッジ部分４１の強調表示４２（水色）とを容易に識別することが可能となる。

　エッジ画素４５の重畳色が第１及び第２の色候補４３ａ及び４３ｂのいずれかに設定されると、元画像２５の全ての画素に対して処理が行われたか否かが判定される（ステップ１０８）。処理が行われていない画素が残っている場合（ステップ１０８のＮｏ）、ステップ１０２以降の処理が繰り返される。また全ての画素に対して処理が行われた場合（ステップ１０９のＹｅｓ）、元画像２５に対する処理が完了する。その後、次の元画像２５に対するピーキング表示の処理が開始される。

　図１０は、比較例として挙げるピーキング表示の一例を示す模式図である。図１０Ａの左側及び右側の図は、単色の重畳色（赤色Ｒ）を用いた場合の重畳画像６０ａ及びピーキング画像４０ａである。図１０Ａに示すように、重畳色を赤色Ｒのみで表した場合、色相環５０において赤色系のエッジ部分４１は色相差が少なくなるので、強調表示４２（ピーキング）の部分と被写体１（色相環５０）の部分との識別が難しくなる。

　図１０Ｂの左側及び右側の図は、赤色Ｒ及び水色ＬＢのうち、エッジ色４４の色相に近い色を重畳色とした場合の重畳画像６０ｂ及びピーキング画像４０ｂである。図１０Ｂでは、色相環５０において水色系のエッジ部分４１では水色ＬＢの重畳色が設定され、赤色系のエッジ部分４１では赤色Ｒの重畳色が設定される。このため赤色系及び水色系のエッジ部分４１ではともに色相差が小さくなり、強調表示４２の視認性が低下する。

　これに対して、図９Ｂに示すピーキング画像４０では、エッジ色４４に対する色相差が大きくなるように重畳色が設定される。このため、色相に係らずどのエッジ部分４１についてもピーキング表示（強調表示４２）の視認性が改善される。これにより、撮影範囲のどこにフォーカスが合っているかを容易に判別することが可能となり、撮像装置１００のフォーカス操作を十分に支援することが可能となる。

［白黒の重畳色によるピーキング表示］
　以下では、重畳色（複数の色候補４３）として、色相の無い無彩色（白黒等）が用いられる場合について説明する。

　本実施形態では、無彩色の重畳色を設定可能である。この場合、複数の色候補４３は、無彩色の色候補４３を含む。無彩色の色候補４３は、所定の輝度で表される白色、黒色、あるいはグレー等の色から設定される。各色候補４３は、互いに異なる輝度となるように設定される。以下では、無彩色の色候補４３として、黒色及び白色が用いられる場合について説明する。すなわち、複数の色候補４３は、黒色と白色とを含む。

　白黒の重畳色（色候補４３）を用いたピーキング表示では、エッジ部分４１の重畳色として、２色の色候補（黒色及び白色）のうち、エッジ色４４に対して明るさ（輝度）が離れている色が設定される。すなわちエッジ色４４と、重畳色とが、輝度方向において離れた色となるように、重畳色が制御される。

　エッジ色４４は、元画像２５のエッジ部分４１に関する色情報（画素データ等）により表される色であり、典型的には有彩色である。従って白黒のピーキング表示では、カラーのエッジ色４４の明るさ（輝度）をもとに、重畳色が制御される。

　例えば、エッジ色４４が所定の閾値よりも明るい場合、そのエッジ部分４１の重畳色には輝度の低い黒色が設定される。また例えばエッジ色４４が所定の閾値よりも暗い場合、そのエッジ部分４１の重畳色には輝度の高い白色が設定される。これにより、各エッジ部分４１はエッジ色４４から明るさの離れた重畳色で表示されるため、エッジ部分４１の強調表示４２の視認性を大幅に向上することが可能となる。

　図１１は、白黒の重畳色を用いたピーキング表示の一例を示すフローチャートである。図１２は、元画像の一例として挙げるストライプパターン５５の画像である。以下では、図１２に示す元画像２５を例に、図１１を参照して白黒の重畳色を用いたピーキング表示処理について説明する。

　図１２には、被写体１の一例としてストライプパターン５５が撮像された撮像画像（元画像２５）が図示されている。ストライプパターン５５は、短冊状の矩形領域が図中の横方向に連続して配置されたパターンである。各矩形領域は、左側から順番に白色から黒色までの段階的なグラデーションとなるように塗りつぶされている。すなわち、ストライプパターン５５は、グレースケールのグラデーションパターンである。

　まず、重畳色設定部３２により、ピーキング表示する画素の位置が取得される（ステップ２０１）。具体的には、エッジ部分４１に対応するエッジ画素４５の画素位置が読み込まれる。

　図１３は、図１２に示す元画像２５から検出されたエッジ部分４１を示す画像である。図１３には、ストライプパターン５５を含む元画像２５のエッジ部分４１に対応する画素（エッジ画素４５）が白色で図示されている。ストライプパターン５５からは、各矩形領域の境界がエッジ部分４１として検出される。従って図１３に示すように、ストライプパターン５５のエッジ画素４５は、各矩形領域の境界に対応した上下方向のラインに沿って分布することになる。

　ステップ２０１で取得された画素位置の画素データが取得される（ステップ２０２）。すなわち、元画像２５からエッジ画素４５の画素データ（色情報）が読み込まれる。そして、重畳色設定部３２により、エッジ画素４５の画素データの輝度が算出される（ステップ２０３）。このように、図１１に示す処理では、エッジ画素４５の画素データが、エッジ部分４１に関する色情報となり、エッジ画素４５の色がエッジ色４４となる。このエッジ色４４の輝度が適宜算出される。

　例えば図１２のように元画像２５がグレースケールの画像である場合には、画素データの諧調値がエッジ画素４５の輝度として算出される。また画素データがＲＧＢデータである場合には、ＲＧＢの各強度値に基づいて輝度が算出される。

　図１４は、図１３に示すエッジ部分４１の元画像２５における輝度の一例を示す模式図である。図１４に示すように、例えば白色の矩形領域の境界（図中の左端のエッジ部分４１）では、明るい輝度が算出される。各境界（エッジ部分４１）で算出される輝度は、右側に近いほど暗くなる。図１４では、バックグラウンドが黒で表示されているため、図中右側のエッジ部分４１の輝度表示が見えなくなっているが、実際には矢印で示した位置では黒色に近い輝度が算出される。

　なお図１４に示す例では、エッジ部分４１に対応する画素（エッジ画素４５）の輝度がそのまま算出されたが、これに限定されるわけではない。例えば、図７を参照して説明した所定の画素領域５１が設定されてもよい。この場合、画素領域５１に含まれるエッジ画素４５及び周辺画素４６の（参照画素４７）画素データが取得され、画素領域５１での平均輝度等が算出される。すなわち、参照画素４７の画素データに基づいて、エッジ色４４の輝度が算出されてもよい。これにより、周辺の明るさに合わせて重畳色を設定することが可能となる。

　重畳色設定部３２により、エッジ画素４５の輝度が黒色に近いか否かが判定される（ステップ２０４）。この判定は、輝度方向において、エッジ画素４５の輝度（エッジ色４４の輝度）が黒色と白色とのどちらに近いかを判定することで実行される。

　本実施形態では、重畳色設定部３２は、エッジ色４４の輝度が所定の閾値よりも大きい場合に重畳色を黒色に設定し、エッジ色４４の輝度が所定の閾値よりも小さい場合に重畳色を白色に設定する。この判定に基づいて、エッジ画素４５の重畳色が設定される。

　所定の閾値は、例えば黒色と白色との中間値に設定される。例えば各色の輝度が２５６諧調で表される場合（黒色の輝度が１であり白色の輝度が２５６である場合）、所定の閾値は１２８に設定される。また各色の輝度が１２８諧調で表される場合には、所定の輝度は６４に設定される。これに限定されず、所定の閾値は、例えば画面の明るさ等に応じて適宜設定されてよい。

　図１５は、白黒の重畳色によるピーキング表示の一例を示す模式図である。図１５Ａ及び図１５Ｂは、エッジ部分４１を黒色及び白色の重畳色で表示した重畳画像６０の一例である。図１５Ｃは、元画像２５と重畳画像６０とを合成したピーキング画像４０の一例である。

　例えば、エッジ画素４５の輝度が、所定の閾値よりも高く、黒色よりも白色に近い場合（ステップ２０４のＮｏ）、エッジ画素４５の重畳色が黒色に設定される（ステップ２０５）。例えば、ストライプパターン５５の左側のエッジ画素４５では、白色に近い輝度が算出される（図１４参照）。従って図１５Ａに示すように、白色に近い輝度が算出されたエッジ画素４５（ストライプパターン５５の左側のエッジ画素４５）には、黒色の強調表示４２が設定される。

　また例えば、エッジ画素４５の輝度が、所定の閾値よりも低く、黒色に近い場合（ステップ２０４のＹｅｓ）、エッジ画素４５の重畳色が白色に設定される（ステップ２０６）。例えば、ストライプパターン５５の右側のエッジ画素４５では、黒色に近い輝度が算出される（図１４参照）。従って図１５Ｂに示すように、黒色に近い輝度が算出されたエッジ画素４５（ストライプパターン５５の左側のエッジ画素４５）には、白色の強調表示４２がされる。

　なおストライプパターン５５の中央の境界部分では、白色に近いエッジ画素４５と黒色に近いエッジ画素４５との両方が検出される。この場合、同じ境界であっても、所定の閾値よりも明るいエッジ画素４５については、黒色の重畳色が設定され、暗いエッジ画素４５については白色の重畳色が設定される。

　このように、エッジ画素４５の重畳色は、その輝度が黒色に近い場合は白色に設定され、逆に白色に近い場合は黒色に設定される。すなわち、重畳色設定部３２は、複数の色候補４３（黒色及び白色）のうち、エッジ色４４の輝度から最も離れた輝度を有する色候補４３を重畳色に設定する。

　図１５Ｃには、元画像２５に含まれるストライプパターン５５のエッジ部分４１が強調されたピーキング画像４０が模式的に図示されている。例えばストライプパターン５５において、白色に近い右側の境界（エッジ部分４１）では、重畳色は黒色となる。また黒色に近い右側の境界（エッジ部分４１）では、重畳色は白色となる。これにより、図１５Ｃに示すように、輝度が高い部分から低い部分までピーキング表示の視認性を十分に向上することが可能となる。

　エッジ画素４５の重畳色が黒色及び白色のいずれかに設定されると、元画像２５の全ての画素に対して処理が行われたか否かが判定される（ステップ２０８）。処理が行われていない画素が残っている場合（ステップ２０８のＮｏ）、ステップ２０１以降の処理が繰り返される。また全ての画素に対して処理が行われた場合（ステップ２０８のＹｅｓ）、元画像２５に対する処理が完了する。これにより、図１５Ｃに示すピーキング表示の画素毎に白黒の重畳パターンが決まる。その後、次の元画像２５に対するピーキング表示の処理が開始される。

　図１６は、比較例として挙げるピーキング画像４０ｃである。図１６に示すピーキング画像４０ｃでは、単色の重畳色（白色）が用いられる。重畳色が白色のみである場合、輝度の低い右側のエッジ部分４１では、強調表示４２が視認できるものの、輝度の高い左側のエッジ部分４１では、強調表示４２と被写体（ストライプパターン５５）との区別が難しくなる。

　これに対して、図１５Ｃに示すピーキング画像４０では、エッジ色４４との輝度差が大きくなるように重畳色が設定される。このため、エッジ部分４１の明るさに係らず、どのエッジ部分４１についてもピーキング表示（強調表示４２）の視認性が改善される。これにより、撮影範囲のどこにフォーカスが合っているかを容易に判別することが可能となり、撮像装置１００のフォーカス操作を十分に支援することが可能となる。

　以上、本実施形態に係る撮像装置１００では、被写体１の撮像画像（元画像２５）が生成され、元画像２５に含まれるエッジ部分４１が検出される。また検出されたエッジ部分４１ごとに、元画像２５でのエッジ部分４１に関する色情報を用いて、エッジ部分４１を強調する強調表示４２の色が制御される。これにより、エッジ部分４１の強調表示４２の視認性を向上することが可能となる。

　被写体のエッジを強調する方法として、エッジの色を濃くする方法や単一の色を重畳する方法等が考えられる。この場合、エッジの周辺の色や背景によっては、強調したエッジの部分を識別することが難しい場合があり得る。

　本実施形態では、エッジ部分４１を強調する強調表示４２の色（重畳色）が、元画像２５におけるエッジ部分４１に関する色（エッジ色４４）から離れた色となるように設定される。これにより、元画像２５でのエッジ部分４１そのものの色や、エッジ部分４１の周辺の色等に係らず、重畳色を目立たせることが可能となる。これにより、強調表示４２の視認性を向上することが可能となる。

　カラーのピーキング表示では、例えば補色関係にある２色（第１及び第２の色候補４３ａ及び４３ｂ）が重畳色に設定される。重畳色は、エッジ部分４１の色相（エッジ色４４の色相）に応じて、ユーザが視認しやすい色となるように自動で選択される。このように、ピーキング位置周辺の色に合わせて、色相差の大きい方の色でピーキング表示を行うため、どのような色相の色に対しても、ユーザがピーキング部分を認識しやすくなる。

　また白黒のピーキング表示では、例えば黒色及び白色の重畳色が、エッジ部分４１の輝度（エッジ色４４の輝度）に応じて、ユーザが視認しやすい色となるように自動で選択される。これにより、エッジ部分４１の明るさ等に係らず、ピーキング表示の視認性を向上することが可能となる。

　またピーキング位置（エッジ部分４１）の色の変化に応じて、強調表示４２に用いられる重畳色も変化する。これにより、例えば元画像２５の構図や被写体等が常時変化する場合であっても、強調表示４２の視認性を維持することが可能となる。この結果、フォーカス位置を常に視認しやすい色で表示することが可能となり、高いユーザビリティを発揮することが可能となる。

　またユーザが選択した重畳色（複数の色候補４３）によりピーキング表示を行うことが可能である。撮像装置１００では、ユーザが選択した色候補４３を用いて、エッジ部分４１の色に応じた重畳色が自動的に設定される。これにより、エッジ部分４１の強調表示４２を容易に認識することが可能となる。

　撮像装置１００では、元画像２５のエッジ部分４１のみに変更を加えたピーキング画像４０が生成される。すなわち、ピーキング表示は、エッジ部分４１のみに限定しており、他は通常の画像と同じとなる。これにより、ピーキング表示の視認性を低下させることなく、ユーザにとって違和感がない撮影状態を実現することが可能となる。これにより、自然なフォーカス操作が可能となり、優れた操作性を発揮することが可能となる。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　上記では、ピーキング画像４０のエッジ部分４１の表示（強調表示４２）を、エッジ色４４に応じて設定する方法について説明した。例えば、エッジ部分４１の表示が時間とともに変化するように強調表示４２を制御することが可能である。すなわち、ピーキング画像４０のエッジ部分４１の表示が動的に変化するように、強調表示４２の色を制御することが可能である。

　例えば強調表示４２の色が、一定の時間で切り替わるように設定されてもよい。例えば２つの色候補４３が用いられる場合には、予め設定された時間間隔で、各強調表示４２として設定された色候補４３が、他の色候補４３となるように切り替えられる。これにより、強調表示４２の色（重畳色）が常時切り替えられて表示されるため、エッジ部分４１を容易に検出することが可能となる。

　また例えば、強調表示４２が一定の時間間隔で点滅するように表示することも可能である。この場合、強調表示４２を表示する状態と、強調表示４２を表示しない状態とが交互に繰り返される。このように、エッジ部分４１の強調表示４２を点滅させる、すなわち強調表示４２に動きを与えることで、エッジ部分４１を容易に検出することが可能となる。この他、エッジ部分４１の表示を動的に変化させる任意の方法が用いられてよい。

　図１７は、ピーキング表示の適用例について説明するための模式図である。図１７Ａには、撮像装置を用いた手術の様子が模式的に図示されている。また図１７Ｂ及び図１７Ｃは、術野を撮影した画像に適用されたピーキング表示の一例を示す模式図である。なお図１７Ｂ及び図１７Ｃでは、強調表示４２が点線を用いて模式的に図示されている。

　例えば複空鏡手術や開腹手術等が行われる場合には、体内の患部等を撮影するための撮像装置（内視鏡カメラ等）が用いられる。また例えば、開頭手術等が行われる場合には、患部を拡大して撮影する撮像装置が用いられる。本技術は、このような撮像装置に好適に適用され得る。

　図１７Ａには、手術において内視鏡カメラ２００のマニュアルフォーカスを行うスコピスト２が、手術を行う医師３が見るモニター２１５ａとは別のモニター２１５ｂを見ながら内視鏡カメラ２００のフォーカス操作をしている様子を示している。この場合、スコピスト２が見るモニター２１５ｂに表示する画像にのみ本技術を用いたピーキング表示を行い、手術を行う医師３が見る画像（モニター２１５ａ）にはピーキング表示は行わない。これにより、手術を行う医師３には影響を与えることなく、スコピスト２が患部に内視鏡カメラ２００のピントを合わせる作業を容易にすることができる。

　図１７Ｂは、内視鏡カメラ２００により撮影された画像（術中画像）にピーキング表示を適用したピーキング画像２４０の一例である。図１７Ｂでは、医師３が操作する鉗子４により一部の臓器５ａがつかまれた状態が示されている。鉗子４によりつかまれた臓器５ａは、脂肪６で覆われた臓器５ｂにつながっている。また脂肪６で覆われた臓器５ｂ上には、他の臓器５ｃが存在する。

　ピーキング表示に用いられる重畳色を、これらの臓器５ａ～５ｃ（被写体１）に応じて設定することが可能である。すなわち、重畳色の候補である複数の色候補４３が、被写体１に応じて設定される。以下では、被写体１に応じて色候補４３（重畳色）を設定する方法について具体的に説明する。

　例えば、画像認識処理等を用いて、術中画像に含まれる臓器５や脂肪６等が検出される。例えば脂肪６の周辺が手術対象となる場合には、脂肪６が注目被写体として設定される。この場合、脂肪６の色（黄色）の補色となる色（青色）が、１つの色候補４３として設定される。これにより、脂肪６の周辺でピントが合った場合には、エッジ部分４１が青色の強調表示４２ａにより表示され、フォーカス位置を容易に視認することが可能となる。

　また例えば、画像認識処理等を用いて、術中画像内の鉗子４が検出されてもよい。この場合、鉗子４の付近にある臓器等（臓器５ａ）が注目被写体として設定される。この場合、注目被写体となった臓器５ａの補色となる色が、色候補４３として設定される。これにより、手術の対象となっている臓器５ａの輪郭等を、臓器５ａの色の補色が設定された強調表示４２ｂで表示することが可能となる。これにより、注目被写体に対するフォーカス操作を容易に行うことが可能となる。

　図１７Ｃは、腫瘍部分が撮影された画像（術中画像）にピーキング表示を適用したピーキング画像２４０の一例である。図１７Ｃには、例えば開頭手術により露出した脳７の一部と、腫瘍８とが模式的に図示されている。

　例えば、画像認識処理等を用いて、腫瘍８が検出される。腫瘍８は、例えば正常な脳７との色の違い等を利用して検出可能である。この腫瘍８の色の補色となるように、強調表示４２の色（色候補４３）が設定される。これにより、腫瘍８で検出されるエッジ部分４１を、識別しやすい色で強調することが可能となる。この他、被写体１に応じて色候補４３を設定する方法は限定されない。

　＜＜応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

　図１８は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１８では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

　内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

　（支持アーム装置）
　支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

　（内視鏡）
　内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

　（カートに搭載される各種の装置）
　ＣＣＵ５０３９は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

　表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

　光源装置５０４３は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

　アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

　入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

　入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

　あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

　処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

　（支持アーム装置）
　支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１８では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

　関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

　例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

　なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

　（光源装置）
　光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

　（カメラヘッド及びＣＣＵ）
　図１９を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

　図１９を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

　まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

　撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

　撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

　また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

　また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

　駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

　通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

　また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５００１に搭載される。

　カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

　なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

　次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

　また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

　画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

　画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

　制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

　また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

　カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

　ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

　以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

　本開示に係る技術は、以上説明した構成のうち、内視鏡５００１、ＣＣＵ５０３９、及び表示装置５０４１等に好適に適用される。例えば内視鏡５００１に搭載されたイメージセンサが図１を参照して説明したイメージセンサ１１として機能する。またＣＣＵ５０３９の画像処理部５０６１が、図１を参照して説明した映像処理部１３として機能する。そして表示装置５０４１が、図１を参照して説明した表示装置１５となる。これら内視鏡５００１、ＣＣＵ５０３９、及び表示装置５０４１等に本開示に係る技術を適用することにより、表示装置５０４１に表示するピーキング表示の視認性を向上させることが可能となる。この結果、手術時のフォーカス合わせを容易に実現することが可能となり、安全かつ信頼性の高い手術を行うことが可能となる。

　また本開示に係る技術は、手術室システムに適用されてもよい。

　図２０は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図２０を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV　Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

　手術室には、様々な装置が設置され得る。図２０では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

　ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

　視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

　具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

　あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

　視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal　Computer））である。

　また、図２０では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

　手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

　手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

　図２１は、集中操作パネル５１１１における操作画面の表示例を示す図である。図２１では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２１を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

　発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

　プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

　コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical　User　Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

　また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

　なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

　図２２は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

　内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図２０に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図２２では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

　以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

　内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

　内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

　（支持アーム装置）
　支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

　（内視鏡）
　内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

　鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

　カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

　なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

　（カートに搭載される各種の装置）
　ＣＣＵ５１５３は、ＣＰＵ（Central　Processing　Unit）やＧＰＵ（Graphics　Processing　Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図２０に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

　表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

　光源装置５１５７は、例えばＬＥＤ（light　emitting　diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

　アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

　入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

　入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

　あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head　Mounted　Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

　処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

　以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

　（支持アーム装置）
　支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図２２では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

　関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

　例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

　ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

　なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

　（光源装置）
　光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

　また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

　また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow　Band　Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

　（カメラヘッド及びＣＣＵ）
　図２３を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図２３は、図２２に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

　図２３を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

　まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

　撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

　撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

　また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

　また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

　駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

　通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

　また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

　なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto　Exposure）機能、ＡＦ（Auto　Focus）機能及びＡＷＢ（Auto　White　Balance）機能が内視鏡５１１５に搭載される。

　カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

　なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

　次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

　また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

　画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

　画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

　制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

　また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

　カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

　ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

　以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

　本開示に係る技術は、以上説明した構成のうち、内視鏡５１１５、ＣＣＵ５１５３、及び表示装置５１５５等に好適に適用される。例えば内視鏡５１１５に搭載されたイメージセンサが図１を参照して説明したイメージセンサ１１として機能する。またＣＣＵ５１５３の画像処理部５１７５が、図１を参照して説明した映像処理部１３として機能する。そして表示装置５１５５が、図１を参照して説明した表示装置１５となる。これら内視鏡５１５５、ＣＣＵ５１５３、及び表示装置５１５５等に本開示に係る技術を適用することにより、表示装置５１５５に表示するピーキング表示の視認性を向上させることが可能となる。この結果、手術時のフォーカス合わせを容易に実現することが可能となり、安全かつ信頼性の高い手術を行うことが可能となる。

　また本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。

　図２４は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図２４を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。

　顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。

　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図２４に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。

　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

　図２５は、図２４に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図２５では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図２５では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。

　図２Ｃに示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

　以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。

　本開示に係る技術は、以上説明した構成のうち、顕微鏡部５３０３、制御装置５３１７、表示装置５３１９等に好適に適用される。例えば顕微鏡部５３０３に搭載されたイメージセンサが図１を参照して説明したイメージセンサ１１として機能する。また制御装置５３１７が、図１を参照して説明した映像処理部１３として機能する。そして表示装置５３１９が、図１を参照して説明した表示装置１５となる。これら顕微鏡部５３０３、制御装置５３１７、表示装置５３１９等に本開示に係る技術を適用することにより、表示装置５３１９に表示するピーキング表示の視認性を向上させることが可能となる。この結果、手術時のフォーカス合わせを容易に実現することが可能となり、安全かつ信頼性の高い手術を行うことが可能となる。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

（１）被写体を撮像した撮像画像を生成する画像生成部と、
　前記生成された撮像画像に含まれるエッジ部分を検出するエッジ検出部と、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する色制御部と
　を具備する撮像装置。
（２）（１）に記載の撮像装置であって、
　前記色制御部は、前記エッジ部分に関する色情報により表されるエッジ色と、前記強調表示の色との色の差が大きくなるように、前記強調表示の色を制御する
　撮像装置。
（３）（２）に記載の撮像装置であって、
　前記色制御部は、前記エッジ色と、前記強調表示の色とが、色相面又は輝度方向において離れた色となるように、前記強調表示の色を制御する
　撮像装置。
（４）（２）又は（３）に記載の撮像装置であって、
　前記色制御部は、前記強調表示の色を複数の色候補から設定する
　撮像装置。
（５）（４）に記載の撮像装置であって、
　前記複数の色候補は、有彩色の色候補を含み、
　前記色制御部は、前記複数の色候補のうち、前記エッジ色の色相から最も離れた色相を有する色候補を前記強調表示の色に設定する
　撮像装置。
（６）（５）に記載の撮像装置であって、
　前記複数の色候補は、第１の色候補と、前記第１の色候補とは色相の異なる第２の色候補とを含む
　撮像装置。
（７）（６）に記載の撮像装置であって、
　前記第１及び前記第２の色候補は、互いに補色となるように設定される
　撮像装置。
（８）（４）から（７）のうちいずれか１つに記載の撮像装置であって、
　前記複数の色候補は、無彩色の色候補を含み、
　前記色制御部は、前記複数の色候補のうち、前記エッジ色の輝度から最も離れた輝度を有する色候補を前記強調表示の色に設定する
　撮像装置。
（９）（８）に記載の撮像装置であって、
　前記複数の色候補は、黒色と白色とを含み、
　前記色制御部は、前記エッジ色の輝度が所定の閾値よりも大きい場合に前記強調表示の色を前記黒色に設定し、前記エッジ色の輝度が前記所定の閾値よりも小さい場合に前記強調表示の色を前記白色に設定する
　撮像装置。
（１０）（４）から（９）のうちいずれか１つに記載の撮像装置であって、
　前記複数の色候補は、ユーザにより設定される
　撮像装置。
（１１）（４）から（１０）のうちいずれか１つに記載の撮像装置であって、
　前記複数の色候補は、前記被写体に応じて設定される
　撮像装置。
（１２）（２）から（１１）のうちいずれか１つに記載の撮像装置であって、
　前記エッジ検出部は、前記エッジ部分の画素位置を検出し、
　前記色制御部は、前記検出された画素位置ごとに前記強調表示の色を設定する
　撮像装置。
（１３）（１２）に記載の撮像装置であって、
　前記エッジ部分に関する色情報は、前記エッジ部分の画素位置を囲む所定の画素領域に含まれる参照画素の画素情報を含み、
　前記色制御部は、前記参照画素の画素情報に基づいて、前記エッジ色の色相又は前記エッジ色の輝度を算出する
　撮像装置。
（１４）（１３）に記載の撮像装置であって、
　前記色制御部は、前記エッジ色の色相として、前記参照画素の平均色相を算出する
　撮像装置。
（１５）（１３）又は（１４）に記載の撮像装置であって、
　前記所定の画素領域は、前記被写体に応じて設定される
　撮像装置。
（１６）（１）から（１５）のうちいずれか１つに記載の撮像装置であって、
　前記色制御部は、前記撮像画像の前記エッジ部分が前記強調表示の色で強調されたピーキング画像を生成する
　撮像装置。
（１７）（１６）に記載の撮像装置であって、
　前記ピーキング画像は、前記エッジ部分とは異なる部分の色が、前記撮像画像と同じ色に設定される
　撮像装置。
（１８）（１６）又は（１７）に記載の撮像装置であって、
　前記色制御部は、前記ピーキング画像の前記エッジ部分の表示が動的に変化するように、前記強調表示の色を制御する
　撮像装置。
（１９）被写体を撮像した撮像画像を生成し、
　前記生成された撮像画像に含まれるエッジ部分を検出し、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する
　ことをコンピュータシステムが実行する撮像方法。
（２０）被写体を撮像した撮像画像を生成するステップと、
　前記生成された撮像画像に含まれるエッジ部分を検出するステップと、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御するステップと
　をコンピュータシステムに実行させるプログラム。

　１…被写体
　１１…イメージセンサ
　１３…映像処理部
　２５…元画像
　３０…カメラ信号処理部
　３１…ピーキング検出部
　３２…重畳色設定部
　３３…重畳色選択部
　３４…合成部
　４０、２４０…ピーキング画像
　４１…エッジ部分
　４２、４２ａ、４２ｂ…強調表示
　４３…色候補
　４３ａ…第１の色候補
　４３ｂ…第２の色候補
　４４、４４ａ、４４ｂ…エッジ色
　４７…参照画素
　５１…所定の画素領域
　１００…撮像装置

Claims

　被写体を撮像した撮像画像を生成する画像生成部と、
　前記生成された撮像画像に含まれるエッジ部分を検出するエッジ検出部と、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する色制御部と
　を具備する撮像装置。
　請求項１に記載の撮像装置であって、
　前記色制御部は、前記エッジ部分に関する色情報により表されるエッジ色と、前記強調表示の色との色の差が大きくなるように、前記強調表示の色を制御する
　撮像装置。
　請求項２に記載の撮像装置であって、
　前記色制御部は、前記エッジ色と、前記強調表示の色とが、色相面又は輝度方向において離れた色となるように、前記強調表示の色を制御する
　撮像装置。
　請求項２に記載の撮像装置であって、
　前記色制御部は、前記強調表示の色を複数の色候補から設定する
　撮像装置。
　請求項４に記載の撮像装置であって、
　前記複数の色候補は、有彩色の色候補を含み、
　前記色制御部は、前記複数の色候補のうち、前記エッジ色の色相から最も離れた色相を有する色候補を前記強調表示の色に設定する
　撮像装置。
　請求項５に記載の撮像装置であって、
　前記複数の色候補は、第１の色候補と、前記第１の色候補とは色相の異なる第２の色候補とを含む
　撮像装置。
　請求項６に記載の撮像装置であって、
　前記第１及び前記第２の色候補は、互いに補色となるように設定される
　撮像装置。
　請求項４に記載の撮像装置であって、
　前記複数の色候補は、無彩色の色候補を含み、
　前記色制御部は、前記複数の色候補のうち、前記エッジ色の輝度から最も離れた輝度を有する色候補を前記強調表示の色に設定する
　撮像装置。
　請求項８に記載の撮像装置であって、
　前記複数の色候補は、黒色と白色とを含み、
　前記色制御部は、前記エッジ色の輝度が所定の閾値よりも大きい場合に前記強調表示の色を前記黒色に設定し、前記エッジ色の輝度が前記所定の閾値よりも小さい場合に前記強調表示の色を前記白色に設定する
　撮像装置。
　請求項４に記載の撮像装置であって、
　前記複数の色候補は、ユーザにより設定される
　撮像装置。
　請求項４に記載の撮像装置であって、
　前記複数の色候補は、前記被写体に応じて設定される
　撮像装置。
　請求項２に記載の撮像装置であって、
　前記エッジ検出部は、前記エッジ部分の画素位置を検出し、
　前記色制御部は、前記検出された画素位置ごとに前記強調表示の色を設定する
　撮像装置。
　請求項１２に記載の撮像装置であって、
　前記エッジ部分に関する色情報は、前記エッジ部分の画素位置を囲む所定の画素領域に含まれる参照画素の画素情報を含み、
　前記色制御部は、前記参照画素の画素情報に基づいて、前記エッジ色の色相又は前記エッジ色の輝度を算出する
　撮像装置。
　請求項１３に記載の撮像装置であって、
　前記色制御部は、前記エッジ色の色相として、前記参照画素の平均色相を算出する
　撮像装置。
　請求項１３に記載の撮像装置であって、
　前記所定の画素領域は、前記被写体に応じて設定される
　撮像装置。
　請求項１に記載の撮像装置であって、
　前記色制御部は、前記撮像画像の前記エッジ部分が前記強調表示の色で強調されたピーキング画像を生成する
　撮像装置。
　請求項１６に記載の撮像装置であって、
　前記ピーキング画像は、前記エッジ部分とは異なる部分の色が、前記撮像画像と同じ色に設定される
　撮像装置。
　請求項１６に記載の撮像装置であって、
　前記色制御部は、前記ピーキング画像の前記エッジ部分の表示が動的に変化するように、前記強調表示の色を制御する
　撮像装置。
　被写体を撮像した撮像画像を生成し、
　前記生成された撮像画像に含まれるエッジ部分を検出し、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御する
　ことをコンピュータシステムが実行する撮像方法。
　被写体を撮像した撮像画像を生成するステップと、
　前記生成された撮像画像に含まれるエッジ部分を検出するステップと、
　前記検出されたエッジ部分ごとに、前記撮像画像における前記エッジ部分に関する色情報に基づいて、前記エッジ部分を強調する強調表示の色を制御するステップと
　をコンピュータシステムに実行させるプログラム。