JP7230807B2 - 信号処理装置、撮像装置、信号処理方法及びプログラム - Google Patents

Description

本開示は、信号処理装置、撮像装置、信号処理方法及びプログラムに関する。

焦点を検出する方式の一つとして像面位相差方式が提案されている（例えば、下記特許文献１を参照のこと）。像面位相差方式では、通常の画素とは別に焦点を検出するための位相差検出画素が同一の撮像素子に配置されている。

特開２０１５－４９４０２号公報

像面位相差方式において、焦点検出精度を向上させることが望まれる。

本開示は、焦点検出精度を向上させることができる信号処理装置、撮像装置、信号処理方法及びプログラムを提供することを目的の一つとする。

本開示は、例えば、
レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部と、
装着中のレンズの射出瞳距離を通信により取得する通信部と、
を有し、
撮像素子には、射出瞳距離が近いライン同士が隣接するように配置されており、
制御部は、
輝度が閾値以下の場合に、少なくとも、通信部を介して取得した装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、第１の出力の重みが大きくなるように加算し、加算により得られる加算値に基づいて測距情報を取得し、
輝度が閾値より大きい場合に、第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
信号処理装置である。

本開示は、例えば、
撮像光学系と、
レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子と、
撮像素子から供給される複数の位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部と、
装着中のレンズの射出瞳距離を通信により取得する通信部と、
を有し、
撮像素子には、射出瞳距離が近いライン同士が隣接するように配置されており、
制御部は、
輝度が閾値以下の場合に、少なくとも、通信部を介して取得した装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、第１の出力の重みが大きくなるように加算し、加算により得られる加算値に基づいて測距情報を取得し、
輝度が閾値より大きい場合に、第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
撮像装置である。

本開示は、例えば、
制御部が、レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の位相差検出画素の出力が加算された加算値に基づいて測距情報を取得し、
通信部が装着中のレンズの射出瞳距離を通信により取得し、
撮像素子には、射出瞳距離が近いライン同士が隣接するように配置されており、
制御部は、
輝度が閾値以下の場合に、少なくとも、通信部を介して取得した装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、第１の出力の重みが大きくなるように加算し、加算により得られる加算値に基づいて測距情報を取得し、
輝度が閾値より大きい場合に、第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
信号処理方法である。

本開示は、例えば、
制御部が、レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の位相差検出画素の出力が加算された加算値に基づいて測距情報を取得し、
通信部が装着中のレンズの射出瞳距離を通信により取得し、
撮像素子には、射出瞳距離が近いライン同士が隣接するように配置されており、
制御部は、
輝度が閾値以下の場合に、少なくとも、通信部を介して取得した装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、第１の出力の重みが大きくなるように加算し、加算により得られる加算値に基づいて測距情報を取得し、
輝度が閾値より大きい場合に、第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
信号処理方法をコンピュータに実行させるプログラムである。

本開示の少なくとも実施形態によれば、焦点検出精度を向上させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。

図１は、本開示の一実施形態に係る撮像装置の構成例を示す断面模式図である。 図２は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。 図３は、一対の位相差検出画素の構成例を説明するための図である。 図４は、一対の位相差検出画素に対する受光量が不均一となる例を説明するための図である。 図５は、瞳分割の例を説明するための図である。 図６Ａ及び図６Ｂは、本開示の一実施形態に係る位相差検出画素の配置例を説明するための図である。 図７Ａ～図７Ｅは、位相差検出画素の複数の例を説明するための図である。 図８は、本開示の一実施形態に係る撮像装置において行われる処理を説明するための図である。 図９は、本開示の一実施形態に係る撮像装置において行われる処理を説明するための図である。 図１０は、本開示の一実施形態に係る撮像装置において行われる処理の流れを示すフローチャートである。 図１１は、本開示の一実施形態に係る撮像装置において行われる処理を説明するうえで参考する図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図１４に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．一実施形態＞
＜２．変形例＞
＜３．応用例＞
以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。

＜１．一実施形態＞
［撮像装置の構成例］
始めに、本開示の一実施形態に係る撮像装置の構成例について説明する。図１は、本開示の一実施形態に係る撮像装置１の概略構成を示す断面模式図である。

撮像装置１は、例えば、ボディ（筐体）１０、撮影レンズ２２を備える光学撮像系２０、半透過ミラー１１、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、専用位相差ＡＦセンサ１３、電子ビューファインダ１４、ディスプレイ１５を備えている。

図１に示されるように、ボディ１０に対して光学撮像系２０が設けられている。光学撮像系２０は、例えば交換可能ないわゆるレンズ部であり、鏡筒２１内に撮影レンズ２２、絞り等が設けられている。撮影レンズ２２は、フォーカス駆動系（図示しない）によって駆動され、ＡＦ(Auto Focus)動作が可能とされている。本実施形態に係る光学撮像系２０は、所定のアダプタを介してボディ１０に着脱可能とされるものである。また、光学撮像系２０は、図示しないマイクロコンピュータを有しており、ボディ１０側の制御部と通信が可能なように構成されている。

半透過ミラー１１は、ボディ１０内において、撮影レンズ２２とボディ１０内の撮像素子１２Ａとの間に設けられている。半透過ミラー１１には、撮影レンズ２２を介して被写体光が入射する。半透過ミラー１１は、撮影レンズ２２を介して入射する被写体光の一部を上方の専用位相差ＡＦセンサ１３の方向に反射させ、また、被写体光の一部を撮像素子１２Ａへと透過させる。なお、半透過ミラー１１の透過度、反射率等は任意に設定することが可能である。

ボディ１０内には撮影画像生成用の撮像素子１２Ａが設けられている。撮像素子１２Ａとしては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。撮像素子１２Ａは、撮影レンズ２２を介して入射する被写体光を光電変換して電荷量に変換し、画像を生成する。画像信号は、ホワイトバランス調整処理、ガンマ補正処理などの所定の信号処理が施されて最終的に画像データとして、撮像装置１内の記憶媒体や撮像装置１に着脱可能とされる可搬型のメモリ等に保存される。

撮像素子１２Ａは、通常の撮像画素である例えば、Ｒ（Red）画素、Ｇ（Green）画素、Ｂ（Blue）画素を有するとともに、位相差焦点検出を行う像面位相差ＡＦセンサ１２Ｂを有している。撮像素子１２Ａの一部に配置される位相差検出画素により像面位相差ＡＦセンサ１２Ｂが構成されている。撮像素子を構成する各画素は被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。

専用位相差ＡＦセンサ１３は、例えば、ボディ１０内において半透過ミラー１１の上方に、且つ、撮像素子１２Ａの前方に位置するように設けられている。専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のＡＦ専用モジュールである。撮影レンズ２２により集光された被写体光は半透過ミラー１１で反射することによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は撮像装置１内においてデフォーカス量の算出を行う処理部などに供給される。このように、一実施形態に係る撮像装置１は、専用位相差ＡＦセンサ１３と像面位相差ＡＦセンサ１２Ｂとを用いてオートフォーカスを行う。

本実施形態では、専用位相差ＡＦセンサ１３は横線を検出し、像面位相差ＡＦセンサ１２Ｂは縦線を検出する。さらに、画像において専用位相差ＡＦセンサ１３がカバーする範囲と像面位相差ＡＦセンサ１２Ｂがカバーする範囲とが重なっていても良く、重なった範囲では横線及び縦線を検出するクロス測距が行われる。但し、撮像装置１が行うオートフォーカスの方式は、像面位相差ＡＦセンサ１２Ｂのみを用いた方式でも良い。

ボディ１０には電子ビューファインダ（EVF：Electronic View Finder）１４が設けられている。電子ビューファインダ１４は、例えば、液晶ディスプレイ（Liquid Crystal Display（ＬＣＤ））、有機ＥＬ(Electroluminescence:電界発光)ディスプレイなどを備える。電子ビューファインダ１４には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理することにより得られる画像データが供給される。電子ビューファインダ１４は、それらの画像データに対応する画像をリアルタイム画像（スルー画）として表示する。

ボディ１０には、ディスプレイ１５が設けられている。ディスプレイ１５は、液晶ディスプレイ、有機ＥＬ等のディスプレイである。ディスプレイ１５には、撮像素子１２Ａから取り出された画像信号を信号処理部（図示しない）で処理して得られる画像データが供給され、ディスプレイ１５はそれらをリアルタイム画像（いわゆるスルー画像）として表示する。図１においては、ディスプレイ１５は、ボディ１０の背面側に設けられているが、これに限られず、ボディ１０の上面などに設けても良いし、可動式や取り外し式として構成されても良い。ディスプレイ１５はボディ１０になくても良く、この場合、撮像装置１に接続されたテレビジョン装置等がディスプレイ１５として機能しても良い。また、ディスプレイ１５には、モードに応じたオートフォーカスが行われるエリア（例えば、矩形の枠）がリアルタイム画像に重畳されて表示される。

［撮像装置の内部構成例］
次に、図２のブロック図を参照して、撮像装置１の内部構成例（主に信号処理に係る構成例）について説明する。撮像装置１は、上述した光学撮像系２０、専用位相差ＡＦセンサ１３、撮像素子１２Ａ、像面位相差ＡＦセンサ１２Ｂ、ディスプレイ１５の他に、例えば、前処理回路３１、カメラ処理回路３２、画像メモリ３３、制御部３４、グラフィックＩ／Ｆ（Interface）３５、入力部３６、Ｒ／Ｗ（リーダ／ライタ）３７および記憶媒体３８を備えている。

光学撮像系２０は、被写体からの光を撮像素子１２Ａに集光するための撮影レンズ２２（フォーカスレンズ、ズームレンズなどを含む）、フォーカスレンズを移動させてフォーカス調整を行うレンズ駆動機構２２Ａ、シャッタ機構、アイリス機構などから構成されている。これらは制御部３４からの制御信号に基づいて駆動される。レンズ駆動機構２２Ａは、撮影レンズ２２を制御部３４から供給された制御信号に応じて光軸方向に沿って移動させることにより、ＡＦ動作を実現する。光学撮像系２０を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１２Ａ上に結像される。

専用位相差ＡＦセンサ１３は、例えば、位相差検出方式のＡＦ専用センサである。撮影レンズ２２により集光された被写体光は、半透過ミラー１１で反射されることによって専用位相差ＡＦセンサ１３に入射する。専用位相差ＡＦセンサ１３により検出された焦点検出信号は制御部３４に供給される。

撮像素子１２Ａは、上述したように、通常の撮像画素と位相差検出画素とを有するものである。像面位相差ＡＦセンサ１２Ｂは、複数の位相差検出画素からなるＡＦ用センサである。像面位相差ＡＦセンサ１２Ｂにより検出された焦点検出信号は制御部３４に供給される。

前処理回路３１は、撮像素子１２Ａから出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

カメラ処理回路３２は、前処理回路３１からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。

画像メモリ３３は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリであり、前処理回路３１およびカメラ処理回路３２によって所定の処理が施された画像データを一時的に蓄えておくものである。

制御部３４は、例えばＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ実行されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１全体の制御を行う。

また、制御部３４は、機能ブロックとして、例えば、ＡＦ制御部３４Ａと、通信部３４Ｂと、輝度算出部３４Ｃとを有している。ＡＦ制御部３４Ａは、像面位相差ＡＦセンサ１２Ｂ及び専用位相差ＡＦセンサ１３の出力に基づいてオートフォーカスを実現するための制御を実行する。詳細は後述するが、ＡＦ制御部３４Ａは、位相差特性が異なる複数の位相差検出画素が配置された撮像素子１２Ａから供給される複数の位相差検出画素の出力が加算された加算値に基づいて被写体までの距離である測距情報を取得する。そして、本実施形態では、ＡＦ制御部３４Ａは、位相差特性が異なる位相差検出画素の出力を加算し、その加算値に基づいて被写体までの距離である測距情報を取得し、取得した測距情報に基づいてオートフォーカスを実行する。なお、位相差特性が異なる位相差検出画素の出力を加算する処理が他の機能ブロックで行われてもよい。

通信部３４Ｂは、例えば光学撮像系２０と通信を行う。通信部３４Ｂは、光学撮像系２０と通信を行うことにより、撮影レンズ２２の射出瞳距離に関する情報を取得する。射出瞳距離は、ズームレンズ位置、フォーカスレンズ位置、Ｆ値などによって決まるものである。撮影レンズ２２が交換式のレンズの場合は、射出瞳距離は撮影レンズ２２内で算出される。撮影レンズ２２内のマイクロコンピュータは、事前にシミュレータ等で計算してズーム位置、フォーカスレンズ位置、Ｆ値などをパラメータにしたテーブルとして射出瞳距離の情報を持っており、このテーブルを参照して射出瞳距離を算出する。なお、射出瞳距離が制御部３４によって算出されても良い。

輝度算出部３４Ｃは、カメラ処理回路３２による処理が施された画像（例えば、ライブビュー（ＬＶ）画像）を使用して輝度を算出する。輝度を算出する方法は、公知の方法を適用することができる。

グラフィックＩ／Ｆ３５は、制御部３４から供給された画像信号から、ディスプレイ１５に表示させるための画像信号を生成して、この信号をディスプレイ１５に供給することにより画像を表示させる。ディスプレイ１５には、撮像中のスルー画、記憶媒体３８に記録された画像などが表示される。

入力部３６は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、ディスプレイ１５と一体に構成されたタッチスクリーンなどからなる。入力部３６に対して入力がなされると、当該入力に応じた制御信号が生成されて制御部３４に出力される。そして、制御部３４は当該制御信号に対応した演算処理や制御を行う。

Ｒ／Ｗ３７には、撮像により生成された画像データなどを記録する記憶媒体３８が接続されるインターフェースである。Ｒ／Ｗ３７は、制御部３４から供給されたデータを記憶媒体３８に書き込み、また、記憶媒体３８から読み出したデータを制御部３４に出力する。記憶媒体３８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。

[撮像装置の基本的な動作例]
ここで、上述した撮像装置１における基本的な動作について説明する。画像の撮像前には、撮像素子１２Ａによって受光されて光電変換された信号が、順次、前処理回路３１に供給される。前処理回路３１では、入力信号に対してＣＤＳ処理、ＡＧＣ処理などが施され、さらに画像信号に変換される。

カメラ処理回路３２は、前処理回路３１から供給された画像信号を画質補正処理し、スルー画像の信号として、制御部３４を介してグラフィックＩ／Ｆ３５に供給する。これにより、スルー画像がディスプレイ１５に表示される。ユーザはディスプレイ１５に表示されるスルー画像を見て画角合わせを行うことができる。

この状態で、入力部３６のシャッタボタンが押下されると、制御部３４は、光学撮像系２０に制御信号を出力して、光学撮像系２０を構成するシャッタを動作させる。これにより撮像素子１２Ａからは、１フレーム分の画像信号が出力される。

カメラ処理回路３２は、撮像素子１２Ａから前処理回路３１を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を制御部３４に供給する。制御部３４は、入力された画像信号を圧縮符号化し、生成した符号化データを、Ｒ／Ｗ３７に供給する。これにより、撮像された静止画像のデータファイルがＲ／Ｗ３７を介して記憶媒体３８に記憶される。なお、動画の撮影は、動画撮影の指示に応じて上述した処理がリアルタイムに行われる。動画撮影時にシャッタボタンを押すことにより、動画撮影時に静止画を撮影することも可能である。

一方、記憶媒体３８に記憶された画像ファイルを再生する場合には、制御部３４は、入力部３６からの操作入力に応じて、選択された静止画像ファイルを記憶媒体３８からＲ／Ｗ３７を介して読み込む。読み込まれた画像ファイルに対して伸張復号化処理が施される。そして、復号化された画像信号が制御部３４を介してグラフィックＩ／Ｆ３５に供給される。これにより、記憶媒体３８に記憶された静止画像がディスプレイ１５に表示される。

［一般的な像面位相差方式によるオートフォーカスについて］
次に、本開示の理解を容易とするために、一般的な像面位相差方式によるオートフォーカスについて説明する。

像面位相差方式では、撮像素子の所定のラインに位相差検出画素が例えばＧ（緑）の画素とともに配置される。例えば、一対の位相差検出画素Ａ及び位相差検出画素Ｂにより位相差検出画素対が構成される。複数の位相差検出画素対が、撮像素子の所定のラインに配置される。

位相差検出画素対により撮影レンズを通過した光を瞳分割し、複数の位相差検出画素Ａの出力および複数の位相差検出画素Ｂの出力をそれぞれ積分し一対の像（例えば、出力波形）を生成する。一対の像の差分（像の間のずれ量）を計測（位相差を検出）することによって合焦の度合いを検出することができる。合焦の度合いを検出する処理において、撮影レンズのＦ値等の光学条件を考慮した補正処理や、出力波形を増幅する増幅処理等が実行されてもよい。

図３は、位相差検出画素Ａ及び位相差検出画素Ｂの一例を示している。位相差検出画素Ａは、撮影レンズ２２を介して入射する光の入射方向（図３において矢印により示される方向）に対してオンチップレンズ４０Ａ、遮光マスク（ＭＴ）４１Ａ及びフォトダイオード（ＰＤ）４２Ａが順次、形成された構成を有している。遮光マスク４１Ａによりフォトダイオード４２Ａの一部が遮光されており、遮光マスク４１Ａにより遮光されていない箇所として開口４３Ａが形成されている。開口４３Ａからフォトダイオード４２Ａに光が入射するように構成されている。

位相差検出画素Ｂは、撮影レンズ２２を介して入射する光の入射方向に対してオンチップレンズ４０Ｂ、遮光マスク（ＭＴ）４１Ｂ及びフォトダイオード（ＰＤ）４２Ｂが順次、形成された構成を有している。遮光マスク４１Ｂによりフォトダイオード４２Ｂの一部が遮光されており、遮光マスク４１Ｂにより遮光されていない箇所として開口４３Ｂが形成されている。開口４３Ｂからフォトダイオード４２Ｂに光が入射するように構成されている。なお、図３では、フォトダイオード４２Ａ、４２Ｂのそれぞれが受光する受光量が、ハッチングが付された丸印で模式的に示されている。また、図３では、カラーフィルタ等の図示を適宜、省略している。カラーフィルタは、例えばオンチップレンズと遮光マスクとの間に配置される。

ところで通常、位相差検出画素は、ある射出瞳距離（ＥＰＤ(Exit Pupil Distance)）を想定し、この射出瞳距離に最適化した位相差特性を有している。一般的には、位相差検出画素は、例えば、汎用性のある撮影レンズの射出瞳距離に最適化した位相差特性を有している。ここで、位相差特性とは、対応する射出瞳距離の違いに基づく特性であり、具体的には、射出瞳距離の違いに応じて異なる位相差検出画素の開口位置の違い（遮光マスクの位置の違いでも良い）を意味する。

撮影レンズの射出瞳距離が想定通りの場合や、位相差検出画素の位相差特性と撮影レンズの射出瞳距離とが等しい場合には、図３の丸印が略等しい大きさとなっているように、フォトダイオード４２Ａ、４２Ｂのそれぞれが受光する受光量が略等しくなる。この場合には、位相差検出画素Ａ及び位相差検出画素Ｂの出力波形の大きさが略均等となることから、オートフォーカスの精度を確保することができる。

しかしながら、撮影レンズが交換式の場合には、撮影レンズ毎に射出瞳距離が異なる場合がある。射出瞳距離と位相差検出画素の位相差特性とが不一致の場合には、図４に模式的に示すように、フォトダイオード４２Ａ、４２Ｂのそれぞれが受光する受光量が不均等になる。受光量が不均等になると、位相差検出画素Ａの出力波形の大きさと位相差検出画素Ｂの出力波形の大きさとが不均等になり、両波形が一致する距離を算出するときの誤差が大きくなりオートフォーカスの精度が低下する。

そこで、本実施形態では、複数の射出瞳距離を設定し、対応する射出瞳距離を限定した位相差特性を有する位相差検出画素を撮像素子に配置する。この点について、図５を参照して説明する。図５は、撮像素子１２Ａに対する射出瞳距離を模式的に示した図であり、参照符号４４Ａが付された楕円は瞳が遠い場合を示し、参照符号４４Ｂが付された楕円は瞳が近い場合を示す。参照符号４４Ｃが付された矢印は、入射角が変化する範囲を示し、図示する例では、入射角がθＴからθＷにわたって変化する。

図５における、複数の黒い横線は、瞳分割の例を示している。なお、本実施形態では、複数の射出瞳距離を設定するという意味で瞳分割との用語が用いられる。図示の例では、１２分割の瞳分割に基づく１２個の射出瞳距離の例が示されている。そして、各射出瞳距離に対応して、位相差検出画素の位相差特性が異なる様子が示されている。例えば、ある射出瞳距離ＤＡに対して最適化された位相差特性を有する位相差検出画素（位相差検出画素Ａ及び位相差検出画素Ｂのどちらでも良い）が位相差検出画素４４Ｄとして示されている。また、射出瞳距離ＤＡと異なる射出瞳距離ＤＢに対して最適化された位相差特性を有する位相差検出画素（位相差検出画素Ａ及び位相差検出画素Ｂのどちらでも良い）が位相差検出画素４４Ｅとして示されている。位相差検出画素４４Ｄ、４４Ｅのそれぞれは、対応する射出瞳距離の撮影レンズが使用された場合、オートフォーカスの精度を確保できる程度の受光量が得られるように、開口位置が設定されている。

射出瞳距離が射出瞳距離ＤＡの撮影レンズが使用される場合には、位相差検出画素４４Ｄ及びこれと対を成す位相差検出画素が使用される。射出瞳距離が射出瞳距離ＤＢの撮影レンズが使用される場合には、位相差検出画素４４Ｅ及びこれと対を成す位相差検出画素が使用される。これにより、異なる射出瞳距離の撮影レンズが使用された場合でも、位相差検出画素への受光量が確保できるので、オートフォーカスの精度が低下してしまうことを防止することができる。

一方で、画質の低下を防止するため、撮像素子において位相差検出画素は通常画素（位相差検出画素でない画素）に比べて粗に配置される。さらに、図５に例示したように、１２個の射出瞳距離に対応して１２パターンの位相差検出画素が配置される場合には高精度のオートフォーカスが可能となるものの、全位相差検出画素のうち１／１２の位相差検出画素しか使用されない。このため、撮影条件、例えば、輝度が閾値以下となる低照度の環境下では位相差検出画素のＳ／Ｎの悪化が顕著になり、オートフォーカスの精度が悪化する恐れがある。以上の点に鑑みてなされた本開示の一実施形態についてさらに詳細に説明する。

［位相差検出画素の配置例］
図６Ａ及び図６Ｂは、撮像素子１２Ａにおける位相差検出画素の配置例を示す図である。図６Ａは、位相差検出画素の配置例を詳細に示した図であり、図６Ｂは、位相差検出画素の配置例を簡略化して示すことで広範囲にわたる位相差検出画素の配置例を示した図である。なお、図６Ａ及び図６Ｂは、いずれも撮像素子１２Ａの一部を示す図である。
る。

撮像素子１２Ａは、水平方向および垂直方向に複数の画素が配置された構成を有する。撮像素子１２Ａを構成する各画素は、カラーフィルタを有している。図６Ａに示すように、カラーフィルタは、Ｇ（緑）、Ｂ（青）、Ｒ（赤）の３つの原色フィルタが配列されたいわゆる、ベイヤー配列である。なお、本開示におけるカラーフィルタはベイヤー配列の原色フィルタに限定されるものではなく、Ｇ（緑）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）が配列された補色フィルタでも良い。また、ベイヤー配列のうちの一部がホワイト（Ｗ）でも良く、カラーフィルタの構成が省略されていても良い。

図６Ａに示すように、撮像素子１２Ａの所定のラインに位相差検出画素がＧの画素とともに配置されている。より具体的には、対を成す位相差検出画素Ａ及び位相差検出画素Ｂが撮像素子１２Ａの所定のラインに交互に配置されており、当該ラインに、位相差検出画素Ａ及び位相差検出画素Ｂからなる位相差検出画素対が、複数配置されている。

所定のライン数、例えば１２ラインを周期として、位相差検出画素が配置されるラインが設定されている。本実施形態では、ある連続した１２ラインの中に位相差検出画素が配置されるラインＳ０が設定され、次の連続した１２ラインの中に位相差検出画素が配置されるラインＳ１が設定され、さらに次の連続した１２ラインの中に位相差検出画素が配置されるラインＳ２が設定されている。同様にして、ラインＳ３～ラインＳ７が設定されている。従って、図６Ａ及び図６Ｂは、８個の射出瞳距離に対応した８パターンの位相差特性を有する位相差検出画素が、ラインＳ０～ラインＳ７にそれぞれ配置された例を示している。より具体的には、射出瞳距離Ｄ０に対応した位相差特性を有する位相差検出画素がラインＳ０に配置され、射出瞳距離Ｄ１に対応した位相差特性を有する位相差検出画素がラインＳ１に配置されている。同様に、射出瞳距離Ｄ２～Ｄ７に対応した位相差特性を有する位相差検出画素がラインＳ２～Ｓ７のそれぞれに配置されている。なお、本実施形態では、射出瞳距離が近いライン同士が隣接している。例えば、射出瞳距離Ｄ０～Ｄ７が昇順（例えば、Ｄ０が最も大きくＤ７が最も小さい）となるように設定され、それぞれの射出瞳距離に対応するラインＳ０～Ｓ７が１２ラインの中に配置されている。

［位相差検出画素について］
次に、図７を参照して位相差検出画素について詳細に説明する。図７は、位相差検出画素の開口パターンを示している。位相差検出画素は、例えば、図３を用いて説明した構成を有しており、本実施形態に係る位相差検出画素は、縦線を検出する。例えば、位相差検出画素Ａは、図７Ａに示すように、左側が開口４３Ａとされた左開口画素である。この場合は、位相差検出画素Ｂは、右側が開口４３Ｂとされた右開口画素である。また、位相差検出画素Ａが、図７Ｂに示すように、右側が開口４３Ａとされた右開口画素でも良い。

なお、位相差検出画素は、横線を検出しても良い。位相差検出画素Ａは、図７Ｃに示すように、上側が開口４３Ａとされた左開口画素でも良く、図７Ｄに示すように、下側が開口４３Ａとされた下開口画素でも良い（なお、対を成す位相差検出画素Ｂは、位相差検出画素Ａの開口位置に対して開口位置が反対になる）。さらに、位相差検出画素は、図７Ｅに示すように、例えば１個のオンチップレンズ４５に対して２個のフォトダイオード（フォトダイオード４５Ａ、４５Ｂ）を有する構成でも良い。すなわち、１の位相差検出画素が、位相差検出画素Ａ及び位相差検出画素Ｂを有する構成でも良い。フォトダイオード４５Ａ、４５Ｂは左右に配列されていても良いし、上下に配列されてもいても良い。

［撮像装置の動作例］
次に、撮像装置１の動作例について説明する。撮像装置１の動作例について概略的に説明すれば、撮像装置１は、撮影条件が所定の条件を満たすか否かに応じて、所定のラインに配置される位相差検出画素の出力を用いてオートフォーカスを実行するか、若しくは、複数のラインのそれぞれに配置される位相差検出画素の出力を用いてオートフォーカスを実行するかを切り替える。ここで、撮影条件は、撮像装置１の設定（感度、シャッタースピード、絞り等の設定）や、輝度を含む概念であり、本実施形態では、撮影条件の一例として輝度を用いる。輝度としては、例えば、ＥＶ(Exposure Value)値を用いることができる。本実施形態では、光学撮像系２０を介して得られる画像信号の輝度に基づいて輝度を判別するようにしているが、測光用センサ等を用いて判別しても良い。また、本実施形態に係る所定の条件は輝度が閾値より小さいか否かである。なお、閾値より小さいとは、閾値以下でも良いし閾値未満であっても良い。また、閾値より大きいとは、閾値以上でも良いし閾値より大きくても良い。

具体的な動作例について、図８を参照して説明する。制御部３４の輝度算出部３４Ｃが、光学撮像系２０を介して得られる画像に基づいて輝度を算出する。この輝度は、例えば、位相差検出画素の露光より前のフレームにおける通常画素の露光により得られる画像における輝度に基づくものである。また、制御部３４の通信部３４Ｂが光学撮像系２０の撮影レンズ２２と通信を行い、撮影レンズ２２に対応する射出瞳距離を取得する。例えば、輝度が条件を満たさない場合、換言すれば、輝度が閾値より大きい場合には、ＡＦ制御部３４Ａは、撮影レンズ２２の射出瞳距離に対応した位相差特性を有する位相差検出画素の出力を用いてオートフォーカスを実行する。

例えば、通信部３４Ｂにより取得された撮影レンズ２２の射出瞳距離がＤ０である場合には、ＡＦ制御部３４Ａは、射出瞳距離Ｄ０に対応する位相差特性を有する位相差検出画素が配置されるライン、すなわち、ラインＳ０に配置される位相差検出画素の出力を用いてオートフォーカスを実行する。具体的には、ＡＦ制御部３４Ａは、ラインＳ０に配置されている複数の位相差検出画素Ａの出力および複数の位相差検出画素Ｂの出力をそれぞれ積分し一対の像（例えば、出力波形）を生成する。そして、ＡＦ制御部３４Ａは、一対の像の差分（像の間のずれ量）を計測（位相差を検出）することによってデフォーカス量（ＤＦ量）を検出する。検出結果に応じて、ＡＦ制御部３４Ａは、レンズを移動させるための制御信号を出力する。当該制御信号に基づいてレンズ駆動機構２２Ａが動作し、レンズが所定方向に移動することによりオートフォーカスが実行される。

また、通信部３４Ｂにより取得された撮影レンズ２２の射出瞳距離がＤ１である場合には、ＡＦ制御部３４Ａは、射出瞳距離Ｄ１に対応する位相差特性を有する位相差検出画素が配置されるライン、すなわち、ラインＳ１に配置される位相差検出画素の出力を用いてオートフォーカスを実行する。すなわち、図８の矢印で示すように、輝度が閾値より小さくない場合には、ＡＦ制御部３４Ａは、撮影レンズ２２の射出瞳距離に対応する位相差特性を有する位相差検出画素のみの出力を用いてオートフォーカスを実行する。なお、以下の説明において、撮影レンズ２２の射出瞳距離に対応する位相差特性を有する位相差検出画素が配置されるライン（第１のライン）を、指定瞳ラインと称する場合がある。

次に、輝度が条件を満たす場合、換言すれば、輝度が閾値より小さい場合の撮像装置１の動作例について図９を参照して説明する。

制御部３４の通信部３４Ｂが光学撮像系２０の撮影レンズ２２と通信を行い、撮影レンズ２２に対応する射出瞳距離を取得する。輝度が閾値より小さい場合には、ＡＦ制御部３４Ａは、指定瞳ラインに配置される位相差検出画素の出力及び指定瞳ラインに隣接するラインに配置される位相差検出画素の出力を用いてオートフォーカスを実行する。なお、隣接するラインとは、位相差検出画素が配置されるラインの中で所定のライン（例えば、指定瞳ライン）に隣接するラインを意味し、当該所定のライン（例えば、指定瞳ライン）の隣に位置するライン（通常画素のみのライン）を除いて隣接するという意味である。

具体例を挙げて説明する。例えば、通信部３４Ｂにより取得された撮影レンズ２２の射出瞳距離がＤ１とする。ＡＦ制御部３４Ａは、射出瞳距離Ｄ１に対応する位相差特性を有する位相差検出画素が配置されるライン、すなわち、ラインＳ１を指定瞳ラインに設定する。そして、指定瞳ラインであるラインＳ１に隣接するライン（第２のライン）であるラインＳ０、Ｓ２を判別する。ＡＦ制御部３４Ａは、指定瞳ラインＳ１、ラインＳ０及びラインＳ２の出力を加算する。具体的には、図９の左側に示すように、ＡＦ制御部３４Ａは、指定瞳ラインＳ１、ラインＳ０及びラインＳ２のそれぞれに配置される位相差検出画素Ａの出力を加算し、加算結果を、位相差特性が異なるパターンの数（ライン数）である３で除算する（加算平均）。また、ＡＦ制御部３４Ａは、指定瞳ラインＳ１、ラインＳ０及びラインＳ２のそれぞれに配置される位相差検出画素Ｂの出力を加算し、加算結果である加算値を、位相差特性の数（ライン数）である３で除算する（加算平均）。それぞれの演算結果に基づく一対の像の差分（像の間のずれ量）を計測（位相差を検出）することによってデフォーカス量（ＤＦ量）を検出する。検出結果に応じて、ＡＦ制御部３４Ａは、レンズを移動させるための制御信号を出力する。当該制御信号に基づいてレンズ駆動機構２２Ａが動作し、レンズが所定方向に移動することによりオートフォーカスが実行される。

通信部３４Ｂにより取得された撮影レンズ２２の射出瞳距離がＤ２の場合には、ラインＳ２が指定瞳ラインとして設定される。そして、指定瞳ラインであるラインＳ２に隣接するラインであるラインＳ１、Ｓ３が判別される。以下、上述したようにしてＡＦ制御部３４Ａがオートフォーカスを実行する。他のラインが指定瞳ラインとして設定された場合にも同様にしてオートフォーカスが実行される。

なお、射出瞳距離が極端（例えば、Ｄ０、Ｄ７）な撮影レンズ２２が使用される場合は実際上、少ないものの皆無では無い。従って、ラインＳ０やラインＳ７が指定瞳ラインとして設定される場合もあり得る。例えば、ラインＳ０が指定瞳ラインとされた場合には、図９に示すように、ラインＳ０に隣接するラインＳ１及びラインＳ１に隣接するラインＳ２がオートフォーカスに用いられるラインとして設定される。指定瞳ラインＳ０、ラインＳ１及びラインＳ２のそれぞれに配置された位相差検出画素Ａ及び位相差検出画素Ｂの出力がそれぞれ加算平均され、演算結果に応じたオートフォーカスが実行される。ラインＳ７が指定瞳ラインとして設定された場合には、指定瞳ラインＳ７、ラインＳ６及びラインＳ５のそれぞれに配置された位相差検出画素Ａ及び位相差検出画素Ｂの出力が加算平均され、演算結果に応じたオートフォーカスが実行される。このように、指定瞳ラインに隣接するラインは１のラインである場合もあり、２のラインの場合もある。

上述した例は、３ラインのそれぞれに配置された位相差検出画素の出力を加算平均する３加算平均の例であるが、図９の右側に示すように、５加算平均であっても良い。例えば、ラインＳ３が指定瞳ラインとして設定された場合には、指定瞳ラインＳ３に隣接するラインＳ２、ラインＳ４と、ラインＳ２及びＳ４にそれぞれ隣接するライン（第３のライン）であるラインＳ１及びラインＳ５がオートフォーカスに用いられるラインとして設定される。指定瞳ラインＳ３、ラインＳ２、ラインＳ４、ラインＳ１及びラインＳ５のそれぞれに配置された位相差検出画素Ａ及び位相差検出画素Ｂの出力がそれぞれ加算平均され、演算結果に応じたオートフォーカスが実行される。

以上説明したように、本実施形態では、例えば輝度が閾値以下の場合、すなわち、低照度下の場合に、複数のラインに配置される位相差検出画素の出力を用いてオートフォーカスを実行するようにしている。従って、低照度下による位相差検出画素の出力不足を回避できるので、オートフォーカスの精度が悪化してしまうことを抑制することができる。

［処理の流れ］
撮像装置１で実行される処理の流れの一例について、図１０のフローチャート及び図１１を参照して説明する。

ステップＳＴ１０では、入力部３６の一つであるシャッタボタンが半分程度押される（半押し）。本実施形態ではシャッタボタンの半押しに伴ってオートフォーカスが行われるが、他のタイミングでオートフォーカスが行われても良い。そして、処理がステップＳＴ１１に進む。

ステップＳＴ１１では、撮影レンズ２２からボディ１０に対して撮影レンズ２２の射出瞳距離を示す射出瞳距離情報が供給される。具体的には、制御部３４の通信部３４Ｂが光学撮像系２０と通信を行うことで、通信部３４Ｂが撮影レンズ２２の射出瞳距離情報を取得する。そして、処理がステップＳＴ１２に進む。

本例では、図１１に示すように、射出瞳距離が短いレンズ（短瞳レンズ）５１Ａと射出瞳距離が長いレンズ（長瞳レンズ）５２Ａとの間の射出瞳距離が８分割され、８個の射出瞳距離（瞳パターン）が設定されている。ラインＳ０～Ｓ７には、それぞれの瞳パターンに対応する位相差特性を有する位相差検出画素が配置されている。ステップＳＴ１２では、ステップＳＴ１１で通信部３４Ｂにより取得された射出瞳距離と同じ瞳パターンが選択される。なお、ステップＳＴ１１で通信部３４Ｂにより取得された射出瞳距離と同じ瞳パターンがない場合には、最も近い瞳パターンが選択される。ここでは、ラインＳ１に対応する瞳パターンが選択されたものとする。この場合には、図１１に示すように、ラインＳ１に配置される位相差検出画素Ａ及び位相差検出画素Ｂへの受光量は略均等になるが、ラインＳ２に配置される位相差検出画素Ａ及び位相差検出画素Ｂへの受光量は不均一となる。そして、処理がステップＳＴ１３に進む。

ステップＳＴ１３では、所定の画像を元に輝度が算出される。例えば、カメラ処理回路３２による処理が施された画像が制御部３４に供給される。輝度算出部３４Ｃは、供給された画像の輝度を算出する。そして、処理がステップＳＴ１４に進む。

ステップＳＴ１４では、輝度が所定値以下であるか否かが判断される。ここで、輝度が所定値以下である場合には、処理がステップＳＴ１５に進む。

ステップＳＴ１５では、例えば、指定瞳ラインＳ１と、指定瞳ラインでなく（異瞳）且つ指定瞳ラインＳ１に隣接するラインＳ０、Ｓ２がオートフォーカスに用いられるラインとして設定される。そして、指定瞳ラインＳ１、ラインＳ０及びＳ２に配置されている位相差検出画素Ａの出力が加算され、加算値がライン数である３で除算される。また、指定瞳ラインＳ１、ラインＳ０及びＳ２に配置されている位相差検出画素Ｂの出力が加算され、ライン数である３で除算される。そして、処理がステップＳＴ１７に進む。

一方、ステップＳＴ１２の判断処理において、輝度が所定値以下でない場合には、処理がステップＳＴ１６に進む。ステップＳＴ１６では、指定瞳ラインＳ１に配置される位相差検出画素Ａ及び位相差検出画素Ｂの出力がそれぞれ加算される。そして、処理がステップＳＴ１７に進む。

ステップＳＴ１７では、ステップＳＴ１５又はステップＳＴ１６の演算結果に基づいて位相差が検波される。例えば、位相差検出画素Ａに関する演算結果及び位相差検出画素Ｂに関する演算結果に基づいて一対の像（例えば、出力波形）を生成する。そして、ＡＦ制御部３４Ａは、一対の像の差分（像の間のずれ量）を計測することによって位相差を検波する。そして、処理がステップＳＴ１８に進む。

ステップＳＴ１８では、ステップＳＴ１７における位相差の検波結果に基づいて、ＡＦ制御部３４Ａがデフォーカス量（ＤＦ量）を算出する。そして、処理がステップＳＴ１９に進む。

ステップＳＴ１９では、ＡＦ制御部３４Ａからレンズ駆動機構２２Ａに対して撮影レンズ２２の駆動量を指示する制御信号が供給される。すなわち、ステップＳＴ１８で算出されたデフォーカス量を打ち消すように撮影レンズ２２の駆動方向及び駆動量がＡＦ制御部３４Ａにより演算され、演算結果に基づく制御信号がＡＦ制御部３４Ａからレンズ駆動機構２２Ａに供給される。そして、処理がステップＳＴ２０に進む。

ステップＳＴ２０では、制御部３４から供給される制御信号に応じてレンズ駆動機構２２Ａが動作することにより撮影レンズ２２が合焦位置まで駆動され、オートフォーカスが実行される。そして、処理がステップＳＴ２１に進み、オートフォーカスが終了する。

＜２．変形例＞
以上、本開示の実施形態について具体的に説明したが、本開示は、上述の実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。

上述した一実施形態では、異瞳のラインの出力を指定瞳ラインの出力に対して加算平均する例について説明したが、これに限定されるものではない。例えば、重み付け平均でも良い。具体例として、指定瞳ラインの位相差検出画素の出力に対して重みが大きくなるように重み付けがなされ、異瞳のラインの位相差検出画素の出力に対して重みが小さくなるように重み付けがなされ、それらの出力が加算平均されるようにしても良い。また、位相差検出画素の出力の平均を取らずに単に加算だけするようにしても良い。

上述した一実施形態では、瞳分割を８分割した例について説明したが、これに限定されることはなく適宜な分割数とすることができる。また、撮像素子１２Ａにおける位相差検出画素の配置は上述した一実施形態で説明した配置例に限定されるものではなく、適宜、変更することができる。さらに、指定瞳ラインの出力に加算平均される異瞳のラインは、指定瞳ラインに隣接する一方のラインだけであっても良い。

上述した実施形態では、制御部３４が取得した測距情報をオートフォーカスに用いる例について説明したが、これに限定されるものではない。例えば、フォーカスアシストのために画像に測距情報を表示するようにしても良い。

上述した実施形態では、位相差特性が異なる位相差検出画素がライン方向（横方向）に沿って配置される例を説明したが、位相差特性が異なる位相差検出画素がコラム方向（縦方向）に沿って配置されていても良い。

上述した実施形態において、制御部３４が複数の上下方向に最も近い位相差検出画素の出力を加算するようにしても良い。

上述した実施形態における撮像装置は、オートフォーカスを行う撮像装置に対して適用することができ、例えば、顕微鏡等の医療用の撮像装置やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（車両、電車、飛行機、ヘリコプター、小型飛行体、工事用車両、農業用車両等）に組み込まれる撮像装置、業務用の撮像装置等に対して適用することができる。

本開示は、制御部３４を有する信号処理装置（例えば、１チップのマイクロコンピュータ）により実現することも可能であるし、複数の装置からなる撮像システムとして実現することも可能である他、方法、プログラム等により実現することもできる。例えば、一実施形態で説明した制御を行うプログラムをダウンロード可能とし、一実施形態で説明した制御機能を有しない撮像装置（例えば、スマートフォンに備えられる撮像装置）が当該プログラムをダウンロードしてインストールすることにより、当該撮像装置において一実施形態で説明した制御を行うことが可能となる。

本開示は、以下の構成も採ることができる。
（１）
位相差特性が異なる複数の位相差検出画素が配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部を有する信号処理装置。
（２）
前記制御部は、前記測距情報に基づいて、オートフォーカスを実行する
（１）に記載の信号処理装置。
（３）
前記制御部は、前記位相差特性が異なる位相差検出画素の出力を加算する
（１）又は（２）に記載の信号処理装置。
（４）
前記制御部は、撮影条件が所定の条件を満たすか否かに応じて、前記位相差特性が異なる位相差検出画素の出力を加算する
（３）に記載の信号処理装置。
（５）
前記撮影条件が輝度であり、
前記制御部は、前記輝度が閾値より小さい場合に、前記位相差特性が異なる位相差検出画素の出力を加算する
（４）に記載の信号処理装置。
（６）
前記位相差特性が異なる位相差検出画素が、前記撮像素子における異なるラインに配置されている
（１）から（５）までの何れかに記載の信号処理装置。
（７）
前記制御部は、前記撮影条件が所定の条件を満たすか否かに応じて、少なくとも、第１のラインに配置される位相差検出画素の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の出力とを加算する
（４）に記載の信号処理装置。
（８）
前記第２のラインは、１又は２のラインである
（７）に記載の信号処理装置。
（９）
前記制御部は、前記撮影条件が所定の条件を満たすか否かに応じて、第１のラインに配置される位相差検出画素の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の出力と、前記第２のラインに隣接する第３のラインに配置される位相差検出画素の出力とを加算する
（７）又は（８）に記載の信号処理装置。
（１０）
前記制御部は、
前記撮影条件が所定の条件を満たす場合に、少なくとも、第１のラインに配置される位相差検出画素の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の出力とを加算し、
前記撮影条件が所定の条件を満たさない場合に、前記第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
（７）から（９）までの何れかに記載の信号処理装置。
（１１）
前記第１のラインは、レンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置されるラインである
（７）から（１０）までの何れかに記載の信号処理装置。
（１２）
前記制御部は、前記レンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置されたラインを前記第１のラインとして設定する
（１１）に記載の信号処理装置。
（１３）
前記レンズの射出瞳距離を通信により取得する通信部を有し、
前記制御部は、取得された前記レンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置されたラインを前記第１のラインとして設定する
（１２）に記載の信号処理装置。
（１４）
前記位相差特性は、対応する射出瞳距離の違いに基づく特性である
（１）から（１３）までの何れかに記載の信号処理装置。
（１５）
前記対応する射出瞳距離の違いに応じて、前記位相差検出画素の開口位置が異なるようにされている
（１４）に記載の信号処理装置。
（１６）
前記撮像素子において、所定のライン数を周期として、所定の位相差特性に対応する位相差検出画素が配置されるラインが形成される
（１）から（１５）までの何れかに記載の信号処理装置。
（１７）
前記制御部は、前記加算値を異なる位相差特性の数で除算する
（１）から（１６）までの何れかに記載の信号処理装置。
（１８）
撮像光学系と、
前記撮像光学系により取り込まれた光が照射され、位相差特性が異なる複数の位相差検出画素が配置された撮像素子と、
前記撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部と
を有する撮像装置。
（１９）
制御部が、位相差特性が異なる複数の位相差検出画素が配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する信号処理方法。
（２０）
制御部が、位相差特性が異なる複数の位相差検出画素が配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する信号処理方法をコンピュータに実行させるプログラム。

＜３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図１２は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１２を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図１２では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図１２では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図１３は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１３では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１３を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図１４は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１２に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１４では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１２に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インターフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１４では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図１５を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１５は、図１４に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図１５を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、シーリングカメラ５１８７、術場カメラ５１８９、ＣＣＵ５１５３等に好適に適用され得る。具体的には、ＣＣＵ５１５３の制御部５１７７に本開示に係る技術を適用することにより、術部画像内における各種の物体を鮮明に表示することができる。

１・・・撮像装置、１２Ａ・・・撮像素子、１２Ｂ・・・像面位相差ＡＦセンサ、２０・・・光学撮像系、２２・・・撮影レンズ、２２Ａ・・・レンズ駆動機構、３４・・・制御部、３４Ａ・・・ＡＦ制御部、３４Ｂ・・・通信部、Ａ，Ｂ・・・位相差検出画素

Claims (10)

1. レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部と、
   装着中のレンズの射出瞳距離を通信により取得する通信部と、
   を有し、
   前記撮像素子には、前記射出瞳距離が近い前記ライン同士が隣接するように配置されており、
   前記制御部は、
   輝度が閾値以下の場合に、少なくとも、前記通信部を介して取得した前記装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、前記第１の出力の重みが大きくなるように加算し、前記加算により得られる加算値に基づいて前記測距情報を取得し、
   前記輝度が前記閾値より大きい場合に、前記第１のラインに配置される位相差検出画素の出力を用いて前記測距情報を取得する
   信号処理装置。
2. 前記制御部は、前記測距情報に基づいて、オートフォーカスを実行する
   請求項１に記載の信号処理装置。
3. 前記第２のラインは、１又は２のラインである
   請求項１又は２に記載の信号処理装置。
4. 前記制御部は、前記輝度が閾値以下の場合に、前記第１の出力と、前記第２の出力と、前記第２のラインに隣接する第３のラインに配置される位相差検出画素の出力とを加算し、前記加算により得られる加算値に基づいて前記測距情報を取得する
   請求項１から３までの何れかに記載の信号処理装置。
5. 対応する前記射出瞳距離の違いに応じて、前記位相差検出画素の開口位置が異なるようにされている
   請求項１から４までの何れかに記載の信号処理装置。
6. 前記撮像素子において、所定のライン数を周期として、所定の位相差特性に対応する位相差検出画素が配置されるラインが形成される
   請求項１から５までの何れかに記載の信号処理装置。
7. 前記制御部は、前記加算値を異なる位相差特性のライン数で除算する
   請求項１から６までの何れかに記載の信号処理装置。
8. 撮像光学系と、
   レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子と、
   前記撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得する制御部と、
   装着中のレンズの射出瞳距離を通信により取得する通信部と、
   を有し、
   前記撮像素子には、前記射出瞳距離が近い前記ライン同士が隣接するように配置されており、
   前記制御部は、
   輝度が閾値以下の場合に、少なくとも、前記通信部を介して取得した前記装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、前記第１の出力の重みが大きくなるように加算し、前記加算により得られる加算値に基づいて前記測距情報を取得し、
   前記輝度が前記閾値より大きい場合に、前記第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
   撮像装置。
9. 制御部が、レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得し、
   通信部が装着中のレンズの射出瞳距離を通信により取得し、
   前記撮像素子には、前記射出瞳距離が近い前記ライン同士が隣接するように配置されており、
   前記制御部は、
   輝度が閾値以下の場合に、少なくとも、前記通信部を介して取得した前記装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、前記第１の出力の重みが大きくなるように加算し、前記加算により得られる加算値に基づいて前記測距情報を取得し、
   前記輝度が前記閾値より大きい場合に、前記第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
   信号処理方法。
10. 制御部が、レンズの射出瞳距離に対応する位相差特性が異なる複数の位相差検出画素が異なるラインに配置された撮像素子から供給される複数の前記位相差検出画素の出力が加算された加算値に基づいて測距情報を取得し、
    通信部が装着中のレンズの射出瞳距離を通信により取得し、
    前記撮像素子には、前記射出瞳距離が近い前記ライン同士が隣接するように配置されており、
    前記制御部は、
    輝度が閾値以下の場合に、少なくとも、前記通信部を介して取得した前記装着中のレンズの射出瞳距離に対応する位相差特性を有する位相差検出画素が配置される第１のラインに配置される位相差検出画素の第１の出力と、前記第１のラインに隣接する第２のラインに配置される位相差検出画素の第２の出力とを、前記第１の出力の重みが大きくなるように加算し、前記加算により得られる加算値に基づいて前記測距情報を取得し、
    前記輝度が前記閾値より大きい場合に、前記第１のラインに配置される位相差検出画素の出力を用いて測距情報を取得する
    信号処理方法をコンピュータに実行させるプログラム。

Images