JPWO2016158119A1 - 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置 - Google Patents

Abstract

医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置を提供する。２以上のカメラの中から１の基準カメラを選択する選択部と、前記基準カメラの動きを検出する動き検出部と、前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、を備える、医療用観察装置。

Description

本開示は、医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置に関する。

従来、カメラなどで映像を撮影する際に、カメラなどが振動して生じる、手振れによる映像の乱れを補正する、手振れ補正手法が研究されている。例えば、特許文献１には、２つのカメラを有するビデオスコープにおいて、画ぶれを補正する方法が開示されている。

特開平１１−１６８７１７号公報

しかし、生じた手振れによっては、手振れ補正後の画像は手振れ補正前の画像と比較して画質が劣化してしまい、その結果、ユーザ（観察者）の快適な立体視が阻害される恐れがあった。

そこで、本開示では、ユーザが快適に立体視を行うことが可能な、新規かつ改良された医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置を提案する。

２以上のカメラの中から１の基準カメラを選択する選択部と、前記基準カメラの動きを検出する動き検出部と、前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、を備える、医療用観察装置が提供される。

また、本開示によれば、レンズの合焦状態を示すフォーカス評価値を、２以上のレンズの各々について算出する評価値算出部と、前記フォーカス評価値に基づいて、前記２以上のレンズに共通するレンズ移動パラメータを特定する移動制御部と、を備えるレンズ駆動制御装置が提供される。

また、本開示によれば、２以上のカメラの中から１の基準カメラを選択することと、前記基準カメラの動きを検出することと、前記基準カメラの動きを減殺する第一の補正情報を取得することと、前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに２以上のカメラの中から１の基準カメラを選択する処理と、前記基準カメラの動きを検出する処理と、前記基準カメラの動きを減殺する第一の補正情報を取得することと、前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する処理と、を行わせるための、プログラムが提供される。

また、本開示によれば、撮像素子を有する２以上のカメラと、前記２以上のカメラの中から１の基準カメラを選択する選択部と、前記基準カメラの動きを検出する動き検出部と、前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、を備え、前記２以上のカメラは顕微鏡像を撮影する、ビデオ顕微鏡装置が提供される。

以上説明したように本開示によれば、ユーザが快適に立体視を行うことが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第一の実施形態にかかる医療用観察システム１の概要を示す説明図である。 同実施形態にかかる内視鏡装置１０−１の内部構成を示す説明図である。 同実施形態にかかる制御装置２０−１の構成を示す説明図である。 同実施形態にかかる医療用観察システム１の動作を説明するための説明図である。 同実施形態にかかる医療用観察システム１の動作を説明するための説明図である。 同実施形態にかかる変形例の動作を説明するための説明図である。 同実施形態にかかる変形例において記憶部が記憶するユーザ情報の一例を示す説明図である。 本開示の第二の実施形態の比較例にかかる内視鏡装置５０の内部構成を示す説明図である。 同比較例にかかる制御装置６０の構成を示す説明図である。 同関連技術にかかるレンズ制御を説明するための説明図である。 同関連技術にかかるレンズ制御を説明するための説明図である。 本開示の第二の実施形態にかかる内視鏡装置１０の内部構成を示す説明図である。 同実施形態にかかる制御装置２０の内部構成を示す説明図である。 同実施形態の動作を説明するための説明図である。 本開示の第三の実施形態にかかる手振れ補正の概要を説明するための説明図である。 同実施形態にかかる手振れ補正の概要を説明するための説明図である。 同実施形態にかかる手振れ補正の概要を説明するための説明図である。 同実施形態にかかる手振れ補正の概要を説明するための説明図である。 同実施形態にかかる制御装置２０の構成を示す説明図である。 同実施形態にかかる補正制御部２７の構成を示す説明図である。 同実施形態にかかる医療用観察システム１の動作を説明するための説明図である。 同実施形態にかかる非基準カメラ補正情報の取得方法を説明するための説明図である。 同実施形態にかかる非基準カメラ補正情報の取得方法を説明するための説明図である。 同実施形態にかかる非基準カメラ補正情報の取得方法を説明するための説明図である。 同実施形態にかかる非基準カメラ補正情報の取得方法を説明するための説明図である。 同実施形態にかかる制御装置２０のハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．第一の実施形態＞＞
＜１−１．第一の実施形態の概要＞
＜１−２．第一の実施形態の構成＞
＜１−３．第一の実施形態の動作＞
＜１−４．第一の実施形態の効果＞
＜１−５．第一の実施形態の変形例＞
＜＜２．第二の実施形態＞＞
＜２−１．第二の実施形態の概要＞
＜２−２．第二の実施形態の構成＞
＜２−３．第二の実施形態の動作＞
＜２−４．第二の実施形態の効果＞
＜＜３．第三の実施形態＞＞
＜３−１．第三の実施形態の概要＞
＜３−２．第三の実施形態の構成＞
＜３−３．第三の実施形態の動作＞
＜３−４．第三の実施形態の効果＞
＜３−５．第三の実施形態の変形例＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞

＜＜１．第一の実施形態＞＞
＜１−１．第一の実施形態の概要＞
まず、図面を参照しながら本開示の第一の実施形態にかかる医療用観察システムの概要を説明する。図１は、本開示の第一の実施形態にかかる医療用観察システムの概要を示す説明図である。

図１に示したように、本開示の第一の実施形態にかかる医療用観察システム１は、内視鏡装置１０、制御装置２０、表示装置３０を備える。図１に示したように、内視鏡装置１０は主に患者４の体内に挿入され、制御装置２０が内視鏡装置１０の制御と各種処理を行い、表示装置３０には患者４の体内の映像が表示される。

内視鏡装置１０は、内部に２以上のカメラを有し、表示装置３０には立体視可能な左目用の画像と右目用の画像が表示される。立体視可能な画像により、ユーザは患者４の体内の状況をより正確に把握することが可能である。

２以上のカメラに共通するレンズ駆動制御機構を有する内視鏡装置では、例えば、いずれかのカメラが有する合焦調整用レンズを基準レンズとして、基準レンズの移動に合わせて他のカメラの合焦調整用レンズを移動させることで合焦調整が行われる。ここで、各カメラの合焦調整用レンズの位置は製造過程において事前に調整されているが、調整が行われた場合でもカメラ間で誤差の発生を防ぐことは困難である。その結果、基準レンズを用いて合焦調整を行うと、基準レンズを有するカメラ以外のカメラでは高精度に合焦せず、画質の悪い画像が撮像されてしまい、ユーザに提示される画像の画質が左目と右目で異なってしまう場合があった。特に、内視鏡装置などの医療用機器は、被写体に近接して用いられる場合が多く、カメラ間の小さな誤差が大きな画質の差につながる恐れがあった。

一方、人間の視覚に関し、人によって利き目が異なり、利き目により画質の良い画像を提示した方が、利き目により画質の悪い画像を提示するよりも快適な立体視が可能であるという研究が知られている。しかし、従来の内視鏡装置では、上記の基準レンズが例えば設計や製造の段階で予め定められ、例えば、予め定められた基準レンズの合焦状態しか評価を行うことが出来なかった。しかし、ユーザの利き目に対応する側のレンズが基準レンズであるとは限らない。その結果、ユーザによっては利き目により画質の悪い画像が提示されてしまい、ユーザの快適な立体視が阻害される恐れがあった。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による医療用観察システム１では、制御装置２０−１が、ユーザの入力に基づいて選択される基準レンズに対応するフォーカス評価値に基づいて特定された、左右の合焦調整用レンズに共通するレンズ移動パラメータを、内視鏡装置１０−１に提供する。内視鏡装置１０−１は、当該レンズ移動パラメータに基づいて左右の合焦調整用レンズを移動させることで、ユーザが望むカメラを基準として合焦調整することができる。本実施形態によれば、ユーザにとって快適な立体視が可能である。以下、このような効果を有する本実施形態にかかる内視鏡装置１０−１と制御装置２０−１の構成について図２，３を参照して順次詳細に説明する。

＜１−２．第一の実施形態の構成＞
（内視鏡装置）
図２は本実施形態にかかる内視鏡装置１０−１の内部構成を模式的に示す説明図である。図２に示すように、内視鏡装置１０−１は、左目用及び右目用のカメラ１２Ａ，１２Ｂと、レンズ駆動部１４−１と、を備える。

カメラ１２Ａ，１２Ｂは、画像を取得するカメラモジュールである。図２に示すように、カメラ１２Ａ，１２Ｂは、それぞれ合焦調整用レンズ１２２Ａ，１２２Ｂと、撮像素子１２４Ａ，１２４Ｂと、を有する。合焦調整用レンズ１２２Ａ，１２２Ｂは、レンズ駆動部１４−１により移動され、カメラ１２Ａ，１２Ｂの合焦調整（ピント合わせ）に用いられる。カメラ１２Ａは右目用の撮像（光から電気的な撮像信号への変換）を行い、撮像素子１２４Ａが右目用の撮像信号（Ｒ）を出力する。また、カメラ１２Ｂは左目用の撮像を行い、撮像素子１２４Ｂが左目用の撮像信号（Ｌ）を出力する。出力される各撮像信号は、後述する制御装置２０−１に入力される。

レンズ駆動部１４−１は、カメラ１２Ａ，１２Ｂの合焦調整用レンズ１２２Ａ，１２２Ｂを移動させるための部位であり、例えばモータにより構成される。レンズ駆動部１４−１は後述する制御装置２０−１から入力される駆動制御信号により制御され、当該信号に含まれる合焦調整用レンズ１２２Ａ，１２２Ｂに共通するレンズ移動パラメータに基づいて合焦調整用レンズ１２２Ａ，１２２Ｂを移動させる。

カメラ１２Ａ，１２Ｂのそれぞれがレンズ駆動部を備える代わりに、カメラ１２Ａ，１２Ｂに共通するレンズ駆動制御機構であるレンズ駆動部１４−１が設けられることで、内視鏡装置１０−１をより小型に実現可能であるという効果がある。

（制御装置）
図３は本実施形態にかかる制御装置２０−１（レンズ駆動制御装置）の構成を示す説明図である。図３に示すように、制御装置２０−１は、映像処理部２１Ａ，２１Ｂと、評価値算出部２２−１Ａ，２２−１Ｂと、操作部２３と、記憶部２４と、選択部２５−１と、移動制御部２６−１と、を備える情報処理装置である。

映像処理部２１Ａ，２１Ｂは、それぞれカメラ１２Ａ，１２Ｂから入力された撮像信号を表示装置３０が表示可能な映像信号に変換する。例えば、映像処理部２１Ａは右目用の撮像信号（Ｒ）を右目用の映像信号（Ｒ）に変換し、映像処理部２１Ｂは左目用の撮像信号（Ｌ）を左目用の映像信号（Ｌ）に変換する。また、映像処理部２１Ａ，２１Ｂは、それぞれ評価値算出部２２−１Ａ，２２−１Ｂに撮像信号から取得される画像を提供する。

評価値算出部２２−１Ａ，２２−１Ｂは、レンズの合焦状態を示すフォーカス評価値を、合焦調整用レンズ１２２Ａ，１２２Ｂのそれぞれについて算出し、選択部２５−１に提供する。フォーカス評価値の種類、及び算出方式は、医療用観察システム１が行うＡＦの方式によって異なる。

例えば、医療用観察システム１が行うＡＦの方式は、撮像により得られた画像のコントラストを評価し、当該評価に基づいてコントラストが高くなるように合焦調整を行うコントラストＡＦ方式であってもよい。この場合、評価値算出部２２−１Ａ，２２−１Ｂは、画像のコントラスト値に基づいてフォーカス評価値を算出してもよい。

また、医療用観察システム１が行うＡＦの方式は、レンズから入る光を２分割し、像のズレからピントのズレ具合を評価し、当該評価に基づいて合焦調整を行う位相差ＡＦであってもよい。かかる場合に内視鏡装置１０−１が備える画像取得用の撮像素子は、例えばレンズから入る光を２分割して検出する位相差画素を有する、像面位相差撮像素子であってもよい。また、この場合、評価値算出部２２−１Ａ，２２−１Ｂは、２分割された像の間隔を計測し、当該間隔に基づいてフォーカス評価値を算出してもよい。

操作部２３は、合焦調整用レンズ１２２Ａ，１２２Ｂのうち、合焦調整において基準となる１の基準レンズの選択に関するユーザの入力を受け付ける。ユーザは、例えば、自身の利き目に対応するレンズが基準レンズとなるように入力を行ってもよいし、自身の左右の目のうち視力の高い目に対応するレンズが基準レンズとなるように入力を行ってもよい。ユーザは、自身にとってより快適に立体視可能となるように操作部２３を介して基準レンズの選択を行うことが可能である。

記憶部２４は、操作部２３を介してユーザによって入力された基準レンズの選択に関する選択情報を記憶する。記憶部２４が記憶した選択情報は、後述する選択部２５−１に提供される。記憶部２４が選択情報を記憶し、後述する選択部２５−１に提供することで、例えば、同一ユーザが医療用観察システム１を連続して複数回利用する場合に、当該ユーザが二度目以降の利用の際に選択操作を行う手間を省くことが可能である。

選択部２５−１は、基準レンズの選択に関する選択情報を記憶部２４から読み出し、合焦調整用レンズ１２２Ａ，１２２Ｂの中から、１の基準レンズを選択する。また、選択部２５−１は、評価値算出部２２−１Ａ，２２−１Ｂからフォーカス評価値を受け取り、選択された基準レンズに対応するフォーカス評価値を移動制御部２６−１に提供する。

本実施形態においては、基準レンズが設計や製造の段階で予め定められるのではなく、選択部２５−１により動的に選択されるため、例えば、ユーザの利き目に応じて選択が行われることで、当該ユーザにとってより快適に立体視可能となる。

移動制御部２６−１は、選択部２５−１により選択された基準レンズに対応するフォーカス評価値に基づいて、合焦調整用レンズ１２２Ａ，１２２Ｂに共通するレンズ移動パラメータを特定する。ここで、移動制御部２６−１は、フォーカス評価値のうち、基準レンズに対応するフォーカス評価値のみを選択部２５−１から受け取り、基準レンズ以外のレンズに対応するフォーカス評価値を用いずに、上記レンズ移動パラメータを特定してもよい。

移動制御部２６−１によるレンズ移動パラメータの特定方法は、医療用観察システム１が行うＡＦの方式に応じて異なる。例えば、移動制御部２６−１は、当該ＡＦの方式に応じたフォーカス評価値と適切なレンズ移動量の関係が予め定められたマップを有し、当該マップを参照してレンズ移動パラメータを算出してもよい。

また、移動制御部２６−１は、特定されたレンズ移動パラメータの情報を含む駆動制御信号を生成し、内視鏡装置１０−１に出力する。

＜１−３．第一の実施形態の動作＞
以上、本開示の第一の実施形態にかかる医療用観察システム１が有する内視鏡装置１０−１と制御装置２０−１の構成例について説明した。続いて、図４，５を参照して、本実施形態にかかる医療用観察システム１の動作例について説明する。図４，５は、本実施形態にかかる医療用観察システム１の動作例を示す説明図である。本実施形態にかかる医療用観察システム１は、図４に示す選択情報設定処理と、図５に示すレンズ駆動制御処理を行う。以下では、選択情報設定処理と、レンズ駆動制御処理についてそれぞれ図４、図５を参照して順次詳細に説明する。

（選択情報設定処理）
選択情報設定処理に際し、まず、図４に示すように、操作部２３が基準レンズの選択に関するユーザの入力を受け付ける（Ｓ１０２）。ユーザは、例えば、自身の利き目が左であるか右であるかを選択的に入力してもよい。続いて、記憶部２４がユーザによって入力された基準レンズの選択に関する選択情報を操作部２３から受け取り、記憶する（Ｓ１０４）。ステップＳ１０４の以前に既に記憶部２４が選択情報を記憶していた場合には、記憶部２４に記憶される選択情報はステップＳ１０４で記憶部２４が新たに操作部２３から受け取った選択情報により更新される。

上記の選択情報設定処理は、例えばユーザが医療用観察システム１を用いる前に行われてもよいし、ユーザが医療用観察システム１を用いて患者４の体内を観察中にユーザが基準レンズの変更を希望する場合に行われてもよい。

（レンズ駆動制御処理）
レンズ駆動制御処理に際し、まず、図５に示すように選択部２５−１は記憶部２４から基準レンズの選択に関する選択情報の読み出しを行う（Ｓ２０２）。基準レンズが左レンズ（合焦調整用レンズ１２２Ｂ）である場合（Ｓ２０４においてＹＥＳ）、選択部２５−１は左レンズに対応するフォーカス評価値を評価値算出部２２−１Ｂから受け取って（選択して）移動制御部２６−１に提供する（Ｓ２０６）。一方、基準レンズが右レンズ（合焦調整用レンズ１２２Ａ）である場合（Ｓ２０４においてＮＯ）、選択部２５−１は右レンズに対応するフォーカス評価値を評価値算出部２２−１Ａから受け取って（選択して）移動制御部２６−１に提供する（Ｓ２０８）。

続いて、移動制御部２６−１は、上記のようにして選択部２５−１から受け取った基準レンズに対応するフォーカス評価値に基づいて、合焦調整用レンズ１２２Ａ，１２２Ｂに共通するレンズ移動パラメータを算出する（Ｓ２１０）。算出されたレンズ移動パラメータは、駆動制御信号に含まれて、移動制御部２６−１から、内視鏡装置１０−１に出力される。

駆動制御信号を受け取った内視鏡装置１０−１のレンズ駆動部１４−１は、当該駆動制御信号に含まれるレンズ移動パラメータに基づいて、合焦調整用レンズ１２２Ａ，１２２Ｂを移動させる（Ｓ２１２）。

上記のレンズ駆動制御処理は、繰り返し行われてもよい。例えば、レンズ駆動制御処理は、合焦調整用レンズ１２２Ａ，１２２Ｂに共通するレンズ移動パラメータが所定の閾値以下になるまで、繰り返し行われてもよい。また、その場合、レンズ駆動制御処理が繰り返し行われている期間に図４を参照して説明した選択情報設定処理による選択情報の更新が行われないように、操作部２３が当該期間にユーザの入力を拒否する機能を有してもよい。

＜１−４．第一の実施形態の効果＞
以上、第一の実施形態にかかる内視鏡装置１０−１、及び制御装置２０−１について詳細に説明した。本実施形態によれば、制御装置２０−１は、ユーザの入力に基づいて選択される基準レンズに対応するフォーカス評価値に基づいて特定された、左右の合焦調整用レンズに共通するレンズ移動パラメータを、内視鏡装置１０−１に提供する。内視鏡装置１０−１は、当該レンズ移動パラメータに基づいて左右の合焦調整用レンズを移動させることで、ユーザにとって快適に立体視可能な画像を取得することができる。

＜１−５．第一の実施形態の変形例＞
以上、本開示の第一の実施形態について説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

（変形例１）
上記では、記憶部２４が記憶する選択情報は１つであり、操作部２３を介してユーザにより新たに選択情報が入力された場合、新たに入力された選択情報によって記憶部２４が記憶する選択情報が更新される例を説明したが、本技術は上記の例に限定されない。

例えば、記憶部２４は、選択情報を、ユーザごとに当該ユーザに関するユーザ情報（ユーザＩＤ）と対応付けて記憶してもよい。図６は、記憶部２４が、選択情報を、ユーザごとに当該ユーザに関するユーザＩＤと対応付けて記憶する場合の選択情報設定処理を説明するための説明図である。

まず、操作部２３がユーザＩＤに関するユーザの入力を受け付け、入力されたユーザＩＤは記憶部２４に記憶（登録）される（Ｓ３０２）。続いて、操作部２３は、選択情報の入力を受け付け（Ｓ３０４）、記憶部２４は当該ユーザＩＤと入力された選択情報を対応付けて記憶する（Ｓ３０６）。

上記のユーザごとの選択情報設定処理は、医療用観察システム１を利用するユーザの数だけ繰り返して行われてもよい。図７は、選択情報設定処理が繰り返して行われた後に記憶部２４に記憶されるユーザＩＤと選択情報の対応テーブルの一例を示す説明図である。図７に示すように本変形例における記憶部２４はユーザＩＤごとに１つの選択情報を記憶する。すなわち、記憶部２４はユーザＩＤが複数であればユーザＩＤの数だけ選択情報を記憶する。

かかる構成によれば、例えば医療用観察システム１がユーザの認証機能を有していた場合、選択情報がユーザＩＤと対応付けて記憶されかつ認証されたユーザは、基準レンズ選択の手間を省くことが可能である。

（変形例２）
上記では、移動制御部２６−１が基準レンズに対応するフォーカス評価値のみを選択部２５−１から受け取り、基準レンズ以外のレンズに対応するフォーカス評価値を用いずに、レンズ移動パラメータを特定する例を説明したが、本技術は上記の例に限定されない。

例えば、移動制御部２６−１は、基準レンズに対応するフォーカス評価値（基準評価値）と基準レンズ以外のレンズに対応するフォーカス評価値（非基準評価値）の両方に基づいて、合焦調整用レンズ１２２Ａ，１２２Ｂに共通する共通レンズ移動パラメータを特定してもよい。

例えば、移動制御部２６−１は、合焦調整用レンズ１２２Ａ，１２２Ｂごとに算出されたフォーカス評価値に基づいて特定されるレンズ移動パラメータの平均値を、合焦調整用レンズ１２２Ａ，１２２Ｂに共通するレンズ移動パラメータとして特定してもよい。なお、この場合、移動制御部２６−１は基準レンズの選択情報を利用しないため、制御装置は操作部、記憶部、選択部を有しなくてもよい。かかる構成によれば、左目に対応するレンズと、右目に対応するレンズの両方において同程度に合焦するようなレンズ移動パラメータが特定されるため、両方の目に同程度の画質の画像を提示することが可能である。人間の視覚において、提示される画像の画質が左目と右目で異なると、知覚される奥行き感や立体視での画質が低下することが知られているが、上記のように両方の目に同程度の画質が提示されることで、奥行き感や立体視での画質の低下を軽減することが出来る。

また、移動制御部２６−１は、基準評価値に基づいて特定されるレンズ移動パラメータと、非基準評価値に基づいて特定されるレンズ移動パラメータの加重平均を行って取得したパラメータを、共通レンズ移動パラメータとして特定してもよい。特に、移動制御部２６−１は、基準評価値に基づいて特定されるレンズ移動パラメータの重みを、非基準評価値に基づいて特定されるレンズ移動パラメータの重みより大きく設定して上記の加重平均を行ってもよい。かかる構成によれば、基準レンズの方が、基準レンズ以外のレンズよりも正確に合焦しつつ、基準レンズ以外のレンズの合焦状態も上記重みに応じて反映されたレンズ移動パラメータが特定される。

（変形例３）
上記では、評価値算出部２２−１Ａ，２２−１Ｂがそれぞれフォーカス評価値を算出し、選択部２５−１により選択された基準レンズに応じて、いずれかのフォーカス評価値が移動制御部２６−１に提供される例を説明したが、本技術はかかる例に限定されない。

例えば、選択部２５−１により選択された基準レンズに対応したフォーカス評価値のみが算出されてもよい。また、各レンズに対応したフォーカス評価値に基づいてレンズ移動パラメータが特定され、選択部２５−１により選択された基準レンズに対応したレンズ移動パラメータが駆動制御信号に含まれて内視鏡装置１０−１に提供されてもよい。

（変形例４）
上記では、基準レンズの選択は、ユーザの入力に基づいて行われる例を説明したが、本技術はかかる例に限定されない。例えば、選択部２５−１は、カメラ１２Ａ，１２Ｂにより取得される画像に基づいて基準レンズを選択してもよい。

例えば、選択部２５−１は、カメラ１２Ａ，１２Ｂにより取得された２つの画像に基づいて被写体認識を行い、当該２つの画像における被写体の位置を特定し、被写体の位置に応じて基準レンズを選択してもよい。選択部２５−１は、被写体の位置が、当該２つの画像のいずれか、または両方において右側（例えば右半分）に含まれる場合に、右目用の撮像を行うカメラ１２Ａの合焦調整用レンズ１２２Ａを基準レンズとして選択してもよい。また、選択部２５−１は、被写体の位置が当該２つの画像のいずれか、または両方において左側（例えば左半分）に含まれる場合に、左目用の撮像を行うカメラ１２Ｂの合焦調整用レンズ１２２Ｂを基準レンズとして選択してもよい。

また、選択部２５−１は、カメラ１２Ａ，１２Ｂにより取得された２つの画像に基づいて被写体認識を行い、当該２つの画像における被写体の大きさを特定し、被写体の大きさに応じて基準レンズを選択してもよい。選択部２５−１は、カメラ１２Ａにより取得された画像における被写体の大きさが、カメラ１２Ｂにより取得された画像における被写体の大きさよりも大きい場合に、カメラ１２Ａの合焦調整用レンズ１２２Ａを基準レンズとして選択してもよい。また、選択部２５−１は、カメラ１２Ｂにより取得された画像における被写体の大きさが、カメラ１２Ａにより取得された画像における被写体の大きさよりも大きい場合に、カメラ１２Ｂの合焦調整用レンズ１２２Ｂを基準レンズとして選択してもよい。

かかる構成によれば、被写体に応じて自動的に基準レンズが選択されるため、ユーザは基準レンズ選択の手間を省くことが可能である。

＜＜２．第二の実施形態＞＞
＜２−１．第二の実施形態の概要＞
上述した第一の実施形態では、制御装置は左右の合焦調整用レンズに共通するレンズ移動パラメータを出力し、内視鏡装置は、左右の合焦調整用レンズを双方に共通するレンズ移動パラメータに基づいて移動させる。これに対し、以下では、第二の実施形態として、内視鏡装置が左右の合焦調整用レンズを個別に移動させる場合について説明する。

内視鏡装置が左右の合焦調整用レンズを個別に移動させる場合、医療用観察システムは、上記第一の実施形態で説明した左右の合焦調整用レンズを双方に共通するレンズ移動パラメータに基づいて移動させる場合と異なる特徴を有する。そこで、まず、第二の実施形態の比較例として、制御装置が左右の合焦調整用レンズのそれぞれについて独立にレンズ移動パラメータを算出し、内視鏡装置が左右の合焦調整用レンズを個別に移動させる例について図８，９を参照して説明する。

(比較例の構成)
図８は第二の実施形態の比較例にかかる内視鏡装置５０の内部構成を模式的に示す説明図である。図８に示すように、内視鏡装置５０は、左目用及び右目用のカメラ５２Ａ，５２Ｂと、レンズ駆動部５４Ａ，５４Ｂと、を備える。

図８に示すように、カメラ５２Ａ，５２Ｂは、第一の実施形態にかかるカメラ１２Ａ，１２Ｂと同様、合焦調整用レンズ５２２Ａ，５２２Ｂと、撮像素子５２４Ａ，５２４Ｂを有するカメラモジュールである。また、合焦調整用レンズ５２２Ａ，５２２Ｂと、撮像素子５２４Ａ，５２４Ｂの構成は、第一の実施形態にかかる合焦調整用レンズ１２２Ａ，１２２Ｂ、及び撮像素子１２４Ａ，１２４Ｂの構成と実質的に同一であるため、ここでの説明は省略する。

レンズ駆動部５４Ａ，５４Ｂは、それぞれカメラ５２Ａ，５２Ｂの合焦調整用レンズ５２２Ａ，５２２Ｂを移動させるための部位であり、例えばモータにより構成される。レンズ駆動部５４Ａは後述する制御装置６０から入力される右目用の駆動制御信号（Ｒ）により制御され、当該信号に含まれる右目用のレンズ移動パラメータに基づいて合焦調整用レンズ５２２Ａを移動させる。同様に、レンズ駆動部５４Ｂは、後述する制御装置６０から入力される左目用の駆動制御信号（Ｌ）により制御され、当該信号に含まれる左目用のレンズ移動パラメータに基づいて合焦調整用レンズ５２２Ｂを移動させる。

図９は第二の実施形態の比較例にかかる制御装置６０の構成を示す説明図である。図９に示すように、制御装置６０は、映像処理部６１Ａ，６１Ｂと、評価値算出部６２Ａ，６２Ｂと、移動制御部６３Ａ，６３Ｂと、を備える情報処理装置である。映像処理部６１Ａ，６１Ｂ、及び評価値算出部６２Ａ，６２Ｂの構成は、ぞれぞれ、第一の実施形態にかかる映像処理部２１Ａ，２１Ｂ、及び評価値算出部２２−１Ａ，２２−１Ｂの構成と実質的に同一であるため、ここでの説明は省略する。

移動制御部６３Ａ，６３Ｂは、評価値算出部６２Ａ，６２Ｂにより算出されたフォーカス評価値に基づいて、それぞれ合焦調整用レンズ５２２Ａ，５２２Ｂに対応するレンズ移動パラメータを特定する。フォーカス評価値からレンズ移動パラメータを特定する方法は、第一の実施形態で説明した移動制御部２６−１による特定方法と同様である。また、移動制御部６３Ａは、合焦調整用レンズ５２２Ａに対応するレンズ移動パラメータを含む右目用の駆動制御信号（Ｒ）を内視鏡装置５０に出力する。同様に、移動制御部６３Ｂは、合焦調整用レンズ５２２Ｂに対応するレンズ移動パラメータを含む左目用の駆動制御信号（Ｌ）を内視鏡装置５０に出力する。

(比較例によるＡＦ制御)
以上、本比較例による内視鏡装置５０、及び制御装置６０の構成を説明した。上記で説明したように、本比較例において、合焦調整用レンズ５２２Ａ，５２２Ｂに対応するフォーカス評価値、及びレンズ移動パラメータはそれぞれ独立に算出・特定される。したがって、カメラ５２Ａ，及びカメラ５２Ｂのそれぞれについて、正確な合焦調整（ピント合わせ）を行うことが可能である。

しかし、カメラ５２Ａ，及びカメラ５２Ｂにより取得される画像が制御装置６０を介して表示装置に表示される場合、ユーザにとって快適に立体視することが困難な画像が表示されてしまう場合がある。そこで、以下では本比較例によるＡＦ制御の結果、カメラ５２Ａ，及びカメラ５２Ｂにより取得される画像の特徴について図１０，１１を参照して説明する。

図１０は、カメラ５２Ａ，及びカメラ５２Ｂによる撮影状況の一例を示す説明図である。本来、カメラ５２Ａ，及びカメラ５２Ｂは図８を参照して説明したように内視鏡装置５０内に存在するカメラであるが、図１０では、カメラ５２Ａ，及びカメラ５２Ｂは独立したカメラとして模式的に示されている。

図１０に示すようにカメラ５２Ａ（右カメラ）、及びカメラ５２Ｂ（左カメラ）は左右に並べられ、物体Ｂ１、物体Ｂ２を撮影する。図１０に示すように、Ｚ軸上での位置を比較すると、左右のカメラは位置Ｚ０に存在し、物体Ｂ１は位置Ｚ１，物体Ｂ２は位置Ｚ２に存在する。また、位置Ｚ０から位置Ｚ１までの距離は、位置Ｚ０から位置Ｚ２までの距離よりも短い。

図１１は、図１０に示す撮影状況において、左右のカメラにより取得される画像の一例を示す説明図である。図１１に示すように、左カメラ(カメラ５２Ｂ)により取得された左カメラ画像では、画像中央に物体Ｂ２が、画像右側に物体Ｂ１が写されている。また、図１１に示すように、右カメラ(カメラ５２Ａ)により取得された右カメラ画像では、画像中央に物体Ｂ１が、画像左側に物体Ｂ２が写されている。

ここで、カメラのＡＦ制御では、例えば画面中央付近に写される被写体に合焦するように合焦調整が行われる場合がある。すなわち、左カメラについては、評価枠Ｗ１内に含まれる被写体（図１１の例では物体Ｂ２）に合焦するように合焦調整が行われる。また、右カメラについては、評価枠Ｗ２内に含まれる被写体（図１１の例では物体Ｂ１）に合焦するように合焦調整が行われる。

ここで、表示装置が、上記の図１１に示される左カメラ画像と右カメラ画像をそれぞれ左目用画像、右目用画像として表示した場合、左右で合焦している物体が異なってしまう。その結果、ユーザの快適な立体視が阻害される恐れがあった。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による医療用観察システム１では、制御装置２０−２が、基準レンズに対応するフォーカス評価値に基づいて、基準レンズ以外のレンズに対応するフォーカス評価値の算出方法を設定し、レンズごとに算出したレンズ移動パラメータを内視鏡装置１０−２に提供する。内視鏡装置１０−２は、当該レンズ移動パラメータに基づいて左右の合焦調整用レンズを個別に移動させることで、左右のカメラで同一の被写体に合焦するように合焦調整を行うことができる。本実施形態によれば、左右のカメラで同一の被写体に合焦させることで、ユーザは快適な立体視を行うことが可能である。以下、このような効果を有する本実施形態にかかる内視鏡装置１０−２と制御装置２０−２の構成について図１２，１３を参照して順次説明する。

＜２−２．第二の実施形態の構成＞
第二の実施形態にかかる医療用観察システム１は、図１を参照して説明した第一の実施形態にかかる医療用観察システム１と同様に、内視鏡装置１０−２、制御装置２０−２、表示装置３０を備える。

（内視鏡装置）
図１２は本実施形態にかかる内視鏡装置１０−２の内部構成を模式的に示す説明図である。図１２に示すように、内視鏡装置１０−２は、左目用及び右目用のカメラ１２Ａ，１２Ｂと、レンズ駆動部１４−２Ａ，１４−２Ｂと、を備える。図１２に示すカメラ１２Ａ，１２Ｂの構成はそれぞれ図２を参照して説明した第一形態にかかるカメラ１２Ａ，１２Ｂの構成と実質的に同一であるため説明を省略する。また、図１２に示すレンズ駆動部１４−２Ａ，１４−２Ｂの構成は、図８を参照して説明した本実施形態の比較例にかかるレンズ駆動部５４Ａ，５４Ｂの構成と実質的に同一であるため、ここでの説明は省略する。

図１３は本実施形態にかかる制御装置２０−２（レンズ駆動制御装置）の構成を示す説明図である。図１３に示すように、制御装置２０−２は、映像処理部２１Ａ，２１Ｂと、評価値算出部２２−２Ａ，２２−２Ｂと、操作部２３と、記憶部２４と、選択部２５−２と、移動制御部２６−２Ａ，２６−２Ｂと、を備える情報処理装置である。

映像処理部２１Ａ，２１Ｂ、操作部２３、及び記憶部２４の構成は、図３を参照して説明した第一の実施形態にかかる映像処理部２１Ａ，２１Ｂ、操作部２３、及び記憶部２４の構成と実質的に同一であるため、ここでの説明は省略する。

評価値算出部２２−２Ａ，２２−２Ｂは、レンズの合焦状態を示すフォーカス評価値を、合焦調整用レンズ１２２Ａ，１２２Ｂのそれぞれについて算出し、移動制御部２６−２に提供する。なお、本実施形態におけるフォーカス評価値には、図１１を参照して説明した評価枠（フォーカス評価値を求めるために用いられる領域）の情報が含まれてもよい。

また、評価値算出部２２−２Ａ，２２−２Ｂは、選択部２５−２が選択した基準レンズの情報を選択部２５−２から受け取り、基準レンズに対応するフォーカス評価値に基づいて、基準レンズ以外のレンズ（非基準レンズ）に対応するフォーカス評価値の算出方法を設定する。例えば、評価値算出部２２−２Ａ，２２−２Ｂは、基準レンズに対応するフォーカス評価値の算出に用いられた評価枠に基づいて、非基準レンズに対応するフォーカス評価値の算出に用いる評価枠を設定することで、当該フォーカス評価値の算出方法を設定してもよい。

例えば、選択部２５−２が選択した基準レンズが合焦調整用レンズ１２２Ｂであった場合、評価値算出部２２−２Ｂは、基準レンズ（合焦調整用レンズ１２２Ｂ）に対応するフォーカス評価値の算出を行う。ここで、算出されるフォーカス評価値の種類、及び算出方式については、第一の実施形態と同様であるため詳細な説明は省略する。また、この時、評価値算出部２２−２Ａは、評価値算出部２２−２Ｂから基準レンズに対応するフォーカス評価値を受け取り、当該フォーカス評価値の算出に用いられた評価枠に基づいて、合焦調整用レンズ１２２Ａに対応するフォーカス評価値の算出に用いる評価枠を設定する。さらに、評価値算出部２２−２Ａは、当該評価枠を用いて、非基準レンズである合焦調整用レンズ１２２Ａに対応するフォーカス評価値を算出する。

図１１に戻って、上記の評価値算出部２２−２Ａ，２２−２Ｂによるフォーカス評価値の算出について具体例を説明する。基準レンズが合焦調整用レンズ１２２Ｂであった場合、評価値算出部２２−Ｂは、図１１に示す左カメラ画像の中央付近の評価枠Ｗ１を用いて合焦調整用レンズ１２２Ｂに対応するフォーカス評価値の算出を行う。さらに、評価値算出部２２−Ａは、評価値算出部２２−２Ｂから基準レンズに対応するフォーカス評価値を受け取り、評価枠Ｗ１に対応するように評価枠Ｗ３を設定し、当該評価枠Ｗ３を用いて合焦調整用レンズ１２２Ａに対応するフォーカス評価値を算出する。なお、評価値算出部２２−２Ａは、例えば、事前に取得されるカメラ１２Ａ，１２Ｂの配置情報や、左右のカメラ画像のステレオマッチングにより得られる奥行き情報などに基づいて、評価枠Ｗ１に対応するように評価枠Ｗ３を設定してもよい。

上記のように、基準レンズに対応するフォーカス評価値の算出に用いられた評価枠に対応する評価枠を用いて非基準レンズに対応するフォーカス評価値を算出することで、同一の被写体（図１１では物体Ｂ２）に合焦するように左右のカメラの合焦調整が行われる。左右のカメラが同一の被写体に合焦した状態で撮影することで、ユーザは快適な立体視を行うことが可能である。

選択部２５−２は、基準レンズの選択に関する選択情報を記憶部２４から読み出し、合焦調整用レンズ１２２Ａ，１２２Ｂの中から、１の基準レンズを選択する。また、選択部２５−２は、選択された基準レンズの情報を評価値算出部２２−２Ａ，２２−２Ｂに提供する。

本実施形態では、左右のカメラにおいて合焦対象となる被写体は、ユーザの入力に基づく基準レンズに対応する画像の中央付近に写る被写体である。したがって、例えばユーザが利き目に対応する合焦調整用レンズが基準レンズとなるように入力することで、ユーザの利き目に提示される画像の中央付近に写る被写体に左右のカメラが合焦するため、当該ユーザにとってより快適に立体視可能となる。

移動制御部２６−２Ａ，２６−２Ｂは、評価値算出部２２−２Ａ，２２−２Ｂにより算出されたフォーカス評価値に基づいて、それぞれ合焦調整用レンズ１２２Ａ，１２２Ｂに対応するレンズ移動パラメータを特定する。フォーカス評価値からレンズ移動パラメータを特定する方法は、第一の実施形態で説明した移動制御部２６−１による特定方法と同様である。また、移動制御部２６−２Ａは、合焦調整用レンズ１２２Ａに対応するレンズ移動パラメータを含む右目用の駆動制御信号（Ｒ）を内視鏡装置１０−２に出力する。同様に、移動制御部２６−２Ｂは、合焦調整用レンズ１２２Ｂに対応するレンズ移動パラメータを含む左目用の駆動制御信号（Ｌ）を内視鏡装置１０−２に出力する。

＜２−３．第二の実施形態の動作＞
以上、本開示の第二の実施形態にかかる医療用観察システム１が有する内視鏡装置１０−２と制御装置２０−２の構成例について説明した。続いて、図１４を参照して、本実施形態にかかる医療用観察システム１の動作例について説明する。図１４は、本実施形態にかかる医療用観察システム１の動作例を示す説明図である。本実施形態にかかる医療用観察システム１は、図１４に示すレンズ駆動制御処理を行う。また、本実施形態にかかる医療用観察システム１は選択情報設定処理を行うが、当該処理は図４を参照して説明した第一の実施形態にかかる医療用観察システム１が行う選択情報設定処理と同様であるため、説明は省略する。以下では、レンズ駆動制御処理について図１４を参照して詳細に説明する。

まず、図１４に示すように、選択部２５−２は記憶部２４から基準レンズの選択に関する選択情報の読み出しを行う（Ｓ４０２）。基準レンズが左レンズ（合焦調整用レンズ１２２Ｂ）である場合（Ｓ４０４においてＹＥＳ）、選択部２５−２は左レンズを基準レンズとして選択し、選択された基準レンズの情報を評価値算出部２２−２Ａ，２２−２Ｂに提供する（Ｓ４０６）。一方、基準レンズが右レンズ（合焦調整用レンズ１２２Ａ）である場合（Ｓ４０４においてＮＯ）、選択部２５−２は右レンズを基準レンズとして選択し、選択された基準レンズの情報を評価値算出部２２−２Ａ，２２−２Ｂに提供する（Ｓ４０８）。

続いて、評価値算出部２２−２Ａ，２２−２Ｂのうち、基準レンズに対応する評価値算出部は、基準レンズの評価値を算出する（Ｓ４１０）。さらに、もう一方の（非基準レンズに対応する）評価値算出部は、基準レンズの評価値の算出に用いられた評価枠に基づいて、非基準レンズの算出に用いる評価枠を設定し（Ｓ４１２）、非基準レンズに対応するフォーカス評価値を算出する（Ｓ４１４）。

続いて、移動制御部２６−２Ａ，２６−２Ｂは、それぞれ評価値算出部２２−２Ａ，２２−２Ｂからフォーカス評価値を受け取り、それぞれ合焦調整用レンズ１２２Ａ、１２２Ｂに対応するレンズ移動パラメータを算出する（Ｓ４１６）。算出されたレンズ移動パラメータは、駆動制御信号（Ｒ）、駆動制御信号（Ｌ）に含まれて、移動制御部２６−２Ａ，２６−２Ｂから、内視鏡装置１０−２に出力される。

駆動制御信号（Ｒ）、駆動制御信号（Ｌ）を受け取った内視鏡装置１０−２のレンズ駆動部１４−２Ａ、１４−２Ｂは、各駆動制御信号に含まれるレンズ移動パラメータに基づいて、合焦調整用レンズ１２２Ａ，１２２Ｂを移動させる（Ｓ４１８）。

上記で説明した本実施形態にかかるレンズ駆動制御処理は、第一実施形態にかかるレンズ駆動制御処理と同様に、繰り返し行われてもよい。

＜２−４．第二の実施形態の効果＞
以上、第二の実施形態にかかる内視鏡装置１０−２、及び制御装置２０−２について詳細に説明した。本実施形態によれば、制御装置２０−２は、基準レンズに対応するフォーカス評価値に基づいて、基準レンズ以外のレンズに対応するフォーカス評価値の算出方法を設定し、レンズごとに算出したレンズ移動パラメータを内視鏡装置１０−２に提供する。内視鏡装置１０−２は、当該レンズ移動パラメータに基づいて左右の合焦調整用レンズを個別に移動させることで、左右のカメラで同一の被写体に合焦するように合焦調整を行い、ユーザにとって快適に立体視可能な画像を取得することができる。

なお、第一の実施形態において説明した各変形例を第二の実施形態に適用することも可能である。

＜＜３．第三の実施形態＞＞
＜３−１．第三の実施形態の概要＞
図１に示したような医療用観察システム１において、内視鏡装置１０は例えば人間の手などにより固定される場合がある。医療用観察システム１を用いて患者４の体内を観察中に人間の手により固定された内視鏡装置１０が動いて（振動して）しまうと、内視鏡装置１０により取得される映像に手ぶれが生じる。その結果、表示装置３０に表示される映像を観察するユーザにとって、快適に観察することが困難となる。

従来、カメラの手振れによる影響を軽減させる方法として、撮影後に画像を補正する電子式手振れ補正が行われている。例えば、過去の画像を参照し、過去の画像と現在の画像との差分を打ち消すように現在の画像に対する射影変換が行われることで、補正（手振れの影響が軽減）される。

しかし、生じた手振れによっては、電子式手振れ補正における射影変換により大きく画質が劣化してしまう場合があった。特に、ユーザの利き目に提示される画像の画質が劣化した場合には、ユーザの快適な立体視を大きく阻害する恐れがあった。

また、内視鏡装置１０のように２つのカメラを有する場合、映像を観察するユーザは、左右の目で異なる映像を観察しているため、１つのカメラで撮影された映像を観察する場合よりも手振れに起因する疲労を感じやすい。特に、カメラ間で手振れ量が異なる場合には、垂直方向の対応にずれが生じ、立体視が困難になるため、さらに疲労感が増すことがあった。

図１５〜１７を参照して、左右に配置された２つのカメラ（Ｌカメラ、Ｒカメラ）を有する内視鏡装置におけるカメラ間の手振れ量の違いについて説明する。なお、本来、内視鏡装置は２つのカメラを内部に有するが以下では、模式的にＬカメラ（左カメラ）とＲカメラ（右カメラ）が個別のカメラであるとして説明する。ただし、ＬカメラとＲカメラの相対的な配置は固定されており、振動等により各カメラが移動した場合も、ＬカメラとＲカメラの相対的な配置（位置関係）は変動しないものとする。

図１５〜１７は、時刻Ｔ０から時刻Ｔ１にかけて、ＬカメラとＲカメラに生じる手振れを説明するための説明図である。図１５はＬカメラとＲカメラの後方から見た模式図であり、図１６は、ＬカメラとＲカメラの上方から見た模式図である。また、図１７は、Ｌカメラのセンサと、Ｒカメラのセンサにおける、手振れ量を示す説明図である。

図１５に示すセンサ面ＳｌＴ０、ＳｌＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１におけるＬカメラのセンサ面であり、センサ面ＳｒＴ０、ＳｒＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１におけるＲカメラのセンサ面である。また、図１５，１６に示す点ＣｌＴ０、ＣｌＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１におけるＬカメラ中心であり、点ＣｒＴ０、ＣｒＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１におけるＲカメラ中心である。

各カメラにおいて、ある実空間内の点に対応するセンサ面上の点は、当該カメラ中心と当該実空間内の点を結んだ線と当該カメラのセンサ面が交差する点である。例えば、図１５〜１７に示す点ＭｌＴ０、ＭｌＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１において、実空間内の点Ｐに対応するＬカメラのセンサ面上の点である。また、同様に、図１５〜１７に示す点ＭｌＴ０、ＭｌＴ１は、それぞれ時刻Ｔ０と時刻Ｔ１において、実空間内の点Ｐに対応するＲカメラのセンサ面上の点である。

図１５，１６に示すように、時刻Ｔ０から時刻Ｔ１の間で２つのカメラが移動した（振動した）場合、図１７に示すように、各カメラで手振れ量（センサ面上の同一点の移動量）が異なる。したがって、片方のカメラに対する手振れ補正を、そのまま他のカメラに適用した場合、当該他のカメラの手振れ量が打ち消されるとは限らない。また、カメラ毎に異なる手振れ量を打ち消すような補正を行うために、カメラ毎に独立に手振れ補正を行った場合、補正後の画像が融像（人間が左右の画像を一つの像として認識する事）しづらいことが知られている。

そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態による医療用観察システム１では、制御装置２０−３が、ユーザの入力に基づいて選択される基準カメラについて、画質劣化が少ない手振れ補正を行い、基準カメラ以外のカメラについて、基準カメラの手振れ補正に合わせた手振れ補正を行う。ここで、図１８を参照して、本実施形態による手振れ補正の概要を説明する。

図１８は、ＬカメラとＲカメラの上方から見た模式図である。本実施形態による手振れ補正では、完全に手振れを除去するのではなく、例えば、並進（水平・垂直方向の移動）に関する手振れのみを除去することにより、画質劣化の少ない手振れ補正を行う。図１８に示すように、本実施形態による手振れ補正では、時刻Ｔ０から時刻Ｔ１にかけてのカメラの動きのうち、並進に関する動きのみが打ち消され、回転、及び拡縮（前後方向の移動）成分の動きは残る。

本実施形態によれば、上記のような基準カメラの手振れ補正により、画質劣化が抑制されてユーザは快適な立体視を行うことが可能であり、上記のような基準カメラ以外カメラの手振れ補正により、補正後の画像を融像しやすくすることが可能である。以下、このような効果を有する本実施形態にかかる制御装置２０−３の構成について図１９，２０を参照して詳細に説明する。

＜３−２．第三の実施形態の構成＞
（制御装置）
図１９は、本実施形態にかかる医療用観察システム１が有する制御装置２０−３の構成を示す説明図である。図１９に示すように、制御装置２０−３は、操作部２３−３と、記憶部２４−３と、選択部２５−３と、補正制御部２７とフレームバッファ２８Ａ，２８Ｂと、を備える情報処理装置である。

操作部２３−３は、内視鏡装置１０が有する２つのカメラ（Ｌカメラ、Ｒカメラ）のうち、手振れ補正において基準となる１の基準カメラの選択に関するユーザの入力を受け付ける。ユーザは、例えば、自身の利き目に対応するカメラが基準カメラとなるように入力を行ってもよいし、自身の左右の目のうち視力の高い目に対応するカメラが基準カメラとなるように入力を行ってもよい。ユーザは、自身にとってより快適に立体視可能となるように操作部２３−３を介して基準カメラの選択を行うことが可能である。

記憶部２４−３は、操作部２３−３を介してユーザによって入力された基準カメラの選択に関する選択情報を記憶する。記憶部２４−３が記憶した選択情報は、後述する選択部２５−３に提供される。記憶部２４−３が選択情報を記憶し、後述する選択部２５−３に提供することで、例えば、同一ユーザが医療用観察システム１を連続して複数回利用する場合に、当該ユーザが二度目以降の利用の際に選択操作を行う手間を省くことが可能である。

選択部２５−３は、基準カメラの選択に関する選択情報を記憶部２４−３から読み出し、内視鏡装置１０が有する２つのカメラの中から、１の基準カメラを選択する。また、選択部２５−３は、選択された基準カメラの情報を補正制御部２７に提供する。

補正制御部２７は、内視鏡装置１０が有する２つのカメラから現在の画像（撮像信号）を、フレームバッファ２８Ａ，２８Ｂから過去の補正後の画像を受け取り、現在の画像に対して手振れ補正を行う。また、補正制御部２７は、補正後の映像を表示装置３０が表示可能な左目用の映像信号（Ｌ）と右目用の映像信号（Ｒ）に分けて出力する。また、補正制御部２７は、補正後の右目用画像をフレームバッファ２８Ａに提供し、補正後の左目用画像をフレームバッファ２８Ｂに提供する。補正制御部２７の詳細な構成については後述する。

フレームバッファ２８Ａ，２８Ｂは、内視鏡装置１０が有する２つのカメラからそれぞれ撮像信号（Ｒ）、撮像信号（Ｌ）を受け取り記憶する。また、フレームバッファ２８Ａ，２８Ｂは、補正後の画像を補正制御部２７から受け取り記憶する。また、フレームバッファ２８Ａ，２８Ｂは、過去の補正後の画像を補正制御部２７に提供する。フレームバッファ２８Ａ，２８Ｂは、所定期間経過した過去の画像、または過去の補正後の画像が自動的に削除されるような仕組みを有してもよい。

（補正制御部）
以上、本実施形態にかかる医療用観察システム１が有する制御装置２０−３の構成を説明した。続いて、制御装置２０−３が備える補正制御部２７の詳細な構成について図２０を参照して説明する。

図２０は、補正制御部２７の構成を示す説明図である。図２０に示すように、補正制御部２７は、動き検出部２７１、判定部２７２、基準カメラ補正情報取得部２７３（第一の補正情報取得部）、非基準カメラ補正情報取得部２７４（第二の補正情報取得部）、補正部２７５、内部パラメータ算出部２７６、外部パラメータ算出部２７７、対応画素算出部２７８、及び奥行推定部２７９を有する。

動き検出部２７１は、選択部２５―３により選択された基準カメラの動きを検出する。例えば、動き検出部２７１は、基準カメラにより取得された現在の画像と、過去に基準カメラにより取得された画像に対して手振れ補正を行った後の画像（過去の補正後の画像）を比較して、基準カメラの動きを検出してもよい。例えば動き検出部２７１は、現在の画像と、過去の補正後の画像から検出されるコーナー点などの特徴点について、画像間で追跡を行うことで基準カメラの動きを検出する。画像間で特徴点を追跡して動きを検出する方法としては、例えばＬｕｋａｓ−Ｋａｎａｄｅ法などが用いられてもよい。また、動き検出部２７１により検出される基準カメラの動きは、並進成分、回転成分、及び拡縮成分を含んでもよい。

また、動き検出部２７１は、検出された基準カメラの動きを、判定部２７２、及び基準カメラ補正情報取得部２７３に提供する。

判定部２７２は、動き検出部２７１により検出された基準カメラの動きが閾値より小さいか否かを判定し、判定結果を補正部２７５に提供する。判定部２７２は、例えば、基準カメラの動きに含まれる、並進成分（垂直・水平方向の移動）、回転成分、及び拡縮成分（前後方向の移動）のそれぞれについて、各成分に対応する閾値より小さいか否かを判定してもよい。

基準カメラ補正情報取得部２７３は、動き検出部２７１により検出された基準カメラの動きを減殺する基準カメラ補正情報（第一の補正情報）を取得し、補正部２７５に提供する。

例えば、基準カメラ補正情報取得部２７３は、基準カメラの動きのうち、並進成分（水平・垂直方向の移動）を減殺し、回転成分と拡縮成分を維持するように基準カメラ補正情報を取得してもよい。例えば、基準カメラ補正情報取得部２７３が取得する基準カメラ補正情報は、基準カメラにより取得される画像を垂直移動させるための垂直パラメータと、水平移動させるための水平パラメータとを含む情報であってもよい。上記のような基準カメラ補正情報を用いて補正が行われた場合、回転成分や拡縮成分を減衰させる（維持しない）補正が行われた場合と比べて、基準カメラに対応する補正後の画像に生じる画質劣化が生じにくいという効果が得られる。なお、内視鏡を利用して患者の体内を観察する際、発生するカメラの動きは並進成分が主である場合が多いため、上記のような補正情報を用いて補正が行われることで、十分な手振れ除去効果が発揮されることが多い。

特に、基準カメラ補正情報取得部２７３は、上記の垂直移動と水平移動が、整数画素単位の移動になるような垂直パラメータと、水平パラメータを含む基準カメラ補正情報を取得してもよい。例えば、基準カメラ補正情報取得部２７３は、基準カメラの動きのうち並進成分を相殺する垂直移動と水平移動を算出した後、各方向の移動に対して切り捨て、切り上げ、四捨五入などの端数処理を行って各パラメータを算出してもよい。上記のような基準カメラ補正情報を用いて補正が行われた場合、基準カメラに対応する補正後の画像に生じる画質劣化がより生じにくいという効果が得られる。

なお、基準カメラ補正情報取得部２７３が取得する基準カメラ補正情報は、画像の射影変換に用いることが可能な変換行列の形式であってもよい。

非基準カメラ補正情報取得部２７４は、基準カメラ補正情報取得部２７３とは異なる方法で、内視鏡装置１０が有する２つのカメラに含まれる基準カメラ以外のカメラ（非基準カメラ）の動きを減殺する非基準カメラ補正情報（第二の補正情報）を取得する。また、非基準カメラ補正情報取得部２７４は、取得した非基準カメラ補正情報を補正部２７５に提供する。

例えば、非基準カメラ補正情報取得部２７４は、基準カメラにより取得される画像と、非基準カメラにより取得される画像の間での対応画素に関する対応画素情報に基づいて、非基準カメラ補正情報を取得してもよい。例えば、非基準カメラ補正情報は非基準カメラにより取得される画像の各画素を垂直移動させるための垂直パラメータを含んでもよい。さらに、非基準カメラ補正情報取得部２７４は、対応画素において基準カメラ補正情報に含まれる垂直パラメータと、非基準カメラ補正情報に含まれる垂直パラメータが同一になるように非基準カメラ補正情報を取得してもよい。かかる構成によれば、基準カメラと非基準カメラのそれぞれにより取得される画像の間で、補正による対応画素の垂直方向の移動が同一となるため、補正後の画像が融像しやすくなる。なお、上記の対応画素情報は、後述する奥行推定部２７９から非基準カメラ補正情報取得部２７４に提供されてもよい。

また、非基準カメラ補正情報取得部２７４は、上記対応画素情報に加え、内視鏡装置１０が有する２つのカメラの校正情報と、当該２つのカメラで撮影される被写体の奥行き情報にさらに基づいて、非基準カメラ補正情報を取得してもよい。上記校正情報には、各カメラの焦点距離等の情報を含む内部パラメータと、カメラ間の相対的な位置と姿勢の関係の情報を含む外部パラメータが含まれてもよい。上記の情報に基づいた非基準カメラ補正情報の取得方法の例については図２２〜２５を参照して後述する。なお、上記内部パラメータは後述する内部パラメータ算出部２７６から、上記外部パラメータは後述する外部パラメータ算出部２７７から、非基準カメラ補正情報取得部２７４に提供されてもよい。

補正部２７５は、判定部２７２により基準カメラの動きが閾値より小さいと判定された場合に、基準カメラ補正情報に基づいて基準カメラにより取得される画像の補正を行う。基準カメラの動きのうち、並進成分が大きい場合、基準カメラ補正情報に基づく補正を行うと、補正により画像が大きく移動し、例えば表示装置３０に表示されなくなってしまう（画像の一部または全部が画面外に移動してしまう）恐れがある。また、基準カメラの動きのうち、回転成分、及び拡縮成分が大きい場合、回転成分と拡縮成分を維持する基準カメラ補正情報に基づく補正では、十分に手振れの影響を除去できない。そこで、補正部２７５は、判定部２７２により基準カメラの動きが閾値以上であると判定された場合、各画像に対する補正を行わなくともよい。かかる構成によれば、基準カメラの動きが大きい場合に、手振れの影響は残るものの、画質の劣化なく、正常に画像が表示される。

また、補正部２７５は、判定部２７２により基準カメラの動きが閾値より小さいと判定された場合に、非基準カメラ補正情報に基づいて非基準カメラにより取得される画像の補正を行う。ここで、補正部２７５が行う非基準カメラにより取得される画像の補正は、基準カメラにより取得される画像の補正と比べて、画質の劣化が大きくてもよい。かかる構成によれば、ユーザの入力に基づいて選択された基準カメラに対応する補正後画像は、非基準カメラに対応する補正後画像より画質劣化が少なく表示される。

内部パラメータ算出部２７６は、内視鏡装置１０が有する各カメラの内部パラメータを算出する。例えば、内部パラメータ算出部２７６は、既知の校正用図形パターンを各カメラが撮影して得られた画像から、内部パラメータを算出してもよい。内部パラメータ算出部２７６により算出された内部パラメータは、非基準カメラ補正情報取得部２７４と、奥行推定部２７９に提供される。

外部パラメータ算出部２７７は、内視鏡装置１０が有する２つのカメラ間の相対的な位置と姿勢の関係の情報を含む外部パラメータを算出する。例えば、外部パラメータ算出部２７７は、既知の校正用図形パターンを当該２つのカメラが撮影して得られた画像から、外部パラメータを算出してもよい。外部パラメータ算出部２７７により算出された外部パラメータは、非基準カメラ補正情報取得部２７４と、奥行推定部２７９に提供される。

対応画素算出部２７８は、基準カメラにより取得される画像と、非基準カメラにより取得される画像の間で画素の対応を算出し、対応画素情報を取得する。対応画素算出部２７８は、例えばブロックマッチング法等により、画像間で画素の対応を算出してもよい。取得された対応画素情報は、奥行推定部２７９に提供される。

奥行推定部２７９は、対応画素情報、内部パラメータ、外部パラメータに基づいて、奥行き情報を取得する。また、奥行推定部２７９は、対応画素情報と、奥行き情報を非基準カメラ補正情報取得部２７４に提供する。

＜３−３．第三の実施形態の動作＞
以上、本開示の第三の実施形態にかかる医療用観察システム１が有する制御装置２０−３の構成例について説明した。続いて、図２１〜２５を参照して、本実施形態にかかる医療用観察システム１の動作例について説明する。図２１は、本実施形態にかかる医療用観察システム１による手振れ補正の動作例を示す説明図である。本実施形態にかかる医療用観察システム１は、選択情報設定処理と、図２１に示す手振れ補正処理を行うが、選択情報設定処理は図４を参照して説明した第一の実施形態にかかる医療用観察システム１が行う選択情報設定処理と同様であるため、説明は省略する。図２２〜２５は、本実施形態にかかる医療用観察システム１による手振れ補正のうち、非基準カメラ補正情報取得部２７４による非基準カメラ補正情報の取得方法の一例を説明するための説明図である。以下では、本実施形態にかかる医療用観察システム１による手振れ補正の動作例について図２１を参照して説明した後、非基準カメラ補正情報取得部２７４による非基準カメラ補正情報の取得方法の一例について図２２〜２５を参照して説明する。

（手振れ補正処理）
まず、図２１に示すように、対応画素算出部２７８が、基準カメラにより取得される画像と、非基準カメラにより取得される画像の間で画素の対応を算出し、対応画素情報を取得する（Ｓ５０２）。続いて、奥行推定部２７９が、対応画素情報、内部パラメータ、外部パラメータに基づいて、奥行き情報を取得する（Ｓ５０４）。

続いて、選択部２５−３は記憶部２４−３から基準カメラの選択に関する選択情報の読み出しを行い、補正制御部２７に提供する（Ｓ５０６）。選択情報を受け取った補正制御部２７の動き検出部２７１は、基準カメラにより取得された画像と、フレームバッファ２８Ａまたは２８Ａから読み出された基準カメラの過去の補正後の画像に対し、ノイズ除去などの事前処理を行う（Ｓ５０８）。続いて、動き検出部２７１は、上記の画像についてコーナー点などの特徴点を検出する（Ｓ５１０）。さらに、動き検出部２７１は、Ｌｕｋａｓ−Ｋａｎａｄｅ法などにより、上記画像間で特徴点を追跡し、基準カメラの動きを検出する（Ｓ５１２）。ここで、動き検出部２７１は、基準カメラの動きを成分ごとに算出してもよい。

続いて、基準カメラ補正情報取得部２７３が、基準カメラの動きに基づいて、基準カメラ補正情報を取得する（Ｓ５１４）。さらに、判定部２７２が基準カメラの動き（移動量）が閾値より小さいか否かを判定する（Ｓ５１６）。判定部２７２により、基準カメラの動きが閾値以上であると判定された場合（Ｓ５１６においてＮＯ）、各画像に対する補正が行われず、手振れ補正処理は終了する。

一方、判定部２７２により、基準カメラの動きが閾値より小さいと判定された場合（Ｓ５１６においてＹＥＳ）、補正部２７５は、基準カメラ補正情報に基づいて、基準カメラの撮影により取得された画像に対して画質劣化の少ない補正を行う（Ｓ５１８）。

続いて、非基準カメラ補正情報取得部２７４は、非基準カメラ補正情報を取得する（Ｓ５２０）。このステップＳ５２０の非基準カメラ補正情報取得処理については図２２〜図２５を参照して後述する。

最後に、補正部２７５は、非基準カメラ補正情報に基づいて、非基準カメラの撮影により取得された画像に対して補正を行う（Ｓ５２２）。

（非基準カメラ補正情報取得処理）
以上、本実施形態にかかる医療用観察システム１による手振れ補正の動作例を説明した。続いて、上記で説明した手振れ補正処理のうち、ステップＳ５２０の非基準カメラ補正情報取得処理における非基準カメラ補正情報の取得方法について図２２〜図２５を参照して説明する。図２２〜２５は、本実施形態にかかる非基準カメラ補正情報の取得方法の一例を説明するための説明図である。

図２２は実空間内の点Ｐを撮影するＬカメラとＲカメラを後方から見た模式図である。図２２に示すＣｌ、及びＣｒは、それぞれＬカメラ中心、及びＲカメラ中心である。
図２２に示す点Ｍｌ、及び点Ｍｒは、それぞれ、実空間内の同一点Ｐに対応するＬカメラ、及びＲカメラのセンサ面上の点であり、点Ｍｌと点Ｍｒは対応画素であるといえる。

ここで、２つのカメラセンサ面上の点Ｍｌと点Ｍｒの斉次座標ｍ_ｌ、ｍ_ｒの関係は、内部パラメータ、外部パラメータから得られる基礎行列Ｆを用いて、次式で表される。

ここで、ｍ_ｌが与えられたとき、上式を用いてｍ_ｒを一意に特定することはできない。図２３は、点Ｍｌの斉次座標ｍ_ｌが与えられたとき、上式を用いて特定される、Ｒカメラのセンサ面上の点Ｍｒの候補の例を示す説明図である。図２３に示すように、点Ｍｒがある直線上に存在する事しか特定できない。すなわち、図２２に示す点Ｐ，Ｐ’Ｐ’’等に対応する点Ｍｒ，Ｍｒ’Ｍｒ’’等の直線上の無数の点が候補となる。

そこで、さらに奥行情報を用いて、ｍ_ｒを特定する。図２４は、実空間内の点Ｐを撮影するＬカメラとＲカメラを後方から見た模式図である。図２４に示す点Ｍｌ，Ｍｒ，Ｃｌ，Ｃｒはそれぞれ図２２を参照して説明した点Ｍｌ，Ｍｒ，Ｃｌ，Ｃｒと同様であるため説明は省略する。

ここで、Ｌカメラ中心Ｃｌを中心とした三次元座標系から見た実空間上の点Ｐの座標をｐ_ｌ、Ｒカメラ中心Ｃｒを中心とした三次元座標系から見た実空間上の点Ｐの座標をｐ_ｒとする。ｐ_ｌ、ｐ_ｒの関係は、ＬカメラとＲカメラ間の外部パラメータ行列［Ｒ｜ｔ］を用いて、次式で表される。なお、Ｒは回転成分を示す行列であり、ｔは並進・拡縮成分を示す行列である。

また、ｐ_ｌと、点Ｐに対応するセンサ面上の斉次座標ｍ_ｌの関係は、Ｌカメラの内部パラメータ行列Ａ_ｌを用いて、一般に次式の関係がある。なお、ｈ_ｌはＬカメラにおける点Ｐの奥行き値に応じて変化する係数である。

また、ｐ_ｒとｍ_ｒについても同様に次式が成り立つ。なお、ｈ_ｒはＲカメラにおける点Ｐの奥行き値に応じて変化する係数である。

数式（２）〜（４）をｍ_ｒについて解くと、次式の関係が得られる。

ここで係数ｈは奥行き情報から得られる点Ｐの各カメラにおける奥行き値から特定することが可能である。また、行列Ｈは、内部パラメータ、外部パラメータから上記のように特定される。したがって、ｍ_ｌが与えられたとき、上記のようにして、内部パラメータ、外部パラメータ、奥行情報に基づいてｍ_ｒを求めることが可能である。以上を非基準カメラ補正情報取得処理における非基準カメラ補正情報の取得に適用することが可能である。

例えば、Ｌカメラが基準カメラの場合、ｍ_ｌを基準カメラの補正後の画像における各画素の斉次座標とすれば、非基準カメラの補正後の画像におけるｍ_ｌに対応する対応画素の斉次座標がｍ_ｒとして算出される。図２５は、点Ｍｒに対応する非基準カメラの補正量を示す説明図である。図２５に示す点Ｍｒ０は点Ｐが対応する非基準カメラのセンサ面上の補正前の点である。したがって、図２５に示すように、点Ｍｒに対応する非基準カメラの補正量は、水平方向にΔｘ、垂直方向にΔｙとして取得される。非基準カメラの全ての画素に対して以上のように補正量を取得することで、非基準カメラ補正情報を取得することが可能である。なお、Ｒカメラが基準カメラである場合も、同様にして非基準カメラ補正情報を取得できる。

＜３−４．第三の実施形態の効果＞
以上、第三の実施形態にかかる制御装置２０−３について詳細に説明した。本実施形態によれば、制御装置２０−３は、ユーザの入力に基づいて選択される基準カメラについて、画質劣化が少ない手振れ補正を行い、非基準カメラについて、基準カメラの手振れ補正に合わせた手振れ補正を行う。画質劣化が少ない基準カメラの手振れ補正により、ユーザは快適な立体視を行うことが可能である。また、基準カメラの手振れ補正に合わせた非基準カメラの手振れ補正により、補正後の画像を融像しやすくすることが可能である。

＜３−５．第三の実施形態の変形例＞
以上、本開示の第三の実施形態について説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。

（変形例１）
第一の実施形態にかかる変形例１と同様に、本実施形態にかかる記憶部２４−３が記憶する選択情報は１つに限られない。例えば、本実施形態にかかる記憶部２４−３は、選択情報を、ユーザごとに当該ユーザに関するユーザ情報と対応付けて記憶してもよい。かかる構成によれば、例えば医療用観察システム１がユーザの認証機能を有していた場合、選択情報がユーザＩＤと対応付けて記憶されかつ認証されたユーザは、基準カメラ選択の手間を省くことが可能である。

（変形例２）
上記では、補正部２７５は、判定部２７２により基準カメラの動きが閾値以上であると判定された場合、補正を行わない例を説明したが、本技術は上記に限定されない。例えば、判定部２７２により基準カメラの動きのうち、回転成分、及び拡縮成分が閾値以上であると判定された場合、補正部２７５は、並進成分に加え、回転成分と拡縮成分も打ち消すような補正を行ってもよい。かかる構成によれば、補正による画質の劣化が大きくなる代わりに、基準カメラの動きが大きい場合でも手振れ補正を行うことが可能である。

（変形例３）
第一の実施形態にかかる変形例４における基準レンズの選択と同様に、本実施形態にかかる基準カメラの選択は、ユーザの入力に基づいて行われる例に限定されない。例えば、本実施形態に係る選択部２５−３は、内視鏡装置１０が有する２つのカメラにより取得される画像に基づいて基準レンズを選択してもよい。

例えば、選択部２５−３は、第一の実施形態にかかる変形例４で説明した基準レンズの選択と同様に、２つのカメラにより取得された２つの画像に基づいて被写体認識を行い、被写体の位置、または被写体の大きさに応じて基準カメラを選択してもよい。被写体の位置、及び被写体の大きさに応じた基準カメラの選択は、第一の実施形態にかかる変形例４で説明した基準レンズの選択と同様であるため、説明を省略する。

かかる構成によれば、被写体に応じて自動的に基準カメラが選択されるため、ユーザは基準カメラ選択の手間を省くことが可能である。

＜＜４．ハードウェア構成例＞＞
以上、本開示の各実施形態と各変形例を説明した。上述した選択情報設定処理、駆動制御処理、手振れ補正処理などの情報処理は、ソフトウェアと、以下に説明する制御装置２０（制御装置２０−１、２０−２、２０−３）のハードウェアとの協働により実現される。

図２６は、制御装置２０のハードウェア構成を示す説明図である。図２６に示したように、制御装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、入力装置２０４と、出力装置２０５と、ストレージ装置２０６と、通信装置２０７とを備える。

ＣＰＵ２０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って制御装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。主に、ＣＰＵ２０１、ＲＯＭ２０２及びＲＡＭ２０３とソフトウェアとの協働により、例えば映像処理部２１Ａ，２１Ｂ，移動制御部２６−１，２６−２Ａ，２６−２Ｂ、補正制御部２７等の機能が実現される。

入力装置２０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。制御装置２０のユーザは、該入力装置２０４を操作することにより、制御装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置２０４は、操作部２３、２３−３に対応する。

出力装置２０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置及びランプなどの表示装置を含む。さらに、出力装置２０５は、スピーカ及びヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データなどを音声に変換して出力する。

ストレージ装置２０６は、データ格納用の装置である。ストレージ装置２０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２０６は、ＣＰＵ２０１が実行するプログラムや各種データを格納する。ストレージ装置２０６は、記憶部２４に対応する。

通信装置２０７は、例えば、通信網に接続するための通信デバイスなどで構成された通信インタフェースである。また、通信装置２０７は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ
Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース通信装置を含んでもよい。

＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、ユーザが快適に立体視を行うことが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、医療用観察システムが内視鏡装置を有し、撮像素子を有するカメラ（撮像部）を備える内視鏡装置により撮影が行われる例を説明したが、本技術はかかる例に限定されない。例えば、内視鏡装置に代わり、２以上のカメラを有する他の装置が撮影を行ってもよい。例えば、内視鏡装置に代わり、顕微鏡像を撮影する２以上のカメラ（撮像部）を有するビデオ顕微鏡を備える医療用観察システムに本技術が適用されてもよい。

また、上記実施形態では、内視鏡装置、制御装置、表示装置を有する医療用観察システムの例を説明したが、本技術はかかる例に限定されない。例えば、本開示の実施形態は、上記の内視鏡装置、制御装置、表示装置の機能を有する一つの医療用観察装置であってもよい。また、本開示の実施形態は、上記のビデオ顕微鏡、制御装置、表示装置の機能を有する一つのビデオ顕微鏡装置であってもよい。

また、本実施形態によれば、ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３などのハードウェアを、上述した制御装置２０の各構成と同様の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
２以上のカメラの中から１の基準カメラを選択する選択部と、
前記基準カメラの動きを検出する動き検出部と、
前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、
前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、
を備える、医療用観察装置。
（２）
前記基準カメラの動きは、並進成分、回転成分、拡縮成分を含み、
前記第一の補正情報取得部は、前記基準カメラの動きのうち、並進成分を減殺し、回転成分と拡縮成分を維持するように前記第一の補正情報を取得する、前記（１）に記載の医療用観察装置。
（３）
前記基準カメラの動きが閾値より小さいか否かを判定する判定部をさらに備える、前記（１）または（２）に記載の医療用観察装置。
（４）
前記判定部により前記基準カメラの動きが前記閾値より小さいと判定された場合に、前記第一の補正情報に基づいて前記基準カメラにより取得される画像の補正を行う補正部をさらに備える、前記（３）に記載の医療用観察装置。
（５）
前記第一の補正情報取得部が取得する前記第一の補正情報は、前記基準カメラにより取得される画像を垂直移動させるための垂直パラメータと、水平移動させるための水平パラメータと、を含む情報である、前記（１）〜（４）のいずれか一項に記載の医療用観察装置。
（６）
前記第一の補正情報取得部は、前記垂直移動と前記水平移動が整数画素単位の移動になるような前記垂直パラメータと、前記水平パラメータを含む前記第一の補正情報を取得する、前記（５）に記載の医療用観察装置。
（７）
前記第二の補正情報取得部は、前記基準カメラにより取得される画像と、前記２以上のカメラに含まれる前記基準カメラ以外のカメラにより取得される画像の間での対応画素に関する対応画素情報に基づいて、前記第二の補正情報を取得する、前記（５）または（６）に記載の医療用観察装置。
（８）
前記第二の補正情報は、前記２以上のカメラに含まれる前記基準カメラ以外のカメラにより取得される画像の各画素を垂直移動させるための垂直パラメータを含み、
前記第二の補正情報取得部は、前記対応画素において、前記第一の補正情報に含まれる垂直パラメータと、前記第二の補正情報に含まれる垂直パラメータが同一になるように前記第二の補正情報を取得する、前記（７）に記載の医療用観察装置。
（９）
前記第二の補正情報取得部は、前記２以上のカメラの校正情報と、前記２以上のカメラで撮影される被写体の奥行き情報にさらに基づいて、前記第二の補正情報を取得する、前記（７）または（８）に記載の医療用観察装置。
（１０）
撮像素子を有する前記２以上のカメラをさらに備える、前記（１）〜（９）のいずれか一項に記載の医療用観察装置。
（１１）
前記基準カメラの選択に関する入力を受け付ける操作部をさらに備える、前記（１）〜（１０）のいずれか一項に記載の医療用観察装置。
（１２）
前記基準カメラの選択に関する選択情報を記憶する記憶部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の医療用観察装置。
（１３）
前記記憶部は、前記選択情報を、ユーザごとに当該ユーザに関するユーザ情報と対応付けて記憶する、前記（１２）に記載の医療用観察装置。
（１４）
２以上のカメラの中から１の基準カメラを選択することと、
前記基準カメラの動きを検出することと、
前記基準カメラの動きを減殺する第一の補正情報を取得することと、
前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得することと、
を含む、情報処理方法。
（１５）
コンピュータに
２以上のカメラの中から１の基準カメラを選択する処理と、
前記基準カメラの動きを検出する処理と、
前記基準カメラの動きを減殺する第一の補正情報を取得することと、
前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する処理と、
を行わせるための、プログラム。
（１６）
撮像素子を有する２以上のカメラと、
前記２以上のカメラの中から１の基準カメラを選択する選択部と、
前記基準カメラの動きを検出する動き検出部と、
前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、
前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、
を備え、前記２以上のカメラは顕微鏡像を撮影する、ビデオ顕微鏡装置。

１ 医療用観察システム
１０ 内視鏡装置
１２ カメラ
１４ レンズ駆動部
２０ 制御装置
２１ 映像処理部
２２ 評価値算出部
２３ 操作部
２４ 記憶部
２５ 選択部
２６ 移動制御部
２７ 補正制御部
２８ フレームバッファ
３０ 表示装置
１２２ 合焦調整用レンズ
１２４ 撮像素子
２７１ 検出部
２７２ 判定部
２７３ 基準カメラ補正情報取得部
２７４ 非基準カメラ補正情報取得部
２７５ 補正部
２７６ 内部パラメータ算出部
２７７ 外部パラメータ算出部
２７８ 対応画素算出部
２７９ 奥行推定部

Claims (16)

1. ２以上のカメラの中から１の基準カメラを選択する選択部と、
   前記基準カメラの動きを検出する動き検出部と、
   前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、
   前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、
   を備える、医療用観察装置。
2. 前記基準カメラの動きは、並進成分、回転成分、拡縮成分を含み、
   前記第一の補正情報取得部は、前記基準カメラの動きのうち、並進成分を減殺し、回転成分と拡縮成分を維持するように前記第一の補正情報を取得する、請求項１に記載の医療用観察装置。
3. 前記基準カメラの動きが閾値より小さいか否かを判定する判定部をさらに備える、請求項１に記載の医療用観察装置。
4. 前記判定部により前記基準カメラの動きが前記閾値より小さいと判定された場合に、前記第一の補正情報に基づいて前記基準カメラにより取得される画像の補正を行う補正部をさらに備える、請求項３に記載の医療用観察装置。
5. 前記第一の補正情報取得部が取得する前記第一の補正情報は、前記基準カメラにより取得される画像を垂直移動させるための垂直パラメータと、水平移動させるための水平パラメータと、を含む情報である、請求項１に記載の医療用観察装置。
6. 前記第一の補正情報取得部は、前記垂直移動と前記水平移動が整数画素単位の移動になるような前記垂直パラメータと、前記水平パラメータを含む前記第一の補正情報を取得する、請求項５に記載の医療用観察装置。
7. 前記第二の補正情報取得部は、前記基準カメラにより取得される画像と、前記２以上のカメラに含まれる前記基準カメラ以外のカメラにより取得される画像の間での対応画素に関する対応画素情報に基づいて、前記第二の補正情報を取得する、請求項５に記載の医療用観察装置。
8. 前記第二の補正情報は、前記２以上のカメラに含まれる前記基準カメラ以外のカメラにより取得される画像の各画素を垂直移動させるための垂直パラメータを含み、
   前記第二の補正情報取得部は、前記対応画素において、前記第一の補正情報に含まれる垂直パラメータと、前記第二の補正情報に含まれる垂直パラメータが同一になるように前記第二の補正情報を取得する、請求項７に記載の医療用観察装置。
9. 前記第二の補正情報取得部は、前記２以上のカメラの校正情報と、前記２以上のカメラで撮影される被写体の奥行き情報にさらに基づいて、前記第二の補正情報を取得する、請求項７に記載の医療用観察装置。
10. 撮像素子を有する前記２以上のカメラをさらに備える、請求項１に記載の医療用観察装置。
11. 前記基準カメラの選択に関する入力を受け付ける操作部をさらに備える、請求項１に記載の医療用観察装置。
12. 前記基準カメラの選択に関する選択情報を記憶する記憶部をさらに備える、請求項１に記載の医療用観察装置。
13. 前記記憶部は、前記選択情報を、ユーザごとに当該ユーザに関するユーザ情報と対応付けて記憶する、請求項１２に記載の医療用観察装置。
14. ２以上のカメラの中から１の基準カメラを選択することと、
    前記基準カメラの動きを検出することと、
    前記基準カメラの動きを減殺する第一の補正情報を取得することと、
    前記第一の補正情報の取得とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得することと、
    を含む、情報処理方法。
15. コンピュータに
    ２以上のカメラの中から１の基準カメラを選択する処理と、
    前記基準カメラの動きを検出する処理と、
    前記基準カメラの動きを減殺する第一の補正情報を取得することと、
    前記第一の補正情報の取得とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する処理と、
    を行わせるための、プログラム。
16. 撮像素子を有する２以上のカメラと、
    前記２以上のカメラの中から１の基準カメラを選択する選択部と、
    前記基準カメラの動きを検出する動き検出部と、
    前記基準カメラの動きを減殺する第一の補正情報を取得する第一の補正情報取得部と、
    前記第一の補正情報取得部とは異なる方法で、前記２以上のカメラに含まれる前記基準カメラ以外のカメラの動きを減殺する第二の補正情報を取得する第二の補正情報取得部と、
    を備え、前記２以上のカメラは顕微鏡像を撮影する、ビデオ顕微鏡装置。

Images