JP5886827B2 - 光学ステレオデバイス及びそのデバイスのための自動焦点法 - Google Patents

光学ステレオデバイス及びそのデバイスのための自動焦点法 Download PDF

Info

Publication number
JP5886827B2
JP5886827B2 JP2013501666A JP2013501666A JP5886827B2 JP 5886827 B2 JP5886827 B2 JP 5886827B2 JP 2013501666 A JP2013501666 A JP 2013501666A JP 2013501666 A JP2013501666 A JP 2013501666A JP 5886827 B2 JP5886827 B2 JP 5886827B2
Authority
JP
Japan
Prior art keywords
eye image
stereo device
optical
optical stereo
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013501666A
Other languages
English (en)
Other versions
JP2013528006A (ja
Inventor
ラックスフーバー,ルートヴィヒ
ルーバー,ヨアヒム
Original Assignee
フォルストガルテン インターナショナル ホールディング ゲーエムベーハー
フォルストガルテン インターナショナル ホールディング ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォルストガルテン インターナショナル ホールディング ゲーエムベーハー, フォルストガルテン インターナショナル ホールディング ゲーエムベーハー filed Critical フォルストガルテン インターナショナル ホールディング ゲーエムベーハー
Publication of JP2013528006A publication Critical patent/JP2013528006A/ja
Application granted granted Critical
Publication of JP5886827B2 publication Critical patent/JP5886827B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は光学ステレオデバイス及びそのデバイスのための自動焦点法に関する。詳細には、本発明はステレオカメラ又はステレオ顕微鏡、及びそのような光学ステレオデバイスの焦点を自動的に合わせる方法に関する。
多くの異なる分野において、ステレオカメラのような光学ステレオデバイスが使用されることがますます一般的になってきている。例えば、医療分野では、手術、検診等の作業を実行する際に医療専門家を支援するために、ステレオカメラ及び/又はステレオ顕微鏡を使用することが増えている。これは、ステレオカメラ又はステレオ顕微鏡が、対象物の立体視、それゆえ、対象物についての更なる情報を与えることができるためである。通常、光学ステレオデバイスは、倍率調節可能なレンズ系のような特殊なレンズ系を用いて、画像を拡大する可能性を提供する。幾つかの高性能のステレオ顕微鏡又はステレオカメラは自動焦点機構、すなわち、対象物に自動的に焦点を合わせる能力を含む。そのような自動焦点機構は、例えば、レンズ系を最良の、又は最適な焦点位置、すなわち、対象物の取り得る最も鮮明な画像が得られる位置に動かすことによって、ステレオ顕微鏡又はステレオカメラのレンズ系の焦点を合わせる、制御デバイス及び動作可能に接続された駆動手段によって提供することができる。
従来から、ステレオ顕微鏡又はステレオカメラの最良の焦点位置は、幾つかの既知の方法によって自動的に得ることができる。例えば、ステレオ顕微鏡又はステレオカメラには限定されない、第1の既知の自動焦点法は、対象物のコントラスト又は鮮明度が一般的にカメラ又は顕微鏡の最良の焦点位置において最大であるという事実に基づく。対象物の画像のコントラストは一般的に、制御ユニット上で実行される画像処理ソフトウェアによって決定され、焦点距離及び/又はカメラ若しくは顕微鏡と対象物との間の距離が、それ以上の画像品質の改善が認められなくなるまで、コントラストが高くなる方向に反復して変更される。しかしながら、この既知の自動焦点法、すなわち、コントラスト最適化によって最良の焦点位置を特定することは、大抵の場合に、最初に、(i)現在の焦点位置が最良の、又は最適な焦点位置からどの程度外れているか、及び(ii)最良の焦点位置が、現在の焦点位置に対してどの方向にあるかについての情報がないという不都合がある。さらに、画像品質と、実際の焦点位置から最適な焦点位置までの距離との間の関係は実際には線形ではなく、むしろ指数関数的である。言い換えると、最適な焦点位置の近くでは、最適な焦点位置から更に離れている場合よりも、画像品質がはるかに急激に変化する。その結果として、最初の「推測」として最適な焦点位置周囲の許容可能な焦点位置の範囲を見つけることは一般的に非常に難しい。なぜなら、そのような許容可能な焦点位置の範囲外では、画像品質は少しずつしか変化しないためである。したがって、コントラスト最大化に基づく自動焦点法は、計算がかなり厄介であり、反復手法であるため一般的にあまり速くない。
光学ステレオデバイスのための他の既知の自動焦点法は、焦点面内のレーザービームの反射を測定するか、又は焦点面において同時に生じる2つのレーザービームの特殊な空間的配置を用いる。
本発明の目的は、新たな改善された方法においてその撮像ユニットの焦点を自動的に合わせるように構成される、ステレオカメラ又はステレオ顕微鏡のような光学ステレオデバイス、及び対応する新たな改善された自動焦点法を提供することである。
上記の目的は、請求項1に記載の光学ステレオデバイスによって本発明の第1の態様に従って達成される。光学ステレオデバイスは、右目画像と左目画像とを合成することによって対象物のステレオ画像を与えるように構成される撮像手段と、撮像手段に動作可能に接続され、右目画像及び左目画像を受信し、撮像手段の焦点位置を調整するように構成される制御ユニットとを備える。制御ユニットは、(i)右目画像内の特徴を識別し、左目画像内の同じ特徴を識別し、(ii)左目画像において識別された特徴に対する右目画像において識別された同じ特徴の変位によって規定される変位ベクトルの方向及び/又は大きさを特定し、(iii)変位ベクトルの方向及び/又は大きさに基づいて、識別された特徴に対する焦点位置を調整するように更に構成される。
撮像手段は第1の撮像ユニット及び第2の撮像ユニットを含み、右目画像は第1の撮像ユニットによって与えられ、左目画像は第2の撮像ユニットによって与えられることが好ましい。
好ましい実施の形態によれば、制御ユニットは、識別された特徴の変位が右へのシフトである場合には焦点位置を遠ざけ、識別された特徴の変位が左へのシフトである場合には焦点位置を近づけることによって、焦点位置を調整するように構成される。制御ユニットは、変位ベクトルの方向及び/又は大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係の解析式を用いて、光学ステレオデバイスの焦点を合わせるように構成されることが好ましい。代替的、又は付加的には、制御ユニットは、変位ベクトルの方向及び/又は大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係を記述するルックアップテーブルを用いて、光学ステレオデバイスの焦点を合わせるように構成される。
光学ステレオデバイスはステレオカメラ又はステレオ顕微鏡であることが好ましい。
第2の態様によれば、本発明は、制御ユニットに動作可能に接続される撮像手段を有し、右目画像と左目画像とを合成することによって対象物のステレオ画像を与えるように構成される光学ステレオデバイスの焦点を自動的に合わせる方法を提供する。本方法は、(a)右目画像及び左目画像を与える撮像手段を用いて第1の焦点位置において対象物を撮像するステップと、(b)右目画像内の特徴を識別し、左目画像内の同じ特徴を識別するステップと、(c)左目画像において識別された特徴に対する右目画像において識別された同じ特徴の変位によって規定される変位ベクトルの方向及び/又は大きさを特定するステップと、(d)変位ベクトルの方向及び/又は大きさに基づいて、識別された特徴に対する焦点位置を調整するステップと、を含む。任意選択的に、ステップ(a)〜(d)を反復的に繰り返すことができる。
焦点位置を調整するステップは、撮像手段と対象物の識別された特徴との間の物理的な距離を変更すること、及び/又は撮像手段の焦点距離を変更することを含むことが好ましい。
本発明の第3の態様によれば、本発明の第2の態様による上記の方法を実行するための命令を含む、コンピュータ可読媒体が提供される。
本発明の更なる好ましい実施の形態、利点及び特徴は従属請求項において規定され、かつ/又は以下の詳細な説明及び添付の図面を参照することによって明らかになるであろう。
第1の撮像ユニット及び第2の撮像ユニットの形の撮像手段を備える、本発明による光学ステレオデバイスの好ましい実施形態を示す概略図である。 本発明による光学ステレオデバイスの焦点が合っているとき、及び焦点が外れているときの3つの異なる場合の、第1の撮像ユニットによって与えられる右目画像、第2の撮像ユニットによって与えられる左目画像、及び合成画像をそれぞれ示す概略図である。 本発明による自動焦点法の好ましい実施形態の種々のステップを記述する流れ図である。
次に、本発明を、上記で包括的に略述された本発明の種々の態様を明示することによって更に説明する。そのように明示される各態様は、そうでないことが明確に示されない限り、単数又は複数の任意の他の態様と組み合わせることができる。詳細には、好ましい、又は有利であると示される任意の特徴は、好ましい、又は有利であると示される単数又は複数の任意の他の特徴と組み合わせることができる。
本発明の好ましい実施形態が図1に示される。光学ステレオデバイス10、例えば、ステレオカメラ又はステレオ顕微鏡が、第1の撮像ユニット12及び第2の撮像ユニット14を備える。第1の撮像ユニット12及び第2の撮像ユニット14は、焦点面において互いに交差する2つの光路又は光軸を規定するように、互いに対して配置される。それらの光路が僅かに異なるために、第1の撮像ユニット12及び第2の撮像ユニット14は、患者の歯の領域のような対象物20の2つの異なる画像を与え、それらの画像を合成してそのステレオ画像を作成することができる。第1の撮像ユニット12及び第2の撮像ユニット14の取り得る内部構成、並びにそれらのユニットに必要な構成要素を、当業者は十分に認識している。そのため、これらについて更に詳細には説明しない。第1の撮像ユニット12及び第2の撮像ユニット14はそれぞれ、撮像ユニット内の光を適切に誘導し、かつ/又は拡大するための種々の光学レンズ、及び対象物20からの光を受光するための、CCD検出器のような検出器を備えることができることは簡単にのみ述べる。種々の光学レンズを用いて、光学ステレオデバイス10の焦点及びズーム比(zoom factor:ズーム率)を調整する。このために、レンズを、第1の撮像ユニット12及び第2の撮像ユニット14のそれぞれの光軸に沿って個別に、又は集団で変位させることができる。
さらに、本発明による光学ステレオデバイス10は、第1の撮像ユニット12及び第2の撮像ユニット14に動作可能に接続された制御ユニット16を備える。制御ユニット16は、第1の撮像ユニット12及び第2の撮像ユニット14によって与えられるデータ、すなわち、対象物20の画像を受信するように、かつこれらの画像を合成してそのステレオ画像を生成するように構成される。さらに、制御ユニット16は、対象物20に対する現在の焦点位置を調整し、かつ/又はズーム比を変更するために、第1の撮像ユニット12及び第2の撮像ユニット14、及び/又はその特定の光学レンズを、光学ステレオデバイス10の光軸Aの矢印Fに沿った方向に動かすように構成される。
本発明との関連において、撮像ユニット12及び14一式を物理的に動かす結果として撮像ユニット12及び14と対象物20との間の距離が変化することは、撮像ユニット12及び14の内部光学素子の位置を調整する結果として、撮像ユニット12及び14の焦点距離が変化することと同じであり、いずれのオプションも本発明によって包含されることを、当業者は理解されよう。制御ユニット16は、入力デバイス(図1には示されない)と接続することができ、その入力デバイスによって、ユーザは、焦点位置及び/又はズーム比を手動で変更する等の、本発明に従って光学ステレオデバイス10を動作させるための入力データ、コマンド等を入力することができる。入力デバイスは、制御機構との関連において既知であるような、タッチパッド、キーボード、複数のスイッチ及び/又はノブ等として実装することができる。さらに、制御ユニット16は、第1の撮像ユニット12及び第2の撮像ユニット14によって与えられるそれぞれの画像に基づいて制御ユニット16によって作成された対象物20のステレオ画像を表示するための、ディスプレイユニット又はステレオモニター(図1には示されない)のような出力デバイスと接続することができる。
第1の撮像ユニット12は、本明細書において「右目画像」と呼ばれる対象物20の第1の画像を与える。同様に、第2の撮像ユニット14は、本明細書において「左目画像」と呼ばれる対象物20の第2の画像を与える。当業者には十分に認識されており、かつ上記で既に説明されたように、第1の撮像ユニット12と第2の撮像ユニット14との間が空間的に僅かに離れており、それゆえ、視角が僅かに異なるために、制御ユニット16は、第1の撮像ユニット12によって与えられる右目画像及び第2の撮像ユニット14によって与えられる左目画像に基づいて、対象物20の3次元画像又はステレオ画像を構成することができる。しかしながら、本発明との関連において、右目画像及び左目画像は、第1の位置と、僅かにオフセットした第2の位置との間で動かされ、対象物20に対する2つの僅かに異なる視角を与える単一の撮像ユニットによって与えることもできる。
図1の平面図において、光学デバイス10の後方に立っており、その光軸Aに沿って対象物20の方を見ている観測者が、固有の基準座標系を規定することを、当業者は理解されよう。この基準座標系に対して、第1の撮像ユニット12は右側に配置され、対象物20の右目画像を与え、第2の撮像ユニット14は左側に配置され、対象物20の左目画像を与える。これ以降、本発明による自動焦点機構は、この基準座標系との関連において説明される。
さらに、本明細書において、「最良の焦点位置」、「焦点を合わせる」又は「焦点が合っている」について言及する。これらの表現が、第1の撮像ユニット12及び第2の撮像ユニット14と、対象物20の識別された特徴との間の相対的な位置に対応する状態又は位置を規定しており、第1の撮像ユニット12及び第2の撮像ユニット14と、対象物20の識別された特徴との間の距離は第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離に概ね等しいことを、当業者は理解されよう。
本発明によれば、制御ユニット16は、自動焦点機構を実現するように構成され、その仕様を次に更に詳細に説明する。本発明によるこの自動焦点機構は、光学ステレオデバイスの撮像手段によって与えられる画像において、焦点面から外れて(すなわち、焦点面の前方又は後方に)位置する物体が、焦点が合っている場合、すなわち、焦点面内にある場合にそれらの物体が有するであろう位置に対してシフト又は変位するという概念に基づく。本発明によれば、対象物20すなわちその識別された特徴に焦点を合わせるために、変位ベクトルの方向、すなわち、左方向又は右方向から、現在の焦点位置が調整されなければならない方向を特定することができる。さらに、この変位ベクトルの大きさによって、対象物20すなわちその識別された特徴に焦点を合わせるために必要な焦点位置の変更(すなわち、現在の焦点位置と最良の焦点位置との間の差)を求めることができるようになる。
図2は、本発明の主要な着想を説明するために、光学ステレオデバイス10の第1の撮像ユニット12及び第2の撮像ユニット14によって与えられる種々の例示的な画像、並びにそれらに基づいて制御ユニット16によって作成される対応する合成ステレオ画像を概略的に示す。
図2の中央の行(「焦点が合っている」と呼ばれる)は、対象物20の識別された特徴に焦点が合っている、すなわち、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離が第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離に実質的に等しい場合に、対象物20の識別された、好ましくは固有の特徴の、第2の撮像ユニット14によって与えられる左目画像(図2の左側の列)、第1の撮像ユニット12によって与えられる右目画像(図2の中央の列)及び合成画像(図2の右側の列)を概略的に示す。この場合、対象物20の識別された特徴の右目画像及び左目画像は実質的に同一である(ステレオ効果を与えるために、対象物20に対する第1の撮像ユニット12及び第2の撮像ユニット14の視角が僅かに異なるために起こり得る任意の僅かな違いを除く)。言い換えると、この場合、右目画像及び左目画像を単に重ね合わせることによって制御ユニット16によって作成される対象物20の識別された特徴の合成画像(図2の右側の列に示される)は、右目画像及び左目画像とそれぞれ実質的に同一である。
図2の上の行(「近すぎる」と呼ばれる)は、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離が第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離よりも短い場合の、対象物20の識別された、好ましくは固有の特徴の左目画像、右目画像及び合成画像を概略的に示す。この場合、図2の右側の列において示されるこの場合の合成画像から更に明らかに理解できるように、対象物20の識別された特徴は、右目画像及び左目画像において異なる位置に配置される。より具体的には、この場合、すなわち、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離が第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離よりも短いとき、この場合の合成画像において示される変位ベクトル30によって示されるように、対象物20の識別された特徴は、左目画像内の対象物20の同じ識別された特徴に対して、右目画像内では右にシフト又は変位する。
図2の下の行(「離れすぎている」と呼ばれる)は、反対の場合、すなわち、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離が第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離よりも長い場合の、対象物20の識別された、好ましくは固有の特徴の左目画像、右目画像及び合成画像を概略的に示す。この場合にも、図2の右側の列において示されるこの場合の合成画像から更に明らかに理解できるように、対象物20の識別された特徴は、右目画像及び左目画像において異なる位置に配置される。より具体的には、この場合、すなわち、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離が第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離よりも長いとき、この場合の合成画像において示される変位ベクトル30’によって示されるように、右目画像内の対象物20の識別された特徴は、左目画像内の対象物20の識別された特徴に対して左にシフト又は変位する。
上記の結論を有利に実施できるようにするために、本発明による光学ステレオデバイス10の制御ユニット16は、(i)第1の撮像ユニット12によって与えられる右目画像内の対象物20の好ましくは固有の特徴を識別し、かつ第2の撮像ユニット14によって与えられる左目画像内の対象物20の同じ特徴を識別し、(ii)左目画像において識別された対象物20の特徴に対する右目画像において識別された同じ特徴の変位によって規定される変位ベクトル30、30’の方向及び大きさを特定し、(iii)変位ベクトル30、30’の方向及び大きさに基づいて、その変位が右へのシフトである場合には焦点位置を遠ざけ、その変位が左へのシフトである場合には焦点位置を近づけることによって、対象物20の識別された特徴に対する現在の焦点位置を調整するように構成される。
当業者は理解するように、かつ既に上記で言及されているように、対象物20の識別された特徴に対する焦点位置を遠ざけることは、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離を長くすることによって、かつ/又は第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離を短くすることによって達成することができる。同様に、焦点位置を近づけることは、例えば、第1の撮像ユニット12及び第2の撮像ユニット14の光学レンズ及び素子の位置を適切に調整することによって、第1の撮像ユニット12及び第2の撮像ユニット14と対象物20の識別された特徴との間の距離を短くすることによって、かつ/又は第1の撮像ユニット12及び第2の撮像ユニット14の焦点距離を長くすることによって達成することができる。
第1の撮像ユニット12によって与えられる右目画像内の対象物20の好ましくは固有の特徴を識別するために、かつ第2の撮像ユニット14によって与えられる左目画像内の対象物20の同じ特徴を識別するために、制御ユニット16において、適切な画像処理アルゴリズムを実施することができる。例えば、当業者に既知であるように、特徴を識別するために、導関数式に基づく微分アルゴリズム、及び/又は強度値の局所的な極値に基づくアルゴリズムを用いることができる。左目画像内の対象物20の識別された特徴に対する右目画像内の同じ特徴の変位の方向及び大きさを特定するために、制御ユニット16において、類似の画像処理アルゴリズムを実施することができる。
好ましくは、本発明による光学ステレオデバイス10の制御ユニット16は、左目画像内の対象物20の識別された特徴に対する右目画像内の同じ特徴の変位によって規定される変位ベクトル30、30’の方向及び大きさに基づいて、最良の焦点位置を特定するように更に構成される。言い換えると、本発明による光学ステレオデバイス10の制御ユニット16は、さらに、変位ベクトル30、30’の方向及び大きさに基づいて、対象物20の識別された特徴に焦点を合わせるために必要である焦点位置の変化を特定するように構成される。簡単な光学ステレオデバイスの場合に、かつ/又は一定の焦点位置範囲内では、変位ベクトル30、30’の大きさと、光学ステレオデバイス10の焦点を合わせるために必要な焦点位置の変化、すなわち、現在の焦点位置と最良の焦点位置との間の差との間の関係は、線形、又はおそらく僅かに複雑な解析式によって記述できるのが事実であろう。そのような場合には、この解析式を制御ユニット16において実施して、制御ユニット16が変位ベクトル30、30’の大きさに基づいて必要とされる焦点位置の変化を求めることができるようにする。
しかしながら、更に複雑な光学ステレオデバイスの場合、一般的には、変位ベクトル30、30’の大きさと、光学ステレオデバイス10の焦点を合わせるために必要な焦点位置の変化、すなわち、現在の焦点位置と最良の焦点位置との間の差との間の関係を解析式として表すことができない場合がある(例えば、最良の焦点位置付近における大抵の近似は、制御ユニット16において解析式として実現することができる)。好ましくは、そのような場合、制御ユニット16は、制御ユニット16自体に、又は制御ユニットに接続されたメモリユニット(図示せず)に格納される適切なルックアップテーブルにアクセスできるように構成される。動作前に光学ステレオデバイス10の或る種の較正を実行することによって、そのようなルックアップテーブルを生成できることを、当業者は理解されよう。例えば、ルックアップテーブルは、最良の焦点位置に対する以下の例示的な位置:−10cm、−5cm、−2.5cm、−1cm、−0.5cm、0cm、0.5cm、1cm、2.5cm、5cm及び10cmに位置する単純な対象物20の場合の変位ベクトルの大きさを求めることによって生成することができる。そうすることによって、変位ベクトルの求められた大きさに、最良の焦点位置からの較正焦点位置のそれぞれ対応する距離を割り当てることができる。変位ベクトルの大きさがルックアップテーブル内に記載される2つの連続する値の間に入る場合には、動作時に、制御ユニット16が焦点位置の必要な変化を求めるための補間機構を用いることができることを、当業者は理解されよう。ズーム比が異なる場合には、異なるルックアップテーブルを用いることができる。
図3は、本発明による光学ステレオデバイス10の焦点を自動的に合わせる方法の例示的なステップを強調する流れ図を示す。本方法は、(a)右目画像を与える第1の撮像ユニット12及び左目画像を与える第2の撮像ユニット14を用いて第1の焦点位置において対象物20を撮像するステップと、(b)右目画像内の対象物20の好ましくは固有の特徴を識別し、かつ左目画像内の同じ特徴を識別するステップと、(c)左目画像において識別された特徴に対する右目画像において識別された同じ特徴の変位によって規定される変位ベクトル30、30’の方向及び大きさを特定するステップと、(d)変位ベクトル30、30’の方向及び大きさに基づいて、好ましくは、その変位が右へのシフトである場合には焦点位置を遠ざけ、その変位が左へのシフトである場合には焦点位置を近づけることによって、対象物20の識別された特徴に対して第1の撮像ユニット12及び第2の撮像ユニット14の焦点位置を調整するステップとを含むことが好ましい。
本発明は、とりわけ、以下の利点を提供する。焦点位置が、許容可能な鮮明度を与える相対的に大きな被写界深度を用いて小さなズーム比において本発明によるデバイス及び/又は方法によって特定された場合には、この焦点位置は、最良の焦点位置と同一であるか又は極めて近くなる。これは、ユーザが大きなズーム比に変更する結果として被写界深度が小さくなるときでも、依然として画像の焦点が合っていることを確実にする。さらに、本発明によれば、変位ベクトルの方向(すなわち、左又は右)、又は同等に符号(すなわち、正又は負)に基づいて、対象物の識別された特徴が、光学ステレオデバイスの所与の設定(例えば、ズーム比)によって規定される焦点面の前方にあるか、後方にあるかを判断するのが容易である。この情報によって、焦点位置を正しい方向に容易に調整することができる。これは、コントラスト技法に基づく従来技術の自動焦点法が、焦点/鮮明度を改善するために焦点位置が調整されなければならない方向を特定するために、少なくとも2つの焦点位置において撮影される単数又は複数の画像を必要とするので、これらの従来技術の方法に比べて好都合である。
デバイス、利用法及び方法は様々である場合があるので、上記で詳述されたような本発明は説明された特定のデバイス、利用法及び方法には限定されない。例えば、本発明はステレオカメラ又は顕微鏡との関連において上記で説明されてきたが、双眼鏡のような、自動焦点機構を含む他の光学ステレオデバイスにも有利に適用することができる。また、本明細書において用いられる用語は、特定の実施形態を説明するための用語にすぎず、本発明の範囲を制限することを意図するものではなく、本発明の範囲は添付の特許請求の範囲によってのみ制限されることも理解されたい。別段の定めがない限り、本明細書において用いられる全ての科学技術用語は、当業者によって一般的に理解されるのと同じ意味を有する。
本明細書及び添付の特許請求の範囲を通じて、文脈上他に必要な場合以外は、「を含む("comprise" and variations such as "comprises"and "comprising")」という単語は、記載された完全体(integer)若しくはステップ又は完全体若しくはステップの群を包含することを示唆するが、任意の他の完全体若しくはステップ又は完全体若しくはステップの群を除外することを示唆しないと理解される。
幾つかの文書が、本明細書の文章を通じて引用される。本明細書中で引用される文書(全ての特許、特許出願、科学的刊行物、製造業者の仕様書、取扱説明書等を含む)の各々が、上記のものであるか又は下記のものであるかに関わらず、その全体が参照により本明細書に援用される。本明細書のどの記載も、本発明が従来の発明に基づくこのような開示に先行する権利を有しないことを認めるものと解釈すべきではない。

Claims (15)

  1. 光学ステレオデバイス(10)であって、
    右目画像と左目画像とを合成することによって対象物(20)のステレオ画像を与えるように構成される撮像手段(12、14)と、
    該撮像手段(12、14)に動作可能に接続され、該右目画像及び該左目画像を受信し、該撮像手段(12、14)の該焦点位置を調整するように構成される制御ユニット(16)とを備え、
    該制御ユニット(16)は、
    (i)該右目画像内の特徴を識別し、該左目画像内の同じ特徴を識別し、
    (ii)該左目画像において識別された該特徴に対する該右目画像において識別された該同じ特徴の変位によって規定される変位ベクトル(30、30’)の方向及び/又は大きさを特定し、
    (iii)該変位ベクトル(30、30’)の該方向及び/又は該大きさに基づいて、該識別された特徴に対する該焦点位置を調整するように更に構成されることを特徴とする、光学ステレオデバイス。
  2. 光学ステレオデバイス(10)であって、
    該撮像手段は第1の撮像ユニット(12)及び第2の撮像ユニット(14)を含み、該右目画像は該第1の撮像ユニット(12)によって与えられ、該左目画像は該第2の撮像ユニット(14)によって与えられる、請求項1に記載の光学ステレオデバイス。
  3. 光学ステレオデバイス(10)であって、
    該制御ユニット(16)は、該変位が右へのシフトである場合には該焦点位置を遠ざけ、該変位が左へのシフトである場合には該焦点位置を近づけることによって、該焦点位置を調整するように構成される、請求項1に記載の光学ステレオデバイス。
  4. 光学ステレオデバイス(10)であって、
    該制御ユニット(16)は、該変位ベクトル(30、30’)の該方向及び/又は該大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係の解析式を用いて、該光学ステレオデバイス(10)の焦点を合わせるように構成される、請求項3に記載の光学ステレオデバイス。
  5. 光学ステレオデバイス(10)であって、
    該制御ユニット(16)は、該変位ベクトル(30、30’)の該方向及び/又は該大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係を記述するルックアップテーブルを用いて、該光学ステレオデバイス(10)の焦点を合わせるように構成される、請求項3に記載の光学ステレオデバイス。
  6. 光学ステレオデバイス(10)であって、
    該光学ステレオデバイス(10)はステレオカメラである、請求項1に記載の光学ステレオデバイス。
  7. 光学ステレオデバイス(10)であって、
    該光学ステレオデバイス(10)はステレオ顕微鏡である、請求項1に記載の光学ステレオデバイス。
  8. 制御ユニット(16)に動作可能に接続された撮像手段(12、14)を有し、右目画像と左目画像とを合成することによって対象物(20)のステレオ画像を与えるように構成される光学ステレオデバイス(10)の焦点を自動的に合わせる方法であって、該方法は、
    (a)該右目画像及び該左目画像を与える該撮像手段(12、14)を用いて第1の焦点位置において該対象物(20)を撮像するステップと、
    (b)該右目画像内の特徴を識別し、該左目画像内の同じ特徴を識別するステップと、
    (c)該左目画像において識別された該特徴に対する該右目画像において識別された該同じ特徴の変位によって規定される変位ベクトル(30、30’)の方向及び/又は大きさを特定するステップと、
    (d)該変位ベクトル(30、30’)の該方向及び/又は該大きさに基づいて、該識別された特徴に対する該焦点位置を調整するステップと、
    を含む、光学ステレオデバイス(10)の焦点を自動的に合わせる方法。
  9. ステップ(a)において、該右目画像は第1の撮像ユニット(12)によって与えられ、該左目画像は第2の撮像ユニット(14)によって与えられる、請求項8に記載の方法。
  10. ステップ(d)において、該焦点位置は、該変位が右へのシフトである場合には該焦点位置を遠ざけ、該変位が左へのシフトである場合には該焦点位置を近づけることによって調整される、請求項8に記載の方法。
  11. 変位ベクトル(30、30’)の該方向及び/又は該大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係の解析式を用いて、該光学ステレオデバイス(10)の焦点を合わせる、請求項10に記載の方法。
  12. 変位ベクトル(30、30’)の方向及び/又は大きさと、現在の焦点位置と最良の焦点位置との間の差との間の関係を記述するルックアップテーブルを用いて、該光学ステレオデバイス(10)の焦点を合わせる、請求項10に記載の方法。
  13. 焦点位置を調整するステップ(d)は、該撮像手段(12、14)と該対象物(20)の該識別された特徴との間の物理的な距離を変更すること、及び/又は該撮像手段(12、14)の焦点距離を変更することを含む、請求項8に記載の方法。
  14. ステップ(a)〜(d)は反復的に繰り返される、請求項8に記載の方法。
  15. 請求項8〜14のいずれか一項に記載の方法を実行するための命令を含むコンピュータ可読媒体。
JP2013501666A 2010-03-29 2011-03-21 光学ステレオデバイス及びそのデバイスのための自動焦点法 Expired - Fee Related JP5886827B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10003380A EP2373043A1 (en) 2010-03-29 2010-03-29 Optical stereo device and autofocus method therefor
EP10003380.2 2010-03-29
PCT/EP2011/001388 WO2011120645A1 (en) 2010-03-29 2011-03-21 Optical stereo device and autofocus method therefor

Publications (2)

Publication Number Publication Date
JP2013528006A JP2013528006A (ja) 2013-07-04
JP5886827B2 true JP5886827B2 (ja) 2016-03-16

Family

ID=42289529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013501666A Expired - Fee Related JP5886827B2 (ja) 2010-03-29 2011-03-21 光学ステレオデバイス及びそのデバイスのための自動焦点法

Country Status (7)

Country Link
EP (2) EP2373043A1 (ja)
JP (1) JP5886827B2 (ja)
KR (1) KR20130009996A (ja)
CN (1) CN102948155B (ja)
BR (1) BR112012025607A2 (ja)
RU (1) RU2576485C2 (ja)
WO (1) WO2011120645A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012108039B4 (de) * 2012-08-30 2022-05-05 Renfert Gmbh Dentaltechnikbilderfassungsvorrichtung
JP2015102602A (ja) * 2013-11-21 2015-06-04 キヤノン株式会社 立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体
KR101784787B1 (ko) 2014-03-21 2017-10-12 후아웨이 테크놀러지 컴퍼니 리미티드 이미징 기기 및 이미징 기기에서의 자동 초점맞춤 방법과 대응하는 컴퓨터 프로그램
CN108351506B (zh) * 2015-11-11 2020-12-04 斯科皮奥实验室有限公司 用于计算显微镜的自动聚焦系统
DE102017110816A1 (de) 2017-05-18 2018-07-12 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät und Verfahren zum effizienten Ausführen eines automatischen Fokussieralgorithmus
WO2020121456A1 (ja) * 2018-12-12 2020-06-18 株式会社ニコン 顕微鏡、顕微鏡用調節装置、顕微鏡システム、顕微鏡の制御方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4601053A (en) * 1983-11-21 1986-07-15 Grumman Aerospace Corporation Automatic TV ranging system
JP2685619B2 (ja) * 1989-04-28 1997-12-03 池上通信機株式会社 立体カメラのビューファインダ装置
US5864359A (en) * 1995-05-30 1999-01-26 Smith & Nephew, Inc. Stereoscopic autofocusing based on comparing the left and right eye images
JPH10155104A (ja) * 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
RU2160463C2 (ru) * 1999-02-24 2000-12-10 Тверской государственный технический университет Электронная фотокамера
DE10113084A1 (de) * 2001-03-17 2002-09-19 Leica Microsystems Autofokus-Mikroskopsystem
JP2003296740A (ja) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd オブジェクト監視方法及びオブジェクト監視カメラ装置
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
DE102005063503B4 (de) * 2005-03-10 2011-05-19 Inaba, Minoru, Oyama 3D-Display und 3D-Projektor
US7729530B2 (en) * 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5223486B2 (ja) * 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡

Also Published As

Publication number Publication date
WO2011120645A1 (en) 2011-10-06
RU2576485C2 (ru) 2016-03-10
CN102948155B (zh) 2016-11-09
EP2373043A1 (en) 2011-10-05
EP2553929A1 (en) 2013-02-06
BR112012025607A2 (pt) 2019-04-02
JP2013528006A (ja) 2013-07-04
KR20130009996A (ko) 2013-01-24
CN102948155A (zh) 2013-02-27
RU2012145888A (ru) 2014-05-10

Similar Documents

Publication Publication Date Title
US9479759B2 (en) Optical stereo device and autofocus method therefor
JP5886827B2 (ja) 光学ステレオデバイス及びそのデバイスのための自動焦点法
JP5102986B2 (ja) 被写界深度を広げた光学装置
JP5749331B2 (ja) 二重対物3−d立体顕微鏡
JP5948645B2 (ja) レンズ制御装置およびレンズ制御装置を備えた交換レンズ
US10146039B2 (en) Image capture method for a microscope system, and corresponding microscope system
TW201607313A (zh) 一種可獲得深度資訊的影像擷取系統與對焦方法
US10437037B2 (en) Electronic microscope
JP5093979B2 (ja) 観察装置用対物レンズ、顕微鏡ならびに対物レンズの調節方法
US11974053B2 (en) Stereoscopic imaging platform with continuous autofocusing mode
US20240073399A1 (en) Stereoscopic imaging platform with disparity and sharpness control automatic focusing mode
JP2003005313A (ja) 立体画像撮影装置
KR101608404B1 (ko) 입체 이미지를 촬영하기 위한 단안식 현미경
Bae et al. Development of a miniature single lens dual-aperture stereo imaging system towards stereo endoscopic imaging application
US9083955B2 (en) Three-dimensional image pickup system
US11863882B2 (en) Stereoscopic imaging platform with target locking automatic focusing mode
CN116699820B (zh) 手术显微镜的成像镜组
WO2018011644A1 (en) Variable working distance microscope
JP2023054610A (ja) 制御装置、レンズ装置、制御方法、およびプログラム
JP2010139909A (ja) 顕微鏡装置
JP2013254139A (ja) レンズシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160212

R150 Certificate of patent or registration of utility model

Ref document number: 5886827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees