JP5229726B2 - 遠距離視標探査カメラシステム - Google Patents

遠距離視標探査カメラシステム Download PDF

Info

Publication number
JP5229726B2
JP5229726B2 JP2008211251A JP2008211251A JP5229726B2 JP 5229726 B2 JP5229726 B2 JP 5229726B2 JP 2008211251 A JP2008211251 A JP 2008211251A JP 2008211251 A JP2008211251 A JP 2008211251A JP 5229726 B2 JP5229726 B2 JP 5229726B2
Authority
JP
Japan
Prior art keywords
camera
target
convergence
wide
telephoto
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008211251A
Other languages
English (en)
Other versions
JP2010050582A (ja
Inventor
暁林 張
恩恵 陳
芳彦 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2008211251A priority Critical patent/JP5229726B2/ja
Priority to US13/059,954 priority patent/US20120002016A1/en
Priority to PCT/JP2009/003902 priority patent/WO2010021114A1/ja
Priority to CN2009801326570A priority patent/CN102132556A/zh
Priority to EP09808050A priority patent/EP2328341A4/en
Publication of JP2010050582A publication Critical patent/JP2010050582A/ja
Application granted granted Critical
Publication of JP5229726B2 publication Critical patent/JP5229726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/12Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Description

本発明は遠距離の視標を探査する遠距離視標探査カメラシステムに関し、特に、複数の画角のカメラを組み合わせた遠距離視標探査カメラシステムに関する。
本願の発明者は、複数の画角のカメラを組み合わせた視標探査・追跡用のカメラシステムをこれまでにも種々開発している(特許文献1〜特許文献4)。これらは、基本的には基台上に設置される視標探査及び追跡用の両眼アクティブカメラからなるものであり、視標までの距離とは関係なく同じカメラシステムを用いて同じ追跡制御を行うものである。
特開2006−258543号公報 特開2006−329747号公報 特開2007−093479号公報 特開2007−120993号公報
しかしながら、遠距離の視標を探査して追跡する場合には、視標までの距離に対して両眼カメラ間の基線長が十分でなく、距離計測精度が十分得られない場合があった。また、そもそも視標までの距離自体が重要ではないことも多々あった。そのような場合、遠距離の視標の探査や追跡については、超望遠カメラが1台あれば十分であったにもかかわらず、2つのカメラを用いて探査や追跡を行っていた。
また、上述のカメラシステムでは、両眼の共役運動を行うことが可能なアクチュエータを有するものであったが、これはカメラシステムを配置する基台の左右方向の回転運動と重複する動きであり、制御が複雑になっていた。
したがって、これまでの視標探査・追跡用のカメラシステムは、カメラの数にもアクチュエータの数にも冗長性があるものであった。しかしながら、特定の用途や条件によっては、これらの冗長性を減らし、システムの軽量化、低コスト化、視覚認識処理の単純化が望まれていた。
本発明は、斯かる実情に鑑み、構造を簡略化しつつ、遠距離から近距離まで幅広く視標の探査・追跡が可能な遠距離視標探査カメラシステムを提供しようとするものである。
上述した本発明の目的を達成するために、本発明による遠距離視標探査カメラシステムは、輻輳運動可能な一対の輻輳カメラと、一対の輻輳カメラの視線の交点の軌跡線に略等しい視線を有する、一対の輻輳カメラよりも挟角な視野を有する望遠カメラと、一対の輻輳カメラ及び望遠カメラが設置される基台と、基台の運動制御を行う基台運動用モータと、を具備するものである。
さらに、望遠カメラの視線に略等しい視線を有する、一対の輻輳カメラよりも広角な視野を有する広角カメラを具備し、該広角カメラは基台に設置されるものであっても良い。
また、望遠カメラは、一対の輻輳カメラの間の中心に配置されれば良い。
また、望遠カメラ及び/又は広角カメラは、基台の運動に連動するように基台に固定されれば良い。
また、望遠カメラ及び/又は広角カメラは、一対の輻輳カメラの一方の運動に連動するように、一対の輻輳カメラの一方に固定されても良い。
また、輻輳カメラは、1つのモータと1つのプーリを用いて輻輳運動可能に構成されても良い。
さらに、本発明による遠距離視標探査カメラシステムを用いて広範囲から視標を捜索するための制御方法は、広角カメラ制御過程と、輻輳カメラ制御過程と、望遠カメラ制御過程とを具備し、
広角カメラ制御過程は、広角カメラにより広範囲を撮像する過程と、広角カメラによる撮像過程における広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測する過程と、広角カメラの視線を所定位置に保持するために、計測過程による運動速度を用いて基台を視覚フィードバック制御する過程と、を具備し、
輻輳カメラ制御過程は、一対の輻輳カメラにより視標を撮像する過程と、一対の輻輳カメラによる撮像過程における各輻輳画像を用いて各輻輳カメラを輻輳運動制御する過程と、輻輳運動制御過程による輻輳カメラの回転角度を用いて視標までの距離を計測する過程と、一対の輻輳カメラの視線を所定位置に保持するために、各輻輳画像を用いて一対の輻輳カメラを視覚フィードバック制御する過程と、を具備し、
望遠カメラ制御過程は、望遠カメラにより視標を撮像する過程と、望遠カメラによる撮像過程における望遠画像に視標があるかないか検出する過程と、検出過程で視標がなければ望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させる過程と、検出過程で視標があれば望遠画像を用いて望遠カメラを視覚フィードバック制御する過程と、を具備するものである。
本発明の遠距離視標探査カメラシステムには、構造を簡略化しつつ、遠距離から近距離まで幅広く視標の探査・追跡が可能であるという利点がある。また、視覚認識処理速度も高速になり、例えば高速に移動する視標であっても探査・追跡が可能であるという利点もある。
以下、本発明を実施するための最良の形態を図示例と共に説明する。図1は、本発明の第1実施例の遠距離視標探査カメラシステムを説明するための概略図である。図示の通り、本発明の第1実施例の遠距離視標探査カメラシステムは、一対の輻輳カメラ10と、望遠カメラ20と、広角カメラ30と、これらが設置される基台40と、基台の運動制御を行う基台運動用モータ50とから主に構成されている。
一対の輻輳カメラ10は、輻輳運動が可能なものである。ここで、輻輳運動とは、一対の輻輳カメラ10によりある物体を撮像する上で、撮像画像が一致するように各視線をそのある物体上に揃えるようにカメラを回転運動させることをいう。なお、本明細書中では、より近くの物体を撮像するときの寄り運動と、より遠くの物体を撮像するときの広がり運動を含めて輻輳運動と呼ぶ。各輻輳カメラ10は、標準画角、即ち、望遠でも広角でもない中間の画角を有するものが好ましい。
図示例の一対の輻輳カメラ10は、1つのモータ11と1つのプーリ12を用いて輻輳運動可能に構成されている。モータ11とプーリ12は、ベルト13で接続されており、ベルト13を交差して配置することで、モータ11の回転方向とプーリ12の回転方向が逆になるように構成されている。これにより、一対の輻輳カメラ10の輻輳運動は、モータ11のみで運動制御可能となる。なお、本発明は、このような1つのモータと1つのプーリを用いた構成に必ずしも限定されるものではなく、2つのモータによりそれぞれ独立駆動されるように構成して輻輳運動可能なように制御しても良い。
望遠カメラ20は、一対の輻輳カメラ10よりも挟角な視野を有するものである。また、望遠カメラ20は、一対の輻輳カメラ10の視線の交点の軌跡線に略等しい視線を有している。輻輳運動する一対の輻輳カメラ10の視線の交点は、一対の輻輳カメラ10の間の中心、且つ一対の輻輳カメラ10間の基線に垂直な直線上で軌跡を描く。したがって、この軌跡線に略等しい視線を有する望遠カメラ20は、図示例のように、一対の輻輳カメラ10の間の中心に配置されれば良い。より具体的には、望遠カメラ20は、一対の輻輳カメラ10のそれぞれの回転中心の間の中心に配置される。このように望遠カメラ20が基台40の上に配置されることにより、望遠カメラ20の視線をコントロールするためのモータ等のアクチュエータが不要となる。即ち、望遠カメラ20の視線は常に一対の輻輳カメラ10の視線の交点に位置することになるため、一対の輻輳カメラ10で視標を捉えれば、望遠カメラ20の視界に同じ視標が捉えられるので、望遠カメラ20をアクチュエータで視線制御する必要がない。
広角カメラ30は、一対の輻輳カメラ10よりも広角な視野を有するものである。また、広角カメラ30は、望遠カメラ20の視線に略等しい視線を有している。広角カメラ30は、望遠カメラ20の視線、即ち、一対の輻輳カメラ10の視線の交点の軌跡線に略等しい視線を有するように配置されれば良い。図示例では、広角カメラ30は望遠カメラ20と略同じ位置に配置されている。即ち、広角カメラ30は、一対の輻輳カメラ10の間の中心に配置されている。このように広角カメラ30が基台40の上に配置されることにより、望遠カメラと同様に、広角カメラ30の視線をコントロールするためのモータ等のアクチュエータが不要となる。
なお、本発明の遠距離視標探査カメラシステムでは、広角カメラは必ずしも必須の構成要素ではなく、用途によっては一対の輻輳カメラにより広角カメラを代用しても良い。即ち、広角カメラによる広い視野の代わりに、輻輳カメラによる標準的な視野を用いて遠距離の視標を探査しても良い。
このように構成された一対の輻輳カメラ10、望遠カメラ20、広角カメラ30が、基台40に設置される。基台40には、基台40の運動制御を行うための基台運動用モータ50が接続されている。図示例では、基台運動用モータ50は、3軸制御可能なように3つのモータ部からなり、基台40を任意の方向に向けることができるように構成されている。望遠カメラ20及び広角カメラ30は、このように構成された基台40の運動に連動するように、基台40に固定されている。したがって、望遠カメラ20及び広角カメラ30の視線は基台運動用モータ50により制御される。
そして、このような本発明の遠距離視標探査カメラシステムが、車両や航空機等の移動物体100に設けられる。本発明の遠距離視標探査カメラシステムは、移動物体100により移動しながら、遠距離にある視標を探査・追跡することが可能である。なお、必要により基台40に運動センサ42を設けても良い。運動センサ42としては、例えば回転運動や並進運動を計測可能なセンサが挙げられる。このようなセンサを用いて、基台の姿勢制御を行っても良い。また、運動センサ42は、1つでも2つ以上あっても良いが、偶数個設ける場合には、基台の中心を対称に半数ずつ分けて設置することが好ましい。
次に、本発明の第1実施例の遠距離視標探査カメラシステムの動作について説明する。例えば、広範囲の探査領域の中から特定の視標を探査し、それを追跡する動作について説明する。まず、広角カメラ30により広範囲の撮像を開始する。そして、撮像された広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測し、基台40の運動を制御することにより、広角カメラ30の視線を環境(所定位置)に保持する。具体的には、まず、連続的に撮像された複数の広角画像の特定箇所の変化量から、遠距離視標探査カメラシステムの運動速度を計測する。即ち、広角カメラ30の制御信号は、速度信号ということになる。そして、この速度信号をフィードバック信号として利用して、運動速度をキャンセルする方向に同じ速度で基台40が回転するように基台運動用モータ50を視覚フィードバック制御し、広角カメラ30の視線を環境の所定位置に対して安定させる。
そして、安定した広角画像の中から特定の視標を検出する。視標は特定の形状や色の物体であり、例えば運動しているものであっても構わない。視標としては、例えば獲物や建物の傷等、探査目的となり得るものである。視標検出には、パターン認識等、従来の又は今後開発され得るあらゆる検出手法を適用可能である。これにより探査領域内のすべての領域において視標を探査可能となる。
なお、広角画像は視野範囲に対する解像度が低いため、広角画像のみを用いた視標検出だけでは、小さい視標が検出できない可能性がある。このため、本発明では、広角画像や望遠画像を用いて環境に対して視線を安定させながら、望遠カメラの視線を、望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように移動させる。なお、望遠カメラの視線の移動は基台を用いて行うため、基台の運動に伴い広角カメラや輻輳カメラの視線も同様に移動する。この望遠カメラの視線の移動は、一定速度で移動させても良いし、一定間隔で跳躍的に移動させても良い。即ち、この視線の移動はサッカード制御を行えば良い。視線の移動の範囲は、探査範囲の漏れを防止するため、望遠カメラの視野よりも狭い範囲とする。このように、望遠画像に視標があるかないかを検出し、視標がなければ望遠カメラの視野を移動させることで、視標を高解像度の望遠画像を用いて検出することが可能となる。
そして、検出された視標に対して、基台40に固定されている望遠カメラ20の視線をこの視標に合わせるように、基台運動用モータ50を視覚フィードバック制御する。なお、この動きはサッカードと呼ばれる運動である。そして、望遠カメラ20の視線をこの視標の動きに追従し続けるように、基台運動用モータ50を視覚フィードバック制御する。なお、この動きはスムーズパーシュートと呼ばれる運動である。具体的には、望遠カメラ20により撮像された望遠画像を用いて、望遠画像内の視標位置からカメラ視線に対する視標の位置を計測する。即ち、望遠カメラ20の制御信号は、位置信号ということになる。この位置信号を用いて視覚フィードバック制御により望遠カメラ20の視線を視標に追従させるように制御する。これにより、視標を高解像度で鮮明に撮像し続けることが可能となる。
さらに、望遠カメラ20が注視している視標に対して、一対の輻輳カメラ10を輻輳運動制御して視標を撮像する。即ち、一対の輻輳カメラ10により撮像された各輻輳画像におけるそれぞれの視標の位置の差を利用して、モータ11を用いて輻輳運動制御する。このとき、一対の輻輳カメラ10の回転角度を用いて視標までの距離を計測する。一対の輻輳カメラ10の間の基線長と各回転角度が分かれば、三角測量の原理により視標までの距離が計測可能である。
本発明の遠距離視標探査カメラシステムは、このように制御することで、広範囲の探査領域の中から特定の視標を探査、追跡し、視標が微小であっても高解像度で撮像することが可能となる。
次に、本発明の第2実施例の遠距離視標探査カメラシステムを説明する。図2は、本発明の第2実施例の遠距離視標探査カメラシステムを説明するための概略図である。図中、図1と同一の符号を付した部分は同一物を表わしているため、重複説明は省略する。図2に示されるように、本発明の第2実施例の遠距離視標探査カメラシステムでは、望遠カメラ20及び広角カメラ30が、一対の輻輳カメラ10の一方に固定されている。第1実施例では、望遠カメラ20は一対の輻輳カメラ10の間の中心に配置されていた。しかしながら、本第2実施例では、望遠カメラ20は一対の輻輳カメラ10の一方に固定され、この輻輳カメラ10の視線に略等しい視線を有するように配置されている。このように配置されても、望遠カメラ20の視線は、一対の輻輳カメラ10の視線の交点の軌跡線に略等しい視線を有することになる。また、広角カメラ30も同様に、一対の輻輳カメラ10の一方に固定されており、望遠カメラ20の視線に略等しい視線を有するように構成されている。望遠カメラ20及び広角カメラ30が一対の輻輳カメラ10の一方に固定されているため、これらが一対の輻輳カメラ10の一方の運動に連動する。
本第2実施例でも、基本制御原理は図1に示される第1実施例と同様である。以下、フローチャートを用いて、本発明の第1実施例又は第2実施例の遠距離視標探査カメラシステムの制御フローをより詳細に説明する。
図3乃至図5は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための制御フローを説明するためのフローチャートである。図3は広角カメラの制御フローチャートを表しており、図4は一対の輻輳カメラの制御フローチャートを表しており、図5は望遠カメラの制御フローチャートを表している。
図3に示されるように、広角カメラの制御過程は、まず広角カメラにより広範囲を撮像する(ステップ301)。そして、撮像された広角画像を用いて、遠距離視標探査カメラシステムの運動速度を計測する(ステップ302)。これは、上述のように、連続的に撮像された複数の広角画像の特定箇所の変化量から、遠距離視標探査カメラシステムの運動速度を計測すれば良い。そして、撮像された広角画像内に、特定の視標があるかないか検出し(ステップ303)、視標が見つかれば基台をサッカード制御し(ステップ304)、視標が広角画像の例えば中心に来るように制御する。また、視標が見つからない場合には、後述する望遠カメラの制御フローを実行する(ステップ305)。望遠カメラにより視標を検出している間は、広角カメラの視線を所定位置に保持するために、計測された運動速度を用いて基台を視覚フィードバック制御する(ステップ306)。そして、望遠カメラによる制御信号と広角カメラによる制御信号を融合させ、基台をフィードバック制御する(ステップ307)。ここで、上述のように、望遠カメラによる制御信号は位置信号であり、広角カメラによる制御信号は速度信号である。これらの各信号は、所定のゲインが掛けられた上で加算され、基台のフィードバック制御信号とされる。
次に、図4に示されるように、一対の輻輳カメラの制御過程は、まず一対の輻輳カメラにより視標を撮像する(ステップ401)。広角カメラの制御フローで説明したように、広角カメラの撮像視線が所定位置に保持されると、基台が特定の方向に常に保持されることになる。したがって、一対の輻輳カメラも特定の方向に保持されることになる。そして、各輻輳カメラにより撮像された画像を照合し(ステップ402)、各輻輳カメラを輻輳運動制御する(ステップ403)。広角カメラの制御を、広角画像の中心に視標が位置するように制御しておけば、輻輳カメラ制御は、各輻輳画像の中心に視標が位置するように行うことで、それぞれの視線が一致することになる。このときの輻輳カメラの回転角度を用いて、視標までの距離を計測する(ステップ404)。距離計測は、上述のように三角測量の原理を用いれば良い。そして、視標の位置(座標)を計測する(ステップ405)。なお、ここでは座標位置も計測することを示したが、位置情報が不要な場合には計測しなくても勿論構わない。そして、輻輳カメラの視線を所定位置に保持するために、輻輳画像を用いて一対の輻輳カメラを視覚フィードバック制御する(ステップ406)。一対の輻輳カメラの視線の交点の軌跡線上に視標が位置するように制御すれば良い。
次に、図5に示されるように、望遠カメラにより視標を撮像する(ステップ501)。そして、望遠カメラの望遠画像上に視標があれば(ステップ502)、視標の位置を計測する(ステップ503)。そして、望遠画像内に視標が含まれるように視覚フィードバック制御する(ステップ504)。一方、望遠カメラの望遠画像上に視標がなければ(ステップ502)、望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させることで、探査領域を移動させる(ステップ505)。
このように制御することにより、広範囲の探査領域の中から特定の視標を探査し、視標に対して距離計測を行ったり、望遠カメラによる高詳細な撮像が可能となる。
さて、このような各制御フローは、視標までの距離に応じて種々使い分けることが可能である。本発明の遠距離視標探査カメラシステムを移動物体に搭載し、まず遠距離の視標を探査して追跡し、視標に接近するように移動物体を移動させた場合には、以下のように遠距離視標探査カメラシステムを制御すれば良い。
まず、視標までの距離が遠い場合、広角カメラ制御フロー(図3)と望遠カメラ制御フロー(図5)を用いて視標を探査し、検出できればサッカード制御して望遠カメラフローにより視標位置を計測しつつ視覚フィードバック制御する。そして、この視標のある位置に向かって移動物体を移動させていく。
そして、本発明の遠距離視標探査カメラシステムが搭載された移動物体がある程度視標に接近したところでは、今度は広角カメラ制御フロー(図3)と輻輳カメラ制御フロー(図4)を用いて、視標の距離や位置を高精度に計測し、視覚フィードバック制御により視標を撮像し続ける。これにより、移動物体はより正確に視標に近づいていくことが可能となる。
このように、本発明の遠距離視標探査カメラシステムの制御方法によれば、広範囲の探査領域の中から特定の視標を探査し、これを追跡しこれに接近していくことが可能となる。
本発明の遠距離視標探査カメラシステムは、車両や航空機等の移動物体に搭載し、遠距離から視標を探査、追跡することや、建物の傷等を視標として遠距離から発見することが可能となる。遠距離の視標を探査するときには広角カメラによる広角画像を基に、輻輳カメラを輻輳運動させて大まかな距離情報を取得する。そして、注視したい視標を望遠カメラで撮像し、探査、注視を行う。探査手法としては、広角カメラの広角画像や輻輳カメラの輻輳画像を基に、視線を安定させるよう視覚フィードバック制御を行いながら、望遠カメラの視線を移動させて探査領域をスキャンすれば良い。そして、一旦視標を発見したら、視覚フィードバック制御により視標を追跡しながら接近することも可能である。視標までの距離がある程度近くなったら、望遠カメラから輻輳カメラに切り替えて視標を追跡し続けても良い。
本発明の遠距離視標探査カメラシステムによれば、上述のように、望遠カメラや広角カメラのアクチュエータが不要となるため、構造が簡略化するため軽量化、小型化が図れる。また、構造が簡略化可能であるため制御もシンプルとなり、視標の探査や追従処理速度も高速となる。
なお、本発明の遠距離視標探査カメラシステムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、一対の輻輳カメラは複数組の輻輳カメラセットであっても良い。
図1は、本発明の第1実施例の遠距離視標探査カメラシステムを説明するための概略図である。 図2は、本発明の第2実施例の遠距離視標探査カメラシステムを説明するための概略図である。 図3は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための広角カメラの制御フローを説明するためのフローチャートである。 図4は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための一対の輻輳カメラの制御フローを説明するためのフローチャートである。 図5は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための望遠カメラの制御フローを説明するためのフローチャートである。
符号の説明
10 一対の輻輳カメラ
11 モータ
12 プーリ
13 ベルト
20 望遠カメラ
30 広角カメラ
40 基台
42 運動センサ
50 基台運動用モータ
100 移動物体

Claims (7)

  1. 遠距離の視標を探査する遠距離視標探査カメラシステムであって、該システムは、
    輻輳運動可能な一対の輻輳カメラと、
    前記一対の輻輳カメラの視線の交点の軌跡線に略等しい視線を有する、前記一対の輻輳カメラよりも挟角な視野を有する望遠カメラと、
    前記一対の輻輳カメラ及び望遠カメラが設置される基台と、
    前記基台の運動制御を行う基台運動用モータと、
    を具備すること特徴とする遠距離視標探査カメラシステム。
  2. 請求項1に記載の遠距離視標探査カメラシステムであって、さらに、前記望遠カメラの視線に略等しい視線を有する、前記一対の輻輳カメラよりも広角な視野を有する広角カメラを具備し、該広角カメラは前記基台に設置されることを特徴とする遠距離視標探査カメラシステム。
  3. 請求項1又は請求項2に記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラは、前記一対の輻輳カメラの間の中心に配置されることを特徴とする遠距離視標探査カメラシステム。
  4. 請求項1乃至請求項3の何れかに記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラ及び/又は広角カメラは、前記基台の運動に連動するように前記基台に固定されることを特徴とする遠距離視標探査カメラシステム。
  5. 請求項1又は請求項2に記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラ及び/又は広角カメラは、前記一対の輻輳カメラの一方の運動に連動するように、前記一対の輻輳カメラの一方に固定されることを特徴とする遠距離視標探査カメラシステム。
  6. 請求項1乃至請求項5の何れかに記載の遠距離視標探査カメラシステムにおいて、前記輻輳カメラは、1つのモータと1つのプーリを用いて輻輳運動可能に構成されることを特徴とする遠距離視標探査カメラシステム。
  7. 請求項2乃至請求項6の何れかに記載の遠距離視標探査カメラシステムを用いて広範囲から視標を捜索するための制御方法であって、該制御方法は、
    広角カメラ制御過程と、輻輳カメラ制御過程と、望遠カメラ制御過程とを具備し、
    前記広角カメラ制御過程は、
    前記広角カメラにより広範囲を撮像する過程と、
    前記広角カメラによる撮像過程における広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測する過程と、
    前記広角カメラの視線を所定位置に保持するために、前記計測過程による運動速度を用いて前記基台を視覚フィードバック制御する過程と、を具備し、
    前記輻輳カメラ制御過程は、
    前記一対の輻輳カメラにより視標を撮像する過程と、
    前記一対の輻輳カメラによる撮像過程における各輻輳画像を用いて各輻輳カメラを輻輳運動制御する過程と、
    前記輻輳運動制御過程による輻輳カメラの回転角度を用いて視標までの距離を計測する過程と、
    前記一対の輻輳カメラの視線を所定位置に保持するために、前記各輻輳画像を用いて前記一対の輻輳カメラを視覚フィードバック制御する過程と、を具備し、
    前記望遠カメラ制御過程は、
    望遠カメラにより視標を撮像する過程と、
    前記望遠カメラによる撮像過程における望遠画像に視標があるかないか検出する過程と、
    前記検出過程で視標がなければ前記望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させる過程と、
    前記検出過程で視標があれば前記望遠画像を用いて前記望遠カメラを視覚フィードバック制御する過程と、を具備する、
    ことを特徴とする遠距離視標探査カメラシステムの制御方法。
JP2008211251A 2008-08-20 2008-08-20 遠距離視標探査カメラシステム Active JP5229726B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008211251A JP5229726B2 (ja) 2008-08-20 2008-08-20 遠距離視標探査カメラシステム
US13/059,954 US20120002016A1 (en) 2008-08-20 2009-08-17 Long-Distance Target Detection Camera System
PCT/JP2009/003902 WO2010021114A1 (ja) 2008-08-20 2009-08-17 遠距離視標探査カメラシステム
CN2009801326570A CN102132556A (zh) 2008-08-20 2009-08-17 长距离目标检测相机系统
EP09808050A EP2328341A4 (en) 2008-08-20 2009-08-17 LONG DISTANCE TARGET DETECTION CAMERA SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008211251A JP5229726B2 (ja) 2008-08-20 2008-08-20 遠距離視標探査カメラシステム

Publications (2)

Publication Number Publication Date
JP2010050582A JP2010050582A (ja) 2010-03-04
JP5229726B2 true JP5229726B2 (ja) 2013-07-03

Family

ID=41707005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008211251A Active JP5229726B2 (ja) 2008-08-20 2008-08-20 遠距離視標探査カメラシステム

Country Status (5)

Country Link
US (1) US20120002016A1 (ja)
EP (1) EP2328341A4 (ja)
JP (1) JP5229726B2 (ja)
CN (1) CN102132556A (ja)
WO (1) WO2010021114A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2739036T3 (es) * 2009-09-14 2020-01-28 Viion Systems Inc Cámara de análisis de vídeo de resolución dual sacádica
WO2013027343A1 (ja) * 2011-08-23 2013-02-28 パナソニック株式会社 3次元撮像装置、レンズ制御装置、およびプログラム
TWI535996B (zh) 2012-02-10 2016-06-01 鴻海精密工業股份有限公司 可應用於測距的立體視覺系統
GB2499427A (en) * 2012-02-16 2013-08-21 Overview Ltd Video tracking apparatus having two cameras mounted on a moveable unit
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
FI130426B (fi) 2014-06-30 2023-08-23 Konecranes Oyj Kuorman kuljettaminen kuormankäsittelylaitteella
KR101813890B1 (ko) * 2015-06-11 2018-01-02 주식회사 두시텍 이동 중 근거리원거리환경 움직임위치 추적 카메라센서
WO2018014305A1 (zh) * 2016-07-21 2018-01-25 武汉芯泰科技有限公司 一种多波探测与成像系统
CN107122770B (zh) * 2017-06-13 2023-06-27 驭势(上海)汽车科技有限公司 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP6734994B2 (ja) * 2017-06-23 2020-08-05 株式会社日立製作所 ステレオ計測装置及びシステム
CN109813716B (zh) * 2017-11-22 2024-03-08 东君新能源有限公司 太阳能组件故障检测系统和方法
WO2020047863A1 (zh) * 2018-09-07 2020-03-12 深圳配天智能技术研究院有限公司 一种测量距离的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2226923B (en) * 1989-01-06 1993-03-17 Peng Seng Toh Automatic convergent stereoscopic machine vision
JPH10210506A (ja) * 1997-01-22 1998-08-07 Sony Corp 3次元画像情報入力装置および3次元画像情報入出力装置
JP2000059820A (ja) * 1998-08-14 2000-02-25 Sanyu Seni:Kk 3カメラ方式による立体撮影用ビデオカメラ
US6701081B1 (en) * 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Hoya株式会社 画像間対応点検出装置および画像間対応点検出方法
JP2006238325A (ja) * 2005-02-28 2006-09-07 Canon Inc カメラシステム
JP4243692B2 (ja) 2005-03-16 2009-03-25 国立大学法人東京工業大学 立体形状検出装置及び立体形状検出方法
JP2006329747A (ja) 2005-05-25 2006-12-07 Tokyo Institute Of Technology 画像撮影装置
JP4188394B2 (ja) * 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
JP4918675B2 (ja) 2005-09-29 2012-04-18 国立大学法人東京工業大学 3次元座標測定方法
JP2007120993A (ja) * 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho 3次元形状と3次元地形計測法

Also Published As

Publication number Publication date
EP2328341A1 (en) 2011-06-01
CN102132556A (zh) 2011-07-20
WO2010021114A1 (ja) 2010-02-25
EP2328341A4 (en) 2011-09-14
US20120002016A1 (en) 2012-01-05
JP2010050582A (ja) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5229726B2 (ja) 遠距離視標探査カメラシステム
JP4982407B2 (ja) 移動体画像追尾装置及び方法
JP5459678B2 (ja) 移動体画像追尾装置
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
CN110865640B (zh) 一种智能机器人的避障结构
US11347227B2 (en) Autonomous mobile apparatus
JP4333611B2 (ja) 移動体用の障害物検出装置
US20170116758A1 (en) Method and device for measuring distance using a camera
US11598878B2 (en) Vision-cued random-access lidar system and method for localization and navigation
CN107363851A (zh) 控制装置以及机器人系统
CN102314689A (zh) 移动体系统
JPWO2019069626A1 (ja) 移動車両
BR102015005652B1 (pt) Sistema para reconhecer um número de veículo de uma placa de licença de um veículo
JP2009260564A (ja) 移動体画像追尾装置
Sonali et al. Obstacle avoidance for a mobile exploration robot using a single ultrasonic range sensor
CN211554738U (zh) 一种智能机器人的避障结构
JP5062626B2 (ja) 物体識別装置
US8194928B2 (en) Non-contact passive ranging system
JP6101037B2 (ja) 追尾式レーザー装置、及び測定装置
Baatar et al. Precise indoor localization of multiple mobile robots with adaptive sensor fusion using odometry and vision data
JP2020109560A (ja) 信号機認識方法及び信号機認識装置
JP2009008649A (ja) 脚車輪型ロボット
JP5197647B2 (ja) 移動体画像追尾装置
Fu et al. Multi-waypoint visual homing in piecewise linear trajectory
Li et al. A Wiimote 3D localization scheme without channel constraints

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

R150 Certificate of patent or registration of utility model

Ref document number: 5229726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250