WO2010021114A1 - 遠距離視標探査カメラシステム - Google Patents

遠距離視標探査カメラシステム Download PDF

Info

Publication number
WO2010021114A1
WO2010021114A1 PCT/JP2009/003902 JP2009003902W WO2010021114A1 WO 2010021114 A1 WO2010021114 A1 WO 2010021114A1 JP 2009003902 W JP2009003902 W JP 2009003902W WO 2010021114 A1 WO2010021114 A1 WO 2010021114A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
convergence
target
wide
long
Prior art date
Application number
PCT/JP2009/003902
Other languages
English (en)
French (fr)
Inventor
張暁林
陳恩恵
加藤芳彦
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Priority to CN2009801326570A priority Critical patent/CN102132556A/zh
Priority to EP09808050A priority patent/EP2328341A4/en
Priority to US13/059,954 priority patent/US20120002016A1/en
Publication of WO2010021114A1 publication Critical patent/WO2010021114A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a long-distance target exploration camera system for exploring a long-distance target, and particularly to a long-distance target exploration camera system in which a plurality of angle-of-view cameras are combined.
  • Patent Documents 1 to 4 The inventors of the present application have developed various camera systems for target search / tracking that combine cameras with a plurality of angles of view. These basically consist of binocular active cameras for target search and tracking installed on the base, and the same tracking control is performed using the same camera system regardless of the distance to the target. Is what you do.
  • the baseline length between the binocular cameras is not sufficient for the distance to the target, and the distance measurement accuracy may not be obtained sufficiently.
  • the distance to the target was not important in the first place.
  • two cameras were used for the exploration and tracking even though it was sufficient to have one super telephoto camera.
  • the camera system described above has an actuator that can perform a conjugate movement of both eyes, but this is a movement that overlaps the rotational movement in the left-right direction of the base on which the camera system is arranged, Control was complicated.
  • the conventional camera systems for detecting and tracking the target have redundancy in the number of cameras and the number of actuators.
  • the present invention is intended to provide a long-distance target search camera system capable of searching and tracking a wide range of targets from a long distance to a short distance while simplifying the structure.
  • a long-distance target exploration camera system has a line of sight substantially equal to the trajectory line of the intersection of a pair of convergence cameras capable of converging motion and the line of sight of a pair of convergence cameras.
  • a telephoto camera having a narrower field of view than the pair of convergence cameras, a base on which the pair of convergence cameras and the telephoto camera are installed, and a base motion motor for controlling the motion of the base Is.
  • a wide-angle camera having a field of view wider than a pair of convergence cameras having a line of sight substantially equal to the line of sight of the telephoto camera may be provided, and the wide-angle camera may be installed on a base.
  • the telephoto camera may be arranged at the center between the pair of convergence cameras.
  • the telephoto camera and / or the wide-angle camera may be fixed to the base so as to be linked to the movement of the base.
  • the telephoto camera and / or the wide-angle camera may be fixed to one of the pair of convergence cameras so as to be linked to the movement of one of the pair of convergence cameras.
  • the convergence camera may be configured to be capable of converging motion using one motor and one pulley.
  • a control method for searching for a target from a wide range using the long-distance target search camera system includes a wide-angle camera control process, a convergence camera control process, and a telephoto camera control process.
  • the wide-angle camera control process includes the process of imaging a wide range with a wide-angle camera, the process of measuring the motion speed of the long-distance target exploration camera system using the wide-angle image in the imaging process with the wide-angle camera, and the gaze of the wide-angle camera at a predetermined position.
  • the convergence camera control process consists of a process of capturing a target with a pair of convergence cameras, a process of controlling the convergence motion of each convergence camera using each convergence image in the imaging process of a pair of convergence cameras, and a congestion due to the congestion movement control process.
  • the telephoto camera control process includes the process of imaging the target with the telephoto camera, the process of detecting whether the telephoto image is in the imaging process with the telephoto camera, and the range of the telephoto image if there is no target in the detection process. And a step of moving the line of sight of the telephoto camera so that a part of the field of view of the next telephoto camera overlaps and a step of visual feedback control of the telephoto camera using a telephoto image if there is a target in the detection process. Is.
  • the long-distance target exploration camera system of the present invention has an advantage that the target can be searched and tracked widely from a long distance to a short distance while the structure is simplified. Further, the visual recognition processing speed is also increased, and there is an advantage that, for example, a target that moves at high speed can be searched and tracked.
  • FIG. 1 is a schematic diagram for explaining a long-distance target search camera system according to a first embodiment of the present invention.
  • FIG. 2 is a schematic diagram for explaining a long-distance target search camera system according to a second embodiment of the present invention.
  • FIG. 3 is a flowchart for explaining a control flow of a wide-angle camera for searching for a specific target from a wide range using the long-distance target searching camera system of the present invention.
  • FIG. 4 is a flowchart for explaining a control flow of a pair of convergence cameras for searching for a specific target from a wide range using the long-distance target searching camera system of the present invention.
  • FIG. 5 is a flowchart for explaining a control flow of the telephoto camera for searching a specific target from a wide range using the long-range target searching camera system of the present invention.
  • FIG. 1 is a schematic diagram for explaining a long-distance target search camera system according to a first embodiment of the present invention.
  • the long-distance target exploration camera system of the first embodiment of the present invention includes a pair of convergence cameras 10, a telephoto camera 20, a wide-angle camera 30, a base 40 on which these are installed, and a base
  • the motor is mainly composed of a base motion motor 50 that performs the motion control.
  • the pair of convergence cameras 10 are capable of converging motion.
  • the vergence movement refers to rotating the camera so that each line of sight is aligned on the certain object so that the captured images coincide when the pair of convergence cameras 10 capture an image of the certain object.
  • the term “converging motion” includes a side-by-side motion when imaging a closer object and a spreading motion when imaging a farther object.
  • Each convergence camera 10 preferably has a standard angle of view, that is, an intermediate angle of view that is neither a telephoto nor a wide angle.
  • the pair of convergence cameras 10 in the illustrated example is configured to be capable of converging motion using one motor 11 and one pulley 12.
  • the motor 11 and the pulley 12 are connected by a belt 13, and the belt 13 is arranged so as to intersect with each other so that the rotation direction of the motor 11 and the rotation direction of the pulley 12 are reversed.
  • the convergence motion of the pair of convergence cameras 10 can be controlled by the motor 11 alone.
  • the present invention is not necessarily limited to such a configuration using one motor and one pulley, and is configured to be driven independently by two motors so as to be able to perform a converging motion. You may do it.
  • the telephoto camera 20 has a narrower field of view than the pair of convergence cameras 10.
  • the telephoto camera 20 has a line of sight that is substantially equal to the locus line of the intersection of the lines of sight of the pair of convergence cameras 10.
  • the intersection of the lines of sight of the pair of convergence cameras 10 that make a converging motion draws a locus on a straight line that is perpendicular to the center between the pair of convergence cameras 10 and the base line between the pair of convergence cameras 10. Therefore, the telephoto camera 20 having a line of sight substantially equal to the trajectory line may be disposed at the center between the pair of convergence cameras 10 as in the illustrated example. More specifically, the telephoto camera 20 is arranged at the center between the rotation centers of the pair of convergence cameras 10.
  • the telephoto camera 20 Since the telephoto camera 20 is arranged on the base 40 in this way, an actuator such as a motor for controlling the line of sight of the telephoto camera 20 becomes unnecessary. That is, since the line of sight of the telephoto camera 20 is always located at the intersection of the lines of sight of the pair of convergence cameras 10, if the target is captured by the pair of convergence cameras 10, the same target is captured in the field of view of the telephoto camera 20. Therefore, it is not necessary to control the line of sight of the telephoto camera 20 with an actuator.
  • the wide-angle camera 30 has a wider field of view than the pair of convergence cameras 10.
  • the wide-angle camera 30 has a line of sight substantially equal to the line of sight of the telephoto camera 20.
  • the wide-angle camera 30 may be arranged so as to have a line of sight substantially equal to the line of sight of the telephoto camera 20, that is, the locus line of the intersection of the lines of sight of the pair of convergence cameras 10.
  • the wide-angle camera 30 is disposed at substantially the same position as the telephoto camera 20. That is, the wide-angle camera 30 is disposed at the center between the pair of convergence cameras 10. Since the wide-angle camera 30 is arranged on the base 40 in this way, an actuator such as a motor for controlling the line of sight of the wide-angle camera 30 is not necessary, like the telephoto camera.
  • the wide-angle camera is not necessarily an essential component, and depending on the application, the wide-angle camera may be substituted by a pair of convergence cameras. That is, a long-distance target may be searched using a standard field of view with a convergence camera instead of a wide field of view with a wide-angle camera.
  • the pair of convergence cameras 10, the telephoto camera 20, and the wide-angle camera 30 configured as described above are installed on the base 40.
  • a base movement motor 50 for controlling the movement of the base 40 is connected to the base 40.
  • the base motion motor 50 includes three motor units so that the three-axis control can be performed, and is configured so that the base 40 can be directed in an arbitrary direction.
  • the telephoto camera 20 and the wide-angle camera 30 are fixed to the base 40 so as to be interlocked with the movement of the base 40 thus configured. Accordingly, the lines of sight of the telephoto camera 20 and the wide-angle camera 30 are controlled by the base motion motor 50.
  • the long-distance target exploration camera system of this invention is provided in the moving objects 100, such as a vehicle and an aircraft.
  • the long-distance target search camera system of the present invention can search and track a target at a long distance while moving by the moving object 100.
  • the motion sensor 42 include a sensor capable of measuring a rotational motion and a translational motion. Such a sensor may be used to control the attitude of the base.
  • One or two or more motion sensors 42 may be provided. However, when an even number of motion sensors 42 are provided, it is preferable that the centers of the bases are installed in half symmetrically.
  • the operation of the long-distance target search camera system of the first embodiment of the present invention will be described. For example, an operation of searching for a specific target from a wide range of search areas and tracking it will be described.
  • wide-area imaging is started by the wide-angle camera 30.
  • the movement speed of the long-distance target exploration camera system is measured using the captured wide-angle image, and the movement of the base 40 is controlled to hold the line of sight of the wide-angle camera 30 in the environment (predetermined position).
  • the motion speed of the long-distance target exploration camera system is measured from the amount of change in a specific portion of a plurality of wide-angle images that are continuously captured. That is, the control signal of the wide-angle camera 30 is a speed signal.
  • the base motion motor 50 is visually feedback controlled so that the base 40 rotates at the same speed in the direction of canceling the motion speed, and the line of sight of the wide-angle camera 30 is It stabilizes with respect to the predetermined position.
  • the visual target is an object having a specific shape or color, and may be a moving object, for example.
  • the target can be an exploration purpose such as a prey or a building damage. Any conventional detection method that can be developed in the future, such as pattern recognition, can be applied to target detection. This makes it possible to search for the target in all areas within the search area.
  • the line of sight of the telephoto camera is set so that a part of the field of view of the next telephoto camera overlaps within the range of the telephoto image. Move. Since the line of sight of the telephoto camera is moved using the base, the line of sight of the wide-angle camera and the convergence camera moves in the same manner as the base moves.
  • the movement of the line of sight of the telephoto camera may be moved at a constant speed, or may be moved jumping at regular intervals. That is, the movement of the line of sight may be performed by saccade control.
  • the range of movement of the line of sight is set to be narrower than the field of view of the telephoto camera in order to prevent leakage of the search range. In this way, it is possible to detect a target using a high-resolution telephoto image by detecting whether or not there is a target in the telephoto image and moving the field of view of the telephoto camera if there is no target. .
  • the base movement motor 50 is subjected to visual feedback control with respect to the detected target so that the line of sight of the telephoto camera 20 fixed to the base 40 matches the target.
  • This movement is a movement called saccade.
  • the base motion motor 50 is subjected to visual feedback control so that the line of sight of the telephoto camera 20 continues to follow the movement of the target.
  • This movement is a movement called smooth pursuit.
  • the position of the target relative to the camera line of sight is measured from the target position in the telephoto image using the telephoto image captured by the telephoto camera 20. That is, the control signal of the telephoto camera 20 is a position signal. Using this position signal, control is performed so that the line of sight of the telephoto camera 20 follows the visual target by visual feedback control. As a result, it is possible to continue capturing the visual target clearly with high resolution.
  • the target is imaged by controlling the convergence motion of the pair of convergence cameras 10 with respect to the target being watched by the telephoto camera 20.
  • the convergence motion control is performed using the motor 11 by using the difference in the position of each target in each convergence image captured by the pair of convergence cameras 10.
  • the distance to the target is measured using the rotation angle of the pair of convergence cameras 10. If the base line length and each rotation angle between the pair of convergence cameras 10 are known, the distance to the target can be measured by the principle of triangulation.
  • the long-distance target search camera system of the present invention searches and tracks a specific target from a wide range of search areas, and picks up images with high resolution even if the target is small. It becomes possible.
  • FIG. 2 is a schematic diagram for explaining a long-distance target search camera system according to a second embodiment of the present invention.
  • the telephoto camera 20 and the wide-angle camera 30 are fixed to one of the pair of convergence cameras 10.
  • the telephoto camera 20 is arranged at the center between the pair of convergence cameras 10.
  • the telephoto camera 20 is fixed to one of the pair of convergence cameras 10 and arranged so as to have a line of sight substantially equal to the line of sight of the convergence camera 10. Even when arranged in this way, the line of sight of the telephoto camera 20 has a line of sight substantially equal to the locus line of the intersection of the lines of sight of the pair of convergence cameras 10.
  • the wide-angle camera 30 is fixed to one of the pair of convergence cameras 10 and is configured to have a line of sight substantially equal to the line of sight of the telephoto camera 20. Since the telephoto camera 20 and the wide-angle camera 30 are fixed to one of the pair of convergence cameras 10, they are linked to the movement of one of the pair of convergence cameras 10.
  • the basic control principle is the same as that of the first embodiment shown in FIG.
  • the control flow of the long-distance target exploration camera system according to the first embodiment or the second embodiment of the present invention will be described in more detail with reference to flowcharts.
  • 3 to 5 are flowcharts for explaining a control flow for searching for a specific target from a wide range by using the long-distance target search camera system of the present invention.
  • 3 shows a control flowchart of the wide-angle camera
  • FIG. 4 shows a control flowchart of the pair of convergence cameras
  • FIG. 5 shows a control flowchart of the telephoto camera.
  • step 301 an image of a wide range is imaged by the wide-angle camera (step 301). Then, the motion speed of the long-distance target exploration camera system is measured using the captured wide-angle image (step 302). As described above, it is only necessary to measure the motion speed of the long-distance target exploration camera system from the amount of change in a specific portion of a plurality of wide-angle images captured continuously as described above. Then, it is detected whether or not there is a specific target in the captured wide-angle image (step 303). If the target is found, the base is saccade controlled (step 304), and the target is, for example, the center of the wide-angle image. Control to come to.
  • a control flow of the telephoto camera described later is executed (step 305). While the target is detected by the telephoto camera, the base is visually feedback controlled using the measured motion speed in order to keep the line of sight of the wide-angle camera at a predetermined position (step 306). Then, the control signal from the telephoto camera and the control signal from the wide-angle camera are fused, and the base is feedback-controlled (step 307).
  • the control signal from the telephoto camera is a position signal
  • the control signal from the wide-angle camera is a speed signal.
  • a target is first imaged by the pair of convergence cameras (step 401).
  • the pair of convergence cameras are also held in a specific direction.
  • the images captured by the respective convergence cameras are collated (step 402), and the convergence motion of each convergence camera is controlled (step 403). If the control of the wide-angle camera is controlled so that the target is positioned at the center of the wide-angle image, the convergence camera control is performed so that the target is positioned at the center of each convergence image. Will match.
  • the distance to the target is measured using the rotation angle of the convergence camera at this time (step 404).
  • the distance measurement may use the triangulation principle as described above.
  • the position (coordinates) of the target is measured (step 405).
  • the coordinate position is also measured here, of course, it is not necessary to measure when the position information is unnecessary.
  • visual feedback control is performed on the pair of convergence cameras using the convergence image (step 406). What is necessary is just to control so that a visual target is located on the locus line of the intersection of the line of sight of a pair of convergence cameras.
  • the target is imaged by the telephoto camera (step 501). If there is a target on the telephoto image of the telephoto camera (step 502), the position of the target is measured (step 503). Then, visual feedback control is performed so that the target is included in the telephoto image (step 504). On the other hand, if there is no target on the telephoto image of the telephoto camera (step 502), the exploration region is moved by moving the line of sight of the next telephoto camera so that a part of the field of view of the next telephoto camera overlaps the range of the telephoto image. Is moved (step 505).
  • each of these control flows can be used in various ways depending on the distance to the target.
  • the long-distance target exploration camera system of the present invention is mounted on a moving object, the long-distance target is first searched and tracked, and the moving object is moved so as to approach the target as follows.
  • the long-distance target search camera system may be controlled.
  • the target is searched using the wide-angle camera control flow (FIG. 3) and the telephoto camera control flow (FIG. 5). Visual feedback control while measuring position. Then, the moving object is moved toward the position where the target is located.
  • the moving object equipped with the long-distance target search camera system of the present invention approaches the target to some extent, this time, using the wide-angle camera control flow (FIG. 3) and the convergence camera control flow (FIG. 4).
  • the distance and the position of the target are measured with high accuracy, and the target is continuously imaged by visual feedback control. As a result, the moving object can approach the target more accurately.
  • the long-distance target exploration camera system of the present invention is mounted on a moving object such as a vehicle or an aircraft to search and track the target from a long distance, or to detect a building flaw or the like from a long distance as a target. Is possible.
  • a moving object such as a vehicle or an aircraft
  • the convergence camera is caused to perform a converging motion to obtain rough distance information.
  • the target to be watched is imaged with a telephoto camera, and exploration and gaze are performed.
  • the exploration area may be scanned by moving the line of sight of the telephoto camera while performing visual feedback control to stabilize the line of sight based on the wide-angle image of the wide-angle camera and the convergence image of the convergence camera.
  • the target Once the target is found, it can be approached while tracking the target by visual feedback control.
  • the target When the distance to the target is close to some extent, the target may be continuously tracked by switching from the telephoto camera to the convergence camera.
  • an actuator for a telephoto camera or a wide-angle camera is not required, so that the structure is simplified and the weight can be reduced and the size can be reduced. Further, since the structure can be simplified, the control is also simplified, and the target exploration and tracking processing speed is also increased.
  • the long-distance target search camera system of the present invention is not limited to the above-described illustrated examples, and various modifications can be made without departing from the scope of the present invention.
  • the pair of congestion cameras may be a plurality of convergence camera sets.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　構造を簡略化しつつ、遠距離から近距離まで幅広く視標の探査・追跡が可能な遠距離視標探査カメラシステムを提供する。 　遠距離の視標を探査する遠距離視標探査カメラシステムは、輻輳運動可能な一対の輻輳カメラ１０と、一対の輻輳カメラ１０よりも挟角な視野を有する望遠カメラ２０と、一対の輻輳カメラ１０よりも広角な視野を有する広角カメラと３０とからなる。望遠カメラ２０は、一対の輻輳カメラ１０の視線の交点の軌跡線に略等しい視線を有する。広角カメラ３０は、望遠カメラ２０の視線に略等しい視線を有する。そして、これらが設置される基台４０と、基台４０の運動制御を行う基台運動用モータ５０とを具備する。

Description

遠距離視標探査カメラシステム
　　本発明は遠距離の視標を探査する遠距離視標探査カメラシステムに関し、特に、複数の画角のカメラを組み合わせた遠距離視標探査カメラシステムに関する。
　本願の発明者は、複数の画角のカメラを組み合わせた視標探査・追跡用のカメラシステムをこれまでにも種々開発している（特許文献１～特許文献４）。これらは、基本的には基台上に設置される視標探査及び追跡用の両眼アクティブカメラからなるものであり、視標までの距離とは関係なく同じカメラシステムを用いて同じ追跡制御を行うものである。
特開２００６－２５８５４３号公報 特開２００６－３２９７４７号公報 特開２００７－０９３４７９号公報 特開２００７－１２０９９３号公報
　しかしながら、遠距離の視標を探査して追跡する場合には、視標までの距離に対して両眼カメラ間の基線長が十分でなく、距離計測精度が十分得られない場合があった。また、そもそも視標までの距離自体が重要ではないことも多々あった。そのような場合、遠距離の視標の探査や追跡については、超望遠カメラが１台あれば十分であったにもかかわらず、２つのカメラを用いて探査や追跡を行っていた。
　また、上述のカメラシステムでは、両眼の共役運動を行うことが可能なアクチュエータを有するものであったが、これはカメラシステムを配置する基台の左右方向の回転運動と重複する動きであり、制御が複雑になっていた。
　したがって、これまでの視標探査・追跡用のカメラシステムは、カメラの数にもアクチュエータの数にも冗長性があるものであった。しかしながら、特定の用途や条件によっては、これらの冗長性を減らし、システムの軽量化、低コスト化、視覚認識処理の単純化が望まれていた。
　本発明は、斯かる実情に鑑み、構造を簡略化しつつ、遠距離から近距離まで幅広く視標の探査・追跡が可能な遠距離視標探査カメラシステムを提供しようとするものである。
　上述した本発明の目的を達成するために、本発明による遠距離視標探査カメラシステムは、輻輳運動可能な一対の輻輳カメラと、一対の輻輳カメラの視線の交点の軌跡線に略等しい視線を有する、一対の輻輳カメラよりも挟角な視野を有する望遠カメラと、一対の輻輳カメラ及び望遠カメラが設置される基台と、基台の運動制御を行う基台運動用モータと、を具備するものである。
　さらに、望遠カメラの視線に略等しい視線を有する、一対の輻輳カメラよりも広角な視野を有する広角カメラを具備し、該広角カメラは基台に設置されるものであっても良い。
　また、望遠カメラは、一対の輻輳カメラの間の中心に配置されれば良い。
　また、望遠カメラ及び／又は広角カメラは、基台の運動に連動するように基台に固定されれば良い。
　また、望遠カメラ及び／又は広角カメラは、一対の輻輳カメラの一方の運動に連動するように、一対の輻輳カメラの一方に固定されても良い。
　また、輻輳カメラは、１つのモータと１つのプーリを用いて輻輳運動可能に構成されても良い。
　さらに、本発明による遠距離視標探査カメラシステムを用いて広範囲から視標を捜索するための制御方法は、広角カメラ制御過程と、輻輳カメラ制御過程と、望遠カメラ制御過程とを具備し、
　広角カメラ制御過程は、広角カメラにより広範囲を撮像する過程と、広角カメラによる撮像過程における広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測する過程と、広角カメラの視線を所定位置に保持するために、計測過程による運動速度を用いて基台を視覚フィードバック制御する過程と、を具備し、
　輻輳カメラ制御過程は、一対の輻輳カメラにより視標を撮像する過程と、一対の輻輳カメラによる撮像過程における各輻輳画像を用いて各輻輳カメラを輻輳運動制御する過程と、輻輳運動制御過程による輻輳カメラの回転角度を用いて視標までの距離を計測する過程と、一対の輻輳カメラの視線を所定位置に保持するために、各輻輳画像を用いて一対の輻輳カメラを視覚フィードバック制御する過程と、を具備し、
　望遠カメラ制御過程は、望遠カメラにより視標を撮像する過程と、望遠カメラによる撮像過程における望遠画像に視標があるかないか検出する過程と、検出過程で視標がなければ望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させる過程と、検出過程で視標があれば望遠画像を用いて望遠カメラを視覚フィードバック制御する過程と、を具備するものである。
　本発明の遠距離視標探査カメラシステムには、構造を簡略化しつつ、遠距離から近距離まで幅広く視標の探査・追跡が可能であるという利点がある。また、視覚認識処理速度も高速になり、例えば高速に移動する視標であっても探査・追跡が可能であるという利点もある。
図１は、本発明の第１実施例の遠距離視標探査カメラシステムを説明するための概略図である。 図２は、本発明の第２実施例の遠距離視標探査カメラシステムを説明するための概略図である。 図３は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための広角カメラの制御フローを説明するためのフローチャートである。 図４は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための一対の輻輳カメラの制御フローを説明するためのフローチャートである。 図５は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための望遠カメラの制御フローを説明するためのフローチャートである。
　以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の第１実施例の遠距離視標探査カメラシステムを説明するための概略図である。図示の通り、本発明の第１実施例の遠距離視標探査カメラシステムは、一対の輻輳カメラ１０と、望遠カメラ２０と、広角カメラ３０と、これらが設置される基台４０と、基台の運動制御を行う基台運動用モータ５０とから主に構成されている。
　一対の輻輳カメラ１０は、輻輳運動が可能なものである。ここで、輻輳運動とは、一対の輻輳カメラ１０によりある物体を撮像する上で、撮像画像が一致するように各視線をそのある物体上に揃えるようにカメラを回転運動させることをいう。なお、本明細書中では、より近くの物体を撮像するときの寄り運動と、より遠くの物体を撮像するときの広がり運動を含めて輻輳運動と呼ぶ。各輻輳カメラ１０は、標準画角、即ち、望遠でも広角でもない中間の画角を有するものが好ましい。
　図示例の一対の輻輳カメラ１０は、１つのモータ１１と１つのプーリ１２を用いて輻輳運動可能に構成されている。モータ１１とプーリ１２は、ベルト１３で接続されており、ベルト１３を交差して配置することで、モータ１１の回転方向とプーリ１２の回転方向が逆になるように構成されている。これにより、一対の輻輳カメラ１０の輻輳運動は、モータ１１のみで運動制御可能となる。なお、本発明は、このような１つのモータと１つのプーリを用いた構成に必ずしも限定されるものではなく、２つのモータによりそれぞれ独立駆動されるように構成して輻輳運動可能なように制御しても良い。
　望遠カメラ２０は、一対の輻輳カメラ１０よりも挟角な視野を有するものである。また、望遠カメラ２０は、一対の輻輳カメラ１０の視線の交点の軌跡線に略等しい視線を有している。輻輳運動する一対の輻輳カメラ１０の視線の交点は、一対の輻輳カメラ１０の間の中心、且つ一対の輻輳カメラ１０間の基線に垂直な直線上で軌跡を描く。したがって、この軌跡線に略等しい視線を有する望遠カメラ２０は、図示例のように、一対の輻輳カメラ１０の間の中心に配置されれば良い。より具体的には、望遠カメラ２０は、一対の輻輳カメラ１０のそれぞれの回転中心の間の中心に配置される。このように望遠カメラ２０が基台４０の上に配置されることにより、望遠カメラ２０の視線をコントロールするためのモータ等のアクチュエータが不要となる。即ち、望遠カメラ２０の視線は常に一対の輻輳カメラ１０の視線の交点に位置することになるため、一対の輻輳カメラ１０で視標を捉えれば、望遠カメラ２０の視界に同じ視標が捉えられるので、望遠カメラ２０をアクチュエータで視線制御する必要がない。
　広角カメラ３０は、一対の輻輳カメラ１０よりも広角な視野を有するものである。また、広角カメラ３０は、望遠カメラ２０の視線に略等しい視線を有している。広角カメラ３０は、望遠カメラ２０の視線、即ち、一対の輻輳カメラ１０の視線の交点の軌跡線に略等しい視線を有するように配置されれば良い。図示例では、広角カメラ３０は望遠カメラ２０と略同じ位置に配置されている。即ち、広角カメラ３０は、一対の輻輳カメラ１０の間の中心に配置されている。このように広角カメラ３０が基台４０の上に配置されることにより、望遠カメラと同様に、広角カメラ３０の視線をコントロールするためのモータ等のアクチュエータが不要となる。
　なお、本発明の遠距離視標探査カメラシステムでは、広角カメラは必ずしも必須の構成要素ではなく、用途によっては一対の輻輳カメラにより広角カメラを代用しても良い。即ち、広角カメラによる広い視野の代わりに、輻輳カメラによる標準的な視野を用いて遠距離の視標を探査しても良い。
　このように構成された一対の輻輳カメラ１０、望遠カメラ２０、広角カメラ３０が、基台４０に設置される。基台４０には、基台４０の運動制御を行うための基台運動用モータ５０が接続されている。図示例では、基台運動用モータ５０は、３軸制御可能なように３つのモータ部からなり、基台４０を任意の方向に向けることができるように構成されている。望遠カメラ２０及び広角カメラ３０は、このように構成された基台４０の運動に連動するように、基台４０に固定されている。したがって、望遠カメラ２０及び広角カメラ３０の視線は基台運動用モータ５０により制御される。
　そして、このような本発明の遠距離視標探査カメラシステムが、車両や航空機等の移動物体１００に設けられる。本発明の遠距離視標探査カメラシステムは、移動物体１００により移動しながら、遠距離にある視標を探査・追跡することが可能である。なお、必要により基台４０に運動センサ４２を設けても良い。運動センサ４２としては、例えば回転運動や並進運動を計測可能なセンサが挙げられる。このようなセンサを用いて、基台の姿勢制御を行っても良い。また、運動センサ４２は、１つでも２つ以上あっても良いが、偶数個設ける場合には、基台の中心を対称に半数ずつ分けて設置することが好ましい。
　次に、本発明の第１実施例の遠距離視標探査カメラシステムの動作について説明する。例えば、広範囲の探査領域の中から特定の視標を探査し、それを追跡する動作について説明する。まず、広角カメラ３０により広範囲の撮像を開始する。そして、撮像された広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測し、基台４０の運動を制御することにより、広角カメラ３０の視線を環境（所定位置）に保持する。具体的には、まず、連続的に撮像された複数の広角画像の特定箇所の変化量から、遠距離視標探査カメラシステムの運動速度を計測する。即ち、広角カメラ３０の制御信号は、速度信号ということになる。そして、この速度信号をフィードバック信号として利用して、運動速度をキャンセルする方向に同じ速度で基台４０が回転するように基台運動用モータ５０を視覚フィードバック制御し、広角カメラ３０の視線を環境の所定位置に対して安定させる。
　そして、安定した広角画像の中から特定の視標を検出する。視標は特定の形状や色の物体であり、例えば運動しているものであっても構わない。視標としては、例えば獲物や建物の傷等、探査目的となり得るものである。視標検出には、パターン認識等、従来の又は今後開発され得るあらゆる検出手法を適用可能である。これにより探査領域内のすべての領域において視標を探査可能となる。
　なお、広角画像は視野範囲に対する解像度が低いため、広角画像のみを用いた視標検出だけでは、小さい視標が検出できない可能性がある。このため、本発明では、広角画像や望遠画像を用いて環境に対して視線を安定させながら、望遠カメラの視線を、望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように移動させる。なお、望遠カメラの視線の移動は基台を用いて行うため、基台の運動に伴い広角カメラや輻輳カメラの視線も同様に移動する。この望遠カメラの視線の移動は、一定速度で移動させても良いし、一定間隔で跳躍的に移動させても良い。即ち、この視線の移動はサッカード制御を行えば良い。視線の移動の範囲は、探査範囲の漏れを防止するため、望遠カメラの視野よりも狭い範囲とする。このように、望遠画像に視標があるかないかを検出し、視標がなければ望遠カメラの視野を移動させることで、視標を高解像度の望遠画像を用いて検出することが可能となる。
　そして、検出された視標に対して、基台４０に固定されている望遠カメラ２０の視線をこの視標に合わせるように、基台運動用モータ５０を視覚フィードバック制御する。なお、この動きはサッカードと呼ばれる運動である。そして、望遠カメラ２０の視線をこの視標の動きに追従し続けるように、基台運動用モータ５０を視覚フィードバック制御する。なお、この動きはスムーズパーシュートと呼ばれる運動である。具体的には、望遠カメラ２０により撮像された望遠画像を用いて、望遠画像内の視標位置からカメラ視線に対する視標の位置を計測する。即ち、望遠カメラ２０の制御信号は、位置信号ということになる。この位置信号を用いて視覚フィードバック制御により望遠カメラ２０の視線を視標に追従させるように制御する。これにより、視標を高解像度で鮮明に撮像し続けることが可能となる。
　さらに、望遠カメラ２０が注視している視標に対して、一対の輻輳カメラ１０を輻輳運動制御して視標を撮像する。即ち、一対の輻輳カメラ１０により撮像された各輻輳画像におけるそれぞれの視標の位置の差を利用して、モータ１１を用いて輻輳運動制御する。このとき、一対の輻輳カメラ１０の回転角度を用いて視標までの距離を計測する。一対の輻輳カメラ１０の間の基線長と各回転角度が分かれば、三角測量の原理により視標までの距離が計測可能である。
　本発明の遠距離視標探査カメラシステムは、このように制御することで、広範囲の探査領域の中から特定の視標を探査、追跡し、視標が微小であっても高解像度で撮像することが可能となる。
　次に、本発明の第２実施例の遠距離視標探査カメラシステムを説明する。図２は、本発明の第２実施例の遠距離視標探査カメラシステムを説明するための概略図である。図中、図１と同一の符号を付した部分は同一物を表わしているため、重複説明は省略する。図２に示されるように、本発明の第２実施例の遠距離視標探査カメラシステムでは、望遠カメラ２０及び広角カメラ３０が、一対の輻輳カメラ１０の一方に固定されている。第１実施例では、望遠カメラ２０は一対の輻輳カメラ１０の間の中心に配置されていた。しかしながら、本第２実施例では、望遠カメラ２０は一対の輻輳カメラ１０の一方に固定され、この輻輳カメラ１０の視線に略等しい視線を有するように配置されている。このように配置されても、望遠カメラ２０の視線は、一対の輻輳カメラ１０の視線の交点の軌跡線に略等しい視線を有することになる。また、広角カメラ３０も同様に、一対の輻輳カメラ１０の一方に固定されており、望遠カメラ２０の視線に略等しい視線を有するように構成されている。望遠カメラ２０及び広角カメラ３０が一対の輻輳カメラ１０の一方に固定されているため、これらが一対の輻輳カメラ１０の一方の運動に連動する。
　本第２実施例でも、基本制御原理は図１に示される第１実施例と同様である。以下、フローチャートを用いて、本発明の第１実施例又は第２実施例の遠距離視標探査カメラシステムの制御フローをより詳細に説明する。
　図３乃至図５は、本発明の遠距離視標探査カメラシステムを用いて、広範囲から特定の視標を探査するための制御フローを説明するためのフローチャートである。図３は広角カメラの制御フローチャートを表しており、図４は一対の輻輳カメラの制御フローチャートを表しており、図５は望遠カメラの制御フローチャートを表している。
　図３に示されるように、広角カメラの制御過程は、まず広角カメラにより広範囲を撮像する（ステップ３０１）。そして、撮像された広角画像を用いて、遠距離視標探査カメラシステムの運動速度を計測する（ステップ３０２）。これは、上述のように、連続的に撮像された複数の広角画像の特定箇所の変化量から、遠距離視標探査カメラシステムの運動速度を計測すれば良い。そして、撮像された広角画像内に、特定の視標があるかないか検出し（ステップ３０３）、視標が見つかれば基台をサッカード制御し（ステップ３０４）、視標が広角画像の例えば中心に来るように制御する。また、視標が見つからない場合には、後述する望遠カメラの制御フローを実行する（ステップ３０５）。望遠カメラにより視標を検出している間は、広角カメラの視線を所定位置に保持するために、計測された運動速度を用いて基台を視覚フィードバック制御する（ステップ３０６）。そして、望遠カメラによる制御信号と広角カメラによる制御信号を融合させ、基台をフィードバック制御する（ステップ３０７）。ここで、上述のように、望遠カメラによる制御信号は位置信号であり、広角カメラによる制御信号は速度信号である。これらの各信号は、所定のゲインが掛けられた上で加算され、基台のフィードバック制御信号とされる。
　次に、図４に示されるように、一対の輻輳カメラの制御過程は、まず一対の輻輳カメラにより視標を撮像する（ステップ４０１）。広角カメラの制御フローで説明したように、広角カメラの撮像視線が所定位置に保持されると、基台が特定の方向に常に保持されることになる。したがって、一対の輻輳カメラも特定の方向に保持されることになる。そして、各輻輳カメラにより撮像された画像を照合し（ステップ４０２）、各輻輳カメラを輻輳運動制御する（ステップ４０３）。広角カメラの制御を、広角画像の中心に視標が位置するように制御しておけば、輻輳カメラ制御は、各輻輳画像の中心に視標が位置するように行うことで、それぞれの視線が一致することになる。このときの輻輳カメラの回転角度を用いて、視標までの距離を計測する（ステップ４０４）。距離計測は、上述のように三角測量の原理を用いれば良い。そして、視標の位置（座標）を計測する（ステップ４０５）。なお、ここでは座標位置も計測することを示したが、位置情報が不要な場合には計測しなくても勿論構わない。そして、輻輳カメラの視線を所定位置に保持するために、輻輳画像を用いて一対の輻輳カメラを視覚フィードバック制御する（ステップ４０６）。一対の輻輳カメラの視線の交点の軌跡線上に視標が位置するように制御すれば良い。
　次に、図５に示されるように、望遠カメラにより視標を撮像する（ステップ５０１）。そして、望遠カメラの望遠画像上に視標があれば（ステップ５０２）、視標の位置を計測する（ステップ５０３）。そして、望遠画像内に視標が含まれるように視覚フィードバック制御する（ステップ５０４）。一方、望遠カメラの望遠画像上に視標がなければ（ステップ５０２）、望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させることで、探査領域を移動させる（ステップ５０５）。
　このように制御することにより、広範囲の探査領域の中から特定の視標を探査し、視標に対して距離計測を行ったり、望遠カメラによる高詳細な撮像が可能となる。
　さて、このような各制御フローは、視標までの距離に応じて種々使い分けることが可能である。本発明の遠距離視標探査カメラシステムを移動物体に搭載し、まず遠距離の視標を探査して追跡し、視標に接近するように移動物体を移動させた場合には、以下のように遠距離視標探査カメラシステムを制御すれば良い。
　まず、視標までの距離が遠い場合、広角カメラ制御フロー（図３）と望遠カメラ制御フロー（図５）を用いて視標を探査し、検出できればサッカード制御して望遠カメラフローにより視標位置を計測しつつ視覚フィードバック制御する。そして、この視標のある位置に向かって移動物体を移動させていく。
　そして、本発明の遠距離視標探査カメラシステムが搭載された移動物体がある程度視標に接近したところでは、今度は広角カメラ制御フロー（図３）と輻輳カメラ制御フロー（図４）を用いて、視標の距離や位置を高精度に計測し、視覚フィードバック制御により視標を撮像し続ける。これにより、移動物体はより正確に視標に近づいていくことが可能となる。
　このように、本発明の遠距離視標探査カメラシステムの制御方法によれば、広範囲の探査領域の中から特定の視標を探査し、これを追跡しこれに接近していくことが可能となる。
　本発明の遠距離視標探査カメラシステムは、車両や航空機等の移動物体に搭載し、遠距離から視標を探査、追跡することや、建物の傷等を視標として遠距離から発見することが可能となる。遠距離の視標を探査するときには広角カメラによる広角画像を基に、輻輳カメラを輻輳運動させて大まかな距離情報を取得する。そして、注視したい視標を望遠カメラで撮像し、探査、注視を行う。探査手法としては、広角カメラの広角画像や輻輳カメラの輻輳画像を基に、視線を安定させるよう視覚フィードバック制御を行いながら、望遠カメラの視線を移動させて探査領域をスキャンすれば良い。そして、一旦視標を発見したら、視覚フィードバック制御により視標を追跡しながら接近することも可能である。視標までの距離がある程度近くなったら、望遠カメラから輻輳カメラに切り替えて視標を追跡し続けても良い。
　本発明の遠距離視標探査カメラシステムによれば、上述のように、望遠カメラや広角カメラのアクチュエータが不要となるため、構造が簡略化するため軽量化、小型化が図れる。また、構造が簡略化可能であるため制御もシンプルとなり、視標の探査や追従処理速度も高速となる。
　なお、本発明の遠距離視標探査カメラシステムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、一対の輻輳カメラは複数組の輻輳カメラセットであっても良い。
　１０　　一対の輻輳カメラ
　１１　　モータ
　１２　　プーリ
　１３　　ベルト
　２０　　望遠カメラ
　３０　　広角カメラ
　４０　　基台
　４２　　運動センサ
　５０　　基台運動用モータ
　１００　　移動物体

Claims (7)

  1. 　遠距離の視標を探査する遠距離視標探査カメラシステムであって、該システムは、
    　輻輳運動可能な一対の輻輳カメラと、
    　前記一対の輻輳カメラの視線の交点の軌跡線に略等しい視線を有する、前記一対の輻輳カメラよりも挟角な視野を有する望遠カメラと、
    　前記一対の輻輳カメラ及び望遠カメラが設置される基台と、
    　前記基台の運動制御を行う基台運動用モータと、
    　を具備すること特徴とする遠距離視標探査カメラシステム。
  2. 　請求項１に記載の遠距離視標探査カメラシステムであって、さらに、前記望遠カメラの視線に略等しい視線を有する、前記一対の輻輳カメラよりも広角な視野を有する広角カメラを具備し、該広角カメラは前記基台に設置されることを特徴とする遠距離視標探査カメラシステム。
  3. 　請求項１又は請求項２に記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラは、前記一対の輻輳カメラの間の中心に配置されることを特徴とする遠距離視標探査カメラシステム。
  4. 　請求項１乃至請求項３の何れかに記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラ及び／又は広角カメラは、前記基台の運動に連動するように前記基台に固定されることを特徴とする遠距離視標探査カメラシステム。
  5. 　請求項１又は請求項２に記載の遠距離視標探査カメラシステムにおいて、前記望遠カメラ及び／又は広角カメラは、前記一対の輻輳カメラの一方の運動に連動するように、前記一対の輻輳カメラの一方に固定されることを特徴とする遠距離視標探査カメラシステム。
  6. 　請求項１乃至請求項５の何れかに記載の遠距離視標探査カメラシステムにおいて、前記輻輳カメラは、１つのモータと１つのプーリを用いて輻輳運動可能に構成されることを特徴とする遠距離視標探査カメラシステム。
  7. 　請求項２乃至請求項６の何れかに記載の遠距離視標探査カメラシステムを用いて広範囲から視標を捜索するための制御方法であって、該制御方法は、
    　広角カメラ制御過程と、輻輳カメラ制御過程と、望遠カメラ制御過程とを具備し、
    　前記広角カメラ制御過程は、
    　　前記広角カメラにより広範囲を撮像する過程と、
    　　前記広角カメラによる撮像過程における広角画像を用いて遠距離視標探査カメラシステムの運動速度を計測する過程と、
    　　前記広角カメラの視線を所定位置に保持するために、前記計測過程による運動速度を用いて前記基台を視覚フィードバック制御する過程と、を具備し、
    　前記輻輳カメラ制御過程は、
    　　前記一対の輻輳カメラにより視標を撮像する過程と、
    　　前記一対の輻輳カメラによる撮像過程における各輻輳画像を用いて各輻輳カメラを輻輳運動制御する過程と、
    　　前記輻輳運動制御過程による輻輳カメラの回転角度を用いて視標までの距離を計測する過程と、
    　　前記一対の輻輳カメラの視線を所定位置に保持するために、前記各輻輳画像を用いて前記一対の輻輳カメラを視覚フィードバック制御する過程と、を具備し、
    　前記望遠カメラ制御過程は、
    　　望遠カメラにより視標を撮像する過程と、
    　　前記望遠カメラによる撮像過程における望遠画像に視標があるかないか検出する過程と、
    　　前記検出過程で視標がなければ前記望遠画像の範囲内に次の望遠カメラの視野の一部が重なるように望遠カメラの視線を移動させる過程と、
    　　前記検出過程で視標があれば前記望遠画像を用いて前記望遠カメラを視覚フィードバック制御する過程と、を具備する、
    　ことを特徴とする遠距離視標探査カメラシステムの制御方法。
PCT/JP2009/003902 2008-08-20 2009-08-17 遠距離視標探査カメラシステム WO2010021114A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801326570A CN102132556A (zh) 2008-08-20 2009-08-17 长距离目标检测相机系统
EP09808050A EP2328341A4 (en) 2008-08-20 2009-08-17 LONG DISTANCE TARGET DETECTION CAMERA SYSTEM
US13/059,954 US20120002016A1 (en) 2008-08-20 2009-08-17 Long-Distance Target Detection Camera System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-211251 2008-08-20
JP2008211251A JP5229726B2 (ja) 2008-08-20 2008-08-20 遠距離視標探査カメラシステム

Publications (1)

Publication Number Publication Date
WO2010021114A1 true WO2010021114A1 (ja) 2010-02-25

Family

ID=41707005

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003902 WO2010021114A1 (ja) 2008-08-20 2009-08-17 遠距離視標探査カメラシステム

Country Status (5)

Country Link
US (1) US20120002016A1 (ja)
EP (1) EP2328341A4 (ja)
JP (1) JP5229726B2 (ja)
CN (1) CN102132556A (ja)
WO (1) WO2010021114A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011029203A1 (en) * 2009-09-14 2011-03-17 Viion Systems Inc. Saccadic dual-resolution video analytics camera
CN103636191B (zh) * 2011-08-23 2016-11-02 松下电器产业株式会社 三维摄像装置、透镜控制装置
TWI535996B (zh) 2012-02-10 2016-06-01 鴻海精密工業股份有限公司 可應用於測距的立體視覺系統
GB2499427A (en) * 2012-02-16 2013-08-21 Overview Ltd Video tracking apparatus having two cameras mounted on a moveable unit
US9152526B2 (en) * 2012-11-16 2015-10-06 GM Global Technology Operations LLC Method and apparatus for state of health estimation of object sensing fusion system
FI130426B (fi) 2014-06-30 2023-08-23 Konecranes Oyj Kuorman kuljettaminen kuormankäsittelylaitteella
KR101813890B1 (ko) * 2015-06-11 2018-01-02 주식회사 두시텍 이동 중 근거리원거리환경 움직임위치 추적 카메라센서
WO2018014305A1 (zh) * 2016-07-21 2018-01-25 武汉芯泰科技有限公司 一种多波探测与成像系统
CN107122770B (zh) * 2017-06-13 2023-06-27 驭势（上海）汽车科技有限公司 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP6734994B2 (ja) * 2017-06-23 2020-08-05 株式会社日立製作所 ステレオ計測装置及びシステム
CN109813716B (zh) * 2017-11-22 2024-03-08 东君新能源有限公司 太阳能组件故障检测系统和方法
WO2020047863A1 (zh) * 2018-09-07 2020-03-12 深圳配天智能技术研究院有限公司 一种测量距离的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258543A (ja) 2005-03-16 2006-09-28 Tokyo Institute Of Technology 立体形状検出装置及び立体形状検出方法
JP2006329747A (ja) 2005-05-25 2006-12-07 Tokyo Institute Of Technology 画像撮影装置
JP2007093479A (ja) 2005-09-29 2007-04-12 Tokyo Institute Of Technology ３次元座標測定方法
JP2007120993A (ja) 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho ３次元形状と３次元地形計測法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2226923B (en) * 1989-01-06 1993-03-17 Peng Seng Toh Automatic convergent stereoscopic machine vision
JPH10210506A (ja) * 1997-01-22 1998-08-07 Sony Corp ３次元画像情報入力装置および３次元画像情報入出力装置
JP2000059820A (ja) * 1998-08-14 2000-02-25 Sanyu Seni:Kk ３カメラ方式による立体撮影用ビデオカメラ
US6701081B1 (en) * 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Ｈｏｙａ株式会社 画像間対応点検出装置および画像間対応点検出方法
JP2006238325A (ja) * 2005-02-28 2006-09-07 Canon Inc カメラシステム
JP4188394B2 (ja) * 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006258543A (ja) 2005-03-16 2006-09-28 Tokyo Institute Of Technology 立体形状検出装置及び立体形状検出方法
JP2006329747A (ja) 2005-05-25 2006-12-07 Tokyo Institute Of Technology 画像撮影装置
JP2007093479A (ja) 2005-09-29 2007-04-12 Tokyo Institute Of Technology ３次元座標測定方法
JP2007120993A (ja) 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho ３次元形状と３次元地形計測法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2328341A4

Also Published As

Publication number Publication date
US20120002016A1 (en) 2012-01-05
JP5229726B2 (ja) 2013-07-03
EP2328341A1 (en) 2011-06-01
CN102132556A (zh) 2011-07-20
JP2010050582A (ja) 2010-03-04
EP2328341A4 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
JP5229726B2 (ja) 遠距離視標探査カメラシステム
JP4982407B2 (ja) 移動体画像追尾装置及び方法
CN110243283B (zh) 一种可变视轴视觉测量系统及方法
EP2743889A2 (en) Stereoscopic camera object detection system and method of aligning the same
JP5459678B2 (ja) 移動体画像追尾装置
JP5010634B2 (ja) 移動体画像追尾装置
JP2009241247A (ja) ステレオ画像型検出移動装置
EP2525235A1 (en) Multi-function airborne sensor system
US20100246886A1 (en) Moving object image tracking apparatus and method
US8536503B2 (en) Faceted retro-mirror for line-of-sight jitter sensing
JP2016148512A (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
JP2007240506A (ja) ３次元形状と３次元地形計測法
US20170116758A1 (en) Method and device for measuring distance using a camera
JP2002144278A (ja) 脚式移動ロボット
CN107363851A (zh) 控制装置以及机器人系统
JP2009260564A (ja) 移動体画像追尾装置
JP2001066138A (ja) 計測システムおよびこの計測システムに用いられるプリズム式光路制御装置
JP5062626B2 (ja) 物体識別装置
US8194928B2 (en) Non-contact passive ranging system
Baatar et al. Precise indoor localization of multiple mobile robots with adaptive sensor fusion using odometry and vision data
JP2006217222A (ja) パノラマ映像作成方法と作成装置
JP6101037B2 (ja) 追尾式レーザー装置、及び測定装置
US8478122B2 (en) Image taking system
JP2009008649A (ja) 脚車輪型ロボット
WO2017167033A1 (zh) 一种视觉系统的图像处理方法及系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980132657.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09808050

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009808050

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13059954

Country of ref document: US