WO2015002041A1 - 視線方向制御装置 - Google Patents

視線方向制御装置 Download PDF

Info

Publication number
WO2015002041A1
WO2015002041A1 PCT/JP2014/066788 JP2014066788W WO2015002041A1 WO 2015002041 A1 WO2015002041 A1 WO 2015002041A1 JP 2014066788 W JP2014066788 W JP 2014066788W WO 2015002041 A1 WO2015002041 A1 WO 2015002041A1
Authority
WO
WIPO (PCT)
Prior art keywords
mirror
tilt
pan
line
rotation axis
Prior art date
Application number
PCT/JP2014/066788
Other languages
English (en)
French (fr)
Inventor
寛雅 奥
正俊 石川
鉱石 小林
Original Assignee
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京大学 filed Critical 国立大学法人東京大学
Priority to US14/902,996 priority Critical patent/US10481381B2/en
Priority to CN201480041619.5A priority patent/CN105409199B/zh
Priority to EP14819639.7A priority patent/EP3018890B1/en
Publication of WO2015002041A1 publication Critical patent/WO2015002041A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/14—Viewfinders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a technique for controlling the direction of the line of sight in an optical apparatus.
  • Non-Patent Document 1 In order to continuously photograph the subject, it is necessary to keep the camera's line of sight toward the subject. In many cases, this is done manually by the photographer, but it is difficult to perfectly follow a fast and irregular movement such as a jumping ball. For this reason, research on a system for automatically controlling the camera's line-of-sight direction with a machine (so-called active vision: see Non-Patent Document 1 below) has been active in various fields.
  • a saccade mirror (Saccade Mirror) has been proposed that changes the line of sight of a camera at high speed using a small drive mirror surface arranged in front of the camera (see Non-Patent Document 2 below).
  • the line of sight can be changed at high speed by using a biaxial galvanometer mirror. If the line of sight can be controlled so that the object is always captured at the center of the screen in the control system, it is considered that unprecedented dynamic imaging is possible.
  • the conventional saccade mirror has a problem that the pan angle and the tilt angle are relatively narrow.
  • a first object of the present invention is to provide a gaze direction control device that can widen the range in which the gaze can be changed, particularly in the pan direction, and can obtain a high gaze change speed.
  • a second object of the present invention is to provide a method suitable for the design of this device.
  • An apparatus for controlling a line-of-sight direction to be directed from an optical instrument to an object It has a tilt direction control unit and a pan direction control unit,
  • the tilt direction control unit includes a first tilt mirror and a second tilt mirror,
  • the first tilt mirror is rotatable in forward and reverse directions around the first rotation axis
  • the second tilt mirror is rotatable in forward and reverse directions about the second rotation axis
  • the second rotation axis is extended in a direction perpendicular to the first rotation axis
  • the pan direction control unit includes a pan mirror,
  • the pan mirror is rotatable in the forward and reverse directions around the third rotation axis,
  • the said 3rd rotating shaft is extended in the direction substantially parallel to the visual line direction which goes to the said pan mirror from the said tilt direction control part
  • the angle ⁇ formed by the pan mirror and the third rotation axis is set in a range of 0 ° ⁇ ⁇ 90 °
  • the tilt direction control unit can scan the line-of-sight
  • the tilt direction control unit can control the tilt angle in the line-of-sight direction from the pan mirror to the object by rotating the first tilt mirror and the second tilt mirror.
  • the gaze direction control device configured to control a pan angle in the gaze direction from the pan mirror to the object by rotating the pan mirror about the third rotation axis.
  • the first rotation axis is extended in a direction perpendicular to a normal vector of the first tilt mirror;
  • the line-of-sight direction control device according to item 1, wherein the second rotation axis is extended in a direction perpendicular to a normal vector of the second tilt mirror.
  • (Item 4) 4. The line-of-sight direction control device according to any one of items 1 to 3, wherein a center of an area where the line-of-sight direction can be scanned by the tilt direction control unit coincides with a position of the third rotation axis.
  • the pupil transfer optical system is configured to transfer a pupil position of a line of sight to the vicinity of any of the first tilt mirror, the second tilt mirror, and the pan mirror.
  • the gaze direction control device described.
  • a design method of a gaze direction control device including a tilt direction control unit and a pan direction control unit
  • the tilt direction control unit includes a first tilt mirror and a second tilt mirror, The first tilt mirror is rotatable in forward and reverse directions around the first rotation axis, The second tilt mirror is rotatable in forward and reverse directions about the second rotation axis, The second rotation axis is extended in a direction perpendicular to the first rotation axis;
  • the pan direction control unit includes a pan mirror, The pan mirror is rotatable in the forward and reverse directions around the third rotation axis, And the said 3rd rotating shaft is extended in the direction substantially parallel to the visual line direction which goes to the said pan mirror from the said tilt direction control part, And the angle ⁇ formed by the pan mirror and the third rotation axis is set in a range of 0 ° ⁇ ⁇ 90 °,
  • the tilt direction control unit can scan the line-of-sight direction with respect to a virtual plane formed by a rotation locus of the pan
  • the tilt direction control unit is configured to control the tilt angle in the line-of-sight direction from the pan mirror to the object by rotating the first tilt mirror and the second tilt mirror.
  • the pan mirror is configured to be able to control the pan angle in the line-of-sight direction from the pan mirror to the object by rotating about the third rotation axis,
  • the design method further comprises the following steps: (A) Using ray tracing, the first tilt mirror, Calculating the shape of the second tilt mirror and the pan mirror; (B) By optimizing evaluation functions for the first tilt mirror, the second tilt mirror, and the pan mirror, design parameters for the first tilt mirror, the second tilt mirror, and the pan mirror are set. Searching step, where the search is performed under the condition that no collision occurs between the first tilt mirror, the second tilt mirror, and the pan mirror.
  • the constraint condition further includes that the line of sight toward the pan mirror from the tilt direction control unit does not hit the first tilt mirror or the second tilt mirror after being reflected by the pan mirror.
  • step (Item 8) The design method according to item 6 or 7, wherein the evaluation function used in step (b) is to obtain a maximum value of a minimum acceleration obtained for the first tilt mirror, the second tilt mirror, and the pan mirror. .
  • This computer program is stored in an appropriate recording medium (for example, an optical recording medium such as a CD-ROM or a DVD disk, a magnetic recording medium such as a hard disk or a flexible disk, or a magneto-optical recording medium such as an MO disk). Can be stored.
  • This computer program can be transmitted via a communication line such as the Internet.
  • the range of rotation of the pan mirror can be expanded, and therefore the range in which the line of sight can be changed in the pan direction can be expanded. Moreover, since the basic configuration is the same as that of the saccade mirror, a high line-of-sight change speed can be obtained.
  • the line-of-sight change control device can be designed.
  • the line-of-sight control device of the present embodiment is a device for controlling the line-of-sight direction in the camera 100 as an example of an optical apparatus.
  • the optical device is not limited to an imaging device such as a camera, and may be a projector that projects an image.
  • the traveling direction of the light beam is reversed between the imaging device and the projection device, but the line-of-sight direction in the present embodiment can be grasped similarly in any case.
  • the visual line direction control device of the present embodiment includes a tilt direction control unit 1, a pan direction control unit 2, and a pupil transfer optical system 3 (see FIG. 1).
  • the tilt direction control unit 1 includes a first tilt mirror 11 and a second tilt mirror 12.
  • the first tilt mirror 11 can be rotated in the forward and reverse directions around the first rotation shaft 13 by a drive mechanism (not shown) (see FIG. 2).
  • the first rotation shaft 13 extends in a direction perpendicular to the normal vector of the first tilt mirror 12. That is, the first rotation shaft 13 is disposed substantially at a position along the reflection surface of the first tilt mirror 11. Further, in the present embodiment, the position of the first rotation shaft 13 coincides with the center of the light beam irradiated on the first tilt mirror 11.
  • the second tilt mirror 12 can be rotated in the forward and reverse directions around the second rotation shaft 14 by a drive mechanism (not shown) (see FIG. 2).
  • the second rotation shaft 14 extends in a direction perpendicular to the normal vector of the second tilt mirror 12. That is, the second rotation shaft 14 is disposed substantially at a position along the reflection surface of the second tilt mirror 12. Furthermore, in the present embodiment, the position of the second rotation shaft 14 coincides with the center of the light beam irradiated on the second tilt mirror 12.
  • the rotation axis includes, for example, a virtual rotation axis formed by using a link mechanism or the like unless otherwise specified.
  • FIG. 2 it is described that each rotation axis appears on the reflection surface of each mirror. However, this is for ease of understanding. It is preferable to be disposed at a position that does not hinder the reflection of light (for example, immediately after the reflection surface).
  • the second rotating shaft 14 is extended in a direction perpendicular to the first rotating shaft 13.
  • “vertical” means that the angle formed by the direction vector of each axis is a right angle (that is, the inner product of the vectors is 0), and the axes do not need to actually intersect.
  • the right angle includes a case where the angle is substantially right so as not to hinder the practical use, and does not need to be a right angle in a mathematically strict sense.
  • the tilt direction control unit 1 can scan the line-of-sight direction with respect to a virtual plane formed by a rotation locus of a pan mirror 21 to be described later by rotating the first tilt mirror 11 and the second tilt mirror 12. It has a configuration. Further, the tilt direction control unit 1 is configured to control the tilt angle in the line-of-sight direction by rotating the first tilt mirror 11 and the second tilt mirror 12. Furthermore, in the present embodiment, the center of the region in which the visual axis direction can be scanned by the tilt direction control unit 1 is the position of the third rotation shaft 22 described later (that is, near the attachment position of the pan mirror and the third rotation shaft). Is matched.
  • the pan direction control unit 2 includes a pan mirror 21.
  • the pan mirror 21 can be rotated in the forward and reverse directions around the third rotation shaft 22 by a drive mechanism (not shown) (see FIG. 2).
  • the rotation range of the pan mirror 21 is not particularly limited, but may be configured to rotate over 360 ° (that is, the entire circumference) if necessary. However, it only needs to be able to rotate within the necessary range.
  • the pan angle is represented by the symbol ⁇ and the tilt angle is represented by the symbol ⁇ .
  • the third rotating shaft 22 is extended in a direction substantially parallel to the viewing direction from the tilt direction control unit 1 toward the pan mirror 21.
  • the line-of-sight direction is only a virtual one and may not be the same as the actual traveling direction of the light beam.
  • the optical device 100 is an imaging device
  • the reflected light from the subject travels from the pan direction control unit 2 toward the tilt direction control unit 1
  • the line-of-sight direction is from the tilt direction control unit 1 to the pan direction control unit.
  • the direction to 2 can be considered.
  • the angle ⁇ (see FIG. 3) formed by the pan mirror 21 and the third rotating shaft 22 is set in a range of 0 ° ⁇ ⁇ 90 °. That is, the pan mirror 21 is installed in a direction inclined with respect to the third rotation shaft 22.
  • the pan mirror 21 is configured to control the pan angle in the line-of-sight direction by rotating about the third rotation shaft 22.
  • the pupil transfer optical system 3 is configured to transfer the pupil position of the line of sight to the vicinity of any of the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21.
  • the pupil transfer optical system 3 can be basically configured in the same manner as a conventional saccade mirror, and thus detailed description thereof is omitted. Further, in this embodiment, the rotation angle of each mirror is controlled by feedback using a camera image. However, since the conventional method can be basically used for this feedback control, detailed description is omitted. To do.
  • the basic method of using the gaze direction control device of the present embodiment is the same as the “saccade mirror” described in Non-Patent Document 2, for example.
  • the pan angle and the tilt angle are controlled by two mirrors.
  • the apparatus of this embodiment basically uses three mirrors (two tilt mirrors and one pan mirror), and the tilt angle is controlled by two tilt mirrors.
  • the pan angle can be controlled by a single pan mirror.
  • the line of sight from the optical device 100 passes through the pupil transfer optical system 3 and reaches the first tilt mirror 11 of the tilt direction control unit 1.
  • the line of sight reflected by the first tilt mirror 11 is further reflected by the second tilt mirror 12 and reaches the pan mirror 21 of the pan direction control unit 2.
  • the direction and position of the line of sight incident on the pan mirror 21 by rotating the first tilt mirror 11 and the second tilt mirror 12 about the first rotation shaft 13 and the second rotation shaft 14. And can be controlled.
  • the tilt angle can be controlled.
  • the line-of-sight direction since the line-of-sight direction is controlled using at least two tilt mirrors, the line-of-sight direction can be scanned within a predetermined range in a two-dimensional plane. Therefore, according to the present embodiment, the line-of-sight direction can be directed on the movement locus of the pan mirror 21 that rotates about the third rotation shaft 22, and the line-of-sight direction can be controlled by the pan mirror 21.
  • the pan mirror 21 can direct the line of sight to the object by reflecting the incident line of sight.
  • the pan angle ⁇ can be controlled by rotating the pan mirror 21 around the third rotation shaft 22.
  • the conventional saccade mirror has a problem that it is difficult to widen the pan angle.
  • the pan mirror 21 can be rotated over the entire circumference of 360 ° in principle, so that the pan angle ⁇ can be increased as compared with the prior art.
  • the actually useful pan angle ⁇ is actually 360 °. It is thought that it is often smaller.
  • the first rotating shaft 13 is extended in a direction perpendicular to the normal vector of the first tilt mirror 11
  • the second rotating shaft 14 is the method of the second tilt mirror 12. Since it is extended in the direction perpendicular to the line vector, there is an advantage that the moment of inertia in these mirrors can be reduced and the mirror can be moved at high speed.
  • the position of the first rotation shaft 13 coincides with the center of the light beam irradiated on the first tilt mirror 11, and the position of the second rotation shaft 14 is on the second tilt mirror 12. Since this coincides with the center of the light beam to be irradiated, this structure can also reduce the moment of inertia in these mirrors, and the mirror can be moved at high speed.
  • the center of the region in which the scanning in the line of sight can be scanned by the tilt direction control unit 1 is made coincident with the position of the third rotation shaft 22, so that the rotation required for the line of sight scanning in each tilt mirror is performed.
  • the angle can be minimized, and from this point, the moment of inertia in each tilt mirror can be reduced.
  • the pupil transfer optical system 3 of the present embodiment is in the vicinity of any one of the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21, for example, between the first tilt mirror 11 and the second tilt mirror 12.
  • the configuration is such that the pupil position of the line of sight is transferred. For this reason, in this embodiment, it becomes possible to narrow down the light beam irradiated to each mirror, and the moment of inertia in each mirror can be minimized.
  • FIG. 5 shows a block diagram of a design system for executing this system.
  • Step SA-1 in FIG. 4 First, by using ray tracing, the first tilt mirror 11 and the second tilt mirror 11 are arranged so that the direction of the line of sight changed by the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21 satisfies a predetermined required specification.
  • the mirror shape calculation unit 5 calculates the shapes of the tilt mirror 12 and the pan mirror 21.
  • this initial value for example, a value that is empirically appropriate may be used.
  • the predetermined required specifications are a pan angle and a tilt angle required for the apparatus of the present embodiment.
  • the area and shape required for each mirror can be calculated. Since ray tracing can be executed by a computer using an existing method, detailed description is omitted.
  • mirror number 1 corresponds to the first tilt mirror
  • number 2 corresponds to the second tilt mirror
  • number 3 corresponds to the pan mirror.
  • ray tracing not only the line of sight but also the spread of the light beam to be reflected by each mirror is considered.
  • Step SA-2 in FIG. 4 design parameters for the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21 are determined by optimization using evaluation functions for the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21.
  • the optimization processing unit 6 searches. This optimization process includes steps SB-1 to SB-3 shown in FIG. Hereinafter, these steps will be described in detail.
  • Step SB-1 in FIG. 4 First, calculation of the evaluation function by the evaluation function calculation unit 61 will be described.
  • the evaluation function used here is to obtain the maximum value of the minimum acceleration obtained for the first tilt mirror 11, the second tilt mirror 12, and the pan mirror 21, for example. Specifically, the following formula can be used.
  • ⁇ i is the rotation angle (see FIG. 6) of each mirror in the line-of-sight direction, and is a function of time t.
  • d is a vector quantity representing the line-of-sight direction after the line of sight of the pan mirror 21 viewed from the tilt direction control unit 1 is reflected by the pan mirror 21, and is a function of ⁇ i .
  • examples of parameters to be changed at the time of optimization are the rotation angle of each mirror, the distance between mirrors, the pupil position, and the tilt of the pan mirror with respect to the third rotation axis.
  • the existing interior point method can be used (reference: H. Yamashita, "Approahing Large Sale Optimization by Way of Ative Set Method, Interior Point Method and Exterior Point Method," The Institute of Systems, Control and Information Engineers, Vol. 50, No. 9, pp. 332-337, 2006.).
  • the search of the design parameter using the evaluation formula is further performed within the range of the constraints in the following steps SB-2 and SB-3. This will be further described below.
  • Step SB-2 in FIG. 4 the inter-mirror collision determination unit 62 attaches the following conditions as a constraint function.
  • a constraint condition is that c 1,2 ⁇ 0.
  • the light beam / mirror collision determination unit 63 further applies the following conditions as a constraint function.
  • a constraint is that c 3 ⁇ 0.
  • the above-mentioned optimization is performed as follows. “After the light beam directed from the tilt direction control unit 1 toward the pan mirror 21 is reflected by the pan mirror 21, the first tilt mirror 11 or the second tilt mirror 12 is reflected. “Do not hit” is a constraint.
  • the light flux spreads over a wider range than the line of sight, and the spread can be calculated from design parameters.
  • the light flux here is a virtual one for design.
  • the light beam incident on the camera 100 of the present embodiment proceeds in the direction from the pan direction control unit 2 to the tilt direction control unit 1, but there is no problem in design assuming that the light beam travels in the opposite direction.
  • Each step in the design method of the present embodiment can be executed by being implemented as a computer program.
  • Step SA-3 in FIG. 4 the output unit 7 outputs design conditions (specifically, each parameter) obtained by the optimization.
  • the output destination is, for example, a printer or a display, but may be a recording medium on a computer.
  • each of the above-described components only needs to exist as a functional block, and does not have to exist as independent hardware.
  • a mounting method hardware or computer software may be used.
  • one functional element in the present invention may be realized by a set of a plurality of functional elements, and a plurality of functional elements in the present invention may be realized by one functional element.
  • the functional elements may be arranged at physically separated positions.
  • the functional elements may be connected by a network. It is also possible to realize functions or configure functional elements by grid computing or cloud computing.
  • a total of three mirrors ie, two tilt mirrors and one pan mirror, are used, but it is possible to use more mirrors.
  • the smaller the number of mirrors the easier the control.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Accessories Of Cameras (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

本発明の目的は、特にパン方向における視線変更可能範囲を広げることである。さらに、本発明によれば、高い視線変更速度を得ることができる。パンミラーは、第３回転軸を中心として正逆方向に回動可能である。かつ、第３回転軸は、チルト方向制御部からパンミラーへ向かう視線方向と略平行となる方向に延長されている。かつ、パンミラーと第３回転軸のなす角αは、０°＜α＜９０°の範囲に設定されている。チルト方向制御部は、パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる。かつ、チルト方向制御部は、パンミラーから対象物への視線方向のチルト角を制御できる。パンミラーは、第３回転軸を中心として回動することによって、パンミラーから対象物への視線方向のパン角を制御できる。

Description

視線方向制御装置
　本発明は、光学機器における視線の方向を制御するための技術に関するものである。
　被写体を継続的に撮影するためには、カメラの視線を対象に向け続ける必要がある。多くの場合この作業は撮影者が手動で行うが、ボールの跳躍のような高速かつ不規則な運動に完璧に追従するのは難しい。このため、カメラの視線方向を機械で自動制御するシステム（いわゆるアクティブビジョン：下記非特許文献１参照）の研究は様々な分野で盛んとなっている。
　通常のアクティブビジョンの技術では、カメラ自体を駆動雲台に取り付けて動かしているため、視線方向の移動についての応答速度が遅い。これでは、急激な加速度変化を含む運動対象（例えば球技で用いられているボール）をトラッキングすることは難しい。高速カメラのフレームレートが、速いものでは１００万ｆｐｓに達する事や、ＧＰＵによって画像処理が高速化されている現状を考えると、視線制御速度は、様々なトラッキングシステムにおいて速度面でのボトルネックとなっていると言える。
　この問題を解決するために、カメラ前方に配置した小型駆動鏡面によって高速にカメラの視線変更を行うサッカードミラー(Saccade Mirror)と呼ばれる光学系が提案されている（下記非特許文献２参照）。この技術では、２軸のガルバノミラーを用いることによって、高速な視線変更ができるようになっている。もし、制御系において、常に画面中心で対象物をとらえるように視線の制御ができれば、他に類を見ないダイナミックな撮像が可能になると考えられる。
　ところで、従来のサッカードミラーにおいては、パン角及びチルト角が比較的に狭いという問題があった。
　広い角度範囲で視線を変更できる装置としては、例えば下記特許文献１に記載の技術が存在する。この技術では、いわゆるジンバル機構を用いてミラー位置を変更することにより、広範囲で視線方向を変更できるようになっている。
米国特許第７８０４０５６号公報
J. Aloimonos, I. Weiss and A. Bandyopadhyay: "Active Vision", Int'l Journal of Computer Vision, vol. 1, no. 4, pp. 333.356 (1988). K. Okumura, H. Oku and M. Ishikawa: "High-Speed Gaze Controller for Millisecond-order Pan/tilt Camera", Proc. of IEEE Int'l Conf. on Robotics and Automation, pp. 6186. 6191 (2011).
　しかしながら、前記特許文献１の構造では、ジンバル機構を構成する部材の重量が大きくなりがちであり、高速な視線変更は難しいと考えられる。
　本発明は、前記の状況に鑑みてなされたものである。本発明の第１の目的は、特にパン方向における視線変更可能な範囲を広くすることができ、しかも高い視線変更速度を得ることができる視線方向制御装置を提供することである。本発明の第２の目的は、この装置の設計に適した方法を提供することである。
　前記した課題を解決する手段は、以下の項目のように記載できる。
　（項目１）
　光学機器から対象物に向けられるべき視線方向を制御するための装置であって、
　チルト方向制御部と、パン方向制御部とを備えており、
　前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
　前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
　前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
　前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
　前記パン方向制御部は、パンミラーを備えており、
　前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
　かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
　かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから前記対象物への前記視線方向のチルト角を制御できる構成となっており、
　前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっている
　視線方向制御装置。
　（項目２）
　前記第１回転軸は、前記第１チルトミラーの法線ベクトルに対して垂直となる方向に延長されており、
　前記第２回転軸は、前記第２チルトミラーの法線ベクトルに対して垂直となる方向に延長されている
　項目１に記載の視線方向制御装置。
　（項目３）
　前記第１回転軸の位置は、前記第１チルトミラーに照射される光線束の中心に一致しており、
　前記第２回転軸の位置は、前記第２チルトミラーに照射される光線束の中心に一致している
　項目１又は２に記載の視線方向制御装置。
　（項目４）
　前記チルト方向制御部による前記視線方向の走査が可能な領域の中心は、前記第３回転軸の位置と一致させられている
　項目１～３のいずれか１項に記載の視線方向制御装置。
　（項目５）
　さらに瞳転送光学系を備えており、
　前記瞳転送光学系は、前記第１チルトミラー、前記第２チルトミラー及び前記パンミラーのいずれかの近傍に視線の瞳位置を転送する構成となっている
　項目１～４のいずれか１項に記載の視線方向制御装置。
　（項目６）
　チルト方向制御部とパン方向制御部とを備える視線方向制御装置の設計方法であって、
　前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
　前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
　前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
　前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
　前記パン方向制御部は、パンミラーを備えており、
　前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
　かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
　かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから対象物への前記視線方向のチルト角を制御できる構成となっており、
　前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっており、
　さらにこの設計方法は、以下のステップを備える：
（ａ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーの形状を算出するステップ；
（ｂ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについての評価関数を最適化することによって、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについての設計パラメータを探索するステップ、ここで、前記探索は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとの間で衝突を生じないことを制約条件として行われるものとなっている。
　（項目７）
　前記制約条件は、前記チルト方向制御部から前記パンミラーに向かった視線が、前記パンミラーで反射された後に、前記第１チルトミラーあるいは前記第２チルトミラーに当たらないことをさらに含む
　項目６に記載の設計方法。
　（項目８）
　前記ステップ（ｂ）で用いる評価関数は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについて得られる最小の加速度の最大値を求めるものである
　項目６又は７に記載の設計方法。
　（項目９）
　項目６～８のいずれか１項に記載の設計方法における各ステップをコンピュータに実行させるためのコンピュータプログラム。
　このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ－ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。
　本発明によれば、パンミラーの回動範囲を広げることができ、このため、パン方向における視線変更可能範囲を広めることができる。しかも、基本的な構成はサッカードミラーと同様なので、高い視線変更速度を得ることができる。また、本発明の設計方法によれば、この視線変更制御装置の設計を行うことができる。
本発明の一実施形態における視線方向制御装置の概略的な構成を示す説明図である。 図１の装置における要部を拡大した説明図である。 パンミラーを第３回転軸に取り付けた状態を説明するための、パンミラーの模式的な断面図である。 図１の視線方向制御装置を設計する手順を示すフローチャートである。 図４の手順を実行するための設計装置の一例を示すブロック図である。 ミラーによる視線方向の変化を説明するための説明図である。
　以下、添付図面を参照しながら、本発明の一実施形態に係る視線方向制御装置について説明する。
　（本実施形態の構成）
　本実施形態の視線方向制御装置は、光学機器の一例としてのカメラ１００における視線方向を制御するための装置である。ただし、光学機器としては、カメラのような撮像装置に限らず、像を投影するプロジェクタであってもよい。撮像装置と投影装置とでは、光線の進行方向が逆になるが、本実施形態における視線方向は、いずれの場合であっても同様に把握できる。
　本実施形態の視線方向制御装置は、チルト方向制御部１と、パン方向制御部２と、瞳転送光学系３とを備えている（図１参照）。
　（チルト方向制御部）
　チルト方向制御部１は、第１チルトミラー１１と、第２チルトミラー１２とを備えている。第１チルトミラー１１は、図示しない駆動機構によって、第１回転軸１３を中心として正逆方向に回動可能とされている（図２参照）。より詳しくは、本実施形態においては、第１回転軸１３が、第１チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されている。つまり、第１回転軸１３は、実質的に、第１チルトミラー１１の反射面に沿う位置に配置されている。さらに、本実施形態において、第１回転軸１３の位置は、第１チルトミラー１１に照射される光線束の中心に一致している。
　第２チルトミラー１２は、図示しない駆動機構によって、第２回転軸１４を中心として正逆方向に回動可能とされている（図２参照）。第２回転軸１４は、第２チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されている。つまり、第２回転軸１４は、実質的に、第２チルトミラー１２の反射面に沿う位置に配置されている。さらに、本実施形態において、第２回転軸１４の位置は、第２チルトミラー１２に照射される光線束の中心に一致している。
　ここで、本実施形態において回転軸とは、特に言及しない限り、例えばリンク機構などを用いて形成される仮想的な回転軸である場合を含む。なお、図２においては、各回転軸が各ミラーの反射面上に現れているように記載しているが、これは理解の容易のためであって、実際は、各回転軸は、ミラーにおける光線の反射に支障とならない位置（例えば反射面の直後）に配置されることが好ましい。
　第２回転軸１４は、第１回転軸１３に対して垂直となる方向に延長されている。ここで垂直とは、各軸の方向ベクトルの成す角が直角（つまりベクトルの内積が０）であることを意味しており、各軸が実際に交差する必要はない。またここで直角とは、実用上支障ない程度にほぼ直角である場合を含んでおり、数学的に厳密な意味で直角である必要はない。
　チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、後述するパンミラー２１の回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっている。さらに、チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、視線方向のチルト角を制御できる構成となっている。さらに、本実施形態において、チルト方向制御部１による視線方向の走査が可能な領域の中心は、後述する第３回転軸２２の位置（つまりパンミラーと第３回転軸との取り付け位置の近傍）と一致させられている。
　（パン方向制御部）
　パン方向制御部２は、パンミラー２１を備えている。パンミラー２１は、図示しない駆動機構によって、第３回転軸２２を中心として正逆方向に回動可能とされている（図２参照）。パンミラー２１の回転可能範囲は、特に制約はないが、必要があれば３６０°（つまり全周）にわたって回転する構成とすることができる。ただし、実際に必要な範囲で回転できればよい。なお、図２では、パン角を符号θ、チルト角を符号φで表している。
　第３回転軸２２は、チルト方向制御部１からパンミラー２１へ向かう視線方向と略平行となる方向に延長されている。ここで、視線方向とは、あくまで仮想的なものであって、実際の光線の進行方向と同じでなくともよい。例えば、光学機器１００が撮像装置の場合、被写体からの反射光はパン方向制御部２からチルト方向制御部１に向けて進行するが、視線方向としては、チルト方向制御部１からパン方向制御部２への方向を考えることができる。
　パンミラー２１と第３回転軸２２とのなす角α（図３参照）は、０°＜α＜９０°の範囲に設定されている。つまり、パンミラー２１は、第３回転軸２２に対して傾斜する方向に設置されている。
　パンミラー２１は、第３回転軸２２を中心として回動することによって、視線方向のパン角を制御できる構成となっている。
　（瞳転送光学系）
　瞳転送光学系３は、第１チルトミラー１１、第２チルトミラー１２及びパンミラー２１のいずれかの近傍に視線の瞳位置を転送する構成となっている。瞳転送光学系３としては、基本的に、従来のサッカードミラーと同様の構成とすることができるので、詳しい説明を省略する。また、本実施形態においては、各ミラーの回転角を、カメラ画像を用いたフィードバックにより制御しているが、このフィードバック制御についても基本的に従来の手法を用いることができるので、詳しい説明は省略する。
　（本実施形態の動作）
　ついで、前記した実施形態の視線方向制御装置の動作について説明する。本実施形態の視線方向制御装置の基本的な使用方法は、例えば前記した非特許文献２に記載の「サッカードミラー」と同様である。しかしながら、従来のサッカードミラーにおいては、２枚のミラーによってパン角とチルト角とを制御していた。これに対して、本実施形態の装置では、基本的に３枚のミラー（２枚のチルトミラーと１枚のパンミラー）を用いており、２枚のチルトミラーによってチルト角を制御し、１枚のパンミラーによってパン角を制御できるようになっている。
　具体的には、本実施形態では、光学機器１００からの視線は、瞳転送光学系３を通過してチルト方向制御部１の第１チルトミラー１１に達する。第１チルトミラー１１で反射された視線は、第２チルトミラー１２によってさらに反射されて、パン方向制御部２のパンミラー２１に達する。本実施形態では、第１チルトミラー１１と第２チルトミラー１２とを、第１回転軸１３及び第２回転軸１４を中心として回動させることにより、パンミラー２１に入射する視線の向きと位置とを制御することができる。これにより、本実施形態では、チルト角の制御を行うことができる。もちろん、チルト方向制御部１の各ミラーの向きを制御することにより、パン角をある程度制御することも可能であるが、本実施形態では、設計を容易とするため、チルト方向制御部１を、チルト角制御のために用いている。
　さらに、本実施形態においては、少なくとも２枚のチルトミラーを用いて視線方向を制御しているので、２次元平面内での所定範囲で視線方向を走査することができる。したがって、本実施形態によれば、第３回転軸２２を中心として回転するパンミラー２１の移動軌跡上に視線方向を向けることができ、パンミラー２１による視線方向の制御が可能となっている。
　パンミラー２１では、入射する視線を反射することにより、対象物に視線を向けることができる。また、本実施形態では、第３回転軸２２を中心としてパンミラー２１を回転させることにより、パン角θを制御することができる。ここで、従来のサッカードミラーでは、パン角を広げることが難しいという問題があった。これに対して、本実施形態では、パンミラー２１は、原理的には、３６０°全周にわたって回転可能なので、パン角θを従来よりも拡大することが可能となる。もちろん、チルト方向制御部１からの視線をチルト方向制御部１に再び戻すようなパン角をとることは事実上不都合と考えられるので、実際に有用なパン角θは、実際には、３６０°より小さいことが多いと考えられる。
　また、本実施形態では、第１回転軸１３が、第１チルトミラー１１の法線ベクトルに対して垂直となる方向に延長されており、第２回転軸１４が、第２チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されているので、これらのミラーにおける慣性モーメントを小さくすることができ、ミラーの高速移動が可能になるという利点がある。
　また、本実施形態では、第１回転軸１３の位置が、第１チルトミラー１１に照射される光線束の中心に一致しており、第２回転軸１４の位置が、第２チルトミラー１２に照射される光線束の中心に一致しているので、この構成によっても、これらのミラーにおける慣性モーメントを小さくすることができ、ミラーの高速移動が可能となっている。
　また、本実施形態では、チルト方向制御部１による視線方向の走査が可能な領域の中心が、第３回転軸２２の位置と一致させられているので、各チルトミラーにおいて視線走査に必要な回転角を最小化することが可能となり、この点からも、各チルトミラーにおける慣性モーメントを小さくすることができる。
　さらに、本実施形態の瞳転送光学系３は、第１チルトミラー１１、第２チルトミラー１２及びパンミラー２１のいずれかの近傍、例えば第１チルトミラー１１と第２チルトミラー１２との間に視線の瞳位置を転送する構成となっている。このため、この実施形態では、各ミラーに照射される光線束を小さく絞ることが可能となり、各ミラーにおける慣性モーメントの最小化を図ることができる。
　（本実施形態の設計方法）
　次に、本実施形態の視線方向制御装置を設計する方法の一例を、図４をさらに参照しながら説明する。また、図５には、このシステムを実行する設計システムのブロック図を示す。
　（図４のステップＳＡ－１）
　まず、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１の形状を、ミラー形状算出部５（図５参照）が算出する。なお、一般的に、レイトレーシングの前提として、各種パラメータの初期値を与える必要がある。この初期値としては、例えば、経験的に適切と思われる値を用いることができる。
　ここで、既定の要求仕様とは、本実施形態の装置に必要とされるパン角及びチルト角である。レイトレーシングを用いることにより、各ミラーに必要とされる面積及び形状を算出することができる。レイトレーシングについては、既存手法を用いてコンピュータにより実行することができるので、詳しい説明は省略する。
　なお、本実施形態における視線方向は、以下のように、各ミラーに対応する回転行列Ｒｉ（θｉ）（ｉ＝１，２，３）を用いて表すことができる（図５参照）。なおここで、ミラーの番号１は第１チルトミラー、番号２は第２チルトミラー、番号３はパンミラーに対応している。なお、レイトレーシングにおいては、視線だけではなく、各ミラーで反射されるべき光線束の広がりも考慮する。
Figure JPOXMLDOC01-appb-M000001
　（図４のステップＳＡ－２）
　ついで、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とについての評価関数を用いた最適化によって、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とについての設計パラメータを、最適化処理部６（図５参照）が探索する。この最適化の処理は、図４に示されるステップＳＢ－１～ＳＢ－３を含んでいる。以下、これらのステップについて詳しく説明する。
　（図４のステップＳＢ－１）
　まず、評価関数算出部６１による評価関数の算出について説明する。ここで用いる評価関数は、例えば、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１について得られる最小の加速度の最大値を求めるものである。具体的には、以下の式を用いることができる。
Figure JPOXMLDOC01-appb-M000002
　ここで、θｉは、各ミラーにおける視線方向の回転角（図６参照）であり、時刻ｔの関数となっている。また、ここでｄは、チルト方向制御部１からパンミラー２１を見た視線がパンミラー２１で反射した後の視線方向を表すベクトル量であり、θｉの関数となっている。前記の評価式のうち、ｍｉｎｉは、各ミラーのうちの一つだけを一定のトルクで回転させた場合の視線方向ｄの、ある時刻（前記の例ではｔ＝０）における加速度ノルムのなかで最も小さい値（最小値）を意味している。したがって、前記評価式全体では、各種パラメータを変更することにより、この最小値を最大化するという最適化を目標としている。ここで、最適化の際に変更されるパラメータの例としては、各ミラーの回転角、ミラー間距離、瞳位置、第３回転軸に対するパンミラーの傾きである。また、最適化においては、例えば既存の内点法を用いることができる（参考： H. Yamashita, "Approahing Large Sale Optimization byWay of Ative Set Method, Interior Point Method and Exterior Point Method," The Institute of Systems, Control and Information Engineers, Vol. 50, No. 9, pp. 332-337, 2006.）。
　ここで、評価式を用いた設計パラメータの探索は、さらに以下のステップＳＢ－２及びＳＢ－３における制約条件の範囲内で行われる。以下、さらに説明する。
　（図４のステップＳＢ－２）
　ここで、前記評価関数の算出においては、制約関数として、ミラー間衝突判定部６２が、以下の条件を付す。
Figure JPOXMLDOC01-appb-M000003
　ここで、ｃ１，２≦０になることを制約条件とする。この条件を付すことにより、前記した最適化（つまり各種のパラメータ選択）が、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１との間で衝突を生じないことを制約条件として行われることとなる。
　（図４のステップＳＢ－３）
　さらに、本実施形態における評価関数の算出においては、制約関数として、光線・ミラー間の衝突判定部６３が、さらに以下の条件を付す。
Figure JPOXMLDOC01-appb-M000004
　ここで、ｃ３≦０になることを制約条件とする。この条件を付すことにより、前記した最適化が、「チルト方向制御部１からパンミラー２１に向かった光線束が、パンミラー２１で反射された後に、第１チルトミラー１１あるいは第２チルトミラー１２に当たらないこと」を制約条件として行われることになる。なお、ここで、光線束は、視線よりも広い範囲に広がるもので、その広がりは、設計パラメータから算出可能である。また、ここでの光線束は、設計のための仮想のものである。本実施形態のカメラ１００に入射する光線束はパン方向制御部２からチルト方向制御部１の方向に進むが、設計上は、逆方向に光線束が進むと仮定しても問題ない。本実施形態の設計手法における各ステップは、コンピュータプログラムとして実装することにより実行可能である。
　（図４のステップＳＡ－３）
　ついで、出力部７が、最適化によって得られた設計条件（具体的には各パラメータ）を出力する。出力先としては、例えばプリンタやディスプレイであるが、コンピュータ上の記録媒体であってもよい。
　なお、本発明の内容は、前記各実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
　例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
　また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
　さらに、前記した実施形態においては、２枚のチルトミラーと１枚のパンミラーという、合計３枚のミラーを用いているが、それ以上の枚数のミラーを用いることは可能である。ただし、ミラーの数が少ないほど、制御は容易となる。

Claims (9)

  1. 　光学機器から対象物に向けられるべき視線方向を制御するための装置であって、
    　チルト方向制御部と、パン方向制御部とを備えており、
    　前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
    　前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
    　前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
    　前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
    　前記パン方向制御部は、パンミラーを備えており、
    　前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
    　かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
    　かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
    　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
    　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから前記対象物への前記視線方向のチルト角を制御できる構成となっており、
    　前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっている
    　視線方向制御装置。
  2. 　前記第１回転軸は、前記第１チルトミラーの法線ベクトルに対して垂直となる方向に延長されており、
    　前記第２回転軸は、前記第２チルトミラーの法線ベクトルに対して垂直となる方向に延長されている
    　請求項１に記載の視線方向制御装置。
  3. 　前記第１回転軸の位置は、前記第１チルトミラーに照射される光線束の中心に一致しており、
    　前記第２回転軸の位置は、前記第２チルトミラーに照射される光線束の中心に一致している
    　請求項１又は２に記載の視線方向制御装置。
  4. 　前記チルト方向制御部による前記視線方向の走査が可能な領域の中心は、前記第３回転軸の位置と一致させられている
    　請求項１～３のいずれか１項に記載の視線方向制御装置。
  5. 　さらに瞳転送光学系を備えており、
    　前記瞳転送光学系は、前記第１チルトミラー、前記第２チルトミラー及び前記パンミラーのいずれかの近傍に視線の瞳位置を転送する構成となっている
    　請求項１～４のいずれか１項に記載の視線方向制御装置。
  6. 　チルト方向制御部とパン方向制御部とを備える視線方向制御装置の設計方法であって、
    　前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
    　前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
    　前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
    　前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
    　前記パン方向制御部は、パンミラーを備えており、
    　前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
    　かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
    　かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
    　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
    　かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから対象物への前記視線方向のチルト角を制御できる構成となっており、
    　前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっており、
    　さらにこの設計方法は、以下のステップを備える：
    （ａ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーの形状を算出するステップ；
    （ｂ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについての評価関数を最適化することによって、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについての設計パラメータを探索するステップ、ここで、前記探索は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとの間で衝突を生じないことを制約条件として行われるものとなっている。
  7. 　前記制約条件は、前記チルト方向制御部から前記パンミラーに向かった視線が、前記パンミラーで反射された後に、前記第１チルトミラーあるいは前記第２チルトミラーに当たらないことをさらに含む
    　請求項６に記載の設計方法。
  8. 　前記ステップ（ｂ）で用いる評価関数は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについて得られる最小の加速度の最大値を求めるものである
    　請求項６又は７に記載の設計方法。
  9. 　請求項６～８のいずれか１項に記載の設計方法における各ステップをコンピュータに実行させるためのコンピュータプログラム。
PCT/JP2014/066788 2013-07-05 2014-06-25 視線方向制御装置 WO2015002041A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/902,996 US10481381B2 (en) 2013-07-05 2014-06-25 Line-of-sight direction control device
CN201480041619.5A CN105409199B (zh) 2013-07-05 2014-06-25 视线方向控制装置
EP14819639.7A EP3018890B1 (en) 2013-07-05 2014-06-25 Line-of-sight direction control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-141940 2013-07-05
JP2013141940A JP6080047B2 (ja) 2013-07-05 2013-07-05 視線方向制御装置

Publications (1)

Publication Number Publication Date
WO2015002041A1 true WO2015002041A1 (ja) 2015-01-08

Family

ID=52143619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066788 WO2015002041A1 (ja) 2013-07-05 2014-06-25 視線方向制御装置

Country Status (5)

Country Link
US (1) US10481381B2 (ja)
EP (1) EP3018890B1 (ja)
JP (1) JP6080047B2 (ja)
CN (1) CN105409199B (ja)
WO (1) WO2015002041A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609389A (zh) * 2019-10-11 2019-12-24 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448734B1 (ja) * 2017-09-22 2019-01-09 株式会社日立製作所 移動体撮像装置、および、移動体撮像方法
CN109597488B (zh) * 2018-12-12 2019-12-10 海南大学 空间展示平台角度距离主动适应方法
WO2020158727A1 (ja) * 2019-01-28 2020-08-06 国立大学法人 東京大学 システム、方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09164331A (ja) * 1995-12-18 1997-06-24 Sigma Koki Kk ２ビームトラッピング方法及び装置
JP2005323311A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 光空間通信システムとこのシステムに用いられる光送信装置、光受信装置及び光軸補正方法
US7804056B2 (en) 2005-09-27 2010-09-28 Ocular Robotics Pty Limited Energy signal processing system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3718761A (en) * 1968-03-27 1973-02-27 Hughes Aircraft Co Omnidirectional planar optical code reader
US5729016A (en) * 1994-04-12 1998-03-17 Hughes Aircraft Company Low cost night vision system for nonmilitary surface vehicles
US5619036A (en) * 1994-04-12 1997-04-08 Hughes Electronics Low cost night vision camera for vehicles and mounting thereof
US6327493B1 (en) * 1997-08-28 2001-12-04 Olympus Optical Co., Ltd. Light scanning devices of a water-tight structure to be inserted into a body cavity to obtain optical information on inside of a biological tissue
US6245590B1 (en) * 1999-08-05 2001-06-12 Microvision Inc. Frequency tunable resonant scanner and method of making
CN100336635C (zh) * 2004-07-15 2007-09-12 中国科学院自动化研究所 一种五自由度立体视觉监控装置
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
CN102288106B (zh) * 2010-06-18 2013-03-27 合肥工业大学 大空间视觉跟踪6d测量系统及测量方法
CN102510412A (zh) * 2011-12-31 2012-06-20 河南辉煌科技股份有限公司 云镜调用方法
EP2856240A4 (en) * 2012-04-26 2016-03-02 Neptec Design Group Ltd LIDAR HEAD FOR HIGH-SPEED 360 DEGREE SCAN

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09164331A (ja) * 1995-12-18 1997-06-24 Sigma Koki Kk ２ビームトラッピング方法及び装置
JP2005323311A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 光空間通信システムとこのシステムに用いられる光送信装置、光受信装置及び光軸補正方法
US7804056B2 (en) 2005-09-27 2010-09-28 Ocular Robotics Pty Limited Energy signal processing system

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
H. YAMASHITA: "Approaching Large Sale Optimization by Way of Active Set Method, Interior Point Method and Exterior Point Method", THE INSTITUTE OF SYSTEMS, CONTROL AND INFORMATION ENGINEERS, vol. 50, no. 9, 2006, pages 332 - 337
J. ALOIMONOS; I. WEISS; A. BANDYOPADHYAY: "Active Vision", INT'L JOURNAL OF COMPUTER VISION, vol. 1, no. 4, 1988, pages 33 - 356
K. OKUMURA; H. OKU; M. ISHIKAWA: "High-Speed Gaze Controller for Millisecond-order Pan/tilt Camera", PROC. OF IEEE INT' 1 CONF. ON ROBOTICS AND AUTOMATION, 2011, pages 6186 - 6191, XP032033903, DOI: doi:10.1109/ICRA.2011.5980080
KOHEI OKUMURA ET AL.: "Optical Gaze Control System to Realize More High-speed Active Vision", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 29, no. 2, 15 March 2011 (2011-03-15), pages 79 - 89, XP055304930 *
KOHEI OKUMURA ET AL.: "Visual Measurement of A High-speed Flying Object using Saccade Mirror and Image Processing", THE ROBOTICS AND MECHATRONICS CONFERENCE '11 KOEN RONBUNSHU, 26 May 2011 (2011-05-26), pages 1993 - 1996, XP008182606 *
See also references of EP3018890A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609389A (zh) * 2019-10-11 2019-12-24 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示系统
CN110609389B (zh) * 2019-10-11 2022-01-04 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示器

Also Published As

Publication number Publication date
EP3018890A4 (en) 2016-11-23
EP3018890B1 (en) 2018-10-31
CN105409199A (zh) 2016-03-16
US20160161734A1 (en) 2016-06-09
JP6080047B2 (ja) 2017-02-15
EP3018890A1 (en) 2016-05-11
US10481381B2 (en) 2019-11-19
CN105409199B (zh) 2018-07-06
JP2015014731A (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
US11513511B2 (en) Techniques for image recognition-based aerial vehicle navigation
JP5955449B2 (ja) ビーム・ステアリング素子のフィードフォアワード・コマンドを補助するアーキテクチャ
WO2015002041A1 (ja) 視線方向制御装置
EP3234686B1 (en) Imaging lens with image-stabilization
Okumura et al. Lumipen: Projection-based mixed reality for dynamic objects
WO2014181726A1 (ja) 背景差分抽出装置及び背景差分抽出方法
US11789467B2 (en) Method, apparatus, terminal, and storage medium for elevation surrounding flight control
JP6089233B1 (ja) プロジェクタシステム
US10356331B2 (en) Adaptive camera field-of-view
WO2023240918A1 (zh) 显示画面补偿方法、装置、电子设备及存储介质
US20230060453A1 (en) Electronic device and operation method thereof
JP2015179019A (ja) 光軸指向装置
US11800205B2 (en) Fast foveation camera and controlling algorithms
US11157072B1 (en) Direct retinal projector
JP6450226B2 (ja) カメラ制御装置及びそのプログラム
WO2022057043A1 (zh) 一种目标跟踪动向投影方法和动向投影设备
US9860452B2 (en) Usage of first camera to determine parameter for action associated with second camera
WO2022133732A1 (zh) 云台的检测方法、装置、可移动平台和存储介质
JP2013047760A (ja) 指示位置表示装置および指示位置表示システム
Hirano et al. Falcon: A Wide-and-Deep Onboard Active Vision System
KR20190020902A (ko) 헤드업 디스플레이 장치 및 방법
JP2022096296A (ja) ロボティックスカメラワークシステム
JP2021131429A (ja) 防振光学装置
WO2019058576A1 (ja) 移動体撮像装置、および、移動体撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480041619.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14819639

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014819639

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14902996

Country of ref document: US