WO2018155280A1 - Surroundings monitoring system - Google Patents

Surroundings monitoring system Download PDF

Info

Publication number
WO2018155280A1
WO2018155280A1 PCT/JP2018/005066 JP2018005066W WO2018155280A1 WO 2018155280 A1 WO2018155280 A1 WO 2018155280A1 JP 2018005066 W JP2018005066 W JP 2018005066W WO 2018155280 A1 WO2018155280 A1 WO 2018155280A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
moving body
image
monitoring system
periphery monitoring
Prior art date
Application number
PCT/JP2018/005066
Other languages
French (fr)
Japanese (ja)
Inventor
須永 敏弘
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2018155280A1 publication Critical patent/WO2018155280A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure provides a periphery monitoring system that can obtain a detailed image in a wide range with few blind spots with as few cameras as possible.
  • the first camera 11 may be a so-called electronic mirror camera.
  • the posture of the first camera 11 is determined so that it is possible to photograph at least a scene in a range to be photographed, which is determined by laws and regulations, for example.
  • the range to be photographed is a lateral width of 1 m from the side of the moving body 15 from the side of the moving body 15 at a position 4 m (meters) behind the driver on the ground, and 20 m or more behind the driver. Is a range including the outer width 4 m from the side surface of the moving body 15 (see the shaded portion).
  • the range to be photographed is a range that monotonously increases from the position 4 m behind to the position 20 m behind the driver.
  • the second camera 12 has a second lens and an image sensor.
  • the second lens is formed to have desired optical characteristics relating to, for example, the depth of focus and the angle of view.
  • the second lens forms a subject image on the image sensor.
  • the image sensor is an image sensor such as a CCD image sensor or a CMOS image sensor.
  • the second camera 12 images the subject of the second lens in the second object-oriented optical axis direction oxd2.
  • the second camera 12 outputs a second image generated by imaging to the controller 13.
  • the second lens has an angle of view in the left-right direction in the moving body 15 that can image the outer surface of the moving body 15 in the left-right direction of the moving body 15.
  • the blind spot bs that is out of the respective imaging ranges of the first camera 11 and the second camera 12 is longer than the length corresponding to one lane from the outer surface of the moving body 15. It has an angle of view in the left-right direction that occurs from a distant position.
  • the blind spot bs is separated from the moving body 15 by 3.75 m or more in the left-right direction. This 3.75 m is based on a value obtained by adding 0.25 m described in the proviso to the width of the first-class first-class lane based on Article 5, Paragraph 4 of the Road Structure Ordinance established by the Japanese Cabinet.
  • the first object-oriented optical axis direction oxd1 of the first lens is in the same direction as the direction from the first camera 11 toward the second camera 12.
  • the periphery monitoring system 10 includes the first camera 11 and the second camera component in such a manner that the second object-oriented optical axis direction oxd2 of the second lens includes a direction component opposite to the direction component.
  • the imaging ranges of the first camera 11 and the second camera 12 can be overlapped without applying an ultra-wide-angle lens such as a fisheye lens that makes it difficult to acquire a detailed image to the camera 12. Therefore, in the periphery monitoring system 10, a detailed image can be obtained in a wide range with few blind spots.

Abstract

This surroundings monitoring system 10 has a first camera 11 and a second camera 12. The first camera 11 has a first lens. The second camera 12 is disposed at a position away from the first camera 11. The second camera 12 has a second lens. The optical axis direction, toward a first object, of the first lens includes a directional component in a direction that is identical to the direction from the first camera 11 toward the second camera 12. The optical axis direction, toward a second object, of the second lens includes a directional component that is in the opposite direction to said directional component.

Description

周辺監視システムPerimeter monitoring system 関連出願の相互参照Cross-reference of related applications
 本出願は、2017年2月24日に日本国に特許出願された特願2017-034010の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。 This application claims the priority of Japanese Patent Application No. 2017-0334010 filed in Japan on February 24, 2017, the entire disclosure of which is incorporated herein by reference.
 本発明は、周辺監視システムに関するものである。 The present invention relates to a perimeter monitoring system.
 車両等の移動体に搭載され、移動体の周辺をカメラで監視する監視システムが知られている。監視システムには、死角が少なくかつ広範囲の周辺監視を、出来るだけ少ないカメラで実行することが求められている。従来の監視システムでは、魚眼レンズのような超広角レンズを用いて周辺を撮像している。超広角レンズを用いると光軸から離れる程画像が歪むので、歪みを補正する処理が行われる(特許文献1参照)。 A monitoring system that is mounted on a moving body such as a vehicle and monitors the periphery of the moving body with a camera is known. Surveillance systems are required to perform a wide range of peripheral monitoring with as few cameras as possible with a small number of blind spots. In the conventional monitoring system, the periphery is imaged using an ultra-wide angle lens such as a fisheye lens. When an ultra-wide-angle lens is used, the image is distorted as the distance from the optical axis is increased, so that a process for correcting the distortion is performed (see Patent Document 1).
特開2009-017169号公報JP 2009-0117169 A
 しかし、歪みが大きくなると被写体の解像度が低く、歪の補正を行ったとしても要求される詳細な画像を得ることが困難であった。 However, when the distortion increases, the resolution of the subject is low, and it is difficult to obtain the required detailed image even if the distortion is corrected.
 本開示は、できるだけ少ないカメラで、死角が少なく且つ広範囲に詳細な画像が得られる周辺監視システムを提供する。 This disclosure provides a periphery monitoring system that can obtain a detailed image in a wide range with few blind spots with as few cameras as possible.
 第1の観点による周辺監視システムは、
 第1のレンズを有する第1のカメラと、
 前記第1のカメラと離れて位置し、第2のレンズを有する第2のカメラと、を備え、
 前記第1のレンズの第1の物体向き光軸方向が前記第1のカメラから前記第2のカメラに向かう方向と同じ向きの方向成分を含み、
 前記第2のレンズの第2の物体向き光軸方向が該方向成分と逆向きの方向成分を含む。
The peripheral monitoring system according to the first aspect is
A first camera having a first lens;
A second camera located away from the first camera and having a second lens;
The first object-oriented optical axis direction of the first lens includes a direction component in the same direction as the direction from the first camera toward the second camera;
The second object-oriented optical axis direction of the second lens includes a direction component opposite to the direction component.
 本開示に係る周辺監視システムによれば、できるだけ少ないカメラで、死角が少なくかつ広範囲に詳細な画像が得られる。 According to the periphery monitoring system according to the present disclosure, it is possible to obtain a detailed image in a wide range with few blind spots with as few cameras as possible.
一実施形態に係る周辺監視システムの概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the periphery monitoring system which concerns on one Embodiment. 図1の周辺監視システムが取付けられた移動体の概略的な平面図である。FIG. 2 is a schematic plan view of a moving body to which the periphery monitoring system of FIG. 1 is attached. 図1の周辺監視システムが取付けられた移動体の概略的な側面図である。It is a schematic side view of the moving body to which the periphery monitoring system of FIG. 1 is attached. 図1の周辺監視システムによる移動体の左右方向の撮像範囲を示す図である。It is a figure which shows the imaging range of the left-right direction of the moving body by the periphery monitoring system of FIG. 図1の周辺監視システムによる移動体の上下方向の撮像範囲を示す図である。It is a figure which shows the imaging range of the up-down direction of the moving body by the periphery monitoring system of FIG. 図1における第1のカメラを電子ミラーとして適用した構成において移動体の左右方向の撮像範囲として満たすべき条件を示す図である。It is a figure which shows the conditions which should be satisfy | filled as the imaging range of the left-right direction of a moving body in the structure which applied the 1st camera in FIG. 1 as an electronic mirror. 図1における第1のカメラが撮像した第1の画像における歪みを補正する領域を説明するための図である。It is a figure for demonstrating the area | region which correct | amends the distortion in the 1st image which the 1st camera in FIG. 1 imaged. 図1における第2のカメラが撮像した第2の画像における歪みを補正する領域を説明するための図である。It is a figure for demonstrating the area | region which correct | amends the distortion in the 2nd image which the 2nd camera in FIG. 1 imaged. 図1におけるコントローラが実行する歪補正処理を説明するためのフローチャートである。It is a flowchart for demonstrating the distortion correction process which the controller in FIG. 1 performs.
 以下、本開示の複数の実施形態について、図面を参照して説明する。 Hereinafter, a plurality of embodiments of the present disclosure will be described with reference to the drawings.
 図1に示すように、周辺監視システム10は、第1のカメラ11、第2のカメラ12、およびコントローラ13を含む。周辺監視システム10は、移動体15の周辺を監視する。周辺監視システム10では、第1のカメラ11および第2のカメラ12の少なくとも一方が撮像によりそれぞれ生成した第1の画像および第2の画像に基づく表示画像をコントローラ13が生成し、外部機器14に伝達する。第1のカメラ11、第2のカメラ12、および外部機器14と、コントローラ13とは専用線又はCAN(Controller Area Network)などのネットワークを介して情報及び信号を伝達可能である。 As shown in FIG. 1, the periphery monitoring system 10 includes a first camera 11, a second camera 12, and a controller 13. The periphery monitoring system 10 monitors the periphery of the moving body 15. In the periphery monitoring system 10, the controller 13 generates a display image based on the first image and the second image generated by imaging by at least one of the first camera 11 and the second camera 12, and sends the display image to the external device 14. introduce. The first camera 11, the second camera 12, the external device 14, and the controller 13 can transmit information and signals through a dedicated line or a network such as a CAN (Controller Area Network).
 図2に示すように、第1のカメラ11および第2のカメラ12は、移動体15の外部に設けられる。 As shown in FIG. 2, the first camera 11 and the second camera 12 are provided outside the moving body 15.
 本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモータを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。 “Moving object” in the present disclosure includes vehicles, ships, and aircraft. The “vehicle” in the present disclosure includes, but is not limited to, an automobile, a railway vehicle, an industrial vehicle, and a living vehicle. For example, the vehicle may include an airplane traveling on a runway. The automobile includes, but is not limited to, a passenger car, a truck, a bus, a two-wheeled vehicle, a trolley bus, and the like, and may include other vehicles that travel on the road. Rail vehicles include, but are not limited to, locomotives, freight cars, passenger cars, trams, guided railroads, ropeways, cable cars, linear motor cars, and monorails, and may include other vehicles that travel along the track. Industrial vehicles include industrial vehicles for agriculture and construction. Industrial vehicles include but are not limited to forklifts and golf carts. Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers. Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers. Living vehicles include, but are not limited to, bicycles, wheelchairs, baby carriages, wheelbarrows, and electric standing and riding motorcycles. Vehicle power engines include, but are not limited to, internal combustion engines including diesel engines, gasoline engines, and hydrogen engines, and electric engines including motors. Vehicles include those that travel by human power. The vehicle classification is not limited to the above. For example, an automobile may include an industrial vehicle capable of traveling on a road, and the same vehicle may be included in a plurality of classifications.
 第1のカメラ11および第2のカメラ12は、例えば、移動体15の左側方および右側方の少なくとも一方に位置する。なお、第1のカメラ11および第2のカメラ12は、移動体15の前方および後方の少なくとも一方に設けてよい。第1のカメラ11および第2のカメラ12は、互いに離れて位置する。 The first camera 11 and the second camera 12 are located on at least one of the left side and the right side of the moving body 15, for example. The first camera 11 and the second camera 12 may be provided at least one of the front and rear of the moving body 15. The first camera 11 and the second camera 12 are located away from each other.
 第1のカメラ11は、例えば、移動体15において第2のカメラ12より前方に位置する。図3に示すように、第1のカメラ11は、少なくとも移動体15の後輪のホイールアーチ16の前縁より前方に位置する。本実施形態においては、第1のカメラ11は、移動体15の前側のドアのドアウインドウの前端近傍に位置する。 For example, the first camera 11 is positioned in front of the second camera 12 in the moving body 15. As shown in FIG. 3, the first camera 11 is positioned forward of at least the front edge of the wheel arch 16 of the rear wheel of the moving body 15. In the present embodiment, the first camera 11 is located near the front end of the door window of the door on the front side of the moving body 15.
 第1のカメラ11は、第1のレンズおよび撮像素子を有する。第1のレンズは、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。第1のレンズは被写体像を撮像素子に結像させる。撮像素子はCCD(Charge Coupled Device)イメージセンサおよびCMOS(Complementary MOS)イメージセンサなどのイメージセンサである。第1のカメラ11は、第1のレンズの第1の物体向き光軸方向oxd1の被写体を撮像する。第1のカメラ11は、撮像により生成した第1の画像をコントローラ13に出力する。 The first camera 11 has a first lens and an image sensor. The first lens is formed to have desired optical characteristics relating to, for example, the depth of focus and the angle of view. The first lens forms a subject image on the image sensor. The image sensor is an image sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor. The first camera 11 images the subject of the first lens in the first object-oriented optical axis direction oxd1. The first camera 11 outputs a first image generated by imaging to the controller 13.
 第1の物体向き光軸方向oxd1は、第2のカメラ12の方向に向いている。詳細に説明すると、第1の物体向き光軸方向oxd1は、第1のカメラ11から第2のカメラ12に向かう方向d12と同じ向きの方向成分を含む。例えば、第1の物体向き光軸方向oxd1に含まれる、第1のカメラ11から第2のカメラ12に向かう方向d12と同じ向きの方向成分は、移動体15の前後方向の方向成分を含む。第1のカメラ11から第2のカメラ12に向かう方向d12とは、例えば、第1のカメラ11の第1のレンズの前側節点から第2のカメラ12の第2のレンズの前側節点に向かう方向である。 The first object-oriented optical axis direction oxd1 is in the direction of the second camera 12. More specifically, the first object-oriented optical axis direction oxd1 includes a direction component in the same direction as the direction d12 from the first camera 11 toward the second camera 12. For example, the direction component in the same direction as the direction d12 from the first camera 11 toward the second camera 12 included in the first object-oriented optical axis direction oxd1 includes a direction component in the front-rear direction of the moving body 15. The direction d12 from the first camera 11 toward the second camera 12 is, for example, a direction from the front node of the first lens of the first camera 11 toward the front node of the second lens of the second camera 12. It is.
 第1の物体向き光軸方向oxd1は、移動体15の上下方向に傾斜していてよい、詳細に説明すると、第1の物体向き光軸方向oxd1は、移動体15の上下方向に沿った方向成分を含む。または、第1の物体向き光軸方向oxd1は、傾斜せず水平であってよい。第1の実施形態においては、第1の物体向き光軸方向oxd1は、移動体15の下方向に傾斜しており、移動体15の上下方向の下向きの方向成分を含む。 The first object-oriented optical axis direction oxd1 may be inclined in the vertical direction of the moving body 15. More specifically, the first object-oriented optical axis direction oxd1 is a direction along the vertical direction of the moving body 15. Contains ingredients. Alternatively, the first object-oriented optical axis direction oxd1 may be horizontal without being inclined. In the first embodiment, the first object-oriented optical axis direction oxd1 is inclined downward in the moving body 15 and includes a downward direction component in the vertical direction of the moving body 15.
 図2に示すように、第1の物体向き光軸方向oxd1は、移動体15の左右方向の移動体15の外面から離れる方向に傾斜していてよい。詳細に説明すると、第1の物体向き光軸方向oxd1は、移動体15の左右方向に沿った、移動体15の表面から離れる方向の方向成分を含む。または第1の物体向き光軸方向oxd1は、傾斜せずに前後方向に平行であってよい。 2, the first object-oriented optical axis direction oxd1 may be inclined in a direction away from the outer surface of the moving body 15 in the left-right direction of the moving body 15. More specifically, the first object-oriented optical axis direction oxd1 includes a directional component in a direction away from the surface of the moving body 15 along the left-right direction of the moving body 15. Alternatively, the first object-oriented optical axis direction oxd1 may be parallel to the front-rear direction without being inclined.
 図4に示すように、第1のレンズは、移動体15の左右方向において、移動体15の外面を撮像可能な、移動体15における左右方向の画角を有する。また、後述するように、第2のカメラ12が有する第2のレンズの撮影可能な範囲と関連した、左右方向の画角を有する。 As shown in FIG. 4, the first lens has an angle of view in the left-right direction in the moving body 15 that can image the outer surface of the moving body 15 in the left-right direction of the moving body 15. Further, as will be described later, the field angle in the left-right direction is related to the range in which the second lens of the second camera 12 can shoot.
 図5に示すように、第1のレンズは、移動体15の最後端において移動体15の屋根の高さが撮像範囲に含まれるような、移動体15における上下方向の画角を有する。また、第1のレンズは、移動体15の後輪のホイールアーチ16を含む範囲を撮像可能な、または第1のレンズの画角により画定される光軸を含む空間内に移動体15の後輪を存在させる、移動体15における上下方向の画角を少なくとも有する。または、第1のレンズは、移動体15の前後方向における第1のカメラ11および第2のカメラ12の間の路面を撮像可能な画角を有してよい。 As shown in FIG. 5, the first lens has a vertical angle of view on the moving body 15 such that the height of the roof of the moving body 15 is included in the imaging range at the end of the moving body 15. In addition, the first lens can capture the range including the wheel arch 16 of the rear wheel of the moving body 15 or the rear of the moving body 15 in a space including the optical axis defined by the angle of view of the first lens. It has at least a vertical angle of view in the moving body 15 in which a ring exists. Alternatively, the first lens may have an angle of view capable of capturing an image of the road surface between the first camera 11 and the second camera 12 in the front-rear direction of the moving body 15.
 一例として、第1のカメラ11は、所謂電子ミラー用のカメラであってよい。第1のカメラ11は、例えば、法令などにより定められる、撮影すべき範囲の光景を少なくとも撮影可能となるように姿勢が定められている。例えば、図6に示すように、撮影すべき範囲は、地上において運転者から後方4m(メートル)の位置において移動体15側面から移動体15の外方幅1mで、運転者から後方20m以上後方の位置において移動体15側面から外方幅4mを含む範囲(網掛け部分参照)である。撮影すべき範囲は、運転者から後方4mの位置から後方20mの位置までの間で、単調に増加する範囲である。 As an example, the first camera 11 may be a so-called electronic mirror camera. The posture of the first camera 11 is determined so that it is possible to photograph at least a scene in a range to be photographed, which is determined by laws and regulations, for example. For example, as shown in FIG. 6, the range to be photographed is a lateral width of 1 m from the side of the moving body 15 from the side of the moving body 15 at a position 4 m (meters) behind the driver on the ground, and 20 m or more behind the driver. Is a range including the outer width 4 m from the side surface of the moving body 15 (see the shaded portion). The range to be photographed is a range that monotonously increases from the position 4 m behind to the position 20 m behind the driver.
 第2のカメラ12は、例えば、移動体15において第1のカメラ11より後方に位置する。図3に示すように、第2のカメラ12は、少なくとも移動体15の前輪のホイールアーチ17の後端より後方に位置する。本実施形態においては、第2のカメラ12は、移動体15のリアピラーに位置する。 For example, the second camera 12 is located behind the first camera 11 in the moving body 15. As shown in FIG. 3, the second camera 12 is positioned behind the rear end of the wheel arch 17 of at least the front wheel of the moving body 15. In the present embodiment, the second camera 12 is located on the rear pillar of the moving body 15.
 第2のカメラ12は、第2のレンズおよび撮像素子を有する。第2のレンズは、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。第2のレンズは被写体像を撮像素子に結像させる。撮像素子はCCDイメージセンサおよびCMOSイメージセンサなどのイメージセンサである。第2のカメラ12は、第2のレンズの第2の物体向き光軸方向oxd2の被写体を撮像する。第2のカメラ12は、撮像により生成した第2の画像をコントローラ13に出力する。 The second camera 12 has a second lens and an image sensor. The second lens is formed to have desired optical characteristics relating to, for example, the depth of focus and the angle of view. The second lens forms a subject image on the image sensor. The image sensor is an image sensor such as a CCD image sensor or a CMOS image sensor. The second camera 12 images the subject of the second lens in the second object-oriented optical axis direction oxd2. The second camera 12 outputs a second image generated by imaging to the controller 13.
 第2の物体向き光軸方向oxd2は、第1のカメラ11の方向に向いている。したがって、第2の物体向き光軸方向oxd2と、第1の物体向き光軸方向oxd1とが向き合っている。詳細に説明すると、第2の物体向き光軸方向oxd2は、第1のカメラ11から第2のカメラ12に向かう方向d12とは逆向きの方向成分を含む。例えば、第2の物体向き光軸方向oxd2は、移動体15の前後方向において第1の物体向き光軸方向oxd1と逆を向いている。 The second object-oriented optical axis direction oxd2 faces the direction of the first camera 11. Therefore, the second object-oriented optical axis direction oxd2 and the first object-oriented optical axis direction oxd1 face each other. More specifically, the second object-oriented optical axis direction oxd2 includes a direction component opposite to the direction d12 from the first camera 11 toward the second camera 12. For example, the second object-oriented optical axis direction oxd <b> 2 is opposite to the first object-oriented optical axis direction oxd <b> 1 in the front-rear direction of the moving body 15.
 第2の物体向き光軸方向oxd2は、移動体15の上下方向に沿って第1の物体向き光軸方向oxd1と同じ方向に傾斜していてよい、詳細に説明すると、第1の物体向き光軸方向oxd1および第2の物体向き光軸方向oxd2は、移動体15の上下方向に沿った同じ向きの方向成分を含む。または、第2の物体向き光軸方向oxd2は、傾斜せず水平であってよい。第1の実施形態においては、第2の物体向き光軸方向oxd2は、移動体15の下方向に傾斜しており、移動体15の上下方向の下向きの方向成分を含む。 The second object-oriented optical axis direction oxd2 may be inclined in the same direction as the first object-oriented optical axis direction oxd1 along the vertical direction of the moving body 15. More specifically, the first object-oriented light The axial direction oxd1 and the second object-oriented optical axis direction oxd2 include direction components in the same direction along the vertical direction of the moving body 15. Alternatively, the second object-oriented optical axis direction oxd2 may be horizontal without being inclined. In the first embodiment, the second object-oriented optical axis direction oxd2 is inclined downward in the moving body 15 and includes a downward direction component in the vertical direction of the moving body 15.
 図2に示すように、第2の物体向き光軸方向oxd2は、移動体15の左右方向に沿って第1の物体向き光軸方向oxd1と同じ方向に傾斜してよい。詳細に説明すると、第1の物体向き光軸方向oxd1および第2の物体向き光軸方向oxd2は、移動体15の左右方向に沿った同じ向きの方向成分を含む。または第2の物体向き光軸方向oxd2は、傾斜せずに前後方向に平行であってよい。 As shown in FIG. 2, the second object-oriented optical axis direction oxd2 may be inclined in the same direction as the first object-oriented optical axis direction oxd1 along the left-right direction of the moving body 15. More specifically, the first object-oriented optical axis direction oxd1 and the second object-oriented optical axis direction oxd2 include direction components in the same direction along the left-right direction of the moving body 15. Alternatively, the second object-oriented optical axis direction oxd2 may be parallel to the front-rear direction without being inclined.
 図4に示すように、第2のレンズは、移動体15の左右方向において、移動体15の外面を撮像可能な、移動体15における左右方向の画角を有する。また、第1のレンズおよび第2のレンズは、第1のカメラ11および第2のカメラ12のそれぞれの撮影範囲から外れる死角bsが、移動体15の外表面から1車線に相当する長さ以上離れた位置から発生するような、左右方向の画角を有する。一例において、死角bsは、移動体15から左右方向に3.75m以上離れている。この3.75mは、日本国の内閣が制定する道路構造令第5条第4項に基づく、第1種第1級における車線の幅員にただし書きに記載の0.25mを加えた値に基づく。 As shown in FIG. 4, the second lens has an angle of view in the left-right direction in the moving body 15 that can image the outer surface of the moving body 15 in the left-right direction of the moving body 15. Further, in the first lens and the second lens, the blind spot bs that is out of the respective imaging ranges of the first camera 11 and the second camera 12 is longer than the length corresponding to one lane from the outer surface of the moving body 15. It has an angle of view in the left-right direction that occurs from a distant position. In one example, the blind spot bs is separated from the moving body 15 by 3.75 m or more in the left-right direction. This 3.75 m is based on a value obtained by adding 0.25 m described in the proviso to the width of the first-class first-class lane based on Article 5, Paragraph 4 of the Road Structure Ordinance established by the Japanese Cabinet.
 図5に示すように、第2のレンズは、移動体15の前輪のホイールアーチ17含む範囲を撮像可能な、移動体15における上下方向の画角を少なくとも有する。または、第2のレンズは、第1のカメラ11および第2のカメラ12が、移動体15の前後方向における第1のカメラ11および第2のカメラ12の間同じ位置の路面を撮像可能な画角を有してよい。また、第2のレンズは、第2のカメラ12より移動体15の上下方向における上方を撮像可能な、移動体15における上下方向の画角を有する。 As shown in FIG. 5, the second lens has at least a vertical angle of view in the moving body 15 that can capture an area including the wheel arch 17 of the front wheel of the moving body 15. Alternatively, the second lens is an image in which the first camera 11 and the second camera 12 can capture the road surface at the same position between the first camera 11 and the second camera 12 in the front-rear direction of the moving body 15. It may have corners. In addition, the second lens has an angle of view in the vertical direction of the moving body 15 that can capture an image of the upper side of the moving body 15 in the vertical direction from the second camera 12.
 図1に示す、コントローラ13は、1又は複数のプロセッサを含む。コントローラ13は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれる。PLDには、FPGA(Field-Programmable Gate Array)が含まれる。コントローラ13は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。コントローラ13が複数のプロセッサを含む構成では、第1のカメラ11および第2のカメラ12の少なくとも一方は、プロセッサの一部を含みうる。第1のカメラ11に含まれるプロセッサは、コントローラ13が有する機能の一部を実行しうる。第2のカメラ12に含まれるプロセッサは、コントローラ13が有する機能の一部を実行しうる。 The controller 13 shown in FIG. 1 includes one or more processors. The controller 13 may include one or a plurality of memories that store programs for various processes and information being calculated. The memory includes volatile memory and nonvolatile memory. The memory includes a memory independent of the processor and a built-in memory of the processor. The processor includes a general-purpose processor that reads a specific program and executes a specific function, and a dedicated processor specialized for a specific process. The dedicated processor includes an application specific integrated circuit (ASIC) (ASIC: Application Specific Integrated Circuit). The processor includes a programmable logic device (PLD; Programmable Logic Device). PLD includes FPGA (Field-Programmable Gate Array). The controller 13 may be one of SoC (System on a Chip) and SiP (System In a Package) in which one or a plurality of processors cooperate. In a configuration in which the controller 13 includes a plurality of processors, at least one of the first camera 11 and the second camera 12 may include a part of the processor. The processor included in the first camera 11 can execute some of the functions of the controller 13. The processor included in the second camera 12 can execute some of the functions of the controller 13.
 コントローラ13は、第1のカメラ11および第2のカメラ12それぞれが撮像した第1の画像および第2の画像を取得する。また、コントローラ13は、例えばECU(Electronic Control Unit)などから、移動体15の挙動に関する情報を取得する。挙動に関する情報は、例えば、方向指示器の点滅を指令する情報、移動体15がリバースギアの状態であることを示す情報、およびステアリングホイールの舵角に関する情報などである。 The controller 13 acquires a first image and a second image captured by the first camera 11 and the second camera 12, respectively. Moreover, the controller 13 acquires the information regarding the behavior of the moving body 15 from ECU (Electronic Control Unit) etc., for example. The information related to the behavior includes, for example, information that commands blinking of the direction indicator, information indicating that the moving body 15 is in the reverse gear state, and information related to the steering angle of the steering wheel.
 コントローラ13は、第1の画像および第2の画像に所定の画像処理を施して、表示画像を生成する。所定の画像処理は、ホワイトバランス調整、γ補正、色補間、輪郭強調、電子ズーム、シャープネス処理、および超解像処理などを含んでよい。 The controller 13 performs predetermined image processing on the first image and the second image to generate a display image. The predetermined image processing may include white balance adjustment, γ correction, color interpolation, edge enhancement, electronic zoom, sharpness processing, super-resolution processing, and the like.
 さらに、コントローラ13は、移動体15の挙動に基づいて、第1の画像および第2の画像の少なくとも一方の歪みを補正する。 Further, the controller 13 corrects the distortion of at least one of the first image and the second image based on the behavior of the moving body 15.
 コントローラ13は、挙動に関する情報に基づいて、移動体15の挙動が側方への移動の準備中であるか否かを判別する。例えば、コントローラ13は、方向指示器の点滅を指令する情報を挙動に関する情報として取得するとき、移動体15が側方へ移動の準備中であると判別する。 The controller 13 determines whether or not the behavior of the moving body 15 is being prepared for lateral movement based on the information regarding the behavior. For example, the controller 13 determines that the moving body 15 is preparing to move to the side when acquiring information for instructing blinking of the direction indicator as information related to the behavior.
 コントローラ13は、移動体15の挙動が側方への移動の準備中であると判別するとき、第1の画像の後方確認領域の画像を、移動体15における前から後に正視した画像に変換するよう補正する。また、コントローラ13は、移動体15が側方への移動の準備中であると判別するとき、第2の画像の側方確認領域の画像を、移動体15から側方を正視した、画像に変換するよう補正する。さらに、コントローラ13は、移動体15が側方への移動の準備中であると判別するとき、第2の画像の前方確認領域の画像を、移動体15における後から前に正視した画像に変換するように補正する。コントローラ13は、画像の視点変換を、変換テーブルを用いた座標変換によって実行しうる。コントローラ13は、補正した画像を外部機器14に送信する。 When the controller 13 determines that the behavior of the moving body 15 is in preparation for lateral movement, the controller 13 converts the image in the rear confirmation area of the first image into an image viewed from the front to the rear in the moving body 15. Correct as follows. In addition, when the controller 13 determines that the moving body 15 is preparing to move to the side, the image of the side confirmation area of the second image is converted into an image obtained by looking at the side from the moving body 15. Correct to convert. Further, when the controller 13 determines that the moving body 15 is preparing to move sideways, the controller 13 converts the image in the front confirmation area of the second image into an image viewed from the back to the front in the moving body 15. Correct as follows. The controller 13 can execute viewpoint conversion of an image by coordinate conversion using a conversion table. The controller 13 transmits the corrected image to the external device 14.
 第1の画像の後方確認領域rcaとは、例えば、移動体15が存在する位置に隣接する車線上における車両などの物体の正面の描画が想定される領域である。当該後方確認領域rcaは、第1のカメラ11の取付け位置および姿勢ならびに第1のカメラ11の画角などに基づいて定められる。上述のような第1のカメラ11の構成および移動体15への取付け姿勢において、当該後方確認領域rcaは、例えば、図7に示すように、第1の画像im1上において第1のレンズの光軸に対応する点oxp1よりも移動体15側を含む領域である。第1の画像im1の後方確認領域rcaは、第1の画像im1の全領域としうる。 The rear confirmation area rca of the first image is an area in which, for example, a front drawing of an object such as a vehicle on a lane adjacent to the position where the moving body 15 exists is assumed. The rear confirmation area rca is determined based on the mounting position and posture of the first camera 11, the angle of view of the first camera 11, and the like. In the configuration of the first camera 11 and the mounting posture to the moving body 15 as described above, the rear confirmation region rca is, for example, as shown in FIG. 7, the light of the first lens on the first image im1. This is a region including the moving body 15 side from the point oxp1 corresponding to the axis. The backward confirmation area rca of the first image im1 can be the entire area of the first image im1.
 第2の画像の側方確認領域scaとは、例えば、移動体15が存在する位置に隣接する車線上の車両などの物体の側面、および移動体15が左折または右折する道路上における車両などの物体の正面の描画が想定される領域である。当該側方確認領域scaは、第2のカメラ12の取付け位置および姿勢ならびに第2のカメラ12の画角などに基づいて定められる。上述のような第2のカメラ12の構成および移動体15への取付け姿勢において、当該側方確認領域scaは、例えば、図8に示すように、第2の画像im2上において第2のレンズの光軸に対応する点oxp2より移動体15から離れる側を含む領域である。第2の画像im2の側方確認領域scaは、第2の画像im2の全領域としうる。 The side confirmation area sca of the second image is, for example, a side surface of an object such as a vehicle on a lane adjacent to a position where the moving body 15 exists, and a vehicle on a road on which the moving body 15 turns left or right. This is an area where the front of the object is supposed to be drawn. The side confirmation area sca is determined based on the mounting position and posture of the second camera 12, the angle of view of the second camera 12, and the like. In the configuration of the second camera 12 and the mounting posture to the moving body 15 as described above, the side confirmation region sca is, for example, as shown in FIG. 8, the second lens im on the second image im2. This is a region including the side away from the moving body 15 from the point oxp2 corresponding to the optical axis. The side confirmation area sca of the second image im2 may be the entire area of the second image im2.
 第2の画像im2の前方確認領域fcaとは、例えば、移動体15が左折または右折する道路の横断を待機している人物の描画が想定される領域である。当該前方確認領域fcaは、第2のカメラ12の取付け位置および姿勢ならびに第2のカメラ12の画角などに基づいて定められる。上述のような第2のカメラ12の構成および移動体15への取付け姿勢において、当該前方確認領域fcaは、例えば、第2の画像im2において点oxp2より上側を含む領域である。前方確認領域fcaは、側方確認領域scaと一部が重なりうる。第2の画像im2の前方確認領域fcaは、第2の画像im2の全領域としうる。 The forward confirmation area fca of the second image im2 is an area where, for example, a drawing of a person waiting for crossing a road on which the moving body 15 turns left or right is assumed. The front confirmation area fca is determined based on the mounting position and posture of the second camera 12, the angle of view of the second camera 12, and the like. In the configuration of the second camera 12 and the mounting posture to the moving body 15 as described above, the front confirmation region fca is, for example, a region including the upper side of the point oxp2 in the second image im2. The front confirmation area fca may partially overlap with the side confirmation area sca. The front confirmation area fca of the second image im2 may be the entire area of the second image im2.
 コントローラ13は、挙動に関する情報に基づいて、移動体15が後退中であるか否かを判別する。例えば、コントローラ13は、移動体15がリバースギアの状態であるであることを示す情報を挙動に関する情報として取得するとき、移動体15が後退中であると判別する。 The controller 13 determines whether or not the moving body 15 is moving backward based on the information regarding the behavior. For example, the controller 13 determines that the moving body 15 is moving backward when acquiring information indicating that the moving body 15 is in the reverse gear state as information regarding the behavior.
 コントローラ13は、移動体15の挙動が後退中であると判別するとき、第1の画像im1および第2の画像im2を、移動体15の鉛直上方から下方を正視する画像に補正する。コントローラ13は、第1の画像im1および第2の画像im2が地表面で同じ縮尺となるように補正する。コントローラ13は、第1の画像im1および第2の画像im2の2つの補正像を1つの画像に結合しうる。かかる補正後の画像は、移動体15の周辺監視システムに利用しうる。かかる周辺監視システムは、サラウンドビュー、サラウンドビューモニタ、アラウンドビュー、パノラミックビュー、マルチビュー、全方位モニタ、サラウンドアイ、及びイーグルビューなどと称しうる。 When the controller 13 determines that the behavior of the moving body 15 is moving backward, the controller 13 corrects the first image im1 and the second image im2 so that the moving body 15 is viewed from the vertically upper side to the lower side. The controller 13 corrects the first image im1 and the second image im2 so that they have the same scale on the ground surface. The controller 13 can combine the two corrected images of the first image im1 and the second image im2 into one image. The corrected image can be used in the periphery monitoring system of the moving body 15. Such a perimeter monitoring system may be referred to as surround view, surround view monitor, around view, panoramic view, multi-view, omnidirectional monitor, surround eye, and eagle view.
 図1に示す、外部機器14は、例えば、モニタおよび画像解析装置である。モニタは、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイであって、取得する表示画像を表示する。画像解析装置は、例えば表示画像に基づいて画像解析を行い、特定の種類の被写体の描画の有無、および特定の被写体の距離などを算出可能である。 1 is, for example, a monitor and an image analysis device. The monitor is a liquid crystal display (LCD (Liquid Crystal Display)) or an organic or inorganic EL display, for example, and displays a display image to be acquired. The image analysis apparatus can perform image analysis based on a display image, for example, and can calculate whether or not a specific type of subject is drawn, the distance of the specific subject, and the like.
 本実施形態において、外部機器14はモニタである。外部機器14は、移動体15の車室内の、運転者が視認可能な位置に設けられる。外部機器14は、コントローラ13から取得する画像を表示する。 In the present embodiment, the external device 14 is a monitor. The external device 14 is provided in the vehicle interior of the moving body 15 at a position where the driver can visually recognize it. The external device 14 displays an image acquired from the controller 13.
 次に、本実施形態においてコントローラ13が実行する、歪補正処理について、図9のフローチャートを用いて説明する。歪補正処理は、移動体15の例えばエンジンを含む原動機が始動するとき、または例えばモータを含む原動機が始動可能な状態となるとき、開始する。また、歪補正処理は、移動体15の例えばエンジンを含む原動機が停止するとき、または例えばモータを含む原動機が始動可能な状態が終了するとき、終了する。なお、このフローに記載の歪み補正と合わせて、コントローラ13は、他の歪み補正を実行しうる。例えば、コントローラ13は、第1のカメラ11の第1の画像im1をEミラー用の画像向けに歪み補正を実行しうる。 Next, distortion correction processing executed by the controller 13 in this embodiment will be described with reference to the flowchart of FIG. The distortion correction processing starts when the prime mover including the engine of the moving body 15 is started, or when the prime mover including the motor is ready to start. Further, the distortion correction processing ends when the prime mover including the engine of the moving body 15 stops or when the prime mover including the motor ends, for example. In addition to the distortion correction described in this flow, the controller 13 can execute other distortion correction. For example, the controller 13 can perform distortion correction on the first image im1 of the first camera 11 for the image for the E mirror.
 ステップS100において、コントローラ13は、第1のカメラ11および第2のカメラ12それぞれから第1の画像im1および第2の画像im2を取得する。第1の画像im1および第2の画像im2を取得すると、プロセスはステップS101に進む。 In step S100, the controller 13 acquires the first image im1 and the second image im2 from the first camera 11 and the second camera 12, respectively. When the first image im1 and the second image im2 are acquired, the process proceeds to step S101.
 ステップS101では、コントローラ13は、側方への移動の準備中であるか否かを判別する。なお、前述のように、コントローラ13は、方向指示器の点滅を指令する情報を取得しているとき側方への移動の準備中であると判別する。側方への移動の準備中であると判別するとき、プロセスはステップS102に進む。当該挙動に関する情報を取得していないとき、プロセスはステップS103に進む。 In step S101, the controller 13 determines whether or not it is preparing to move to the side. Note that, as described above, the controller 13 determines that it is preparing to move to the side when it obtains information that commands blinking of the direction indicator. When determining that it is preparing to move to the side, the process proceeds to step S102. When the information regarding the behavior is not acquired, the process proceeds to step S103.
 ステップS102では、コントローラ13は、第1の画像im1および第2の画像im2の一部に対して側方移動準備用の歪補正を行う。すなわち、コントローラ13は、第1の画像im1の後方確認領域rcaの画像を移動体15の前から後に正視した画像に補正する。また、コントローラ13は、第2の画像im2の側方確認領域scaの画像を移動体15から側方を正視した画像に補正する。また、コントローラ13は、第2の画像im2の前方確認領域fcaの画像を移動体15における後から前に正視した画像に補正する。補正後、プロセスはステップS105に進む。 In step S102, the controller 13 performs distortion correction for side movement preparation on a part of the first image im1 and the second image im2. That is, the controller 13 corrects the image in the rear confirmation region rca of the first image im1 to an image viewed from the front of the moving body 15 to the back. In addition, the controller 13 corrects the image of the side confirmation region sca of the second image im2 to an image obtained by viewing the side from the moving body 15. In addition, the controller 13 corrects the image of the front confirmation area fca of the second image im2 to an image viewed from the back to the front in the moving body 15. After correction, the process proceeds to step S105.
 ステップS103では、コントローラ13は、後退中であるか否かを判別する。なお、前述のように、コントローラ13は、移動体15がリバースギアの状態であるであることを示す情報を取得しているとき後退中であると判別する。後退中であると判別するとき、プロセスはステップS104に進む。当該挙動に関する情報を取得していないとき、プロセスはステップS105に進む。 In step S103, the controller 13 determines whether or not the vehicle is moving backward. As described above, the controller 13 determines that the vehicle 15 is moving backward when acquiring information indicating that the moving body 15 is in the reverse gear state. When determining that the vehicle is moving backward, the process proceeds to step S104. When the information regarding the behavior is not acquired, the process proceeds to step S105.
 ステップS104では、コントローラ13は、第1の画像im1および第2の画像im2に後退用の歪補正を行う。すなわち、コントローラ13は第1の画像im1および第2の画像im2を移動体15の鉛直上方から下方に正視して連続する画像に補正する。補正後、プロセスはステップS105に進む。 In step S104, the controller 13 performs backward distortion correction on the first image im1 and the second image im2. That is, the controller 13 corrects the first image im <b> 1 and the second image im <b> 2 to be continuous images when viewed from the vertically upper side of the moving body 15 downward. After correction, the process proceeds to step S105.
 ステップS105では、コントローラ13は、ステップS100において取得して所定の画像処理を施した表示画像、ステップS102において歪補正をした表示画像、またはステップS104において歪補正をした表示画像を外部機器14に出力する。 In step S105, the controller 13 outputs the display image acquired in step S100 and subjected to predetermined image processing, the display image corrected in distortion in step S102, or the display image corrected in distortion in step S104 to the external device 14. To do.
 以上のような構成の本実施形態の周辺監視システム10では、第1のレンズの第1の物体向き光軸方向oxd1が第1のカメラ11から第2のカメラ12に向かう方向と同じ向きの方向成分を含み、第2のレンズの第2の物体向き光軸方向oxd2が当該方向成分と逆向きの方向成分を含むこのような構成により、周辺監視システム10は、第1のカメラ11および第2のカメラ12に詳細な画像の取得が困難となる魚眼レンズのような超広角レンズを適用すること無く、第1のカメラ11および第2のカメラ12の撮像範囲を重複させ得る。したがって、周辺監視システム10では、死角が少なく且つ広範囲に詳細な画像が得られる。 In the periphery monitoring system 10 of the present embodiment configured as described above, the first object-oriented optical axis direction oxd1 of the first lens is in the same direction as the direction from the first camera 11 toward the second camera 12. In such a configuration, the periphery monitoring system 10 includes the first camera 11 and the second camera component in such a manner that the second object-oriented optical axis direction oxd2 of the second lens includes a direction component opposite to the direction component. The imaging ranges of the first camera 11 and the second camera 12 can be overlapped without applying an ultra-wide-angle lens such as a fisheye lens that makes it difficult to acquire a detailed image to the camera 12. Therefore, in the periphery monitoring system 10, a detailed image can be obtained in a wide range with few blind spots.
 また、本実施形態の周辺監視システム10では、第1のカメラ11および第2のカメラ12が移動体15の左側方および右側方の少なくとも一方に位置しうる。このような構成に意より、周辺監視システム10は、移動体15に対して第1のカメラ11および第2のカメラ12が設けられる側の側方の光景を監視させ得る。 Further, in the periphery monitoring system 10 of the present embodiment, the first camera 11 and the second camera 12 can be located on at least one of the left side and the right side of the moving body 15. In view of such a configuration, the periphery monitoring system 10 can cause the moving body 15 to monitor a side view on the side where the first camera 11 and the second camera 12 are provided.
 また、本実施形態の周辺監視システム10では、第1のカメラ11および第2のカメラ12は、移動体15の前後方向における第1のカメラ11および第2のカメラ12の間の同じ位置の路面を撮像しうる。このような構成により、周辺監視システム10は、移動体15の側方の路面の監視に際し、死角をより低減させ得る。 Further, in the periphery monitoring system 10 of the present embodiment, the first camera 11 and the second camera 12 are the road surface at the same position between the first camera 11 and the second camera 12 in the front-rear direction of the moving body 15. Can be imaged. With such a configuration, the periphery monitoring system 10 can further reduce the blind spot when monitoring the road surface on the side of the moving body 15.
 また、本実施形態の周辺監視システム10では、コントローラ13は、第1の画像im1および第2の画像im2の少なくとも一方の歪みを、移動体15の挙動に基づいて、補正しうる。このような構成により、周辺監視システム10は、比較的広角なレンズを用いながらも歪の低減した画像が得られ、監視対象の正確な認識に貢献し得る。 Moreover, in the periphery monitoring system 10 of the present embodiment, the controller 13 can correct at least one distortion of the first image im1 and the second image im2 based on the behavior of the moving body 15. With such a configuration, the periphery monitoring system 10 can obtain an image with reduced distortion while using a relatively wide-angle lens, and can contribute to accurate recognition of the monitoring target.
 また、本実施形態の周辺監視システム10では、コントローラ13は、移動体15の挙動が側方への移動の準備中であるとき、第1の画像im1の少なくとも一部の画像の移動体15の前から後に正視した画像への補正、第2の画像im2の一部の移動体15から側方に正視した画像への補正、および第2の画像im2の一部の移動体15の後から前に正視した画像への補正を行いうる。このような構成により、周辺監視システム10は、移動体15の側方への移動前に、移動方向に存在する注意すべき監視対象を正確に認識させ得る。 Further, in the periphery monitoring system 10 of the present embodiment, the controller 13 is configured such that when the behavior of the moving body 15 is being prepared for lateral movement, the moving body 15 of at least a part of the first image im1 is displayed. Correction to an image viewed from the front to the back, correction to an image viewed from the side of a part of the moving body 15 of the second image im2, and a part of the moving body 15 of the second image im2 from the back to the front It is possible to correct an image viewed in front of the camera. With such a configuration, the periphery monitoring system 10 can accurately recognize the monitoring target to be noted that exists in the moving direction before the moving body 15 moves to the side.
 また、本実施形態の周辺監視システム10では、コントローラ13は、移動体15の挙動が後退中であるとき、第1の画像im1および第2の画像im2を移動体15の上から下に正視した同じ縮尺の画像に補正しうる。このような構成により、周辺監視システム10は、移動体15が縦列駐車などの、ステアリングホイールなどの移動体15の操作機器を通常姿勢で操作しながら移動方向の視認が困難な状況であっても、障害物の確認が平易となる画像を提供し得る。 Moreover, in the periphery monitoring system 10 of this embodiment, the controller 13 viewed the first image im1 and the second image im2 from above the moving body 15 downward when the behavior of the moving body 15 is moving backward. Images can be corrected to the same scale. With such a configuration, the periphery monitoring system 10 can be used even when the moving body 15 is difficult to visually recognize the moving direction while operating the operating device of the moving body 15 such as a steering wheel in a normal posture, such as parallel parking. It is possible to provide an image that makes it easy to check an obstacle.
 本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various changes and modifications based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.
 なお、ここでは、特定の機能を実行する種々のモジュール及び/またはユニットを有するものとしてのシステムを開示しており、これらのモジュール及びユニットは、その機能性を簡略に説明するために模式的に示されたものであって、必ずしも、特定のハードウェア及び/またはソフトウェアを示すものではないことに留意されたい。その意味において、これらのモジュール、ユニット、その他の構成要素は、ここで説明された特定の機能を実質的に実行するように実装されたハードウェア及び/またはソフトウェアであればよい。異なる構成要素の種々の機能は、ハードウェア及び/もしくはソフトウェアのいかなる組合せまたは分離したものであってもよく、それぞれ別々に、またはいずれかの組合せにより用いることができる。また、キーボード、ディスプレイ、タッチスクリーン、ポインティングデバイス等を含むがこれらに限られない入力/出力もしくはI/Oデバイスまたはユーザインターフェースは、システムに直接にまたは介在するI/Oコントローラを介して接続することができる。このように、本開示内容の種々の側面は、多くの異なる態様で実施することができ、それらの態様はすべて本開示内容の範囲に含まれる。 It should be noted that here, a system having various modules and / or units that perform a specific function is disclosed, and these modules and units are schematically illustrated in order to briefly explain the functionality. It should be noted that the descriptions are not necessarily indicative of specific hardware and / or software. In that sense, these modules, units, and other components may be hardware and / or software implemented to substantially perform the specific functions described herein. The various functions of the different components may be any combination or separation of hardware and / or software, each used separately or in any combination. Also, input / output or I / O devices or user interfaces, including but not limited to keyboards, displays, touch screens, pointing devices, etc., must be connected directly to the system or via an intervening I / O controller. Can do. Thus, the various aspects of the present disclosure can be implemented in many different ways, all of which are within the scope of the present disclosure.
 10 周辺監視システム
 11 第1のカメラ
 12 第2のカメラ
 13 コントローラ
 14 外部機器
 15 移動体
 16 後輪のホイールアーチ
 17 前輪のホイールアーチ
 d12 第1のカメラから第2のカメラに向かう方向
 fca 前方確認領域
 im1 第1の画像
 im2 第2の画像
 oxd1 第1の物体向き光軸方向
 oxd2 第2の物体向き光軸方向
 oxp1 光軸に対応する第1の画像上の点
 oxp2 光軸に対応する第2の画像上の点
 rca 後方確認領域
 sca 側方確認領域
DESCRIPTION OF SYMBOLS 10 Perimeter monitoring system 11 1st camera 12 2nd camera 13 Controller 14 External apparatus 15 Moving body 16 Wheel arch of rear wheel 17 Wheel arch of front wheel d12 Direction toward 1st camera from 1st camera fca Forward confirmation area im1 first image im2 second image oxd1 first object-oriented optical axis direction oxd2 second object-oriented optical axis direction oxp1 point on the first image corresponding to the optical axis oxp2 second corresponding to the optical axis Point on image rca Back confirmation area sca Side confirmation area

Claims (11)

  1.  第1のレンズを有する第1のカメラと、
     前記第1のカメラと離れて位置し、第2のレンズを有する第2のカメラと、を備え、
     前記第1のレンズの第1の物体向き光軸方向が前記第1のカメラから前記第2のカメラに向かう方向と同じ向きの方向成分を含み、
     前記第2のレンズの第2の物体向き光軸方向が該方向成分と逆向きの方向成分を含む
     移動体の周辺を監視する周辺監視システム。
    A first camera having a first lens;
    A second camera located away from the first camera and having a second lens;
    The first object-oriented optical axis direction of the first lens includes a direction component in the same direction as the direction from the first camera toward the second camera;
    A periphery monitoring system for monitoring a periphery of a moving body, wherein a second object-oriented optical axis direction of the second lens includes a direction component opposite to the direction component.
  2.  請求項1に記載の周辺監視システムにおいて、
     前記第1の物体向き光軸方向に含まれる、前記第1のカメラから前記第2のカメラに向かう方向と同じ向きの方向成分は、前記移動体の前後方向の方向成分を含む
     周辺監視システム。
    In the periphery monitoring system according to claim 1,
    The periphery monitoring system, wherein the direction component in the same direction as the direction from the first camera toward the second camera included in the first object-oriented optical axis direction includes a direction component in the front-rear direction of the moving body.
  3.  請求項1または2に記載の周辺監視システムにおいて、
     前記第1の物体向き光軸方向および前記第2の物体向き光軸方向は、前記移動体の上下方向に沿った同じ向きの方向成分を含む
     周辺監視システム。
    In the periphery monitoring system according to claim 1 or 2,
    The peripheral monitoring system, wherein the first object-oriented optical axis direction and the second object-oriented optical axis direction include direction components in the same direction along the vertical direction of the movable body.
  4.  請求項1から3のいずれか1項に記載の周辺監視システムにおいて、
     前記第1の物体向き光軸方向および前記第2の物体向き光軸方向は、前記移動体の左右方向に沿った同じ向きの方向成分を含む
     周辺監視システム。
    In the periphery monitoring system according to any one of claims 1 to 3,
    The peripheral monitoring system, wherein the first object-oriented optical axis direction and the second object-oriented optical axis direction include directional components in the same direction along a horizontal direction of the movable body.
  5.  請求項1から4のいずれか1項に記載の周辺監視システムにおいて、
     前記第1のカメラおよび前記第2のカメラは、前記移動体の左側方および右側方の少なくとも一方に位置する
     周辺監視システム。
    In the periphery monitoring system according to any one of claims 1 to 4,
    The periphery monitoring system, wherein the first camera and the second camera are located on at least one of a left side and a right side of the moving body.
  6.  請求項1から5のいずれか1項に記載の周辺監視システムにおいて、
     前記移動体は自動車であり、
     前記第1のカメラは、前記移動体において、前記第2のカメラより前方に位置し、
     前記第1のレンズの画角により画定される光軸を含む空間内に、前記移動体の後輪があり、
     前記第2のカメラは、前記移動体の前輪のホイールアーチを含む範囲を撮像する
     周辺監視システム。
    In the periphery monitoring system according to any one of claims 1 to 5,
    The moving body is an automobile;
    The first camera is positioned in front of the second camera in the moving body,
    In the space including the optical axis defined by the angle of view of the first lens, there is a rear wheel of the moving body,
    The second camera is a periphery monitoring system that images a range including a wheel arch of a front wheel of the moving body.
  7.  請求項6に記載の周辺監視システムにおいて、
     前記第1のカメラおよび前記第2のカメラは、前記移動体の前後方向における前記第1のカメラおよび前記第2のカメラの間の同じ位置の路面を撮像する
     周辺監視システム。
    In the periphery monitoring system according to claim 6,
    The periphery monitoring system, wherein the first camera and the second camera image a road surface at the same position between the first camera and the second camera in the front-rear direction of the moving body.
  8.  請求項7に記載の周辺監視システムにおいて、
     前記第1のカメラおよび前記第2のカメラは、前記移動体の上下方向の下向きの方向成分を含む
     周辺監視システム。
    In the periphery monitoring system according to claim 7,
    The surrounding monitoring system, wherein the first camera and the second camera include a downward direction component of the moving body.
  9.  請求項1から8のいずれか1項に記載の周辺監視システムにおいて、
     前記第1のカメラおよび前記第2のカメラそれぞれが撮像した第1の画像および第2の画像の少なくとも一方の歪みを、前記移動体の挙動に基づいて、補正するコントローラを、さらに備える
     周辺監視システム。
    In the periphery monitoring system according to any one of claims 1 to 8,
    A peripheral monitoring system further comprising a controller that corrects distortion of at least one of the first image and the second image captured by each of the first camera and the second camera based on the behavior of the moving body. .
  10.  請求項9に記載の周辺監視システムにおいて、
     前記コントローラは、前記移動体の挙動が側方への移動の準備中であるとき、前記第2の画像の少なくとも一部の前記移動体から側方に正視した画像への補正、前記第2の画像の少なくとも一部の前記移動体の後から前に正視した画像への補正、および前記第1の画像の少なくとも一部の画像の前記移動体の前から後に正視した画像への補正の少なくともいずれかを実行する
     周辺監視システム。
    In the periphery monitoring system according to claim 9,
    The controller corrects at least a part of the second image to an image viewed sideways from the moving body when the behavior of the moving body is in preparation for a lateral movement, Correction of at least a part of an image to an image viewed from the front of the moving body and correction of an image of at least a part of the first image to an image viewed from the front of the moving body Peripheral monitoring system that performs.
  11.  請求項9または10に記載の周辺監視システムにおいて、
     前記コントローラは、前記移動体の挙動が後退中であるとき、前記第1の画像および前記第2の画像を、前記移動体の上から下を正視した同じ縮尺の画像に補正する
     周辺監視システム。
     
    In the periphery monitoring system according to claim 9 or 10,
    When the behavior of the moving body is moving backward, the controller corrects the first image and the second image to an image of the same scale as viewed from the top to the bottom of the moving body.
PCT/JP2018/005066 2017-02-24 2018-02-14 Surroundings monitoring system WO2018155280A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-034010 2017-02-24
JP2017034010 2017-02-24

Publications (1)

Publication Number Publication Date
WO2018155280A1 true WO2018155280A1 (en) 2018-08-30

Family

ID=63253702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/005066 WO2018155280A1 (en) 2017-02-24 2018-02-14 Surroundings monitoring system

Country Status (1)

Country Link
WO (1) WO2018155280A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (en) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd Multi-function on-board camera system and image display method of multi-function on-board camera system
JP2002127948A (en) * 1998-11-30 2002-05-09 Tuner Kk On-vehicle image recording system
JP2013168063A (en) * 2012-02-16 2013-08-29 Fujitsu Ten Ltd Image processing device, image display system, and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002127948A (en) * 1998-11-30 2002-05-09 Tuner Kk On-vehicle image recording system
JP2001055100A (en) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd Multi-function on-board camera system and image display method of multi-function on-board camera system
JP2013168063A (en) * 2012-02-16 2013-08-29 Fujitsu Ten Ltd Image processing device, image display system, and image processing method

Similar Documents

Publication Publication Date Title
US11703326B2 (en) Stereo camera apparatus, vehicle, and parallax calculation method
US20180302551A1 (en) Signal processing apparatus and imaging apparatus
JP6722767B2 (en) Camera module, selector, controller, camera monitor system and moving body
WO2019123840A1 (en) Imaging device, imaging system, and display system
US20210046870A1 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
WO2016208200A1 (en) Image processing device, stereo camera device, vehicle, and image processing method
JP6727946B2 (en) Vehicle camera monitor system and vehicle
US10821900B2 (en) Image processing device
WO2018155280A1 (en) Surroundings monitoring system
US20200402206A1 (en) Image processing device, image processing method, and program
JP6439233B2 (en) Image display apparatus for vehicle and image processing method
JP2020177242A (en) Camera monitor system for vehicle and method for controlling the same
JP2018201167A (en) Image processing device, periphery monitoring system, and mobile body
WO2023054400A1 (en) Image processing device, mobile body, and program
JP7345601B2 (en) Image processing device, camera, moving object, and image processing method
JP2019047143A (en) Vehicle periphery vision device
US20240114252A1 (en) Movable apparatus and installation method for imaging device
JP2018200579A (en) Image processing device, image processing system, camera device, mobile body, image processing method, and program for image processing
EP3905656A1 (en) Image processing device
US20230100099A1 (en) Image processing system, image processing method, and storage medium
JP6605516B2 (en) Image processing apparatus, imaging apparatus, and moving body
JP2024050331A (en) Mobile body and imaging device installation method
JP2022066925A (en) Image processing device, stereo camera device, moving body, and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18756567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18756567

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP