WO2021095497A1 - カメラシステム - Google Patents

カメラシステム Download PDF

Info

Publication number
WO2021095497A1
WO2021095497A1 PCT/JP2020/040053 JP2020040053W WO2021095497A1 WO 2021095497 A1 WO2021095497 A1 WO 2021095497A1 JP 2020040053 W JP2020040053 W JP 2020040053W WO 2021095497 A1 WO2021095497 A1 WO 2021095497A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference mark
cameras
marker
image
camera system
Prior art date
Application number
PCT/JP2020/040053
Other languages
English (en)
French (fr)
Inventor
隆雄 村松
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Publication of WO2021095497A1 publication Critical patent/WO2021095497A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to a camera system suitable for being mounted on a vehicle, and particularly to a camera system including a plurality of cameras.
  • Patent Document 1 proposes a technique in which cameras are installed in the left and right headlamps of an automobile, and external environmental information is acquired from images captured by these cameras.
  • the reference coordinates are individually set for each of the plurality of cameras, this reference is used when cross-referencing the images acquired from each camera to acquire the external environment information.
  • Accurate external environment information can be obtained by using the coordinates as a reference.
  • the reference coordinates of the images captured by each camera will be the same. Is difficult to match exactly. Therefore, when the external environment information is acquired by cross-reference based on the reference coordinates with an error, the obtained external environment information becomes unreliable, and it is necessary to realize highly accurate automatic operation control and light distribution control. Become an obstacle.
  • An object of the present invention is to provide a camera system capable of accurately grasping the reference coordinates of a plurality of cameras and acquiring highly reliable external environment information from the image pickup signals of each camera.
  • the camera system of the present invention includes a plurality of cameras that image different regions at a predetermined frame rate, and a marker that irradiates a reference mark on the region where the imaging regions of the plurality of cameras overlap. It is a configuration that changes and controls the irradiation form of the mark.
  • the marker irradiates the reference mark with infrared light
  • the plurality of cameras have the sensitivity to image the infrared light region from the visible light region.
  • the marker is configured to control changes in the brightness of the reference mark, the shape of the reference mark, and the duty ratio of the irradiation time of the reference mark for each one or a plurality of frames.
  • the reference mark may be divided and irradiated on the time axis.
  • a plurality of cameras and markers are mounted on a vehicle to image an external region of the vehicle.
  • the marker is preferably mounted on the lamp of the vehicle.
  • the plurality of cameras may be installed in the lamp of the vehicle.
  • the same reference mark can be imaged by a plurality of cameras, and the spatial and temporal reference coordinates of the image captured by each camera can be recognized based on the captured reference mark.
  • Block configuration diagram of the camera system Schematic plan view of the camera system. An example of an image taken.
  • the timing diagram of the 4th form of imaging and irradiation The timing diagram of the fifth form A of imaging and irradiation.
  • the schematic plan view which shows the modification of the arrangement of a camera and a marker.
  • FIG. 1 is an external perspective view of an automobile CAR equipped with the camera system of the present invention, in which lamp units LU are inside the left and right headlamps R-HL and L-HL equipped on the front left and right sides of the automobile body, respectively.
  • a camera 1 (1R, 1L) is installed.
  • a marker 2 is further incorporated in one of the headlamps, here, the right headlamp R-HL.
  • the two left and right cameras 1 (hereinafter, may also be referred to as a right camera 1R and a left camera 1L) image a predetermined area in front of the automobile CAR and output an imaging signal.
  • the marker 2 irradiates a reference mark composed of an optical pattern toward a predetermined position in the front region of the automobile CAR.
  • the automobile CAR is equipped with a system ECU (electronic control unit 3), which is electrically connected to the two cameras 1R and 1L and the marker 2.
  • the system ECU 3 controls the irradiation of the marker 2 and acquires an external environment signal based on the imaging signals of the two cameras 1L and 1R.
  • the system ECU 3 is connected to an automobile control device not shown in the figure, here, an automatic driving control device, and outputs the acquired external environment information to the automatic driving control device.
  • the automatic driving control device executes automatic driving control of the automobile CAR based on the input external environment information. Since the present invention relates to a camera system, the description of the automatic driving control will be omitted.
  • FIG. 2 is a block configuration diagram of the camera system, showing the two cameras 1R and 1L described above, one marker 2, and the system ECU 3.
  • the two cameras 1R and 1L have the same configuration, and an image pickup lens 12 and an image pickup element 13 are provided in the camera body 11 as shown in the schematic structure of the right camera 1R.
  • the image sensor 13 has light receiving sensitivity from the visible light region to the far infrared (IR) region, images a moving image at a predetermined frame rate, and outputs the obtained image pickup signal to the system ECU 3.
  • IR far infrared
  • the imaging regions of the two cameras 1R and 1L are different, and as shown in the schematic plan view in FIG. 3, the right camera 1R captures the region AR extending from the straight-ahead direction of the automobile CAR to the diagonally forward right direction.
  • the left camera 1L captures the region AL extending from the straight-ahead direction of the automobile CAR to the diagonally forward left direction. Therefore, these left and right cameras 1R.
  • the 1L image is taken from the left and right front regions of the automobile CAR to the left and right diagonal front regions. Further, in the straight-ahead direction of the automobile, the imaging regions of the left and right cameras 1R and 1L overlap in a part of the region AC.
  • the marker 2 includes a light source 22 and an irradiation lens 23 in the body 21, and irradiates the light emitted by the light source with the irradiation lens.
  • the light source 22 is composed of a multi-segment light emitting element in which fine LEDs (pixels) that emit IR light are arranged in a matrix, and by selectively controlling the light emission of the pixels, the light pattern is formed by the emitted pixels. Is formed, and this light pattern is irradiated by the irradiation lens 23 as a reference mark M.
  • the light source 22 is controlled to emit light by the system ECU 3, and the light emission control makes it possible to generate and irradiate reference marks M having a plurality of different light patterns.
  • the marker 2 irradiates the reference mark M toward the region AC on which the imaging regions AR and AL of the left and right cameras 1R and 1L are superimposed. Is set.
  • the system ECU 3 has an image processing unit 31 that obtains an image from the image pickup signals captured by the left and right cameras 1R and 1L, and a marker control that controls irradiation of the reference mark M in the marker 2.
  • a unit 32 and an information acquisition unit 33 that acquires external environment information based on the image obtained by the image processing unit 31 are provided.
  • the image processing unit 31 generates an image from the imaging signals of the left and right cameras 1R and 1L, and outputs the generated image. Since each camera 1R, 1L normally captures a moving image, the image processing unit 31 sequentially generates a frame signal output from each camera 1R, 1L, that is, a frame image captured over time at a predetermined frame rate. And output. In the following, the frame image may be simply referred to as an image.
  • the marker control unit 32 can change and control the light pattern shape and / or the irradiation timing of the reference mark M to be irradiated based on the image obtained by the image processing unit 31.
  • the optical pattern shape is a pattern shape that can be clearly recognized as the reference mark M in the image.
  • the irradiation timing is set to the timing of irradiating the reference mark M continuously on the time axis or intermittently at a required cycle.
  • the information acquisition unit 33 cross-references the images of the left and right cameras 1R and 1L to the outside in the combined region of the imaging regions AR and AL of the left and right cameras 1R and 1L.
  • Environmental information can be acquired.
  • the image of the image area AR on the right front of the own vehicle (automobile CAR) traveling on the road and the image of the image area AL on the left front are captured by the reference mark M captured in each image.
  • external environment information of the area including these imaging areas AR and AL for example, information of another vehicle is acquired.
  • the left and right cameras 1R and 1L image the predetermined areas AR and AL, respectively, while the vehicle is running.
  • the marker control unit 32 of the system ECU 3 drives the marker 2 in synchronization with the imaging by the left and right cameras 1R and 1L to irradiate the reference mark M.
  • the reference mark M with IR light is projected on the region AC on which the imaging regions AR and AL of the cameras 1R and 1L are superimposed, for example, the road surface of the region AC.
  • the reference mark M is imaged in each image obtained by the image processing unit 31 together with other vehicles and pedestrians existing in each of the areas AR and AL.
  • the information acquisition unit 33 can obtain the spatial reference coordinates and the temporal reference coordinates of each image by recognizing the reference mark M captured in each image. Therefore, in the information acquisition unit 33, when the two images are cross-referenced, the spatial and temporal reference coordinates of the two images are matched, so that the imaging regions AR and AL of the cameras 1R and 1L are combined. External environment information can be acquired.
  • FIG. 5 is a timing diagram showing the irradiation timing and the imaging timing of the reference mark M in the first form.
  • the horizontal direction is the time axis, and here, six frames f1 to f6 are illustrated.
  • the marker 2 shows the shape of the reference mark M and the irradiation timing thereof.
  • the imaging timing (exposure timing and exposure time) in each frame f1 to f6 and the captured images in each frame f1 to f6 are schematically shown.
  • the marker is used as a reference mark, and here, a star shape ( ⁇ ) is continuously irradiated over time.
  • the left and right cameras 1R and 1L have the same frame rate and the same frame timing. Furthermore, the imaging timings are also the same.
  • the frame rate is 60 FPS, and the imaging timing is 5 msec.
  • the information acquisition unit 33 of the camera ECU 3 can recognize the spatial reference coordinates in each image by cross-referencing the reference marks M captured in the images of the left and right cameras 1R and 1L. As a result, it is possible to acquire the external environment information of the area including the imaging areas AR and AL of each camera 1R and 1L with high reliability.
  • the reference mark M in the frame image captured by the cameras 1R and 1L is captured as an image whose brightness and shape do not change with time, so that it can be distinguished from other captured object images. It is difficult, and it may be difficult to recognize the reference mark M. Further, since the captured reference mark M does not change with time, it is difficult to recognize the temporal change of the image and it is difficult to obtain the temporal reference coordinates.
  • the frames of the images of the left and right cameras 1R and 1L can be matched, and more accurate external environment information can be obtained.
  • a specific position on the time axis that is, the time of the external environment information obtained from the captured image can be obtained. For example, when an accident occurs in an autonomous vehicle, each camera can obtain the order in what order. In addition, it is possible to verify after the fact at what time the image was taken and the external environment information was obtained, which can be effectively used for investigating the cause of the accident and for accident countermeasures.
  • FIG. 6 is a timing diagram of the irradiation timing and the imaging timing of the reference mark M of the second form for accurately obtaining the temporal reference coordinates.
  • the marker control unit 32 controls the marker 2 and irradiates the reference mark M every two frames, that is, the frames f1, f3, and f5 every other frame.
  • the images of the left and right cameras 1R and 1L are captured with the reference mark M imaged in the frames f1, f3 and f5, and the reference mark M is imaged in a blinking state.
  • the reference mark M in the image can be easily recognized. Further, the temporal reference coordinates of each image can be accurately obtained by the blinking timing of the reference mark M, and when each image is cross-referenced, the mutual reference with the same imaging timing becomes possible, and each camera 1R , It becomes possible to acquire the external environment information of the area including the imaging areas AR and AL of 1L with high reliability.
  • FIG. 7 is a timing diagram of the irradiation timing and the imaging timing of the reference mark M of the third form in order to improve the second form and accurately and easily acquire the temporal reference coordinates of each image.
  • the brightness of the reference mark M is changed and controlled at a cycle synchronized with the frame rate.
  • the frame f1 is controlled to the maximum brightness
  • the frame f2 is controlled to the minimum brightness
  • the frame f3 is controlled to the intermediate brightness. After that, this is repeated.
  • the reference mark M has the maximum brightness in the frames f1 and f4, the minimum brightness in the frames f2 and f5, and the intermediate brightness in the frames f3 and f6. It becomes.
  • the difference in brightness of the reference mark M in each image is represented by the difference in the size of the reference mark M ( ⁇ ).
  • the temporal reference coordinates in each image can be easily recognized. Then, when cross-referencing the images of the left and right cameras 1R and 1L, the cross-reference with the same imaging timing becomes easy, and the external environment information of the area in which the imaging areas AR and AL of each camera 1R and 1L are combined is high. You will be able to obtain it with reliability.
  • the imaging timings of the left and right cameras 1R and 1L may be different. If the frame timing and the imaging timing are deviated from each other, the reference mark M may not be imaged by one of the left and right cameras 1R and 1L in the second mode described above.
  • the imaging timing of the left camera 1L is the reference mark of the marker 2.
  • the irradiation timing of the above does not match, and the reference mark M cannot be imaged with the left camera 1L.
  • the imaging timing of the right camera 1R coincides with the irradiation timing of the reference mark M, but since the imaging timing of the left camera 1L is later than the irradiation timing of the reference mark M, the reference mark M is used as the reference. Mark M cannot be imaged.
  • the marker 2 may irradiate the reference mark M over almost the entire time axis of each frame, as in the fourth form shown in FIG. By doing so, even if the frame timings of the left and right cameras 1R and 1L are deviated, or even if the unique imaging timings set for the left and right cameras 1R and 1L are deviated, the left and right cameras are deviated.
  • the reference mark M can be reliably imaged in 1R and 1L.
  • FIG. 10A is a timing diagram of the fifth A mode in which the shape of the reference mark is changed and controlled.
  • the marker 2 changes the shape of the reference mark M to be irradiated in the same cycle as the frame rate.
  • the first frame f1 has a star ( ⁇ ) shape
  • the second frame f2 has a round ( ⁇ ) shape
  • the third frame f3 has a triangular ( ⁇ ) shape. After that, this is repeated.
  • the reference mark is irradiated over almost the entire time axis of each frame.
  • the reference mark By performing control by changing the shape of the reference mark M in this way, the reference mark can be reliably imaged by the left and right cameras 1R and 1L regardless of the frame timing deviation of the left and right cameras 1R and 1L. .. Then, in the images captured by the cameras 1R and 1L, the shape of the captured reference mark M changes for each frame. Therefore, for the images of the cameras 1R and 1L, the shape of the reference mark M and its change are changed. By recognizing, the frame timing of both images can be specified. Therefore, by recognizing the temporal reference coordinates of both images based on this identification and then cross-referencing both images, the external environment information of the area in which the imaging areas AR and AL of each camera 1R and 1L are combined can be obtained. You will be able to obtain it with high reliability.
  • the imaging timing is deviated. Even in this case, the reference marks can be reliably captured by the left and right cameras 1R and 1L. Therefore, as in the fifth A mode, the frames of both images are specified, the temporal reference coordinates of both images are recognized, and then the two images are cross-referenced to obtain the imaging region AR of each camera 1R and 1L.
  • the external environment information of the area including , AL can be acquired with high reliability.
  • FIG. 11 is a timing diagram of the sixth form, in which the duty ratio of the irradiation of the reference mark M is changed and the divided irradiation is controlled on the time axis. That is, in each frame, the reference mark M is irradiated over almost the entire time axis of each frame, but the time ratio during which the reference mark M is irradiated in each frame, that is, the duty ratio is changed.
  • the duty ratio is 90% in the first frame f1, 20% in the second frame f2, and 50% in the third frame f3.
  • each frame the irradiation time is divided into a plurality of irradiations on the time axis.
  • each frame is divided into five parts for irradiation. Therefore, each of the five divided irradiations in each frame, that is, the divided irradiation is the irradiation in which the irradiation time in one frame determined by the duty ratio is divided into five, and these divided irradiations are on the time axis of each frame.
  • the divided irradiation is the irradiation in which the irradiation time in one frame determined by the duty ratio is divided into five, and these divided irradiations are on the time axis of each frame.
  • each camera 1R and 1L images the reference mark M which is divided and irradiated under the same conditions. Therefore, the reference mark M can be reliably imaged in each of the cameras 1R and 1L.
  • the brightness (luminance) of the captured images of the cameras 1R and 1L is changed according to the duty ratio of the irradiation of the reference mark M.
  • the difference in brightness of the reference mark M in each image is represented by the difference in the size of the reference mark M ( ⁇ ). Therefore, by recognizing the change in the brightness of the reference mark M in both images, the frame and the frame timing of both images can be specified. Then, based on this identification, as in the fifth A and B modes, the imaging regions AR of each of the cameras 1R and 1L are recognized by recognizing the temporal reference coordinates of both images and then cross-referencing both images. It becomes possible to acquire the external environment information of the area including AL with high reliability.
  • the reference mark within the exposure time is used.
  • the ratio of the irradiation time of M, that is, the duty ratio may be changed and controlled.
  • the reference mark is imaged with the brightness corresponding to the duty ratio, and the external environment information of the area including the imaging areas AR and AL of each camera 1R and 1L can be acquired with high reliability.
  • each form can be appropriately combined.
  • the shape of the reference mark may be changed, and at the same time, the brightness of the reference mark and the duty ratio of the irradiation timing may be changed.
  • the reference mark M whose shape and brightness have been changed is captured in the images of the cameras 1R and 1L, and the temporal reference coordinates of both images are recognized with more accuracy and high accuracy. This makes it possible to acquire external environment information in the combined area of the imaging areas AR and AL of each camera 1R and 1L with high reliability.
  • the present invention is not limited to the embodiments described above, and the irradiation timing of the marker, the shape of the reference mark, the duty ratio, and the imaging timing of the left and right cameras 1R and 1L can be appropriately changed.
  • the shape of the reference mark may be changed not for each frame but for each of a plurality of frames.
  • the shape is not limited to three types, and may be two types or four or more types.
  • the duty ratio may be changed not for each frame but for each of a plurality of frames, and the duty ratio is not limited to three values, and may be a binary value or a duty ratio of four or more values.
  • a camera can be configured with an imaging device that captures images at a required frame rate.
  • the marker can be configured with a projection device capable of irradiating the reference mark with an arbitrary shape and duty ratio.
  • the marker is not limited to the irradiation of the reference mark in IR, and may be configured to irradiate using light in another wavelength range.
  • the camera and the marker are arranged in the left and right headlamps, but only the marker or only the camera may be arranged in the lamp.
  • the marker and the camera may be arranged outside the vehicle body or inside the vehicle body, respectively.
  • the imaging region is not limited to the front region of the automobile, and may be the regions on the left and right sides and the rear of the automobile. Further, when the imaging regions of three or more cameras are superimposed, the marker may irradiate the reference mark toward the superimposed regions.
  • FIG. 13 is a schematic plan view of an example thereof, in which cameras 1f, 1b, and 1r are inside the front window FW of an automobile CAR, inside the rear window RW, and inside the left and right side mirrors R-SM and L-SM, respectively.
  • 1l are arranged so as to image the front region Af, the rear region Ab, the right side region Ar, and the left side region Al of the automobile CAR, respectively.
  • markers 2fr, 2fl, 2br, and 2bl are arranged on the left and right headlamps R-HL, L-HL and rear lamps R-RL, L-RL of the automobile CAR, respectively, and the respective regions Af, Ab, Ar, Al are arranged. It is configured to irradiate the reference mark M on the area where
  • the frame and frame timing of both images of the cameras 1f and 1r are specified by the reference mark M irradiated on the region where the front region Af and the right region Ar overlap.
  • the frame and frame timing of both images of the cameras 1b and 1r are specified by the reference mark M irradiated on the region where the rear region Ab and the right region Ar overlap. In this way, the frames and frame timings of the images of all the cameras 1f, 1B, 1r, and 1l that capture the periphery of the automobile can be specified.
  • the camera system of the present invention is not limited to being used as a sensor for automatic driving control of automobiles, but as a sensor for controlling the light distribution of headlamps of automobiles or displaying control of display devices installed in automobiles. It is also possible to use it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

複数のカメラの基準座標を正確に把握して、各カメラの撮像信号から信頼度の高い外部環境情報を取得することが可能なカメラシステムを提供する。それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラ（１Ｒ，１Ｌ）と、複数のカメラ（１Ｒ，１Ｌ）のそれぞれの撮像領域（ＡＲ，ＡＬ）が重畳する領域（ＡＣ）に基準マーク（Ｍ）を照射するマーカー（２）を備える。マーカー（２）は基準マーク（Ｍ）の照射形態を変化制御する。マーカー（２）は基準マーク（Ｍ）を赤外光で照射し、複数のカメラ（１Ｒ，１Ｌ）は可視光領域から赤外光領域を撮像する感度を有する。各カメラ（１Ｒ，１Ｌ）の画像に撮像された基準マーク（Ｍ）に基づいて各画像における空間的、時間的な基準座標を認識し、これらを一致させた上で各画像を相互参照して外部環境情報を取得する。

Description

カメラシステム
　本発明は車両に装備して好適なカメラシステムに関し、特に複数のカメラを備えたカメラシステムに関するものである。
　自動車の自動運転制御や、ランプの配光制御を行う際には、自動車の周囲に存在する他車両、歩行者、障害物等の対象物を含む外部環境情報を取得することが必要とされる。外部環境情報を取得する技術の一つとして、自動車にカメラを搭載し、当該カメラで撮像して得られる撮像信号を解析して外部環境情報を取得する技術が提案されている。また、この技術では、自動車の周囲の広い領域での検出を行うために、複数のカメラを搭載し、これらカメラから得られた撮像信号を相互参照して外部環境情報を検出に利用することも考えられている。例えば、特許文献１には、自動車の左右のヘッドランプにそれぞれカメラを内装し、これらカメラで撮像した画像から外部環境情報を取得する技術が提案されている。
特開２０１９－１１７１９７号公報
　ところで、複数のカメラにはそれぞれ個別に基準座標（空間的，時間的）が設定されているので、各カメラから取得された画像を相互参照して外部環境情報を取得する際には、この基準座標を基準とすることによって正確な外部環境情報を取得することができる。しかし、複数のカメラの搭載位置にずれが生じていた場合、あるいは各カメラに固体差の違い、特に撮像タイミングにずれが生じていた場合等には、各カメラで撮像した画像についてそれぞれの基準座標を正確に一致させることは難しい。そのため、誤差のある基準座標に基づいた相互参照によって外部環境情報を取得したときには、得られた外部環境情報は信頼度の低いものとなり、高い精度の自動運転制御や配光制御を実現する上での障害になる。
　本発明の目的は、複数のカメラの基準座標を正確に把握して、各カメラの撮像信号から信頼度の高い外部環境情報を取得することが可能なカメラシステムを提供する。
　本発明のカメラシステムは、それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラと、複数のカメラのそれぞれの撮像領域が重畳する領域に基準マークを照射するマーカーを備えており、マーカーは基準マークの照射形態を変化制御する構成である。ここで、マーカーは基準マークを赤外光で照射し、複数のカメラは可視光領域から赤外光領域を撮像する感度を有することが好ましい。
　本発明において、マーカーは、基準マークの明るさ、基準マークの形状、基準マークの照射時間のデューティ比について、１つ叉は複数のフレーム毎に変化制御する構成とする。デューティ比を変化制御する場合、基準マークを時間軸上で分割して照射してもよい。
　本発明のカメラシステムは、例えば、複数のカメラ及びマーカーは車両に装備され、当該車両の外部領域を撮像する。この場合、マーカーは車両のランプに内装されることが好ましい。また、複数のカメラは車両のランプに内装されてもよい。
　本発明によれば、複数のカメラにおいて同じ基準マークを撮像し、撮像した基準マークに基づいて各カメラで撮像した画像の空間的及び時間的な基準座標を認識することができる。これにより、複数の画像における基準座標を一致させ、各画像を相互参照した信頼度の高い外部環境情報を取得することができる。
本発明のカメラシステムを備えた自動車の外観図。 カメラシステムのブロック構成図。 カメラシステムの模式平面図。 撮像した画像例。 撮像及び照射の第１形態のタイミング図。 撮像及び照射の第２形態のタイミング図。 撮像及び照射の第３形態のタイミング図。 撮像及び照射の不具合形態Ａのタイミング図。 撮像及び照射の不具合形態Ｂのタイミング図。 撮像及び照射の第４形態のタイミング図。 撮像及び照射の第５形態Ａのタイミング図。 撮像及び照射の第５形態Ｂのタイミング図。 撮像及び照射の第６形態のタイミング図。 撮像及び照射の第７形態のタイミング図。 カメラ及びマーカーの配置の変形例を示す模式平面図。
（実施形態１）
　次に、本発明の実施の形態について図面を参照して説明する。図１は本発明のカメラシステムを装備した自動車ＣＡＲの外観斜視図であり、自動車の車体の前部左右に装備された左右のヘッドランプＲ－ＨＬ，Ｌ－ＨＬの内部に、それぞれランプユニットＬＵと共にカメラ１（１Ｒ，１Ｌ）が内装されている。また、一方のヘッドランプ、ここでは右ヘッドランプＲ－ＨＬにはさらにマーカー２が内装されている。前記左右の２つのカメラ１（以下、右カメラ１Ｒ、左カメラ１Ｌと称することもある）は自動車ＣＡＲの前方領域のそれぞれ所定の領域を撮像して撮像信号を出力する。前記マーカー２は当該自動車ＣＡＲの前方領域の所定位置に向けて光パターンからなる基準マークを照射する。
　前記自動車ＣＡＲにはシステムＥＣＵ（電子制御ユニット３）が搭載されており、前記２つのカメラ１Ｒ，１Ｌとマーカー２に電気接続されている。このシステムＥＣＵ３は、前記マーカー２の照射を制御するとともに、２つのカメラ１Ｌ，１Ｒの撮像信号に基づいて外部環境信号を取得する。また、前記システムＥＣＵ３は図には表れない自動車の制御装置、ここでは自動運転制御装置に接続されており、取得した外部環境情報を自動運転制御装置に出力する。自動運転制御装置は、入力された外部環境情報に基づいて自動車ＣＡＲの自動運転制御を実行する。なお、本発明はカメラシステムにかかわるものであるので、この自動運転制御についての説明は省略する。
　図２はカメラシステムのブロック構成図であり、前記した２つのカメラ１Ｒ，１Ｌと、１つのマーカー２と、システムＥＣＵ３を示している。２つのカメラ１Ｒ，１Ｌは同じ構成であり、右カメラ１Ｒの概略構造を図示するように、カメラボディ１１内に撮像レンズ１２と撮像素子１３を備えている。前記撮像素子１３は可視光領域から遠赤外（ＩＲ）領域まで受光感度を有しており、所定のフレームレートで動画を撮像し、得られた撮像信号をシステムＥＣＵ３に出力する。
　その一方で、２つのカメラ１Ｒ，１Ｌの撮像領域は相違しており、図３に模式平面図を示すように、右カメラ１Ｒは自動車ＣＡＲの直進方向から右斜め前方向にわたる領域ＡＲを撮像し、左カメラ１Ｌは自動車ＣＡＲの直進方向から左斜め前方方向にわたる領域ＡＬを撮像する。したがって、これら左右のカメラ１Ｒ．１Ｌにより自動車ＣＡＲの左右の前方領域から左右斜め前方の領域が撮像される。また、自動車の直進方向においては、左右のカメラ１Ｒ，１Ｌの撮像領域は一部の領域ＡＣにおいて重複されている。
　前記マーカー２は、図２に示したように、ボディ２１内に光源２２と照射レンズ２３を備えており、光源で発光された光を照射レンズにより照射する。前記光源２２は、ここではＩＲ光を発光する微細ＬＥＤ（ピクセル）がマトリクス配列された多分割発光素子で構成されており、ピクセルを選択的に発光制御することにより、発光されたピクセルで光パターンが形成され、この光パターンが照射レンズ２３により基準マークＭとして照射される。
　前記光源２２は、後述するように前記システムＥＣＵ３により発光が制御され、この発光制御により複数の異なる光パターンの基準マークＭを生成して照射することが可能とされている。ここで、前記マーカー２は、図３に示すように、前記左右のカメラ１Ｒ，１Ｌの各撮像領域ＡＲ，ＡＬが重畳される領域ＡＣに向けて基準マークＭを照射するように、照射光軸が設定されている。
　前記システムＥＣＵ３は、図２に示したように、前記左右のカメラ１Ｒ，１Ｌで撮像された撮像信号から画像を得る画像処理部３１と、前記マーカー２における基準マークＭの照射を制御するマーカー制御部３２と、前記画像処理部３１で得られた画像に基づいて外部環境情報を取得する情報取得部３３を備えている。
　前記画像処理部３１は、左右のカメラ１Ｒ，１Ｌのそれぞれの撮像信号から画像を生成し、生成した画像を出力する。各カメラ１Ｒ，１Ｌは通常では動画を撮像しているので、画像処理部３１は各カメラ１Ｒ，１Ｌから出力されるフレーム信号、すなわち所定のフレームレートで経時的に撮像されるフレーム画像を順次生成して出力する。なお、以降においてフレーム画像を単に画像と称することがある。
　前記マーカー制御部３２は、画像処理部３１で得られた画像に基づいて、照射する基準マークＭの光パターン形状、及び／又は照射タイミングを変化制御することが可能である。特に、左右の各カメラ１Ｒ，１Ｌにおいてそれぞれ基準マークＭを撮像することができず、あるいは基準マークＭを認識することが難しい状況であると判断した場合にマーカー２の照射形態を制御することが可能である。光パターン形状は、画像中において基準マークＭであることを明確に認識できるパターン形状とする。また、照射タイミングは基準マークＭを時間軸上で連続的に、あるいは所要の周期で間欠的に照射するタイミングとする。
　前記情報取得部３３は前記画像処理部３１で生成された左右の各カメラ１Ｒ，１Ｌの画像を相互参照することにより、左右の各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域における外部環境情報を取得することができる。例えば、図４に示すように、道路を走行する自車両（自動車ＣＡＲ）の右前方の撮像領域ＡＲの画像と、左前方の撮像領域ＡＬの画像を、各画像に撮像された基準マークＭを基準にして相互参照することにより、これら撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報、例えば他車両の情報を取得する。
　以上の構成のカメラシステムの動作を説明する。図３及び図４に示したように、自動車の走行中において、左右のカメラ１Ｒ，１Ｌはそれぞれ所定領域ＡＲ，ＡＬの撮像を行う。これと同時に、システムＥＣＵ３のマーカー制御部３２は、左右のカメラ１Ｒ，１Ｌでの撮像に同期してマーカー２を駆動して基準マークＭの照射を実行する。この照射により、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬが重畳される領域ＡＣ、例えば当該領域ＡＣの路面にＩＲ光での基準マークＭが投影される。
　左右のカメラ１Ｒ，１Ｌにおいて撮像を行うことにより、画像処理部３１で得られる各画像には、各領域ＡＲ，ＡＬに存在する他車両や歩行者等と共に基準マークＭが撮像される。情報取得部３３は、各画像に撮像されている基準マークＭを認識することにより各画像の空間的な基準座標と時間的な基準座標を得ることができる。したがって、情報取得部３３においては、両画像を相互参照する際に両画像における空間的及び時間的な基準座標を一致させることにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を取得することができる。
　図５は第１形態における基準マークＭの照射タイミングと撮像タイミングを示したタイミング図である。横方向は時間軸であり、ここでは６つのフレームｆ１～ｆ６を例示している。マーカー２については、基準マークＭの形状と、その照射タイミングを示している。左右のカメラ１Ｒ，１Ｌについては、各フレームｆ１～ｆ６における撮像タイミング（露光タイミング及び露光時間）と、撮像した各フレームｆ１～ｆ６の画像を模式的に示している。
　第１形態では、マーカーは基準マークとして、ここでは星形（☆）を経時的に連続照射している。左右のカメラ１Ｒ，１Ｌはフレームレートが同じであり、フレームタイミングも一致している。さらに、撮像タイミングも一致している。なお、フレームレートは６０ＦＰＳであり、撮像タイミングは５ｍｓｅｃであるとしている。
　この第１形態では、基準マークＭは連続照射されているので、左右のカメラ１Ｒ，１Ｌでは各フレームｆ１～ｆ６において基準マークＭを確実に撮像することができる。したがって、カメラＥＣＵ３の情報取得部３３では、左右のカメラ１Ｒ，１Ｌの各画像に撮像されている基準マークＭを相互参照することにより、各画像における空間的な基準座標を認識することができる。これにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得することができる。
　その一方で、各カメラ１Ｒ，１Ｌで撮像したフレーム画像中の基準マークＭは、経時的に明るさや形状が変化しない画像として撮像されるため、撮像された他の物体画像とを識別することが難しく、基準マークＭを認識することが難しい場合がある。また、撮像された基準マークＭは経時的に変化しないため、画像の時間的な変化を認識することが難しく時間的な基準座標を得ることは難しい。
　このように、基準マークＭの画像を得るのみでは、各画像を時間軸上で対応させることが難しく、両画像における時間的な基準座標の一致を得ることは難しい。そのため、左右のカメラの画像が時間軸上でずれているときには、異なったタイミングで撮像された左右のカメラの画像に基づいて外部環境情報を取得してしまうことになる。
　例えば、図４の場合において、右カメラ１Ｒの撮像タイミングが左カメラ１Ｌに対して遅れている場合には、左カメラ１Ｌで撮像した領域ＡＬの先行車ＦＣに対して、右カメラ１Ｒで撮像した領域ＡＲの対向車ＯＣ１が破線の対向車ＯＣ２のように自車により接近した画像が得られることになり、先行車ＦＣと対向車ＯＣ１の相対位置に誤差が生じた外部環境情報が得られてしまう。そのため、この外部環境情報では、正確な自動運転制御を行うことが難しくなる。
　時間的な基準座標を正確に得ることができれば、左右のカメラ１Ｒ，１Ｌの画像のフレームを一致させ、より正確な外部環境情報を得ることができる。また、撮像した画像から得られる外部環境情報の時間軸上の特定位置、すなわち時刻を得ることができ、例えば、自動運転車が事故を起こした時などに、各カメラがどのような順序で、かつどの時刻で撮像を行って外部環境情報を得ていたのかが事後検証でき、事故の原因究明や事故対策に有効活用できる。
　図６は、この時間的な基準座標を正確に得るための第２形態の基準マークＭの照射タイミングと撮像タイミングのタイミング図である。この第２形態では、マーカー制御部３２においてマーカー２を制御し、基準マークＭを２フレーム毎、すなわち１フレーム置きのフレームｆ１，ｆ３，ｆ５に照射している。これにより、左右のカメラ１Ｒ，１Ｌの画像はフレームｆ１，ｆ３，ｆ５において基準マークＭが撮像され、基準マークＭが点滅した状態で撮像される。
　これにより、基準マークＭの点滅を認識することにより、画像中における基準マークＭを容易に認識することができる。また、基準マークＭの点滅のタイミングにより各画像の時間的な基準座標を正確に得ることができ、各画像を相互参照する際に、撮像タイミングが一致した相互参照が可能になり、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。
　この第２形態では、基準マークＭが単純に点滅するのみであるので、時間的な基準座標を認識する際の目安になるものがなく、認識が難しい場合がある。図７は、この第２形態を改善して、各画像の時間的な基準座標を正確かつ容易に取得するための、第３形態の基準マークＭの照射タイミングと撮像タイミングのタイミング図である。この第３形態では基準マークＭの明るさをフレームレートに同期した周期で変化制御している。ここでは、フレームｆ１を最大の明るさ、フレームｆ２を最小の明るさ、フレームｆ３を中間の明るさに制御している。以降はこれの繰り返しである。
　これにより、左右のカメラ１Ｒ，１Ｌで撮像した画像において、基準マークＭはフレームｆ１，ｆ４において最大の明るさになり、フレームｆ２，ｆ５において最小の明るさとなり、フレームｆ３，ｆ６で中間の明るさとなる。図７では便宜的に、各画像における基準マークＭの明るさの違いを基準マークＭ（☆）のサイズの違いで表している。
　したがって、各カメラ１Ｒ，１Ｌの画像における基準マークＭの明るさの変化を認識することにより、各画像における時間的な基準座標を容易に認識することができるようになる。そして、左右のカメラ１Ｒ，１Ｌの画像を相互参照する際に、撮像タイミングを一致した相互参照が容易になり、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。
　ところで、実際のカメラでは、個々のカメラのフレームタイミングに誤差（ばらつき）が生じていることがある。また、左右のカメラ１Ｒ，１Ｌでの撮像タイミングにずれが生じていることがある。このようなフレームタイミングや撮像タイミングにずれが生じていると、前記した第２形態では左右のカメラ１Ｒ，１Ｌの一方において基準マークＭを撮像することができないことがある。
　例えば、図８Ａのように、左カメラ１Ｌのフレームタイミングが右カメラ１Ｒに対してほぼ半周期程度の遅れが生じている形態Ａの場合には、左カメラ１Ｌの撮像タイミングがマーカー２の基準マークの照射タイミングに一致しなくなり、左カメラ１Ｌにおいて基準マークＭを撮像することができなくなる。
　また、図８Ｂのように、左右のカメラ１Ｒ，１Ｌのフレームタイミングが一致していても、各カメラ１Ｒ，１Ｌにそれぞれ設定されている固有の撮像タイミングにずれが生じている形態Ｂの場合についても同様である。この例では、右カメラ１Ｒの撮像タイミングは基準マークＭの照射タイミングに一致しているが、左カメラ１Ｌの撮像タイミングが基準マークＭの照射タイミングよりも遅れているために、左カメラ１Ｌにおいて基準マークＭを撮像することができなくなる。
　これらの不具合形態Ａや不具合形態Ｂの場合には、図９に示す第４形態のように、マーカー２は、各フレームの時間軸のほぼ全域において基準マークＭを照射するようにしてもよい。このようにすれば、左右のカメラ１Ｒ，１Ｌのフレームタイミングにずれが生じていても、あるいは各カメラ１Ｒ，１Ｌにそれぞれ設定されている固有の撮像タイミングにずれが生じている場合でも左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークＭを撮像することができる。
　また、本発明においては基準マークＭの形状を変化する制御を行うようにしてもよい。図１０Ａは基準マークの形状を変化制御する第５Ａ形態のタイミング図である。マーカー２は、照射する基準マークＭの形状をフレームレートと同じ周期で変化させている。ここでは、第１フレームｆ１では星（☆）形状であり、第２フレームｆ２では丸（○）形状、第３フレームｆ３では三角（△）形状としている。以降はこの繰り返しになる。そして、各フレームにおいては、各フレームの時間軸上のほぼ全域にわたって基準マークが照射される。
　このように基準マークＭの形状を変化させた制御を行うことにより、左右のカメラ１Ｒ，１Ｌのフレームタイミングのずれにかかわらず、左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークを撮像することができる。そして、各カメラ１Ｒ，１Ｌで撮像した画像では、撮像された基準マークＭはフレーム毎に形状が変化されるので、各カメラ１Ｒ，１Ｌの画像について、それぞれの基準マークＭの形状とその変化を認識することにより、両画像のフレームタイミングを特定することができる。したがって、この特定に基づいて両画像の時間的な基準座標を認識した上で両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。
　また、基準マークＭの形状を変化させた制御を行うことにより、図１０Ｂに第５Ｂ形態のタイミング図を示すように、左右のカメラ１Ｒ，１Ｌのフレームタイミングが同じでも撮像タイミングにずれが生じている場合においても、左右のカメラ１Ｒ，１Ｌにおいて確実に基準マークを撮像することができる。したがって、第５Ａ形態と同様に、両画像のフレームを特定し、両画像の時間的な基準座標を認識した上で、両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できる。
　さらに、本発明は基準マークＭを照射する際のデューティ比を制御してもよい。このデューティ比の制御においては、これに合せて分割照射制御を行うようにしてもよい。図１１は第６形態のタイミング図であり、この第６形態は基準マークＭの照射のデューティ比を変化するとともに、時間軸上で分割照射制御している。すなわち、各フレームにおいては、各フレームの時間軸上のほぼ全域にわたって基準マークＭが照射されるが、各フレームにおいて基準マークＭを照射している時間割合、すなわちデューティ比が変化される。この例では第１フレームｆ１ではデューティ比は９０％であり、第２フレームｆ２では２０％、第３フレームｆ３では５０％としている。
　これに加えて、各フレームにおいては、照射時間を時間軸上で複数に分割して照射している。ここでは、各フレームにおいて５分割して照射を行っている。したがって、各フレームにおいて５つの分割されたそれぞれの照射、すなわち分割照射は、それぞれデューティ比により決まる１フレームにおける照射時間を５分割した時間での照射となり、これらの分割照射は各フレームの時間軸上に均等に配置される。
　このデューティ比変化の分割照射制御を行うことにより、左右のカメラ１Ｒ，１Ｌのフレームタイミングにずれが生じていても、各カメラ１Ｒ，１Ｌはそれぞれ同じ条件で分割照射された基準マークＭを撮像することになり、各カメラ１Ｒ，１Ｌにおいて確実に基準マークＭを撮像することができる。
　撮像された各カメラ１Ｒ，１Ｌの画像は、基準マークＭの照射のデューティ比に対応して明るさ（輝度）が変化される。図１１においても、便宜的に、各画像における基準マークＭの明るさの違いを基準マークＭ（☆）のサイズの違いで表している。したがって、両画像における基準マークＭの明るさの変化を認識することにより、両画像のフレーム及びフレームタイミングを特定することができる。そして、この特定に基づいて、第５Ａ，Ｂ形態と同様に、両画像の時間的な基準座標を認識した上で両画像の相互参照を行うことにより、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。
　なお、図１２に第７形態のタイミング図を示すように、左右のカメラ１Ｒ，１Ｌの撮像タイミング、すなわち露光タイミングと露光時間が一致している場合には、その露光時間の時間内における基準マークＭの照射時間の割合、すなわちデューティ比を変化制御してもよい。各画像ではデューティ比に対応した明るさで基準マークが撮像され、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できる。
　以上説明した各形態においては、それぞれの形態を適宜に組み合わせることができる。特に、基準マークの形状を変化すると同時に、基準マークの明るさや照射タイミングのデューティ比を変化させるようにしてもよい。このようにすれば、各カメラ１Ｒ，１Ｌの画像には形状と明るさが変化された基準マークＭが撮像されることになり、より正確かつ高い精度で両画像の時間的な基準座標が認識でき、各カメラ１Ｒ，１Ｌの撮像領域ＡＲ，ＡＬを合せた領域の外部環境情報を高い信頼度で取得できようになる。
　本発明は、以上説明した実施形態に限られるものではなく、マーカーにおける照射タイミング、基準マークの形状、デューティ比、さらに左右のカメラ１Ｒ，１Ｌにおける撮像タイミングは適宜に変更することは可能である。例えば、基準マークの形状はフレーム毎ではなく、複数のフレーム毎に変化させるようにしてもよい。形状は３種類に限られず、２種類、あるいは４種類以上の形状としてもよい。デューティ比についてはフレーム毎ではなく、複数のフレームごとに変化させるようにしてもよく、さらに３値に限られず、２値、あるいは４値以上のデューティ比としてもよい。
　また、本発明におけるカメラとマーカーは実施形態に記載の構成に限られるものではない。例えば、カメラは所要のフレームレートで撮像を行う撮像装置で構成できる。マーカーは任意の形状、デューティ比での基準マークの照射が可能な投影装置で構成できる。特に、マーカーは、ＩＲでの基準マークの照射に限られるものではなく、他の波長域の光を利用して照射を行うように構成されてもよい。
　実施形態では、左右のヘッドランプ内にカメラとマーカーを配設した例を示しているが、マーカーのみ、あるいはカメラのみがランプ内に配設されてもよい。あるいは、マーカーとカメラがそれぞれ自動車の車体の外部、あるいは車室内に配設されていてもよい。さらに、撮像領域は自動車の前方領域に限られるものではなく、自動車の左右側方、後方の領域であってもよい。また、３つ以上のカメラの撮像領域が重畳する場合には、マーカーはこの重畳領域に向けて基準マークを照射するようにしてもよい。
　例えば、図１３はその一例の模式平面図であり、自動車ＣＡＲのフロントウインドＦＷの内側、リアウインドＲＷの内側、左右のサイドミラーＲ－ＳＭ，Ｌ－ＳＭの内部にそれぞれカメラ１ｆ，１ｂ，１ｒ，１ｌを配設し、自動車ＣＡＲの前方領域Ａｆ、後方領域Ａｂ、右側領域Ａｒ、左側領域Ａｌをそれぞれ撮像するように構成する。また、自動車ＣＡＲの左右のヘッドランプＲ－ＨＬ，Ｌ－ＨＬとリアランプＲ－ＲＬ，Ｌ－ＲＬにそれぞれマーカー２ｆｒ，２ｆｌ，２ｂｒ，２ｂｌを配設し、前記各領域Ａｆ，Ａｂ，Ａｒ，Ａｌが重畳する領域に基準マークＭを照射するように構成する。
　そして、前方領域Ａｆと右側領域Ａｒが重畳する領域に照射した基準マークＭにより、カメラ１ｆと１ｒの両画像のフレーム及びフレームタイミングを特定する。同様に、後方領域Ａｂと右側領域Ａｒが重畳する領域に照射した基準マークＭにより、カメラ１ｂと１ｒの両画像のフレーム及びフレームタイミングを特定する。このようにして自動車の周辺を撮像する全てのカメラ１ｆ，１Ｂ，１ｒ，１ｌの画像のフレーム及びフレームタイミングを特定することができる。
　本発明のカメラシステムは、自動車の自動運転制御のセンサーとして利用されるのに限られるものではなく、自動車のヘッドランプの配光制御、あるいは自動車に装備される表示装置の表示制御等のセンサーとして利用することも可能である。
　本国際出願は、２０１９年１１月１１日に出願された日本国特許出願である特願２０１９－２０３６３１号に基づく優先権を主張するものであり、当該日本国特許出願である特願２０１９－２０３６３１号の全内容は、本国際出願に援用される。
　本発明の特定の実施の形態についての上記説明は、例示を目的として提示したものである。それらは、網羅的であったり、記載した形態そのままに本発明を制限したりすることを意図したものではない。数多くの変形や変更が、上記の記載内容に照らして可能であることは当業者に自明である。
１　カメラ
２　マーカー
３　システムＥＣＵ
１Ｒ　右カメラ
１Ｌ　左カメラ
１１　カメラボディ
１２　撮像レンズ
１３　撮像素子
２１　ボディ
２２　光源
２３　照射レンズ
３１　画像処理部
３２　マーカー制御部
３３　情報取得部
Ｍ　基準マーク
ｆ１～ｆ６　フレーム
ＣＡＲ　自動車
Ｒ－ＨＬ，Ｌ－ＨＬ　ヘッドランプ
ＬＵ　ランプユニット
ＡＲ，ＡＬ　撮像領域
ＡＣ　撮像領域（重畳領域）

Claims (10)

  1. 　それぞれ所定のフレームレートで異なる領域を撮像する複数のカメラと、前記複数のカメラのそれぞれの撮像領域が重畳する領域に基準マークを照射するマーカーを備え、前記マーカーは前記基準マークの照射形態を変化制御することを特徴とするカメラシステム。
  2. 　前記マーカーは前記基準マークを赤外光で照射し、前記複数のカメラは可視光領域から赤外光領域を撮像する感度を有する請求項１に記載のカメラシステム。
  3. 　前記マーカーは、前記基準マークの明るさを１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
  4. 　前記マーカーは、前記基準マークの形状を１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
  5. 　前記マーカーは、前記基準マークの照射時間のデューティ比を１つ叉は複数のフレーム毎に変化制御する請求項２に記載のカメラシステム。
  6. 　前記マーカーは、前記基準マークを時間軸上で分割して照射する請求項５に記載のカメラシステム。
  7. 　前記複数のカメラ及びマーカーは車両に装備され、当該車両の外部領域を撮像する請求項１ないし６のいずれかに記載のカメラシステム。
  8. 　前記マーカーは車両のランプに内装されている請求項７に記載のカメラシステム。
  9. 　前記複数のカメラは車両のランプに内装されている請求項８に記載のカメラシステム。
  10. 　さらにシステムＥＣＵを備えており、このシステムＥＣＵは、前記複数のカメラの撮像信号から画像を得る画像処理部と、得られた画像に基づいて前記マーカーでの基準マークの照射を制御するマーカー制御部と、前記画像から所要の情報を取得する情報取得部を備える請求項１ないし９のいずれかに記載のカメラシステム。
PCT/JP2020/040053 2019-11-11 2020-10-26 カメラシステム WO2021095497A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-203631 2019-11-11
JP2019203631A JP2021075163A (ja) 2019-11-11 2019-11-11 カメラシステム

Publications (1)

Publication Number Publication Date
WO2021095497A1 true WO2021095497A1 (ja) 2021-05-20

Family

ID=75898565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/040053 WO2021095497A1 (ja) 2019-11-11 2020-10-26 カメラシステム

Country Status (2)

Country Link
JP (1) JP2021075163A (ja)
WO (1) WO2021095497A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4199493A1 (en) 2021-12-15 2023-06-21 ZKW Group GmbH Vehicle headlamp

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
JP2019117197A (ja) * 2016-09-15 2019-07-18 株式会社小糸製作所 センサシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
JP2019117197A (ja) * 2016-09-15 2019-07-18 株式会社小糸製作所 センサシステム

Also Published As

Publication number Publication date
JP2021075163A (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
CN105723239B (zh) 测距摄像系统以及固体摄像元件
JP5680573B2 (ja) 車両の走行環境認識装置
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
JP6963563B2 (ja) 車両用照明システムおよび車両
WO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
WO2012140752A1 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP2005350010A (ja) ステレオ式車外監視装置
JP6484420B2 (ja) 車両用リアランプ
CN103249597A (zh) 车辆配光控制装置以及方法
JP2021507205A (ja) プロジェクタとカメラモジュールを用いた３ｄ−周辺把握
JP2018203244A (ja) 車両用ヘッドランプシステムおよびその制御方法
JP4688196B2 (ja) 自動車用暗視システム
KR20230117231A (ko) 마이크로 렌즈 어레이 프로젝션 장치, 조명 장치, 및차량
JP4751443B2 (ja) 撮影装置、及び撮影方法
WO2021095497A1 (ja) カメラシステム
US10836301B2 (en) Lighting system for ascertaining geometric properties, and driver assistance system and method therefor
JP7252755B2 (ja) アクティブセンサ、物体識別システム、車両、車両用灯具
JP6254338B2 (ja) 撮像装置及びこれを備える制御システム
EP3605497A1 (en) Illumination image capture device
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
WO2016091813A1 (en) Image calibration and monitoring apparatus and image calibration and monitoring method
JP3850021B2 (ja) 赤外線照明付撮影装置
WO2021193645A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
CN111971527B (zh) 摄像装置
US11245829B2 (en) Communication device of a motor vehicle, a motor vehicle lighting device for the communication device of a motor vehicle and a Car2Car or Car2X communication method for a motor vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20886875

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20886875

Country of ref document: EP

Kind code of ref document: A1