WO2019221151A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2019221151A1
WO2019221151A1 PCT/JP2019/019194 JP2019019194W WO2019221151A1 WO 2019221151 A1 WO2019221151 A1 WO 2019221151A1 JP 2019019194 W JP2019019194 W JP 2019019194W WO 2019221151 A1 WO2019221151 A1 WO 2019221151A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
vehicle
imaging
information
image data
Prior art date
Application number
PCT/JP2019/019194
Other languages
English (en)
French (fr)
Inventor
康平 門下
大祐 片岡
俊樹 小野
雅章 座間
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2019221151A1 publication Critical patent/WO2019221151A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present technology relates to an imaging system, and more particularly, to an imaging system including an imaging device mounted on a vehicle.
  • the distance measurement in the conventional in-vehicle stereo camera is realized by a parallax image of the same type of twin-lens camera near the upper center of the windshield of the vehicle.
  • the imaging range of the camera is always fixed to the vehicle.
  • there is a difference between the front direction of the vehicle and the traveling direction of the vehicle and there is a concern that the accuracy of distance measurement with respect to the traveling direction of the vehicle is lowered.
  • Patent Document 1 proposes a moving body system that controls the line-of-sight direction of a stereo camera in accordance with a change in the traveling direction of a vehicle.
  • the entire stereo camera is rotationally controlled, and there is a mechanical problem that the movable range becomes large.
  • the purpose of this technology is to satisfactorily avoid a decrease in ranging accuracy in the traveling direction of the vehicle.
  • the concept of this technology is A first imaging device mounted on a vehicle and having a first angle of view; A second imaging device mounted on the vehicle and having a second angle of view smaller than the first angle of view; A drive unit that drives the second imaging device to move the imaging range of the second imaging device;
  • the imaging system includes a control unit that controls the drive unit based on information related to the progress of the vehicle.
  • the present technology includes a first imaging device and a second imaging device mounted on a vehicle.
  • the first imaging device has a first angle of view.
  • the second imaging device has a second field angle smaller than the first field angle.
  • the second imaging device is driven by the drive unit so as to move the imaging range of the second imaging device.
  • the drive unit may be configured to rotationally drive the second imaging device so as to move the imaging range of the second imaging device.
  • the drive unit may drive the second imaging device in a range where the imaging range of the second imaging device does not exceed the imaging range of the first imaging device.
  • the drive unit may be configured to be able to drive the second imaging device in the horizontal direction and the vertical direction.
  • the drive unit is controlled by the control unit based on the information related to the progress of the vehicle.
  • the information may be curve information.
  • the information may be map information.
  • the information may be given from a vehicle control unit mounted on the vehicle.
  • the information may be given from a sensor mounted on the vehicle.
  • the information may be information indicating an angle of the traveling direction of the vehicle with respect to the front direction of the vehicle.
  • a parallax determination unit that obtains parallax information in the imaging range of the second imaging device based on image data from the first imaging device and image data from the second imaging device may be further provided.
  • a distance calculation unit that obtains distance information in the imaging range of the second imaging device based on the parallax information may be further provided.
  • an image processing unit that obtains high-resolution image data by combining image data from the first imaging device and image data from the second imaging device so as to overlap based on parallax information. May be further provided.
  • the second imaging device having the second field angle smaller than the first field angle is rotationally driven based on the information related to the traveling of the vehicle. Therefore, it is possible to satisfactorily avoid a decrease in distance measurement accuracy in the traveling direction of the vehicle without causing a mechanical problem that the range of motion becomes large.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging system as a first embodiment.
  • FIG. It is a figure which shows an example of the correspondence of imaging range AL of a 1st imaging device, and imaging range AR of a 2nd imaging device. It is a figure shown about the conventional vehicle-mounted stereo camera. It is a figure shown about the vehicle-mounted stereo camera of embodiment.
  • FIG. 1 shows a configuration example of an imaging system 100 as an embodiment.
  • the imaging system 100 includes a first imaging device 101, a second imaging device 102, a drive unit 103, an image processing unit 104, a vehicle control unit (ECU: Electronic Control Unit) 105, a steering 106, A brake 107 and a display unit 108 are provided.
  • ECU Electronic Control Unit
  • the first imaging device 101 is a wide-angle camera having a first angle of view, and the first imaging device is a narrow-angle camera having a second angle of view smaller than the first angle of view.
  • the first imaging device (wide-angle camera) 101 and the second imaging device (narrow-angle camera) 102 differ only in the angle of view, and use the same image sensor (common pixel pitch).
  • the first imaging device 101 and the second imaging device 102 constitute an in-vehicle stereo camera 111 mounted on the vehicle.
  • the first imaging device 101 is fixed to the vehicle so as to capture the front direction of the vehicle.
  • the second imaging device 102 is capable of imaging not only in the front direction of the vehicle but also in a direction shifted from the front direction, for example, in the horizontal direction and the vertical direction, in this embodiment, in the horizontal direction. It is attached to the vehicle so as to be rotatable.
  • the drive unit 103 is configured by a motor or the like, and rotates the second imaging device 102 so as to move the imaging range of the second imaging device 102 in the left-right direction under the control of the vehicle control unit 105.
  • the optical axis (gaze direction) of the first imaging device 101 is in the front direction of the vehicle, whereas the optical axis (gaze direction) of the second imaging device 102 follows the traveling direction of the vehicle.
  • the drive unit 103 rotationally drives the second imaging device 102 so that the imaging range of the second imaging device 102 does not exceed the imaging range of the first imaging device 101.
  • FIG. 2 shows an example of a correspondence relationship between the imaging range AL of the first imaging device (wide-angle camera) 101 and the imaging range AR of the second imaging device (narrow-angle camera) 102.
  • the imaging range AR is included in the imaging range AL.
  • the imaging range AL is fixed, the imaging range AR moves in the horizontal direction (left-right direction) indicated by the arrows when the second imaging device 102 is rotationally driven.
  • the position of the illustrated imaging range AR indicates a case where the traveling direction of the vehicle matches the front direction of the vehicle.
  • the vehicle control unit 105 controls the drive unit 103 based on, for example, information related to the progress of the vehicle.
  • this information includes curve information obtained by recognizing a white road line from captured image data, map information from a navigation system (not shown), or a vehicle (for example, a steering 106 or a sensor ( Information indicating the angle of the traveling direction of the vehicle with respect to the front direction of the vehicle given by a radar, a lidar, etc.).
  • FIGS. 3A and 3B show a conventional on-vehicle stereo camera 10.
  • the in-vehicle stereo camera 10 includes a left eye camera 11 and a right eye camera 12 having the same angle of view. Since this in-vehicle stereo camera 10 is fixed to the vehicle 40 so that the optical axis (line-of-sight direction) of the camera coincides with the front direction of the vehicle 40, the imaging range of the camera is always fixed with respect to the vehicle 40. It is in.
  • FIG. 3A shows a straight traveling state. In this state, the front direction of the vehicle 40 and the traveling direction of the vehicle 40 match.
  • FIG. 3B shows a right curve state. In this state, the traveling direction of the vehicle 40 deviates from the front direction of the vehicle 40.
  • FIGS. 4A and 4B show the in-vehicle stereo camera 111 according to this embodiment.
  • the first imaging device (wide-angle camera) 101 is fixed to the vehicle 40 so that the optical axis (gaze direction) of the camera coincides with the front direction of the vehicle 40, but the second imaging device (narrow-angle camera). Via 102, it is attached to the vehicle 40 so as to be rotatable in the horizontal direction (left-right direction), and its optical axis follows the traveling direction of the vehicle 40.
  • FIG. 4 (a) shows a straight traveling state.
  • the front direction of the vehicle coincides with the traveling direction of the vehicle. Therefore, the optical axis of the second imaging device (narrow angle camera) 102 matches the front direction of the vehicle in the same manner as the optical axis of the first imaging device (wide angle camera) 101.
  • FIG. 4B shows a right curve state. In this state, the traveling direction of the vehicle deviates from the front direction of the vehicle, and the optical axis (gaze direction) of the second imaging device (narrow-angle camera) 102 matches the traveling direction of the vehicle 40.
  • the image processing unit 104 performs parallax in the imaging range of the second imaging device 102 based on the image data VL from the first imaging device 101 and the image data VR from the second imaging device 102. get information.
  • parallax information is obtained by obtaining the corresponding pixels of the first imaging device 101, for example, in units of subpixels in the imaging range of the second imaging device 102 by image matching processing.
  • the image processing unit 104 calculates a distance (depth) for each pixel in the imaging range of the second imaging device 102 based on the parallax information, obtains a depth map, and supplies the depth map to the vehicle control unit 105.
  • the image processing unit 104 combines the image data VL from the first imaging device 101 and the image data VR from the second imaging device 102 so as to overlap each other based on the parallax information, so that the second High-resolution image data VH in the imaging range of the imaging device 102 is obtained. Then, the image processing unit 104 performs object recognition processing on the high-resolution image data VH and supplies the recognition result to the vehicle control unit 105.
  • This object recognition processing can include the above-described white line recognition of roads in addition to vehicles, people, road signs, traffic lights, and the like. As described above, in the object recognition process using the high-resolution image data, it is possible to accurately recognize an object existing far in the traveling direction.
  • the image processing unit 104 performs object recognition processing on the image data VL from the first imaging device 101 and supplies the recognition result to the vehicle control unit 105.
  • object recognition processing is performed from picked-up image data with a wide field of view, and a vehicle or a person suddenly coming out from the side is recognized. It becomes possible.
  • the vehicle control unit 105 controls the steering 106 and the brake 107 based on the depth map and the object recognition result supplied from the image processing unit 104, and also controls warning display on the display unit 108.
  • FIG. 5 shows a configuration example of the image processing unit 104.
  • the image processing unit 104 includes a parallax determination unit 141, a distance calculation unit 142, an image deformation unit 143, an image interpolation unit 144, and object recognition units 145 and 146.
  • the parallax determination unit 141 is supplied with the image data VL obtained by the first imaging device (wide angle camera) 101 and the image data VR obtained by the second imaging device (narrow angle camera) 102. Is done. For example, the parallax determination unit 141 processes the image data VR to obtain image data VR ′ having the same resolution as the image data VL.
  • the parallax determination unit 141 performs image matching processing in a state where the image based on the image data VR ′ is arranged at the corresponding position of the image based on the image data VL, and obtains parallax information on each pixel of the image data VR ′. For example, when the position of the target pixel of the image data VR ′ is (u2, v2) and the pixel position of the corresponding image data VL is (u1, v1), these (u2, v2), (u1, v1) ) Constitutes disparity information of the target pixel of the image data VR ′.
  • the distance calculation unit 142 calculates a distance (depth) for each pixel in the imaging range of the second imaging device 102 based on the above-described parallax information, obtains a depth map, and supplies the depth map to the vehicle control unit 105. To do.
  • FIG. 6 shows a general camera model. If the point P of the three-dimensional coordinates (X, Y, Z) is reflected at the point p (u, v) on the image, the following formula (1) is established.
  • K is called a camera matrix or an internal parameter matrix of the camera
  • (cx, cy) is a principal point (usually the image center)
  • f is a focal length expressed in units of pixels.
  • T] which is a translation-rotation homogeneous transformation matrix, is called an external parameter matrix.
  • ⁇ is a scale factor.
  • FIG. 7 shows a camera model of a conventional in-vehicle stereo camera 10 (see FIG. 3).
  • the point P of the three-dimensional coordinates (X, Y, Z) appears on the point p1 (u1, v1) on the image by the left-eye camera 11, the following equation (2) is established.
  • the point P of the three-dimensional coordinates (X, Y, Z) is reflected on the point p2 (u2, v2) on the image by the right eye camera 12, the following formula (3) is established.
  • B is the baseline length.
  • the parallax d is expressed by the following formula (4), and the distance Z is calculated by the following formula (5).
  • d u2-u1 (4)
  • Z Bf / d (5)
  • FIG. 8 shows a camera model of the in-vehicle stereo camera 111 (see FIG. 4) of the embodiment.
  • the point P of the three-dimensional coordinates (X, Y, Z) appears in the point p1 (u1, v1) on the image by the first imaging device 101
  • the following equation (6) is established.
  • the point P of the three-dimensional coordinates (X, Y, Z) is reflected at the point p2 (u2, v2) on the image by the second imaging device 102
  • the following formula (7) is established.
  • (u2, v2) is converted by a rotation matrix representing the rotation ⁇ around the Y axis expressed by the following formula (8).
  • the distance Z is calculated by the following formula (9).
  • the distance calculation unit 142 calculates the formula (9) for each pixel in the imaging range of the second imaging device 102 based on the above-described parallax information (u2, v2), (u1, v1). It will be.
  • the image deforming unit 143 corresponds the image data VL obtained by the first imaging device (wide-angle camera) 101 and the image data VR obtained by the second imaging device (narrow-angle camera) 102. Deformation processing is performed on the image data VL so that the portions overlap.
  • the image transformation unit 143 grasps the pixel of the image data VL corresponding to each pixel of the image data VR ′ based on the parallax information obtained by the parallax determination unit 141, and uses the pixel of the image data VL as the image data. It moves based on parallax information so that it may overlap with the corresponding pixel of VR. As a result, the image deforming unit 143 obtains deformed image data VLa corresponding to the imaging range of the second imaging device (narrow angle camera) 102.
  • a point (pixel) P21 in the imaging range AR of the second imaging device (narrow angle camera) 102 is a point (in the imaging range AL of the first imaging device (wide angle camera) 101)
  • the point (pixel) P11 in the imaging range AL is moved based on the parallax information so as to overlap the point (pixel) P21 in the imaging range AR.
  • a point (pixel) P22 in the imaging range AR of the second imaging device (narrow-angle camera) is a point in the imaging range AL of the first imaging device (wide-angle camera).
  • the point (pixel) P12 in the imaging range AL is moved based on the parallax information so as to overlap the point (pixel) P22 in the imaging range AR.
  • the image interpolation unit 144 performs an interpolation process using the image data VR and the deformed image data VLa to obtain high-resolution image data VH.
  • FIG. 10 schematically shows the interpolation process.
  • FIG. 10A shows an example of a correspondence relationship between the respective pixels of the image data VL and the image data VR before being deformed by the image deforming unit 143.
  • the first image pickup device (wide-angle camera) 101 and the second image pickup device (narrow-angle camera) 102 are different from each other only in the angle of view and are composed of the same image sensor (common pixel pitch).
  • the pixel interval dR of the pixel data VR is equal to the pixel interval dL of the image data VL. It is shorter.
  • FIG. 10B illustrates an example of a correspondence relationship between each pixel of the image data VLa and the image data VR that has been subjected to the deformation process by the image deformation unit 143, and a pixel of the high-resolution image data VH obtained by the interpolation process. Show. In the illustrated example, a state in which the pixel P1 of the image data VL is deformed so as to overlap the pixel P2 of the corresponding image data VR is illustrated. Each pixel of the high-resolution image data VH is generated with a pixel interval dH shorter than the pixel interval dR using the pixels of the image data VLa and the image data VR.
  • the object recognition unit 145 performs object recognition based on the high-resolution image data VH corresponding to the imaging range of the second imaging device (narrow angle camera) 102 obtained by the image interpolation unit 144.
  • the recognition result is supplied to the vehicle control unit 105.
  • the object recognition unit 145 recognizes an object such as a vehicle, a pedestrian, a road sign, or a traffic signal using a known object recognition technology.
  • the object recognition process using the high-resolution image data VH it is possible to accurately recognize an object that exists far away.
  • the object recognition unit 146 performs object recognition based on the image data VL obtained by the first imaging device (wide-angle camera) 101 and supplies the recognition result to the vehicle control unit 105.
  • the object recognizing unit 146 recognizes an object such as a vehicle, a pedestrian, a road sign, or a traffic light using a known object recognition technique.
  • object recognition is performed from image data with a wide field of view, and it is possible to recognize a vehicle or a person suddenly coming out from the side.
  • the second imaging device (narrow-angle camera) 102 constituting the in-vehicle stereo camera 11 is rotationally driven based on information relating to the traveling of the vehicle. . Therefore, it is possible to satisfactorily avoid a decrease in distance measurement accuracy in the traveling direction of the vehicle without causing a mechanical problem that the range of motion becomes large.
  • the second imaging device (narrow angle camera) 102 that constitutes the in-vehicle stereo camera 111 is rotationally driven based on the information related to the progress of the vehicle.
  • the first imaging device (wide-angle camera) 101 to be configured is fixed to the vehicle so as to capture the front direction of the vehicle. Therefore, it is possible to avoid the occurrence of a visual field shift due to the follow-up direction tracking.
  • the image data VL from the first imaging device (wide-angle camera) 101 and the image data VR from the second imaging device (narrow-angle camera) 102 are based on the parallax information.
  • the high resolution image data VH in the imaging range of the second imaging device 102 is obtained by combining the corresponding portions so as to overlap each other. For this reason, it is possible to accurately recognize an object existing far in the traveling direction.
  • the present technology is applied to a car, and the second imaging device (narrow angle camera) 102 is driven to rotate in the horizontal direction, that is, the example driven to rotate around the Y axis. Indicated.
  • the point p2 (u2, v2) on the image by the second imaging device 102 is coordinate-transformed with a rotation matrix (see equation (8)) representing the rotation ⁇ around the Y axis.
  • the imaging system of the present technology can be mounted on a moving body such as a drone in addition to a car.
  • a moving body such as a drone
  • the rotation ⁇ around the X axis and the rotation ⁇ around the Z axis in addition to the rotation ⁇ around the Y axis.
  • the point p2 (u2, v2) on the image by the second imaging device 102 is set around the X axis, the Y axis, and the Z axis represented by the following formulas (10), (11), and (12).
  • the present invention can be applied in the same manner as the coordinate transformation with the rotation matrix indicating the rotation around the axis.
  • this technique can also take the following structures.
  • An imaging system comprising: a control unit that controls the drive unit based on information relating to the progress of the vehicle.
  • the driving unit drives the second imaging device in a range in which an imaging range of the second imaging device does not exceed an imaging range of the first imaging device. (1) or (2) The imaging system described.
  • the information is curve information.
  • the imaging system according to any one of (1) to (4), wherein the information is map information.
  • the information is information indicating an angle of a traveling direction of the vehicle with respect to a front direction of the vehicle.
  • the imaging system according to any one of (1) to (7), wherein the information is given from a vehicle control unit mounted on the vehicle.
  • the imaging system according to any one of (1) to (7), wherein the information is given from a sensor mounted on the vehicle.
  • the apparatus further includes a parallax determination unit that obtains parallax information in an imaging range of the second imaging device based on image data from the first imaging device and image data from the second imaging device.
  • the imaging system according to any one of 1) to (9).
  • (11) The imaging system according to (10), further including a distance calculation unit that obtains distance information in an imaging range of the second imaging device based on the parallax information.
  • An image processing unit that obtains high-resolution image data by combining corresponding image data from the first imaging device and image data from the second imaging device so as to overlap based on the parallax information The imaging system according to (10) or (11).
  • DESCRIPTION OF SYMBOLS 100 ... Camera system 101 ... 1st imaging device (wide angle camera) 102: Second imaging device (narrow angle camera) DESCRIPTION OF SYMBOLS 103 ... Drive part 104 ... Image processing part 105 ... Vehicle control part 106 ... Steering 107 ... Brake 108 ... Display part 111 ... Car-mounted stereo camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

車両の進行方向に対する測距の精度低下を良好に回避する。　車両に搭載された第１の撮像装置と第２の撮像装置を備える。第１の撮像装置は第１の画角を有し、第２の撮像装置は第１の画角よりも小さな第２の画角を有する。駆動部により、第２の撮像装置の撮像範囲を移動させるように、第２の撮像装置が駆動される。制御部により、車両の進行に係る情報に基づいて、駆動部が制御される。

Description

撮像システム
　本技術は、撮像システムに関して、詳しくは、車両に搭載される撮像装置を備える撮像システムに関する。
　従来の車載ステレオカメラにおける測距は、車両のフロントガラス中心上部付近の同種２眼カメラの視差画像より実現されている。この車載ステレオカメラは、カメラが車両に固定されているため、カメラの撮像範囲は車両に対して常に固定された状態にある。運転状況によっては、車両のフロント方向と車両の進行方向にズレが生じるため、車両の進行方向に対する測距の精度が低下する懸念があった。
　例えば、特許文献１には、車両の進行方向の変化に応じてステレオカメラの視線方向を制御する移動体システムが提案されている。この移動体システムにおいては、ステレオカメラの全体を回転制御するものであり、可動域が大きくなるという機構上の問題があった。
特開２０１６－１３１３６７号公報
　本技術の目的は、車両の進行方向に対する測距の精度低下を良好に回避することにある。
　本技術の概念は、
　車両に搭載され、第１の画角を有する第１の撮像装置と、
　前記車両に搭載され、前記第１の画角よりも小さな第２の画角を有する第２の撮像装置と、
　前記第２の撮像装置の撮像範囲を移動させるように前記第２の撮像装置を駆動する駆動部と、
　前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
　撮像システムにある。
　本技術においては、車両に搭載される第１の撮像装置と第２の撮像装置を備えている。第１の撮像装置は、第１の画角を有している。第２の撮像装置は、第１の画角よりも小さな第２に画角を有している。駆動部により、第２の撮像装置の撮像範囲を移動させるように第２の撮像装置が駆動される。例えば、駆動部は、第２の撮像装置の撮像範囲を移動させるように第２の撮像装置を回転駆動する、ようにされてもよい。また、例えば、駆動部は、第２の撮像装置の撮像範囲が第１の撮像装置の撮像範囲を越えない範囲で第２の撮像装置を駆動する、ようにされてもよい。また、例えば、駆動部は、第２の撮像装置を横方向および縦方向に駆動可能に構成される、ようにされてもよい。
　制御部により、車両の進行に係る情報に基づいて駆動部が制御される。例えば、情報は、カーブ情報である、ようにされてもよい。また、例えば、情報は、地図情報である、ようにされてもよい。また、例えば、情報は、車両に搭載されている車両制御部から与えられる、ようにされてもよい。また、例えば、情報は、車両に搭載されているセンサから与えられる、ようにされてもよい。また、例えば、情報は、車両のフロント方向に対する車両の進行方向の角度を示す情報である、ようにされてもよい。
　例えば、第１の撮像装置からの画像データと第２の撮像装置からの画像データに基づいて、第２の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える、ようにされてもよい。この場合、例えば、視差情報に基づいて、第２の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える、ようにされてもよい。また、この場合、例えば、視差情報に基づいて第１の撮像装置からの画像データと第２の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える、ようにされてもよい。
　このように本技術においては、第１の画角よりも小さな第２の画角を有する第２の撮像装置を車両の進行に係る情報に基づいて回転駆動するものである。そのため、可動域が大きくなるという機構上の問題を発生させることなく、車両の進行方向に対する測距の精度低下を良好に回避可能となる。
　本技術によれば、車両の進行方向に対する測距の精度低下を良好に回避できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施の形態としての撮像システムの構成例を示すブロック図である。 第１の撮像装置の撮像範囲ＡＬと第２の撮像装置の撮像範囲ＡＲとの対応関係の一例を示す図である。 従来の車載ステレオカメラについて示す図である。 実施の形態の車載ステレオカメラについて示す図である。 画像処理部の構成例を示すブロック図である。 一般的なカメラモデルを示す図である。 従来の車載ステレオカメラのカメラモデルを示す図である。 実施の形態の車載ステレオカメラのカメラモデルを示す図である。 画像変形の処理を説明するための図である。 高解像度画像データを得るための補間処理を概略的に示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［撮像システム］
　図１は、実施の形態としての撮像システム１００の構成例を示している。この撮像システム１００は、第１の撮像装置１０１と、第２の撮像装置１０２と、駆動部１０３と、画像処理部１０４と、車両制御部（ＥＣＵ：Electronic Control Unit）１０５と、ステアリング１０６と、ブレーキ１０７と、表示部１０８を有している。
　第１の撮像装置１０１は第１の画角を有する広角カメラであり、第１の撮像装置は第１の画角より小さな第２の画角を有する狭角カメラである。第１の撮像装置（広角カメラ）１０１と第２の撮像装置（狭角カメラ）１０２は、画角のみが異なり、同一のイメージセンサ（画素ピッチが共通）が使用されている。これら第１の撮像装置１０１および第２の撮像装置１０２は、車両に搭載された車載ステレオカメラ１１１を構成している。第１の撮像装置１０１は、車両のフロント方向を撮像するように当該車両に固定されている。一方、第２の撮像装置１０２は、車両のフロント方向だけでなく、このフロント方向からずれた方向の撮像も可能となるように、例えば、横方向および縦方向に、この実施の形態では横方向に回動可能に車両に取り付けられている。
　駆動部１０３は、モータ等で構成され、車両制御部１０５の制御のもと、第２の撮像装置１０２の撮像範囲を左右方向に移動させるように、当該第２の撮像装置１０２を回転駆動する。この場合、第１の撮像装置１０１の光軸（視線方向）が車両のフロント方向にあるのに対して、第２の撮像装置１０２の光軸（視線方向）が車両の進行方向に追従するようにされる。この場合、駆動部１０３は、第２の撮像装置１０２の撮像範囲が、第１の撮像装置１０１の撮像範囲を越えない範囲で第２の撮像装置１０２を回転駆動する。
　図２は、第１の撮像装置（広角カメラ）１０１の撮像範囲ＡＬと第２の撮像装置（狭角カメラ）１０２の撮像範囲ＡＲとの対応関係の一例を示している。図示のように、撮像範囲ＡＲは撮像範囲ＡＬに包含される。撮像範囲ＡＬが固定であるのに対して、撮像範囲ＡＲは第２の撮像装置１０２が回転駆動されることで、矢印で示す横方向（左右方向）に、移動する。なお、図示の撮像範囲ＡＲの位置は、車両の進行方向が車両のフロント方向と一致している場合を示している。
　この場合、車両制御部１０５は、例えば、車両の進行に係る情報に基づいて、駆動部１０３を制御する。例えば、この情報は、撮像画像データから道路の白線が認識されることで得られるカーブ情報、図示しないナビゲーションシステムからの地図情報、あるいは車両、例えばステアリング１０６から、あるいは車両に搭載されているセンサ（レーダ、ライダなど）から与えられる車両のフロント方向に対する車両の進行方向の角度を示す情報などである。
　図３（ａ），（ｂ）は、従来の車載ステレオカメラ１０について示している。この車載ステレオカメラ１０は、同一画角を有する左眼カメラ１１および右眼カメラ１２からなっている。この車載ステレオカメラ１０は、カメラの光軸（視線方向）が車両４０のフロント方向と一致するように車両４０に固定されているため、カメラの撮像範囲は車両４０に対して常に固定された状態にある。図３（ａ）は、直進状態を示している。この状態では、車両４０のフロント方向と車両４０の進行方向は一致している。これに対して、図３（ｂ）は、右カーブ状態を示している。この状態では、車両４０の進行方向は車両４０のフロント方向からずれる。
　図４（ａ），（ｂ）は、この実施の形態の車載ステレオカメラ１１１について示している。第１の撮像装置（広角カメラ）１０１に関してはカメラの光軸（視線方向）が車両４０のフロント方向と一致するように車両４０に固定されているが、第２の撮像装置（狭角カメラ）１０２に介しては、横方向（左右方向）に回動可能に車両４０に取り付けられ、その光軸が車両４０の進行方向に追従するようにされている。
　図４（ａ）は、直進状態を示している。この状態では、車両のフロント方向と車両の進行方向は一致している。そのため、第２の撮像装置（狭角カメラ）１０２の光軸は、第１の撮像装置（広角カメラ）１０１の光軸と同じように、車両のフロント方向と一致している。これに対して、図４（ｂ）は、右カーブ状態を示している。この状態では、車両の進行方向は車両のフロント方向からずれ、第２の撮像装置（狭角カメラ）１０２の光軸（視線方向）は車両４０の進行方向と一致したものとなる。
　図１に戻って、画像処理部１０４は、第１の撮像装置１０１からの画像データＶＬと第２の撮像装置１０２からの画像データＶＲに基づいて、第２の撮像装置１０２の撮像範囲における視差情報を得る。この場合、画像マッチング処理により、第２の撮像装置１０２の撮像範囲において、対応する第１の撮像装置１０１の画素が例えばサブピクセル単位で求められることで、視差情報が得られる。そして、画像処理部１０４は、第２の撮像装置１０２の撮像範囲の画素毎に、視差情報に基づいて距離（奥行き）を計算してデプスマップを得、車両制御部１０５に供給する。
　また、画像処理部１０４は、視差情報に基づいて第１の撮像装置１０１からの画像データＶＬと第２の撮像装置１０２からの画像データＶＲの対応する部分が重なるように合成して、第２の撮像装置１０２の撮像範囲における高解像度画像データＶＨを得る。そして、画像処理部１０４は、この高解像度画像データＶＨに対して物体認識処理を施して、その認識結果を車両制御部１０５に供給する。この物体認識処理には、車両、人、道路標識、信号機等の他に、上述した道路の白線認識も含めることができる。このように高解像度画像データを用いた物体認識処理では、進行方向の遠方に存在する物体の認識を精度よく行うことができる。
　また、画像処理部１０４は、第１の撮像装置１０１からの画像データＶＬと対して物体認識処理を施して、その認識結果を車両制御部１０５に供給する。このように第１の撮像装置１０１からの画像データＶＬを用いた物体認識処理では、広視野の撮像画像データから物体認識を行うものであり、横から急に出てくる車両や人を認識することが可能となる。
　車両制御部１０５は、画像処理部１０４から供給されるデプスマップや物体認識結果に基づいて、ステアリング１０６やブレーキ１０７を制御し、また、表示部１０８における警告表示なども制御する。
　図５は、画像処理部１０４の構成例を示している。この画像処理部１０４は、視差判定部１４１と、距離計算部１４２と、画像変形部１４３と、画像補間部１４４と、物体認識部１４５，１４６を有している。
　視差判定部１４１には、第１の撮像装置（広角カメラ）１０１で得られた画像データＶＬが供給されると共に、第２の撮像装置（狭角カメラ）１０２で得られた画像データＶＲが供給される。視差判定部１４１は、例えば、画像データＶＲを処理して画像データＶＬと解像度が合った画像データＶＲ´を得る。
　視差判定部１４１は、画像データＶＲ´による画像が画像データＶＬによる画像の対応位置に配置された状態で、画像マッチング処理を行って、画像データＶＲ´の各画素の視差情報を得る。例えば、画像データＶＲ´の対象画素の位置が（ｕ２，ｖ２）であって、対応した画像データＶＬの画素位置が（ｕ１，ｖ１）であるとき、これら（ｕ２，ｖ２）、（ｕ１，ｖ１）の位置は画像データＶＲ´の当該対象画素の視差情報を構成する。
　距離計算部１４２は、第２の撮像装置１０２の撮像範囲の画素毎に、上述した視差情報に基づいて距離（奥行き）を計算してデプスマップを得、そのデプスマップを車両制御部１０５に供給する。
　図６は、一般的なカメラモデルを示している。３次元座標（Ｘ，Ｙ，Ｚ）の点Ｐが画像上の点ｐ（ｕ，ｖ）に写ったとすると、以下の数式（１）が成り立つ。ここで、Ｋは、カメラ行列、またはカメラの内部パラメータ行列と呼ばれ、（ｃｘ，ｃｙ）は主点（通常は画像中心）、ｆはピクセル単位で表される焦点距離である。また、並進-回転の同次変換行列である［Ｒ｜Ｔ］は，外部パラメータ行列と呼ばれる。また、λは、スケールファクタである。
Figure JPOXMLDOC01-appb-M000001
　図７は、従来の車載ステレオカメラ１０（図３参照）のカメラモデルを示している。３次元座標（Ｘ，Ｙ，Ｚ）の点Ｐが左眼カメラ１１による画像上の点ｐ1（ｕ1，ｖ1）に写ったとすると、以下の数式（２）が成り立つ。また、３次元座標（Ｘ，Ｙ，Ｚ）の点Ｐが右眼カメラ１２による画像上の点ｐ2（ｕ2，ｖ2）に写ったとすると、以下の数式（３）が成り立つ。ここで、Ｂは、基線長である。
Figure JPOXMLDOC01-appb-M000002
　この場合、視差ｄは、以下の数式（４）で表され、距離Ｚは、以下の数式（５）で計算される。
　　　ｄ＝ｕ2－ｕ1　　　・・・（４）
　　　Ｚ＝Ｂｆ/ｄ　　　・・・（５）
　図８は、実施の形態の車載ステレオカメラ１１１（図４参照）のカメラモデルを示している。３次元座標（Ｘ，Ｙ，Ｚ）の点Ｐが第１の撮像装置１０１による画像上の点ｐ1（ｕ1，ｖ1）に写ったとすると、以下の数式（６）が成り立つ。また、３次元座標（Ｘ，Ｙ，Ｚ）の点Ｐが第２の撮像装置１０２による画像上の点ｐ2（ｕ2，ｖ2）に写ったとすると、以下の数式（７）が成り立つ。この場合、（ｕ2，ｖ2）は、以下の数式（８）で示されるＹ軸周りの回転θを表す回転行列で変換されたものとなっている。
Figure JPOXMLDOC01-appb-M000003
　この場合、距離Ｚは、以下の数式（９）で計算される。つまり、距離計算部１４２では、第２の撮像装置１０２の撮像範囲の画素毎に、上述した視差情報（ｕ２，ｖ２ ）、（ｕ１，ｖ１）に基づいて、この数式（９）の計算が行われることになる。
Figure JPOXMLDOC01-appb-M000004
　図５に戻って、画像変形部１４３は、第１の撮像装置（広角カメラ）１０１で得られた画像データＶＬと第２の撮像装置（狭角カメラ）１０２で得られた画像データＶＲの対応部分が重なるように、画像データＶＬに対して変形処理をする。この場合、画像変形部１４３は、視差判定部１４１で得られた視差情報に基づいて画像データＶＲ´の各画素に対応した画像データＶＬの画素を把握し、当該画像データＶＬの画素を画像データＶＲの対応する画素に重なるように、視差情報に基づいて移動させる。これにより、画像変形部１４３は、第２の撮像装置（狭角カメラ）１０２の撮像範囲に対応した変形画像データＶＬａを得る。
　例えば、図９に示すように、第２の撮像装置（狭角カメラ）１０２の撮像範囲ＡＲ内の点（画素）Ｐ２１に第１の撮像装置（広角カメラ）１０１の撮像範囲ＡＬ内の点（画素）Ｐ１１が対応していることが把握された場合、撮像範囲ＡＬ内の点（画素）Ｐ１１が撮像範囲ＡＲ内の点（画素）Ｐ２１と重なるように視差情報に基づいて移動される。また、同様に、図９に示すように、第２の撮像装置（狭角カメラ）の撮像範囲ＡＲ内の点（画素）Ｐ２２に第１の撮像装置（広角カメラ）の撮像範囲ＡＬ内の点（画素）Ｐ１２が対応していることが把握された場合、撮像範囲ＡＬ内の点（画素）Ｐ１２が撮像範囲ＡＲ内の点（画素）Ｐ２２と重なるように視差情報に基づいて移動される。
　図５に戻って、画像補間部１４４は、画像データＶＲと変形画像データＶＬａとを用いた補間処理を行って高解像度画像データＶＨを得る。図１０は、補間処理を概略的に示している。図１０（ａ）は、画像変形部１４３で変形処理される前の画像データＶＬと画像データＶＲのそれぞれの画素の対応関係の一例を示している。上述したように、第１の撮像装置（広角カメラ）１０１と第２の撮像装置（狭角カメラ）１０２は、画角のみが異なり、同一のイメージセンサ（画素ピッチが共通）からなっている。従って、この場合、画像データＶＬが広角撮像に係るものであるのに対して画像データＶＲは狭角撮像に係るものであることから、画素データＶＲの画素間隔ｄＲは画像データＶＬの画素間隔ｄＬより短くなっている。
　図１０（ｂ）は、画像変形部１４３で変形処理された後の画像データＶＬａと画像データＶＲのそれぞれの画素と、補間処理によって得られる高解像度画像データＶＨの画素との対応関係の一例を示している。図示の例においては、画像データＶＬの画素Ｐ１が対応する画像データＶＲの画素Ｐ２と重なるように変形された状態を示している。高解像度画像データＶＨの各画素は、画像データＶＬａと画像データＶＲの画素を用いて、画素間隔ｄＲよりも短い画素間隔ｄＨで生成されている。
　図５に戻って、物体認識部１４５は、画像補間部１４４で得られた第２の撮像装置（狭角カメラ）１０２の撮像範囲に対応した高解像度画像データＶＨに基づいて物体認識を行い、その認識結果を車両制御部１０５に供給する。この場合、物体認識部１４５は、周知の物体認識技術を用いて、車両、歩行者、道路標識、信号機等の物体を認識する。このように高解像度画像データＶＨを用いた物体認識処理では、遠方に存在する物体の認識を精度よく行うことができる。
　また、物体認識部１４６は、第１の撮像装置（広角カメラ）１０１で得られた画像データＶＬに基づいて物体認識を行い、その認識結果を車両制御部１０５に供給する。この場合、物体認識部１４６は、周知の物体認識技術を用いて、車両、歩行者、道路標識、信号機等の物体を認識する。このように画像データＶＬを用いた物体認識処理では、広視野の画像データから物体認識を行うものであり、横から急に出てくる車両や人の認識も可能となる。
　以上説明したように、図１に示す撮像システム１００においては、車載ステレオカメラ１１を構成する第２の撮像装置（狭角カメラ）１０２を車両の進行に係る情報に基づいて回転駆動するものである。そのため、可動域が大きくなるという機構上の問題を発生させることなく、車両の進行方向に対する測距の精度低下を良好に回避できる。
　また、図１に示す撮像システム１００においては、車載ステレオカメラ１１１を構成する第２の撮像装置（狭角カメラ）１０２のみを車両の進行に係る情報に基づいて回転駆動し、車載ステレオカメラ１１１を構成する第１の撮像装置（広角カメラ）１０１については、車両のフロント方向を撮像するように当該車両に固定しておくものである。そのため、進行方向追従による視野はずれの発生を回避できる。
　また、図１に示す撮像システム１００においては、視差情報に基づいて第１の撮像装置（広角カメラ）１０１からの画像データＶＬと第２の撮像装置（狭角カメラ）１０２からの画像データＶＲの対応する部分が重なるように合成して、第２の撮像装置１０２の撮像範囲における高解像度画像データＶＨを得るものである。そのため、進行方向の遠方に存在する物体の認識を精度よく行うことができる。
　＜２．変形例＞
　なお、上述実施の形態においては、本技術が車に適用され、第２の撮像装置（狭角カメラ）１０２が横方向に回転駆動される例、つまりＹ軸を中心に回転駆動される例を示した。そのために、第２の撮像装置１０２による画像上の点ｐ2（ｕ2，ｖ2）をＹ軸周りの回転θを表す回転行列（数式（８）参照）で座標変換をするものとしている。
　しかし、本技術の撮像システムは、車の他にドローン等の移動体に搭載し得るものである。この場合、Ｙ軸周りの回転θの他に、Ｘ軸周りの回転θやＺ軸周りの回転θも考慮することが必要となる。その際には、第２の撮像装置１０２による画像上の点ｐ2（ｕ2，ｖ2）を、以下の数式（１０）、（１１）、（１２）で示されるＸ軸周り、Ｙ軸周り、Ｚ軸周りの回転を示す回転行列で座標変換をするものとして、同様に適用できる。
Figure JPOXMLDOC01-appb-M000005
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本技術は、以下のような構成を取ることもできる。
　（１）車両に搭載され、第１の画角を有する第１の撮像装置と、
　前記車両に搭載され、前記第１の画角よりも小さな第２の画角を有する第２の撮像装置と、
　前記第２の撮像装置の撮像範囲を移動させるように前記第２の撮像装置を回転駆動する駆動部と、
　前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
　撮像システム。
　（２）前記駆動部は、前記第２の撮像装置の撮像範囲を移動させるように前記第２の撮像装置を回転駆動する
　前記（１）に記載の撮像システム。
　（３）前記駆動部は、前記第２の撮像装置の撮像範囲が前記第１の撮像装置の撮像範囲を越えない範囲で前記第２の撮像装置を駆動する
　前記（１）または（２）に記載の撮像システム。
　（４）前記駆動部は、前記第２の撮像装置を横方向および縦方向に駆動可能に構成される
　前記（１）から（３）のいずれかに記載の撮像システム。
　（５）前記情報は、カーブ情報である
　前記（１）から（４）のいずれかに記載の撮像システム。
　（６）前記情報は、地図情報である
　前記（１）から（４）のいずれかに記載の撮像システム。
　（７）
　前記情報は、前記車両のフロント方向に対する前記車両の進行方向の角度を示す情報である
　前記（１）から（４）のいずれかに記載の撮像システム。
　（８）前記情報は、前記車両に搭載されている車両制御部から与えられる
　前記（１）から（７）のいずれかに記載の撮像システム。
　（９）前記情報は、前記車両に搭載されているセンサから与えられる
　前記（１）から（７）のいずれかに記載の撮像システム。
　（１０）前記第１の撮像装置からの画像データと前記第２の撮像装置からの画像データに基づいて、前記第２の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える
　前記（１）から（９）のいずれかに記載の撮像システム。
　（１１）上記視差情報に基づいて、前記第２の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える
　前記（１０）に記載の撮像システム。
　（１２）前記視差情報に基づいて前記第１の撮像装置からの画像データと前記第２の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える
　前記（１０）または（１１）に記載の撮像システム。
　１００・・・カメラシステム
　１０１・・・第１の撮像装置（広角カメラ）
　１０２・・・第２の撮像装置（狭角カメラ）
　１０３・・・駆動部
　１０４・・・画像処理部
　１０５・・・車両制御部
　１０６・・・ステアリング
　１０７・・・ブレーキ
　１０８・・・表示部
　１１１・・・車載ステレオカメラ

Claims (12)

  1. 　車両に搭載され、第１の画角を有する第１の撮像装置と、
    　前記車両に搭載され、前記第１の画角よりも小さな第２の画角を有する第２の撮像装置と、
    　前記第２の撮像装置の撮像範囲を移動させるように前記第２の撮像装置を駆動する駆動部と、
    　前記車両の進行に係る情報に基づいて前記駆動部を制御する制御部を備える
    　撮像システム。
  2. 　前記駆動部は、前記第２の撮像装置の撮像範囲を移動させるように前記第２の撮像装置を回転駆動する
    　請求項１に記載の撮像システム。
  3. 　前記駆動部は、前記第２の撮像装置の撮像範囲が前記第１の撮像装置の撮像範囲を越えない範囲で前記第２の撮像装置を駆動する
    　請求項１に記載の撮像システム。
  4. 　前記駆動部は、前記第２の撮像装置を横方向および縦方向に駆動可能に構成される
    　請求項１に記載の撮像システム。
  5. 　前記情報は、カーブ情報である
    　請求項１に記載の撮像システム。
  6. 　前記情報は、地図情報である
    　請求項１に記載の撮像システム。
  7. 　前記情報は、前記車両のフロント方向に対する前記車両の進行方向の角度を示す情報である
    　請求項１に記載の撮像システム。
  8. 　前記情報は、前記車両に搭載されている車両制御部から与えられる
    　請求項１に記載の撮像システム。
  9. 　前記情報は、前記車両に搭載されているセンサから与えられる
    　請求項１に記載の撮像システム。
  10. 　前記第１の撮像装置からの画像データと前記第２の撮像装置からの画像データに基づいて、前記第２の撮像装置の撮像範囲における視差情報を得る視差判定部をさらに備える
    　請求項１に記載の撮像システム。
  11. 　上記視差情報に基づいて、前記第２の撮像装置の撮像範囲における距離情報を得る距離演算部をさらに備える
    　前記１０に記載の撮像システム。
  12. 　前記視差情報に基づいて前記第１の撮像装置からの画像データと前記第２の撮像装置からの画像データの対応部分が重なるように合成して高解像度画像データを得る画像処理部をさらに備える
    　前記１０に記載の撮像システム。
PCT/JP2019/019194 2018-05-16 2019-05-14 撮像システム WO2019221151A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-094238 2018-05-16
JP2018094238A JP2019201301A (ja) 2018-05-16 2018-05-16 撮像システム

Publications (1)

Publication Number Publication Date
WO2019221151A1 true WO2019221151A1 (ja) 2019-11-21

Family

ID=68540083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019194 WO2019221151A1 (ja) 2018-05-16 2019-05-14 撮像システム

Country Status (2)

Country Link
JP (1) JP2019201301A (ja)
WO (1) WO2019221151A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0996508A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd ステア型撮影装置
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
WO2010026695A1 (ja) * 2008-09-03 2010-03-11 三菱電機株式会社 車両用撮影システム
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2010154304A (ja) * 2008-12-25 2010-07-08 Zhencheng Hu 移動体カメラシステム及び駆動方法
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2017212928A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置、画像処理方法、および車両

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0996508A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd ステア型撮影装置
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
WO2010026695A1 (ja) * 2008-09-03 2010-03-11 三菱電機株式会社 車両用撮影システム
JP2010103810A (ja) * 2008-10-24 2010-05-06 Ricoh Co Ltd 車載用監視装置
JP2010154304A (ja) * 2008-12-25 2010-07-08 Zhencheng Hu 移動体カメラシステム及び駆動方法
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2017212928A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 画像処理装置、画像処理方法、および車両

Also Published As

Publication number Publication date
JP2019201301A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US10857942B2 (en) Image generating device, image generating method, and program
JP7245295B2 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
KR100414708B1 (ko) 화상합성장치 및 방법
US10366512B2 (en) Around view provision apparatus and vehicle including the same
US9475420B2 (en) Display apparatus
CN108139211B (zh) 用于测量的装置和方法以及程序
WO2017145945A1 (ja) ステレオカメラ装置、車両および視差算出方法
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP2017220760A (ja) 車両用画像処理装置
WO2016129552A1 (ja) カメラパラメータ調整装置
JP2004240480A (ja) 運転支援装置
JP2014036268A (ja) 移動体の周辺画像表示装置
US20150158430A1 (en) Operating a Head-Up Display of a Vehicle and Image Determining System for the Head-Up Display
WO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
US20190100141A1 (en) Ascertainment of Vehicle Environment Data
JPWO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN112298040A (zh) 一种基于透明a柱的辅助驾驶方法
US11145112B2 (en) Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
JP2019533875A (ja) 道路の合成トップビュー画像を生成するための方法およびシステム
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
JP2016213708A (ja) 車両用表示装置
WO2019221151A1 (ja) 撮像システム
WO2016088151A1 (ja) 車載用表示装置、車両及び表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19804258

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19804258

Country of ref document: EP

Kind code of ref document: A1