WO2015115103A1 - 画像処理装置、カメラシステム、および画像処理方法 - Google Patents

画像処理装置、カメラシステム、および画像処理方法 Download PDF

Info

Publication number
WO2015115103A1
WO2015115103A1 PCT/JP2015/000403 JP2015000403W WO2015115103A1 WO 2015115103 A1 WO2015115103 A1 WO 2015115103A1 JP 2015000403 W JP2015000403 W JP 2015000403W WO 2015115103 A1 WO2015115103 A1 WO 2015115103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
vehicle
processing apparatus
control information
Prior art date
Application number
PCT/JP2015/000403
Other languages
English (en)
French (fr)
Inventor
智雄 西野
圭俊 中田
瑞己 鈴村
英敏 梅田
横田 匡司
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2015559824A priority Critical patent/JPWO2015115103A1/ja
Publication of WO2015115103A1 publication Critical patent/WO2015115103A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus, a camera system, and an image processing method that output image signals to a plurality of systems.
  • a moving object periphery monitoring device that installs a plurality of in-vehicle cameras on a moving object such as a vehicle, images the periphery of the moving object, and displays a combined image overlooking the periphery of the moving object using the generated captured images.
  • a distant view camera that captures a distant view around a vehicle with a wide angle of view is added to a plurality of close view cameras that capture a distant view of the vicinity of the vehicle in a plurality of areas.
  • a technique for generating a typical vehicle surrounding image is disclosed.
  • An object of the present invention made in view of such circumstances is to provide an image processing apparatus, a camera system, and an image processing method that improve the visibility of a combined image around a vehicle according to various states of the vehicle.
  • an image processing apparatus provides: An image acquisition unit that acquires a plurality of captured images obtained by imaging a peripheral region of the vehicle; A control information acquisition unit for acquiring control information of the vehicle; An image combining unit that generates a combined image from each of the plurality of captured images using a range according to the control information.
  • the camera system includes: A plurality of imaging devices that image a peripheral region of the vehicle and generate a plurality of captured images; An image acquisition unit that acquires the plurality of captured images, a control information acquisition unit that acquires control information of the vehicle, and a combined image are generated from each of the plurality of captured images using a range according to the control information. And an image processing unit having an image combining unit.
  • the image processing method includes: Obtaining a plurality of images obtained by imaging a peripheral region of the vehicle; Obtaining control information of the vehicle; Generating a combined image from each of the plurality of captured images using a range according to the control information.
  • the image processing apparatus since the combined image around the vehicle is generated according to various states of the vehicle, the visibility of the combined image is improved.
  • FIG. 1 It is a block diagram which shows schematic structure of the camera system which concerns on one Embodiment of this invention. It is the schematic which shows arrangement
  • FIG. 1 is a functional block diagram showing a schematic configuration of a camera system 10 according to an embodiment of the present invention.
  • the camera system 10 includes a plurality of imaging devices 11a, 11b, 11c, and 11d, an image processing device 12, and a display device 13.
  • the plurality of imaging devices are, for example, a front camera 11a, a rear camera 11b, a left side camera 11c, and a right side camera 11d.
  • Each component of the camera system 10 can transmit and receive information via an in-vehicle network 14 such as a dedicated line or CAN.
  • the image processing device 12 may include a display unit having the same function as the display device 13.
  • the front camera 11 a is arranged so as to be able to image a peripheral region in front of a moving body 15 such as a vehicle.
  • the rear camera 11b is arranged so as to be able to image a peripheral region behind the moving body 15.
  • the left side camera 11c and the right side camera 11d are arranged so that, for example, the left and right door mirrors 16 can vertically image the peripheral regions on the sides of the moving body 15 downward. Further, the left side camera 11c and the right side camera 11d are arranged symmetrically on the left and right sides of the moving body 15, respectively.
  • the display device 13 is disposed at a position that can be viewed from the driver's seat.
  • the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d are provided with a lens with a wide angle of view such as a fisheye lens, for example, and can capture a peripheral region of the moving body 15 at a wide angle.
  • a lens with a wide angle of view such as a fisheye lens
  • the captured images of the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d are a front area A, a rear area B, a left side area C, and a left side area C of the moving body 15 shown in FIG. Each corresponds to the right side region D.
  • the front camera 11a (see FIG. 1) includes an optical system 17a, an image sensor 18a, an image processing unit 19a, and a camera control unit 20a.
  • the optical system 17a includes a diaphragm and a plurality of lenses, and forms a subject image.
  • the optical system 17a has a wide angle of view, and can form a subject image included in the peripheral region of the moving body 15 as described above.
  • the image sensor 18a is, for example, a CMOS image sensor, and captures a subject image formed by the optical system 17a.
  • the imaging element 18a outputs a captured image generated by imaging to the image processing unit 19a as an image signal.
  • the image processing unit 19a performs predetermined image processing such as noise removal, color interpolation, brightness correction, color correction, gamma correction, and white balance on the image signal acquired from the image sensor 18a.
  • the image processing unit 19 a outputs an image signal subjected to normal image processing to the image processing device 12.
  • the camera control unit 20a controls the operation of each part of the front camera 11a.
  • the camera control unit 20a controls the operations of the image sensor 18a and the image processing unit 19a to periodically output an image signal, for example, at 30 fps.
  • the rear camera 11b, the left side camera 11c, and the right side camera 11d are optical systems 17b, 17c, and 17d, image sensors 18b, 18c, and 18d, image processing units 19b, 19c, and 19d, and cameras.
  • Control units 20b, 20c, and 20d are provided.
  • the functions and configurations of the optical systems 17b, 17c, and 17d, the image sensors 18b, 18c, and 18d, the image processing units 19b, 19c, and 19d, and the camera control units 20b, 20c, and 20d are the same as those of the front camera 11a.
  • the image processing apparatus 12 includes an image acquisition unit 21, a control information acquisition unit 22, an image combination unit 23, an image output unit 24, and a subject recognition unit 25.
  • the image acquisition unit 21 acquires captured images from the plurality of imaging devices 11a, 11b, 11c, and 11d.
  • the control information acquisition unit 22 acquires control information of the moving body 15.
  • the control information is various information related to the state of the moving body 15, for example, information indicating forward, backward, steering angle, and speed of the moving body 15.
  • the control information acquisition unit 22 can acquire control information by an arbitrary method.
  • the control information acquisition unit 22 may acquire the control information from the moving body 15 via the in-vehicle network 14 or other components provided in the moving body 15 output.
  • the control information may be acquired via wired or wireless.
  • the image combination unit 23 generates a combined image using a plurality of captured images acquired by the image acquisition unit 21 as described below.
  • the combined image is an all-around overhead image of the moving body 15.
  • the bird's-eye view image is an image obtained by viewing the peripheral area of the moving body 15 vertically downward from above the moving body 15.
  • the image combining unit 23 determines the range (cutout range) of each captured image used for generating the combined image according to the control information. Details of the process of determining the cutout range will be described later.
  • the image combining unit 23 cuts out the determined cutout ranges from the plurality of captured images.
  • the image combining unit 23 performs viewpoint conversion processing on the plurality of cut-out captured images and converts them into overhead images.
  • the image combining unit 23 generates a combined image using a plurality of captured images that have undergone viewpoint conversion processing. Furthermore, the image combining unit 23 also uses an image of the moving body 15 viewed vertically from below to generate a combined image.
  • an image showing the moving body 15 is used in a partial area (vehicle display area) Ei in the center of the combined image.
  • the image of the front camera 11a is used in the area Ai in front of the area Ei.
  • the image of the rear camera 11b is used for the area Bi behind the area Ei.
  • the image of the left side camera 11c is used for the area Ci on the left side of the area Ei.
  • the image of the right side camera 11d is used in the area Di on the right side of the area Ei.
  • the image output unit 24 (see FIG. 1) converts the combined image generated by the image combining unit 23 into a predetermined image size that can be displayed by the display device 13. Then, the image output unit 24 outputs the combined image obtained by converting the image size to the display device 13.
  • the subject recognition unit 25 determines a captured image for subject recognition according to the control information. Next, the subject recognition unit 25 determines a range (recognition range) used for subject recognition of the determined captured image in accordance with the control information. Details of the processing for determining the captured image and the recognition range of the captured image will be described later.
  • the subject recognition unit 25 performs subject recognition processing within the determined recognition range of the captured image.
  • the recognition of the subject is performed using a general object recognition technique such as pattern recognition.
  • the subject recognition unit 25 detects a predetermined subject such as an obstacle, the subject recognition unit 25 notifies the driver of the presence of the subject.
  • the notification is performed by an arbitrary method such as causing the display device 13 to display the presence of an obstacle or generating a warning sound.
  • the display device 13 includes an LCD, for example, and can display a real-time moving image.
  • the display device 13 displays the combined image output from the image processing device 12.
  • the display device 13 may be configured as a touch panel, for example, and may function as an interface that accepts user operations.
  • the image combining unit 23 of the image processing apparatus 12 determines the cutout range according to the control information of the moving body 15. By determining different clipping ranges according to the control information, the subject included in the captured image to be cut changes.
  • the state where the moving body 15 is stopped and the steering angle is located at the neutral point will be described as a reference state.
  • the neutral point is a steering angle when the moving body 15 travels straight.
  • the front area A of the moving body 15 shown in FIG. 4 corresponds to a captured image of the front camera 11a.
  • the rear area B, left side area C, and right side area D of the moving body 15 correspond to the captured images of the rear camera 11b, the left side camera 11c, and the right side camera 11d, respectively.
  • the mobile body 15 shown in FIG. 4 is defined in the vehicle display area e.
  • the image processing apparatus 12 uses the rear camera 11b, the left side camera 11c, and the right side camera 11d as areas on the captured image corresponding to the rear area, the left area, and the right area near the moving body 15, respectively.
  • the cut-out range b, c, d of the captured image is determined.
  • the combined image (corresponding to the region F1 in FIG. 4) generated by defining the cutout range in this way is a bird's-eye view image of the foreground of the entire periphery of the moving object 15 with the image of the moving object 15 as the center of the combined image.
  • the image processing device 12 When the image processing device 12 detects a change in the traveling direction of the moving body 15 based on the control information, the image processing device 12 expands a cutout range of a captured image obtained by capturing a peripheral region in the traveling direction among the plurality of captured images.
  • the traveling direction can be determined based on, for example, information indicating at least one of forward, backward, and steering angles included in the control information.
  • the traveling direction is determined using the sum of the front-rear direction component and the left-right direction component of the moving body 15.
  • the front-rear direction component is determined based on information indicating forward and reverse.
  • the left-right direction component is determined based on information indicating the steering angle.
  • the moving direction of the moving body 15 determined by the image processing apparatus 12 is eight directions around the moving body 15 (front direction, rear direction, left direction, right direction, left front direction, right front direction, left rear direction, The direction of travel may be determined in more detail. For example, there may be 16 directions around the moving body 15.
  • the image processing apparatus 12 determines the traveling direction of the moving body 15 when the control information includes information indicating that the backward movement and the steering angle of the moving body 15 are cut to the right of the neutral point position. Is determined as the right rear direction.
  • the image processing device 12 uses the rear camera 11b and the right side camera 11d that have captured the peripheral region in the right rear direction to extract the cut-out ranges b and d with respect to the reference state.
  • the combined image (corresponding to the region F2 in FIG. 6) generated by defining the cutout range in this way is a subject that is located farther in the traveling direction (right rear direction) of the moving body 15 than the reference state. Including many.
  • the image processing apparatus 12 increases the amount of expanding the cut-out range as the speed of the moving body 15 indicated by the control information increases. In this way, when the speed of the moving body 15 is high, the driver can visually recognize a subject that is located farther in the traveling direction on the combined image.
  • the image processing apparatus 12 reduces the area of the vehicle display area e in the combined image to be generated with respect to the reference state as the speed of the moving body 15 increases,
  • the cutout range of each captured image is expanded according to the display area e.
  • the combined image (corresponding to the region F3 in FIG. 7) generated by defining the cutout range in this way is a bird's-eye view image obtained by zooming out the moving body 15 and the surrounding area of the moving body 15 as compared with the reference state. . In this way, when the speed of the moving body 15 is high, the driver can visually recognize a subject that exists farther on the combined image.
  • the subject recognition unit 25 determines a captured image for subject recognition in accordance with the control information of the moving body 15.
  • the subject recognition unit 25 determines the traveling direction of the moving body 15 based on the control information.
  • the moving direction of the moving body 15 determined by the image processing apparatus 12 is any one of the four oblique directions around the moving body 15 (left front direction, right front direction, left rear direction, right rear direction). The traveling direction may be determined in more detail.
  • the subject recognition unit 25 identifies a captured image obtained by capturing a peripheral region in a direction opposite to the left and right of the moving direction of the moving body 15 with respect to the moving body 15, and determines a recognition range for the captured image.
  • the traveling direction of the moving body 15 is opposite to the left and right directions, for example, when the steering angle that defines the traveling direction is reversed from the steering angle neutral point (neutral point).
  • the steering angle neutral point is a steering angle when the moving body 15 travels straight. When the steering angle neutral point is 0 °, the steering angle indicates a positive value when the steering wheel is rotated rightward, and indicates a negative value when the steering wheel is rotated leftward. As shown in FIG.
  • the subject recognizing unit 25 determines a recognition range H for the captured images of the rear camera 11b and the left side camera 11c that image the peripheral region G in the left rear direction. In this way, the detection of the subject is performed in the peripheral region in the left rear direction where the probability that the driver pays attention is lower than that in the right rear direction, which is the traveling direction.
  • the subject recognition unit 25 determines the recognition range according to the speed and the steering angle of the moving body 15. For example, the subject recognition unit 25 determines the recognition range so that the length x in the front-rear direction of the peripheral region of the moving body 15 corresponding to the recognition range on the image increases as the speed of the moving body 15 increases. . In addition, the subject recognizing unit 25 increases the recognition range so as to increase the length y in the left-right direction of the peripheral region of the moving body 15 corresponding to the recognition range on the image as the steering angle is farther from the neutral point. decide.
  • the image acquisition unit 21 acquires captured images from the plurality of imaging devices 11a, 11b, 11c, and 11d (step S100).
  • control information acquisition unit 22 acquires control information (step S101).
  • the image combining unit 23 determines the cutout ranges of the plurality of captured images acquired in step S100 based on the control information acquired in step S101 (step S102).
  • the image combining unit 23 cuts out the cutout ranges determined in step S102 from the plurality of captured images acquired in step S100 (step S103).
  • the image combining unit 23 performs viewpoint conversion processing on each of the plurality of captured images cut out in step S103 (step S104).
  • the image combining unit 23 combines the plurality of captured images subjected to the viewpoint conversion process and the image of the moving body 15 to generate a combined image (Step S105).
  • the image output unit 24 converts the combined image generated by the image combining unit 23 into an image size that can be displayed by the display device 13 (step S106), returns to step S100, and performs the same for the next frame. Process.
  • the subject recognition unit 25 acquires captured images from the image acquisition unit 21 (step S200).
  • the subject recognition unit 25 acquires the control information of the moving body 15 from the control information acquisition unit 22 (step S201).
  • the subject recognizing unit 25 determines the traveling direction of the moving body 15 based on the acquired control information, and identifies a captured image obtained by capturing a peripheral region in a direction symmetric with respect to the traveling direction and the steering angle neutral point. (Step S202).
  • the subject recognition unit 25 determines a recognition range for the captured image identified in step S202 based on the control information acquired in step S201 (step S203).
  • the subject recognition unit 25 performs subject recognition processing within the recognition range determined in step S203 (step S204), returns to step S200, and performs the same processing for the next frame.
  • the image processing device 12 of the camera system 10 generates a combined image from each of a plurality of captured images using a range (cutout range) according to control information. For this reason, the visibility of the surrounding area of the moving body 15 which a driver pays attention on the combined image according to various driving situations of the moving body 15 is improved.
  • control information includes forward, reverse, and steering angles of the moving body 15.
  • the image processing apparatus 12 can determine the traveling direction of the moving body 15, and the visibility of the peripheral area of the moving body 15 that the driver pays attention on the combined image according to the traveling direction of the moving body 15 is improved. To do.
  • the image processing device 12 widens the extraction range for the captured image obtained by imaging the peripheral region in the traveling direction, so that the generated combined image is located far away in the traveling direction of the moving body 15. Includes subject. For this reason, the visibility of the peripheral area
  • the image processing apparatus 12 increases the amount by which the cutout range is expanded as the speed of the moving body 15 increases. Includes the subject being positioned. For this reason, the visibility of the peripheral region far from the traveling direction of the moving body 15 which the driver pays attention on the combined image is further improved.
  • the image processing apparatus 12 reduces the vehicle display area on the combined image as the speed of the moving body 15 increases. Therefore, the area of the region where the captured image is used on the generated combined image is reduced. To increase. For this reason, the visibility of the peripheral region far from the moving body 15 which the driver pays attention on the combined image is further improved.
  • the image processing apparatus 12 performs subject recognition on the moving body 15 using a captured image obtained by capturing a peripheral area in the direction opposite to the left and right of the moving direction of the moving body 15. In this way, since the subject is recognized in the peripheral area in the direction opposite to the left and right direction, which is less likely to pay attention to the driver as compared with the direction of travel, the safety of driving is further improved.
  • the image processing apparatus 12 performs subject recognition using a range (recognition range) according to the control information.
  • a range recognition range
  • the image processing apparatus 12 performs subject recognition using a range (recognition range) according to the control information.
  • the image processing device 12 determines the length of the recognition range in the front-rear direction of the moving body 15 according to the speed of the moving body 15. For example, by increasing the length of the recognition range in the front-rear direction as the speed of the moving body 15 increases, it becomes possible to detect a subject that is located further away, and thus driving safety is further improved. Further, the image processing device 12 adjusts the length of the recognition range in the left-right direction of the moving body 15 according to the steering angle of the moving body 15. For example, the length of the recognition range in the left-right direction is increased as the steering angle of the moving body 15 is further away from the neutral point. In this way, it is possible to detect a subject that is highly likely to become a blind spot for the driver and exists in a peripheral region in the direction opposite to the left and right of the moving direction of the moving body 15, and thus driving safety is further improved.
  • the image processing apparatus 12 cuts out the cutout ranges from a plurality of captured images and performs viewpoint conversion processing to generate a combined image.
  • the processing order may be changed.
  • the image processing device 12 performs viewpoint conversion processing on the captured images acquired from the plurality of imaging devices 11a, 11b, 11c, and 11d, generates a combined image, and then determines a cutout range of the combined image. Also good. In such a case, the determined cut-out range is cut out from the combined image including a wide area around the moving body 15 and output.
  • the image processing device 12 is necessary for constructing a captured image within the cut-out range among the pixel signals generated by the imaging elements 18a, 18b, 18c, and 18d of the imaging devices 11a, 11b, 11c, and 11d.
  • the configuration may be such that only the pixel signal of the pixel is acquired.
  • the image processing apparatus 12 performs a process of converting the acquired captured image into an overhead image without performing a process of cutting out the captured image, and generates a combined image.
  • the image processing device 12 may be configured to update the cut-out range and the recognition range when there is a change of a predetermined value or more with respect to the steering angle or speed of the moving body 15. In this way, the probability that the display of the combined image changes unintentionally due to minute steering, accelerator operation, or brake operation by the driver is reduced.
  • the cutout range and the recognition range are described as being rectangular, but any shape such as an ellipse can be employed.
  • the image processing apparatus 12 stores in advance correspondence information indicating correspondence relations between various states of the moving body 15 determined based on the control information and the cutout range, and the cutout corresponding to the acquired control information is stored.
  • the structure which extracts an outgoing range may be sufficient.
  • the subject recognizing unit 25 stores in advance correspondence information indicating correspondence relationships between various states of the moving body 15 determined based on the control information and the recognition range, and recognizes according to the acquired control information. The range may be extracted.
  • the image processing apparatus 12 or the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the camera system 10 by wire or wireless.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

 車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供する。画像処理装置(12)は、車両(15)の周辺領域を撮像した複数の撮像画像を取得する画像取得部(21)と、車両(15)の制御情報を取得する制御情報取得部(22)と、複数の撮像画像それぞれから、制御情報に応じた範囲を用いて結合画像を生成する画像結合部(23)と、を備える。

Description

画像処理装置、カメラシステム、および画像処理方法 関連出願へのクロスリファレンス
 本出願は、日本国特許出願2014-014926号(2014年1月29日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
 本発明は、複数系統に対して画像信号を出力する画像処理装置、カメラシステム、および画像処理方法に関する。
 従来、車両などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示する移動体の周辺監視装置が知られている。例えば、特許文献1には、車両周辺の近景を複数の領域にて撮影する複数台の近景カメラに、広い画角にて車両周囲の遠景を撮影する遠景カメラを加え、近景と遠景との連続的な車両周囲画像を生成する技術が開示されている。
特開2010-166196号公報
 しかしながら、移動体の運転者にとって近景および遠景の何れの画像が必要であるかは、多様な運転状況に応じて異なる。このため、常に近景および遠景の画像の双方を視認可能とすることは、必ずしも適切ではなかった。例えば、運転者にとって不要な領域の画像を表示すると、運転者が必要とする領域の画像の表示範囲が狭くなり、視認性が低下することがあった。
 かかる事情に鑑みてなされた本発明の目的は、車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供することにある。
 上記課題を解決するために本発明に係る画像処理装置は、
 車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
 前記車両の制御情報を取得する制御情報取得部と、
 前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
ことを特徴とする。
 また、本発明に係るカメラシステムは、
 車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
 前記複数の撮像画像を取得する画像取得部と、前記車両の制御情報を取得する制御情報取得部と、前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を有する画像処理装置と、を備える
ことを特徴とする。
 また、本発明に係る画像処理方法は、
 車両の周辺領域を撮像した複数の画像を取得するステップと、
 前記車両の制御情報を取得するステップと、
 前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
ことを特徴とする。
 本発明に係る画像処理装置、カメラシステム、および画像処理方法によれば、車両の多様な状態に応じて車両周辺の結合画像を生成するので、結合画像の視認性が向上する。
本発明の一実施形態に係るカメラシステムの概略構成を示すブロック図である。 図1のカメラシステムの構成要素の配置を示す概略図である。 図1の撮像素子が生成する撮像画像の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 図1の画像処理装置が生成する結合画像の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 移動体の周辺領域および認識範囲の例を示す図である。 図1の画像処理装置の動作を説明するフローチャートである。 図1の画像処理装置の動作を説明するフローチャートである。
 以下、本発明の実施形態について、図面を参照して説明する。
 はじめに、本発明の一実施形態に係るカメラシステムおよび撮像装置について説明する。図1は、本発明の一実施形態に係るカメラシステム10の概略構成を示す機能ブロック図である。
 図1に示すように、カメラシステム10は、複数の撮像装置11a,11b,11c,11dと、画像処理装置12と、表示装置13と、を備える。本実施形態において、複数の撮像装置は、例えば、フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dである。カメラシステム10の各構成要素は、専用線またはCANなどの車載ネットワーク14を介して情報を送受信可能である。カメラシステム10において、画像処理装置12が、表示装置13と同一の機能を有する表示部を備える構成であってもよい。
 図2に示すように、フロントカメラ11aは、車両などの移動体15の前方の周辺領域を撮像可能となるように配置される。リアカメラ11bは、移動体15の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ11cおよび右サイドカメラ11dは、例えば左右のドアミラー16において鉛直下向きに、移動体15の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、左サイドカメラ11cおよび右サイドカメラ11dは、移動体15の左右両側にそれぞれ対称に配置される。表示装置13は、運転席から視認可能な位置に配置される。
 フロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体15の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であり、例えば図3に示すように、画像周辺部における被写体は湾曲して撮像される。本実施形態においてフロントカメラ11a、リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dの撮像画像は、それぞれ図4に示す移動体15の前方領域A、後方領域B、左側方領域C、および右側方領域Dにそれぞれ対応する。
 次に、撮像装置11a,11b,11c,11dの構成について説明する。フロントカメラ11aは(図1参照)、光学系17aと、撮像素子18aと、画像処理部19aと、カメラ制御部20aと、を備える。
 光学系17aは、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系17aは広い画角を有しており、上述のように移動体15の周辺領域に含まれる被写体像を結像可能である。
 撮像素子18aは、例えばCMOS撮像素子であって、光学系17aによって結像する被写体像を撮像する。また、撮像素子18aは、撮像によって生成した撮像画像を、画像信号として画像処理部19aに出力する。
 画像処理部19aは、撮像素子18aから取得した画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランスなどの所定の画像処理を施す。画像処理部19aは、通常の画像処理を施した画像信号を画像処理装置12に出力する。
 カメラ制御部20aは、フロントカメラ11aの各部位の動作を制御する。例えば、カメラ制御部20aは、撮像素子18aおよび画像処理部19aの動作を制御して、周期的に、例えば30fpsで画像信号を出力させる。
 リアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dは、フロントカメラ11aと同様に、光学系17b,17c,17d、撮像素子18b,18c,18d、画像処理部19b,19c,19d、およびカメラ制御部20b,20c,20dをそれぞれ備える。光学系17b,17c,17d、撮像素子18b,18c,18d、画像処理部19b,19c,19d、およびカメラ制御部20b,20c,20dの機能および構成は、フロントカメラ11aと同様である。
 画像処理装置12は、画像取得部21と、制御情報取得部22と、画像結合部23と、画像出力部24と、被写体認識部25と、を備える。
 画像取得部21は、複数の撮像装置11a,11b,11c,11dから撮像画像を取得する。
 制御情報取得部22は、移動体15の制御情報を取得する。制御情報は、移動体15の状態に関する種々の情報、例えば、移動体15の前進、後進、操舵角、および速度を示す情報である。制御情報取得部22は、任意の方法によって制御情報を取得可能であり、例えば車載ネットワーク14を介して移動体15から取得してもよく、あるいは移動体15に備えられる他の構成要素が出力する制御情報を有線または無線を介して取得してもよい。
 画像結合部23は、以下に説明するように、画像取得部21が取得した複数の撮像画像を用いて結合画像を生成する。本実施形態において、結合画像は、移動体15の全周囲俯瞰画像である。俯瞰画像とは、移動体15の周辺領域を移動体15の上方から鉛直下向きに見た画像である。
 まず、画像結合部23は、制御情報に応じて、結合画像の生成に用いる各撮像画像の範囲(切出範囲)をそれぞれ決定する。切出範囲を決定する処理の詳細については後述する。
 次に、画像結合部23は、複数の撮像画像から、それぞれ決定した切出範囲を切り出す。
 次に、画像結合部23は、切り出した複数の撮像画像に対して視点変換処理を施し、それぞれ俯瞰画像に変換する。
 次に、画像結合部23は、視点変換処理を施した複数の撮像画像を用いて、結合画像を生成する。さらに、画像結合部23は、移動体15を上方から鉛直下向きに見た画像も、結合画像の生成に用いる。例えば、図5に示す結合画像において、結合画像中央の一部領域(車両表示領域)Eiに移動体15を示す画像が用いられる。領域Eiの前方の領域Aiにフロントカメラ11aの画像が用いられる。領域Eiの後方の領域Biにリアカメラ11bの画像が用いられる。領域Eiの左側方の領域Ciに左サイドカメラ11cの画像が用いられる。また、領域Eiの右側方の領域Diに右サイドカメラ11dの画像が用いられる。
 画像出力部24は(図1参照)、画像結合部23が生成した結合画像を、表示装置13が表示可能な所定の画像サイズに変換する。そして、画像出力部24は、画像サイズを変換した結合画像を表示装置13に出力する。
 被写体認識部25は、制御情報に応じて、被写体認識を行う撮像画像を決定する。次に、被写体認識部25は、制御情報に応じて、決定した撮像画像の被写体認識に用いる範囲(認識範囲)を決定する。撮像画像および当該撮像画像の認識範囲を決定する処理の詳細については後述する。
 次に、被写体認識部25は、決定した撮像画像の認識範囲内において被写体認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。被写体認識部25は、障害物など所定の被写体を検出すると、当該被写体の存在を運転者に通知する。通知は、例えば表示装置13に障害物の存在を示す表示をさせ、または警告音を発生するなど、任意の方法によって行われる。
 表示装置13は、例えばLCDを含んで構成され、リアルタイムの動画像を表示可能である。表示装置13は、画像処理装置12が出力した結合画像を表示する。また、表示装置13は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
(切出範囲の決定)
 次に、画像処理装置12の画像結合部23が行う、切出範囲を決定する処理について詳細に説明する。前述のように、画像処理装置12の画像結合部23は、移動体15の制御情報に応じて切出範囲を決定する。制御情報に応じて異なる切出範囲を決定することによって、切り出す撮像画像に含まれる被写体が変化する。以下、移動体15が停止しており、操舵角が中立点に位置する状態を基準状態として説明する。後述するように、中立点は、移動体15の直進時における操舵角である。
 前述のように、図4に示す移動体15の前方領域Aは、フロントカメラ11aの撮像画像に対応する。同様に、移動体15の後方領域B、左側方領域C、および右側方領域Dは、それぞれリアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dの撮像画像に対応する。また、図4に示す移動体15は、車両表示領域eに定められる。本実施形態の画像処理装置12は、制御情報に基づいて移動体15が基準状態であると判定するとき、移動体15近傍の前方領域に対応する、フロントカメラ11aの撮像画像上の領域を、フロントカメラ11aの撮像画像の切出範囲aに定める。同様に、画像処理装置12は、移動体15近傍の後方領域、左側方領域、および右側方領域に対応する撮像画像上の領域を、それぞれリアカメラ11b、左サイドカメラ11c、および右サイドカメラ11dの撮像画像の切出範囲b,c,dに定める。このように切出範囲を定めて生成される結合画像(図4の領域F1に対応)は、移動体15の画像を結合画像の中心とした移動体15全周の近景の俯瞰画像である。
 画像処理装置12は、制御情報に基づいて移動体15の進行方向の変化を検出すると、複数の撮像画像のうち進行方向の周辺領域を撮像した撮像画像の切出範囲を広げる。進行方向は、例えば制御情報に含まれる前進、後進、および操舵角の少なくとも1つを示す情報に基づいて判定可能である。例えば、進行方向は、移動体15の前後方向成分と左右方向成分との和を用いて判定される。前後方向成分は、前進および後進を示す情報に基づいて決定される。左右方向成分は、操舵角を示す情報に基づいて決定される。本実施形態において、画像処理装置12が判定する移動体15の進行方向は、移動体15の周囲8方向(前方向、後方向、左方向、右方向、左前方向、右前方向、左後方向、右後方向)の何れかであるが、より詳細に進行方向を判定してもよい。例えば、移動体15の周囲16方向であってもよい。
 本実施形態において、画像処理装置12は、制御情報に移動体15の後進および操舵角が中立点位置よりも右に切れていることを示す情報が含まれる場合には、移動体15の進行方向を右後方向と判定する。このとき、画像処理装置12は、例えば図6に示すように、右後方向の周辺領域を撮像したリアカメラ11bおよび右サイドカメラ11dの撮像画像の切出範囲b,dを、基準状態に対して広げる。このように切出範囲を定めて生成される結合画像(図6の領域F2に対応)は、基準状態と比較して、移動体15の進行方向(右後方向)のより遠方に存在する被写体を多く含む。
 好適には、画像処理装置12は、制御情報が示す移動体15の速度が速いほど、切出範囲を広げる量を増加させる。このようにして、運転者は、移動体15の速度が速い場合には、結合画像上において進行方向のより遠方に存在する被写体を視認可能となる。
 好適には、図7に示すように、画像処理装置12は、移動体15の速度が速いほど、基準状態に対して、生成する結合画像に占める車両表示領域eの面積を縮小し、当該車両表示領域eに合わせて各撮像画像の切出範囲を広げる。このように切出範囲を定めて生成される結合画像(図7の領域F3に対応)は、基準状態と比較して、移動体15および移動体15の周辺領域をズームアウトした俯瞰画像である。このようにして、運転者は、移動体15の速度が速い場合には、結合画像上においてより遠方に存在する被写体を視認可能である。
(認識範囲の決定)
 次に、画像処理装置12の被写体認識部25が行う、認識範囲を決定する処理について詳細に説明する。前述のように、被写体認識部25は、移動体15の制御情報に応じて、被写体認識を行う撮像画像を決定する。まず、被写体認識部25は、制御情報に基づいて移動体15の進行方向を判定する。本実施形態において、画像処理装置12が判定する移動体15の進行方向は、移動体15の周囲斜め4方向(左前方向、右前方向、左後方向、右後方向)の何れかであるが、より詳細に進行方向を判定してもよい。
 次に、被写体認識部25は、移動体15に対して移動体15の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を識別し、当該撮像画像について認識範囲を定める。ここで、移動体15の進行方向と左右反対の方向とは、例えば、進行方向を規定する操舵角
を舵角中立点(中立点)に対して正負を逆にした場合に移動体15が進む方向である。舵角中立点は、移動体15の直進時における操舵角である。操舵角は、舵角中立点を0°とすると、操舵輪を右方向に回転させたときに正の値を示し、左方向に回転させたときに負の値を示す。図8に示すように、例えば移動体15の進行方向が右後方向である場合には、進行方向と左右反対の方向は、左後方向である。このとき、被写体認識部25は、左後方向の周辺領域Gを撮像したリアカメラ11bおよび左サイドカメラ11cの撮像画像について、認識範囲Hを定める。このようにして、進行方向である右後方向と比較して運転者が注意を払う蓋然性が低い左後方向の周辺領域において、被写体の検出が行われる。
 好適には、被写体認識部25は、移動体15の速度および操舵角に応じて、認識範囲を決定する。例えば、被写体認識部25は、移動体15の速度が速いほど、画像上の認識範囲に対応する、移動体15の周辺領域の前後方向の長さxを増加させるように、認識範囲を決定する。また、被写体認識部25は、操舵角が中立点から離れているほど、画像上の認識範囲に対応する、移動体15の周辺領域の左右方向の長さyを増加させるように、認識範囲を決定する。
 次に、本実施形態に係る画像処理装置12が実行する、結合画像を生成して出力する処理について、図9のフローチャートを用いて説明する。本処理は、例えば運転者が移動体15を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置11が生成する画像信号の各フレームについて実行される。
 はじめに、画像取得部21は、複数の撮像装置11a,11b,11c,11dから撮像画像をそれぞれ取得する(ステップS100)。
 次に、制御情報取得部22は、制御情報を取得する(ステップS101)。
 次に、画像結合部23は、ステップS101において取得した制御情報に基づいて、ステップS100において取得した複数の撮像画像の切出範囲をそれぞれ決定する(ステップS102)。
 続いて、画像結合部23は、ステップS100において取得した複数の撮像画像から、ステップS102において決定した切出範囲をそれぞれ切り出す(ステップS103)。
 続いて、画像結合部23は、ステップS103において切り出した複数の撮像画像にそれぞれ視点変換処理を施す(ステップS104)。
 続いて、画像結合部23は、視点変換処理を施した複数の撮像画像および移動体15の画像を結合して、結合画像を生成する(ステップS105)。
 そして、画像出力部24は、画像結合部23が生成した結合画像を、表示装置13が表示可能な画像サイズに変換して出力し(ステップS106)、ステップS100に戻って次のフレームにつき同様の処理を行う。
 次に、本実施形態に係る画像処理装置12の被写体認識部25が実行する処理について、図10のフローチャートを用いて説明する。本処理は、例えば運転者が移動体15を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置11が生成する画像信号の各フレームについて実行される。
 はじめに、被写体認識部25は、画像取得部21から撮像画像をそれぞれ取得する(ステップS200)。
 続いて、被写体認識部25は、制御情報取得部22から移動体15の制御情報を取得する(ステップS201)。
 続いて、被写体認識部25は、取得した制御情報に基づいて移動体15の進行方向を判定し、当該進行方向と操舵角中立点に対して対称の方向の周辺領域を撮像した撮像画像を識別する(ステップS202)。
 続いて、被写体認識部25は、ステップS202において識別した撮像画像について、ステップS201において取得した制御情報に基づき認識範囲を決定する(ステップS203)。
 そして、被写体認識部25は、ステップS203において決定した認識範囲おいて、被写体認識処理を行い(ステップS204)、ステップS200に戻って次のフレームにつき同様の処理を行う。
 このように、本実施形態のカメラシステム10の画像処理装置12は、複数の撮像画像それぞれから、制御情報に応じた範囲(切出範囲)を用いて結合画像を生成する。このため、移動体15の多様な運転状況に応じて運転者が結合画像上で注目する、移動体15の周辺領域の視認性が向上する。
 また、本実施形態において、制御情報は移動体15の前進、後進、操舵角を含む。このため、画像処理装置12は移動体15の進行方向を判定可能であり、移動体15の進行方向に応じて運転者が結合画像上で注目する、移動体15の周辺領域の視認性が向上する。
 また、本実施形態において、画像処理装置12は、進行方向の周辺領域を撮像した撮像画像について切出範囲を広げるので、生成される結合画像は、移動体15の進行方向において、遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体15の進行方向の周辺領域の視認性が向上する。
 また、本実施形態において、画像処理装置12は、移動体15の速度が速いほど切出範囲を広げる量を増加させるので、生成される結合画像は、移動体15の進行方向において、より遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体15の進行方向遠方の周辺領域の視認性がさらに向上する。
 また、本実施形態において、画像処理装置12は、移動体15の速度が速いほど、結合画像上の車両表示領域を縮小するので、生成される結合画像上で撮像画像が用いられる領域の面積が増加する。このため、運転者が結合画像上で注目する、移動体15の遠方の周辺領域の視認性がさらに向上する。
 また、本実施形態において、画像処理装置12は、移動体15に対して移動体15の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を用いて被写体認識を行う。このようにして、進行方向と比較して運転者が注意を払う蓋然性が低い、進行方向と左右反対の方向の周辺領域について被写体の認識を行うため、運転の安全性がさらに向上する。
 また、本実施形態において、画像処理装置12は、制御情報に応じた範囲(認識範囲)を用いて被写体認識を行う。このようにして、移動体15の周辺領域において移動体15の多様な運転状況に応じて変化する、運転者が十分な注意を払う蓋然性の低い領域に存在する被写体が検出可能となり、運転の安全性がさらに向上する。また、撮像画像の認識範囲に対してのみ被写体の認識処理を行えばよいので、処理時間および処理負担が低減される。
 また、本実施形態において、画像処理装置12は、移動体15の速度に応じて移動体15の前後方向における認識範囲の長さを決定する。例えば、移動体15の速度が速いほど認識範囲の前後方向の長さを増加させることによって、より遠方に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。また、画像処理装置12は、移動体15の操舵角に応じて移動体15の左右方向における認識範囲の長さを調整する。例えば、移動体15の操舵角が中立点から離れるほど認識範囲の左右方向の長さを増加させる。このようにして、運転者にとって死角となる蓋然性の高い、移動体15の進行方向と左右反対の方向の周辺領域に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。
 本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを1つに組み合わせたり、あるいは分割したりすることが可能である。
 また、上述の実施形態において、画像処理装置12は、複数の撮像画像から切出範囲をそれぞれ切り出し、視点変換処理を施して結合画像を生成するが、処理の順序を変更してもよい。例えば、画像処理装置12は、複数の撮像装置11a,11b,11c,11dから取得した撮像画像に視点変換処理をそれぞれ施し、結合画像を生成し、その後に結合画像の切出範囲を決定してもよい。かかる場合には、移動体15の周辺領域を広く含む結合画像から、決定した切出範囲を切り出して出力する。
 また、画像処理装置12は、撮像装置11a,11b,11c,11dの撮像素子18a,18b,18c,18dが生成する各画素信号のうち、切出範囲内の撮像画像を構成するために必要な画素の画素信号のみを取得する構成であってもよい。かかる場合には、画像処理装置12は、撮像画像を切り出す処理を行うことなく、取得した撮像画像を俯瞰画像に変換する処理を行い、結合画像を生成する。
 また、画像処理装置12は、移動体15の操舵角または速度について所定値以上の変化があった場合に、切出範囲および認識範囲を更新する構成であってもよい。このようにして、運転者による微小な操舵およびアクセル操作もしくはブレーキ操作などによって結合画像の表示が意図せず変化する蓋然性が低減される。
 また、上述の実施形態において、切出範囲および認識範囲は、矩形であるものとして説明したが、例えば楕円など任意の形状を採用可能である。
 また、画像処理装置12は、制御情報に基づいて判定する移動体15の多様な状態と、切出範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた切出範囲を抽出する構成であってもよい。同様に、被写体認識部25は、制御情報に基づいて判定する移動体15の多様な状態と、認識範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた認識範囲を抽出する構成であってもよい。
 また、上述の実施形態に係るカメラシステム10の構成要素の一部は、移動体15の外部に設けられてもよい。例えば、画像処理装置12などは、携帯電話または外部サーバなどの通信機器として実現され、カメラシステム10の他の構成要素と有線または無線によって接続されてもよい。
 10  カメラシステム
 11a,11b,11c,11d  撮像装置
 12  画像処理装置
 13  表示装置
 14  車載ネットワーク
 15  移動体(車両)
 16  ドアミラー
 17a,17b,17c,17d  光学系
 18a,18b,18c,18d  撮像素子
 19a,19b,19c,19d  画像処理部
 20a,20b,20c,20d  カメラ制御部
 21  画像取得部
 22  制御情報取得部
 23  画像結合部
 24  画像出力部
 25  被写体認識部

Claims (10)

  1.  車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
     前記車両の制御情報を取得する制御情報取得部と、
     前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
     ことを特徴とする、画像処理装置。
  2.  請求項1に記載の画像処理装置であって、
     前記画像結合部は、前記制御情報に基づいて前記車両の進行方向の変化を検出すると、前記複数の撮像画像のうち前記進行方向の周辺領域を撮像した撮像画像について、前記結合画像に用いる範囲を広げることを特徴とする、画像処理装置。
  3.  請求項2に記載の画像処理装置であって、
     前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記範囲を広げる量を増加させることを特徴とする、画像処理装置。
  4.  請求項2または3に記載の画像処理装置であって、
     前記結合画像は、前記車両を表示する車両表示領域を有しており、
     前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記車両表示領域の面積を縮小することを特徴とする、画像処理装置。
  5.  請求項1乃至4の何れか一項に記載の画像処理装置であって、
     前記結合画像を表示する表示部をさらに備えることを特徴とする、画像処理装置。
  6.  請求項1乃至5の何れか一項に記載の画像処理装置であって、
     前記制御情報に基づいて前記車両の進行方向を判定し、前記車両に対して該進行方向と左右反対の方向の前記周辺領域を撮像した前記撮像画像を用いて被写体認識を行う被写体認識部をさらに備えることを特徴とする、画像処理装置。
  7.  請求項6に記載の画像処理装置であって、
     前記被写体認識部は、被写体認識に用いる前記撮像画像の、前記制御情報に応じた範囲を用いて被写体認識を行うことを特徴とする、画像処理装置。
  8.  請求項7に記載の画像処理装置であって、
     前記被写体認識部は、前記制御情報が示す前記車両の速度に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の前後方向における長さを決定し、前記制御情報が示す前記車両の操舵角に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の左右方向における長さを決定することを特徴とする、画像処理装置。
  9.  車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
     請求項1乃至8の何れか一項に記載の画像処理装置と、を備える
     ことを特徴とする、カメラシステム。
  10.  車両の周辺領域を撮像した複数の画像を取得するステップと、
     前記車両の制御情報を取得するステップと、
     前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
     ことを特徴とする、画像処理方法。
PCT/JP2015/000403 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法 WO2015115103A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015559824A JPWO2015115103A1 (ja) 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014014926 2014-01-29
JP2014-014926 2014-01-29

Publications (1)

Publication Number Publication Date
WO2015115103A1 true WO2015115103A1 (ja) 2015-08-06

Family

ID=53756682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000403 WO2015115103A1 (ja) 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2015115103A1 (ja)
WO (1) WO2015115103A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
JP2020184768A (ja) * 2020-06-25 2020-11-12 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351992A (ja) * 2003-05-27 2004-12-16 Denso Corp 車両の障害物検知装置及び車両制御装置
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP2010079455A (ja) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
WO2013175753A1 (ja) * 2012-05-22 2013-11-28 三菱電機株式会社 画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070127A (ja) * 2008-09-19 2010-04-02 Mitsubishi Motors Corp 車両周辺監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351992A (ja) * 2003-05-27 2004-12-16 Denso Corp 車両の障害物検知装置及び車両制御装置
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP2010079455A (ja) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
WO2013175753A1 (ja) * 2012-05-22 2013-11-28 三菱電機株式会社 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
JP2020184768A (ja) * 2020-06-25 2020-11-12 株式会社Jvcケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム

Also Published As

Publication number Publication date
JPWO2015115103A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US8559675B2 (en) Driving support device, driving support method, and program
WO2017179295A1 (ja) 信号処理装置および撮像装置
JP5099451B2 (ja) 車両周辺確認装置
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP2016168877A (ja) 車両用視認装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2019001325A (ja) 車載用撮像装置
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
KR102010407B1 (ko) 스마트 리어뷰 시스템
WO2017179389A1 (ja) 車両用視認装置
WO2016047150A1 (ja) 撮像装置、車両および変動検出方法
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
TW201838405A (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
EP3315366B1 (en) Imaging and display device for vehicle and recording medium
JP2018107574A (ja) 車両用視認装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15743382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015559824

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15743382

Country of ref document: EP

Kind code of ref document: A1