WO2015115103A1 - 画像処理装置、カメラシステム、および画像処理方法 - Google Patents

画像処理装置、カメラシステム、および画像処理方法 Download PDF

Info

Publication number
WO2015115103A1
WO2015115103A1 PCT/JP2015/000403 JP2015000403W WO2015115103A1 WO 2015115103 A1 WO2015115103 A1 WO 2015115103A1 JP 2015000403 W JP2015000403 W JP 2015000403W WO 2015115103 A1 WO2015115103 A1 WO 2015115103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
vehicle
processing apparatus
control information
Prior art date
Application number
PCT/JP2015/000403
Other languages
English (en)
French (fr)
Inventor
智雄 西野
圭俊 中田
瑞己 鈴村
英敏 梅田
横田　匡司
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2015559824A priority Critical patent/JPWO2015115103A1/ja
Publication of WO2015115103A1 publication Critical patent/WO2015115103A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus, a camera system, and an image processing method that output image signals to a plurality of systems.
  • a moving object periphery monitoring device that installs a plurality of in-vehicle cameras on a moving object such as a vehicle, images the periphery of the moving object, and displays a combined image overlooking the periphery of the moving object using the generated captured images.
  • a distant view camera that captures a distant view around a vehicle with a wide angle of view is added to a plurality of close view cameras that capture a distant view of the vicinity of the vehicle in a plurality of areas.
  • a technique for generating a typical vehicle surrounding image is disclosed.
  • An object of the present invention made in view of such circumstances is to provide an image processing apparatus, a camera system, and an image processing method that improve the visibility of a combined image around a vehicle according to various states of the vehicle.
  • an image processing apparatus provides: An image acquisition unit that acquires a plurality of captured images obtained by imaging a peripheral region of the vehicle; A control information acquisition unit for acquiring control information of the vehicle; An image combining unit that generates a combined image from each of the plurality of captured images using a range according to the control information.
  • the camera system includes: A plurality of imaging devices that image a peripheral region of the vehicle and generate a plurality of captured images; An image acquisition unit that acquires the plurality of captured images, a control information acquisition unit that acquires control information of the vehicle, and a combined image are generated from each of the plurality of captured images using a range according to the control information. And an image processing unit having an image combining unit.
  • the image processing method includes: Obtaining a plurality of images obtained by imaging a peripheral region of the vehicle; Obtaining control information of the vehicle; Generating a combined image from each of the plurality of captured images using a range according to the control information.
  • the image processing apparatus since the combined image around the vehicle is generated according to various states of the vehicle, the visibility of the combined image is improved.
  • FIG. 1 It is a block diagram which shows schematic structure of the camera system which concerns on one Embodiment of this invention. It is the schematic which shows arrangement
  • FIG. 1 is a functional block diagram showing a schematic configuration of a camera system 10 according to an embodiment of the present invention.
  • the camera system 10 includes a plurality of imaging devices 11a, 11b, 11c, and 11d, an image processing device 12, and a display device 13.
  • the plurality of imaging devices are, for example, a front camera 11a, a rear camera 11b, a left side camera 11c, and a right side camera 11d.
  • Each component of the camera system 10 can transmit and receive information via an in-vehicle network 14 such as a dedicated line or CAN.
  • the image processing device 12 may include a display unit having the same function as the display device 13.
  • the front camera 11 a is arranged so as to be able to image a peripheral region in front of a moving body 15 such as a vehicle.
  • the rear camera 11b is arranged so as to be able to image a peripheral region behind the moving body 15.
  • the left side camera 11c and the right side camera 11d are arranged so that, for example, the left and right door mirrors 16 can vertically image the peripheral regions on the sides of the moving body 15 downward. Further, the left side camera 11c and the right side camera 11d are arranged symmetrically on the left and right sides of the moving body 15, respectively.
  • the display device 13 is disposed at a position that can be viewed from the driver's seat.
  • the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d are provided with a lens with a wide angle of view such as a fisheye lens, for example, and can capture a peripheral region of the moving body 15 at a wide angle.
  • a lens with a wide angle of view such as a fisheye lens
  • the captured images of the front camera 11a, the rear camera 11b, the left side camera 11c, and the right side camera 11d are a front area A, a rear area B, a left side area C, and a left side area C of the moving body 15 shown in FIG. Each corresponds to the right side region D.
  • the front camera 11a (see FIG. 1) includes an optical system 17a, an image sensor 18a, an image processing unit 19a, and a camera control unit 20a.
  • the optical system 17a includes a diaphragm and a plurality of lenses, and forms a subject image.
  • the optical system 17a has a wide angle of view, and can form a subject image included in the peripheral region of the moving body 15 as described above.
  • the image sensor 18a is, for example, a CMOS image sensor, and captures a subject image formed by the optical system 17a.
  • the imaging element 18a outputs a captured image generated by imaging to the image processing unit 19a as an image signal.
  • the image processing unit 19a performs predetermined image processing such as noise removal, color interpolation, brightness correction, color correction, gamma correction, and white balance on the image signal acquired from the image sensor 18a.
  • the image processing unit 19 a outputs an image signal subjected to normal image processing to the image processing device 12.
  • the camera control unit 20a controls the operation of each part of the front camera 11a.
  • the camera control unit 20a controls the operations of the image sensor 18a and the image processing unit 19a to periodically output an image signal, for example, at 30 fps.
  • the rear camera 11b, the left side camera 11c, and the right side camera 11d are optical systems 17b, 17c, and 17d, image sensors 18b, 18c, and 18d, image processing units 19b, 19c, and 19d, and cameras.
  • Control units 20b, 20c, and 20d are provided.
  • the functions and configurations of the optical systems 17b, 17c, and 17d, the image sensors 18b, 18c, and 18d, the image processing units 19b, 19c, and 19d, and the camera control units 20b, 20c, and 20d are the same as those of the front camera 11a.
  • the image processing apparatus 12 includes an image acquisition unit 21, a control information acquisition unit 22, an image combination unit 23, an image output unit 24, and a subject recognition unit 25.
  • the image acquisition unit 21 acquires captured images from the plurality of imaging devices 11a, 11b, 11c, and 11d.
  • the control information acquisition unit 22 acquires control information of the moving body 15.
  • the control information is various information related to the state of the moving body 15, for example, information indicating forward, backward, steering angle, and speed of the moving body 15.
  • the control information acquisition unit 22 can acquire control information by an arbitrary method.
  • the control information acquisition unit 22 may acquire the control information from the moving body 15 via the in-vehicle network 14 or other components provided in the moving body 15 output.
  • the control information may be acquired via wired or wireless.
  • the image combination unit 23 generates a combined image using a plurality of captured images acquired by the image acquisition unit 21 as described below.
  • the combined image is an all-around overhead image of the moving body 15.
  • the bird's-eye view image is an image obtained by viewing the peripheral area of the moving body 15 vertically downward from above the moving body 15.
  • the image combining unit 23 determines the range (cutout range) of each captured image used for generating the combined image according to the control information. Details of the process of determining the cutout range will be described later.
  • the image combining unit 23 cuts out the determined cutout ranges from the plurality of captured images.
  • the image combining unit 23 performs viewpoint conversion processing on the plurality of cut-out captured images and converts them into overhead images.
  • the image combining unit 23 generates a combined image using a plurality of captured images that have undergone viewpoint conversion processing. Furthermore, the image combining unit 23 also uses an image of the moving body 15 viewed vertically from below to generate a combined image.
  • an image showing the moving body 15 is used in a partial area (vehicle display area) Ei in the center of the combined image.
  • the image of the front camera 11a is used in the area Ai in front of the area Ei.
  • the image of the rear camera 11b is used for the area Bi behind the area Ei.
  • the image of the left side camera 11c is used for the area Ci on the left side of the area Ei.
  • the image of the right side camera 11d is used in the area Di on the right side of the area Ei.
  • the image output unit 24 (see FIG. 1) converts the combined image generated by the image combining unit 23 into a predetermined image size that can be displayed by the display device 13. Then, the image output unit 24 outputs the combined image obtained by converting the image size to the display device 13.
  • the subject recognition unit 25 determines a captured image for subject recognition according to the control information. Next, the subject recognition unit 25 determines a range (recognition range) used for subject recognition of the determined captured image in accordance with the control information. Details of the processing for determining the captured image and the recognition range of the captured image will be described later.
  • the subject recognition unit 25 performs subject recognition processing within the determined recognition range of the captured image.
  • the recognition of the subject is performed using a general object recognition technique such as pattern recognition.
  • the subject recognition unit 25 detects a predetermined subject such as an obstacle, the subject recognition unit 25 notifies the driver of the presence of the subject.
  • the notification is performed by an arbitrary method such as causing the display device 13 to display the presence of an obstacle or generating a warning sound.
  • the display device 13 includes an LCD, for example, and can display a real-time moving image.
  • the display device 13 displays the combined image output from the image processing device 12.
  • the display device 13 may be configured as a touch panel, for example, and may function as an interface that accepts user operations.
  • the image combining unit 23 of the image processing apparatus 12 determines the cutout range according to the control information of the moving body 15. By determining different clipping ranges according to the control information, the subject included in the captured image to be cut changes.
  • the state where the moving body 15 is stopped and the steering angle is located at the neutral point will be described as a reference state.
  • the neutral point is a steering angle when the moving body 15 travels straight.
  • the front area A of the moving body 15 shown in FIG. 4 corresponds to a captured image of the front camera 11a.
  • the rear area B, left side area C, and right side area D of the moving body 15 correspond to the captured images of the rear camera 11b, the left side camera 11c, and the right side camera 11d, respectively.
  • the mobile body 15 shown in FIG. 4 is defined in the vehicle display area e.
  • the image processing apparatus 12 uses the rear camera 11b, the left side camera 11c, and the right side camera 11d as areas on the captured image corresponding to the rear area, the left area, and the right area near the moving body 15, respectively.
  • the cut-out range b, c, d of the captured image is determined.
  • the combined image (corresponding to the region F1 in FIG. 4) generated by defining the cutout range in this way is a bird's-eye view image of the foreground of the entire periphery of the moving object 15 with the image of the moving object 15 as the center of the combined image.
  • the image processing device 12 When the image processing device 12 detects a change in the traveling direction of the moving body 15 based on the control information, the image processing device 12 expands a cutout range of a captured image obtained by capturing a peripheral region in the traveling direction among the plurality of captured images.
  • the traveling direction can be determined based on, for example, information indicating at least one of forward, backward, and steering angles included in the control information.
  • the traveling direction is determined using the sum of the front-rear direction component and the left-right direction component of the moving body 15.
  • the front-rear direction component is determined based on information indicating forward and reverse.
  • the left-right direction component is determined based on information indicating the steering angle.
  • the moving direction of the moving body 15 determined by the image processing apparatus 12 is eight directions around the moving body 15 (front direction, rear direction, left direction, right direction, left front direction, right front direction, left rear direction, The direction of travel may be determined in more detail. For example, there may be 16 directions around the moving body 15.
  • the image processing apparatus 12 determines the traveling direction of the moving body 15 when the control information includes information indicating that the backward movement and the steering angle of the moving body 15 are cut to the right of the neutral point position. Is determined as the right rear direction.
  • the image processing device 12 uses the rear camera 11b and the right side camera 11d that have captured the peripheral region in the right rear direction to extract the cut-out ranges b and d with respect to the reference state.
  • the combined image (corresponding to the region F2 in FIG. 6) generated by defining the cutout range in this way is a subject that is located farther in the traveling direction (right rear direction) of the moving body 15 than the reference state. Including many.
  • the image processing apparatus 12 increases the amount of expanding the cut-out range as the speed of the moving body 15 indicated by the control information increases. In this way, when the speed of the moving body 15 is high, the driver can visually recognize a subject that is located farther in the traveling direction on the combined image.
  • the image processing apparatus 12 reduces the area of the vehicle display area e in the combined image to be generated with respect to the reference state as the speed of the moving body 15 increases,
  • the cutout range of each captured image is expanded according to the display area e.
  • the combined image (corresponding to the region F3 in FIG. 7) generated by defining the cutout range in this way is a bird's-eye view image obtained by zooming out the moving body 15 and the surrounding area of the moving body 15 as compared with the reference state. . In this way, when the speed of the moving body 15 is high, the driver can visually recognize a subject that exists farther on the combined image.
  • the subject recognition unit 25 determines a captured image for subject recognition in accordance with the control information of the moving body 15.
  • the subject recognition unit 25 determines the traveling direction of the moving body 15 based on the control information.
  • the moving direction of the moving body 15 determined by the image processing apparatus 12 is any one of the four oblique directions around the moving body 15 (left front direction, right front direction, left rear direction, right rear direction). The traveling direction may be determined in more detail.
  • the subject recognition unit 25 identifies a captured image obtained by capturing a peripheral region in a direction opposite to the left and right of the moving direction of the moving body 15 with respect to the moving body 15, and determines a recognition range for the captured image.
  • the traveling direction of the moving body 15 is opposite to the left and right directions, for example, when the steering angle that defines the traveling direction is reversed from the steering angle neutral point (neutral point).
  • the steering angle neutral point is a steering angle when the moving body 15 travels straight. When the steering angle neutral point is 0 °, the steering angle indicates a positive value when the steering wheel is rotated rightward, and indicates a negative value when the steering wheel is rotated leftward. As shown in FIG.
  • the subject recognizing unit 25 determines a recognition range H for the captured images of the rear camera 11b and the left side camera 11c that image the peripheral region G in the left rear direction. In this way, the detection of the subject is performed in the peripheral region in the left rear direction where the probability that the driver pays attention is lower than that in the right rear direction, which is the traveling direction.
  • the subject recognition unit 25 determines the recognition range according to the speed and the steering angle of the moving body 15. For example, the subject recognition unit 25 determines the recognition range so that the length x in the front-rear direction of the peripheral region of the moving body 15 corresponding to the recognition range on the image increases as the speed of the moving body 15 increases. . In addition, the subject recognizing unit 25 increases the recognition range so as to increase the length y in the left-right direction of the peripheral region of the moving body 15 corresponding to the recognition range on the image as the steering angle is farther from the neutral point. decide.
  • the image acquisition unit 21 acquires captured images from the plurality of imaging devices 11a, 11b, 11c, and 11d (step S100).
  • control information acquisition unit 22 acquires control information (step S101).
  • the image combining unit 23 determines the cutout ranges of the plurality of captured images acquired in step S100 based on the control information acquired in step S101 (step S102).
  • the image combining unit 23 cuts out the cutout ranges determined in step S102 from the plurality of captured images acquired in step S100 (step S103).
  • the image combining unit 23 performs viewpoint conversion processing on each of the plurality of captured images cut out in step S103 (step S104).
  • the image combining unit 23 combines the plurality of captured images subjected to the viewpoint conversion process and the image of the moving body 15 to generate a combined image (Step S105).
  • the image output unit 24 converts the combined image generated by the image combining unit 23 into an image size that can be displayed by the display device 13 (step S106), returns to step S100, and performs the same for the next frame. Process.
  • the subject recognition unit 25 acquires captured images from the image acquisition unit 21 (step S200).
  • the subject recognition unit 25 acquires the control information of the moving body 15 from the control information acquisition unit 22 (step S201).
  • the subject recognizing unit 25 determines the traveling direction of the moving body 15 based on the acquired control information, and identifies a captured image obtained by capturing a peripheral region in a direction symmetric with respect to the traveling direction and the steering angle neutral point. (Step S202).
  • the subject recognition unit 25 determines a recognition range for the captured image identified in step S202 based on the control information acquired in step S201 (step S203).
  • the subject recognition unit 25 performs subject recognition processing within the recognition range determined in step S203 (step S204), returns to step S200, and performs the same processing for the next frame.
  • the image processing device 12 of the camera system 10 generates a combined image from each of a plurality of captured images using a range (cutout range) according to control information. For this reason, the visibility of the surrounding area of the moving body 15 which a driver pays attention on the combined image according to various driving situations of the moving body 15 is improved.
  • control information includes forward, reverse, and steering angles of the moving body 15.
  • the image processing apparatus 12 can determine the traveling direction of the moving body 15, and the visibility of the peripheral area of the moving body 15 that the driver pays attention on the combined image according to the traveling direction of the moving body 15 is improved. To do.
  • the image processing device 12 widens the extraction range for the captured image obtained by imaging the peripheral region in the traveling direction, so that the generated combined image is located far away in the traveling direction of the moving body 15. Includes subject. For this reason, the visibility of the peripheral area
  • the image processing apparatus 12 increases the amount by which the cutout range is expanded as the speed of the moving body 15 increases. Includes the subject being positioned. For this reason, the visibility of the peripheral region far from the traveling direction of the moving body 15 which the driver pays attention on the combined image is further improved.
  • the image processing apparatus 12 reduces the vehicle display area on the combined image as the speed of the moving body 15 increases. Therefore, the area of the region where the captured image is used on the generated combined image is reduced. To increase. For this reason, the visibility of the peripheral region far from the moving body 15 which the driver pays attention on the combined image is further improved.
  • the image processing apparatus 12 performs subject recognition on the moving body 15 using a captured image obtained by capturing a peripheral area in the direction opposite to the left and right of the moving direction of the moving body 15. In this way, since the subject is recognized in the peripheral area in the direction opposite to the left and right direction, which is less likely to pay attention to the driver as compared with the direction of travel, the safety of driving is further improved.
  • the image processing apparatus 12 performs subject recognition using a range (recognition range) according to the control information.
  • a range recognition range
  • the image processing apparatus 12 performs subject recognition using a range (recognition range) according to the control information.
  • the image processing device 12 determines the length of the recognition range in the front-rear direction of the moving body 15 according to the speed of the moving body 15. For example, by increasing the length of the recognition range in the front-rear direction as the speed of the moving body 15 increases, it becomes possible to detect a subject that is located further away, and thus driving safety is further improved. Further, the image processing device 12 adjusts the length of the recognition range in the left-right direction of the moving body 15 according to the steering angle of the moving body 15. For example, the length of the recognition range in the left-right direction is increased as the steering angle of the moving body 15 is further away from the neutral point. In this way, it is possible to detect a subject that is highly likely to become a blind spot for the driver and exists in a peripheral region in the direction opposite to the left and right of the moving direction of the moving body 15, and thus driving safety is further improved.
  • the image processing apparatus 12 cuts out the cutout ranges from a plurality of captured images and performs viewpoint conversion processing to generate a combined image.
  • the processing order may be changed.
  • the image processing device 12 performs viewpoint conversion processing on the captured images acquired from the plurality of imaging devices 11a, 11b, 11c, and 11d, generates a combined image, and then determines a cutout range of the combined image. Also good. In such a case, the determined cut-out range is cut out from the combined image including a wide area around the moving body 15 and output.
  • the image processing device 12 is necessary for constructing a captured image within the cut-out range among the pixel signals generated by the imaging elements 18a, 18b, 18c, and 18d of the imaging devices 11a, 11b, 11c, and 11d.
  • the configuration may be such that only the pixel signal of the pixel is acquired.
  • the image processing apparatus 12 performs a process of converting the acquired captured image into an overhead image without performing a process of cutting out the captured image, and generates a combined image.
  • the image processing device 12 may be configured to update the cut-out range and the recognition range when there is a change of a predetermined value or more with respect to the steering angle or speed of the moving body 15. In this way, the probability that the display of the combined image changes unintentionally due to minute steering, accelerator operation, or brake operation by the driver is reduced.
  • the cutout range and the recognition range are described as being rectangular, but any shape such as an ellipse can be employed.
  • the image processing apparatus 12 stores in advance correspondence information indicating correspondence relations between various states of the moving body 15 determined based on the control information and the cutout range, and the cutout corresponding to the acquired control information is stored.
  • the structure which extracts an outgoing range may be sufficient.
  • the subject recognizing unit 25 stores in advance correspondence information indicating correspondence relationships between various states of the moving body 15 determined based on the control information and the recognition range, and recognizes according to the acquired control information. The range may be extracted.
  • the image processing apparatus 12 or the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the camera system 10 by wire or wireless.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供する。画像処理装置（１２）は、車両（１５）の周辺領域を撮像した複数の撮像画像を取得する画像取得部（２１）と、車両（１５）の制御情報を取得する制御情報取得部（２２）と、複数の撮像画像それぞれから、制御情報に応じた範囲を用いて結合画像を生成する画像結合部（２３）と、を備える。

Description

画像処理装置、カメラシステム、および画像処理方法 関連出願へのクロスリファレンス
　本出願は、日本国特許出願２０１４－０１４９２６号（２０１４年１月２９日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本発明は、複数系統に対して画像信号を出力する画像処理装置、カメラシステム、および画像処理方法に関する。
　従来、車両などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示する移動体の周辺監視装置が知られている。例えば、特許文献１には、車両周辺の近景を複数の領域にて撮影する複数台の近景カメラに、広い画角にて車両周囲の遠景を撮影する遠景カメラを加え、近景と遠景との連続的な車両周囲画像を生成する技術が開示されている。
特開２０１０－１６６１９６号公報
　しかしながら、移動体の運転者にとって近景および遠景の何れの画像が必要であるかは、多様な運転状況に応じて異なる。このため、常に近景および遠景の画像の双方を視認可能とすることは、必ずしも適切ではなかった。例えば、運転者にとって不要な領域の画像を表示すると、運転者が必要とする領域の画像の表示範囲が狭くなり、視認性が低下することがあった。
　かかる事情に鑑みてなされた本発明の目的は、車両の多様な状態に応じて車両周辺の結合画像の視認性を向上させる画像処理装置、カメラシステム、および画像処理方法を提供することにある。
　上記課題を解決するために本発明に係る画像処理装置は、
　車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
　前記車両の制御情報を取得する制御情報取得部と、
　前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
ことを特徴とする。
　また、本発明に係るカメラシステムは、
　車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
　前記複数の撮像画像を取得する画像取得部と、前記車両の制御情報を取得する制御情報取得部と、前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を有する画像処理装置と、を備える
ことを特徴とする。
　また、本発明に係る画像処理方法は、
　車両の周辺領域を撮像した複数の画像を取得するステップと、
　前記車両の制御情報を取得するステップと、
　前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
ことを特徴とする。
　本発明に係る画像処理装置、カメラシステム、および画像処理方法によれば、車両の多様な状態に応じて車両周辺の結合画像を生成するので、結合画像の視認性が向上する。
本発明の一実施形態に係るカメラシステムの概略構成を示すブロック図である。 図１のカメラシステムの構成要素の配置を示す概略図である。 図１の撮像素子が生成する撮像画像の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 図１の画像処理装置が生成する結合画像の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 移動体の周辺領域および切出範囲の例を示す図である。 移動体の周辺領域および認識範囲の例を示す図である。 図１の画像処理装置の動作を説明するフローチャートである。 図１の画像処理装置の動作を説明するフローチャートである。
　以下、本発明の実施形態について、図面を参照して説明する。
　はじめに、本発明の一実施形態に係るカメラシステムおよび撮像装置について説明する。図１は、本発明の一実施形態に係るカメラシステム１０の概略構成を示す機能ブロック図である。
　図１に示すように、カメラシステム１０は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄと、画像処理装置１２と、表示装置１３と、を備える。本実施形態において、複数の撮像装置は、例えば、フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄである。カメラシステム１０の各構成要素は、専用線またはＣＡＮなどの車載ネットワーク１４を介して情報を送受信可能である。カメラシステム１０において、画像処理装置１２が、表示装置１３と同一の機能を有する表示部を備える構成であってもよい。
　図２に示すように、フロントカメラ１１ａは、車両などの移動体１５の前方の周辺領域を撮像可能となるように配置される。リアカメラ１１ｂは、移動体１５の後方の周辺領域を撮像可能となるように配置される。左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、例えば左右のドアミラー１６において鉛直下向きに、移動体１５の側方の周辺領域をそれぞれ撮像可能となるように配置される。また、左サイドカメラ１１ｃおよび右サイドカメラ１１ｄは、移動体１５の左右両側にそれぞれ対称に配置される。表示装置１３は、運転席から視認可能な位置に配置される。
　フロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、例えば魚眼レンズなどの画角の広いレンズを備えており、移動体１５の周辺領域を広角撮影可能である。一般に、広角撮影においては広範囲の被写体を撮像可能であり、例えば図３に示すように、画像周辺部における被写体は湾曲して撮像される。本実施形態においてフロントカメラ１１ａ、リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像は、それぞれ図４に示す移動体１５の前方領域Ａ、後方領域Ｂ、左側方領域Ｃ、および右側方領域Ｄにそれぞれ対応する。
　次に、撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄの構成について説明する。フロントカメラ１１ａは（図１参照）、光学系１７ａと、撮像素子１８ａと、画像処理部１９ａと、カメラ制御部２０ａと、を備える。
　光学系１７ａは、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系１７ａは広い画角を有しており、上述のように移動体１５の周辺領域に含まれる被写体像を結像可能である。
　撮像素子１８ａは、例えばＣＭＯＳ撮像素子であって、光学系１７ａによって結像する被写体像を撮像する。また、撮像素子１８ａは、撮像によって生成した撮像画像を、画像信号として画像処理部１９ａに出力する。
　画像処理部１９ａは、撮像素子１８ａから取得した画像信号に対して、ノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランスなどの所定の画像処理を施す。画像処理部１９ａは、通常の画像処理を施した画像信号を画像処理装置１２に出力する。
　カメラ制御部２０ａは、フロントカメラ１１ａの各部位の動作を制御する。例えば、カメラ制御部２０ａは、撮像素子１８ａおよび画像処理部１９ａの動作を制御して、周期的に、例えば３０ｆｐｓで画像信号を出力させる。
　リアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄは、フロントカメラ１１ａと同様に、光学系１７ｂ，１７ｃ，１７ｄ、撮像素子１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄをそれぞれ備える。光学系１７ｂ，１７ｃ，１７ｄ、撮像素子１８ｂ，１８ｃ，１８ｄ、画像処理部１９ｂ，１９ｃ，１９ｄ、およびカメラ制御部２０ｂ，２０ｃ，２０ｄの機能および構成は、フロントカメラ１１ａと同様である。
　画像処理装置１２は、画像取得部２１と、制御情報取得部２２と、画像結合部２３と、画像出力部２４と、被写体認識部２５と、を備える。
　画像取得部２１は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから撮像画像を取得する。
　制御情報取得部２２は、移動体１５の制御情報を取得する。制御情報は、移動体１５の状態に関する種々の情報、例えば、移動体１５の前進、後進、操舵角、および速度を示す情報である。制御情報取得部２２は、任意の方法によって制御情報を取得可能であり、例えば車載ネットワーク１４を介して移動体１５から取得してもよく、あるいは移動体１５に備えられる他の構成要素が出力する制御情報を有線または無線を介して取得してもよい。
　画像結合部２３は、以下に説明するように、画像取得部２１が取得した複数の撮像画像を用いて結合画像を生成する。本実施形態において、結合画像は、移動体１５の全周囲俯瞰画像である。俯瞰画像とは、移動体１５の周辺領域を移動体１５の上方から鉛直下向きに見た画像である。
　まず、画像結合部２３は、制御情報に応じて、結合画像の生成に用いる各撮像画像の範囲（切出範囲）をそれぞれ決定する。切出範囲を決定する処理の詳細については後述する。
　次に、画像結合部２３は、複数の撮像画像から、それぞれ決定した切出範囲を切り出す。
　次に、画像結合部２３は、切り出した複数の撮像画像に対して視点変換処理を施し、それぞれ俯瞰画像に変換する。
　次に、画像結合部２３は、視点変換処理を施した複数の撮像画像を用いて、結合画像を生成する。さらに、画像結合部２３は、移動体１５を上方から鉛直下向きに見た画像も、結合画像の生成に用いる。例えば、図５に示す結合画像において、結合画像中央の一部領域（車両表示領域）Ｅｉに移動体１５を示す画像が用いられる。領域Ｅｉの前方の領域Ａｉにフロントカメラ１１ａの画像が用いられる。領域Ｅｉの後方の領域Ｂｉにリアカメラ１１ｂの画像が用いられる。領域Ｅｉの左側方の領域Ｃｉに左サイドカメラ１１ｃの画像が用いられる。また、領域Ｅｉの右側方の領域Ｄｉに右サイドカメラ１１ｄの画像が用いられる。
　画像出力部２４は（図１参照）、画像結合部２３が生成した結合画像を、表示装置１３が表示可能な所定の画像サイズに変換する。そして、画像出力部２４は、画像サイズを変換した結合画像を表示装置１３に出力する。
　被写体認識部２５は、制御情報に応じて、被写体認識を行う撮像画像を決定する。次に、被写体認識部２５は、制御情報に応じて、決定した撮像画像の被写体認識に用いる範囲（認識範囲）を決定する。撮像画像および当該撮像画像の認識範囲を決定する処理の詳細については後述する。
　次に、被写体認識部２５は、決定した撮像画像の認識範囲内において被写体認識処理を行う。被写体の認識は、例えばパターン認識など、一般的な物体認識技術を用いて行われる。被写体認識部２５は、障害物など所定の被写体を検出すると、当該被写体の存在を運転者に通知する。通知は、例えば表示装置１３に障害物の存在を示す表示をさせ、または警告音を発生するなど、任意の方法によって行われる。
　表示装置１３は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置１３は、画像処理装置１２が出力した結合画像を表示する。また、表示装置１３は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
（切出範囲の決定）
　次に、画像処理装置１２の画像結合部２３が行う、切出範囲を決定する処理について詳細に説明する。前述のように、画像処理装置１２の画像結合部２３は、移動体１５の制御情報に応じて切出範囲を決定する。制御情報に応じて異なる切出範囲を決定することによって、切り出す撮像画像に含まれる被写体が変化する。以下、移動体１５が停止しており、操舵角が中立点に位置する状態を基準状態として説明する。後述するように、中立点は、移動体１５の直進時における操舵角である。
　前述のように、図４に示す移動体１５の前方領域Ａは、フロントカメラ１１ａの撮像画像に対応する。同様に、移動体１５の後方領域Ｂ、左側方領域Ｃ、および右側方領域Ｄは、それぞれリアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像に対応する。また、図４に示す移動体１５は、車両表示領域ｅに定められる。本実施形態の画像処理装置１２は、制御情報に基づいて移動体１５が基準状態であると判定するとき、移動体１５近傍の前方領域に対応する、フロントカメラ１１ａの撮像画像上の領域を、フロントカメラ１１ａの撮像画像の切出範囲ａに定める。同様に、画像処理装置１２は、移動体１５近傍の後方領域、左側方領域、および右側方領域に対応する撮像画像上の領域を、それぞれリアカメラ１１ｂ、左サイドカメラ１１ｃ、および右サイドカメラ１１ｄの撮像画像の切出範囲ｂ，ｃ，ｄに定める。このように切出範囲を定めて生成される結合画像（図４の領域Ｆ１に対応）は、移動体１５の画像を結合画像の中心とした移動体１５全周の近景の俯瞰画像である。
　画像処理装置１２は、制御情報に基づいて移動体１５の進行方向の変化を検出すると、複数の撮像画像のうち進行方向の周辺領域を撮像した撮像画像の切出範囲を広げる。進行方向は、例えば制御情報に含まれる前進、後進、および操舵角の少なくとも１つを示す情報に基づいて判定可能である。例えば、進行方向は、移動体１５の前後方向成分と左右方向成分との和を用いて判定される。前後方向成分は、前進および後進を示す情報に基づいて決定される。左右方向成分は、操舵角を示す情報に基づいて決定される。本実施形態において、画像処理装置１２が判定する移動体１５の進行方向は、移動体１５の周囲８方向（前方向、後方向、左方向、右方向、左前方向、右前方向、左後方向、右後方向）の何れかであるが、より詳細に進行方向を判定してもよい。例えば、移動体１５の周囲１６方向であってもよい。
　本実施形態において、画像処理装置１２は、制御情報に移動体１５の後進および操舵角が中立点位置よりも右に切れていることを示す情報が含まれる場合には、移動体１５の進行方向を右後方向と判定する。このとき、画像処理装置１２は、例えば図６に示すように、右後方向の周辺領域を撮像したリアカメラ１１ｂおよび右サイドカメラ１１ｄの撮像画像の切出範囲ｂ，ｄを、基準状態に対して広げる。このように切出範囲を定めて生成される結合画像（図６の領域Ｆ２に対応）は、基準状態と比較して、移動体１５の進行方向（右後方向）のより遠方に存在する被写体を多く含む。
　好適には、画像処理装置１２は、制御情報が示す移動体１５の速度が速いほど、切出範囲を広げる量を増加させる。このようにして、運転者は、移動体１５の速度が速い場合には、結合画像上において進行方向のより遠方に存在する被写体を視認可能となる。
　好適には、図７に示すように、画像処理装置１２は、移動体１５の速度が速いほど、基準状態に対して、生成する結合画像に占める車両表示領域ｅの面積を縮小し、当該車両表示領域ｅに合わせて各撮像画像の切出範囲を広げる。このように切出範囲を定めて生成される結合画像（図７の領域Ｆ３に対応）は、基準状態と比較して、移動体１５および移動体１５の周辺領域をズームアウトした俯瞰画像である。このようにして、運転者は、移動体１５の速度が速い場合には、結合画像上においてより遠方に存在する被写体を視認可能である。
（認識範囲の決定）
　次に、画像処理装置１２の被写体認識部２５が行う、認識範囲を決定する処理について詳細に説明する。前述のように、被写体認識部２５は、移動体１５の制御情報に応じて、被写体認識を行う撮像画像を決定する。まず、被写体認識部２５は、制御情報に基づいて移動体１５の進行方向を判定する。本実施形態において、画像処理装置１２が判定する移動体１５の進行方向は、移動体１５の周囲斜め４方向（左前方向、右前方向、左後方向、右後方向）の何れかであるが、より詳細に進行方向を判定してもよい。
　次に、被写体認識部２５は、移動体１５に対して移動体１５の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を識別し、当該撮像画像について認識範囲を定める。ここで、移動体１５の進行方向と左右反対の方向とは、例えば、進行方向を規定する操舵角
を舵角中立点（中立点）に対して正負を逆にした場合に移動体１５が進む方向である。舵角中立点は、移動体１５の直進時における操舵角である。操舵角は、舵角中立点を０°とすると、操舵輪を右方向に回転させたときに正の値を示し、左方向に回転させたときに負の値を示す。図８に示すように、例えば移動体１５の進行方向が右後方向である場合には、進行方向と左右反対の方向は、左後方向である。このとき、被写体認識部２５は、左後方向の周辺領域Ｇを撮像したリアカメラ１１ｂおよび左サイドカメラ１１ｃの撮像画像について、認識範囲Ｈを定める。このようにして、進行方向である右後方向と比較して運転者が注意を払う蓋然性が低い左後方向の周辺領域において、被写体の検出が行われる。
　好適には、被写体認識部２５は、移動体１５の速度および操舵角に応じて、認識範囲を決定する。例えば、被写体認識部２５は、移動体１５の速度が速いほど、画像上の認識範囲に対応する、移動体１５の周辺領域の前後方向の長さｘを増加させるように、認識範囲を決定する。また、被写体認識部２５は、操舵角が中立点から離れているほど、画像上の認識範囲に対応する、移動体１５の周辺領域の左右方向の長さｙを増加させるように、認識範囲を決定する。
　次に、本実施形態に係る画像処理装置１２が実行する、結合画像を生成して出力する処理について、図９のフローチャートを用いて説明する。本処理は、例えば運転者が移動体１５を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１が生成する画像信号の各フレームについて実行される。
　はじめに、画像取得部２１は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから撮像画像をそれぞれ取得する（ステップＳ１００）。
　次に、制御情報取得部２２は、制御情報を取得する（ステップＳ１０１）。
　次に、画像結合部２３は、ステップＳ１０１において取得した制御情報に基づいて、ステップＳ１００において取得した複数の撮像画像の切出範囲をそれぞれ決定する（ステップＳ１０２）。
　続いて、画像結合部２３は、ステップＳ１００において取得した複数の撮像画像から、ステップＳ１０２において決定した切出範囲をそれぞれ切り出す（ステップＳ１０３）。
　続いて、画像結合部２３は、ステップＳ１０３において切り出した複数の撮像画像にそれぞれ視点変換処理を施す（ステップＳ１０４）。
　続いて、画像結合部２３は、視点変換処理を施した複数の撮像画像および移動体１５の画像を結合して、結合画像を生成する（ステップＳ１０５）。
　そして、画像出力部２４は、画像結合部２３が生成した結合画像を、表示装置１３が表示可能な画像サイズに変換して出力し（ステップＳ１０６）、ステップＳ１００に戻って次のフレームにつき同様の処理を行う。
　次に、本実施形態に係る画像処理装置１２の被写体認識部２５が実行する処理について、図１０のフローチャートを用いて説明する。本処理は、例えば運転者が移動体１５を始動させたときに開始され、運転者による終了指示があるまで繰り返し実行される。また、以下の処理は、撮像装置１１が生成する画像信号の各フレームについて実行される。
　はじめに、被写体認識部２５は、画像取得部２１から撮像画像をそれぞれ取得する（ステップＳ２００）。
　続いて、被写体認識部２５は、制御情報取得部２２から移動体１５の制御情報を取得する（ステップＳ２０１）。
　続いて、被写体認識部２５は、取得した制御情報に基づいて移動体１５の進行方向を判定し、当該進行方向と操舵角中立点に対して対称の方向の周辺領域を撮像した撮像画像を識別する（ステップＳ２０２）。
　続いて、被写体認識部２５は、ステップＳ２０２において識別した撮像画像について、ステップＳ２０１において取得した制御情報に基づき認識範囲を決定する（ステップＳ２０３）。
　そして、被写体認識部２５は、ステップＳ２０３において決定した認識範囲おいて、被写体認識処理を行い（ステップＳ２０４）、ステップＳ２００に戻って次のフレームにつき同様の処理を行う。
　このように、本実施形態のカメラシステム１０の画像処理装置１２は、複数の撮像画像それぞれから、制御情報に応じた範囲（切出範囲）を用いて結合画像を生成する。このため、移動体１５の多様な運転状況に応じて運転者が結合画像上で注目する、移動体１５の周辺領域の視認性が向上する。
　また、本実施形態において、制御情報は移動体１５の前進、後進、操舵角を含む。このため、画像処理装置１２は移動体１５の進行方向を判定可能であり、移動体１５の進行方向に応じて運転者が結合画像上で注目する、移動体１５の周辺領域の視認性が向上する。
　また、本実施形態において、画像処理装置１２は、進行方向の周辺領域を撮像した撮像画像について切出範囲を広げるので、生成される結合画像は、移動体１５の進行方向において、遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体１５の進行方向の周辺領域の視認性が向上する。
　また、本実施形態において、画像処理装置１２は、移動体１５の速度が速いほど切出範囲を広げる量を増加させるので、生成される結合画像は、移動体１５の進行方向において、より遠方に位置する被写体を含む。このため、運転者が結合画像上で注目する、移動体１５の進行方向遠方の周辺領域の視認性がさらに向上する。
　また、本実施形態において、画像処理装置１２は、移動体１５の速度が速いほど、結合画像上の車両表示領域を縮小するので、生成される結合画像上で撮像画像が用いられる領域の面積が増加する。このため、運転者が結合画像上で注目する、移動体１５の遠方の周辺領域の視認性がさらに向上する。
　また、本実施形態において、画像処理装置１２は、移動体１５に対して移動体１５の進行方向と左右反対の方向の周辺領域を撮像した撮像画像を用いて被写体認識を行う。このようにして、進行方向と比較して運転者が注意を払う蓋然性が低い、進行方向と左右反対の方向の周辺領域について被写体の認識を行うため、運転の安全性がさらに向上する。
　また、本実施形態において、画像処理装置１２は、制御情報に応じた範囲（認識範囲）を用いて被写体認識を行う。このようにして、移動体１５の周辺領域において移動体１５の多様な運転状況に応じて変化する、運転者が十分な注意を払う蓋然性の低い領域に存在する被写体が検出可能となり、運転の安全性がさらに向上する。また、撮像画像の認識範囲に対してのみ被写体の認識処理を行えばよいので、処理時間および処理負担が低減される。
　また、本実施形態において、画像処理装置１２は、移動体１５の速度に応じて移動体１５の前後方向における認識範囲の長さを決定する。例えば、移動体１５の速度が速いほど認識範囲の前後方向の長さを増加させることによって、より遠方に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。また、画像処理装置１２は、移動体１５の操舵角に応じて移動体１５の左右方向における認識範囲の長さを調整する。例えば、移動体１５の操舵角が中立点から離れるほど認識範囲の左右方向の長さを増加させる。このようにして、運転者にとって死角となる蓋然性の高い、移動体１５の進行方向と左右反対の方向の周辺領域に存在する被写体が検出可能となるため、運転の安全性がさらに向上する。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
　また、上述の実施形態において、画像処理装置１２は、複数の撮像画像から切出範囲をそれぞれ切り出し、視点変換処理を施して結合画像を生成するが、処理の順序を変更してもよい。例えば、画像処理装置１２は、複数の撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄから取得した撮像画像に視点変換処理をそれぞれ施し、結合画像を生成し、その後に結合画像の切出範囲を決定してもよい。かかる場合には、移動体１５の周辺領域を広く含む結合画像から、決定した切出範囲を切り出して出力する。
　また、画像処理装置１２は、撮像装置１１ａ，１１ｂ，１１ｃ，１１ｄの撮像素子１８ａ，１８ｂ，１８ｃ，１８ｄが生成する各画素信号のうち、切出範囲内の撮像画像を構成するために必要な画素の画素信号のみを取得する構成であってもよい。かかる場合には、画像処理装置１２は、撮像画像を切り出す処理を行うことなく、取得した撮像画像を俯瞰画像に変換する処理を行い、結合画像を生成する。
　また、画像処理装置１２は、移動体１５の操舵角または速度について所定値以上の変化があった場合に、切出範囲および認識範囲を更新する構成であってもよい。このようにして、運転者による微小な操舵およびアクセル操作もしくはブレーキ操作などによって結合画像の表示が意図せず変化する蓋然性が低減される。
　また、上述の実施形態において、切出範囲および認識範囲は、矩形であるものとして説明したが、例えば楕円など任意の形状を採用可能である。
　また、画像処理装置１２は、制御情報に基づいて判定する移動体１５の多様な状態と、切出範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた切出範囲を抽出する構成であってもよい。同様に、被写体認識部２５は、制御情報に基づいて判定する移動体１５の多様な状態と、認識範囲との対応関係を示す対応情報を予め記憶しておき、取得する制御情報に応じた認識範囲を抽出する構成であってもよい。
　また、上述の実施形態に係るカメラシステム１０の構成要素の一部は、移動体１５の外部に設けられてもよい。例えば、画像処理装置１２などは、携帯電話または外部サーバなどの通信機器として実現され、カメラシステム１０の他の構成要素と有線または無線によって接続されてもよい。
　１０　　カメラシステム
　１１ａ，１１ｂ，１１ｃ，１１ｄ　　撮像装置
　１２　　画像処理装置
　１３　　表示装置
　１４　　車載ネットワーク
　１５　　移動体（車両）
　１６　　ドアミラー
　１７ａ，１７ｂ，１７ｃ，１７ｄ　　光学系
　１８ａ，１８ｂ，１８ｃ，１８ｄ　　撮像素子
　１９ａ，１９ｂ，１９ｃ，１９ｄ　　画像処理部
　２０ａ，２０ｂ，２０ｃ，２０ｄ　　カメラ制御部
　２１　　画像取得部
　２２　　制御情報取得部
　２３　　画像結合部
　２４　　画像出力部
　２５　　被写体認識部

Claims (10)

  1. 　車両の周辺領域を撮像した複数の撮像画像を取得する画像取得部と、
    　前記車両の制御情報を取得する制御情報取得部と、
    　前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成する画像結合部と、を備える
    　ことを特徴とする、画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記画像結合部は、前記制御情報に基づいて前記車両の進行方向の変化を検出すると、前記複数の撮像画像のうち前記進行方向の周辺領域を撮像した撮像画像について、前記結合画像に用いる範囲を広げることを特徴とする、画像処理装置。
  3. 　請求項２に記載の画像処理装置であって、
    　前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記範囲を広げる量を増加させることを特徴とする、画像処理装置。
  4. 　請求項２または３に記載の画像処理装置であって、
    　前記結合画像は、前記車両を表示する車両表示領域を有しており、
    　前記画像結合部は、前記制御情報が示す前記車両の速度が速いほど、前記車両表示領域の面積を縮小することを特徴とする、画像処理装置。
  5. 　請求項１乃至４の何れか一項に記載の画像処理装置であって、
    　前記結合画像を表示する表示部をさらに備えることを特徴とする、画像処理装置。
  6. 　請求項１乃至５の何れか一項に記載の画像処理装置であって、
    　前記制御情報に基づいて前記車両の進行方向を判定し、前記車両に対して該進行方向と左右反対の方向の前記周辺領域を撮像した前記撮像画像を用いて被写体認識を行う被写体認識部をさらに備えることを特徴とする、画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記被写体認識部は、被写体認識に用いる前記撮像画像の、前記制御情報に応じた範囲を用いて被写体認識を行うことを特徴とする、画像処理装置。
  8. 　請求項７に記載の画像処理装置であって、
    　前記被写体認識部は、前記制御情報が示す前記車両の速度に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の前後方向における長さを決定し、前記制御情報が示す前記車両の操舵角に応じて、被写体認識に用いる前記範囲に対応する、前記車両の周辺領域の左右方向における長さを決定することを特徴とする、画像処理装置。
  9. 　車両の周辺領域を撮像して複数の撮像画像を生成する複数の撮像装置と、
    　請求項１乃至８の何れか一項に記載の画像処理装置と、を備える
    　ことを特徴とする、カメラシステム。
  10. 　車両の周辺領域を撮像した複数の画像を取得するステップと、
    　前記車両の制御情報を取得するステップと、
    　前記複数の撮像画像それぞれから、前記制御情報に応じた範囲を用いて結合画像を生成するステップと、を含む
    　ことを特徴とする、画像処理方法。
PCT/JP2015/000403 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法 WO2015115103A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015559824A JPWO2015115103A1 (ja) 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014014926 2014-01-29
JP2014-014926 2014-01-29

Publications (1)

Publication Number Publication Date
WO2015115103A1 true WO2015115103A1 (ja) 2015-08-06

Family

ID=53756682

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000403 WO2015115103A1 (ja) 2014-01-29 2015-01-29 画像処理装置、カメラシステム、および画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2015115103A1 (ja)
WO (1) WO2015115103A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
JP2020184768A (ja) * 2020-06-25 2020-11-12 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351992A (ja) * 2003-05-27 2004-12-16 Denso Corp 車両の障害物検知装置及び車両制御装置
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP2010079455A (ja) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
WO2013175753A1 (ja) * 2012-05-22 2013-11-28 三菱電機株式会社 画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070127A (ja) * 2008-09-19 2010-04-02 Mitsubishi Motors Corp 車両周辺監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004351992A (ja) * 2003-05-27 2004-12-16 Denso Corp 車両の障害物検知装置及び車両制御装置
JP2007221199A (ja) * 2006-02-14 2007-08-30 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ表示装置及び画像処理装置
JP2010079455A (ja) * 2008-09-24 2010-04-08 Sanyo Electric Co Ltd 運転支援装置
JP2011002884A (ja) * 2009-06-16 2011-01-06 Nissan Motor Co Ltd 車両用画像表示装置及び俯瞰画像の表示方法
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
WO2013175753A1 (ja) * 2012-05-22 2013-11-28 三菱電機株式会社 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
JP2020184768A (ja) * 2020-06-25 2020-11-12 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム

Also Published As

Publication number Publication date
JPWO2015115103A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
US8559675B2 (en) Driving support device, driving support method, and program
WO2017179295A1 (ja) 信号処理装置および撮像装置
JP5099451B2 (ja) 車両周辺確認装置
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
JP2016168877A (ja) 車両用視認装置
WO2015129280A1 (ja) 画像処理装置および画像処理方法
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2019001325A (ja) 車載用撮像装置
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
KR102010407B1 (ko) 스마트 리어뷰 시스템
WO2017179389A1 (ja) 車両用視認装置
WO2016047150A1 (ja) 撮像装置、車両および変動検出方法
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
TW201838405A (zh) 攝像裝置、相機模組、攝像系統、及攝像裝置之控制方法
EP3315366B1 (en) Imaging and display device for vehicle and recording medium
JP2018107574A (ja) 車両用視認装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15743382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015559824

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15743382

Country of ref document: EP

Kind code of ref document: A1