WO2018051810A1 - 画像処理装置および方法、並びに画像処理システム - Google Patents

画像処理装置および方法、並びに画像処理システム Download PDF

Info

Publication number
WO2018051810A1
WO2018051810A1 PCT/JP2017/031540 JP2017031540W WO2018051810A1 WO 2018051810 A1 WO2018051810 A1 WO 2018051810A1 JP 2017031540 W JP2017031540 W JP 2017031540W WO 2018051810 A1 WO2018051810 A1 WO 2018051810A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
state
unit
image processing
Prior art date
Application number
PCT/JP2017/031540
Other languages
English (en)
French (fr)
Inventor
綱島　宣浩
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/328,381 priority Critical patent/US11443520B2/en
Priority to CN201780054900.6A priority patent/CN109690652A/zh
Publication of WO2018051810A1 publication Critical patent/WO2018051810A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present technology relates to an image processing apparatus and method, and an image processing system, and more particularly, to an image processing apparatus and method and an image processing system that can present more useful information.
  • Non-Patent Document 1 A technique for correcting image distortion has been conventionally considered (see, for example, Non-Patent Document 1).
  • Non-Patent Document 1 a user who sees an image (for example, a driver of a vehicle) changes a desired direction depending on the state of the vehicle.
  • the method described in Non-Patent Document 1 is performed only for one fixed viewpoint, and an image obtained by this method is an image that is not meaningful depending on the state of the vehicle (the user sees it). Image in a direction other than the desired direction). That is, there is a possibility that useful information for the user (driver) cannot be presented.
  • This technology has been proposed in view of such a situation, and aims to be able to present more useful information.
  • An image processing device generates image in a predetermined viewpoint direction based on a plurality of captured images captured by a plurality of imaging units arranged in the vehicle according to a state of the vehicle.
  • An image processing apparatus including a unit.
  • the image processing unit can generate an image projected on the plane in the viewpoint direction by performing distortion correction on a part of the captured image.
  • the image processing unit can generate images in a plurality of viewpoint directions.
  • the image processing unit can generate an image in the viewpoint direction based on a plurality of captured images.
  • the state of the vehicle can be a state relating to the movement of the vehicle.
  • the state of the vehicle can be a state relating to an operation performed on the vehicle.
  • the image processing unit can generate an image in the viewpoint direction toward the rear of the vehicle when the vehicle is in a normal traveling state.
  • the image processing unit can generate an image of a viewpoint direction obliquely rearward of the vehicle and an image of a viewpoint direction obliquely forward of the vehicle when the vehicle is in a right / left turn state.
  • the image processing unit can generate an image of a viewpoint direction forward obliquely downward on the side surface of the vehicle when the vehicle is in a slow running state.
  • the image processing unit can generate an image of a viewpoint direction downward to the side surface of the vehicle and an image of a viewpoint direction obliquely downward and rearward of the side surface of the vehicle when the vehicle is in a reverse state.
  • a detection unit that detects the state of the vehicle; and a determination unit that determines the state of the vehicle from a detection result of the detection unit, wherein the image processing unit is configured to determine the vehicle state determined by the determination unit. Accordingly, an image in a predetermined viewpoint direction based on the plurality of captured images can be generated.
  • the image processing unit further includes an imaging unit that captures an image of a subject and obtains a captured image, and the image processing unit generates an image in a predetermined viewpoint direction based on the captured image obtained by the imaging unit according to a state of the vehicle.
  • an imaging unit that captures an image of a subject and obtains a captured image
  • the image processing unit generates an image in a predetermined viewpoint direction based on the captured image obtained by the imaging unit according to a state of the vehicle.
  • a display unit for displaying the image generated by the image processing unit can be further provided.
  • the display unit can display one or a plurality of the images in a layout according to the state of the vehicle.
  • the display unit can display one or a plurality of the images at one or a plurality of positions according to the state of the vehicle.
  • the image processing unit can further generate notification information related to the environment based on the environment around the vehicle based on the captured image and the state of the vehicle.
  • An image processing method is an image processing that generates an image in a predetermined viewpoint direction based on a plurality of captured images captured by a plurality of imaging units arranged in the vehicle according to a state of the vehicle. Is the method.
  • An image processing device includes an imaging unit that captures an image of the periphery of a vehicle, and a part of a captured image obtained by the imaging unit according to a state of the vehicle on a surface in a predetermined viewpoint direction.
  • An image processing apparatus including a display unit that displays a projected image.
  • An image processing method images a periphery of a vehicle and displays an image obtained by projecting a part of the obtained captured image on a plane in a predetermined viewpoint direction according to the state of the vehicle. This is an image processing method.
  • An image processing system includes an imaging device that captures an image of the periphery of a vehicle, and an image in a predetermined viewpoint direction based on a captured image obtained by the imaging device according to the state of the vehicle.
  • An image processing system comprising: an image processing device to be generated; and a display device that displays an image in the viewpoint direction generated by the image processing device.
  • an image in a predetermined viewpoint direction is generated based on a plurality of captured images captured by a plurality of imaging units arranged in the vehicle according to the state of the vehicle.
  • the periphery of the vehicle is imaged, and an image obtained by projecting a part of the obtained captured image onto a plane in a predetermined viewpoint direction is displayed according to the state of the vehicle.
  • an image of the periphery of the vehicle is captured by the imaging device, and an image in a predetermined viewpoint direction based on a captured image obtained by the imaging device according to the state of the vehicle by the image processing device Is generated, and the image of the viewpoint direction generated by the image processing device is displayed on the display device.
  • an image can be processed. According to the present technology, more useful information can be presented.
  • Non-Patent Document 1 improves safety when the vehicle is parked by converting the viewpoint directly above and converting and displaying the vehicle and the road surface around the vehicle from the sky.
  • a technique for enabling the control to be performed is disclosed.
  • Non-Patent Document 1 the method described in Non-Patent Document 1 is performed only for one fixed viewpoint direction, and an image in the viewpoint direction is not always useful information for the user (driver). There wasn't.
  • the direction of the driver of the vehicle changes depending on the state of the vehicle, such as forward, left turn, right turn, and reverse. Therefore, depending on the situation of the vehicle, the image generated by the method described in Non-Patent Document 1 may become an image that is not useful for the driver (an image in a direction that the user does not want to see).
  • an image in a predetermined viewpoint direction based on a plurality of captured images captured by a plurality of imaging units arranged in the vehicle is generated.
  • the periphery of the vehicle is imaged, and an image in which a part of the obtained captured image is projected on a plane in a predetermined viewpoint direction is displayed according to the state of the vehicle.
  • an imaging device captures an image of the periphery of the vehicle, and the image processing device generates an image in a predetermined viewpoint direction based on a captured image obtained by the imaging device according to the state of the vehicle
  • the apparatus displays an image in the viewpoint direction generated by the image processing apparatus.
  • FIG. 1 is a diagram illustrating an overview of an imaging system that is an embodiment of an image processing system to which the present technology is applied.
  • An imaging system 100 shown in FIG. 1 is a system mounted on a vehicle 101, and generates an image in a predetermined viewpoint direction based on a wide-angle captured image obtained by imaging the periphery of the vehicle 101 according to the state of the vehicle 101. System.
  • the imaging system 100 includes an imaging unit 110 installed in the vehicle 101.
  • the imaging unit 110 is installed in the vicinity of a side mirror on the side surface of the vehicle 101.
  • the peripheral area of the vehicle 101 is imaged.
  • FIG. 1 only one imaging unit 110 is shown, but the number of imaging units 110 is arbitrary.
  • FIG. 1A shows an example in which the imaging unit 110 is installed on the right side of the vehicle 101
  • FIG. 2B shows an example in which the imaging unit 110 is installed on the left side of the vehicle 101.
  • the imaging unit 110 may be installed on the left and right side surfaces of the vehicle 101.
  • the imaging unit 110 can obtain a captured image having a wider angle of view than that of a general camera, for example, by attaching a wide-angle lens (fisheye lens).
  • the imaging unit 110 can image the entire side surface periphery of the vehicle 101 as in a range 121 shown in FIG.
  • FIG. 1B is a view of the vehicle 101 as viewed from above.
  • the imaging unit 110 can image from the front to the rear of the side surface of the vehicle 101.
  • Fig. 2 shows an example of the captured image.
  • the image pickup unit 110 can obtain a picked-up image (wide-angle image) with a wide angle of view including the entire side surface of the vehicle 101, but the straight line is large in this picked-up image.
  • the image becomes difficult to see as it is, such as being distorted.
  • the imaging system 100 presents an image that is easy to see for the user by projecting a part of the captured image onto a plane in an arbitrary viewpoint direction by performing image processing such as distortion correction on the part of the captured image. can do.
  • FIG. 3 is a block diagram illustrating a main configuration example of the imaging system 100.
  • the imaging system 100 includes an imaging unit 110, a vehicle state sensor unit 131, a vehicle state determination unit 132, a viewpoint conversion unit 133, a display unit 134, and a storage unit 135.
  • Each of these processing units may be configured as one device, or a single device may be formed by a plurality of processing units.
  • the imaging unit 110 supplies a wide-angle captured image obtained by imaging as described above to the viewpoint conversion unit 133.
  • the vehicle state sensor unit 131 is an embodiment of the detection unit, and is a unit having various sensors that detect the state of the vehicle 101.
  • the state of the vehicle 101 indicates a state regarding an arbitrary matter related to the vehicle 101.
  • the state of the vehicle 101 may be a state related to the movement of the vehicle 101.
  • the state relating to this movement may be a state relating to the traveling direction, speed, acceleration, etc. of the vehicle 101 such as forward (normal traveling, slow traveling), right / left turn, reverse traveling, etc.
  • the state of the vehicle 101 may be a state related to an operation on the vehicle 101, for example.
  • the state relating to this operation may be, for example, an interface state for accepting operations on the vehicle 101 such as a steering wheel, a shift lever, a winker, an accelerator, and a brake.
  • the state of the vehicle 101 may indicate other states related to the vehicle 101.
  • the vehicle state sensor unit 131 includes a sensor corresponding to the vehicle state to be detected.
  • the vehicle state sensor unit 131 includes sensors such as a steering angle sensor 141, a speed sensor 142, a shift position sensor 143, and a changeover switch sensor 144.
  • the steering angle sensor 141 is a sensor that detects the operation of the steering wheel of the vehicle 101.
  • the rudder angle sensor 141 detects how much the driver or the like has rotated the steering wheel (the angle, the number of rotations, etc.).
  • the speed sensor 142 detects the traveling speed of the vehicle 101. Note that the speed sensor 142 may be able to detect the acceleration, traveling direction, and the like of the vehicle 101.
  • the shift position sensor 143 detects the position of the shift lever of the vehicle 101 (for example, parking, driving, back, etc.).
  • the changeover switch sensor 144 operates various switches such as a hazard lamp switch and a blinker switch (for example, whether or not the hazard lamp switch is pressed, or whether the blinker switch is set so as to indicate the left or right direction). Is detected.
  • switches such as a hazard lamp switch and a blinker switch (for example, whether or not the hazard lamp switch is pressed, or whether the blinker switch is set so as to indicate the left or right direction). Is detected.
  • the vehicle state sensor unit 131 can have an arbitrary sensor, and can also have a sensor other than those described above. That is, the vehicle state sensor unit 131 can detect an arbitrary state related to the vehicle 101.
  • the vehicle state sensor unit 131 supplies detection results acquired from various sensors to the vehicle state determination unit 132.
  • the vehicle state determination unit 132 is an embodiment of the determination unit, and determines the state of the vehicle 101 based on the detection result regarding the state of the vehicle 101 supplied from the vehicle state sensor unit 131. For example, the vehicle state determination unit 132 determines the movement (traveling state) of the vehicle 101 based on the angle of the steering wheel, the traveling speed, the position of the shift lever, the position of the blinker, and the like. The vehicle state determination unit 132 supplies the determination result to the viewpoint conversion unit 133.
  • the viewpoint conversion unit 133 is an embodiment of the image processing unit, and performs processing related to conversion of the viewpoint direction of the captured image. For example, the viewpoint conversion unit 133 generates an image in a predetermined viewpoint direction based on the captured image (wide-angle image) supplied from the imaging unit 110 according to the determination result by the vehicle state determination unit 132. More specifically, the captured image (wide-angle image) supplied from the imaging unit 110 is a distorted image as shown in FIG.
  • the viewpoint conversion unit 133 performs distortion correction on a part of the captured image supplied from the imaging unit 110 according to the state of the vehicle 101, and projects the part of the image on a plane in a desired viewpoint direction. By generating the obtained image (planar projection image), the viewpoint direction of the captured image is converted.
  • the display unit 134 performs processing related to the display of the image generated by the viewpoint conversion unit 133 according to the state of the vehicle 101. For example, the display unit 134 displays an image whose viewpoint direction is converted by the viewpoint conversion unit 133 according to the state of the vehicle 101 on its own display.
  • the storage unit 135 performs processing related to storage of image data generated by the viewpoint conversion unit 133.
  • the storage unit 135 stores the image data whose viewpoint direction is converted by the viewpoint conversion unit 133 in a storage medium that the storage unit 135 has.
  • This storage medium is arbitrary, and may be a magnetic recording medium such as a hard disk or a tape device, or a rewritable semiconductor memory such as SSD (Solid State Drive) or RAM (Random Access Memory).
  • SSD Solid State Drive
  • RAM Random Access Memory
  • CD-R Compact Disc-Recordable
  • CD-RW Compact Disc-Rewritable
  • DVD-R Digital Versatile Disc-Recordable
  • DVD-RW Digital Versatile Disc-Disc Rewritable
  • the storage medium may be a recording medium or a magneto-optical recording medium such as MD (Mini-Disc).
  • the storage medium may be a removable medium that can be attached to and detached from the storage unit 135, such as a disk, a cassette, or a USB (Universal Serial Bus) memory.
  • the viewpoint conversion unit 133 From the captured image (wide-angle image) supplied from the imaging unit 110, the viewpoint conversion unit 133, for example, as shown in FIG. 4A, the viewpoint direction from the position of the imaging unit 110 to the rear of the side surface of the vehicle 101.
  • An image 151 (viewing direction toward the rear of the vehicle 101) can be generated.
  • the angle of view of the captured image supplied from the imaging unit 110 is a range 122 shown in FIG. 4B when viewed from above the vehicle 101.
  • the viewpoint conversion unit 133 projects an image in the viewpoint direction (range between dotted arrows in the figure) toward the rear of the vehicle 101 in the captured image range 122 onto the plane 152 behind the image 151. (Plane projection image) is generated.
  • the viewpoint conversion unit 133 starts from the captured image (wide-angle image) supplied from the imaging unit 110 obliquely rearward from the position of the imaging unit 110 on the side surface of the vehicle 101 as illustrated in FIG.
  • the image 153 of the viewpoint direction (the viewpoint direction obliquely rearward of the vehicle 101) can be generated.
  • the viewpoint conversion unit 133 displays an image in a viewpoint direction (range between dotted arrows in the drawing) obliquely rearward of the vehicle 101 within the range 122 of the captured image.
  • An image 153 (planar projection image) is generated by projecting onto the obliquely rear plane 154.
  • the viewpoint conversion unit 133 starts from the captured image (wide-angle image) supplied from the imaging unit 110 obliquely forward from the position of the imaging unit 110 on the side surface of the vehicle 101 as illustrated in FIG. 6A, for example.
  • the image 155 in the viewing direction (a viewing direction toward the oblique front of the vehicle 101) can be generated.
  • the viewpoint conversion unit 133 displays an image in a viewpoint direction (range between dotted arrows in the drawing) obliquely forward of the vehicle 101 in the captured image range 122.
  • An image 155 (planar projection image) is generated by projecting on the plane 156 obliquely forward.
  • the viewpoint conversion unit 133 starts from the captured image (wide-angle image) supplied from the imaging unit 110 obliquely downward and forward from the position of the imaging unit 110 on the side surface of the vehicle 101 as illustrated in FIG. It is possible to generate an image 157 in the direction of the viewpoint (the direction of the viewpoint obliquely downward and forward on the side surface of the vehicle 101).
  • the viewpoint conversion unit 133 is an image in the viewpoint direction (range surrounded by a dotted arrow in the figure) in the obliquely lower front side surface of the vehicle 101 in the captured image range 122. Is projected onto the plane 158 diagonally downward and forward, thereby generating an image 157 (planar projection image).
  • the viewpoint conversion unit 133 moves downward from the position of the imaging unit 110 on the side surface of the vehicle 101 from the captured image (wide-angle image) supplied from the imaging unit 110, for example, as illustrated in FIG.
  • An image 159 in the view direction can be generated.
  • the viewpoint conversion unit 133 displays an image in a viewpoint direction (a range surrounded by a dotted arrow in the drawing) in the lower side of the side surface of the vehicle 101 in the captured image range 122.
  • an image 159 plane projection image
  • the viewpoint conversion unit 133 is diagonally downward and rearward from the position of the imaging unit 110 on the side surface of the vehicle 101 from the captured image (wide-angle image) supplied from the imaging unit 110, for example, as illustrated in FIG. It is possible to generate an image 161 of the viewpoint direction to (the viewpoint direction toward the obliquely lower rear side of the vehicle 101).
  • the viewpoint conversion unit 133 is an image in a viewpoint direction (range surrounded by a dotted arrow in the drawing) in the diagonally lower side of the side surface of the vehicle 101 in the captured image range 122. Is projected onto a plane 162 obliquely below and rearward to generate an image 161 (planar projection image).
  • a surface on which a part of the captured image is projected may be an arbitrary surface and is not limited to a plane.
  • the viewpoint conversion unit 133 may project the captured image on a plurality of planes or may project it on a curved surface.
  • Examples of the state (traveling state) of the vehicle 101 determined by the vehicle state determining unit 132 include a normal traveling state, a left / right turn state, a slow traveling state, and a reverse state. For example, when the shift position is set to the back (reverse), the vehicle state determination unit 132 determines that the state of the vehicle 101 is the reverse state. Further, when the speed of the vehicle 101 is slower than the predetermined threshold, the vehicle state determination unit 132 determines that the state of the vehicle 101 is a slowing state.
  • the vehicle state determination unit 132 determines that the state of the vehicle 101 is the right / left turn state. to decide. Further, when none of them is present, that is, when the vehicle 101 moves at a predetermined speed or more, the shift position is not set in the back (reverse), and the blinker is not lit, the vehicle state determination unit 132 determines that the state of the vehicle 101 is the normal running state.
  • the state of the vehicle 101 determined by the vehicle state determination unit 132 may be any state and is not limited to the example described above. Further, the criteria for determining the state of the vehicle 101 are also arbitrary, and are not limited to the above-described example. For example, the right / left turn state may be determined based on the handle operation.
  • the viewpoint conversion unit 133 converts the viewpoint direction according to the vehicle state, for example, as follows. For example, when the vehicle 101 is in a normal traveling state, the viewpoint conversion unit 133 generates an image 151 in the viewpoint direction toward the rear of the vehicle 101 as described with reference to FIG. In FIG. 4, only the left side surface of the vehicle 101 is described. However, the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 is behind the vehicle 101 with respect to the right side surface of the vehicle 101. You may make it produce
  • the imaging unit 110 may be installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 may generate an image of the viewpoint direction toward the rear of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. . That is, the viewpoint conversion unit 133 can also generate an image in one or more viewpoint directions from each of the plurality of captured images.
  • the viewpoint conversion unit 133 may be able to generate an image in one or more viewpoint directions based on a plurality of captured images. That is, the viewpoint conversion unit 133 can perform viewpoint conversion on an arbitrary number of captured images and generate an image with an arbitrary number of viewpoint directions.
  • the viewpoint conversion unit 133 when the vehicle 101 is in a right / left turn state, the viewpoint conversion unit 133 generates an image 153 in the viewpoint direction obliquely backward of the vehicle 101 as described with reference to FIG.
  • FIG. 5 only the left side surface of the vehicle 101 is described.
  • the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 is inclined with respect to the right side surface of the vehicle 101. You may make it produce
  • the imaging unit 110 is installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely rearward of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. Good.
  • the viewpoint conversion unit 133 may generate an image of the viewpoint direction obliquely rearward with respect to the side surface in the direction in which the vehicle 101 is bent. For example, when the vehicle 101 turns to the right, the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely rearward of the right side surface of the vehicle 101, and when the vehicle 101 makes a left turn, the viewpoint conversion unit 133 You may make it produce
  • the viewpoint conversion unit 133 can also generate images in a plurality of viewpoint directions according to the state of the vehicle 101 from the captured image (wide-angle image). For example, the viewpoint conversion unit 133 may also generate an image 155 in the viewpoint direction obliquely forward of the vehicle 101 as described with reference to FIG. In FIG. 6, only the left side surface of the vehicle 101 is described, but the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 is oblique to the right side surface of the vehicle 101. You may make it produce
  • the imaging unit 110 is installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely forward of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. Good.
  • the viewpoint conversion unit 133 may generate an image on the side surface in the direction in which the vehicle 101 is bent. For example, when the vehicle 101 turns to the right, the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely forward on the right side surface of the vehicle 101 and an image of the viewpoint direction obliquely rearward of the right side surface of the vehicle 101. When the vehicle 101 makes a left turn, the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely forward on the left side surface of the vehicle 101 and an image of the viewpoint direction obliquely rearward of the left side surface of the vehicle 101. Also good.
  • the front side of the vehicle 101 that is likely to come into contact with a pedestrian or the like when making a right or left turn tends to be a blind spot from inside the vehicle due to pillars on the left and right of the windshield.
  • the imaging unit 110 is installed outside the vehicle, a blind spot is hardly generated. Therefore, by generating and providing such an image, the driver can more easily check the position of the white line on the road surface and the pedestrian when turning right or left. That is, it is possible to provide an image useful for the driver that assists in turning left and right.
  • the viewpoint conversion unit 133 when the vehicle 101 is in a slow traveling state, the viewpoint conversion unit 133 generates an image 157 in the viewpoint direction obliquely downward and forward of the vehicle 101 as described with reference to FIG.
  • FIG. 7 only the left side surface of the vehicle 101 is described.
  • the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 is inclined with respect to the right side surface of the vehicle 101. You may make it produce
  • the imaging unit 110 is installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely downward and forward of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. Also good.
  • the driver can more easily perform a check for suppressing the occurrence of contact and derailment when the vehicle 101 is slowly moved toward the road shoulder. That is, it is possible to provide an image useful for the driver that assists the slow running.
  • the viewpoint conversion unit 133 when the vehicle 101 is in the reverse state, the viewpoint conversion unit 133 generates an image 159 in the viewpoint direction downward on the side surface of the vehicle 101 as described with reference to FIG. In FIG. 8, only the left side surface of the vehicle 101 is described. However, the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 sets the side surface of the vehicle 101 on the right side surface of the vehicle 101. An image in the downward viewing direction may be generated. Further, the imaging unit 110 may be installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 may generate an image in the viewpoint direction below the side surface of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. Good.
  • the viewpoint conversion unit 133 can also generate images in a plurality of viewpoint directions according to the state of the vehicle 101 from the captured image (wide-angle image). For example, the viewpoint conversion unit 133 may further generate an image 161 of the viewpoint direction obliquely downward and rearward of the vehicle 101 as described with reference to FIG. Although only the left side surface of the vehicle 101 is described in FIG. 9, the imaging unit 110 is installed on the right side surface of the vehicle 101, and the viewpoint conversion unit 133 is oblique to the vehicle 101 with respect to the right side surface of the vehicle 101. You may make it generate
  • the imaging unit 110 is installed on each of the left and right side surfaces of the vehicle 101, and the viewpoint conversion unit 133 generates an image of the viewpoint direction obliquely downward and rearward of the vehicle 101 for each of the left and right side surfaces of the vehicle 101. Also good.
  • the driver can more easily perform confirmation for suppressing the occurrence of contact, derailment, entrainment, and the like when turning while the vehicle 101 is retracted. That is, it is possible to provide an image useful for the driver, which assists the backward running.
  • the viewpoint direction corresponding to each state of the vehicle 101 (the viewpoint direction of the image generated in each state) and the number of images are arbitrary, and are not limited to the example described above. Further, parameters (for example, an angle of view, a size, a resolution, etc.) relating to an image generated by the viewpoint conversion unit 133 are arbitrary. When a plurality of images are generated, not all the parameters of each image need be prepared (these parameters are arbitrary for each image). As described above, the viewpoint conversion unit 133 generates an image in a predetermined viewpoint direction based on the captured image captured by the imaging unit arranged in the vehicle according to the state of the vehicle.
  • the viewpoint conversion unit 133 generates an image in the viewpoint direction according to the state of the vehicle from the captured image.
  • the imaging system 100 presents the image in the viewpoint direction according to the state of the vehicle to the user (driver). Can do. That is, the user can confirm the situation of the viewpoint direction he wants to see more in the state of each vehicle. That is, the imaging system 100 can present more useful information for the user.
  • the display unit 134 includes a display, and can display an image generated by the viewpoint conversion unit 133 on the display.
  • the installation position of this display is arbitrary.
  • it may be provided on the front panel in the vehicle.
  • a rearview mirror having a display function may be provided in the vehicle like the rearview mirror 172 in FIG.
  • a projector (not shown) may be provided in the vehicle, and an image may be projected from the projector onto the front window as in a projected image 173 of C in FIG.
  • the number of displays may be singular or plural.
  • a plurality of displays such as the display 174-1 and the display 174-2 in FIG. 10D may be provided in the vehicle. When it is not necessary to distinguish between the display 174-1 and the display 174-2, they are referred to as a display 174. As shown in FIG. 10D
  • the display 174 includes a side mirror 175-1 and a side mirror 175-2 (if the side mirror 175-1 and the side mirror 175-2 do not need to be distinguished from each other, Provided in the vicinity of each other, and may serve as an auxiliary role (that is, display auxiliary information of information (image) reflected on the side mirror 175), omit the side mirror 175, Instead of the side mirror 175 (information including information (image) reflected on the side mirror 175 may be displayed).
  • the installation position of the display 174 is arbitrary and is not limited to the example of FIG.
  • part or all of the side mirror 175 may be configured as the display 174.
  • a display may be provided on the meter panel.
  • displays may be installed at a plurality of locations in the vehicle.
  • displays may be installed at a plurality of locations in the vehicle described above, or displays may be installed at locations other than those described above.
  • the image generated by the viewpoint conversion unit 133 may be displayed on a display of a portable terminal device owned by a user (driver or the like) such as a tablet terminal, a smartphone, or a wearable terminal. . That is, the display unit 134 may be connected to the viewpoint conversion unit 133 so as to be communicable (by wired communication or wireless communication), and may not be fixedly installed in the vehicle 101.
  • the other processing units of the imaging system 100 described with reference to FIG. 3 are the same, and may not be fixedly installed on the vehicle 101.
  • FIG. 11 shows an example in which a plurality of images generated by the viewpoint conversion unit 133 are displayed.
  • the display area of one display 180 is divided into two parts, and both of them are displayed. It may be.
  • two images may be displayed one by one.
  • the image 181-1 is displayed on the display 180-1
  • the image 181-2 is displayed on the display 180-2.
  • the display area of one display 180 is divided into three as shown in FIG. Three images may be displayed.
  • the images are indicated by characters (left rear side, rear, right rear side), but in actuality, examples of A in FIG. 11 and B in FIG.
  • the image in the viewing direction is displayed.
  • the image displayed on the display 180 may be an image in any viewpoint direction, and is not limited to the example of C in FIG.
  • the display unit 134 can display an arbitrary number of images on an arbitrary number of displays. Since each display is installed at a different position, the fact that an image can be displayed on an arbitrary display can be said that each image can be displayed at an arbitrary position.
  • each image may be displayed in any layout. For example, as described above, a plurality of images may be arranged in the horizontal direction, may be arranged in the vertical direction, or may be arranged in other directions (may be a plurality of directions). Also good. Further, the display size of each image may be uniform or non-uniform (a large image and a small image may be mixed). Further, a part or all of the image may be displayed so as to be superimposed on another image. Furthermore, it may be displayed in combination with the image in the viewpoint direction from above the vehicle described in Non-Patent Document 1. That is, the display unit 134 can display an arbitrary number of images at an arbitrary position and in an arbitrary layout.
  • the layout of the image display may be changeable. Moreover, you may enable it to switch the display which displays an image. That is, the display position of the image may be switched.
  • a user driver or the like
  • the display unit 134 may select a display for displaying an image or set a layout according to the state of the vehicle. That is, the display unit 134 can display one or a plurality of images at a position corresponding to the state of the vehicle 101 with a layout corresponding to the state of the vehicle 101.
  • a single display 171 is installed on the front panel of the vehicle, and during normal driving, the display unit 134 of the vehicle 101 is displayed as shown in FIG.
  • An image 191-1 in the rearward direction from the position of the imaging unit 110 on the left side and an image 191-2 in the rearward direction from the position of the imaging unit 110 on the right side of the vehicle 101 are displayed on the display 171.
  • they may be displayed side by side in the horizontal direction.
  • a display 174-1 is installed in the vicinity of the left side mirror 175-1 in the vehicle, and a display 174 is installed in the vicinity of the right side mirror 175-2 in the vehicle.
  • -2 is installed, and during normal driving, the display unit 134 displays the image 191-1 on the display 174-1 as shown in FIG. 13B, and as shown in FIG.
  • the image 191-2 may be displayed on the display 174-2.
  • a single display 171 is installed on the front panel of the vehicle, and when the vehicle is traveling backward, the display unit 134 is displayed as shown in FIG. 14B.
  • 101 is an image 192-1 in the rearward view direction (left rear side) from the position of the imaging unit 110 on the left side of 101, an image 192-2 in the rearward view direction (rear) of the vehicle 101, and
  • the image 192-3 in the viewpoint direction (right rear side) from the position of the imaging unit 110 on the right side may be displayed side by side on the display 171 in the horizontal direction.
  • a single display 171 is installed on the front panel of the vehicle, and at the time of slowing down, the display unit 134 is displayed on the vehicle 101 as shown in FIG.
  • the image 193-2 may be displayed side by side on the display 171 in the horizontal direction.
  • a single display 171 is installed on the front panel of the vehicle, and when turning left, the display unit 134 is displayed on the vehicle 101 as shown in FIG.
  • the image 194-2 may be displayed side by side on the display 171 in the horizontal direction.
  • the image 194-1 and the image 194-2 may be displayed side by side on the display 171 in the vertical direction.
  • the display unit 134 may display the right side surface in the same manner.
  • the display unit 134 controls the display of the image according to the state of the vehicle 101, so that the image can be displayed more easily for the user (driver or the like). Therefore, the user can grasp the situation around the vehicle 101 more easily. That is, it is possible to provide a more useful image for the user.
  • the imaging unit 110 of the imaging system 100 captures the periphery of the vehicle at a wide angle in step S101.
  • the vehicle state determination unit 132 determines the state of the vehicle 101 based on the sensing result of the vehicle state sensor unit 131 by executing a vehicle state determination process.
  • step S103 the viewpoint conversion unit 133 generates an image in the viewpoint direction according to the state of the vehicle 101 determined in step S132 from the captured image obtained in step S101.
  • step S104 the display unit 134 causes the display generated according to the state of the vehicle 101 determined in step S132 to display the image generated in step S103 with a layout corresponding to the state.
  • step S105 the storage unit 135 stores the image generated in step S103 in the storage medium.
  • step S105 When the process of step S105 is finished, the periphery monitoring process is finished.
  • the vehicle state determination unit 132 acquires sensor information output from each sensor of the vehicle state sensor unit 131 in step S121.
  • step S122 the vehicle state determination unit 132 determines whether or not the shift position is set to reverse (back) based on the sensor information acquired in step S121. For example, if it is determined that the shift position is set to reverse based on the output of the shift position sensor 143, the process proceeds to step S123.
  • step S123 the vehicle state determination unit 132 determines that the traveling state of the vehicle 101 is the reverse state.
  • step S124 the vehicle state determination unit 132 determines whether or not the traveling speed of the vehicle 101 is equal to or higher than a predetermined threshold (for example, 10 km / h) based on the sensor information acquired in step S121. For example, when it is determined based on the output of the speed sensor 142 that the traveling speed of the vehicle 101 has not reached the threshold value (slower than the threshold value), the process proceeds to step S125.
  • a predetermined threshold for example, 10 km / h
  • step S125 the vehicle state determination unit 132 determines that the traveling state of the vehicle 101 is a slow running state.
  • step S124 in FIG. 18 If it is determined in step S124 in FIG. 18 that the traveling speed of the vehicle 101 is equal to or higher than the threshold (faster than the threshold), the process proceeds to step S126.
  • step S126 the vehicle state determination unit 132 determines whether the blinker is lit (flashing) based on the sensor information acquired in step S121. For example, when it is determined based on the output of the changeover switch sensor 144 that the blinker switch is set to either the left or right, the process proceeds to step S127.
  • step S127 the vehicle state determination unit 132 determines that the traveling state of the vehicle 101 is a right / left turn state.
  • step S126 in FIG. 18 If it is determined in step S126 in FIG. 18 that the blinker switch is not set to either the left or right, the process proceeds to step S128.
  • step S128 vehicle state determination unit 132 determines that the traveling state of vehicle 101 is the normal traveling state. When the process of step S128 ends, the process returns to FIG.
  • the imaging system 100 can present an image that is easy to see for the user, projected onto a plane in the viewpoint direction according to the state of the vehicle 101. That is, the imaging system 100 can present more useful information, thereby improving the safety of operation of an object such as a vehicle in more various situations.
  • Second Embodiment> ⁇ Environmental awareness>
  • the imaging system 100 not only presents the image around the vehicle 101 as described in the first embodiment, but also recognizes the environment such as surrounding objects and structures from the surrounding image, and warns as necessary. You may make it perform notification of.
  • FIG. 19 shows a main configuration example of the imaging system 100 in that case.
  • the imaging system 100 includes an environment recognition unit 211 in addition to the configuration described in the first embodiment (FIG. 3). Also, a viewpoint conversion unit 212 is provided instead of the viewpoint conversion unit 133 of FIG. Furthermore, the audio output unit 213 is also provided.
  • the environment recognition unit 211 acquires a captured image (wide-angle image) obtained by the imaging unit 110, analyzes the captured image, and recognizes objects and structures around the vehicle 101 (recognition of the surrounding environment). For example, the environment recognizing unit 211 recognizes everything that may be related to the state of the vehicle 101 around the vehicle 101, such as a wall, a power pole, a parked vehicle, a person, a step, and the like existing in the vicinity from the captured image. The environment recognition unit 211 supplies the recognition result to the viewpoint conversion unit 212.
  • the viewpoint conversion unit 212 performs the same processing as the viewpoint conversion unit 133. Further, the viewpoint conversion unit 212 determines whether there is a possibility of affecting the vehicle 101 based on the recognition result of the surrounding environment by the environment recognition unit 211 and the state of the vehicle 101 determined by the vehicle state determination unit 132. Judging. For example, when it is determined that there is an obstacle such as a wall in the traveling direction of the vehicle 101 and there is a possibility of a collision or the like, the viewpoint conversion unit 212 notifies the user (driver or the like) to that effect (warning or the like). ) This notification method is arbitrary.
  • notification may be performed using an image.
  • the viewpoint conversion unit 212 generates an image (notification image) for performing the notification.
  • Any notification image may be used.
  • a message may be displayed, a symbol or a pattern for prompting the driver's attention may be displayed, or an image in a viewpoint direction according to the state of the vehicle 101 may be colored with red or the like Image processing such as blinking may be performed.
  • surrounding objects that the driver should pay attention to may be highlighted.
  • the viewpoint conversion unit 212 highlights the utility pole 221.
  • a notification image for prompting the driver's attention may be generated.
  • a specific method of this highlighting is arbitrary.
  • an image 222 in which the power pole 221 is enlarged may be generated and displayed.
  • the outline of the utility pole 221 may be highlighted (for example, a computer graphics (CG) image of a line along the outline is superimposed).
  • CG computer graphics
  • a circumscribed rectangular CG image of the outline of the utility pole 221 may be superimposed.
  • other methods may be used.
  • the notification image generated by the viewpoint conversion unit 212 is displayed on the display by the display unit 134.
  • notification may be performed by voice.
  • the viewpoint conversion unit 212 generates sound information (notification sound) for performing the notification.
  • This notification sound may be anything. For example, a message such as “Dangerous”, a warning sound such as a buzzer, etc., or predetermined music may be used.
  • the audio output unit 213 outputs the notification audio generated by the viewpoint conversion unit 212 from an audio output device (not shown) such as a speaker included in the audio output unit 213.
  • the imaging system 100 can not only present surrounding images to the user (driver or the like) but also perform notification (warning or the like) regarding the state of the surrounding environment. Therefore, more useful information for the driver can be presented.
  • step S202 the environment recognition unit 211 analyzes the captured image obtained in step S101 and recognizes the environment around the vehicle 101.
  • step S203 the vehicle state determination unit 132 determines the state of the vehicle 101 based on the sensing result of the vehicle state sensor unit 131 by executing a vehicle state determination process.
  • the details of the vehicle state determination process are the same as in the case of the first embodiment (FIG. 18), and a description thereof will be omitted.
  • step S204 the viewpoint conversion unit 212 notifies a warning or the like as necessary based on the environment around the vehicle 101 recognized in step S202 and the state of the vehicle 101 determined in step S203.
  • step S205 to step S207 is executed in the same manner as each processing from step S103 to step S105 in FIG.
  • step S207 When the process of step S207 is completed, the periphery monitoring process is completed.
  • the imaging system 100 can not only present an image that is easy to see for the user but is projected on the surface in the viewpoint direction according to the state of the vehicle 101, and also the state of the surrounding environment Notification (warning, etc.) can be made. That is, the imaging system 100 can present more useful information, thereby improving the safety of operation of an object such as a vehicle in more various situations.
  • the notification has been made so that the surrounding environment is notified.
  • the distance to the surrounding object may be measured.
  • the distance measurement method is arbitrary, for example, a stereo camera may be used as shown in FIG.
  • the imaging unit 310 includes two imaging units, an imaging unit 310-1 and an imaging unit 310-2, and is installed in the vehicle 101 (for example, in the vicinity of the side mirror) instead of the imaging unit 110. .
  • the imaging unit 310-1 and the imaging unit 310-2 capture the same direction from positions separated from each other by a predetermined distance, and generate captured images (also referred to as captured image pairs), respectively. That is, the imaging unit 310 can generate a stereo image composed of two captured images having parallax with each other. Similar to the imaging unit 110, the imaging unit 310 can be installed at an arbitrary position of the vehicle 101.
  • FIG. 23 shows a main configuration example of the imaging system 100 in this case.
  • the imaging system 100 has substantially the same configuration as that of the second embodiment (FIG. 19).
  • the imaging unit 310 (the imaging unit 310-1 and the imaging unit 310-2) is provided instead of the imaging unit 110.
  • a stereo image processing unit 321 is provided instead of the environment recognition unit 211 (FIG. 19).
  • a viewpoint conversion unit 322 is provided instead of the viewpoint conversion unit 212.
  • the captured image generated by the imaging unit 310-1 is supplied to the viewpoint conversion unit 322.
  • the captured images generated by the imaging unit 310 (the imaging unit 310-1 and the imaging unit 310-2) are supplied to the stereo image processing unit 321.
  • the stereo image processing unit 321 performs processing related to the stereo image (captured image pair) generated by the imaging unit 310. For example, the stereo image processing unit 321 sets the captured image pair generated by the imaging unit 310-1 and the imaging unit 310-2 as a stereo image. Further, the stereo image processing unit 321 analyzes the stereo image, recognizes the environment around the vehicle 101, and recognizes a subject (an object around the vehicle 101) included in the stereo image. Further, the stereo image processing unit 321 analyzes the stereo image and calculates a distance to an object around the vehicle 101. The stereo image processing unit 321 supplies the recognition result of the surrounding environment and the calculated distance information to the viewpoint conversion unit 322.
  • the viewpoint conversion unit 322 performs the same processing as the viewpoint conversion unit 212.
  • the viewpoint conversion unit 322 also recognizes the surrounding environment by the stereo image processing unit 321, the distance to the surrounding object measured by the stereo image processing unit 321, and the vehicle state determination unit 132. Based on the state, it is determined whether there is a possibility that surrounding objects may affect the vehicle 101. For example, when it is determined that there is an obstacle such as a wall in the traveling direction of the vehicle 101 and there is a possibility of a collision or the like, the viewpoint conversion unit 212 notifies the user (driver or the like) to that effect (warning or the like). )
  • This notification method is arbitrary as in the case of the second embodiment. Further, for example, the notification expression may be changed according to the distance. For example, for an object with low risk (such as being less likely to affect the vehicle 101) such as being away from the vehicle 101 to some extent, notification is given in an adult expression and the risk of being located near the vehicle 101 is low. For a high object (which has a high possibility of affecting the vehicle 101), a notification expression method may be made in accordance with the distance to the object, such as warning with intense expression. At that time, the notification method may be added or changed, or the content of the notification may be changed.
  • notification by message when notification by message is performed, the content of the message may be changed, or the size or font of the character may be changed. Further, when notification by an image such as an enlarged image of an object or an emphasis display is performed, the enlargement ratio of the image may be changed or the degree of enhancement may be changed. Moreover, when performing the notification by voice, the content of the voice may be changed, or the volume and sound quality may be changed. In addition, notification by image or notification by voice may be added to the notification by message.
  • the notification expression may be changed in any number of stages, or may be linear according to the distance.
  • the imaging system 100 can present a peripheral image to a user (driver or the like), not only can perform notification (warning or the like) regarding the state of the surrounding environment,
  • the notification can be made with expressions (contents, etc.) corresponding to the distance. That is, the importance of the notification can be expressed. Therefore, more useful information for the driver can be presented.
  • step S302 the stereo image processing unit 321 sets the captured image pair obtained in step S301 as a stereo image.
  • step S303 the stereo image processing unit 321 analyzes the stereo image set in step S302 and recognizes the environment around the vehicle 101.
  • step S304 the stereo image processing unit 321 analyzes the stereo image set in step S302, and measures the distance to objects around the vehicle 101 recognized in step S303.
  • step S 305 the vehicle state determination unit 132 determines the state of the vehicle 101 based on the sensing result of the vehicle state sensor unit 131 by executing a vehicle state determination process.
  • the details of the vehicle state determination process are the same as in the case of the first embodiment (FIG. 18), and a description thereof will be omitted.
  • step S306 the viewpoint conversion unit 322 determines the environment around the vehicle 101 recognized in step S303, the distance to the object around the vehicle 101 measured in step S304, and the state of the vehicle 101 determined in step S305. Based on this, notifications such as warnings are made as necessary.
  • step S307 to step S309 is executed in the same manner as each processing from step S103 to step S105 in FIG.
  • step S309 ends, the periphery monitoring process ends.
  • the imaging system 100 can present an image that is easy to see for the user and is projected on the surface in the viewpoint direction according to the state of the vehicle 101, and notification about the state of the surrounding environment. (Warning or the like) can be performed, and further, the notification can be performed in an expression (content or the like) corresponding to the distance. That is, the importance of the notification can be expressed. That is, the imaging system 100 can present more useful information, thereby improving the safety of operation of an object such as a vehicle in more various situations.
  • the traveling state of the vehicle 101 has been described as an example of the state of the vehicle 101. However, this state may be any state and may not be the traveling state.
  • the system and apparatus to which the present technology is applied can be applied to other than the vehicle 101.
  • the present invention can be applied to some moving body. In that case, a captured image (wide-angle image) around the moving body is obtained by the imaging unit, and an image in a viewpoint direction corresponding to the state of the moving body is presented to the driver of the moving body from the captured image. You can do it.
  • the system and apparatus to which the present technology is applied can be applied to other than a moving body.
  • a captured image (wide-angle image) around the machine is obtained by the imaging unit, and an image in the viewpoint direction according to the state of the machine (or the movable unit) is obtained from the captured image, and the operator of the movable unit, etc.
  • a system or apparatus to which the present technology is applied can be applied to a machine other than a machine having a movable part.
  • the present invention can be applied to all electronic devices, machines, facilities and the like such as cameras, microphones, monitors, speakers, communication devices, lighting facilities, air conditioning facilities, factory facilities, traffic systems, monitoring systems, computers, and the like. That is, the system and apparatus to which the present technology is applied can be applied to any object.
  • the system or apparatus to which the present technology is applied may present information to any human being.
  • information may be presented to the driver who drives the object.
  • driving may be any action as long as it is some kind of operation / control related to the object.
  • the driver may not be on the object. That is, the driver may be a person who remotely operates the object.
  • information may be presented to any person other than the driver.
  • information may be presented to a person who assists driving or a person who monitors.
  • the image generated by the system or apparatus to which the present technology is applied may be displayed or recorded at a place other than the object described above.
  • the image may be displayed near the operator away from the object.
  • the image may be recorded on a server or the like away from the object.
  • the imaging unit monitors the periphery of the object from a location away from the object, and the viewpoint conversion unit generates and displays an image in the viewpoint direction according to the state of the object in equipment at a location away from the object such as a server.
  • the unit or the storage unit may display or store the image at a place away from the object.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is not limited to the vehicle 101 described above, but is an automobile, an electric car, a hybrid electric car, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, a robot, a construction machine, an agricultural machine (tractor) It may be realized as an apparatus or a system that is mounted on any type of mobile body.
  • the moving body targeted by the apparatus or system to which the present technology is applied may be any object.
  • FIG. 25 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • a microcomputer 7610 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 26 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 26 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or wireless LAN (Wi-Fi (registered trademark)). Other wireless communication protocols such as Bluetooth (registered trademark) may also be implemented.
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • a terminal for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal
  • P2P Peer To Peer
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface), or MHL (Mobile High-definition Link) via a connection terminal (and a cable if necessary). ) Etc. may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • a computer program for realizing each function of the imaging system 100 according to the present embodiment described with reference to FIGS. 1 to 24 can be installed in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via a network, for example, without using a recording medium.
  • the imaging system 100 according to this embodiment described with reference to FIGS. 1 to 24 can be applied to the integrated control unit 7600 of the application example illustrated in FIG.
  • each configuration described with reference to FIGS. 3, 19, 23, and the like corresponds to the microcomputer 7610, the storage unit 7690, and the in-vehicle network I / F 7680 of the integrated control unit 7600.
  • the integrated control unit 7600 can present more useful information by generating an image in the viewpoint direction corresponding to the state of the object from the captured image.
  • the imaging system 100 described with reference to FIGS. 1 to 24 is a module for the integrated control unit 7600 shown in FIG. 25 (for example, an integrated circuit module including one die). ).
  • the imaging system 100 described with reference to FIGS. 1 to 24 may be realized by a plurality of control units of the vehicle control system 7000 illustrated in FIG.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, etc. It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules etc.
  • It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are both systems. .
  • the configuration described above as one device (or one processing unit) may be divided and configured as a plurality of devices (or a plurality of processing units).
  • the configurations described above as a plurality of devices (or a plurality of processing units) may be combined into a single device (or one processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit) described above.
  • a part of the configuration of a device (or a processing unit) is included in the configuration of another device (or other processing unit). Also good.
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • An image processing apparatus comprising: an image processing unit that generates an image in a predetermined viewpoint direction based on a plurality of captured images captured by a plurality of imaging units arranged in the vehicle according to a state of the vehicle.
  • the image processing device according to (1) wherein the image processing unit generates an image projected on a plane in the viewpoint direction by performing distortion correction on a part of the captured image.
  • the image processing device according to (1) or (2) wherein the image processing unit generates images in a plurality of viewpoint directions.
  • a detection unit that detects the state of the vehicle; A determination unit that determines a state of the vehicle from a detection result by the detection unit; The image processing unit is configured to generate an image in a predetermined viewpoint direction based on the plurality of captured images according to the state of the vehicle determined by the determination unit.
  • An image processing apparatus according to any one of the above.
  • It further includes an imaging unit that captures an image of a subject and obtains a captured image, The image processing unit is configured to generate an image in a predetermined viewpoint direction based on the captured image obtained by the imaging unit in accordance with a state of the vehicle.
  • the image processing apparatus according to any one of (1) to (12), further including a display unit that displays the image generated by the image processing unit.
  • the image processing device according to any one of (1) to (13), wherein the display unit displays one or more images in a layout according to a state of the vehicle.
  • the image processing device according to (13) or (14), wherein the display unit displays one or more images at one or more positions according to the state of the vehicle.
  • the image processing unit further generates notification information about the environment based on an environment around the vehicle based on the captured image and a state of the vehicle.
  • An image processing apparatus comprising: a display unit that displays an image in which a part of a captured image obtained by the imaging unit is projected on a plane in a predetermined viewpoint direction according to a state of the vehicle.
  • Image around the vehicle An image processing method for displaying an image in which a part of the obtained captured image is projected on a plane in a predetermined viewpoint direction according to the state of the vehicle.
  • an imaging device for imaging the periphery of the vehicle;
  • An image processing device that generates an image in a predetermined viewpoint direction based on a captured image obtained by the imaging device according to a state of the vehicle;
  • An image processing system comprising: a display device that displays an image in the viewpoint direction generated by the image processing device.
  • 100 imaging system 101 vehicle, 110 imaging unit, 131 vehicle state sensor unit, 132 vehicle state determination unit, 133 viewpoint conversion unit, 134 display unit, 135 storage unit, 141 steering angle sensor, 142 speed sensor, 143 shift position sensor, 144 switch sensor, 211 environment recognition unit, 212 viewpoint conversion unit, 213 audio output unit, 310 imaging unit, 321 stereo image processing unit, 322 viewpoint conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、より有用な情報を提示することができるようにする画像処理装置および方法、並びに画像処理システムに関する。 撮像画像から、物体の状態に応じた視点方向の画像を生成するようにする。または、物体の周辺を広角に撮像し、得られた広角な撮像画像の一部をその物体の状態に応じた視点方向の面に投影した画像を表示するようにする。例えば、物体の周辺を広角に撮像し、得られた撮像画像から、その物体の状態に応じた視点方向の画像を生成し、生成された画像を表示するようにする。本開示は、例えば、情報処理装置、電子機器、車両、コンピュータ、サーバ、プログラム、記憶媒体、システム等に適用することができる。

Description

画像処理装置および方法、並びに画像処理システム
　本技術は、画像処理装置および方法、並びに画像処理システムに関し、特に、より有用な情報を提示することができるようにした画像処理装置および方法、並びに画像処理システムに関する。
　従来、車両に設置されたカメラで撮像した画像から物体（危険物）を検知し、その物体が映っている領域を拡大して表示する技術がある（例えば特許文献１参照）。しかしながら、通常のカメラで撮像した画像では画角が狭く、車両の周辺全体を監視するためには多くのカメラが必要になる。
　そこで、画角をより広くするためにカメラに魚眼レンズ（広角レンズ）を装着することが考えられるが、このようなカメラの撮像画像（広角画像）は歪みが大きく、そのまま一部を拡大しても歪みの大きな分かり難い画像となってしまう。画像の歪みを補正する技術は、従来より考えられていた（例えば、非特許文献１参照）。
特開２００９－１７００７号公報
技術紹介（アラウンドビューモニター　日産自動車株式会社）［２０１６年１月２０日検索］、インターネット＜URL：http://www.nissan-global.com/JP/TECHNOLOGY/OVERVIEW/avm.html＞
　しかしながら、画像を見るユーザ（例えば車両の運転者）は、車両の状態によって見たい方向が変化する。これに対して非特許文献１に記載の方法は１つの固定された視点のみについて行われるものであり、この方法により得られた画像が、車両の状態によってはあまり意味の無い画像（ユーザが見たい方向ではない方向の画像）となるおそれがあった。つまり、ユーザ（運転者）にとって有用な情報を提示できないおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、より有用な情報を提示することができることを目的とする。
　本技術の一側面の画像処理装置は、車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する画像処理部を備える画像処理装置である。
　前記画像処理部は、前記撮像画像の一部について、歪み補正を行うことにより前記視点方向の平面に投影した画像を生成することができる。
　前記画像処理部は、複数の視点方向の画像を生成することができる。
　前記画像処理部は、複数の撮像画像に基づいて前記視点方向の画像を生成することができる。
　前記車両の状態は、前記車両の動きに関する状態であるようにすることができる。
　前記車両の状態は、前記車両に対して行われた操作に関する状態であるようにすることができる。
　前記画像処理部は、前記車両が通常走行状態の場合、前記車両の後方への視点方向の画像を生成することができる。
　前記画像処理部は、前記車両が右左折状態の場合、前記車両の斜め後方への視点方向の画像と、前記車両の斜め前方への視点方向の画像とを生成することができる。
　前記画像処理部は、前記車両が徐行状態の場合、前記車両の側面斜め下前方への視点方向の画像を生成することができる。
　前記画像処理部は、前記車両が後退状態の場合、前記車両の側面下方への視点方向の画像と、前記車両の側面斜め下後方への視点方向の画像を生成することができる。
　前記車両の状態を検出する検出部と、前記検出部による検出結果から前記車両の状態を判断する判断部とをさらに備え、前記画像処理部は、前記判断部により判断された前記車両の状態に応じて、前記複数の撮像画像に基づく、所定の視点方向の画像を生成するように構成されるようにすることができる。
　被写体を撮像して撮像画像を得る撮像部をさらに備え、前記画像処理部は、車両の状態に応じて、前記撮像部により得られた前記撮像画像に基づく、所定の視点方向の画像を生成するように構成されるようにすることができる。
　前記画像処理部により生成された前記画像を表示する表示部をさらに備えることができる。
　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じたレイアウトで表示することができる。
　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じた単数または複数の位置に表示することができる。
　前記画像処理部は、前記撮像画像に基づく前記車両周辺の環境と前記車両の状態とに基づいて、前記環境に関する通知情報をさらに生成することができる。
　本技術の一側面の画像処理方法は、車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する画像処理方法である。
　本技術の他の側面の画像処理装置は、車両の周辺を撮像する撮像部と、前記車両の状態に応じて、前記撮像部により得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する表示部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、車両の周辺を撮像し、前記車両の状態に応じて、得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する画像処理方法である。
　本技術のさらに他の側面の画像処理システムは、車両の周辺を撮像する撮像装置と、前記車両の状態に応じて、前記撮像装置により得られた撮像画像に基づく、所定の視点方向の画像を生成する画像処理装置と、前記画像処理装置により生成された前記視点方向の画像を表示する表示装置とを備える画像処理システムである。
　本技術の一側面においては、車両の状態に応じて、その車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像が生成される。
　本技術の他の側面においては、車両の周辺が撮像され、その車両の状態に応じて、得られた撮像画像の一部が所定の視点方向の面に投影された画像が表示される。
　本技術のさらに他の側面においては、撮像装置により車両の周辺が撮像され、画像処理装置によりその車両の状態に応じて、その撮像装置により得られた撮像画像に基づく、所定の視点方向の画像が生成され、表示装置によりその画像処理装置により生成された視点方向の画像が表示される。
　本技術によれば、画像を処理することが出来る。また本技術によれば、より有用な情報を提示することができる。
撮像システムの概要を説明する図である。 撮像画像の例を示す図である。 撮像システムの主な構成例を示すブロック図である。 平面投影画像を生成する方向の例を説明する図である。 平面投影画像を生成する方向の例を説明する図である。 平面投影画像を生成する方向の例を説明する図である。 平面投影画像を生成する方向の例を説明する図である。 平面投影画像を生成する方向の例を説明する図である。 平面投影画像を生成する方向の例を説明する図である。 表示部の設置例を示す図である。 画像表示の様子の例を示す図である。 通常走行時の画像表示の様子の例を示す図である。 通常走行時の画像表示の様子の例を示す図である。 後退時の画像表示の様子の例を示す図である。 徐行時の画像表示の様子の例を示す図である。 左折時の画像表示の様子の例を示す図である。 周辺監視処理の流れの例を説明するフローチャートである。 車両状態判断処理の流れの例を説明するフローチャートである。 撮像システムの主な構成例を示すブロック図である。 障害物の通知の様子を説明する図である。 周辺監視処理の流れの例を説明するフローチャートである。 撮像ユニットの配置例を示す図である。 撮像システムの主な構成例を示すブロック図である。 周辺監視処理の流れの例を説明するフローチャートである。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像システム）
２．第２の実施の形態（撮像システム）
３．第３の実施の形態（撮像システム）
４．第４の実施の形態（応用例）
　＜１．第１の実施の形態＞
　　＜車両周辺監視＞
　従来、自動車のような車両にカメラを取り付け、そのカメラ画像をユーザ（ドライバ）に表示したり、カメラ画像をコンピュータによって処理させることで、車両周辺の状況を認識したり、することで車両周囲の危険な状態を認識し、車両の安全性を向上させる装置があった。しかしながら、カメラには様々なものが映りこんでいるので、何が車両にとって危険なのかが分かりにくいことがある。そこで、特許文献１に記載の技術のように、カメラ画像を処理することで検知した物体（危険物）が映っているカメラ画像の一部の領域を拡大して表示することが考えられた。
　しかしながら、通常のカメラで撮像した画像では画角が狭く、車両の周辺全体を監視するためには多くのカメラが必要になる。そこで、画角をより広くするためにカメラに魚眼レンズ（広角レンズ）を装着することが考えられた。しかしながら、このようなカメラの撮像画像（広角画像）は歪みが大きい。特許文献１に記載の技術では画像の一部を単純に拡大しているだけなので、歪みが大きな広角画像にこの技術を適用しても、歪みの大きな部分画像しか得ることができなかった。この部分画像は、車両周辺の状況を把握するためのものであり、例えば車両の運転を補助する情報（運転に利用する情報）として運転者に提示される。そのため歪みの大きな画像では、車両周辺の状況が分かり難く、運転者にとって有用な情報となり得ないおそれがあった。
　ところで、従来より、このような画像の歪みを補正する技術があった。例えば、非特許文献１には、視点を真上に変換して、車両の上空から車両および車両周辺の路面などを視認できる画像に変換して表示することにより、車両の駐車時に安全性を向上させることができるようにする技術が開示されている。
　しかしながら、この非特許文献１に記載の方法は、１つの固定された視点方向のみについて行われるものであり、その視点方向の画像が、常に、ユーザ（運転者）にとって有用な情報となるとは限らなかった。一般的に、車両の運転者は、前進時、左折や右折時、後退時等、車両の状態によって見たい方向が変化する。そのため、車両の状況によっては、非特許文献１に記載の方法により生成された画像が、運転者にとって有用でない画像（ユーザが見たい方向ではない方向の画像）となるおそれがあった。
　そこで、例えば、車両の状態に応じて、その車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成するようにする。このようにすることにより、車両の状態に応じてより適切な視点方向の画像（つまり、より有用な情報）を得ることができるので、より有用な情報を提示することができる。
　また、例えば、車両の周辺を撮像し、その車両の状態に応じて、得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示するようにする。このようにすることにより、物体の状態に応じてより適切な視点方向の画像を提示することができるので、より有用な情報を提示することができる。また、例えば、画像処理システムにおいて、撮像装置が車両の周辺を撮像し、画像処理装置が車両の状態に応じて撮像装置により得られた撮像画像に基づく所定の視点方向の画像を生成し、表示装置が画像処理装置により生成されたその視点方向の画像を表示するようにする。このようにすることにより、車両の状態に応じてより適切な視点方向の画像を提示することができるので、より有用な情報を提示することができる。
　このようにより有用な情報を提示することにより、より多様な状況における車両等の物体の操作の安全性を向上させることができる。
　　＜撮像システム概要＞
　図１は、本技術を適用した画像処理システムの一実施の形態である撮像システムの概要を説明する図である。図１に示される撮像システム１００は、車両１０１に搭載されるシステムであり、車両１０１の状態に応じて、車両１０１周辺を撮像した広角な撮像画像に基づく、所定の視点方向の画像を生成するシステムである。
　撮像システム１００は、車両１０１に設置された撮像部１１０を有する。撮像部１１０は、例えば、図１のＡに示されるように、車両１０１の側面のサイドミラー付近に設置され、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等を用いたイメージセンサを有し、車両１０１の側面周辺を撮像する。なお、図１においては、撮像部１１０を１台のみ示しているが、撮像部１１０の数は任意である。例えば、図１のＡには、撮像部１１０が車両１０１の右側面に設置されている例が示され、図２Ｂには、撮像部１１０が車両１０１の左側面に設置されている例が示されているが、撮像部１１０が、車両１０１の左右側面に設置されるようにしてもよい。
　撮像部１１０は、例えば、広角レンズ（魚眼レンズ）が装着される等して、一般的なカメラの画角よりも広角な画角の撮像画像を得ることができる。例えば、撮像部１１０は、図１のＡに示される範囲１２１のように、車両１０１の側面周辺全体を撮像することができる。図１のＢは、車両１０１を上方から見た図である。図１のＢに示される範囲１２２のように、撮像部１１０は、車両１０１の側面の前方から後方までを撮像することができる。
　図２にその撮像画像の例を示す。図２に示されるように、撮像部１１０は、１枚で車両１０１の側面全体を含む、画角が広角な撮像画像（広角画像）を得ることができるが、この撮像画像においては直線が大きく歪む等、そのままでは見難い画像となってしまう。撮像システム１００は、このような撮像画像の一部に対して歪み補正等の画像処理を行うことにより、その撮像画像の一部を任意の視点方向の面に投影した、ユーザにとって見やすい画像を提示することができる。
　　＜撮像システム構成＞
　図３は、撮像システム１００の主な構成例を示すブロック図である。図３に示されるように、撮像システム１００は、撮像部１１０、車両状態センサユニット１３１、車両状態判断部１３２、視点変換部１３３、表示部１３４、および記憶部１３５を有する。なお、これらの各処理部がそれぞれ１つの装置として構成されるようにしてもよいし、複数の処理部で１つの装置を形成するようにしてもよい。
　撮像部１１０は、上述したように撮像して得られた広角な撮像画像を視点変換部１３３に供給する。車両状態センサユニット１３１は、検出部の一実施の形態であり、車両１０１の状態を検出する各種センサを有するユニットである。車両１０１の状態とは、車両１０１に関する任意の事項についての状態を示す。例えば、車両１０１の状態が、車両１０１の動きに関する状態であってもよい。この動きに関する状態は、例えば車両１０１の前進（通常走行、徐行）、右左折、後退走行等のように、車両１０１の進行方向、速度、加速度等に関する状態であってもよい。また、車両１０１の状態が、例えば、車両１０１に対する操作に関する状態であってもよい。この操作に関する状態は、例えばハンドル、シフトレバー、ウィンカー、アクセル、ブレーキ等の車両１０１に対する操作を受け付けるインターフェイスの状態であってもよい。もちろん、車両１０１の状態が、車両１０１に関するこれら以外の状態を示してもよい。車両状態センサユニット１３１は、検出する車両の状態に応じたセンサを備える。例えば、車両状態センサユニット１３１は、舵角センサ１４１、速度センサ１４２、シフトポジションセンサ１４３、切り替えスイッチセンサ１４４等のセンサを有する。
　舵角センサ１４１は、車両１０１のハンドルの操作を検出するセンサである。例えば、舵角センサ１４１は、運転者等がハンドルをどの程度回転させたか（角度や回転数等）を検出する。速度センサ１４２は、車両１０１の走行速度を検出する。なお、速度センサ１４２が、車両１０１の加速度や進行方向等も検出することができるようにしてもよい。シフトポジションセンサ１４３は、車両１０１のシフトレバーの位置（例えば、パーキング、ドライブ、バック等）を検出する。切り替えスイッチセンサ１４４は、例えば、ハザードランプスイッチやウィンカースイッチ等の各種スイッチの操作（例えば、ハザードランプスイッチを押下したか否か、ウィンカースイッチを左右どちらの方向を指示するようにセットしたか等）を検出する。
　もちろん、車両状態センサユニット１３１は、任意のセンサを有することができ、上述した以外のセンサを有することもできる。つまり、車両状態センサユニット１３１は、車両１０１に関する任意の状態を検出することができる。車両状態センサユニット１３１は、各種センサから取得した検出結果を車両状態判断部１３２に供給する。
　車両状態判断部１３２は、判断部の一実施の形態であり、車両状態センサユニット１３１から供給される、車両１０１の状態に関する検出結果に基づいて、車両１０１の状態を判断する。例えば、車両状態判断部１３２は、ハンドルの角度、走行速度、シフトレバーの位置、ウィンカーの位置等に基づいて、車両１０１の動き（走行状態）を判断する。車両状態判断部１３２は、その判断結果を視点変換部１３３に供給する。
　視点変換部１３３は、画像処理部の一実施の形態であり、撮像画像の視点方向の変換に関する処理を行う。例えば、視点変換部１３３は、車両状態判断部１３２による判断結果に応じて、撮像部１１０から供給される撮像画像（広角画像）に基づく、所定の視点方向の画像を生成する。より具体的には、撮像部１１０から供給される撮像画像（広角画像）は図２に示されるように歪んだ画像となる。視点変換部１３３は、車両１０１の状態に応じて、この撮像部１１０から供給される撮像画像の一部に対して歪み補正を行って、その一部の画像を所望の視点方向の平面に投影した画像（平面投影画像）を生成することにより、撮像画像の視点方向の変換を行う。
　表示部１３４は、車両１０１の状態に応じて、視点変換部１３３により生成された画像の表示に関する処理を行う。例えば、表示部１３４は、その車両１０１の状態に応じて、視点変換部１３３により視点方向が変換された画像を、自身が有するディスプレイに表示させる。
　記憶部１３５は、視点変換部１３３により生成された画像のデータの記憶に関する処理を行う。例えば、記憶部１３５は、視点変換部１３３により視点方向が変換された画像のデータを、自身が有する記憶媒体に記憶させる。この記憶媒体は任意であり、例えば、ハードディスクやテープデバイス等の磁気記録媒体であってもよいし、SSD（Solid State Drive）やRAM（Random Access Memory）等の書き換え可能な半導体メモリであってもよいし、CD-R（Compact Disc - Recordable）、CD-RW（Compact Disc - Rewritable）、DVD-R（Digital Versatile Disc - Recordable）、DVD-RW（Digital Versatile Disc - Rewritable）等の書き換え可能な光記録媒体であってもよいし、MD（Mini Disc）等の光磁気記録媒体であってもよい。また、この記憶媒体は、ディスク、カセット、USB（Universal Serial Bus）メモリ等のように、記憶部１３５に着脱可能なリムーバブルメディアであってもよい。
　　＜視点方向＞
　次に、各処理部の処理の詳細について説明する。まず、視点変換部１３３による視点方向変換の例について説明する。
　視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図４のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から後方への視点方向（車両１０１の後方への視点方向）の画像１５１を生成することができる。例えば、撮像部１１０から供給される撮像画像の画角は、車両１０１の上から見ると図４のＢに示される範囲１２２となる。視点変換部１３３は、この撮像画像の範囲１２２の内、車両１０１後方への視点方向（図中、点線矢印の間の範囲）の画像を、その後方の平面１５２に投影することにより、画像１５１（平面投影画像）を生成する。
　また、視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図５のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から斜め後方への視点方向（車両１０１の斜め後方への視点方向）の画像１５３を生成することができる。例えば、視点変換部１３３は、図５のＢに示されるように、撮像画像の範囲１２２の内、車両１０１斜め後方への視点方向（図中、点線矢印の間の範囲）の画像を、その斜め後方の平面１５４に投影することにより、画像１５３（平面投影画像）を生成する。
　また、視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図６のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から斜め前方への視点方向（車両１０１の斜め前方への視点方向）の画像１５５を生成することができる。例えば、視点変換部１３３は、図６のＢに示されるように、撮像画像の範囲１２２の内、車両１０１斜め前方への視点方向（図中、点線矢印の間の範囲）の画像を、その斜め前方の平面１５６に投影することにより、画像１５５（平面投影画像）を生成する。
　また、視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図７のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から斜め下前方への視点方向（車両１０１の側面斜め下前方への視点方向）の画像１５７を生成することができる。例えば、視点変換部１３３は、図７のＢに示されるように、撮像画像の範囲１２２の内、車両１０１の側面斜め下前方への視点方向（図中、点線矢印で囲まれる範囲）の画像を、その斜め下前方の平面１５８に投影することにより、画像１５７（平面投影画像）を生成する。
　また、視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図８のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から下方への視点方向（車両１０１の側面下方への視点方向）の画像１５９を生成することができる。例えば、視点変換部１３３は、図８のＢに示されるように、撮像画像の範囲１２２の内、車両１０１の側面下方への視点方向（図中、点線矢印で囲まれる範囲）の画像を、その側面下方の平面１６０に投影することにより、画像１５９（平面投影画像）を生成する。
　また、視点変換部１３３は、撮像部１１０から供給される撮像画像（広角画像）から、例えば、図９のＡに示されるように、車両１０１の側面の、撮像部１１０の位置から斜め下後方への視点方向（車両１０１の側面斜め下後方への視点方向）の画像１６１を生成することができる。例えば、視点変換部１３３は、図９のＢに示されるように、撮像画像の範囲１２２の内、車両１０１の側面斜め下後方への視点方向（図中、点線矢印で囲まれる範囲）の画像を、その斜め下後方の平面１６２に投影することにより、画像１６１（平面投影画像）を生成する。
　なお、視点変換部１３３が所望の視点方向の画像を生成する際に撮像画像の一部を投影する面は、任意の面でよく、平面に限定されない。例えば、視点変換部１３３が撮像画像を複数の平面に投影するようにしてもよいし、曲面に投影するようにしてもよい。
　　＜識別可能な車両状態とその判断＞
　車両状態判断部１３２が判断する車両１０１の状態（走行状態）として、例えば、通常走行状態、右左折状態、徐行状態、後退状態がある。例えば、シフトポジションがバック（後退）にセットされている場合、車両状態判断部１３２は、車両１０１の状態が後退状態であると判断する。また、車両１０１の速度が所定の閾値より遅い場合、車両状態判断部１３２は、車両１０１の状態が徐行状態であると判断する。また、ウィンカが点灯（点滅も含む）している場合、すなわち、ウィンカスイッチが、左右いずれか一方にセットされている場合、車両状態判断部１３２は、車両１０１の状態が右左折状態であると判断する。また、それらのいずれでも無い場合、つまり、車両１０１が所定の速度以上で移動し、シフトポジションがバック（後退）に入れられておらず、かつ、ウィンカが点灯していない場合、車両状態判断部１３２は、車両１０１の状態が通常走行状態であると判断する。
　もちろん、車両状態判断部１３２が判断する車両１０１の状態は、どのような状態であってもよく、上述した例に限定されない。また、車両１０１の状態の判断基準も任意であり、上述した例に限定されない。例えば、ハンドル操作に基づいて、右左折状態を判断するようにしてもよい。
　　＜車両状態と視点方向＞
　視点変換部１３３は、車両状態に応じて、例えば以下のように、視点方向の変換を行う。例えば、車両１０１が通常走行状態の場合、視点変換部１３３は、図４を参照して説明したような、車両１０１の後方への視点方向の画像１５１を生成する。なお、図４においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の後方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の後方への視点方向の画像を生成するようにしてもよい。つまり、視点変換部１３３は、複数の撮像画像のそれぞれから、単数または複数の視点方向の画像を生成することもできる。
　このような画像を生成することにより、サイドミラー（ドアミラー）に映る映像と同様の画像を車両１０１の運転者に提供することができる。つまり、通常走行を補助する、運転者にとって有用な画像を提供することができる。なお、視点変換部１３３が、複数の撮像画像に基づいて単数または複数の視点方向の画像を生成することができるようにしてもよい。つまり、視点変換部１３３は、任意の数の撮像画像を視点変換して、任意の数の視点方向の画像を生成することができる。
　また、例えば、車両１０１が右左折状態の場合、視点変換部１３３は、図５を参照して説明したような、車両１０１の斜め後方への視点方向の画像１５３を生成する。なお、図５においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の斜め後方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の斜め後方への視点方向の画像を生成するようにしてもよい。また、視点変換部１３３が、車両１０１が曲がる方向の側面について、斜め後方への視点方向の画像を生成するようにしてもよい。例えば、車両１０１が右折する場合、視点変換部１３３が車両１０１の右側面の斜め後方への視点方向の画像を生成するようにし、車両１０１が左折する場合、視点変換部１３３が車両１０１の左側面の斜め後方への視点方向の画像を生成するようにしてもよい。
　このような画像を生成することにより、運転者がウィンカー指示後の車線変更や右左折の際に、車両１０１の斜め後方の確認をより容易に行うことができる。したがって、巻き込みや追突の発生を抑制することができる。つまり、右左折を補助する、運転者にとって有用な画像を提供することができる。
　なお、視点変換部１３３は、撮像画像（広角画像）から、車両１０１の状態に応じた複数の視点方向の画像を生成することもできる。例えば、視点変換部１３３が、さらに、図６を参照して説明したような、車両１０１の斜め前方への視点方向の画像１５５も生成するようにしてもよい。なお、図６においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の斜め前方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の斜め前方への視点方向の画像を生成するようにしてもよい。
　また、視点変換部１３３が、車両１０１が曲がる方向の側面について画像を生成するようにしてもよい。例えば、車両１０１が右折する場合、視点変換部１３３が車両１０１の右側面の斜め前方への視点方向の画像と、車両１０１の右側面の斜め後方への視点方向の画像とを生成するようにし、車両１０１が左折する場合、視点変換部１３３が車両１０１の左側面の斜め前方への視点方向の画像と、車両１０１の左側面の斜め後方への視点方向の画像とを生成するようにしてもよい。
　特に、右左折の際に歩行者等との接触が起きやすい車両１０１の側面前方は、フロントガラスの左右にあるピラーによって車内からは死角になりやすい。これに対して、撮像部１１０は、車外に設置されているので死角が生じにくい。したがって、このような画像を生成し提供することにより、運転者は、右左折時において、路面の白線位置や歩行者の確認をより容易に行うことができる。つまり、右左折を補助する、運転者にとって有用な画像を提供することができる。
　また、例えば、車両１０１が徐行状態の場合、視点変換部１３３は、図７を参照して説明したような、車両１０１の斜め下前方への視点方向の画像１５７を生成する。なお、図７においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の斜め下前方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の斜め下前方への視点方向の画像を生成するようにしてもよい。
　このような画像を生成することにより、運転者は、車両１０１を徐行させながら路肩に幅寄せする際等における接触や脱輪の発生を抑制するための確認を、より容易に行うことができる。つまり、徐行走行を補助する、運転者にとって有用な画像を提供することができる。
　また、例えば、車両１０１が後退状態の場合、視点変換部１３３は、図８を参照して説明したような、車両１０１の側面下方への視点方向の画像１５９を生成する。なお、図８においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の側面下方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の側面下方への視点方向の画像を生成するようにしてもよい。
　なお、視点変換部１３３は、撮像画像（広角画像）から、車両１０１の状態に応じた複数の視点方向の画像を生成することもできる。例えば、視点変換部１３３が、さらに、図９を参照して説明したような、車両１０１の斜め下後方への視点方向の画像１６１も生成するようにしてもよい。なお、図９においては、車両１０１の左側面についてのみ説明しているが、撮像部１１０が車両１０１の右側面に設置され、視点変換部１３３が、車両１０１の右側面について、車両１０１の斜め下後方への視点方向の画像を生成するようにしてもよい。また、撮像部１１０が車両１０１の左右側面のそれぞれに設置され、視点変換部１３３が、車両１０１の左右側面のそれぞれについて、車両１０１の斜め下後方への視点方向の画像を生成するようにしてもよい。
　このような画像を生成することにより、運転者は、車両１０１を後退させながら曲がる場合等における接触、脱輪、巻き込み等の発生を抑制するための確認を、より容易に行うことができる。つまり、後退走行を補助する、運転者にとって有用な画像を提供することができる。
　なお、車両１０１の各状態に対応する視点方向（各状態において生成される画像の視点方向）および画像数は任意であり、上述した例に限定されない。また、視点変換部１３３により生成される画像に関するパラメータ（例えば画角、サイズ、解像度等）は、任意である。画像が複数生成される場合、各画像のパラメータが全て揃っていなくてもよい（各画像についてこれらのパラメータは任意である）。以上のように、視点変換部１３３は、車両の状態に応じて、その車両に配置された撮像部により撮像された撮像画像に基づく、所定の視点方向の画像を生成する。つまり、視点変換部１３３は、撮像画像から、車両の状態に応じた視点方向の画像を生成するとも言える。このように、視点変換部１３３によって、車両の状態に応じた視点方向の画像が得られるので、撮像システム１００は、車両の状態に応じた視点方向の画像をユーザ（運転者）に提示することができる。つまり、ユーザは、各車両の状態の際に、より見たい視点方向の状況を確認することができる。つまり、撮像システム１００は、ユーザにとってより有用な情報を提示することができる。
　　＜表示＞
　次に、表示部１３４による画像表示について説明する。上述したように、表示部１３４はディスプレイを有し、視点変換部１３３により生成された画像をそのディスプレイに表示させることができる。このディスプレイの設置位置は任意である。例えば、図１０のＡのディスプレイ１７１のように、車内のフロントパネルに設けるようにしてもよい。また、例えば、図１０のＢのバックミラー１７２のように、ディスプレイ機能を備えたバックミラーを車内に設けるようにしてもよい。また、例えば、車内にプロジェクタ（図示せず）を設け、図１０のＣの投影画像１７３のように、そのプロジェクタからフロントウィンドウに画像を投影するようにしてもよい。
　また、ディスプレイの数は単数であってもよいし、複数であってもよい。例えば、図１０のＤのディスプレイ１７４－１およびディスプレイ１７４－２のように、複数のディスプレイを車内に設けるようにしてもよい。ディスプレイ１７４－１およびディスプレイ１７４－２を互いに区別する必要が無い場合、ディスプレイ１７４と称する。ディスプレイ１７４は、図１０のＤに示されるように、サイドミラー１７５－１やサイドミラー１７５－２（サイドミラー１７５－１およびサイドミラー１７５－２を互いに区別する必要が無い場合、サイドミラー１７５と称する。）の近傍に設け、補助的な役割をする（すなわち、サイドミラー１７５に映る情報（画像）の補助的な情報等を表示する）ようにしてもよいし、サイドミラー１７５を省略し、サイドミラー１７５の代わりとする（サイドミラー１７５に映る情報（画像）を含む情報を表示する）ようにしてもよい。もちろん、ディスプレイ１７４の設置位置は任意であり、図１０のＤの例に限定されない。例えば、サイドミラー１７５の一部または全部がディスプレイ１７４として構成されるようにしてもよい。
　また、図示は省略するが、例えば、メーターパネルにディスプレイが設けられるようにしてもよい。さらに、車内の複数の箇所にディスプレイが設置されるようにしてもよい。例えば、車内の上述した箇所の内の複数箇所にディスプレイを設置するようにしてもよいし、上述した以外の箇所にもディスプレイを設置するようにしてもよい。
　また、例えば、タブレット端末、スマートフォン、ウェアラブル端末等のような、ユーザ（運転手等）が所有する携帯型端末装置のディスプレイに、視点変換部１３３により生成された画像を表示させるようにしてもよい。つまり、表示部１３４は、視点変換部１３３と通信可能に（有線通信または無線通信により）接続されていればよく、車両１０１に固定的に設置されていなくてもよい。図３を参照して説明した撮像システム１００のその他の処理部も同様であり、車両１０１に固定的に設置されていなくてもよい。
　　＜画像表示レイアウト例＞
　視点変換部１３３により生成された画像は、表示部１３４のディスプレイにどのようなレイアウトで表示されるようにしてもよい。例えば、視点変換部１３３により生成された複数の画像を表示させる場合の例を図１１に示す。例えば、２つの画像（画像１８１－１および画像１８１－２）を表示させる場合、図１１のＡに示されるように、１つのディスプレイ１８０の表示領域を２分割し、それらの両方を表示させるようにしてもよい。また、例えば、図１１のＢに示されるように、２つのディスプレイ（ディスプレイ１８０－１およびディスプレイ１８０－２）に画像を１つずつ表示させるようにしてもよい。図１１のＢの例の場合、ディスプレイ１８０－１に画像１８１－１を表示させ、ディスプレイ１８０－２に画像１８１－２を表示させている。
　また、例えば、３つの画像（画像１８１－１、画像１８１－２、画像１８１－３）を表示させる場合、図１１のＣに示されるように、１つのディスプレイ１８０の表示領域を３分割し、３つの画像を表示させるようにしてもよい。なお、図１１のＣにおいては、説明の便宜上、画像を文字（左後側方、後方、右後側方）で示しているが、実際には、図１１のＡや図１１のＢの例のように、その視点方向の画像が表示される。もちろん、ディスプレイ１８０に表示される画像は、どのような視点方向の画像であってもよく、図１１のＣの例に限定されない。
　つまり、表示部１３４は、任意の数の画像を任意の数のディスプレイに表示させることができる。各ディスプレイは互いに異なる位置に設置されるので、画像を任意のディスプレイに表示させることができるということは、各画像を任意の位置に表示させることができるとも言える。また、１つのディスプレイに複数の画像を表示させる場合、各画像をどのようなレイアウトで表示させるようにしてもよい。例えば、上述のように複数の画像を水平方向に並べるようにしてもよいし、垂直方向に並べるようにしてもよいし、その他の方向（複数の方向であってもよい）に並べるようにしてもよい。また、各画像の表示の大きさは均一であってもよいし、不均一であってもよい（大きく表示される画像と小さく表示される画像が混在するようにしてもよい）。さらに、画像の一部または全部を他の画像に重ねて表示させるようにしてもよい。さらに、非特許文献１に記載の車両上方からの視点方向の画像と組み合わせて表示するようにしてもよい。つまり、表示部１３４は、任意の数の画像を、任意の位置に任意のレイアウトで表示させることができる。
　　＜画像表示制御＞
　また、この画像表示のレイアウトが変更可能であってもよい。また、画像を表示するディスプレイを切り替えることができるようにしてもよい。つまり、画像の表示位置を切り替えることができるようにしてもよい。例えば、ユーザ（運転者等）が画像を表示するディスプレイを選択したり、レイアウトを設定したりすることができるようにしてもよい。また、例えば、表示部１３４が、車両の状態に応じて画像を表示するディスプレイを選択したり、レイアウトを設定したりするようにしてもよい。つまり、表示部１３４は、単数または複数の画像を、車両１０１の状態に応じた位置に、車両１０１の状態に応じたレイアウトで表示することができる。
　例えば、図１２のＡに示されるように、車内のフロントパネルには単数のディスプレイ１７１が設置されており、通常走行時には、表示部１３４が、図１２のＢに示されるように、車両１０１の左側面の撮像部１１０の位置から後方への視点方向の画像１９１－１と、車両１０１の右側面の撮像部１１０の位置から後方への視点方向の画像１９１－２とを、そのディスプレイ１７１に、水平方向に並べて表示させるようにしてもよい。
　また、例えば、図１３のＡに示されるように、車内の左側のサイドミラー１７５－１の近傍にはディスプレイ１７４－１が設置され、車内の右側のサイドミラー１７５－２の近傍にはディスプレイ１７４－２が設置されており、通常走行時には、表示部１３４が、図１３のＢに示されるように、画像１９１－１をディスプレイ１７４－１に表示させ、図１３のＣに示されるように、画像１９１－２をディスプレイ１７４－２に表示させるようにしてもよい。
　また、例えば、図１４のＡに示されるように、車内のフロントパネルには単数のディスプレイ１７１が設置されており、後退走行時には、表示部１３４が、図１４のＢに示されるように、車両１０１の左側面の撮像部１１０の位置から後方への視点方向（左後側方）の画像１９２－１と、車両１０１の後方への視点方向（後方）の画像１９２－２と、車両１０１の右側面の撮像部１１０の位置から後方への視点方向（右後側方）の画像１９２－３とを、そのディスプレイ１７１に、水平方向に並べて表示させるようにしてもよい。
　また、例えば、図１５のＡに示されるように、車内のフロントパネルには単数のディスプレイ１７１が設置されており、徐行時には、表示部１３４が、図１５のＢに示されるように、車両１０１の左側面の撮像部１１０の位置から前方への視点方向（左前側方）の画像１９３－１と、車両１０１の右側面の撮像部１１０の位置から前方への視点方向（右前側方）の画像１９３－２とを、そのディスプレイ１７１に、水平方向に並べて表示させるようにしてもよい。
　また、例えば、図１６のＡに示されるように、車内のフロントパネルには単数のディスプレイ１７１が設置されており、左折時には、表示部１３４が、図１６のＢに示されるように、車両１０１の左側面の撮像部１１０の位置から前方への視点方向（左前側方）の画像１９４－１と、車両１０１の左側面の撮像部１１０の位置から後方への視点方向（左後側方）の画像１９４－２とを、そのディスプレイ１７１に、水平方向に並べて表示させるようにしてもよい。なお、図１６のＣに示されるように、画像１９４－１と画像１９４－２とを、そのディスプレイ１７１に、垂直方向に並べて表示させるようにしてもよい。
　右折時は、表示部１３４が、右側面について同様に表示を行うようにすればよい。
　以上のように、表示部１３４が、車両１０１の状態に応じて画像の表示を制御することにより、画像をユーザ（運転者等）にとってより見やすく表示させることができる。したがって、ユーザは、より容易に車両１０１の周辺の状況を把握することができる。つまり、ユーザにとってより有用な画像を提供することができる。
　　＜周辺監視処理の流れ＞
　次に、以上のような撮像システム１００により実行される処理について説明する。撮像システム１００は、周辺監視処理を実行することにより、車両１０１の周辺の状況の監視を行う。図１７のフローチャートを参照して、周辺監視処理の流れの例を説明する。
　周辺監視処理が開始されると、撮像システム１００の撮像部１１０は、ステップＳ１０１において、車両周辺を広角に撮像する。ステップＳ１０２において、車両状態判断部１３２は、車両状態判断処理を実行することにより、車両状態センサユニット１３１のセンシング結果に基づいて車両１０１の状態を判断する。
　ステップＳ１０３において、視点変換部１３３は、ステップＳ１０１において得られた撮像画像から、ステップＳ１３２において判断された車両１０１の状態に応じた視点方向の画像を生成する。
　ステップＳ１０４において、表示部１３４は、ステップＳ１０３において生成された画像を、ステップＳ１３２において判断された車両１０１の状態に応じたディスプレイに、その状態に応じたレイアウトで表示させる。
　ステップＳ１０５において、記憶部１３５は、ステップＳ１０３において生成された画像を記憶媒体に記憶する。
　ステップＳ１０５の処理が終了すると、周辺監視処理が終了する。
　　＜車両状態判断処理の流れ＞
　次に、図１７のステップＳ１０２において実行される車両状態判断処理の流れの例を、図１８のフローチャートを参照して説明する。
　車両状態判断処理が開始されると、車両状態判断部１３２は、ステップＳ１２１において、車両状態センサユニット１３１の各センサから出力されるセンサ情報を取得する。ステップＳ１２２において、車両状態判断部１３２は、ステップＳ１２１において取得されたセンサ情報に基づいて、シフトポジションが後退（バック）にセットされているか否かを判定する。例えばシフトポジションセンサ１４３の出力に基づいて、シフトポジションが後退にセットされていると判定された場合、処理はステップＳ１２３に進む。
　ステップＳ１２３において、車両状態判断部１３２は、車両１０１の走行状態が後退状態であると判断する。ステップＳ１２３の処理が終了すると、処理は図１７に戻る。
　また、図１８のステップＳ１２２において、シフトポジションが後退にセットされていないと判定された場合、処理はステップＳ１２４に進む。ステップＳ１２４において、車両状態判断部１３２は、ステップＳ１２１において取得されたセンサ情報に基づいて、車両１０１の走行速度が所定の閾値（例えば１０ｋｍ／ｈ等）以上であるか否かを判定する。例えば速度センサ１４２の出力に基づいて、車両１０１の走行速度がその閾値に達していない（閾値よりも遅い）と判定された場合、処理はステップＳ１２５に進む。
　ステップＳ１２５において、車両状態判断部１３２は、車両１０１の走行状態が徐行状態であると判断する。ステップＳ１２５の処理が終了すると、処理は図１７に戻る。
　また、図１８のステップＳ１２４において、車両１０１の走行速度がその閾値以上である（閾値よりも速い）と判定された場合、処理はステップＳ１２６に進む。ステップＳ１２６において、車両状態判断部１３２は、ステップＳ１２１において取得されたセンサ情報に基づいて、ウィンカが点灯（点滅）しているか否かを判定する。例えば切り替えスイッチセンサ１４４の出力に基づいて、ウィンカスイッチが左右いずれか一方にセットされていると判定された場合、処理はステップＳ１２７に進む。
　ステップＳ１２７において、車両状態判断部１３２は、車両１０１の走行状態が右左折状態であると判断する。ステップＳ１２７の処理が終了すると、処理は図１７に戻る。
　また、図１８のステップＳ１２６において、ウィンカスイッチが左右いずれにもセットされていないと判定された場合、処理はステップＳ１２８に進む。ステップＳ１２８において、車両状態判断部１３２は、車両１０１の走行状態が通常走行状態であると判断する。ステップＳ１２８の処理が終了すると、処理は図１７に戻る。
　以上のように各処理を実行することにより、撮像システム１００は、車両１０１の状態に応じた視点方向の面に投影した、ユーザにとって見やすい画像を提示することができる。つまり、撮像システム１００は、より有用な情報を提示することができ、それにより、より多様な状況における車両等の物体の操作の安全性を向上させることができる。
　＜２．第２の実施の形態＞
　　＜環境の認識＞
　撮像システム１００が、第１の実施の形態において説明したように車両１０１周囲の画像を提示するだけでなく、周囲の画像から周辺物体や構造物等の環境を認識し、必要に応じて警告等の通知を行うようにしてもよい。
　図１９にその場合の撮像システム１００の主な構成例を示す。この場合、撮像システム１００は、第１の実施の形態において説明した構成（図３）に加えて、環境認識部２１１を有する。また、図３の視点変換部１３３の代わりに視点変換部２１２を有する。さらに、音声出力部２１３も有する。
　環境認識部２１１は、撮像部１１０において得られる撮像画像（広角画像）を取得し、その撮像画像を解析して車両１０１の周辺の物体や構造物等の認識（周辺環境の認識）を行う。例えば、環境認識部２１１は、撮像画像から周辺に存在する壁、電柱、駐車車両、人、段差等、車両１０１周辺の、車両１０１の状態に関係する可能性があるあらゆるものを認識する。環境認識部２１１は、その認識結果を視点変換部２１２に供給する。
　視点変換部２１２は、視点変換部１３３と同様の処理を行う。また、視点変換部２１２は、環境認識部２１１による周辺環境の認識結果と、車両状態判断部１３２により判断された車両１０１の状態に基づいて、車両１０１に影響を及ぼす可能性があるか否かを判断する。例えば、車両１０１の進行方向に壁等の障害物が存在し、衝突等の可能性があると判断された場合、視点変換部２１２は、その旨をユーザ（運転者等）に通知（警告等）する。この通知の方法は任意である。
　例えば、画像を用いて通知を行うようにしてもよい。その場合、視点変換部２１２は、その通知を行う画像（通知画像）を生成する。この通知画像はどのようなものであってもよい。例えば、メッセージを表示するようにしてもよいし、運転者の注意を促す記号や絵柄を表示するようにしてもよいし、車両１０１の状態に応じた視点方向の画像に、赤色等の着色や点滅等の画像処理を施すようにしてもよい。
　また、運転者が注目すべき周辺の物体を強調表示するようにしてもよい。例えば、図２０に示されるように、車両１０１が後退状態にあるときに、環境認識部２１１が車両１０１の後方近傍に電柱２２１を認識すると、視点変換部２１２は、その電柱２２１を強調表示して運転者の注意を促す通知画像を生成するようにしてもよい。この強調表示の具体的な方法は任意である。例えば、電柱２２１を拡大した画像２２２を生成し、表示させるようにしてもよい。また、電柱２２１の部分を着色するようにしてもよい。また、電柱２２１の輪郭を強調表示（例えば輪郭に沿った線のCG（Computer Graphics）画像を重畳する等）するようにしてもよい。また、電柱２２１の輪郭の外接矩形のCG画像を重畳するようにしてもよい。もちろん、その他の方法であってもよい。
　図１９に戻り、視点変換部２１２が生成した通知画像は、表示部１３４によりディスプレイに表示される。
　また、通知は音声により行うようにしてもよい。その場合、視点変換部２１２は、その通知を行う音声情報（通知音声）を生成する。この通知音声はどのようなものであってもよい。例えば、「危険です」等のメッセージであってもよいし、ブザー等の警告音等であってもよいし、所定の音楽であってもよい。
　音声出力部２１３は、視点変換部２１２が生成した通知音声を、自身が有するスピーカ等の音声出力デバイス（図示せず）から出力させる。
　このようにすることにより、撮像システム１００は、ユーザ（運転者等）に周辺の画像を提示することができるだけでなく、周辺環境の状態に関する通知（警告等）を行うことができる。したがって、運転者にとってより有用な情報を提示することができる。
　　＜周辺監視処理の流れ＞
　次に、この場合の周辺監視処理の流れの例を、図２１のフローチャートを参照して説明する。周辺監視処理が開始されると、撮像システム１００の撮像部１１０は、ステップＳ２０１において、車両周辺を広角に撮像する。
　ステップＳ２０２において、環境認識部２１１は、ステップＳ１０１において得られた撮像画像を解析して、車両１０１の周辺の環境認識を行う。
　ステップＳ２０３において、車両状態判断部１３２は、車両状態判断処理を実行することにより、車両状態センサユニット１３１のセンシング結果に基づいて車両１０１の状態を判断する。車両状態判断処理の詳細は第１の実施の形態の場合（図１８）と同様であるので、その説明を省略する。
　ステップＳ２０４において、視点変換部２１２は、ステップＳ２０２において認識された車両１０１周辺の環境と、ステップＳ２０３において判断された車両１０１の状態に基づいて、必要に応じて警告等の通知を行う。
　ステップＳ２０５乃至ステップＳ２０７の各処理は、図１７のステップＳ１０３乃至ステップＳ１０５の各処理と同様に実行される。
　ステップＳ２０７の処理が終了すると、周辺監視処理が終了する。
　以上のように周辺監視処理を実行することにより、撮像システム１００は、車両１０１の状態に応じた視点方向の面に投影した、ユーザにとって見やすい画像を提示することができるだけでなく、周辺環境の状態に関する通知（警告等）を行うことができる。つまり、撮像システム１００は、より有用な情報を提示することができ、それにより、より多様な状況における車両等の物体の操作の安全性を向上させることができる。
　＜３．第３の実施の形態＞
　　＜ステレオカメラ＞
　第２の実施の形態においては、周辺の環境について通知を行うように説明したが、さらに、周辺の物体までの距離を計測するようにしてもよい。距離の計測方法は任意であるが、例えば、図２２に示されるように、ステレオカメラを用いるようにしてもよい。
　図２２において、撮像ユニット３１０は、撮像部３１０－１および撮像部３１０－２の２つの撮像部により構成され、撮像部１１０の代わりとして車両１０１に（例えばサイドミラーの近傍に）設置されている。
　撮像部３１０－１および撮像部３１０－２は、互いに所定の距離離れた位置から互いに同一の方向を撮像し、それぞれ撮像画像（撮像画像対とも称する）を生成する。つまり、撮像ユニット３１０は、互いに視差を有する２枚の撮像画像からなるステレオ画像を生成することができる。この撮像ユニット３１０は、撮像部１１０と同様、車両１０１の任意の位置に設置することができる。
　図２３にこの場合の撮像システム１００の主な構成例を示す。図２３に示されるように、この場合も撮像システム１００は、第２の実施の形態の場合（図１９）と略同様の構成を有する。ただし、この場合、撮像部１１０の代わりに上述の撮像ユニット３１０（撮像部３１０－１および撮像部３１０－２）を有する。また、環境認識部２１１（図１９）の代わりにステレオ画像処理部３２１を有する。また、視点変換部２１２の代わりに視点変換部３２２を有する。
　撮像部３１０－１が生成した撮像画像は、視点変換部３２２に供給される。また、撮像ユニット３１０（撮像部３１０－１および撮像部３１０－２）が生成した撮像画像は、ステレオ画像処理部３２１に供給される。
　ステレオ画像処理部３２１は、撮像ユニット３１０が生成したステレオ画像（撮像画像対）に関する処理を行う。例えば、ステレオ画像処理部３２１は、撮像部３１０－１および撮像部３１０－２が生成した撮像画像対をステレオ画像として設定する。また、ステレオ画像処理部３２１は、そのステレオ画像を解析して、車両１０１の周辺の環境認識を行い、ステレオ画像に含まれる被写体（車両１０１の周辺の物体）を認識する。さらに、ステレオ画像処理部３２１は、そのステレオ画像を解析して、車両１０１の周辺の物体までの距離を算出する。ステレオ画像処理部３２１は、周辺の環境の認識結果と、算出した距離情報を視点変換部３２２に供給する。
　視点変換部３２２は、視点変換部２１２と同様の処理を行う。また、視点変換部３２２は、ステレオ画像処理部３２１による周辺環境の認識結果と、ステレオ画像処理部３２１により計測された周辺の物体までの距離と、車両状態判断部１３２により判断された車両１０１の状態に基づいて、周辺の物体が車両１０１に影響を及ぼす可能性があるか否かを判断する。例えば、車両１０１の進行方向に壁等の障害物が存在し、衝突等の可能性があると判断された場合、視点変換部２１２は、その旨をユーザ（運転者等）に通知（警告等）する。
　この通知の方法は、第２の実施の形態の場合と同様に任意である。また、例えば、通知の表現を距離に応じて変更するようにしてもよい。例えば、車両１０１からある程度離れている等の危険性の低い（車両１０１に影響を与える可能性の小さい）物体については、大人しい表現で通知を行い、車両１０１の近傍に位置する等の危険性の高い（車両１０１に影響を与える可能性の大きい）物体については、激しい表現で警告する等、通知の表現方法を物体までの距離に応じたものとするようにしてもよい。その際、通知の方法を追加したり変更したりするようにしてもよいし、通知の内容を変更するようにしてもよい。
　例えば、メッセージによる通知を行う場合、メッセージの内容を変更したり、文字の大きさやフォントを変更したりするようにしてもよい。また、物体の拡大画像や強調表示等、画像による通知を行う場合、画像の拡大率を変更したり、強調度合いを変更したりするようにしてもよい。また、音声による通知を行う場合、音声の内容を変更したり、音量や音質を変更したりしてもよい。また、メッセージによる通知に、画像による通知を追加したり、音声による通知を追加したりしてもよい。
　また、この通知の表現の変更は、何段階であってもよいし、距離に応じた線形的なものであってもよい。
　このようにすることにより、撮像システム１００は、ユーザ（運転者等）に周辺の画像を提示することができ、周辺環境の状態に関する通知（警告等）を行うことができるだけでなく、さらに、その通知を距離に応じた表現（内容等）で行うことができる。つまり、その通知の重要度を表現することができる。したがって、運転者にとってより有用な情報を提示することができる。
　　＜周辺監視処理の流れ＞
　次に、この場合の周辺監視処理の流れの例を、図２４のフローチャートを参照して説明する。周辺監視処理が開始されると、撮像システム１００の撮像ユニット３１０は、ステップＳ３０１において、車両周辺を広角に撮像する。
　ステップＳ３０２において、ステレオ画像処理部３２１は、ステップＳ３０１において得られた撮像画像対をステレオ画像として設定する。
　ステップＳ３０３において、ステレオ画像処理部３２１は、ステップＳ３０２において設定されたステレオ画像を解析して、車両１０１の周辺の環境認識を行う。
　ステップＳ３０４において、ステレオ画像処理部３２１は、ステップＳ３０２において設定されたステレオ画像を解析して、ステップＳ３０３において認識された車両１０１の周辺の物体までの距離を計測する。
　ステップＳ３０５において、車両状態判断部１３２は、車両状態判断処理を実行することにより、車両状態センサユニット１３１のセンシング結果に基づいて車両１０１の状態を判断する。車両状態判断処理の詳細は第１の実施の形態の場合（図１８）と同様であるので、その説明を省略する。
　ステップＳ３０６において、視点変換部３２２は、ステップＳ３０３において認識された車両１０１周辺の環境と、ステップＳ３０４において計測された車両１０１周辺の物体までの距離と、ステップＳ３０５において判断された車両１０１の状態に基づいて、必要に応じて警告等の通知を行う。
　ステップＳ３０７乃至ステップＳ３０９の各処理は、図１７のステップＳ１０３乃至ステップＳ１０５の各処理と同様に実行される。
　ステップＳ３０９の処理が終了すると、周辺監視処理が終了する。
　以上のように周辺監視処理を実行することにより、撮像システム１００は、車両１０１の状態に応じた視点方向の面に投影した、ユーザにとって見やすい画像を提示することができ、周辺環境の状態に関する通知（警告等）を行うことができるだけでなく、さらに、その通知を距離に応じた表現（内容等）で行うことができる。つまり、その通知の重要度を表現することができる。つまり、撮像システム１００は、より有用な情報を提示することができ、それにより、より多様な状況における車両等の物体の操作の安全性を向上させることができる。
　　＜その他＞
　以上においては、車両１０１の状態として車両１０１の走行状態を例に説明したが、この状態は、どのようなものであってもよく、走行状態でなくてもよい。また、本技術を適用したシステムや装置は、車両１０１以外にも適用することができる。例えば、何らかの移動体に適用することもできる。その場合、撮像部によりその移動体の周辺の撮像画像（広角画像）を得て、その撮像画像から移動体の状態に応じた視点方向の画像を、その移動体の運転者等に提示するようにすればよい。また、本技術を適用したシステムや装置は、移動体以外にも適用することができる。例えば、ドアやアーム等の可動部を備えた何らかの機械であってもよい。その場合、撮像部によりその機械の周辺の撮像画像（広角画像）を得て、その撮像画像から機械（またはその可動部）の状態に応じた視点方向の画像を、その可動部の操作者等に提示するようにすればよい。
　さらに、本技術を適用したシステムや装置は、可動部を備えた機械以外にも適用することができる。例えば、カメラ、マイクロホン、モニタ、スピーカ、通信装置、照明設備、空調設備、工場設備、交通システム、監視システム、コンピュータ等、あらゆる電子機器、機械、設備等に適用することができる。つまり、本技術を適用したシステムや装置は、任意の物体に適用することができる。
　なお、本技術を適用したシステムや装置は、どのような人間に対して情報を提示するようにしてもよい。例えば、物体を運転する運転者に情報を提示するようにしてもよい。この場合、「運転」とは、物体に関する何らかの操作・操縦であればどのような行為であってもよい。例えば、物体の移動に限らず、可動部の制御、撮像制御、画像や音声等の出力制御、通信制御、室温制御、照明制御等に関する操作・操縦であってもよい。また、この運転者は、物体に搭乗していなくてもよい。つまり、運転者は、物体を遠隔操作する者であってもよい。
　また、運転者以外の任意の者に情報を提示するようにしてもよい。例えば、運転の補助をする者や監視をする者等に、情報を提示するようにしてもよい。
　本技術を適用したシステムや装置により生成される画像は、上述の物体以外の場所において表示したり記録したりするようにしてもよい。例えば、物体を遠隔操作する場合は、その操作者がその物体に搭乗していない。このような場合に、画像を物体から離れた操作者近傍に表示するようにしてもよい。また、画像を物体から離れたサーバ等に記録するようにしてもよい。
　さらに、上述した撮像システム１００の構成の一部または全部が、この物体以外の場所に設置されるようにしてもよい。例えば、撮像部が物体から離れた場所から、物体周辺を監視し、視点変換部が、サーバ等の物体から離れた場所の設備において、物体の状態に応じた視点方向の画像を生成し、表示部や記憶部が、物体から離れた場所においてその画像を表示したり記憶したりするようにしてもよい。
　＜４．第４の実施の形態＞
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、上述の車両１０１に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置やシステムとして実現されてもよい。つまり、本技術を適用する装置やシステムが対象とする移動体は、どのような物体であってもよい。本技術を適用することにより、より有用な情報を提示することができ、それにより、より多様な状況における移動体等の物体の操作の安全性を向上させることができる。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図１乃至図２４を用いて説明した本実施形態に係る撮像システム１００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図１乃至図２４を用いて説明した本実施形態に係る撮像システム１００は、図２５に示した応用例の統合制御ユニット７６００に適用することができる。例えば、図３、図１９、図２３等を参照して説明した各構成は、統合制御ユニット７６００のマイクロコンピュータ７６１０、記憶部７６９０、車載ネットワークＩ／Ｆ７６８０に相当する。例えば、統合制御ユニット７６００が、撮像画像から、物体の状態に応じた視点方向の画像を生成することにより、より有用な情報を提示することができる。
　また、図１乃至図２４を用いて説明した撮像システム１００の少なくとも一部の構成要素は、図２５に示した統合制御ユニット７６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２４を用いて説明した撮像システム１００が、図２５に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムでもある。
　また、以上において１つの装置（または１つの処理部）として説明した構成を分割し、複数の装置（または複数の処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または複数の処理部）として説明した構成をまとめて１つの装置（または１つの処理部）として構成されるようにしてもよい。また、以上において説明した各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または、ある処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する画像処理部
　を備える画像処理装置。
　（２）　前記画像処理部は、前記撮像画像の一部について、歪み補正を行うことにより前記視点方向の平面に投影した画像を生成する
　（１）に記載の画像処理装置。
　（３）　前記画像処理部は、複数の視点方向の画像を生成する
　（１）または（２）に記載の画像処理装置。
　（４）　前記画像処理部は、複数の撮像画像に基づいて前記視点方向の画像を生成する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記車両の状態は、前記車両の動きに関する状態である
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記車両の状態は、前記車両に対して行われた操作に関する状態である
　（１）乃至（５）のいずれかに記載の画像処理装置。
　（７）　前記画像処理部は、前記車両が通常走行状態の場合、前記車両の後方への視点方向の画像を生成する
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記画像処理部は、前記車両が右左折状態の場合、前記車両の斜め後方への視点方向の画像と、前記車両の斜め前方への視点方向の画像とを生成する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記画像処理部は、前記車両が徐行状態の場合、前記車両の側面斜め下前方への視点方向の画像を生成する
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　前記画像処理部は、前記車両が後退状態の場合、前記車両の側面下方への視点方向の画像と、前記車両の側面斜め下後方への視点方向の画像を生成する
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記車両の状態を検出する検出部と、
　前記検出部による検出結果から前記車両の状態を判断する判断部と
　をさらに備え、
　前記画像処理部は、前記判断部により判断された前記車両の状態に応じて、前記複数の撮像画像に基づく、所定の視点方向の画像を生成するように構成される
　（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　被写体を撮像して撮像画像を得る撮像部をさらに備え、
　前記画像処理部は、車両の状態に応じて、前記撮像部により得られた前記撮像画像に基づく、所定の視点方向の画像を生成するように構成される
　（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記画像処理部により生成された前記画像を表示する表示部をさらに備える
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じたレイアウトで表示する
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じた単数または複数の位置に表示する
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記画像処理部は、前記撮像画像に基づく前記車両周辺の環境と前記車両の状態とに基づいて、前記環境に関する通知情報をさらに生成する
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する
　画像処理方法。
　（１８）　車両の周辺を撮像する撮像部と、
　前記車両の状態に応じて、前記撮像部により得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する表示部と
　を備える画像処理装置。
　（１９）　車両の周辺を撮像し、
　前記車両の状態に応じて、得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する
　画像処理方法。
　（２０）　車両の周辺を撮像する撮像装置と、
　前記車両の状態に応じて、前記撮像装置により得られた撮像画像に基づく、所定の視点方向の画像を生成する画像処理装置と、
　前記画像処理装置により生成された前記視点方向の画像を表示する表示装置と
　を備える画像処理システム。
　１００　撮像システム，　１０１　車両，　１１０　撮像部，　１３１　車両状態センサユニット，　１３２　車両状態判断部，　１３３　視点変換部，　１３４　表示部，　１３５　記憶部，　１４１　舵角センサ，　１４２　速度センサ，　１４３　シフトポジションセンサ，　１４４　切り替えスイッチセンサ，　２１１　環境認識部，　２１２　視点変換部，　２１３　音声出力部，　３１０　撮像ユニット，　３２１　ステレオ画像処理部，　３２２　視点変換部

Claims (20)

  1. 　車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する画像処理部
    　を備える画像処理装置。
  2. 　前記画像処理部は、前記撮像画像の一部について、歪み補正を行うことにより前記視点方向の平面に投影した画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記画像処理部は、複数の視点方向の画像を生成する
    　請求項１に記載の画像処理装置。
  4. 　前記画像処理部は、複数の撮像画像に基づいて前記視点方向の画像を生成する
    　請求項１に記載の画像処理装置。
  5. 　前記車両の状態は、前記車両の動きに関する状態である
    　請求項１に記載の画像処理装置。
  6. 　前記車両の状態は、前記車両に対して行われた操作に関する状態である
    　請求項１に記載の画像処理装置。
  7. 　前記画像処理部は、前記車両が通常走行状態の場合、前記車両の後方への視点方向の画像を生成する
    　請求項１に記載の画像処理装置。
  8. 　前記画像処理部は、前記車両が右左折状態の場合、前記車両の斜め後方への視点方向の画像と、前記車両の斜め前方への視点方向の画像とを生成する
    　請求項１に記載の画像処理装置。
  9. 　前記画像処理部は、前記車両が徐行状態の場合、前記車両の側面斜め下前方への視点方向の画像を生成する
    　請求項１に記載の画像処理装置。
  10. 　前記画像処理部は、前記車両が後退状態の場合、前記車両の側面下方への視点方向の画像と、前記車両の側面斜め下後方への視点方向の画像を生成する
    　請求項１に記載の画像処理装置。
  11. 　前記車両の状態を検出する検出部と、
    　前記検出部による検出結果から前記車両の状態を判断する判断部と
    　をさらに備え、
    　前記画像処理部は、前記判断部により判断された前記車両の状態に応じて、前記複数の撮像画像に基づく、所定の視点方向の画像を生成するように構成される
    　請求項１に記載の画像処理装置。
  12. 　被写体を撮像して撮像画像を得る撮像部をさらに備え、
    　前記画像処理部は、車両の状態に応じて、前記撮像部により得られた前記撮像画像に基づく、所定の視点方向の画像を生成するように構成される
    　請求項１に記載の画像処理装置。
  13. 　前記画像処理部により生成された前記画像を表示する表示部をさらに備える
    　請求項１に記載の画像処理装置。
  14. 　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じたレイアウトで表示する
    　請求項１３に記載の画像処理装置。
  15. 　前記表示部は、単数または複数の前記画像を、前記車両の状態に応じた単数または複数の位置に表示する
    　請求項１３に記載の画像処理装置。
  16. 　前記画像処理部は、前記撮像画像に基づく前記車両周辺の環境と前記車両の状態とに基づいて、前記環境に関する通知情報をさらに生成する
    　請求項１に記載の画像処理装置。
  17. 　車両の状態に応じて、前記車両に配置された複数の撮像部により撮像された複数の撮像画像に基づく、所定の視点方向の画像を生成する
    　画像処理方法。
  18. 　車両の周辺を撮像する撮像部と、
    　前記車両の状態に応じて、前記撮像部により得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する表示部と
    　を備える画像処理装置。
  19. 　車両の周辺を撮像し、
    　前記車両の状態に応じて、得られた撮像画像の一部が所定の視点方向の面に投影された画像を表示する
    　画像処理方法。
  20. 　車両の周辺を撮像する撮像装置と、
    　前記車両の状態に応じて、前記撮像装置により得られた撮像画像に基づく、所定の視点方向の画像を生成する画像処理装置と、
    　前記画像処理装置により生成された前記視点方向の画像を表示する表示装置と
    　を備える画像処理システム。
PCT/JP2017/031540 2016-09-16 2017-09-01 画像処理装置および方法、並びに画像処理システム WO2018051810A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/328,381 US11443520B2 (en) 2016-09-16 2017-09-01 Image processing apparatus, image processing method, and image processing system
CN201780054900.6A CN109690652A (zh) 2016-09-16 2017-09-01 图像处理设备和方法以及图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016181491 2016-09-16
JP2016-181491 2016-09-16

Publications (1)

Publication Number Publication Date
WO2018051810A1 true WO2018051810A1 (ja) 2018-03-22

Family

ID=61619523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031540 WO2018051810A1 (ja) 2016-09-16 2017-09-01 画像処理装置および方法、並びに画像処理システム

Country Status (3)

Country Link
US (1) US11443520B2 (ja)
CN (1) CN109690652A (ja)
WO (1) WO2018051810A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783657B2 (en) 2018-05-09 2020-09-22 Neusoft Corporation Method and apparatus for vehicle position detection
US20220234604A1 (en) * 2021-01-26 2022-07-28 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
JP7215367B2 (ja) * 2019-07-19 2023-01-31 トヨタ自動車株式会社 自動運転車両のセンサランプユニット

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057536A (ja) * 2003-08-05 2005-03-03 Nissan Motor Co Ltd 映像提示装置
JP2009184557A (ja) * 2008-02-07 2009-08-20 Nissan Motor Co Ltd 車両周辺監視装置
JP2010188926A (ja) * 2009-02-19 2010-09-02 Nec Access Technica Ltd 車両後方表示装置および車両後方表示方法
JP2011257984A (ja) * 2010-06-09 2011-12-22 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4955471B2 (ja) 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
US8340870B2 (en) * 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057536A (ja) * 2003-08-05 2005-03-03 Nissan Motor Co Ltd 映像提示装置
JP2009184557A (ja) * 2008-02-07 2009-08-20 Nissan Motor Co Ltd 車両周辺監視装置
JP2010188926A (ja) * 2009-02-19 2010-09-02 Nec Access Technica Ltd 車両後方表示装置および車両後方表示方法
JP2011257984A (ja) * 2010-06-09 2011-12-22 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783657B2 (en) 2018-05-09 2020-09-22 Neusoft Corporation Method and apparatus for vehicle position detection
US20220234604A1 (en) * 2021-01-26 2022-07-28 Ford Global Technologies, Llc Hazard condition warning for package delivery operation
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation

Also Published As

Publication number Publication date
US11443520B2 (en) 2022-09-13
US20210279477A1 (en) 2021-09-09
CN109690652A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
US10957029B2 (en) Image processing device and image processing method
US11076141B2 (en) Image processing device, image processing method, and vehicle
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
WO2018051810A1 (ja) 画像処理装置および方法、並びに画像処理システム
JP6813027B2 (ja) 画像処理装置および画像処理方法
WO2019225349A1 (ja) 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体
JPWO2018034209A1 (ja) 撮像装置と撮像方法
JP2018029280A (ja) 撮像装置と撮像方法
WO2019142660A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
WO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
WO2017145818A1 (ja) 信号処理装置、および信号処理方法、並びにプログラム
JP2018032986A (ja) 情報処理装置および方法、車両、並びに情報処理システム
WO2019035391A1 (en) SERVER, METHOD, NON-TRANSIENT COMPUTER-READABLE MEDIUM, AND SYSTEM
WO2020085101A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2019036861A (ja) 情報処理装置、情報処理方法、およびプログラム
US20230186651A1 (en) Control device, projection system, control method, and program
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
US20230412923A1 (en) Signal processing device, imaging device, and signal processing method
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2018135208A1 (ja) 撮像装置と撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17850713

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP