WO2018105417A1 - 撮像装置、画像処理装置、表示システム、および車両 - Google Patents
撮像装置、画像処理装置、表示システム、および車両 Download PDFInfo
- Publication number
- WO2018105417A1 WO2018105417A1 PCT/JP2017/042292 JP2017042292W WO2018105417A1 WO 2018105417 A1 WO2018105417 A1 WO 2018105417A1 JP 2017042292 W JP2017042292 W JP 2017042292W WO 2018105417 A1 WO2018105417 A1 WO 2018105417A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- video
- vehicle
- display
- control unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 96
- 238000012545 processing Methods 0.000 title claims description 47
- 238000001514 detection method Methods 0.000 claims description 218
- 238000002834 transmittance Methods 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 39
- 239000002131 composite material Substances 0.000 claims description 13
- 239000003550 marker Substances 0.000 description 138
- 230000008859 change Effects 0.000 description 71
- 238000010586 diagram Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 15
- 230000007423 decrease Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 238000013459 approach Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004397 blinking Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004378 air conditioning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
- B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Definitions
- the present disclosure relates to an imaging device, an image processing device, a display system, and a vehicle.
- Patent Literature 1 discloses a technique for controlling power supply to a monitor that displays an image of a camera provided in a vehicle.
- An imaging apparatus includes an imaging element and a control unit.
- the imaging device captures the rear of the vehicle and generates a first video.
- the control unit synthesizes a guide wall image indicating the predicted course of the vehicle in the display area on the first video.
- An image processing apparatus includes a communication unit and a control unit.
- a communication part acquires the 1st image
- the control unit synthesizes a guide wall image indicating the predicted course of the vehicle in the display area on the first video.
- a display system includes an imaging element, a control unit, and a display device.
- the imaging device captures the rear of the vehicle and generates a first video.
- the control unit synthesizes a guide wall image indicating the predicted course of the vehicle in the display area on the first video.
- the display device displays an image of the display area in which the guide wall images are combined.
- a vehicle includes a display system.
- the display system includes an image sensor, a control unit, and a display device.
- the imaging device captures the rear of the vehicle and generates a first video.
- the control unit synthesizes a guide wall image indicating the predicted course of the vehicle in the display area on the first video.
- the display device displays an image of the display area in which the guide wall images are combined.
- An imaging apparatus includes an imaging element and a control unit.
- the imaging device captures the rear of the vehicle and generates a first video.
- the control unit generates a composite image by sequentially superimposing the first image and the second image on the display area on the first video.
- the second image includes a guide wall image indicating the predicted course of the vehicle.
- the first image includes a first semi-transmissive image in which the transmittance increases from the lower side to the upper side of the display region overlapping the guide wall image.
- An image processing apparatus includes a communication unit and a control unit.
- a communication part acquires the 1st image
- the control unit generates a composite image by sequentially superimposing the first image and the second image on the display area on the first video.
- the second image includes a guide wall image indicating the predicted course of the vehicle.
- the first image includes a transmission gradation image in which the transmittance increases from the lower side to the upper side of the display area overlapping the guide wall image.
- the control unit generates a composite image by sequentially superimposing the first image and the second image on the display area on the first video.
- the display device displays the composite image.
- the second image includes a guide wall image indicating the predicted course of the vehicle.
- the first image includes a transmission gradation image in which the transmittance increases from the lower side to the upper side of the display area overlapping the guide wall image.
- a vehicle includes a display system.
- the display system includes an image sensor, a control unit, and a display device.
- the imaging device captures the rear of the vehicle and generates a first video.
- the control unit generates a composite image by sequentially superimposing the first image and the second image on the display area on the first video.
- the display device displays the composite image.
- the second image includes a guide wall image indicating the predicted course of the vehicle.
- the first image includes a transmission gradation image in which the transmittance increases from the lower side to the upper side of the display area overlapping the guide wall image.
- FIG. 1 is a block diagram showing a schematic configuration of a display system according to an embodiment of the present invention.
- FIG. 2 is a view of a vehicle including the display system as viewed from the left side.
- FIG. 3A is a diagram schematically showing an example of the appearance of the display device of FIG.
- FIG. 3B is a diagram schematically showing an example of the appearance of the display device of FIG.
- FIG. 3C is a diagram schematically showing an example of the appearance of the display device of FIG.
- FIG. 3D is a diagram schematically showing an example of the appearance of the display device of FIG.
- FIG. 3E is a diagram schematically showing an example of the appearance of the display device of FIG.
- FIG. 4 is a diagram illustrating a first example of the first video.
- FIG. 5 is a diagram illustrating a first example of the second video corresponding to the display area of the first video in FIG. 4.
- FIG. 6 is a diagram illustrating an example of the third marker superimposed on the detection target.
- FIG. 7 is a diagram illustrating a first example of the first marker and the second marker displayed around the detection target.
- FIG. 8 is a diagram illustrating a second example of the first marker and the second marker displayed around the detection target.
- FIG. 9 is a diagram illustrating a third example of the first marker and the second marker displayed around the detection target.
- FIG. 10 is a diagram illustrating a second example of the first video.
- FIG. 11 is a diagram illustrating a second example of the second video corresponding to the display area of the first video in FIG. 10.
- FIG. 12 is a diagram illustrating a third example of the first video.
- FIG. 13 is a diagram illustrating a third example of the second video corresponding to the display area of the first video in FIG. 12.
- FIG. 14 is a diagram illustrating a fourth example of the first video.
- FIG. 15 is a diagram illustrating a fourth example of the second video corresponding to the display area of the first video in FIG. 14.
- FIG. 16 is a diagram illustrating a fifth example of the first video.
- FIG. 17 is a diagram illustrating a fifth example of the second video corresponding to the display area of the first video in FIG. 16.
- FIG. 18 is a diagram illustrating another example of the second video corresponding to the display area of the first video in FIG. 16.
- FIG. 19 is a diagram illustrating a sixth example of the first video.
- FIG. 20 is a diagram illustrating a sixth example of the second video corresponding to the display area of the first video in FIG. 19.
- FIG. 21 is a diagram illustrating another example of the second video.
- FIG. 22 is a diagram illustrating a first modification of the sixth example of the second video.
- FIG. 23 is a diagram illustrating a second modification of the sixth example of the second video.
- FIG. 24 is a diagram illustrating a third modification of the sixth example of the second video.
- FIG. 25 is a diagram illustrating a seventh example of the first video.
- FIG. 26 is a diagram illustrating a seventh example of the second video corresponding to the display area of the first video in FIG. 25.
- FIG. 27 is a diagram illustrating an eighth example of the first video.
- FIG. 22 is a diagram illustrating a first modification of the sixth example of the second video.
- FIG. 23 is a diagram illustrating a second modification of the sixth example of the second video.
- FIG. 24 is a diagram illustrating
- FIG. 28 is a diagram illustrating a positional relationship between the vehicle and the detected object.
- FIG. 29 is a diagram illustrating an eighth example of the second video corresponding to the display area of the first video in FIG. 24.
- FIG. 30 is a diagram illustrating a modification of the eighth example of the second video.
- FIG. 31 is a diagram showing an example in which the display range of FIG. 30 is changed to wide view display.
- FIG. 32 is a diagram illustrating another example of the second video.
- Display system A display system 10 according to an embodiment of the present invention will be described with reference to FIG.
- the display system 10 includes an imaging device 20, an image processing device 30, and a display device 40.
- Each component of the imaging device 20 and the display system 10 can transmit and receive information via the network 51, for example.
- the network 51 may include, for example, wireless, wired, or CAN (Controller Area Network).
- some or all of the components of the display system 10 may be integrally configured as one device.
- a configuration in which the image processing device 30 is built in the imaging device 20 or the display device 40 is conceivable.
- the imaging device 20, the image processing device 30, and the display device 40 may be provided in the moving body 50.
- the “mobile body” in the present disclosure may include, for example, a vehicle, a ship, an aircraft, and the like.
- the vehicle may include, for example, an automobile, an industrial vehicle, a railway vehicle, a living vehicle, and a fixed wing aircraft that runs on a runway.
- Automobiles may include, for example, passenger cars, trucks, buses, motorcycles, trolley buses, and the like.
- Industrial vehicles may include, for example, industrial vehicles for agriculture and construction.
- Industrial vehicles may include, for example, forklifts and golf carts.
- Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combiners, lawn mowers, and the like.
- Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, crane trucks, dump trucks, road rollers, and the like.
- the vehicle may include a vehicle that travels manually.
- the classification of the vehicle is not limited to the example described above.
- an automobile may include an industrial vehicle capable of traveling on a road.
- the same vehicle may be included in multiple classifications.
- Ships may include, for example, marine jets, boats, tankers, and the like.
- Aircraft may include, for example, fixed wing aircraft and rotary wing aircraft.
- the imaging device 20 can image an external area of the moving body 50.
- the position of the imaging device 20 is arbitrary inside and outside the moving body 50.
- the imaging device 20 is located behind the movable body 50 that can capture an external region behind the movable body 50.
- the position of the image processing apparatus 30 is arbitrary in the moving body 50.
- the display device 40 can be visually recognized by the subject 60.
- the position of the display device 40 is arbitrary in the moving body 50.
- the display device 40 is located in the dashboard of the moving body 50.
- the imaging device 20 includes an imaging optical system 21, an imaging element 22, a communication unit 23, and a control unit 24.
- the imaging optical system 21 forms a subject image.
- the imaging optical system 21 may include a diaphragm and one or more lenses.
- the image sensor 22 has a plurality of pixels arranged two-dimensionally.
- the image sensor 22 may include, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
- the image sensor 22 can capture a subject image formed by the imaging optical system 21 and generate a captured image.
- the communication unit 23 may include a communication interface capable of communicating with an external device.
- the communication unit 23 may be capable of transmitting / receiving information via the network 51.
- the external device may include an image processing device 30, for example.
- the “communication interface” in the present disclosure may include, for example, a physical connector and a wireless communication device.
- the physical connector may include an electrical connector that supports transmission using an electrical signal, an optical connector that supports transmission using an optical signal, and an electromagnetic connector that supports transmission using electromagnetic waves.
- the electrical connector is a connector conforming to IEC 60603, a connector conforming to the USB standard, a connector corresponding to the RCA terminal, a connector corresponding to the S terminal defined in EIAJ CP-1211A, and a D terminal defined in EIAJ RC-5237.
- a connector corresponding to a coaxial cable including a corresponding connector, a connector conforming to the HDMI (registered trademark) standard, and a BNC (British NavalorConnector or Baby-series N Connector) may be included.
- the optical connector may include various connectors conforming to IEC 61754.
- the wireless communication device may include a wireless communication device that conforms to standards including Bluetooth (registered trademark) and IEEE802.11.
- the wireless communication device includes at least one antenna.
- the control unit 24 includes one or more processors.
- the “processor” in the present disclosure may include a dedicated processor specialized for a specific process and a general-purpose processor that executes a specific function by reading a specific program.
- the dedicated processor may include a DSP (Digital Signal Processor) and an application specific IC (ASIC; Application Specific Integrated Circuit).
- the processor may include a programmable logic device (PLD).
- the PLD may include an FPGA (Field-Programmable Gate Array).
- the control unit 24 may be one of SoC (System-on-a-Chip) and SiP (System-In-a-Package) in which one or more processors cooperate.
- the control unit 24 controls the entire operation of the imaging device 20.
- the control unit 24 may cause the image sensor 22 to generate a captured image at an arbitrary frame rate.
- the frame rate may substantially match the frame rate that the display device 40 can display.
- the control unit 24 may perform predetermined image processing on the generated captured image.
- the image processing may include, for example, exposure adjustment processing, white balance processing, distortion correction processing, and the like.
- the control unit 24 outputs the captured image to the image processing device 30 via the communication unit 23.
- the control unit 24 may sequentially output captured images at the above frame rate.
- each captured image output at the above-described frame rate is also simply referred to as a frame.
- the plurality of captured images output from the imaging device 20 are also referred to as first images. For example, when the frame rate is 60 fps (Flame per Seconds), 60 captured images per second are output as the first video.
- the image processing apparatus 30 includes a communication unit 31, a storage unit 32, and a control unit 33.
- the communication unit 31 may include a communication interface capable of communicating with various external devices.
- the external device includes, for example, an imaging device 20, a display device 40, an ECU (Electronic Control Unit or Engine Control Unit) provided in the moving body 50, a speed sensor, an acceleration sensor, a rotation angle sensor, a steering rudder angle sensor, and an engine speed sensor. , Accelerator sensor, brake sensor, illuminance sensor, raindrop sensor, mileage sensor, millimeter wave radar, obstacle detection device using ultrasonic sonar, ETC (Electronic Toll Collection System) receiver, GPS (Global Positioning System) device , Navigation devices, servers on the Internet, mobile phones and the like.
- ETC Electronic Toll Collection System
- GPS Global Positioning System
- the communication unit 31 may include communication interfaces for inter-vehicle communication, road-to-vehicle communication, and vehicle-to-vehicle communication.
- the communication unit 31 may include a receiver that supports optical beacons of DSRC (Dedicated Short-Range Communication) and VICS (registered trademark) (Vehicle Information Communication and Communication System) provided in Japan.
- the communication unit 31 may include a receiver corresponding to a road traffic information providing system in another country.
- the communication unit 31 may be able to acquire various information from an external device.
- the communication unit 31 may be able to acquire mobile body information and environment information.
- the moving body information may include arbitrary information regarding the moving body 50.
- the moving body information includes, for example, the speed, acceleration, turning gravity, inclination, direction, and turning state of the moving body 50, the steering wheel steering angle, the cooling water temperature, the remaining amount of fuel, the remaining amount of the battery, the voltage of the battery, Engine speed, gear position, presence / absence of reverse signal, presence / absence of accelerator operation, accelerator opening, presence / absence of brake operation, brake depression, presence / absence of parking brake, front / rear or four-wheel speed difference, tire pressure, damper Expansion / contraction amount, driver's eye space position, number of passengers and seat position, seat belt wearing information, door opening / closing, window opening / closing, interior temperature, air conditioning operation status, air conditioning set temperature, air conditioning airflow , Setting of outside air circulation, operating condition of wiper, driving mode, connection information with external device, current time, average fuel consumption, instantaneous fuel consumption, lighting status of various lamps, position of moving body 50 Distribution, and it may include routing information, etc.
- the environment information may include arbitrary information related to the external environment of the mobile object 50.
- the environmental information includes, for example, brightness around the moving object 50, weather, atmospheric pressure, outside air temperature, map information, traffic information, road construction information, temporary change in speed limit of the traveling path, and objects detected by other vehicles. And the lighting state of the traffic light.
- the storage unit 32 may include a temporary storage device and a secondary storage device.
- the storage unit 32 may be configured using, for example, a semiconductor memory, a magnetic memory, an optical memory, or the like.
- the semiconductor memory may include volatile memory and non-volatile memory.
- the magnetic memory may include, for example, a hard disk and a magnetic tape.
- the optical memory may include, for example, a CD (Compact Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray (registered trademark) Disc), and the like.
- the storage unit 32 stores various information and programs necessary for the operation of the image processing apparatus 30.
- the control unit 33 includes one or more processors.
- the control unit 33 controls the overall operation of the image processing apparatus 30.
- the control unit 33 may acquire mobile body information and environment information from an external device via the communication unit 31.
- the control unit 33 may determine the predicted course of the moving body 50 based on the moving body information, for example.
- the predicted course of the moving body 50 is also referred to as a first predicted course.
- the control unit 33 may acquire the first video from the imaging device 20 via the communication unit 31.
- the first video includes a detection area and a display area.
- the control unit 33 may detect at least a part of the detection target in the detection area on the acquired first video.
- the detection area on the first video may be at least a partial area on the captured image that is each frame of the first video. Each frame of the first video can be called a captured image.
- the detection area on the first video may be larger than the display area.
- the detection area on the first video may include a display area.
- the control unit 33 can detect the detection target inside the display area.
- the control unit 33 can detect the detection target outside the display area and inside the detection area.
- the area inside the detection area and the display area can be referred to as a first area.
- the area inside the detection area and outside the display area can be called a second area.
- the detection target may include a plurality of types of objects.
- the types of objects may include, for example, people, other moving objects, lanes, lanes, white lines, gutters, sidewalks, crosswalks, road signs, traffic signs, guardrails, walls, traffic lights, and the like.
- the types of detection targets that can be detected by the control unit 33 are not limited to these.
- At least a part of the detection target includes, for example, a part of the detection target that is not hidden behind the other object when the part of the detection target on the first video is hidden behind the other object. It's okay.
- the control unit 33 may be able to detect the upper body of the pedestrian.
- An arbitrary object detection algorithm may be employed for detecting at least a part of the detection target.
- the control unit 33 may detect at least a part of the detection target by an algorithm such as pattern matching or feature point extraction using a captured image that is each frame of the first video.
- the control unit 33 may determine a predicted course of the detection target based on the first video.
- the predicted course to be detected is also referred to as a second predicted course. Any algorithm may be employed for determining the second predicted course.
- the control unit 33 may determine the second predicted course based on changes in the direction and position of the detection target on the captured image that is each frame of the first video.
- the control unit 33 may estimate the relative positional relationship between the moving body 50 and the detection target based on the first video when at least a part of the detection target is detected on the first video.
- the relative positional relationship may include, for example, the distance between the moving body 50 and the detection target, the presence / absence of an overlap between the first predicted course of the moving body 50 and the second predicted course of the detection target, and the like.
- An arbitrary algorithm may be employed for estimating the distance between the moving object 50 and the detection target.
- the control unit 33 may estimate the distance between the moving object 50 and the detection target by the motion stereo method using the captured image that is each frame of the first video signal.
- the control unit 33 may acquire information indicating the relative positional relationship between the moving body 50 and the detection target from an external device via the communication unit 31.
- the control unit 33 may determine which contribution of the moving body 50 and the detection target is greater with respect to the decrease in the distance. Arbitrary algorithms may be employed for determining the contribution of the moving object 50 and the detection target to the distance reduction.
- the control unit 33 may detect the moving speed of the moving body 50 based on the moving body information. For example, the control unit 33 may detect the moving speed of the detection target based on a change in the position of the detection target on the captured image that is each frame of the first video. The control unit 33 may determine that one of the moving body 50 and the detection target, which has a higher moving speed, contributes to the decrease in the distance.
- the control unit 33 may determine that the detection target contributes greatly to the decrease in the distance.
- the control unit 33 may determine that the contribution of the moving body 50 is large with respect to the decrease in the distance.
- the reference value may be set arbitrarily, but may be set to substantially zero, for example. Details of the operation of the image processing apparatus 30 according to the contribution of the moving body 50 and the detection target to the decrease in the distance will be described later.
- the control unit 33 determines, based on the first video, whether there is a possibility that the moving body 50 and the detection target are in contact with each other. It's okay. Arbitrary algorithms may be employed for determining the possibility of contact between the moving body 50 and the detection target. For example, the control unit 33 has at least one of a condition that the distance between the moving body 50 and the detection target is less than a predetermined threshold and a condition that the decreasing speed of the distance is equal to or greater than a predetermined threshold. When it is satisfied, it may be determined that there is a possibility that the moving body 50 and the detection target are in contact with each other. Details of the operation of the image processing apparatus 30 according to the presence or absence of the possibility will be described later.
- the control unit 33 may cause the display device 40 to display the second video corresponding to the display area on the first video acquired from the imaging device 20. Specifically, the control unit 33 may output the second video to the display device 40 via the communication unit 31. For example, the control unit 33 may display the second video on the display device 40 when the backward movement of the moving body 50 is detected based on the moving body information. For example, the control unit 33 can detect the reverse based on the shift position of the transmission gear. For example, the control unit 33 can detect reverse travel based on a reverse signal output from the moving body during reverse travel.
- the second video may be a video obtained by cutting out a display area on a captured image that is each frame of the first video, for example.
- the display area on the first video may be at least a part of the area on the captured image that is each frame of the first video.
- the display area may be smaller than the detection area.
- the display area may be included in the detection area.
- the position, shape, and size of the display area can be arbitrarily determined.
- the control unit 33 can change the position, shape, and size of the display area. By changing the position, shape, and size of the display area, for example, the display area and the detection area may substantially match.
- the control unit 33 may combine various markers with the second video and display them on the display device 40. Compositing includes overwriting and mixing.
- the marker may include one or more images, for example.
- the control unit 33 may dynamically change the display mode of at least a part of the marker superimposed on the second video.
- the display mode may include, for example, the position, size, shape, color, shading, and the like of at least a part of the marker on the second video.
- the control unit 33 may determine the display mode of the marker according to the type of the detection target. Details of the operation of the image processing apparatus 30 for displaying various markers on the display device 40 will be described later.
- the display device 40 may include, for example, a liquid crystal display and an organic EL (Electroluminescence) display.
- the display device 40 may display the second video input from the image processing device 30 via the network 51, for example.
- the display device 40 may function as a touch screen that can accept user operations.
- the display device 40 may include a switch and a key that can accept an operation by the user.
- the switch may include a physical switch and an electronic switch.
- the keys may include physical keys and electronic keys.
- the display device 40 can be arranged at various locations on the moving body 50.
- 3A to 3E are diagrams illustrating examples of arrangement of the display device 40 when the moving body 50 is a vehicle.
- FIG. 3A shows an in-dashboard type display device 40a stored in the dashboard of the vehicle.
- FIG. 3B shows an on-dashboard type display device 40b disposed on the dashboard.
- the display device 40 b is incorporated in the moving body 50.
- the display device 40b may be detachably mounted on the dashboard.
- FIG. 3C shows a display device 40c built in the rearview mirror and capable of displaying an image as necessary.
- FIG. 3D shows the display device 40d built in the instruments panel.
- FIG. 3A shows an in-dashboard type display device 40a stored in the dashboard of the vehicle.
- FIG. 3B shows an on-dashboard type display device 40b disposed on the dashboard.
- the display device 40 b is incorporated in the moving body 50.
- the display device 40b may
- the display device 40d is disposed adjacent to instruments such as a speedometer and a tachometer.
- the entire instrument panel may be used as a display device 40d such as an LCD, and a second video may be displayed therein together with images such as a speedometer and a tachometer.
- FIG. 3E shows a display device 40e using a portable information terminal, for example, a tablet terminal.
- a mobile phone display can be used as the display device 40e.
- the terms “vertical direction” and “horizontal direction” for a video or an image correspond to a two-dimensional direction in the video or the image.
- the terms “height direction”, “horizontal direction”, and “depth direction” for a video or an image correspond to the three-dimensional direction of the space in which the video or the image is projected.
- FIG. 4 shows a first example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the control unit 33 may detect each of the pedestrian 63 and the vehicle 64 reflected inside the display area 62 on the first video as detection targets.
- the control unit 33 determines whether one or more conditions are satisfied based on the relative positional relationship between the detection target detected inside the display area 62 on the first video and the moving body 50. judge.
- the one or more conditions may include, for example, a first condition that the detection target is located in the first predicted course 65 of the moving body 50.
- the one or more conditions may include, for example, a second condition that at least a part of the first predicted course 65 of the moving body 50 overlaps at least a part of the second predicted course to be detected.
- the control unit 33 may cause the display device 40 to display a predetermined marker corresponding to the detection target superimposed on the second video.
- the predetermined marker may include a first marker, a second marker, and a third marker.
- control unit 33 may determine that the one or more conditions for the pedestrian 63 are satisfied. In such a case, the control unit 33 may display a marker corresponding to the pedestrian 63. The control unit 33 may determine that the one or more conditions for the vehicle 64 are not satisfied. In such a case, the control unit 33 does not display a marker corresponding to the vehicle 64.
- FIG. 5 shows an example of the second video corresponding to the display area 62 of the first video shown in FIG.
- the control unit 33 cuts out the display area 62 of the first video and then the aspect ratio of the screen of the display device 40.
- the second video that has been deformed according to the above may be output to the display device 40. As shown in FIG. 5, a pedestrian 63 and a vehicle 64 are shown on the second video.
- the control unit 33 may cause the display device 40 to display a guide line 66 indicating at least a part of the first predicted course 65 of the moving body 50 shown in FIG.
- the control unit 33 may dynamically change the guide line 66 in accordance with a change in the steering angle of the steering wheel.
- the first video has a wider range than the display area 62.
- the control unit 33 can change the range of the display area 62.
- the control unit 33 may superimpose the icon image 67 on the second video and display it on the display device 40.
- the outline 67a of the icon image 67 shown in FIG. 5 indicates the maximum range when the range of the display area 62 is changed.
- a white rectangle 67 b of the icon image 67 indicates the display area 62.
- An icon image 67 shown in FIG. 5 shows the relative position and size of the display area 62 with respect to the maximum range of the display area 62.
- FIG. 6 shows an example of a marker superimposed on the pedestrian 63 on the second video, for example.
- the marker is also referred to as a third marker 68.
- the outline 69 of the third marker 68 may substantially coincide with the outline of the pedestrian 63 detected on the second video.
- the region 70 inside the contour line 69 of the third marker 68 may be filled with a color or pattern corresponding to “person” as the type of detection target, for example.
- the control unit 33 may superimpose the third marker 68 on the pedestrian 63 on the second video and display it on the display device 40. According to such a configuration, the target person 60 can easily visually recognize the pedestrian 63 on the second video.
- the control unit 33 may hide the third marker 68 when a predetermined time has elapsed since the third marker 68 was displayed.
- FIG. 7 shows an example of two types of markers superimposed on the periphery of the pedestrian 63 on the second video, for example.
- each of the two types of markers is also referred to as a first marker 71 and a second marker 72.
- the control unit 33 may cause the display device 40 to display the first marker 71 and the second marker 72 superimposed on the second video.
- the control unit 33 may move the position of the first marker 71 following the pedestrian 63 on the second video. Since the first marker 71 follows the pedestrian 63, the subject 60 can easily catch the pedestrian 63. The first marker 71 is displayed around the pedestrian 63 away from the pedestrian 63. The subject 60 can easily understand the behavior of the pedestrian 63 when the first marker 71 is displayed on the display device 40.
- the control unit 33 may change the overlapping position of the second marker 72 relative to the overlapping position of the first marker 71 on the second video. The control unit 33 may relatively move the second marker 72 with reference to the position of the first marker 71.
- the control unit 33 can determine that the contribution of the moving body 50 is large with respect to the decrease in the distance. In such a case, the control unit 33 may move the second marker 72 toward the first marker 71. First, the control unit 33 displays the second marker 72 at a position away from the first marker 71. Next, the control unit 33 moves the second marker 72 toward the first marker 71 until the distance from the first marker 71 becomes a predetermined distance. Next, the control unit 33 erases the second marker 72. Next, the control part 33 displays the 2nd marker 72 in the position away from the 1st marker 71 again, and repeats the above-mentioned process. In this example, since the second marker 72 is moving toward the object called the first marker 71, the subject 60 can understand that the second marker 72 is approaching the first marker 71. .
- the control unit 33 can determine that the contribution of the pedestrian 63 to the decrease in the distance is large. In such a case, the control unit 33 may move the second marker 72 away from the first marker 71. First, the control unit 33 displays the second marker 72 at a position close to the first marker 71. Next, the control unit 33 moves the second marker 72 away from the first marker 71 until the distance from the first marker 71 reaches a predetermined distance. Next, the control unit 33 erases the second marker 72. Next, the control unit 33 displays the second marker 72 again at a position close to the first marker 71 and repeats the above-described processing. In this example, since the second marker 72 has moved from the object called the first marker 71, the subject 60 can understand that the second marker 72 is away from the first marker 71.
- the control unit 33 changes the moving direction of the second marker 72 relative to the first marker 71 according to the contribution of the moving body 50 and the pedestrian 63 to the decrease in the distance between the moving body 50 and the pedestrian 63. .
- the subject 60 can identify whether the moving body 50 is approaching the pedestrian 63 or whether the pedestrian 63 is approaching the moving body 50 according to the moving direction of the second marker 72, for example.
- the control unit 33 may repeatedly enlarge or reduce the second marker 72 around the first marker 71 on the second video.
- the control unit 33 may superimpose a first marker 71 and a second marker 72 having a shape similar to the outline 69 of the pedestrian 63 on the second video.
- the controller 33 may repeat the enlargement or reduction of the second marker 72 around the first marker 71.
- the control unit 33 switches the enlargement or reduction of the second marker 72 according to the contribution of the moving body 50 and the pedestrian 63 to the decrease in the distance between the moving body 50 and the pedestrian 63.
- the control unit 33 When the distance between the detection target displaying the first marker 71 and the second marker 72 and the moving body 50 is less than a predetermined threshold, the control unit 33 superimposes a new marker on the second video. It's okay.
- the new marker is also referred to as a fourth marker.
- the fourth marker may include an arbitrary image.
- the fourth marker may include an image indicating an exclamation mark “!”. According to such a configuration, for example, when the pedestrian 63 displaying the first marker 71 and the second marker 72 and the moving body 50 approach a certain level or more, the fourth marker is displayed superimposed on the second video. .
- the target person 60 can identify that the pedestrian 63 is located in the vicinity of the moving body 50 by the fourth marker, for example.
- the control unit 33 when the distance between the detection target displaying the first marker 71 and the second marker 72 and the moving body 50 is less than a predetermined threshold, the control unit 33 performs the first marker
- the display mode of 71 and the second marker 72 may be changed.
- the control unit 33 may change the colors of the first marker 71 and the second marker 72.
- the control unit 33 can detect two detection objects arranged in the depth direction.
- the control unit 33 may display the first marker 71 and the second marker 72 on each of the two detection targets located in the front and rear.
- the control unit 33 can attach different first markers 71 and second markers 72 to the two detection targets.
- the control unit 33 has a first marker 71 that is less conspicuous than the first marker 71 and the second marker 72 that are attached to the second detection target that is positioned on the near side with respect to the first detection target that is positioned on the back side.
- a second marker 72 may be attached.
- the control unit 33 includes the first marker 71 and the second marker attached to the first detection object located on the back side from the first marker 71 and the second marker 72 attached to the second detection object located on the near side. 72, such as making the color darker, increasing the transmittance, and making the line thinner.
- FIG. 10 shows a second example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the control unit 33 includes a pedestrian 63a reflected inside the display area 62 on the first video, and pedestrians 63b and 63c reflected outside the display area 62 and inside the detection area 61, respectively. You may detect as a detection target.
- the process of the control part 33 regarding the pedestrian 63a is similar to the process regarding the pedestrian 63 shown in FIG. 4, for example.
- the control unit 33 displays a marker corresponding to the detection target superimposed on the second video. It may be displayed on the device 40.
- the marker is also referred to as a fifth marker.
- the control unit 33 may display the fifth marker when it is determined that there is a possibility that the moving body 50 and the detection target are in contact with each other.
- the control unit 33 superimposes the fifth marker on the right end of the second video on the display device 40. You may display.
- the control unit 33 superimposes the fifth marker on the left end of the second video on the display device 40. You may display.
- the detection position where the pedestrian 63b is detected is on the right side of the display area 62.
- the control unit 33 may determine that there is a possibility that the moving body 50 and the pedestrian 63b are in contact with each other. In such a case, the control unit 33 may cause the display device 40 to display the fifth marker corresponding to the pedestrian 63b superimposed on the right end of the second video. Details of the fifth marker corresponding to the pedestrian 63b will be described later.
- the detection position where the pedestrian 63 c is detected is on the left side of the display area 62.
- the control unit 33 can determine that there is no possibility that the moving body 50 and the pedestrian 63c come into contact with each other. In such a case, the control unit 33 may not display the fifth marker corresponding to the pedestrian 63b.
- FIG. 11 shows an example of the second video corresponding to the display area 62 of the first video shown in FIG. As shown in FIG. 11, a pedestrian 63a is shown on the second video. Pedestrians 63b and 63c are not shown on the second video.
- the control unit 33 may display an obstacle image 74 on the display device 40 by superimposing the obstacle image 74 on the second video, for example.
- the obstacle image 57 shows the detection result of the obstacle detection device using the ultrasonic sonar provided in the moving body 50.
- the obstacle image 74 may include an image 74a, an image 74b, and an image 74c.
- the image 74a is an image in which the moving body 50 is viewed from above.
- the image 74 b is an image indicating that an obstacle is detected on the left rear side of the moving body 50.
- the image 74 c is an image indicating that an obstacle has been detected on the right rear side of the moving body 50.
- the detection result of the obstacle by the obstacle detection device and the detection result of the detection target by the control unit 33 do not necessarily match.
- the obstacle image 74 indicates that obstacles are detected at the right rear and the left rear of the moving body 50.
- the control unit 33 can determine that there is no possibility that the pedestrian 63 c existing on the left rear side of the moving body 50 is in contact with the moving body 50. In such a case, the control unit 33 may not display the fifth marker corresponding to the pedestrian 63c.
- the fifth marker 73 may include an icon image 73a and a band image 73b.
- the icon image 73a may be an image corresponding to “person” which is the type of detection target.
- the subject 60 who has visually recognized the icon image 73a can recognize that a person is present on the right side of the second video.
- the band image 73b is, for example, a band-shaped image extending in the vertical direction on the second video.
- the band image 73b may be filled with a color or pattern corresponding to, for example, “person” as the type of detection target.
- the control unit 33 may move the band image 73b in the right end region 73c on the second video.
- the control unit 33 may change the moving speed and width of the band image 73b.
- the control unit 33 may determine the width of the band image 73b according to the distance between the moving body 50 and the pedestrian 63b. For example, the control unit 33 may increase the width of the band image 73b as the distance approaches. The subject 60 who has visually recognized the band image 73b can recognize the distance between the moving body 50 and the pedestrian 63b based on the width of the band image 73b.
- the control unit 33 can determine that the contribution of the moving body 50 is large, for example, with respect to the decrease in the distance between the moving body 50 and the pedestrian 63b. In such a case, the control unit 33 repeatedly moves the band image 73b in the first direction within the right end region 73c on the second video.
- the first direction may be a direction from the outside toward the inside in the left-right direction on the second video.
- the control unit 33 can determine that, for example, the contribution of the pedestrian 63b is large with respect to the decrease in the distance between the moving body 50 and the pedestrian 63b. In such a case, the control unit 33 repeatedly moves the band image 73b in the second direction within the right end region 73c on the second video.
- the second direction may be, for example, a direction from the inside toward the outside in the left-right direction on the second video.
- the subject 60 who visually recognizes the band image 73b can recognize whether the moving body 50 is approaching the pedestrian 63b or whether the pedestrian 63b is approaching the moving body 50 based on the moving direction of the band image 73b. It is.
- the control unit 33 may determine the moving speed of the band image 73b according to the decreasing speed of the distance between the moving body 50 and the pedestrian 63b. For example, the moving speed of the band image 73b may be increased as the decreasing speed of the distance is faster. The subject 60 who has visually recognized the band image 73b can recognize the decreasing speed of the distance between the moving body 50 and the pedestrian 63b based on the moving speed of the band image 73b.
- the control unit 33 detects a user input corresponding to a predetermined user operation in a state where the fifth marker 73 is displayed, the detection position of the pedestrian 63b on the first video is included inside the display region 62.
- the display area 62 may be changed as described above.
- the control unit 33 may lengthen the display area 62 on the first video image in the left-right direction and move the display area 62 to the right side in the detection area 61. With such a configuration, for example, as shown in FIG. 13, a pedestrian 63b appears on the second video.
- the predetermined user operation described above may include an arbitrary user operation.
- the predetermined user operation described above may include a first user operation that changes the steering angle of the moving body 50.
- the fifth marker 73 may function as a GUI (Graphic User Interface) that receives the second user operation.
- GUI Graphic User Interface
- the GUI is also referred to as an interface image.
- the predetermined user operation described above may include a second user operation.
- the control unit 33 may automatically change the display area 62 such that the detection position of the pedestrian 63b on the first video is included inside the display area 62. In this case, the control unit 33 can maintain the automatic change of the display area 62 until the pedestrian 63b is not detected in the detection area 61 of the first video.
- the control unit 33 may change the icon image 67 in accordance with the change in the display area 62, for example, as shown in FIG.
- the control unit 33 may change the display area 62 on the first video according to, for example, a pinch-in operation and a pinch-out operation on the display device 40. For example, as shown in FIG. 14, the control unit 33 may make the display area 62 substantially coincide with the detection area 61. In such a case, for example, as shown in FIG. 15, all detection targets in the detection area 61 are displayed on the display device 40.
- FIG. 16 illustrates a fifth example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the control unit 33 may detect the vehicle 64a shown in the first predicted course 65 of the moving body 50, the vehicle 64b shown outside the first predicted course 65, and the pedestrian 63d as detection targets. .
- the characteristic values of the first video and the second video may be reduced.
- the characteristic value may include an arbitrary parameter related to video visibility.
- the characteristic value may include at least one of, for example, a luminance value of a video and a contrast ratio.
- the characteristic value of the second video is lowered, the visibility of the second video can be lowered.
- the control unit 33 may execute specific image processing on the area corresponding to the detection target on the second video.
- the specific image processing may include first processing for superimposing a marker corresponding to the detection target on the region.
- the marker is also referred to as a sixth marker.
- the sixth marker may include an image that substantially matches the contour shape of the detection target on the second video. According to this configuration, the sixth marker is superimposed and displayed on the detection target on the second video. Therefore, the target person 60 can easily recognize the detection target on the second video even when the characteristic value of the second video is low.
- the specific image processing may include second processing for changing the characteristic value of the region corresponding to the detection target on the second video.
- control unit 33 may change the characteristic value of the region so as to improve the visibility of the region on the second video. According to such a configuration, the visibility of the detection target on the second video is improved. Therefore, the target person 60 can easily recognize the detection target on the second video even when the characteristic value of the second video is low.
- the control unit 33 may execute the above-described specific image processing when one or more conditions are satisfied.
- the one or more conditions may include a condition that the detection target is located in the first predicted course 65 of the moving body 50.
- the one or more conditions may include a condition that the first predicted course 65 of the moving body 50 and the second predicted course to be detected overlap.
- the one or more conditions may include a condition that the distance between the moving body 50 and the detection target is less than a predetermined threshold.
- the one or more conditions may include a condition that a characteristic value of at least a part of the second video is less than a predetermined threshold.
- the control unit 33 may determine that one or more conditions described above are satisfied for each of the vehicles 64a and 64b and the pedestrian 63d. In such a case, as shown in FIG. 17, for example, the control unit 33 displays three sixth markers 75a, 75b, and 75c corresponding to the vehicles 64a and 64b and the pedestrian 63d, respectively, superimposed on the second video. It may be displayed on the device 40. The control unit 33 may display the sixth marker superimposed on the detection target in a bright place.
- the control unit 33 may change the shape of the guide line 66.
- the control unit 33 may change the shape of the guide line 66 in a region where the guide line 66 and the detection target overlap.
- FIG. 18 shows one example of the shape of the guide line 66.
- the guide line 66 of FIG. 18 the guide line is not displayed in the area
- An example of the shape of the guide line 66 is not limited to erasing, but allows other design changes.
- the design change includes a color change, a transmittance change, a type change to a broken line, a line thickness change, a blinking, and the like.
- the control unit 33 may change the shape of the guide line 66 when the sixth marker is not displayed.
- the control unit 33 may change the shape of the guide line 66 when the first marker 71 and the second marker 72 are displayed on the detection target.
- various markers corresponding to the detection target detected on the first video are displayed on the display device 40 while being superimposed on the second video.
- the target person 60 who visually recognizes the marker can recognize the relative positional relationship between the moving body 50 and the detection target at a glance. For this reason, the convenience of the technique which displays the image
- the image processing device 30 synthesizes the guide wall image 80 and other images in the display area on the first video, and displays various video examples on the display device 40. This will be specifically described.
- FIG. 19 shows a sixth example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the imaging device 20 may be disposed so as to capture the rear of the moving body 50 that is a vehicle.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the detection region 61 is not limited to a shape that is longer in the left-right direction than in the up-down direction, and various shapes such as a square, a vertically long rectangle, and a circle are possible.
- the display area 62 can have various positions, sizes, and shapes.
- the display area 62 is not necessarily located in the center of the detection area 61, and may be on the left or right.
- the display area 62 is not limited to a part of the detection area 61, and the entire detection area 61 may be the display area 62.
- the control unit 33 may change the display area 62 on the first video in accordance with a pinch-in operation, a pinch-out operation, or the like for the display device 40.
- the control unit 33 generates a second video by synthesizing the guide wall image 80 (see FIG. 20) indicating the first predicted course 65 of the moving body 50 with the display area on the first video acquired from the imaging device 20. .
- the control unit 33 may output an image obtained by superimposing the guide wall image 80 on the second video and display the image on the display device 40.
- the guide wall image 80 can indicate a predicted course when the moving body 50 moves backward.
- the guide wall image 80 is a marker that gives a three-dimensional impression to the subject 60.
- the guide wall image 80 can be considered as an image projected on the first video when the imaging device 20 captures a virtual guide wall that guides the predicted path and is arranged in the real space in which the first video is projected.
- the guide wall image 80 can be viewed within the field of view of the subject 60 so as to be composed of a plurality of virtual translucent walls extending from the road surface to a predetermined height in the height direction. It can be said that the guide wall image 80 is a three-dimensional display of guide lines displayed on the display device 40 when the vehicle moves backward.
- the wall-shaped display includes a display according to another aspect such as a surface, a film, or a plate.
- the three-dimensional display of the guide wall image 80 makes it easy for the subject 60 to grasp the position of the parking space on the road surface, the distance to the obstacle, and the like.
- the control unit 33 can recognize the detection target in the display area 62 of the first video.
- the control unit 33 may detect a detection target that is inside the display area 62 on the first video and reflected in the first predicted course 65.
- the control unit 33 can synthesize a virtual plane as the first recognition wall image 83 on the recognized detection target moving body 50 side.
- the first recognition wall image 83 moves together with the detection target when the detection target moves.
- FIG. 20 shows an example of the second video corresponding to the display area 62 of the first video shown in FIG.
- the guide wall image 80 is disposed away from the lower end of the second video.
- the guide wall image 80 may include two side wall images 81a and 81b extending in the height direction and the depth direction.
- the side wall image 81a is located on the left side in the horizontal direction
- the side wall image 81b is located on the right side in the horizontal direction.
- a region between the two side wall images 81a and 81b indicates a first predicted course 65 through which the moving body 50 that is a vehicle passes.
- the interval between the sidewall images 81a and 81b may be set to indicate the vehicle width of the moving body 50.
- the control unit 33 may acquire the moving body information from the communication unit 31 and bend the side wall images 81a and 81b according to the predicted course.
- the moving body information includes the steering angle of the steering wheel.
- the guide wall image 80 may include a plurality of distance wall images 82a, 82b, and 82c that extend in the height direction and the horizontal direction and indicate the distance in the depth direction from the moving body 50.
- the distance wall images 82a, 82b, and 82c can connect between the sidewall images 81a and 81b. In FIG. 20, three distance wall images 82a, 82b and 82c can be shown.
- the number of distance wall images is not limited to three, and can be two or four or more.
- the distance in the depth direction between the distance wall images 82a and 82b may be narrower than the distance in the depth direction between the distance wall images 82b and 82c.
- the length in the height direction of the distance wall images 82a, 82b, and 82c may be longer or shorter than the length in the height direction of the side wall images 81a and 81b.
- a frame may be displayed on the outer periphery of each of the side wall images 81a and 81b and the distance wall images 82a, 82b, and 82c of the guide wall image 80.
- the guide wall image 80 may include at least one of an auxiliary line 84a extending in the depth direction, an auxiliary line 84b extending in the horizontal direction, and an auxiliary line 84c extending in the height direction.
- the guide wall image 80 may include all of auxiliary lines 84a extending in the depth direction, auxiliary lines 84b extending in the horizontal direction, and auxiliary lines 84c extending in the height direction.
- the auxiliary line 84a extending in the depth direction can be displayed on the wall surfaces of the side wall images 81a and 81b.
- the auxiliary line 84b extending in the horizontal direction can be displayed on the wall surfaces of the distance wall images 82a, 82b, and 82c.
- the auxiliary line 84c extending in the height direction can be displayed on the wall surfaces of the side wall images 81a and 81b and the distance wall images 82a, 82b, and 82c.
- Each auxiliary line 84a, 84b, 84c can be displayed in any number of 1 or more.
- the intervals between the auxiliary lines 84a, 84b, and 84c may be varied according to conditions such as the height from the road surface and the distance from the moving body 50.
- the frames displayed on the outer peripheries of the side wall images 81a, 81b and the distance wall images 82a, 82b, 82c can be regarded as a part of the plurality of auxiliary lines 84a, 84b, 84c.
- FIG. 20 and the following figures even if there are a plurality of auxiliary lines 84a, 84b, and 84c, only one of them is appropriately given a reference numeral.
- the distance wall image 82a is a first distance wall image closer to the moving body 50 than the other distance wall images 82b and 82c when mapped to the real space in which the first video is projected.
- the distance wall image 82a can have a different color from the other distance wall images 82b and 82c.
- the distance wall images 82b and 82c can be displayed in semi-transparent white, and the distance wall image 82a can be displayed in semi-transparent red.
- the sidewall images 81a and 81b can be displayed in translucent white.
- the above color setting is merely an example, and the color of the side wall images 81a and 81b may be different from the distance wall images 82b and 82c.
- the transmittance of the sidewall images 81a and 81b may be changed according to the position in the depth direction.
- the transmittance of the side wall images 81a and 81b can be set so as to be lower toward the near side in the depth direction and higher toward the far side.
- the side wall images 81a and 81b may have different saturation or brightness depending on the position in the depth direction. For example, the saturation can be increased toward the near side in the depth direction.
- the saturation of the image can be rephrased as the color intensity of the image. It can be said that a continuous change in transmittance, saturation, lightness, chromaticity, etc. has gradation.
- the transmittance of the distance wall images 82a, 82b, 82c may be changed according to the height from the road surface.
- the transmittance of the distance wall images 82a, 82b, and 82c can be set so as to increase as the distance from the road surface increases in the height direction.
- the distance wall images 82a, 82b, and 82c may have different saturation or brightness according to the height from the road surface. For example, the saturation can be lowered as the distance from the road surface increases.
- the auxiliary lines 84b and 84c on the distance wall image 82a which is the first distance wall image may have the same color as the auxiliary lines 84b and 84c of the other distance wall images 82b and 82c.
- the auxiliary lines 84a, 84b, 84c can be of any color. For example, when the color of the wall surface of the guide wall image 80 other than the distance wall image 82a is white, the colors of the auxiliary lines 84a, 84b, and 84c may be white with higher luminance or lower transmittance than these wall surfaces.
- the control unit 33 may detect the vehicle 64 shown in the display area 62 of the first video as a detection target.
- the vehicle 64 is located in the first predicted course 65.
- the detection target detected by the control unit 33 is not limited to a vehicle, and may be a building, a fence, an obstacle on a road, a person, an animal, or the like.
- the control unit 33 can synthesize the first recognition wall image 83 on the recognized moving object 50 side of the detection target.
- the control unit 33 may change the length of the guide wall image 80 in the height direction.
- the control unit 33 can shorten the length of the guide wall image 80 in the height direction. Accordingly, the control unit 33 can make the display easy to see even when the first recognition wall image 83 is displayed, and can direct the attention of the subject 60 to the detection target.
- the first recognition wall image 83 to be detected located in the first predicted course 65 extends in the height direction and the horizontal direction.
- the first recognition wall image 83 can be displayed as an opaque or translucent surface of any color.
- the first recognition wall image 83 is displayed as a translucent surface having a rectangular shape on the moving body 50 side of the vehicle 64.
- the horizontal width of the first recognition wall image 83 may correspond to the horizontal width of the vehicle 64.
- the width in the horizontal direction of the first recognition wall image 83 can be made substantially coincident with the lateral width of the vehicle 64.
- the height of the first recognition wall image 83 can be set to a predetermined value.
- the transmittance of the first recognition wall image 83 may be changed according to the height direction from the road surface.
- the transmittance of the first recognition wall image 83 can be set so as to increase with increasing distance from the road surface.
- the first recognition wall image 83 may have different saturation or brightness according to the height direction distance from the road surface. For example, the saturation can be lowered as the distance from the road surface increases.
- the first recognition wall image 83 may include an auxiliary line extending in the horizontal direction and the height direction.
- the control unit 33 can move the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction within the frame of the first recognition wall image 83.
- the auxiliary line can be displayed so that it appears from the lower end of the frame of the first recognition wall image 83 and disappears from the upper end.
- the control unit 33 moves the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction, thereby changing both the relative position and the relative distance change between the moving body 50 and the vehicle 64. Either one of them can be displayed. For example, when the distance between the moving body 50 and the vehicle 64 is decreasing, the control unit 33 can quickly move the auxiliary line extending in the horizontal direction in the height direction.
- the control unit 33 may move the auxiliary line faster in the height direction as the distance between the moving body 50 and the vehicle 64 is shorter.
- the control unit 33 may move the auxiliary line extending in the horizontal direction of the first recognition wall image 83 in the height direction regardless of the position of the detection target and the distance from the detection target.
- the color of the first recognition wall image 83 can be different depending on the distance in the depth direction from the moving body 50 to the vehicle 64. For example, as shown in FIG. 20, when the distance between the moving body 50 and the vehicle 64 is longer than a predetermined distance, the control unit 33 may display the color of the first recognition wall image 83 in blue. it can. When the distance from the vehicle 64 becomes shorter due to the backward movement of the moving body 50, the control unit 33 may change the color of the first recognition wall image 83 from blue to yellow and from yellow to red.
- the control unit 33 can not display the first recognition wall image 83.
- the control unit 33 displays the first recognition wall image 83 after highlighting the vehicle 64 in the second video. To do.
- the highlighting includes thick line display of the contour line of the vehicle 64, blinking of the contour line of the vehicle 64, painting of the image of the vehicle 64, and the like.
- the control unit 33 may change the display mode according to a change in the relative position with the vehicle 64. For example, when the vehicle 64 moves relatively away from the moving body 50, the first recognition wall image 83 can be not displayed.
- FIG. 21 is a diagram illustrating an example of a second image in a state in which the distance between the moving body 50 and the vehicle 64 is narrowed due to the backward movement of the moving body 50.
- the first recognition wall image 83 is displayed in red. Accordingly, it is possible to warn the subject 60 that there is a risk of colliding with the vehicle 64 if the vehicle travels further.
- the control unit 33 can change the display of the guide wall image 80 when the detection target object and the guide wall image 80 overlap. For example, as illustrated in FIG. 21, the control unit 33 can at least partially prevent the guide wall image 80 overlapping the vehicle 64 of the second video from being displayed. More specifically, the control unit 33 displays on the display device 40 a guide wall image 80 that overlaps the vehicle 64 and that is positioned farther from the moving body 50 in the depth direction than the vehicle 64 or the first recognition wall image 83. I won't let you. In this way, the display device 40 can display the image easily and intuitively for the target person 60.
- the method for changing the display of the guide wall image 80 is not limited to non-display of the overlapping portion.
- the control part 33 can make the transmittance
- the guide wall image 80 is not limited to the example shown in FIGS. 22 to 24 show modified examples of the guide wall image 80.
- the auxiliary line 84b extending in the horizontal direction of the distance wall images 82a, 82b, and 82c can display only one of the lowest positions in the height direction.
- the distance wall image 82a displaying only the auxiliary line 84b at the lowest position can easily recognize the ground surface height.
- the distance wall image 82a displaying only the auxiliary line 84b at the lowest position can easily grasp the distance from the recognition wall image.
- An auxiliary line 84c extending in the height direction can be displayed at both ends of the distance wall images 82a, 82b, and 82c in the horizontal direction.
- an auxiliary line 84b positioned at the lower end and an auxiliary line 84c extending in the height direction positioned at both ends in the horizontal direction can be displayed.
- the distance wall images 82a, 82b, and 82c may be displayed by the auxiliary line 84b extending in the horizontal direction at the lower end of the outer periphery and the auxiliary lines 84c extending in the height direction at both the left and right ends.
- the distance wall images 82a, 82b, and 82c can be displayed including a surface having a translucent color.
- the distance wall images 82a, 82b, and 82c can increase the transmittance as the distance from the road surface increases in the height direction, or can reduce the color density.
- the auxiliary lines 84b and 84c located on the outer periphery of the distance wall image 82a closest to the moving body 50 may be displayed in a different color from the other auxiliary lines.
- the different color can be, for example, red.
- the other auxiliary lines can be white, but are not limited thereto.
- the first recognition wall image 83 displayed in front of the vehicle 64 is displayed as a semi-transparent arbitrary color surface, and the transmittance increases as the distance from the road surface increases in the height direction, or the color density. May be displayed so as to be thin.
- the first recognition wall image 83 may be displayed so as to disappear gradually in the height direction without displaying the upper boundary so as to be visible.
- auxiliary lines 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 are displayed at the upper and lower ends of the side wall images 81a and 81b.
- the lower auxiliary line 84a 1 can be highlighted more than the upper auxiliary line 84a 2 .
- the highlighting includes displaying using a thicker line, a line with lower transmittance, a line with higher luminance, or the like.
- the upper auxiliary line 84a 2 and the lower auxiliary line 84a 1 may be lines having the same display mode.
- the line of the same mode is a line that is similar in thickness, transmittance, luminance, and the like.
- the auxiliary line 84a extending in the depth direction may be displayed by using a display method that gradually fades away at the farthest position in the depth direction.
- the sidewall images 81a and 81b may be displayed so that the end of the farthest position in the depth direction can be visually recognized.
- an auxiliary line 84c extending in the height direction can be displayed at least at a position intersecting with the end on the most front side and the distance wall images 82a, 82b, and 82c.
- These auxiliary lines 84c extending in the height direction may be highlighted more than auxiliary lines 84c extending in the other height directions.
- the auxiliary lines 84c extending in the height direction may have different thicknesses.
- the auxiliary line 84c can be displayed thicker than the auxiliary line 84c displayed at the position where the auxiliary line 84c intersects the distance wall image 82b, 82c.
- the guide wall image 80 shown in FIG. 23 is different from the guide wall image 80 of FIG. 22 in the side wall images 81a and 81b.
- two or more auxiliary lines 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 can be displayed including the uppermost and lowermost ones.
- the auxiliary line 84a extending in the depth direction may highlight the auxiliary line positioned at the bottom in the height direction more than other auxiliary lines.
- the plurality of auxiliary lines 84a may all be displayed as lines having the same mode.
- the guide wall image 80 in FIG. 23 may employ a change in transmittance, a change in color, a color scheme, and the like that can be employed in the guide wall image 80 in FIG.
- the guide wall image 80 shown in FIG. 24 is different from the guide wall image 80 of FIG. 22 in the side wall images 81a and 81b.
- the auxiliary line 84a extending in the depth direction of the side wall images 81a and 81b of the guide wall image 80 displays only the auxiliary line 84a located at the lower end.
- the auxiliary line 84a extending in the depth direction located at the lower end of the guide wall image 80 may correspond to the line on the road surface when mapped to the real space in which the first video is projected together with the auxiliary line 84b extending in the horizontal direction.
- the auxiliary lines 84c extending in the height direction may have different thicknesses.
- the auxiliary line 84c may be thinner as the auxiliary line 84c arranged from the near side in the depth direction to the far side is located on the far side.
- the display device 40 may not display part or all of the auxiliary lines 84a, 84b, and 84c in the guide wall images 80 shown in the drawings of FIGS.
- FIG. 25 shows a seventh example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the display area 62 is not limited to a part of the detection area 61, and the entire detection area 61 may be the display area 62.
- the moving body 50 is a vehicle and can be moved backward toward the parking space of the parking lot.
- the imaging device 20 is located behind the moving body 50 and can capture the rear.
- the control unit 33 may detect, from the detection area 61, the vehicle 64b and the pedestrian 63 that are outside the first predicted course 65 and at least partially shown in the display area 62 as detection targets. In the example illustrated in FIG. 25, the control unit 33 determines that the distance in the depth direction of the vehicle 64a reflected in the first predicted course 65 of the moving body 50 is longer than a predetermined distance and does not detect it.
- FIG. 26 shows an example of the second video corresponding to the display area 62 of the first video shown in FIG.
- the control unit 33 recognizes the detection target vehicle 64b and the pedestrian 63 in the display area 62 of the first video, and the first recognition is a virtual plane on the moving body 50 side of the vehicle 64b and the pedestrian 63, respectively.
- Wall images 83a and 83b are displayed.
- the first recognition wall images 83a and 83b can be displayed as translucent surfaces parallel to the side wall images 81a and 81b extending in the height direction and the depth direction.
- the control unit 33 may acquire a change in the distance between the relative position between the vehicle 64b and the pedestrian 63 and the moving body 50, and display the sidewall images 81a and 81b only when the distance is changed in a shorter direction. .
- an arbitrary algorithm can be used for estimating the distance between the moving object 50 and the detection target.
- the control unit 33 estimates the distance in the horizontal direction from the vehicle 64a to be detected and the guide wall image 80 of the pedestrian 63, and determines the display color of the first recognition wall images 83a and 83b according to the estimated distance. It's okay.
- the distance between the detection target and the guide wall image 80 is the detection target and the virtual guide wall when the virtual guide wall displayed by the guide wall image 80 is present in the real space in which the first video is projected. And the distance.
- the control unit 33 can estimate the first distance between the position where the guide wall image 80 is mapped to the real space where the first video is projected and the position of the detection target.
- the control unit 33 sets a threshold value for the first distance, and for each of the first recognition wall images 83a and 83b, different display colors such as blue, yellow, and red are sequentially applied from the longest horizontal distance to the shortest distance. And may be displayed on the display device 40.
- the first recognition wall images 83a and 83b can have auxiliary lines extending in the depth direction.
- the control unit 33 sets the auxiliary lines extending in the depth direction of the first recognition wall images 83a and 83b in the same way as the auxiliary lines extending in the horizontal direction of the first recognition wall image 83 in FIG. It can be moved in the height direction.
- the control unit 33 estimates the first position as the position of the detection target vehicle 64b and the pedestrian 63 in the depth direction.
- the control unit 33 may at least partially change the display of the side wall images 81a and 81b facing the vehicle 64b and the pedestrian 63, respectively, corresponding to the first position.
- Examples of the display change include a change in the color, brightness, and saturation of the wall surface, a change in the color and thickness of the frame line and / or auxiliary line, or a combination thereof.
- the display colors of the part 81a 1 of the side wall image 81a facing the vehicle 64b and the part 81b 1 of the side wall image 81b facing the pedestrian 63 are changed.
- a part of the sidewall images 81a and 81b may be a region divided by an auxiliary line 84c extending in the height direction on the sidewall images 81a and 81b. Display color of a portion 81b 1 of the part 81a 1 and the sidewall image 81b of the sidewall image 81a is good as a different color in response to the first distance.
- the control unit 33 may change the overall display color of the side wall image 81a or 81b when the detection target is an obstacle larger than the length represented by the side wall images 81a and 81b. Large obstacles include large vehicles such as trailers, buildings, and the like.
- the control unit 33 may estimate the second predicted course of the detection target, and may estimate the first position as a position where the second predicted course and the sidewall images 81a and 81b intersect.
- the control unit 33 can estimate the first position as a position where the second predicted course in the real space in which the first video is projected and the mapping of the sidewall images 81a and 81b to the real space intersect.
- the control unit 33 may change the display of the sidewall images 81a and 81b at least partially corresponding to the first position. Also in this case, the display colors of the portions 81a 1 and 81b 1 of the side wall images 81a and 81b whose display is to be changed may be different colors depending on the first distance.
- the control unit 33 may change the overall display color of the sidewall image 81a or 81b.
- control unit 33 may change the display of the portions of the side wall images 81a and 81b that are located in the depth direction with respect to the first recognition wall images 83a and 83b.
- control unit 33 may change the display of the portions of the side wall images 81a and 81b located on the far side in the depth direction from the position where the second predicted course and the side wall images 81a and 81b intersect. .
- the display of the first recognition wall images 83a and 83b may be changed according to the height from the road surface. Similar to the first recognition wall image 83 of the sixth example, the display of the first recognition wall images 83a and 83b is performed by setting the transmittance, saturation, brightness, etc. to different values according to the height from the road surface. sell.
- the display system 10 can spatially and three-dimensionally express the distance and / or position of the detection target that can be an obstacle for backward travel using the guide wall image 80 and the first recognition wall images 83a and 83b.
- a position where there is a risk of collision can be displayed three-dimensionally from the predicted course of the detection target that is moving.
- the display system 10 represents the guide wall image 80 and the first recognition wall images 83a and 83b as walls (or planes) having a height direction, thereby spatially representing the detection target and the warning content. Is possible. This makes it easy for the target person 60 to understand the display and warning content.
- FIG. 27 shows an eighth example of the detection region 61 in the first video acquired by the image processing device 30 from the imaging device 20.
- the imaging device 20 may be disposed so as to capture the rear of the moving body 50 that is a vehicle.
- the detection area 61 is longer in the left-right direction than in the up-down direction.
- the display area 62 is located at the center of the detection area 61 in the left-right direction.
- the control unit 33 detects the pedestrian 63 and the vehicle 64b reflected in the second area, which is outside the display area 62 on the first video and inside the detection area 61, as detection targets. Good.
- the control unit 33 determines that the distance in the depth direction of the vehicle 64a shown in the display area 62 is longer than a predetermined distance and does not detect it.
- FIG. 28 is a diagram schematically illustrating the arrangement of the moving body 50, the detection target pedestrian 63, and the vehicle 64b viewed from above along the height direction in the real space in which the first video is projected.
- the imaging device 20 can image a subject in a range included in the areas F 1 and F 2 in the real space. Region F 1 and region F 2 correspond to the detection region 61 of the first video.
- the area F 1 is a first area corresponding to the display area 62 of the first video.
- the area F 2 corresponds to the second area inside the detection area 61 of the first video and outside the display area 62.
- a virtual guide wall 90 obtained by mapping the guide wall image 80 displayed in the second video into the real space is displayed by a broken line.
- the virtual side walls 91a and 91b correspond to the side wall images 81a and 81b displayed in the second video.
- the virtual distance walls 92a, 92b, and 92c correspond to the distance wall images 82a, 82b, and 82c displayed in the second video.
- virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 indicating the horizontal distance of the detection target with respect to the virtual side walls 91a and 91b of the moving body 50 are indicated by broken lines for the sake of explanation. ing. This horizontal distance is also called the second distance.
- Virtual lines 95l 1 to 95l 5 are located on the left side of the moving body 50.
- Virtual lines 95r 1 to 95r 5 are located on the right side of the moving body 50.
- the intervals between the virtual lines 95l 1 to 95l 5 and the virtual lines 95r 1 to 95r 5 can be arbitrarily set.
- the intervals between the virtual lines 95l 1 to 95l 5 and the virtual lines 95r 1 to 95r 5 may be equal intervals.
- the control unit 33 determines which virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 are closest to the first video, or which of the virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 It can be determined whether it is located within the area between the two.
- FIG. 29 illustrates a second video corresponding to the first video in FIG.
- the guide wall image 80 may employ a display method similar to that described in the sixth and seventh examples.
- the control unit 33 synthesizes the second recognition wall images 89a and 89b at the end of the second video where the detection target exists.
- the second recognition wall images 89a and 89b may include wall portions 96a and 96b extending in the height direction and the depth direction, and floor portions 97a and 97b extending in the depth direction and the horizontal direction, respectively.
- the walls 96a and 96b extend from the lower end to the upper end of the left and right ends of the second video.
- the walls 96a and 96b may extend up and down along only part of the left and right ends of the second video, not the whole. Similarly, the floors 97a and 97b can extend in the left-right direction along the whole or part of the lower end of the second video. The floor portions 97a and 97b may be displayed between the guide wall image 80 and the lower end of the second video.
- the control unit 33 may change the display of the second recognition wall images 89a and 89b according to the second distance to be detected.
- Changes in display include changes in color, transmittance, saturation, brightness, size, and the like, and changes in dynamic display methods such as blinking and movement.
- the display change may be represented by a color change.
- the display color may be red when the degree of danger is high, yellow when the degree of danger is medium, and blue when the degree of danger is low.
- the pedestrian 63 shown in FIG. 28 is located on the third virtual line 95r 3 on the right side in the horizontal direction from the virtual side wall 91b of the moving body 50.
- the control unit 33 can set the degree of risk to a medium level and the right second recognition wall image 89b to have a yellow color.
- the vehicle 64b shown in FIG. 28 is located farther from the virtual side wall 91a of the moving body 50 than the fifth virtual line 95l 5 on the left side in the horizontal direction.
- the control unit 33 may determine that the degree of risk is low and set the color of the second recognition wall image 89a on the left side to be blue.
- the display change may include a lateral movement of the vertical auxiliary lines 96a 1 and 96b 1 displayed on the walls 96a and 96b.
- the controller 33 may change the speed of movement of the walls 96a and 96b in accordance with the length of the second distance.
- the second recognition wall images 89a and 89b can be translucent.
- the wall portions 96a and 96b of the second recognition wall images 89a and 89b may change display characteristics in the vertical direction.
- the wall portions 96a and 96b of the second recognition wall images 89a and 89b may have lower transmittance toward the bottom.
- the second recognition wall images 89a and 89b may have higher saturation toward the bottom.
- the floor portions 97a and 97b of the second recognition wall image 89a may change display characteristics in the left-right direction.
- the floor portions 97a and 97b of the second recognition wall image 89a may have a lower transmittance toward the left and right ends, and a higher transmittance toward the center of the second video.
- the saturation of the floor portions 97a and 97b of the second recognition wall image 89a may be reduced toward the center of the second video from the left and right ends.
- the saturation of the image can be rephrased as the color intensity of the image.
- the control unit 33 may determine the type of the detection target and display the icon images 99a and 99b corresponding to the type on the floors 97a and 97b of the second recognition wall images 89a and 89b.
- the type of the detection target can be determined by a known method based on the detection target image detected from the first video. For example, the control unit 33 can determine the object type by matching the contour shape of the detection target with a pattern serving as a model. For example, for pedestrian 63 and vehicle 64b, icons indicating people and vehicles can be selected, respectively.
- the control unit 33 can estimate the second distance that is the distance in the horizontal direction between the virtual side walls 91a and 91b obtained by mapping the side wall images 81a and 81b in the real space and the detection target in the real space.
- the second distance is determined from the relationship between each line obtained by mapping the virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 in the real space to the detection area 61 of the first video and the position of the image to be detected. sell.
- the control unit 33 can change the position where the icon images 99a and 99b are displayed according to the second distance.
- the first distance identification lines 98l 1 to 98l 5 and 98r 1 to 98r 5 correspond to the virtual lines 95l 1 to 95l 5 and 95r 1 to 95r 5 in the real space, respectively. Is provided.
- the first distance identification lines 98l 1 to 98l 5 are located on the left side of the sidewall image 81a and are numbered in the order of 98l 1 , 98l 2 , 98l 3 , 98l 4 , 98l 5 from the center to the left side.
- 98r 1 to 98r 5 are located on the right side of the sidewall image 81b, and are numbered in the order of 98r 1 , 98r 2 , 98r 3 , 98r 4 , 98r 5 from the center to the right side.
- the first distance identification lines 98l 1 to 98l 5 and 98r 1 to 98r 5 indicate positions where the icon images 99a and 99b are displayed, and may not be displayed in the second video.
- the pedestrian 63 since the virtual side wall 91b of the vehicle 50 located on the horizontal right side of the third virtual line 95r 3, the control unit 33, the pedestrian 63 in the second image of Figure 29
- the icon image 99b may be arranged on the third first distance identification line 98r3 on the right side. As shown in FIG. 29, the icon image 99b is on the first distance recognition line 98r 3 extending in the depth direction on the second image, as a surface having a length in the depth direction and the height direction, are three-dimensionally displayed It's okay.
- the icon image 99b may be displayed as a plane parallel to the side wall images 81a and 81b and the second recognition wall images 89a and 89b. Similar to the second recognition wall image 89b, the icon image 99b may have different display forms such as color, saturation, and brightness depending on the second distance. For example, the icon image 99b can be displayed in yellow.
- the vehicle 64b is located farther from the virtual side wall 91a than the fifth virtual line 95l5 on the left side in the horizontal direction from the virtual side wall 91a of the moving body 50.
- the control unit 33 may arrange the icon image 99a of the vehicle 64b on the left first distance identification line 98l 5 in the second video of FIG. Or you may arrange
- the icon image 99a can have different display modes according to the second distance. For example, the icon image 99a can be displayed in blue.
- the second recognition wall images 89a and 89b and the icon images 99a and 99b The position and display mode change. Further, when the moving body 50 enters the display area 62, the detection target may be displayed in the manner described in the seventh example. An example of a change in display when the vehicle 64b moves from the region F 2 to the region F 1 in the real space shown in FIG. 28 will be described.
- the vehicle 64b is located on the left side of the virtual line 95l 5 in the real space of FIG.
- the second recognition wall image 89a is displayed on the second video in FIG. 29, and the icon image 99a is displayed on the leftmost side of the floor 98a of the second recognition wall image 89a.
- the second recognition wall image 89a and the icon image 99a can be displayed in blue.
- the second recognition wall image 89a displayed in the second image of FIG. 29 changes the display mode.
- the color of the second recognition wall image 89a sequentially changes from blue to yellow and red.
- the icon image 99a moves the display position from the top first distance recognition line 98l 5 towards over the first distance recognition line 98l 1.
- the color of the icon image 99a may change sequentially from blue to yellow and red. Accordingly, the subject 60 can recognize that the vehicle 64b is approaching outside that is not displayed in the second video. Further, by using the three-dimensional display method, the target person 60 can spatially grasp the approach of the vehicle 64b, and can reduce the possibility of overlooking information.
- the icon image 99a can move toward the center of the screen.
- the subject 60 can recognize the moving direction of the vehicle 64b through the movement of the icon image 99a.
- the vehicle 64b is, in the real space 28, enters from the area F 2 to F 1, since the vehicle 64b enters the display target area of the first image is displayed on the display device 40 included in the second image .
- the second recognition wall image 89a is not displayed, and the first recognition wall image 83a is displayed on the guide wall image 80 side of the vehicle 64b as shown in FIG.
- the control unit 33 may blink the second recognition wall image 89a a plurality of times in order to call attention of the subject 60.
- the control unit 33 displays the first recognition wall image 83a on the moving body 50 side of the vehicle 64b.
- control unit 33 estimates the second predicted course of the vehicle 64b, and estimates the first position as the position where the second predicted course and the sidewall images 81a and 81b intersect.
- the control unit 33 may change the display of the part 81a 1 of the sidewall image 81a including the first position.
- the controller 33 can sequentially change the color of the part 81a 1 of the side wall image 81a to blue, yellow, and red as the vehicle 64b approaches. Accordingly, the subject 60 can easily grasp that the vehicle 64b is approaching and that the second predicted course of the vehicle 64b overlaps the first predicted course 65 of the moving body 50. Become.
- the position of the detection target is displayed by a three-dimensional display of the guide wall image, the first recognition wall image, the second recognition wall image, the icon image, and the like. It becomes easy to grasp the space. Furthermore, according to one of a plurality of embodiments of the present disclosure, information such as cautions and warnings can be provided in an easily understandable manner by changing the display mode of each wall surface. In addition, by using a three-dimensional display, it is possible to reduce the possibility of overlooking information.
- FIG. 30 shows another example of the second video corresponding to the first video of FIG.
- view display areas 101 and 102 indicating the selection status between “Normal view display” and “Wide view display” are added to the lower left. “Normal view display” and “wide view display” will be described later.
- the display mode of the guide wall image 80, the second recognition wall images 89a and 89b, and the icon images 99a and 99b may be partially different from that in FIG.
- a guide wall image 80 having a display mode similar to that in FIG. 22 is displayed.
- the wall portions 96a and 96b of the second recognition wall images 89a and 89b can have one or more auxiliary lines 96a 1 and 96b 1 extending in the height direction.
- the walls 96a and 96b have a plurality of auxiliary lines 96a 1 and 96b 1 , but only one of them is given a reference numeral.
- the wall portions 96a and 96b of the second recognition wall images 89a and 89b represent the distance to the detection target by color, and the transmittance may be different from the near side to the far side in the depth direction.
- the walls 96a and 96b may gradually increase in transmittance in the height direction, or gradually decrease in darkness, and disappear at a predetermined position in the height direction.
- the control unit 33 determines that there is an object within a predetermined distance range based on the transmittance or color density of the walls 96a and 96b and changes in the auxiliary lines 96a 1 and 96a 2 .
- the change in the distance or the distance to the detection target can be displayed.
- a change in the transmittance or color density of the walls 96a and 96b can also be referred to as a gradation change.
- the control unit 33 can display that the detection target exists within a predetermined distance by the movement of the auxiliary lines 96a 1 and 96a 2 of the walls 96a and 96b.
- the controller 33 can darken the color on the near side of the walls 96a and 96b, and can display that the detection target exists within a predetermined distance by changing the gradation in the depth direction. Changes in the auxiliary lines 96a 1 and 96b 1 and the transmittance of the walls 96a and 96b are not essential.
- the control unit 33 can prevent the auxiliary lines 96a 1 and 96b 1 from being displayed on the walls 96a and 96b.
- the control unit 33 can prevent the wall portions 96a and 96b from changing the transmittance (gradation).
- the floor portions 97a and 97b of the second recognition wall images 89a and 89b are provided with one or more second distance identification lines 100l and 100r, respectively, in addition to the first distance identification lines 98l and 98r.
- FIG. 30 there are a plurality of second distance identification lines 100l and 100r, but only one of them is shown with a reference numeral.
- the first distance identification lines 98l and 98r and the second distance identification lines 100l and 100r may not be displayed on the display.
- the first distance identification lines 98l and 98r correspond to the distance in the horizontal direction from the moving body 50 to the detection target, while the second distance identification lines 100l and 100r can correspond to the distance in the depth direction.
- Each of the plurality of second distance identification lines 100l and 100r may correspond to a distance in the depth direction when each auxiliary line 84c extending in the height direction on the sidewall images 81a and 81b is mapped to the real space.
- the target person 60 can grasp the positions in the horizontal direction and the depth direction up to the detection target according to the positions in the horizontal and depth directions of the icon images 99a and 99b on the floor portions 97a and 97b.
- the icon images 99a and 99b a three-dimensional image corresponding to the type of detection target is used.
- the floors 97a and 97b may be disposed on the front side of the most front side end portions of the side wall images 81a and 81b and inside the line extending the side wall images 81a and 81b.
- the positional relationship between the second recognition wall images 89a and 89b and the guide wall image 80 is not limited to this, and can be changed as appropriate.
- the display device 40 has view display areas 101 and 102 showing the selection status of “Normal View (Normal View) Display” and “Wide View (Wide View) Display” in the lower right part. .
- “Normal view display” and “wide view display” differ in the angle of view of the displayed video.
- the “normal view display” corresponds to the angle of view of the display area 62 of the second video shown in FIG.
- the “wide view display” corresponds to the angle of view of the detection area 61 of the first video shown in FIG.
- the “wide view display” does not have to be the entire video of the detection area 61 of the first video, and the video of the angle of view including the “second video” may be cut out from the detection area 61.
- Each of the second images shown in FIG. 30 and before this is a normal view display.
- Whether the displayed video is “normal view display” or “wide view display” is indicated by changing the display of the view display areas 101 and 102 indicating the selection status.
- changing the display of the area indicating the selection status includes changing the color of the view display areas 101 and 102, changing the density, changing the color of the character, and the like.
- the control unit 33 performs “normal view display” and “wide view display” according to the result of processing the image of the first video or the input from the subject 60 via the display device 40 or the like. Can be switched. For example, when detecting that the detection target is approaching in the state of “normal view display”, the control unit 33 may switch the video to be displayed to “wide view display”. The control unit 33 may switch the video to be displayed to “normal view display” when detecting that there is no detection target within a predetermined range in the state of “wide view display”. When the display device 40 includes a touch panel screen, the control unit 33 receives a signal indicating that the target person 60 has touched and selected the view display area 101 or 102 on the screen from the display device 40, and The display may be switched.
- FIG. 31 is a diagram showing an example of an image switched from “normal view display” shown in FIG. 30 to “wide view display”.
- the angle of view of the “wide view display” image in FIG. 31 is wider in the horizontal direction than the angle of view of the “normal view display” image in FIG.
- the pedestrian 63 and the vehicle 64b that are located outside the display range of the “normal view display” displayed in FIG. 30 are displayed.
- the horizontal angle of view is wider than the “normal view display” in FIG. 30, so that the interval between the left and right side wall images 81a and 81b of the guide wall image 80 is relative. It is displayed narrowed.
- the second recognition wall images 89a and 89b disappear.
- the control unit 33 recognizes the detection target vehicle 64b and the pedestrian 63 in the detection area 61 of the first video, and the first recognition that is a virtual plane on the vehicle 64b and the pedestrian 63 side of the moving body 50, respectively.
- Wall images 83a and 83b can be displayed.
- the control unit 33 estimates the positions of the detection target vehicle 64b and the pedestrian 63 in the depth direction.
- the control unit 33 may change the display of the side wall images 81a and 81b facing the vehicle 64b and the pedestrian 63 based on the estimated position. In FIG.
- the display of the part 81b 1 of the side wall image 81b and the part 81a 1 of the side wall image 81a is changed corresponding to each of the pedestrian 63 and the vehicle 64b.
- the display change includes various modes.
- the display change includes a color change, a change in the thickness of an auxiliary line surrounding the surroundings, a line type change, a blinking start and stop, and a blinking cycle change.
- the first recognition wall images 83a and 83b and the portions 81a 1 and 81b 1 of the side wall images 81a and 81b can employ a display method and a display mode similar to the example of FIG.
- the “normal view display” and the “wide view display” are displayed on the display device 40 on the video captured by the imaging device 20. It is possible to switch between and display.
- the subject 60 can easily detect the presence and position of the detection target located outside the range of the displayed video by using the second recognition wall images 89a and 89b and the icon images 99a and 99b. I can grasp it.
- the display device 40 automatically or manually switches from “normal view display” to “wide view display”, so that the target 60 is detected outside the video range of “normal view display”. Can be confirmed on the video.
- the positional relationship with the detection target can be grasped three-dimensionally by displaying the guide wall image 80 and the first recognition wall image 83b.
- the display system 10 according to one of the plurality of embodiments can make the subject 60 easily grasp the surrounding situation and detect the danger.
- FIG. 32 shows another example of the second video.
- FIG. 32 corresponds to FIG.
- the guide wall image 80 is drawn with a white line.
- the first recognition wall image 83 is drawn with a white line.
- the second video includes a first translucent image 80a.
- the second video includes a second translucent image 83c.
- the control unit 33 can generate the second video by sequentially superimposing the first image and the second image on the display area on the first video acquired from the imaging device 20.
- the control unit 33 can generate a composite image by sequentially superposing the first image and the second image on each frame image of the first video.
- the control unit 33 can output the second video and display it on the display device 40.
- the second image can include a guide wall image 80 showing the first predicted course 65 of the moving body 50.
- the first image includes a first semi-transmissive image 80a (transparent gradation image) whose transmittance increases from the lower side toward the upper side.
- the control unit 33 can superimpose the guide wall image 80 on the first translucent image 80a.
- the control unit 33 can superimpose the first translucent image 80a on the display area of the first video.
- the control unit 33 can synthesize the first translucent image 80 a between the display area of the first video and the guide wall image 80.
- the first semi-transmissive image 80a has a lower transmittance as the position is closer to the lower end.
- the first semi-transparent image 80a changes to a transparent color as it approaches the upper end from the lower end.
- the first translucent image 80a gradually changes from a second color different from the first color of the guide wall image 80 to a transparent color.
- the first color can include, for example, white or cyan.
- the second color can include, for example, black.
- the guide wall image 80 is easily visible due to the difference in color between the first color and the second color.
- the guide wall image 80 is easily visible in a situation where the first video has many colors close to the first color.
- the white guide wall image 80 as in the example of FIG. 32 can be easily recognized on the ground with snow due to the presence of the first translucent image 80a. Since the guide wall image 80 has high transmittance on the upper side, the second image is close to the first image in the upper region. In the second video, there is little additional color to the area where the distant object is projected. The second video has little influence on the visibility in the region on the back side from the guide wall image 80.
- the second video can easily obtain a sense of depth.
- the first semi-transparent image 80a increases in transmittance from the lower side toward the upper side, the second image has a bright impression.
- the control unit 33 can generate the second video by sequentially superposing the third image and the fourth image on the recognized detection target display area in the first video.
- the fourth image may include a first recognition wall image 83 indicating the presence of the recognized detection target.
- the third image includes a second translucent image 83c.
- the control unit 33 can superimpose the first recognition wall image 83 on the second translucent image 83c.
- the control unit 33 can superimpose the second translucent image 83c on the display area to be detected.
- the control unit 33 can synthesize the second translucent image 83 c between the display area to be detected and the first recognition wall image 83.
- the second translucent image 83c has a lower transmittance as it is closer to the lower end.
- the second semi-transparent image 83c changes to a transparent color as it approaches the upper end from the lower end.
- the second translucent image 83c gradually changes from a fourth color different from the third color of the first recognition wall image 83 to a transparent color.
- the third color can include, for example, red, yellow, and white or cyan.
- the second color can include, for example, black.
- the first recognition wall image 83 is easily visible due to the difference in color between the third color and the fourth color.
- the first recognition wall image 83 can be easily viewed in a situation where the recognized detection target is close to the third color.
- the white first recognition wall image 83 as in the example of FIG. 32 is easily recognized when displayed in front of the white track due to the presence of the second semi-transparent image 83c.
- each component and function of the display system 10 may be rearranged.
- part or all of the configuration and functions of the image processing device 30 may be included in at least one of the imaging device 20 and the display device 40.
- the image processing device 30 or the like may be realized as a communication device such as a mobile phone or an external server, and may be connected to other components of the display system 10 by wire or wireless.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Computer Graphics (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
撮像装置20は、撮像素子22と、制御部33とを備える。撮像素子22は、車両50の後方を撮像して第1映像を生成する。制御部33は、第1映像上の表示領域に車両の予測進路を示すガイド壁画像80を合成する。
Description
本出願は、2016年12月9日に出願された日本国特許出願2016-239449号及び2016年12月19日に出願された日本国特許出願2016-245775号の優先権を主張するものであり、これらの先の出願の開示全体をここに参照のために取り込む。
本開示は、撮像装置、画像処理装置、表示システム、および車両に関する。
従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献1には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。
本開示の一実施形態に係る撮像装置は、撮像素子と、制御部とを備える。撮像素子は、車両の後方を撮像して第1映像を生成する。制御部は、第1映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。
本開示の一実施形態に係る画像処理装置は、通信部と、制御部とを備える。通信部は、車両の後方を撮像した第1映像を取得する。制御部は、第1映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。
本開示の一実施形態に係る表示システムは、撮像素子と、制御部と、表示装置とを備える。撮像素子は、車両の後方を撮像して第1映像を生成する。制御部は、第1映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。表示装置は、ガイド壁画像が合成された表示領域の映像を表示する。
本開示の一実施形態に係る車両は、表示システムを備える。表示システムは、撮像素子と、制御部と、表示装置とを含む。撮像素子は、車両の後方を撮像して第1映像を生成する。制御部は、第1映像上の表示領域に車両の予測進路を示すガイド壁画像を合成する。表示装置は、ガイド壁画像が合成された表示領域の映像を表示する。
本開示の一実施形態に係る撮像装置は、撮像素子と、制御部とを備える。撮像素子は、車両の後方を撮像して第1映像を生成する。制御部は、第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する。第2画像は、車両の予測進路を示すガイド壁画像を含む。第1画像は、ガイド壁画像に重なる表示領域の下側から上側に向かって透過率が高くなる第1半透過画像を含む。
本開示の一実施形態に係る画像処理装置は、通信部と、制御部とを備える。通信部は、車両の後方を撮像した第1映像を取得する。制御部は、第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する。第2画像は、車両の予測進路を示すガイド壁画像を含む。第1画像は、ガイド壁画像に重なる表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む。
本開示の一実施形態に係る表示システムは、制御部は、第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する。表示装置は、合成画像を表示する。第2画像は、車両の予測進路を示すガイド壁画像を含む。第1画像は、ガイド壁画像に重なる表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む。
本開示の一実施形態に係る車両は、表示システムを備える。表示システムは、撮像素子と、制御部と、表示装置とを含む。撮像素子は、車両の後方を撮像して第1映像を生成する。制御部は、第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する。表示装置は、合成画像を表示する。第2画像は、車両の予測進路を示すガイド壁画像を含む。第1画像は、ガイド壁画像に重なる表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む。
画像処理装置、撮像装置、表示システムおよび車両において、移動体の外部領域の映像を表示する技術の利便性が向上することが望ましい。以下、本発明の実施形態について、図面を参照して説明する。
(表示システム)
図1を参照して、本発明の一実施形態に係る表示システム10について説明する。
図1を参照して、本発明の一実施形態に係る表示システム10について説明する。
図1に示すように、表示システム10は、撮像装置20と、画像処理装置30と、表示装置40と、を備える。撮像装置20および表示システム10の各構成要素は、例えばネットワーク51を介して情報を送受信可能である。ネットワーク51は、例えば無線、有線、またはCAN(Controller Area Network)等を含んでよい。
他の実施形態において、表示システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。例えば、撮像装置20または表示装置40に、画像処理装置30を内蔵させる構成等が考えられる。
図2に示すように、撮像装置20、画像処理装置30、および表示装置40は、移動体50に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
撮像装置20は、移動体50の外部領域を撮像可能である。撮像装置20の位置は、移動体50の内部および外部において任意である。例えば図2に示すように、撮像装置20は、移動体50の後方の外部領域を撮像可能な移動体50の後方に位置する。画像処理装置30の位置は、移動体50内において任意である。表示装置40は、対象者60によって視認可能である。表示装置40の位置は、移動体50において任意である。例えば図2に示すように、表示装置40は、移動体50のダッシュボードの中に位置する。
(撮像装置)
撮像装置20について詳細に説明する。例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
撮像装置20について詳細に説明する。例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
撮像光学系21は、被写体像を結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。
撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。
通信部23は、外部装置と通信可能な通信インタフェースを含んでよい。通信部23は、ネットワーク51を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置30を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP-1211Aに規定されるS端子に対応するコネクタ、EIAJ RC-5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
制御部24は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部24は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。
制御部24は、撮像装置20全体の動作を制御する。制御部24は、任意のフレームレートで、撮像素子22に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置40が表示可能なフレームレートに略一致してよい。制御部24は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部24は、通信部23を介して画像処理装置30へ、撮像画像を出力する。例えば、制御部24は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置20から出力される当該複数の撮像画像を、第1映像ともいう。例えばフレームレートが60fps(Flame per Seconds)である場合、1秒あたり60枚の撮像画像が第1映像として出力される。
(画像処理装置)
画像処理装置30について詳細に説明する。画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
画像処理装置30について詳細に説明する。画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
通信部31は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置20、表示装置40、移動体50に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
通信部31は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部31は、日本において提供されるDSRC(Dedicated Short-Range Communication:狭帯域通信システム)およびVICS(登録商標)(Vehicle Information and Communication System)の光ビーコンに対応した受信機を含んでよい。通信部31は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
通信部31は、外部装置から多様な情報を取得可能であってよい。例えば、通信部31は、移動体情報および環境情報を取得可能であってよい。
移動体情報は、移動体50に関する任意の情報を含んでよい。移動体情報は、例えば移動体50の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体50の位置情報、ならびに移動体50の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
環境情報は、移動体50の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体50の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。
記憶部32は、一時記憶装置および二次記憶装置を含んでよい。記憶部32は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)等を含んでよい。記憶部32は、画像処理装置30の動作に必要な種々の情報およびプログラムを記憶する。
制御部33は、1つ以上のプロセッサを含む。制御部33は、画像処理装置30全体の動作を制御する。
制御部33は、通信部31を介して外部装置から、移動体情報および環境情報を取得してよい。制御部33は、例えば移動体情報に基づいて、移動体50の予測進路を決定してよい。以下、移動体50の予測進路を、第1予測進路ともいう。
制御部33は、通信部31を介して撮像装置20から、第1映像を取得してよい。第1映像は、検出領域と表示領域とを含む。
制御部33は、取得された第1映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第1映像上の検出領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第1映像の各フレームは、撮像画像と呼びうる。第1映像上の検出領域は、表示領域より大きくてよい。第1映像上の検出領域は、表示領域を包含してよい。制御部33は、表示領域の内側において検出対象を検出し得る。制御部33は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第1領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第2領域と呼び得る。
検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部33が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第1映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部33は、第1映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第2予測進路ともいう。第2予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第2予測進路を決定してよい。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体50と検出対象との間の距離、および、移動体50の第1予測進路と検出対象の第2予測進路との重なりの有無等を含んでよい。移動体50と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、第1映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体50と検出対象との間の距離を推定してよい。他の実施形態において、制御部33は、通信部31を介して外部装置から、移動体50および当該検出対象の相対的位置関係を示す情報を取得してよい。
制御部33は、移動体50と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体50と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体50および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部33は、移動体情報に基づいて、移動体50の移動速度を検出してよい。制御部33は、例えば第1映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部33は、当該距離の減少に対して、移動体50および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部33は、移動体50の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部33は、移動体50の移動速度が基準値以上である場合、当該距離の減少に対して移動体50の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体50および検出対象の寄与に応じた画像処理装置30の動作の詳細については後述する。
制御部33は、第1映像上で検出対象の少なくとも一部が検出されると、第1映像に基づいて、移動体50と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体50と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部33は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体50と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置30の動作の詳細については後述する。
制御部33は、撮像装置20から取得された第1映像上の表示領域に対応する第2映像を、表示装置40に表示させてよい。具体的には、制御部33は、通信部31を介して、第2映像を表示装置40へ出力してよい。例えば、制御部33は、移動体情報に基づいて移動体50の後進を検出すると、第2映像を表示装置40に表示させてよい。例えば、制御部33は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部33は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第2映像は、例えば第1映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第1映像上の表示領域は、第1映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部33は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。
制御部33は、種々のマーカを、第2映像に合成して表示装置40に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば1つ以上の画像を含んでよい。制御部33は、第2映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第2映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部33は、第1映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置40に表示させる画像処理装置30の動作の詳細については後述する。
(表示装置)
表示装置40について詳細に説明する。表示装置40は、例えば液晶ディスプレイおよび有機EL(Electroluminescence)ディスプレイ等を含んでよい。表示装置40は、例えばネットワーク51を介して画像処理装置30から入力される第2映像を表示してよい。表示装置40は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置40は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置40は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置30へ送信してよい。
表示装置40について詳細に説明する。表示装置40は、例えば液晶ディスプレイおよび有機EL(Electroluminescence)ディスプレイ等を含んでよい。表示装置40は、例えばネットワーク51を介して画像処理装置30から入力される第2映像を表示してよい。表示装置40は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置40は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置40は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置30へ送信してよい。
表示装置40は、移動体50の種々の場所に配置することが可能である。図3Aから図3Eは、移動体50が車両である場合の、表示装置40の配置の例を示す図である。図3Aは、車両のダッシュボード内に格納されたインダッシュボード型の表示装置40aを示す。図3Bは、ダッシュボードの上に配置されたオンダッシュボード型の表示装置40bを示す。図3Bでは、表示装置40bは移動体50に組み込まれている。表示装置40bはダッシュボード上に着脱可能に取り付けられていてよい。図3Cは、ルームミラーに内蔵され、必要に応じて映像を表示することが可能な表示装置40cを示す。図3Dは、インスツルメンツパネル内に内蔵された表示装置40dを示す。図3Dにおいて、表示装置40dはスピードメータおよびタコメータ等の計器類に隣接して配置される。一実施形態において、インスツルメンツパネル全体をLCD等の表示装置40dとして、その中にスピードメータおよびタコメータ等の画像と共に第2映像を表示するようにしてよい。図3Eは、携帯型情報端末、例えばタブレット端末を用いた表示装置40eを示す。表示装置40eには、携帯電話のディスプレイを使用しうる。
図4乃至図18を参照して、画像処理装置30が表示装置40に表示させる第2映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における2次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の3次元方向に対応する。
(第1例(参考例))
図4は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第1例を示す。図4に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63および車両64それぞれを、検出対象として検出してよい。
図4は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第1例を示す。図4に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63および車両64それぞれを、検出対象として検出してよい。
制御部33は、第1映像上の表示領域62の内側で検出された検出対象と、移動体50と、の相対的位置関係に基づいて、1つ以上の条件が満たされているか否かを判定する。1つ以上の条件は、例えば検出対象が移動体50の第1予測進路65内に位置するとの第1条件を含んでよい。1つ以上の条件は、例えば移動体50の第1予測進路65の少なくとも一部と、検出対象の第2予測進路の少なくとも一部と、が重なるとの第2条件を含んでよい。当該1つ以上の条件が満たされると判定された場合、制御部33は、検出対象に対応する所定のマーカを、第2映像に重畳して表示装置40に表示させてよい。所定のマーカは、第1マーカ、第2マーカ、および第3マーカを含んでよい。
第1例において、制御部33は、歩行者63について当該1つ以上の条件が満たされていると判定し得る。かかる場合、制御部33は、歩行者63に対応するマーカを表示させてよい。制御部33は、車両64について当該1つ以上の条件が満たされていないと判定し得る。かかる場合、制御部33は、車両64に対応するマーカを表示しない。
図5は、図4に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62のアスペクト比と、表示装置40の画面のアスペクト比とが異なる場合、第1映像の表示領域62を切り出した後、表示装置40の画面のアスペクト比に合わせて変形した第2映像を、表示装置40へ出力してよい。図5に示すように、第2映像上に、歩行者63および車両64が映っている。
制御部33は、例えば図4に示す移動体50の第1予測進路65の少なくとも一部を示すガイド線66を、第2映像に重畳させて表示装置40に表示させてよい。制御部33は、例えばステアリングホイールの舵角の変化に応じて、ガイド線66を動的に変化させてよい。
第1映像は、表示領域62に比べて範囲が広い。制御部33は、表示領域62の範囲を変更し得る。制御部33は、第2映像にアイコン画像67を重畳させて表示装置40に表示させてよい。例えば図5に示すアイコン画像67の輪郭67aは、表示領域62の範囲を変更した際の最大範囲を示す。アイコン画像67の白い長方形67bは、表示領域62を示す。図5に示すアイコン画像67は、表示領域62の最大範囲に対する表示領域62の相対的な位置および大きさを示す。
図6は、例えば第2映像上の歩行者63に重畳されるマーカの例を示す。以下、当該マーカを、第3マーカ68ともいう。第3マーカ68の輪郭線69は、第2映像上で検出された歩行者63の輪郭線に略一致してよい。第3マーカ68の輪郭線69の内側の領域70は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第1映像上で歩行者63が検出されると、第2映像上の歩行者63に第3マーカ68を重畳して表示装置40に表示させてよい。かかる構成によれば、対象者60は、第2映像上の歩行者63を容易に視認可能となる。制御部33は、第3マーカ68を表示させてから所定時間が経過すると、当該第3マーカ68を非表示にしてよい。
図7は、例えば第2映像上の歩行者63の周辺に重畳される2種類のマーカの例を示す。以下、当該2種類のマーカそれぞれを、第1マーカ71および第2マーカ72ともいう。制御部33は、例えば第3マーカ68を非表示にした後に、第1マーカ71および第2マーカ72を、第2映像に重畳して表示装置40に表示させてよい。
制御部33は、第2映像上の歩行者63に追従して、第1マーカ71の位置を移動させてよい。対象者60は、第1マーカ71が歩行者63に追従するので、歩行者63を捕らえやすい。第1マーカ71は、歩行者63の周囲に歩行者63から離れて表示される。対象者60は、第1マーカ71が表示装置40に表示されているときに、歩行者63の振る舞いを把握しやすい。制御部33は、第2映像上の第1マーカ71の重畳位置に対して、第2マーカ72の重畳位置を相対的に変化させてよい。制御部33は、第1マーカ71の位置を基準にして、第2マーカ72を相対的に移動させてよい。
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71に向かって移動させてよい。まず、制御部33は、第1マーカ71から離れた位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71に向かって移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71から離れた位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物に向かって移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって近づいていると理解し得る。
例えば、制御部33は、移動体50と歩行者63との間の距離が減少しているときに、当該距離の減少に対して歩行者63の寄与が大きいと判定し得る。かかる場合、制御部33は、第2マーカ72を第1マーカ71から離れるように移動させてよい。まず、制御部33は、第1マーカ71に近い位置に第2マーカ72を表示させる。次に、制御部33は、第1マーカ71との距離が所定距離になるまで、第2マーカ72を第1マーカ71から離れるように移動させる。次に、制御部33は、第2マーカ72を消す。次に、制御部33は、再び第1マーカ71に近い位置に第2マーカ72を表示させ、上述の処理を繰り返す。この例において、第2マーカ72は、第1マーカ71という対象物から移動しているため、対象者60は、第2マーカ72が第1マーカ71に向かって離れていると理解し得る。
制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第1マーカ71に対する第2マーカ72の移動方向を変更する。対象者60は、第2マーカ72の移動方向に応じて、例えば移動体50が歩行者63に近付いているのか、または歩行者63が移動体50に近付いているのかを識別可能となる。
制御部33は、例えば図8に示すように、第2映像上の第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、例えば図9に示すように、歩行者63の輪郭線69と類似の形状を有する第1マーカ71および第2マーカ72を第2映像に重畳してよい。制御部33は、当該第1マーカ71を中心として第2マーカ72の拡大または縮小を繰り返してよい。制御部33は、移動体50と歩行者63との間の距離の減少に対する移動体50および歩行者63の寄与の多寡に応じて、第2マーカ72の拡大または縮小を切り替える。
制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、新たなマーカを第2映像に重畳してよい。以下、当該新たなマーカを第4マーカともいう。第4マーカは、任意の画像を含んでよい。例えば、第4マーカは、感嘆符「!」を示す画像を含んでよい。かかる構成によれば、例えば第1マーカ71および第2マーカ72を表示している歩行者63と移動体50とが一定程度以上近付くと、第4マーカが第2映像に重畳して表示される。対象者60は、第4マーカによって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。他の実施形態において、制御部33は、第1マーカ71および第2マーカ72を表示している検出対象と移動体50との間の距離が所定の閾値未満となった場合、当該第1マーカ71および第2マーカ72の表示態様を変化させてよい。制御部33は、例えば、第1マーカ71および第2マーカ72の色を変化させてよい。かかる構成によっても、対象者60は、マーカの色の変化によって、例えば歩行者63が移動体50の近傍に位置することを識別可能となる。
制御部33は、奥行き方向の前後に並んだ2つの検出対象を検知し得る。制御部33は、前後に位置する2つの検出対象のそれぞれに、第1マーカ71および第2マーカ72を表示させてよい。制御部33は、2つの検出対象に対して、異なる第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、奥側に位置する第1の検出対象に対して、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より目立たない第1マーカ71および第2マーカ72を付し得る。例えば、制御部33は、手前側に位置する第2の検出対象に付す第1マーカ71および第2マーカ72より、奥側に位置する第1の検出対象に付す第1マーカ71および第2マーカ72の、色を暗く、透過率を高く、線を細くする等の変更をし得る。
(第2-第4例(参考例))
図10は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第2例を示す。図10に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63aと、表示領域62の外側であって検出領域61の内側に映っている歩行者63bおよび63cとを、それぞれ検出対象として検出してよい。歩行者63aに関する制御部33の処理は、例えば図4に示す歩行者63に関する処理と類似である。
図10は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第2例を示す。図10に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の内側に映っている歩行者63aと、表示領域62の外側であって検出領域61の内側に映っている歩行者63bおよび63cとを、それぞれ検出対象として検出してよい。歩行者63aに関する制御部33の処理は、例えば図4に示す歩行者63に関する処理と類似である。
制御部33は、検出対象が検出された第1映像上の検出位置が、表示領域62の外側且つ検出領域61の内側である場合、検出対象に対応するマーカを第2映像に重畳して表示装置40に表示させてよい。以下、当該マーカを第5マーカともいう。制御部33は、移動体50と当該検出対象とが接触する可能性があると判定された場合に、第5マーカを表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも右側にある場合、第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。制御部33は、当該検出対象が検出された第1映像上の検出位置が、表示領域62よりも左側にある場合、第5マーカを、第2映像上の左端に重畳して表示装置40に表示させてよい。
第2例において、歩行者63bが検出された検出位置は、表示領域62よりも右側にある。制御部33は、移動体50と歩行者63bとが接触する可能性があると判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを、第2映像上の右端に重畳して表示装置40に表示させてよい。歩行者63bに対応する第5マーカの詳細については後述する。歩行者63cが検出された検出位置は、表示領域62よりも左側にある。制御部33は、移動体50と歩行者63cとが接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63bに対応する第5マーカを表示させなくてよい。
図11は、図10に示す第1映像の表示領域62に対応する第2映像の例を示す。図11に示すように、第2映像上に歩行者63aが映っている。第2映像上に歩行者63bおよび63cは映っていない。
図11に示すように、制御部33は、例えば障害物画像74を第2映像に重畳して表示装置40に表示させてよい。障害物画像57は、移動体50に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像74は、画像74aと、画像74bと、画像74cとを含み得る。画像74aは、移動体50を上方から俯瞰した画像である。画像74bは、移動体50の左後方に障害物が検出されたことを示す画像である。画像74cは、移動体50の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部33による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図11に示す例では、障害物画像74は、移動体50の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部33は、移動体50の左後方に存在する歩行者63cについては、移動体50と接触する可能性がないと判定し得る。かかる場合、制御部33は、歩行者63cに対応する第5マーカを表示させなくてよい。
歩行者63bに対応する第5マーカ73の例を図11に示す。第5マーカ73は、アイコン画像73aと、帯画像73bと、を含んでよい。アイコン画像73aは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像73aを視認した対象者60は、第2映像よりも右方に人が存在することを認識可能である。帯画像73bは、例えば第2映像上の上下方向に延びる帯状の画像である。帯画像73bは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部33は、第2映像上の右端領域73c内において、帯画像73bを移動させてよい。制御部33は、帯画像73bの移動速度および幅を変化させてよい。
第5マーカ73について詳細に説明する。制御部33は、移動体50と歩行者63bとの間の距離に応じて、帯画像73bの幅を決定してよい。例えば、制御部33は、当該距離が近付くほど、帯画像73bの幅を太くしてよい。帯画像73bを視認した対象者60は、帯画像73bの幅に基づいて、移動体50と歩行者63bとの間の距離を認識可能である。
制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば移動体50の寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第1方向に繰り返し移動させる。第1方向は、例えば第2映像上の左右方向において外側から内側に向かう方向であってよい。制御部33は、移動体50と歩行者63bとの間の距離の減少に対して、例えば歩行者63bの寄与が大きいと判定し得る。かかる場合、制御部33は、第2映像上の右端領域73c内において、帯画像73bを第2方向に繰り返し移動させる。第2方向は、例えば第2映像上の左右方向において内側から外側に向かう方向であってよい。帯画像73bを視認した対象者60は、帯画像73bの移動方向に基づいて、移動体50が歩行者63bに近付いているのか、または歩行者63bが移動体50に近付いているのかを認識可能である。
制御部33は、移動体50と歩行者63bとの間の距離の減少速度に応じて、帯画像73bの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像73bの移動速度を速くしてよい。帯画像73bを視認した対象者60は、帯画像73bの移動速度に基づいて、移動体50と歩行者63bとの間の距離の減少速度を認識可能である。
制御部33は、第5マーカ73を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように表示領域62を変化させてよい。例えば図12に示すように、制御部33は、第1映像上の表示領域62を左右方向に長くし、表示領域62を検出領域61内の右側に寄せてよい。かかる構成によって、例えば図13に示すように、第2映像上に歩行者63bが映る。
上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体50のステアリングの舵角を変化させる第1ユーザ操作を含んでよい。第5マーカ73は、第2ユーザ操作を受け付けるGUI(Graphic User Interface)として機能してよい。以下、GUIをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第2ユーザ操作を含んでよい。
制御部33は、第1映像上の歩行者63bの検出位置が表示領域62の内側に含まれるように、表示領域62を自動的に変化させてよい。この場合、制御部33は、第1映像の検出領域61において歩行者63bが検出されなくなるまで、表示領域62の自動変更を維持し得る。
制御部33は、例えば図13に示すように、表示領域62の変化に応じてアイコン画像67を変化させてよい。
制御部33は、例えば表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。例えば図14に示すように、制御部33は、表示領域62を検出領域61に略一致させてよい。かかる場合、例えば図15に示すように、検出領域61内の全ての検出対象が表示装置40に表示される。
(第5例(参考例))
図16は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第5例を示す。図16に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、移動体50の第1予測進路65内に映っている車両64aと、第1予測進路65外に映っている車両64bおよび歩行者63dとを、それぞれ検出対象として検出してよい。
図16は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第5例を示す。図16に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、移動体50の第1予測進路65内に映っている車両64aと、第1予測進路65外に映っている車両64bおよび歩行者63dとを、それぞれ検出対象として検出してよい。
第5例では、例えば夜間またはトンネル内等、移動体50の外部領域が暗い場合について説明する。移動体50の外部領域が暗い場合、第1映像および第2映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第2映像の特性値が低下すると、第2映像の視認性が低下し得る。
制御部33は、第2映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第1処理を含んでよい。以下、当該マーカを第6マーカともいう。第6マーカは、例えば第2映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第2映像上の検出対象に第6マーカが重畳して表示される。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。特定画像処理は、第2映像上の検出対象に対応する当該領域の特性値を変化させる第2処理を含んでよい。例えば、制御部33は、第2映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第2映像上の検出対象の視認性が向上する。このため、対象者60は、第2映像の特性値が低い場合であっても、第2映像上の検出対象を容易に認識可能である。
制御部33は、1つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。1つ以上の条件は、検出対象が移動体50の第1予測進路65内に位置するとの条件を含んでよい。1つ以上の条件は、移動体50の第1予測進路65と、検出対象の第2予測進路とが重なるとの条件を含んでよい。1つ以上の条件は、移動体50と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。1つ以上の条件は、第2映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。
第5例において、制御部33は、車両64a、64b、および歩行者63dそれぞれについて、上述した1つ以上の条件が満たされると判定し得る。かかる場合、制御部33は、例えば図17に示すように、車両64a、64b、および歩行者63dにそれぞれ対応する3つの第6マーカ75a、75b、および75cを、第2映像に重畳して表示装置40に表示させてよい。制御部33は、明るい場所において、検出対象に第6マーカを重ねて表示させてよい。
制御部33は、ガイド線66の形状を変更してよい。制御部33は、ガイド線66と検出対象とが重なる領域におけるガイド線66の形状を変更してよい。図18は、ガイド線66の形状例の1つである。図18のガイド線66は、ガイド線66と第6マーカ75aが重なっている領域に、ガイド線が表示されていない。ガイド線66の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部33は、第6マーカが表示されていないときに、ガイド線66の形状を変更してよい。制御部33は、検出対象に第1マーカ71および第2マーカ72を表示しているときに、ガイド線66の形状を変更してよい。
以上述べたように、一実施形態に係る表示システム10によれば、第1映像上で検出された検出対象に応じた多様なマーカが、第2映像に重畳して表示装置40に表示される。マーカを視認する対象者60は、移動体50と検出対象との相対的位置関係を一見して認識可能である。このため、移動体50の外部領域の映像を表示する技術の利便性が向上する。
以下に図19乃至31を参照して、画像処理装置30が、第1映像上の表示領域にガイド壁画像80およびその他の画像を合成して表示装置40に表示させる種々の映像の例を、具体的に説明する。
(第6例)
図19は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第6例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図19に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。検出領域61は、上下方向に比べて左右方向に長い形状に限られず、正方形、縦長の矩形、円形等種々の形状が可能である。表示領域62は、種々の位置、大きさ、形状が可能である。例えば、表示領域62は検出領域61の中央に位置するとは限られず、左または右に寄っていてもよい。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。制御部33は、表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。
図19は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第6例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図19に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。検出領域61は、上下方向に比べて左右方向に長い形状に限られず、正方形、縦長の矩形、円形等種々の形状が可能である。表示領域62は、種々の位置、大きさ、形状が可能である。例えば、表示領域62は検出領域61の中央に位置するとは限られず、左または右に寄っていてもよい。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。制御部33は、表示装置40に対するピンチイン操作およびピンチアウト操作等に応じて、第1映像上の表示領域62を変化させてよい。
制御部33は、撮像装置20から取得した第1映像上の表示領域に、移動体50の第1予測進路65を示すガイド壁画像80(図20参照)を合成して第2映像を生成する。制御部33は、第2映像にガイド壁画像80を重畳した画像を出力して表示装置40に表示させてよい。ガイド壁画像80は、移動体50が後進するときの予測進路を示すことができる。ガイド壁画像80は、対象者60に対して立体的な印象を与えるマーカである。ガイド壁画像80は、第1映像が映す実空間に配置した、予測進路をガイドする仮想的なガイド壁を、撮像装置20で撮像した場合の第1映像に投影した画像と考えうる。ガイド壁画像80は、対象者60の視野内において、路面から高さ方向に所定の高さまで延びる複数の仮想的な半透明の壁面からなるように視認されうる。ガイド壁画像80は、車両が後進する際に表示装置40に表示されるガイド線を、壁状の表示により立体的に表示したものともいえる。壁状の表示には、面、膜、板等の他の態様による表示を含む。ガイド壁画像80の立体的な表示によって、対象者60は路面上の駐車スペースの位置、障害物等までの距離等を把握することが容易になる。
制御部33は、第1映像の表示領域62内の検出対象を認識しうる。制御部33は、第1映像上の表示領域62の内側であって、第1予測進路65内に映っている検出対象を検出してよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に、仮想的な平面を第1認識壁画像83として合成しうる。第1認識壁画像83は、検出対象が移動したときは、検出対象と共に移動する。
図20は、図19に示す第1映像の表示領域62に対応する第2映像の例を示す。ガイド壁画像80は、第2映像の下端から上側に離れて配置される。ガイド壁画像80は、高さ方向および奥行き方向に延びる2つの側壁画像81a、81bを含んでよい。側壁画像81aは、水平方向の左側に位置し、側壁画像81bは水平方向の右側に位置する。2つの側壁画像81aおよび81bの間の領域は、車両である移動体50が通過する第1予測進路65を示す。側壁画像81aおよび81bの間の間隔は、移動体50の車幅を示すように設定されてよい。図20において側壁画像81aおよび81bは、直線的に表示されている。制御部33は、通信部31から移動体情報を取得して、予測される進路に応じて側壁画像81a、81bを湾曲させてよい。この場合、移動体情報は、ステアリングホイールの舵角を含む。
ガイド壁画像80は、高さ方向および水平方向に延び、移動体50からの奥行き方向の距離を示す複数の距離壁画像82a、82b、82cを含んでよい。距離壁画像82a、82b、82cは、側壁画像81aおよび81bの間を連結しうる。図20には3つの距離壁画像82a、82bおよび82cが示されうる。距離壁画像の数は3つに限られず、2つまたは4つ以上とすることができる。距離壁画像82aと82bとの奥行き方向の間隔は、距離壁画像82bと82cとの間の奥行き方向の間隔よりも狭くてよい。距離壁画像82a、82b、82cの高さ方向の長さは、側壁画像81aおよび81bの高さ方向の長さより長く、または、短くしうる。
ガイド壁画像80の各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周には枠が表示されてよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの少なくとも一種類を含んでよい。ガイド壁画像80は、奥行き方向に延びる補助線84a、水平方向に延びる補助線84b、および、高さ方向に延びる補助線84cの全てを含んでよい。
奥行き方向に延びる補助線84aは、側壁画像81a、81bの壁面に表示されうる。水平方向に延びる補助線84bは、距離壁画像82a、82b、82cの壁面に表示されうる。高さ方向に延びる補助線84cは、側壁画像81a、81bおよび距離壁画像82a、82b、82cの壁面に表示されうる。それぞれの補助線84a、84b、84cは、1以上の任意の数表示することができる。補助線84a、84b、84cの補助線が複数の場合、各補助線84a、84b、84cの間の間隔は、等間隔とすることができる。各補助線84a、84b、84cの間の間隔は、路面からの高さ、移動体50からの距離等の条件に応じて異ならせてよい。各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周に表示される枠は、複数の補助線84a、84b、84cの一部とみなしうる。図20および以下の図において、各補助線84a、84b、84cは、複数存在する場合でも、適宜それぞれ1つのみに符号を付している。
奥行き方向に延びる補助線84aは、側壁画像81a、81bの壁面に表示されうる。水平方向に延びる補助線84bは、距離壁画像82a、82b、82cの壁面に表示されうる。高さ方向に延びる補助線84cは、側壁画像81a、81bおよび距離壁画像82a、82b、82cの壁面に表示されうる。それぞれの補助線84a、84b、84cは、1以上の任意の数表示することができる。補助線84a、84b、84cの補助線が複数の場合、各補助線84a、84b、84cの間の間隔は、等間隔とすることができる。各補助線84a、84b、84cの間の間隔は、路面からの高さ、移動体50からの距離等の条件に応じて異ならせてよい。各側壁画像81a、81bおよび距離壁画像82a、82b、82cの外周に表示される枠は、複数の補助線84a、84b、84cの一部とみなしうる。図20および以下の図において、各補助線84a、84b、84cは、複数存在する場合でも、適宜それぞれ1つのみに符号を付している。
距離壁画像82aは、第1映像が映す実空間に写像したとき、他の距離壁画像82b、82cより移動体50に近い第1距離壁画像である。距離壁画像82aは、他の距離壁画像82b、82cと色を異ならせることができる。例えば、距離壁画像82b、82cは、半透明な白色で表示し、距離壁画像82aは半透明な赤色で表示することができる。側壁画像81a、81bは、半透明な白色で表示することができる。上記色の設定は例示であって、側壁画像81a、81bの色は、距離壁画像82b、82cと異なってよい。
側壁画像81a、81bの透過率は、奥行き方向の位置に応じて変化させてよい。側壁画像81a、81bの透過率は、奥行き方向に手前側ほど低く、奥側ほど高くなるように設定しうる。側壁画像81a、81bは、奥行き方向の位置に応じて彩度または明度を異ならせてよい。例えば、奥行き方向の手前側ほど彩度を高くすることができる。画像の彩度は、画像の色の濃さとも言い換えることができる。透過率、彩度、明度、色度等が連続的に変化することは、グラデーションを有するということができる。
距離壁画像82a、82b、82cの透過率は、路面からの高さに応じて変化させてよい。距離壁画像82a、82b、82cの透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。距離壁画像82a、82b、82cは、路面からの高さに応じて、彩度または明度を異ならせてよい。例えば、路面からの高さ方向に離れるほど彩度を低くすることができる。
第1距離壁画像である距離壁画像82a上の補助線84b、84cは、他の距離壁画像82b、82cの補助線84b、84cと同じ色としてよい。補助線84a、84b、84cは任意の色とすることができる。例えば、距離壁画像82a以外のガイド壁画像80の壁面の色が白色の場合、補助線84a、84b、84cの色は、これら壁面よりも輝度が高い、または、透過率の低い白色としうる。
制御部33は、第1映像の表示領域62内に映っている車両64を検出対象として検出してよい。図20の例において、車両64は第1予測進路65内に位置する。制御部33が検出する検出対象は、車両に限られず、建物、フェンス、道路上の障害物、人、動物等であってよい。検出対象を検出した場合、制御部33は認識した検出対象の移動体50側に第1認識壁画像83を合成しうる。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを変更してよい。検出対象を検出した場合、制御部33はガイド壁画像80の高さ方向の長さを短くすることができる。これによって、制御部33は、第1認識壁画像83が表示される場合でも表示を見易くし、且つ、対象者60の注意を検出対象に向けることができる。
第1予測進路65内に位置する検出対象の第1認識壁画像83は、高さ方向および水平方向に延びる。第1認識壁画像83は、任意の色の不透明または半透明な面として表示されうる。図20において、第1認識壁画像83は、車両64の移動体50側に矩形の形状を有する半透明な面として表示される。第1認識壁画像83の水平方向の幅は、車両64の横幅に対応してよい。第1認識壁画像83の水平方向の幅は、車両64の横幅と略一致させることができる。第1認識壁画像83の高さは、所定の値に設定することができる。第1認識壁画像83の透過率は、路面からの高さ方向に応じて変化させてよい。第1認識壁画像83の透過率は、路面から高さ方向に離れるほど高くなるように設定しうる。また、第1認識壁画像83は、路面からの高さ方向の距離に応じて彩度または明度を異ならせてよい。例えば、路面から高さ方向に離れるほど、彩度を低くすることができる。第1認識壁画像83は、水平方向および高さ方向に延びる補助線を含んでよい。
制御部33は、第1認識壁画像83の水平方向に延びる補助線を、第1認識壁画像83の枠内で高さ方向に移動させうる。補助線は、第1認識壁画像83の枠の下端から現れ、上端で消えるように表示しうる。制御部33は、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させることによって、移動体50および車両64との間の相対的な位置および相対的な距離変化の双方、または、何れか一方を表示することができる。例えば、制御部33は、移動体50と車両64との間の距離が狭まりつつあるとき、水平方向に延びる補助線を高さ方向に速く移動させうる。制御部33は、移動体50と車両64との間の距離が近いほど、補助線を高さ方向に速く移動させてよい。制御部33は、検出対象の位置および検出対象からの距離に関わらず、第1認識壁画像83の水平方向に延びる補助線を高さ方向に移動させてよい。
第1認識壁画像83の色は、移動体50から車両64迄の奥行き方向の距離に応じて異なる色とすることができる。例えば、図20に示すように、移動体50と車両64との距離が予め定めた距離よりも離れている場合、制御部33は、第1認識壁画像83の色を青色で表示させることができる。移動体50の後進によって、車両64との距離が短くなっていく場合、制御部33は、第1認識壁画像83の色を、青色から黄色、黄色から赤色というように、変化させてよい。
移動体50と車両64との間の距離が予め定めた距離以上離れている場合、制御部33は第1認識壁画像83を表示しないことができる。移動体50と車両64とが相対的に近づき予め定めた距離以内となったとき、制御部33は、例えば、第2映像内の車両64を強調表示した後、第1認識壁画像83を表示する。強調表示には、車両64の輪郭線の太線表示、車両64の輪郭線の点滅、車両64の画像の塗りつぶし、等を含む。制御部33は、車両64との間の相対位置の変化に応じて表示態様を変えてよい。例えば、車両64が移動体50から相対的に離れていく場合には、第1認識壁画像83を表示しないことができる。
図21は、移動体50の後進によって、移動体50と車両64との間の距離が狭まった状態での第2映像の例を示す図である。第1認識壁画像83は赤色で表示される。これにより、対象者60に対して、これ以上後進すれば車両64に衝突する危険性があることを警告することができる。
制御部33は、検出対象物とガイド壁画像80とが重なる場合、ガイド壁画像80の表示を変更することができる。例えば、図21に示すように、制御部33は、第2映像の車両64と重なるガイド壁画像80を少なくとも部分的に表示させないことができる。より具体的には、制御部33は、車両64と重なり、且つ車両64または第1認識壁画像83よりも奥行き方向に移動体50から離れて位置するガイド壁画像80を、表示装置40に表示させない。このようにすることで、表示装置40は、対象者60に対して画像を見易く且つ直感的に理解しやすく表示することが可能になる。ガイド壁画像80の表示の変更方法は、重なり部分の非表示に限られない。例えば、制御部33は、検出対象物と重なる部分のガイド壁画像80の透過率をより高くすることができる。
(変形例)
ガイド壁画像80は、図20、21に示す一例に限られない。図22から図24は、ガイド壁画像80の変形例を示す。
ガイド壁画像80は、図20、21に示す一例に限られない。図22から図24は、ガイド壁画像80の変形例を示す。
(第1変形例)
図22に図示する例では、距離壁画像82a、82b、82cの水平方向に延びる補助線84bは、高さ方向において最も低い位置の1つのみを表示しうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、地表高さの認識を容易にしうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、認識壁画像との距離の把握を容易にしうる。距離壁画像82a、82b、82cの水平方向の両端には、高さ方向に延びる補助線84cが表示されうる。距離壁画像82a、82b、82cの外周には、下端部に位置する補助線84bと水平方向の両端に位置する高さ方向に延びる補助線84cとが表示されうる。距離壁画像82a、82b、82cは、外周の下端の水平方向に延びる補助線84bおよび左右の両端の高さ方向に延びる補助線84cによって表示してよい。
図22に図示する例では、距離壁画像82a、82b、82cの水平方向に延びる補助線84bは、高さ方向において最も低い位置の1つのみを表示しうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、地表高さの認識を容易にしうる。最も低い位置の補助線84bのみを表示した距離壁画像82aは、認識壁画像との距離の把握を容易にしうる。距離壁画像82a、82b、82cの水平方向の両端には、高さ方向に延びる補助線84cが表示されうる。距離壁画像82a、82b、82cの外周には、下端部に位置する補助線84bと水平方向の両端に位置する高さ方向に延びる補助線84cとが表示されうる。距離壁画像82a、82b、82cは、外周の下端の水平方向に延びる補助線84bおよび左右の両端の高さ方向に延びる補助線84cによって表示してよい。
距離壁画像82a、82b、82cは、半透明な色を有する面を含んで表示しうる。距離壁画像82a、82b、82cは、路面から高さ方向に離れるに従い透過率を高くすること、または、色の濃さを薄くすることができる。移動体50に最も近い距離壁画像82aの外周に位置する補助線84b、84cは、他の補助線と異なる色で表示してよい。異なる色は、例えば赤色とすることができる。また、他の補助線は白色とすることができるがこれに限られない。車両64の手前に表示される第1認識壁画像83は、半透明な任意の色の面として表示され、路面から高さ方向に離れるに従って透過率が高くなるように、または、色の濃さが薄くなるように表示してよい。第1認識壁画像83は上端の境界を視認可能に表示せず、高さ方向に徐々に消えるように表示してよい。
図22に示す例では、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、側壁画像81a、81bの上下の端部にそれぞれ2本のみが表示される。下側の補助線84a1は、上側の補助線84a2よりも強調表示されうる。強調表示には、より太い線、より透過率の低い線、より輝度の高い線等を用いて表示することを含む。上側の補助線84a2と下側の補助線84a1とは、同じ表示態様の線としてもよい。同じ態様の線とは、例えば、太さ、透過率、および輝度等において、類似の線である。
奥行き方向に延びる補助線84aは、奥行き方向の最も遠い位置で、だんだんと薄くなり消えるような表示方法を用いて表示されてよい。側壁画像81a、81bは、奥行き方向の最も遠い位置の端部が視認できるように表示してよい。
側壁画像81a、81bには、高さ方向に延びる補助線84cが、少なくとも、最も手前側の端部、および、距離壁画像82a、82b、82cと交差する位置に表示されうる。これらの高さ方向に延びる補助線84cは、他の高さ方向に延びる補助線84cよりも強調表示されてよい。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、距離壁画像82aと交差する位置に表示される補助線84cが距離壁画像82b、82cと交差する位置に表示される補助線84cより太く表示しうる。
(第2変形例)
図23に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図23において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、最も上と最も下のものを含め2本以上が表示されうる。奥行き方向に延びる補助線84aは、高さ方向に最も下に位置する補助線を、他の補助線よりも強調表示してよい。複数の補助線84aは、全て同じ態様の線として表示してよい。図23のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。
図23に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図23において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、最も上と最も下のものを含め2本以上が表示されうる。奥行き方向に延びる補助線84aは、高さ方向に最も下に位置する補助線を、他の補助線よりも強調表示してよい。複数の補助線84aは、全て同じ態様の線として表示してよい。図23のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。
(第3変形例)
図24に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図24において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、下端部に位置する補助線84aのみを表示する。ガイド壁画像80の下端に位置する奥行き方向に延びる補助線84aは、水平方向に延びる補助線84bとともに、第1映像が映す実空間に写像した場合の路面上の線に対応してよい。図24のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、奥行き方向の手前側から奥側に並ぶ補助線84cは、奥側に位置する線ほど細くなってよい。
図24に示すガイド壁画像80は、図22のガイド壁画像80と側壁画像81a、81bが異なる。図24において、ガイド壁画像80の側壁画像81a、81bの奥行き方向に延びる補助線84aは、下端部に位置する補助線84aのみを表示する。ガイド壁画像80の下端に位置する奥行き方向に延びる補助線84aは、水平方向に延びる補助線84bとともに、第1映像が映す実空間に写像した場合の路面上の線に対応してよい。図24のガイド壁画像80は、図22のガイド壁画像80で採用しうる透過率の変化、色の変化、および、配色等を採用し得る。高さ方向に延びる補助線84cは、各々の太さが異なってよい。補助線84cは、奥行き方向の手前側から奥側に並ぶ補助線84cは、奥側に位置する線ほど細くなってよい。
図20から24の各図に示したガイド壁画像80において、表示装置40は、補助線84a,84b、84cの一部または全てを表示しなくてもよい。
(第7例)
図25は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第7例を示す。図25に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。
図25は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第7例を示す。図25に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。表示領域62は検出領域61の一部に限られず、検出領域61の全部を表示領域62としてよい。
第7例において移動体50は車両であり、駐車場の駐車スペースに向かって後進しているものとすることができる。撮像装置20は移動体50の後方に位置し、後方を撮像しているものとすることができる。制御部33は、検出領域61から、第1予測進路65外であって表示領域62内に少なくとも部分的に映っている車両64bおよび歩行者63を、それぞれ検出対象として検出してよい。図25に示す例では、制御部33は、移動体50の第1予測進路65内に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
図26は、図25に示す第1映像の表示領域62に対応する第2映像の例を示す。制御部33は、第1映像の表示領域62内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示する。第1認識壁画像83aおよび83bは、高さ方向および奥行き方向に延びる側壁画像81a、81bと平行な半透明の面として表示しうる。制御部33は、車両64bおよび歩行者63と移動体50との間の相対位置の距離変化を取得し、距離が短くなる方向に変化している場合だけ側壁画像81a、81bを表示してよい。移動体50と検出対象との間の距離の推定には、前述の如く任意のアルゴリズムが採用しうる。
制御部33は、検出対象の車両64aおよび歩行者63のガイド壁画像80からの水平方向における距離を推定し、推定された距離に応じて第1認識壁画像83a、83bの表示色を決定してよい。ここで、検出対象とガイド壁画像80との距離とは、ガイド壁画像80の表示する仮想ガイド壁が、第1映像が映す実空間上に存在するとした場合の、検出対象と当該仮想ガイド壁との距離である。制御部33は、ガイド壁画像80を第1映像が映す実空間に写像した位置と検出対象の位置とからそれらの間の第1距離を推定しうる。制御部33は、第1距離に対して閾値を設け、第1認識壁画像83a、83bのそれぞれについて、水平方向の距離が長い方から短い方に順に青色、黄色、赤色等の異なる表示色を用いて表示装置40に表示させてよい。第1認識壁画像83a、83bは、奥行き方向に延びる補助線を有しうる。制御部33は、第1認識壁画像83a、83bの奥行き方向に延びる補助線を、図20の第1認識壁画像83の水平方向に延びる補助線と類似に、第1認識壁画像83の枠内で高さ方向に移動させうる。
制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置として、第1の位置を推定する。制御部33は、車両64bおよび歩行者63にそれぞれ対向する側壁画像81aおよび81bの表示を、第1の位置に対応して少なくとも部分的に変更してよい。表示の変更の態様としては、壁表面の色、明度、彩度等の変更、枠線および/または補助線の色、太さ等の変更、またはそれらの組合せ等を含む。例えば、図26において、車両64bに対向する側壁画像81aの一部81a1と、歩行者63に対向する側壁画像81bの一部81b1の表示色が変更される。側壁画像81a、81bの一部は、側壁画像81a、81b上の高さ方向に延びる補助線84cにより区分された領域としてよい。側壁画像81aの一部81a1および側壁画像81bの一部81b1の表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が側壁画像81a、81bの表す長さに比べて大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。大きい障害物としては、トレーラー等の大型車両、建造物等を挙げることができる。
検出対象が移動するとき、制御部33は、当該検出対象の第2予測進路を推定し、当該第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定してよい。制御部33は、第1の位置を、第1映像が映す実空間における第2予測進路と側壁画像81a、81bの実空間への写像との交差する位置として推定することができる。制御部33は、側壁画像81a,81bの表示を第1の位置に対応して少なくとも部分的に変更してよい。この場合も、表示を変更する側壁画像81a、81bの一部81a1、81b1の表示色は、第1距離に応じて異なる色としてよい。制御部33は、検出対象が非常に大きい障害物であるとき、側壁画像81aまたは81bの全体の表示色を変更してよい。
別の表示態様として、制御部33は、第1認識壁画像83a、83bよりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。さらに別の表示態様として、制御部33は、第2予測進路と側壁画像81a、81bとが交わる位置よりも奥行き方向に奥側に位置する側壁画像81a、81bの部分の表示を変更してよい。
第1認識壁画像83a、83bの表示は路面からの高さに応じて変化させてよい。第1認識壁画像83a、83bの表示は、第6例の第1認識壁画像83と類似に、路面からの高さに応じて透過率、彩度、または、明度等を異なる値に設定しうる。
以上のように、表示システム10は、後進の障害となりうる検出対象の距離および/または位置を、ガイド壁画像80および第1認識壁画像83a、83bを用いて空間的且つ立体的に表現できる。また、移動中の検出対象の予測進路から、衝突の危険性がある位置を立体的に表示することができる。このように、表示システム10は、ガイド壁画像80および第1認識壁画像83a、83bを、高さ方向を有する壁(あるいは平面)として表すことにより、検出対象および警告内容の空間的な立体表現が可能とする。これによって、対象者60にとっての表示、警告内容の把握が容易になる。
(第8例)
図27は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第8例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図27に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の外側であって、検出領域61の内側の領域である第2領域に映っている歩行者63および車両64bを、それぞれ検出対象として検出してよい。第8例では、制御部33は、表示領域62に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
図27は、画像処理装置30が撮像装置20から取得した第1映像における検出領域61の第8例を示す。撮像装置20は、車両である移動体50の後方を撮像するように配置されてよい。図27に示す例では、検出領域61は、上下方向に比べて左右方向に長い。表示領域62は、検出領域61の左右方向における中央に位置する。制御部33は、第1映像上の表示領域62の外側であって、検出領域61の内側の領域である第2領域に映っている歩行者63および車両64bを、それぞれ検出対象として検出してよい。第8例では、制御部33は、表示領域62に映っている車両64aについて、奥行き方向の距離が予め定めた距離よりも遠いと判断し検出対象としない。
図28は、第1映像が映す実空間において、高さ方向に沿って上側から見た移動体50ならびに検出対象の歩行者63および車両64bの配置を模式的に示した図である。撮像装置20は、実空間における領域F1およびF2に含まれる範囲の被写体を撮像しうる。領域F1および領域F2は、第1映像の検出領域61に対応する。領域F1は、第1映像の表示領域62に対応する第1領域である。領域F2は、第1映像の検出領域61の内側であって表示領域62の外側の第2領域に対応する。
図28には、説明のために、第2映像に表示されるガイド壁画像80を、実空間に写像した仮想ガイド壁90が破線により表示されている。仮想側壁91a、91bは、第2映像に表示される側壁画像81a,81bに対応する。仮想距離壁92a、92b、92cは、第2映像に表示される距離壁画像82a,82b,82cに対応する。
また、図28には、説明のために、移動体50の仮想側壁91a,91bに対する検出対象の水平方向の距離を示す仮想線95l1~95l5および95r1~95r5が、破線により示されている。この水平方向の距離は第2距離ともよぶ。仮想線95l1~95l5は、移動体50の左側に位置する。仮想線95r1~95r5は、移動体50の右側に位置する。仮想線95l1~95l5および仮想線95r1~95r5の間隔は、それぞれ任意に設定できる。仮想線95l1~95l5および仮想線95r1~95r5の間隔は、それぞれ等間隔としてよい。制御部33は、第1映像から検出対象がどの仮想線95l1~95l5および95r1~95r5に最も近いか、あるいは、仮想線95l1~95l5および95r1~95r5のうちどの2つで挟まれた領域内に位置するかを判定することができる。
図27の第1映像に対応する第2映像を図29に例示する。第8例において、ガイド壁画像80は、第6例および第7例で説明したものと類似の表示方法を採用しうる。制御部33は、第1映像の第2領域に検出対象が位置する場合、第2映像における検出対象が存在する側の端部に第2認識壁画像89a、89bを合成する。第2認識壁画像89a、89bは、それぞれ高さ方向および奥行き方向に延びる壁部96a、96bと、奥行き方向および水平方向に延びる床部97a、97bを含んでよい。図29において、壁部96a、96bは第2映像の左右の端部の下端から上端まで延びている。壁部96a、96bは、第2映像の左右の端部の全体ではなく一部のみに沿って上下に延在してよい。類似に、床部97a、97bは、第2映像の下端部の全体または一部に沿って左右方向に延在しうる。床部97a,97bは、ガイド壁画像80と第2映像の下端との間に表示されてよい。
制御部33は、第2認識壁画像89a、89bを、検出対象の第2距離に応じて表示を変化させてよい。表示の変化は、色、透過率、彩度、明度、大きさ等の変化、および、点滅、移動などの動的な表示方法の変化を含む。例えば、複数の実施形態の1つにおいて、表示の変化は色の変化により表してよい。表示の色は、危険度が高い場合を赤色、危険度が中程度の場合を黄色、危険度が低い場合を青色等としうる。図28に示す歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r3上に位置する。この場合、制御部33は、危険度を中程度として、右側の第2認識壁画像89bの色を黄色としうる。また、図28に示す車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95l5よりも離れて位置する。この場合、制御部33は、危険度が低いものと判断して、左側の第2認識壁画像89aの色を青色としうる。複数の実施形態の1つにおいて、表示の変化は、壁部96a、96bに表示される縦方向の補助線96a1、96b1の横方向への動きを含んでよい。制御部33は、第2距離の長さに応じて、壁部96a、96bの動きの速さを変化させてよい。
第2認識壁画像89a、89bは、半透明とすることができる。第2認識壁画像89a、89bの壁部96a、96bは、上下方向に表示特性を変化させてよい。例えば、第2認識壁画像89a、89bの壁部96a、96bは、下部ほど透過率を低くしてよい。また、第2認識壁画像89a、89bは、下部ほど彩度を高くしてよい。第2認識壁画像89aの床部97a、97bは、左右方向に表示特性を変化させてよい。例えば、第2認識壁画像89aの床部97a、97bは、左右の端部ほど透過率が低く、第2映像の中心に向かうほど透過率を高くしてよい。また、第2認識壁画像89aの床部97a、97bは、左右の端部から第2映像の中心に向かうほど彩度を低くしてよい。画像の彩度は、画像の色の濃さとも言い換えることができる。
制御部33は、検出対象の種別を判断して、当該種別に対応するアイコン画像99a、99bを第2認識壁画像89a、89bの床部97a,97bの上に表示してよい。検出対象の種別は、第1映像から検出される検出対象の画像に基づいて公知の方法で判定することができる。例えば、制御部33は、検出対象の輪郭形状をモデルとなるパターンとマッチングすることによって、物体種別を判定しうる。例えば、歩行者63および車両64bに対しては、それぞれ人および車両を示すアイコンが選択されうる。制御部33は、側壁画像81a、81bを実空間に写像した仮想側壁91a、91bと、実空間における検出対象との、水平方向における距離である第2距離を推定しうる。第2距離は、実空間の仮想線95l1~95l5、95r1~95r5を第1映像の検出領域61に写像したそれぞれの線と、各検出対象の画像の位置との関係から判定しうる。制御部33は第2距離に応じて、アイコン画像99a、99bを表示する位置を変更しうる。
図29に示す第2映像の表示例では、実空間における仮想線95l1~95l5、95r1~95r5にそれぞれ対応して、第1距離識別線98l1~98l5、98r1~98r5が設けられる。第1距離識別線98l1~98l5、は、側壁画像81aの左側に位置し、中央から左側に向けて98l1、98l2、98l3、98l4、98l5の順に付番される。98r1~98r5は、側壁画像81bの右側に位置し、中央から右側に向けて98r1、98r2、98r3、98r4、98r5の順に付番される。第1距離識別線98l1~98l5、98r1~98r5は、アイコン画像99a、99bが表示される位置を示すものであって、第2映像中に表示されなくてもよい。
図28において、歩行者63は、移動体50の仮想側壁91bから水平方向右側の3番目の仮想線95r3上に位置するので、制御部33は、図29の第2映像において歩行者63のアイコン画像99bを、右側の3番目の第1距離識別線98r3上に配置してよい。図29に示すように、アイコン画像99bは、第2映像上で奥行き方向に延びる第1距離識別線98r3上に、奥行き方向および高さ方向の長さを有する面として、立体的に表示されてよい。立体視したとき、アイコン画像99bは、側壁画像81a、81bおよび第2認識壁画像89a、89bと平行な面として表示されてよい。アイコン画像99bは、第2認識壁画像89bと類似に、第2距離に応じて色、彩度、明度等の表示態様を異ならせてよい。例えば、アイコン画像99bは、黄色で表示しうる。
図28において、車両64bは、移動体50の仮想側壁91aから水平方向左側の5番目の仮想線95l5よりも、仮想側壁91aから離れて位置する。この場合、制御部33は、図29の第2映像において車両64bのアイコン画像99aを、左側の第1距離識別線98l5上に配置してよい。または、制御部33は、第2映像を立体的にみたとき第2認識壁画像89aの壁部96aと同一面上に見えるように配置してよい。アイコン画像99aは、アイコン画像99bと類似に、第2距離に応じて表示態様を異ならせることができる。例えば、アイコン画像99aは青色で表示しうる。
移動体50と検出対象との双方または何れか一方が移動することにより、移動体50からみた検出対象の相対的位置が変化したとき、第2認識壁画像89a、89bおよびアイコン画像99a、99bの位置および表示態様は変化する。さらに移動体50が表示領域62に入ると、検出対象は第7例で説明した態様により表示されてよい。図28に示す実空間において、車両64bが、領域F2から領域F1に移動する場合の表示の変化の一例について説明する。
はじめに、図28の実空間において、車両64bは仮想線95l5の左側に位置するものとする。このとき、図29の第2映像には、前述のように、第2認識壁画像89aが表示されるとともに、第2認識壁画像89aの床部98aの最も左側にアイコン画像99aが表示される。このとき、第2認識壁画像89aおよびアイコン画像99aは、青色で表示することができる。
図28の実空間において、車両64bが、仮想ガイド壁90に向けて近づくに従い、図29の第2映像に表示される第2認識壁画像89aは、表示の態様を変化させる。たとえば、第2認識壁画像89aの色は、青色から黄色、赤色へと順次変化する。同時に、アイコン画像99aは、表示位置を第1距離識別線98l5上から第1距離識別線98l1上に向けて移動する。アイコン画像99aの色は、青色から黄色、赤色へと順次変化してよい。これによって、対象者60は、第2映像に表示されない外部において車両64bが近付きつつあることを認識しうる。また、立体的な表示方法を使用することによって、対象者60は車両64bの接近を空間的に把握することができ、且つ、情報の見落としの虞を低減することが可能になる。
車両64bが移動体50に向けて近づいているときに、アイコン画像99aは、画面の中央に向かって移動しうる。対象者60は、アイコン画像99aの移動を介して車両64bの移動方向を認識しうる。
さらに、車両64bが、図28の実空間において、領域F2からF1に入ると、車両64bは第1映像の表示対象領域に入るので、第2映像に含まれ表示装置40に表示される。同時に、第2認識壁画像89aの表示は無くなり、図26に示したように、車両64bのガイド壁画像80側に第1認識壁画像83aが表示される。第2認識壁画像89aが消える際に、制御部33は、対象者60の注意を促すため、第2認識壁画像89aを複数回点滅させてよい。制御部33は、車両64bの移動体50側に第1認識壁画像83aを表示する。さらに、制御部33は、車両64bの第2予測進路を推定し、第2予測進路と側壁画像81a、81bとが交わる位置として第1の位置を推定する。制御部33は、第1の位置を含む側壁画像81aの一部81a1の表示を変化させてよい。制御部33は、例えば側壁画像81aの一部81a1の色を、車両64bが接近するにつれて、青色、黄色および赤色に順次変化させることができる。これによって、対象者60は、車両64bが近付いていること、および、車両64bの第2予測進路が移動体50の第1予測進路65と重なっていることを、容易に把握することが可能になる。
以上述べたように、本開示の複数の実施形態の1つによれば、ガイド壁画像、第1認識壁画像および第2認識壁画像、アイコン画像等の立体的な表示によって、検出対象の位置の空間的把握が容易になる。さらに、本開示の複数の実施形態の1つによれば、それぞれの壁面の表示態様を変化させることによって注意および警告等の情報を理解しやすく提供することができる。また、立体的な表示を用いることによって、情報の見落としの虞を低減することが可能になる。
(変形例)
図30は、図27の第1映像に対応する第2映像の他の例を示す。図30には、左下部に「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との間の選択状況を示すビュー表示領域101、102が付加されている。「ノーマルビュー表示」と「ワイドビュー表示」については後述する。図30は、ガイド壁画像80、第2認識壁画像89a、89bおよびアイコン画像99a、99bの表示態様が、図29とは部分的に異なってよい。例えば、図30では、図22と類似の表示態様のガイド壁画像80が表示される。
図30は、図27の第1映像に対応する第2映像の他の例を示す。図30には、左下部に「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との間の選択状況を示すビュー表示領域101、102が付加されている。「ノーマルビュー表示」と「ワイドビュー表示」については後述する。図30は、ガイド壁画像80、第2認識壁画像89a、89bおよびアイコン画像99a、99bの表示態様が、図29とは部分的に異なってよい。例えば、図30では、図22と類似の表示態様のガイド壁画像80が表示される。
第2認識壁画像89a、89bの壁部96a、96bは、高さ方向に延びる1本以上の補助線96a1、96b1を有することができる。図30において壁部96a、96bは複数の補助線96a1、96b1を有しているが、そのうち1つについてのみ符号を付している。第2認識壁画像89a、89bの壁部96a、96bは、検出対象までの距離を色で表し、奥行き方向の手前から奥側に向けて透過率が異なってよい。壁部96a、96bは、高さ方向に透過率が徐々に高くなり、または、濃さが徐々に薄くなり、高さ方向の所定の位置で消えてよい。
制御部33は、壁部96a、96bの透過率または色の濃さ、および、補助線96a1、96a2の変化により、所定の距離範囲内に対象物が存在すること、検出対象物までの距離、または検出対象物までの距離の変化を表示することができる。壁部96a、96bの透過率または色の濃さの変化は、グラデーションの変化ということもできる。例えば、制御部33は、壁部96a、96bの補助線96a1、96a2の移動によって検出対象が所定の距離内に存在していることを表示しうる。制御部33は、壁部96a、96bの手前側の色を最も濃くし、奥行き方向のグラデーションの変化によって検出対象が所定の距離内に存在していることを表示しうる。壁部96a、96bの補助線96a1、96b1および透過率の変化は必須のものではない。制御部33は、壁部96a、96bに補助線96a1、96b1を表示させないことができる。制御部33は、壁部96a、96bに透過率の変化(グラデーション)を持たさないことができる。
第2認識壁画像89a、89bの床部97a、97bには、第1距離識別線98l、98rに加え、それぞれ1本以上の第2距離識別線100l、100rが設けられる。図30において、複数の第2距離識別線100l、100rが存在するが、それぞれ1つのみに符号を付して示している。第1距離識別線98l、98rおよび第2距離識別線100l、100rは、ディスプレイ上に表示されなくてもよい。第1距離識別線98l、98rは、移動体50から検出対象までの水平方向の距離に対応するのに対して、第2距離識別線100l、100rは、奥行き方向の距離に対応することができる。複数の第2距離識別線100l、100rのそれぞれは、側壁画像81a、81b上の高さ方向に延びるそれぞれの補助線84cを実空間に写像した場合の奥行き方向の距離に対応してよい。
対象者60は、床部97a、97b上のアイコン画像99a、99bの水平および奥行き方向の位置に応じて、検出対象までの水平方向および奥行き方向の位置を把握することが可能になる。アイコン画像99a、99bとしては、検出対象の種別に応じた立体的な画像が用いられる。床部97a、97bは、側壁画像81a、81bの最も手前側の端部よりも手前側であって、側壁画像81a、81bを延長した線の内側に配置されてよい。第2認識壁画像89a、89bとガイド壁画像80との位置関係は、これに限られず適宜変更することができる。
図30において、表示装置40には「ノーマルビュー(Normal View)表示」と「ワイドビュー(Wide View)表示」との選択状況を示すビュー表示領域101、102が、右下部分に示されている。「ノーマルビュー表示」と「ワイドビュー表示」とは、表示する映像の画角が異なっている。複数の実施形態の1つにおいて、「ノーマルビュー表示」は図4に示した第2映像の表示領域62の画角に対応する。複数の実施形態の1つにおいて、「ワイドビュー表示」は、図4に示した第1映像の検出領域61の画角に対応する。「ワイドビュー表示」は第1映像の検出領域61全体の映像である必要は無く、検出領域61から、「第2映像」を包含する画角の映像を切り出したものとしてもよい。図30およびこれより前に示した第2映像は、何れもノーマルビュー表示である。表示中の映像が、「ノーマルビュー表示」と「ワイドビュー表示」との何れであるかは、選択状況を示すビュー表示領域101、102の表示を変えることによって示される。例えば、選択状況を示す領域の表示を変えることには、ビュー表示領域101、102の色を変えること、濃さを変えること、文字の色を変えること等を含む。
制御部33は、第1映像の画像を処理した結果に応じて、または、表示装置40等を介して対象者60からの入力を受けて、「ノーマルビュー表示」と「ワイドビュー表示」とを切り替えることができる。例えば、制御部33は、「ノーマルビュー表示」の状態で、検出対象が接近していることを検出したとき、表示する映像を「ワイドビュー表示」に切り替えるようにしてよい。制御部33は、「ワイドビュー表示」の状態で、所定の範囲内に検出対象がないことを検知したとき、表示する映像を「ノーマルビュー表示」に切り替えるようにしてよい。制御部33は、表示装置40がタッチパネル式のスクリーンを備える場合、表示装置40から対象者60が画面上のビュー表示領域101または102の部分をタッチして選択したことを示す信号を受けて、表示を切り替えてよい。
図31は、図30に示される「ノーマルビュー表示」から、「ワイドビュー表示」に切り替えた映像の一例を示す図である。図31の「ワイドビュー表示」の映像の画角は、図30の「ノーマルビュー表示」の映像の画角よりも水平方向に広い。図31において、図30で表示された「ノーマルビュー表示」の表示範囲外に位置する歩行者63と車両64bとが表示される。また、図31に表示される映像では、図30の「ノーマルビュー表示」に比べ水平方向の画角が広がったので、ガイド壁画像80の左右の側壁画像81aおよび81bの間の間隔が相対的に狭まって表示されている。
図31では、歩行者63と車両64bとが、表示範囲に入ったことにより、第2認識壁画像89a、89bは消えている。制御部33は、第1映像の検出領域61内の検出対象の車両64bおよび歩行者63を認識し、車両64bおよび歩行者63の移動体50側に、それぞれ仮想的な平面である第1認識壁画像83aおよび83bを表示することができる。制御部33は、検出対象の車両64bおよび歩行者63の奥行き方向における位置を推定する。制御部33は、推定した位置に基づいて、車両64bおよび歩行者63のそれぞれに対向する側壁画像81aおよび81bの表示を変更してよい。図31では、歩行者63および車両64bのそれぞれに対応して、側壁画像81bの一部81b1と、側壁画像81aの一部81a1との表示が変更される。表示の変更には、種々の態様を含む。例えば、表示の変更には色の変更、周囲を囲む補助線の太さの変更、線種の変更、点滅の開始および停止、ならびに点滅周期の変更等を含む。第1認識壁画像83a、83b、および、側壁画像81a、81bの一部81a1、81b1は、図26の例と類似の表示方法および表示態様を採用しうる。
以上図30および図31で示したように、複数の実施形態の一つによれば、撮像装置20により撮像した映像を、表示装置40に画角の異なる「ノーマルビュー表示」と「ワイドビュー表示」との間で切り替えて表示することが可能である。「ノーマルビュー表示」においては、対象者60は、表示される映像の範囲外に位置する検出対象の存在およびその位置を、第2認識壁画像89a、89bおよびアイコン画像99a、99bにより、容易に把握することができる。表示装置40が、「ノーマルビュー表示」から「ワイドビュー表示」へ、自動的にまたは手動で切替ることにより、対象者60は、「ノーマルビュー表示」の映像の範囲外で検出された検出対象を、映像で確認することができる。「ワイドビュー表示」においては、ガイド壁画像80および第1認識壁画像83bの表示により、検出対象との位置関係を立体的に把握することが可能になる。このように、複数の実施形態の1つにおける表示システム10は、対象者60に対して、周囲の状況把握と危険性の察知を容易にさせることができる。
(他の例)
図32は、第2映像の他の例を示す。図32は、図24に対応する。図32において、ガイド壁画像80は、白色の線で描かれている。図32において、第1認識壁画像83は、白色の線で描かれている。図32の例において、第2映像は、第1半透過画像80aを含む。図32の例において、第2映像は、第2半透過画像83cを含む。
図32は、第2映像の他の例を示す。図32は、図24に対応する。図32において、ガイド壁画像80は、白色の線で描かれている。図32において、第1認識壁画像83は、白色の線で描かれている。図32の例において、第2映像は、第1半透過画像80aを含む。図32の例において、第2映像は、第2半透過画像83cを含む。
制御部33は、撮像装置20から取得した第1映像上の表示領域の上に、第1画像及び第2画像を順に重ねて第2映像を生成しうる。制御部33は、第1映像の各フレーム画像の上に、第1画像及び第2画像を順に重ねて合成画像を生成しうる。制御部33は、第2映像を出力して表示装置40に表示させうる。第2画像は、移動体50の第1予測進路65を示すガイド壁画像80を含みうる。第1画像は、下側から上側に向かって透過率が高くなる第1半透過画像80a(透過グラデーション画像)を含む。制御部33は、第1半透過画像80aの上にガイド壁画像80を重ねうる。制御部33は、第1映像の表示領域の上に、第1半透過画像80aを重ねうる。制御部33は、第1映像の表示領域とガイド壁画像80との間に、第1半透過画像80aを合成しうる。第1半透過画像80aは、下端に近い位置ほど透過率が低い。第1半透過画像80aは、下端から上端に近づくにつれて透明色に変化する。第1半透過画像80aは、ガイド壁画像80の第1色と異なる第2色から透明色に徐々に変化する。第1色は、例えば、ホワイトまたはシアンを含みうる。第2色は、例えば、ブラックを含みうる。
第1色と第2色とが異なると、ガイド壁画像80は、第1色と第2色との色の違いにより視認が容易になる。第1色と第2色とが異なると、ガイド壁画像80は、第1映像が第1色に近い色が多い状況での視認が容易になる。図32の例のような白色のガイド壁画像80は、第1半透過画像80aの存在によって、雪が積もっている地面における認識が容易になる。ガイド壁画像80は、上側の透過率が高いので、当該上側の領域において第2画像は第1画像に近くなる。第2映像は、遠くのものを映す領域への加色が少ない。第2映像は、ガイド壁画像80より奥側の領域における視認性への影響が少ない。第1半透過画像80aが下側から上側に向かって透過率が高くなることで、第2映像は、奥行き感を得やすくなる。第1半透過画像80aが下側から上側に向かって透過率が高くなることで、第2映像は、明るい印象となる。
制御部33は、第1映像内の認識した検出対象の表示領域上に、第3画像及び第4画像を順に重ねて第2映像を生成しうる。第4画像は、認識した検出対象の存在を示す第1認識壁画像83を含みうる。第3画像は、第2半透過画像83cを含む。制御部33は、第2半透過画像83cの上に第1認識壁画像83を重ねうる。制御部33は、検出対象の表示領域の上に、第2半透過画像83cを重ねうる。制御部33は、検出対象の表示領域と第1認識壁画像83との間に、第2半透過画像83cを合成しうる。第2半透過画像83cは、下端に近い位置ほど透過率が低い。第2半透過画像83cは、下端から上端に近づくにつれて透明色に変化する。第2半透過画像83cは、第1認識壁画像83の第3色と異なる第4色から透明色に徐々に変化する。第3色は、例えば、レッド、イエロー、およびホワイトまたはシアンを含みうる。第2色は、例えば、ブラックを含みうる。
第3色と第4色とが異なると、第1認識壁画像83は、第3色と第4色との色の違いにより視認が容易になる。第3色と第4色とが異なると、第1認識壁画像83は、認識した検出対象が第3色に近い状況での視認が容易になる。
図32の例のような白色の第1認識壁画像83は、第2半透過画像83cの存在によって、白色のトラックの前に表示される際に認識が容易になる。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、上述した実施形態に係る表示システム10の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置30の構成および機能の一部または全部を、撮像装置20および表示装置40の少なくとも一方に包含させてもよい。
上述の実施形態に係る表示システム10の構成要素の一部は、移動体50の外部に位置してよい。例えば、画像処理装置30等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム10の他の構成要素と有線または無線によって接続されてもよい。
10 表示システム
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 表示装置
50 移動体
51 ネットワーク
60 対象者
61 検出領域
62 表示領域
63、63a、63b、63c、63d 歩行者
64、64a、64b 車両
65 第1予測進路
66 ガイド線
67 アイコン画像
68 第3マーカ
69 輪郭線
70 領域
71 第1マーカ
72 第2マーカ
73 第5マーカ
73a アイコン画像
73b 帯画像
73c 右端領域
74 障害物画像
75a、75b、75c 第6マーカ
80 ガイド壁画像
80a 第1半透過画像
81a、81b 側壁画像
81a1、81b1 側壁画像の一部
82a、82b、82c 距離壁画像
83、83a、83b 第1認識壁画像
83c 第2半透過画像
84a、84b、84c 補助線
89a、89b 第2認識壁画像
90 仮想ガイド壁
91a、91b 仮想側壁
92a、92b、92c 仮想距離壁
95l1~95l5、95r1~95r5 仮想線
96a、96b 壁部
97a、97b 床部
98l1~98l5、98r1~98r5 第1距離識別線
99a、99b アイコン画像
100l、100r 第2距離識別線
101、102 ビュー表示領域
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 表示装置
50 移動体
51 ネットワーク
60 対象者
61 検出領域
62 表示領域
63、63a、63b、63c、63d 歩行者
64、64a、64b 車両
65 第1予測進路
66 ガイド線
67 アイコン画像
68 第3マーカ
69 輪郭線
70 領域
71 第1マーカ
72 第2マーカ
73 第5マーカ
73a アイコン画像
73b 帯画像
73c 右端領域
74 障害物画像
75a、75b、75c 第6マーカ
80 ガイド壁画像
80a 第1半透過画像
81a、81b 側壁画像
81a1、81b1 側壁画像の一部
82a、82b、82c 距離壁画像
83、83a、83b 第1認識壁画像
83c 第2半透過画像
84a、84b、84c 補助線
89a、89b 第2認識壁画像
90 仮想ガイド壁
91a、91b 仮想側壁
92a、92b、92c 仮想距離壁
95l1~95l5、95r1~95r5 仮想線
96a、96b 壁部
97a、97b 床部
98l1~98l5、98r1~98r5 第1距離識別線
99a、99b アイコン画像
100l、100r 第2距離識別線
101、102 ビュー表示領域
Claims (26)
- 車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、を備える、撮像装置。 - 請求項1に記載の撮像装置であって、
前記ガイド壁画像は、
高さ方向および奥行き方向に延び、水平方向に前記車両の車幅に対応する距離離れた2つの側壁画像と、
前記高さ方向および前記水平方向に延び、前記奥行き方向の距離を示す複数の距離壁画像と、を含み、
前記高さ方向、前記奥行き方向、および、前記水平方向は、前記第1映像が映す空間における、3次元方向に対応する撮像装置。 - 請求項2に記載の撮像装置であって、
前記ガイド壁画像は、前記奥行き方向に延びる補助線、前記水平方向に延びる補助線、および前記高さ方向に延びる補助線の少なくとも一つを含む、撮像装置。 - 請求項2または3に記載の撮像装置であって、
前記複数の距離壁画像は、他の前記距離壁画像よりも前記車両に近い位置に位置する第1距離壁画像を含み、
前記第1距離壁画像は、他の前記距離壁画像と色が異なる、撮像装置。 - 請求項3に記載の撮像装置であって、
前記複数の距離壁画像は、他の前記距離壁画像よりも前記車両に近い位置に位置する第1距離壁画像を含み、前記第1距離壁画像は、前記他の距離壁画像と色が異なり、前記第1距離壁画像の前記補助線は、前記他の距離壁画像の前記補助線と、色が同じである、撮像装置。 - 請求項2乃至5のいずれかに記載の撮像装置であって、
前記制御部は、
前記第1映像の前記表示領域内の検出対象を認識し、
認識した前記検出対象の前記車両側に第1認識壁画像を合成する、撮像装置。 - 請求項6に記載の撮像装置であって、
前記制御部は、
前記検出対象と前記ガイド壁画像に対応する位置との水平方向における第1距離を推定し、
前記第1距離に応じて前記第1認識壁画像の色を変更する、撮像装置。 - 請求項6または7に記載の撮像装置であって、
前記制御部は、
前記検出対象の前記奥行き方向における第1の位置を推定し、
前記第1の位置に対応する前記側壁画像の一部または全ての表示を変更する、撮像装置。 - 請求項6または7に記載の撮像装置であって、
前記制御部は、
前記検出対象の予測進路を推定し、
前記検出対象の予測進路と、前記側壁画像とが交わる第1の位置を推定し、
前記第1の位置に対応する前記側壁画像の一部または全ての表示を変更する、撮像装置。 - 請求項8または9に記載の撮像装置であって、
前記制御部は、前記第1の位置に対応する前記側壁画像の一部または全ての色を変更する、撮像装置。 - 請求項6乃至10の何れか一項に記載の撮像装置であって、
前記制御部は、
前記第1認識壁画像より前記奥行き方向に離れた位置に対応するガイド壁画像の表示を変更する、撮像装置。 - 請求項6乃至10の何れか一項に記載の撮像装置であって、
前記制御部は、
前記第1映像上の前記表示領域に対応する映像を第2映像とし、
認識した前記検出対象が前記表示領域の外側に位置する場合、前記第2映像における前記検出対象が存在する側の端部に第2認識壁画像を合成する、撮像装置。 - 請求項12に記載の撮像装置であって、
前記第2認識壁画像は、
前記高さ方向および奥行き方向に延びる壁部と、
前記奥行き方向および前記水平方向に延びる床部と、を含む、撮像装置。 - 請求項13に記載の撮像装置であって、
前記第2認識壁画像は、前記検出対象の種別を表すアイコン画像を前記床部の上に表示する、撮像装置。 - 請求項14に記載の撮像装置であって、
前記制御部は、
前記検出対象と前記側壁画像に対応する位置との水平方向における第2距離を推定し、
前記第2距離に応じて、前記アイコン画像を表示する位置を変更する、撮像装置。 - 請求項14または15に記載の撮像装置であって、
前記床部は、前記奥行き方向に前記ガイド壁画像より手前側に位置する、撮像装置。 - 車両の後方を撮像した第1映像を取得する通信部と、
前記第1映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、を有する、画像処理装置。 - 車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、
前記ガイド壁画像が合成された前記表示領域の映像を表示する表示装置と
を有する、表示システム。 - 表示システムを備える車両であって、
前記表示システムは、
前記車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に前記車両の予測進路を示すガイド壁画像を合成する制御部と、
前記ガイド壁画像が合成された前記表示領域の映像を表示する表示装置と
を有する、車両。 - 車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する制御部と、を備え、
前記第2画像は、前記車両の予測進路を示すガイド壁画像を含み
前記第1画像は、前記ガイド壁画像に重なる前記表示領域の下側から上側に向かって透過率が高くなる第1半透過画像を含む、撮像装置。 - 請求項20に記載の撮像装置であって、
前記第1半透過画像は、前記下側から前記上側に向かって、前記ガイド壁画像と異なる色から透明色に徐々に変化する、撮像装置。 - 請求項20または21に記載の撮像装置であって、
前記制御部は、
前記第1映像の前記表示領域内の検出対象を認識し、
認識した当該検出対象の上に、第3画像及び第4画像を順に重ねて合成し、
前記第4画像は、前記検出対象の存在を示す認識壁画像を含み、
前記第3画像は、前記認識壁画像に重なる前記表示領域の下側から上側に向かって透過率が高くなる第2半透過画像を含む、撮像装置。 - 請求項22に記載の撮像装置であって、
前記第2半透過画像は、前記下側から前記上側に向かって、前記認識壁画像と異なる色から透明色に徐々に変化する、撮像装置。 - 車両の後方を撮像した第1映像を取得する通信部と、
前記第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する制御部と、を有し、
前記第2画像は、前記車両の予測進路を示すガイド壁画像を含み
前記第1画像は、前記ガイド壁画像に重なる前記表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む、画像処理装置。 - 車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する制御部と、
前記合成画像を表示する表示装置と、を有し、
前記第2画像は、前記車両の予測進路を示すガイド壁画像を含み
前記第1画像は、前記ガイド壁画像に重なる前記表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む、表示システム。 - 表示システムを備える車両であって、
前記表示システムは、
前記車両の後方を撮像して第1映像を生成する撮像素子と、
前記第1映像上の表示領域に第1画像及び第2画像を順に重ねて合成画像を生成する制御部と、
前記合成画像を表示する表示装置と、を有し、
前記第2画像は、前記車両の予測進路を示すガイド壁画像を含み
前記第1画像は、前記ガイド壁画像に重なる前記表示領域の下側から上側に向かって透過率が高くなる透過グラデーション画像を含む、車両。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22206620.1A EP4155128A1 (en) | 2016-12-09 | 2017-11-24 | Imaging apparatus, image processing apparatus, display system, and vehicle |
EP17878733.9A EP3554062B1 (en) | 2016-12-09 | 2017-11-24 | Imaging apparatus |
US16/467,715 US11010934B2 (en) | 2016-12-09 | 2017-11-24 | Imaging apparatus, image processing apparatus, display system, and vehicle |
US17/231,908 US11587267B2 (en) | 2016-12-09 | 2021-04-15 | Imaging apparatus, image processing apparatus, display system, and vehicle |
US18/156,210 US11961162B2 (en) | 2016-12-09 | 2023-01-18 | Imaging apparatus, image processing apparatus, display system, and vehicle |
US18/604,250 US20240221246A1 (en) | 2016-12-09 | 2024-03-13 | Imaging apparatus, image processing apparatus, display system, and vehicle |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-239449 | 2016-12-09 | ||
JP2016239449A JP6762863B2 (ja) | 2016-12-09 | 2016-12-09 | 撮像装置、画像処理装置、表示システム、および車両 |
JP2016-245775 | 2016-12-19 | ||
JP2016245775A JP6781035B2 (ja) | 2016-12-19 | 2016-12-19 | 撮像装置、画像処理装置、表示システム、および車両 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/467,715 A-371-Of-International US11010934B2 (en) | 2016-12-09 | 2017-11-24 | Imaging apparatus, image processing apparatus, display system, and vehicle |
US17/231,908 Division US11587267B2 (en) | 2016-12-09 | 2021-04-15 | Imaging apparatus, image processing apparatus, display system, and vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018105417A1 true WO2018105417A1 (ja) | 2018-06-14 |
Family
ID=62491455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/042292 WO2018105417A1 (ja) | 2016-12-09 | 2017-11-24 | 撮像装置、画像処理装置、表示システム、および車両 |
Country Status (3)
Country | Link |
---|---|
US (4) | US11010934B2 (ja) |
EP (2) | EP3554062B1 (ja) |
WO (1) | WO2018105417A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017210266A1 (de) * | 2017-06-20 | 2018-12-20 | Zf Friedrichshafen Ag | Umfeldüberwachung eines Ego-Fahrzeugs |
JP6686988B2 (ja) * | 2017-08-28 | 2020-04-22 | 株式会社Soken | 映像出力装置及び映像生成プログラム |
DE102017221191B4 (de) * | 2017-11-27 | 2019-06-13 | Volkswagen Aktiengesellschaft | Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
JP7074482B2 (ja) * | 2018-01-17 | 2022-05-24 | 京セラ株式会社 | 画像処理装置、撮像システム、移動体、および画像処理方法 |
JP7106296B2 (ja) * | 2018-02-28 | 2022-07-26 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6857147B2 (ja) * | 2018-03-15 | 2021-04-14 | 株式会社日立製作所 | 三次元画像処理装置、及び三次元画像処理方法 |
US11436932B2 (en) * | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
DE102018214875A1 (de) * | 2018-08-31 | 2020-03-05 | Audi Ag | Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung |
JP7267755B2 (ja) * | 2019-01-23 | 2023-05-02 | 株式会社小松製作所 | 作業機械のためのシステム及び方法 |
US11312416B2 (en) * | 2019-01-30 | 2022-04-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Three-dimensional vehicle path guidelines |
JP7209189B2 (ja) * | 2019-03-25 | 2023-01-20 | パナソニックIpマネジメント株式会社 | 画像生成装置、カメラ、表示システム、車両及び画像生成方法 |
US11926263B2 (en) * | 2019-04-18 | 2024-03-12 | Mitsubishi Electric Corporation | Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method |
US11475772B2 (en) * | 2019-05-01 | 2022-10-18 | Ottopia Technologies Ltd. | System and method for remote operator assisted driving through collision warning |
JP7116436B2 (ja) * | 2020-03-05 | 2022-08-10 | 酒井重工業株式会社 | 建設車両の障害物検知装置 |
US20230104858A1 (en) * | 2020-03-19 | 2023-04-06 | Nec Corporation | Image generation apparatus, image generation method, and non-transitory computer-readable medium |
US11421400B2 (en) * | 2020-04-23 | 2022-08-23 | Deere & Company | Multiple mode operational system and method with object detection |
JP7296345B2 (ja) * | 2020-06-26 | 2023-06-22 | 酒井重工業株式会社 | 転圧ローラの障害物検知装置 |
JP7491194B2 (ja) | 2020-11-23 | 2024-05-28 | 株式会社デンソー | 周辺画像生成装置、表示制御方法 |
EP4068153A1 (en) * | 2021-03-31 | 2022-10-05 | Honda Research Institute Europe GmbH | Advanced driver assistance system for assisting a driver of a vehicle |
US11794766B2 (en) * | 2021-10-14 | 2023-10-24 | Huawei Technologies Co., Ltd. | Systems and methods for prediction-based driver assistance |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003019937A (ja) * | 2001-07-06 | 2003-01-21 | Denso Corp | 障害物検知装置 |
JP2004147083A (ja) * | 2002-10-24 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2004345554A (ja) * | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | 車両後方モニタ装置及び車両後方モニタシステム |
JP2005045602A (ja) * | 2003-07-23 | 2005-02-17 | Matsushita Electric Works Ltd | 車両用視界モニタシステム |
JP2006252389A (ja) * | 2005-03-14 | 2006-09-21 | Aisin Seiki Co Ltd | 周辺監視装置 |
JP2009040113A (ja) | 2007-08-06 | 2009-02-26 | Panasonic Corp | 電子ミラー電源制御システム |
JP2010047253A (ja) * | 2008-05-08 | 2010-03-04 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
JP2012227699A (ja) * | 2011-04-19 | 2012-11-15 | Toyota Motor Corp | 画像表示装置、及び、画像表示方法 |
JP2013144492A (ja) * | 2012-01-13 | 2013-07-25 | Aisin Seiki Co Ltd | 障害物警報装置 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08167100A (ja) * | 1994-12-12 | 1996-06-25 | Hisaji Nakamura | 操縦装置 |
JPH1134772A (ja) | 1997-07-16 | 1999-02-09 | Nissan Motor Co Ltd | 車間距離表示装置 |
EP1408693A1 (en) * | 1998-04-07 | 2004-04-14 | Matsushita Electric Industrial Co., Ltd. | On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus |
JP3645196B2 (ja) * | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
JP4108314B2 (ja) * | 2001-10-31 | 2008-06-25 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
JP4005456B2 (ja) * | 2002-09-10 | 2007-11-07 | 株式会社オートネットワーク技術研究所 | カメラ装置及び車両周辺視認装置 |
DE10250021A1 (de) * | 2002-10-25 | 2004-05-13 | Donnelly Hohe Gmbh & Co. Kg | Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug zum Auffinden eines Parkplatzes |
US6847873B1 (en) * | 2003-07-08 | 2005-01-25 | Shih-Hsiung Li | Driver information feedback and display system |
JP2006040008A (ja) * | 2004-07-28 | 2006-02-09 | Auto Network Gijutsu Kenkyusho:Kk | 運転支援装置 |
EP1696669B1 (en) | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
JP4600760B2 (ja) * | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
TWM284569U (en) * | 2005-10-12 | 2006-01-01 | Cing-Liang Lyu | Wide-angle rearview mirror assembly for rearview and car-backing monitoring |
JP4432929B2 (ja) * | 2006-04-25 | 2010-03-17 | トヨタ自動車株式会社 | 駐車支援装置及び駐車支援方法 |
JP4595976B2 (ja) * | 2007-08-28 | 2010-12-08 | 株式会社デンソー | 映像処理装置及びカメラ |
JP5636609B2 (ja) | 2008-05-08 | 2014-12-10 | アイシン精機株式会社 | 車両周辺表示装置 |
US8366054B2 (en) * | 2009-12-17 | 2013-02-05 | The United States Of America As Represented By The Secretary Of The Navy | Hand launchable unmanned aerial vehicle |
JP5071743B2 (ja) | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | 車両周辺監視装置 |
CN201646714U (zh) * | 2010-01-26 | 2010-11-24 | 德尔福技术有限公司 | 泊车导向系统 |
JP2013091331A (ja) | 2010-02-26 | 2013-05-16 | Panasonic Corp | 運転支援装置 |
DE102010046396A1 (de) * | 2010-09-24 | 2012-03-29 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Kameraeinheit für ein Kraftfahrzeug |
TW201221391A (en) * | 2010-11-26 | 2012-06-01 | Hon Hai Prec Ind Co Ltd | Vehicle and backing up method thereof |
US20130321614A1 (en) * | 2010-12-02 | 2013-12-05 | An-Sheng Liu | Driving safety device |
DE102011010624B4 (de) * | 2011-02-08 | 2014-10-16 | Mekra Lang Gmbh & Co. Kg | Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs |
WO2012145819A1 (en) * | 2011-04-25 | 2012-11-01 | Magna International Inc. | Image processing method for detecting objects using relative motion |
DE102011105884B4 (de) * | 2011-06-28 | 2019-02-21 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Einparken eines Fahrzeugs |
JP5408198B2 (ja) * | 2011-08-01 | 2014-02-05 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
JP5845909B2 (ja) | 2012-01-13 | 2016-01-20 | アイシン精機株式会社 | 障害物警報装置 |
DE102013217430A1 (de) * | 2012-09-04 | 2014-03-06 | Magna Electronics, Inc. | Fahrerassistenzsystem für ein Kraftfahrzeug |
GB2510167B (en) * | 2013-01-28 | 2017-04-19 | Jaguar Land Rover Ltd | Vehicle path prediction and obstacle indication system and method |
JP6231345B2 (ja) | 2013-10-18 | 2017-11-15 | クラリオン株式会社 | 車両用発進支援装置 |
JP2015226146A (ja) * | 2014-05-27 | 2015-12-14 | 学校法人関東学院 | 3次元モニタ装置 |
US9846969B2 (en) * | 2014-12-01 | 2017-12-19 | Thinkware Corporation | Electronic apparatus, control method thereof, computer program, and computer-readable recording medium |
US20170371156A1 (en) * | 2015-03-04 | 2017-12-28 | Mitsubishi Electric Corporation | Vehicular display control device and vehicular display device |
JP6629889B2 (ja) * | 2016-02-05 | 2020-01-15 | マクセル株式会社 | ヘッドアップディスプレイ装置 |
JP6383376B2 (ja) * | 2016-03-31 | 2018-08-29 | 株式会社Subaru | 周辺リスク表示装置 |
JP6828266B2 (ja) * | 2016-04-18 | 2021-02-10 | ソニー株式会社 | 画像表示装置及び画像表示装置、並びに移動体 |
US20170374287A1 (en) * | 2016-06-23 | 2017-12-28 | Werner Lang | System for Visually Depicting Fields of View of a Commercial Vehicle |
US20180075657A1 (en) * | 2016-09-15 | 2018-03-15 | Microsoft Technology Licensing, Llc | Attribute modification tools for mixed reality |
-
2017
- 2017-11-24 WO PCT/JP2017/042292 patent/WO2018105417A1/ja unknown
- 2017-11-24 US US16/467,715 patent/US11010934B2/en active Active
- 2017-11-24 EP EP17878733.9A patent/EP3554062B1/en active Active
- 2017-11-24 EP EP22206620.1A patent/EP4155128A1/en active Pending
-
2021
- 2021-04-15 US US17/231,908 patent/US11587267B2/en active Active
-
2023
- 2023-01-18 US US18/156,210 patent/US11961162B2/en active Active
-
2024
- 2024-03-13 US US18/604,250 patent/US20240221246A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003019937A (ja) * | 2001-07-06 | 2003-01-21 | Denso Corp | 障害物検知装置 |
JP2004147083A (ja) * | 2002-10-24 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2004345554A (ja) * | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | 車両後方モニタ装置及び車両後方モニタシステム |
JP2005045602A (ja) * | 2003-07-23 | 2005-02-17 | Matsushita Electric Works Ltd | 車両用視界モニタシステム |
JP2006252389A (ja) * | 2005-03-14 | 2006-09-21 | Aisin Seiki Co Ltd | 周辺監視装置 |
JP2009040113A (ja) | 2007-08-06 | 2009-02-26 | Panasonic Corp | 電子ミラー電源制御システム |
JP2010047253A (ja) * | 2008-05-08 | 2010-03-04 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
JP2012227699A (ja) * | 2011-04-19 | 2012-11-15 | Toyota Motor Corp | 画像表示装置、及び、画像表示方法 |
JP2013144492A (ja) * | 2012-01-13 | 2013-07-25 | Aisin Seiki Co Ltd | 障害物警報装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3554062A4 |
Also Published As
Publication number | Publication date |
---|---|
US20210233290A1 (en) | 2021-07-29 |
EP4155128A1 (en) | 2023-03-29 |
US20240221246A1 (en) | 2024-07-04 |
US20230154065A1 (en) | 2023-05-18 |
US11961162B2 (en) | 2024-04-16 |
US11587267B2 (en) | 2023-02-21 |
US11010934B2 (en) | 2021-05-18 |
US20200302657A1 (en) | 2020-09-24 |
EP3554062A1 (en) | 2019-10-16 |
EP3554062B1 (en) | 2022-12-14 |
EP3554062A4 (en) | 2020-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018105417A1 (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
CA3069114C (en) | Parking assistance method and parking assistance device | |
JP6762863B2 (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
WO2017068696A1 (ja) | 駐車支援情報の表示方法及び駐車支援装置 | |
KR20170048781A (ko) | 차량용 증강현실 제공 장치 및 그 제어방법 | |
JP6413477B2 (ja) | 画像表示制御装置および画像表示システム | |
JP2022095303A (ja) | 周辺画像表示装置、表示制御方法 | |
JP6781035B2 (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
WO2022168540A1 (ja) | 表示制御装置及び表示制御プログラム | |
WO2018092919A1 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP2021007255A (ja) | 撮像装置、画像処理装置、表示システム、および車両 | |
US11938863B2 (en) | Peripheral image generation device and display control method | |
JP2018085584A (ja) | 画像処理装置、撮像装置、および表示システム | |
JP7007438B2 (ja) | 撮像装置、画像処理装置、表示装置、表示システム、および車両 | |
JP6974564B2 (ja) | 表示制御装置 | |
JP7296490B2 (ja) | 表示制御装置及び車両 | |
JP6759072B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP6712942B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP6720063B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP7259377B2 (ja) | 車両用表示装置、車両、表示方法及びプログラム | |
JP2022121370A (ja) | 表示制御装置及び表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17878733 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017878733 Country of ref document: EP Effective date: 20190709 |