WO2018105007A1 - 運転支援プログラム、運転支援方法および運転支援装置 - Google Patents

運転支援プログラム、運転支援方法および運転支援装置 Download PDF

Info

Publication number
WO2018105007A1
WO2018105007A1 PCT/JP2016/086074 JP2016086074W WO2018105007A1 WO 2018105007 A1 WO2018105007 A1 WO 2018105007A1 JP 2016086074 W JP2016086074 W JP 2016086074W WO 2018105007 A1 WO2018105007 A1 WO 2018105007A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
area
detection
display
moving object
Prior art date
Application number
PCT/JP2016/086074
Other languages
English (en)
French (fr)
Inventor
彰 木下
征規 小浦
Original Assignee
富士通周辺機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通周辺機株式会社 filed Critical 富士通周辺機株式会社
Priority to PCT/JP2016/086074 priority Critical patent/WO2018105007A1/ja
Publication of WO2018105007A1 publication Critical patent/WO2018105007A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a driving support program, a driving support method, and a driving support device.
  • Patent Document 1 a technique related to a vehicle periphery monitoring device that provides an optimal display mode for display correspondence between a display visual field range and a detection frame that notifies a moving body has been proposed (see, for example, Patent Document 1).
  • the field of view (camera field of view) of the camera is wide, and thus, when an image of the entire range of the camera field of view is displayed on a display device such as a display, the visibility decreases. . For this reason, the fall of visibility is suppressed by cutting out and displaying the image of a partial range among camera visual fields.
  • an object of the present invention is to display an image of a region that is not displayed on a display device among images of a region captured by a photographing device.
  • the driving support program detects a moving object in one or a plurality of detection areas including an area other than the display area displayed by the display device among the imaging areas captured by the imaging device mounted on the vehicle. In this case, it is determined whether to superimpose the image of the detection area on the image of the display area based on the image of the detection area where the moving object is detected, and the image of the detection area is determined according to the determination result. Image data superimposed on the image in the display area is output to the display device.
  • FIG. 3 is a diagram (part 1) illustrating an example of an image of a shooting area and an image of a display area.
  • FIG. 10 is a second diagram illustrating an example of an image of a shooting area and an image of a display area.
  • FIG. 10 is a third diagram illustrating an example of an image of a shooting area and an image of a display area. It is a flowchart (the 1) which shows an example of the flow of a process of embodiment. It is a flowchart (the 2) which shows an example of the flow of a process of embodiment. It is an example of the hardware constitutions of a driving assistance device.
  • FIG. 1 is a diagram illustrating an example of the driving support apparatus according to the embodiment.
  • the driving support device of the embodiment is assumed to be a device mounted on a car.
  • the vehicle on which the driving support device is mounted may be a vehicle other than an automobile, for example, a transport vehicle such as a dump truck.
  • the driving support device 1 includes cameras 2A and 2B (hereinafter collectively referred to as camera 2), displays 3A and 3B (hereinafter collectively referred to as display 3), and a vehicle speed detector 4. Connected.
  • the camera 2 is an example of a photographing device
  • the display 3 is an example of a display device.
  • the driving support device 1 performs predetermined image processing on an image input from the camera 2 (hereinafter referred to as a camera image), and outputs the image data subjected to the image processing to the display 3.
  • the driving support device 1 may be a single hardware device, or may be a part of car navigation, for example.
  • the driving support device 1 may be an electronic circuit such as Field-Programmable Gate Array (FPGA).
  • FPGA Field-Programmable Gate Array
  • the camera 2 is a photographing device that outputs an image (camera image) photographed by the camera 2 to the driving support device 1.
  • the camera 2 outputs the captured camera image to the driving support device 1 at predetermined intervals (predetermined frames).
  • the driving support device 1 outputs image data subjected to image processing to the display 3 for each predetermined frame.
  • the image displayed on the display 3 becomes a moving image.
  • the camera 2A is mounted on a side mirror on either side of the vehicle, and the camera 2B is mounted on a side mirror on the other side.
  • the display 3 is a display device installed near the driver's seat of the vehicle.
  • the display 3A is installed on either one of the left and right sides of the upper part of the windshield of the vehicle, and the display 3B is installed on the other side.
  • the display 3 may be a car navigation screen, for example.
  • the display 3 may be a head-up display that projects an image on the windshield of the vehicle.
  • the display 3A displays a video based on image data image-processed on the camera image of the camera 2A
  • the display 3B displays a video based on image data image-processed on the camera image of the camera 2B. Is displayed.
  • the relationship between the camera 2 and the display 3 is preferably 1: 1, but may not be 1: 1.
  • the vehicle speed detector 4 detects the speed of the vehicle.
  • the vehicle speed detector 4 may detect the speed of the vehicle based on, for example, the rotation speed of the vehicle tire.
  • the vehicle speed detector 4 outputs speed data indicating the detected speed to the driving support device 1.
  • the driving support device 1 determines whether the vehicle is running based on the speed data. For example, when the speed indicated by the speed data is equal to or higher than a predetermined speed (for example, 1 km / h), the driving support device 1 may determine that the vehicle is traveling. Further, the driving assistance device 1 may determine that the vehicle is stopped when the speed is zero.
  • a predetermined speed for example, 1 km / h
  • the driving support device 1 includes a control unit 11, an image processing unit 12, a detection unit 13, a determination unit 14, an image data output unit 15, and a storage unit 16.
  • the driving support device 1 may include functions other than these.
  • the control unit 11 performs various controls.
  • the image processing unit 12 performs image processing on the camera image input from the camera 2.
  • the image processing unit 12 performs image processing on the camera image by cutting out a part of the area (hereinafter referred to as a display area) of the area of the camera image (hereinafter referred to as a shooting area).
  • the image of a part of the clipped area corresponds to the display size of the display 3.
  • the display image is displayed on the display 3.
  • the image processing unit 12 performs a process of superimposing a predetermined image on the image in the display area.
  • the detection unit 13 detects a moving object when the moving object exists in an image of one or more predetermined areas (hereinafter referred to as detection areas) set in the camera image. As a moving object, another vehicle, a pedestrian, etc. are assumed, for example. In addition, when the presence of a moving object is detected, the detection unit 13 detects the movement of the moving object.
  • the determination unit 14 performs various determinations. For example, the determination unit 14 determines whether to superimpose the image of the detection area where the moving object is detected on the image of the display area.
  • the image data output unit 15 outputs the image data subjected to the image processing by the image processing unit 12 to the display 3.
  • the storage unit 16 stores predetermined information.
  • FIG. 2 shows an example of the shooting area and the display area.
  • the shooting area 21 is an area where the camera 2 takes a picture.
  • the shooting area 21 corresponds to the shooting field of view of the camera 2.
  • the display area 31 is an area corresponding to the display size of the display 3.
  • the shooting area 21 is wider than the display area 31.
  • the shooting area 21 of the camera 2 is wider than the display area 22 of the display 3.
  • the display area 22 is a part of the shooting area 21.
  • the image processing unit 12 acquires setting data regarding the display area 31 set in advance from the storage unit 16, and cuts out the image of the display area 31 from the image of the shooting area 21 based on the setting data.
  • the image of the display area 31 cut out from the image of the shooting area 21 is indicated by a one-dot chain line.
  • the setting data may be changeable.
  • the display area 31 can be set to an arbitrary area in the imaging area 21.
  • the area outside the display area 31 (non-display area 23) in the photographing area 21 is an area that is not displayed on the display 3. Since the non-display area 23 is not displayed on the display 3, it is a blind area (also referred to as a blind spot).
  • one or a plurality of detection areas are set in advance.
  • nine detection areas 24A to 24I (hereinafter collectively referred to as detection areas 24) indicated by dotted lines are set.
  • Setting data regarding the setting of the detection area 24 may be stored in the storage unit 16 in advance.
  • the number of detection areas 24 set in the shooting area 21 may be one or other than nine. It may be.
  • the detection area 24 is an area for detecting the presence of moving objects such as other vehicles and pedestrians and the movement of the moving objects. Therefore, when there are a plurality of detection areas 24, it is preferable that the plurality of detection areas 24 be evenly distributed in the imaging area 21. In the example of FIG. 2, nine detection areas 24 are distributed and arranged at equal intervals in the imaging area 21.
  • the detection area 24 other than the detection area 24 ⁇ / b> E is an area including the non-display area 23.
  • the detection area 24 ⁇ / b> E is an area inside the display area 31.
  • a plurality of detection areas 24 may be set inside the display area 31.
  • the detection unit 13 detects whether there is a moving object in the detection area 24 based on the image of the detection area 24, and detects the movement of the moving object when there is a moving object. In the embodiment, the detection unit 13 detects the presence of a moving object based on whether there is an object similar to the image of the moving object registered in advance in the detection area 24.
  • the detection unit 13 detects the presence of a moving object in the detection region 24 when an image of an object similar to the learning data image exists in the detection region 24.
  • the detection of the moving object may be performed by, for example, an inter-frame difference method.
  • the driving assistance device 1 inputs camera images (frames) from the camera 2 at predetermined intervals.
  • the detection unit 13 may detect a moving object based on the difference between frames in the detection region 24.
  • the detection unit 13 detects the movement of the detected moving object. For example, the detection unit 13 may detect that the moving object has moved when the moving amount of the moving object in the detection region 24 is greater than or equal to a predetermined amount based on the difference between the frames.
  • the detection unit 13 detects the presence of a moving object in the detection region 24 based on the learning data. Therefore, even when the presence of a moving object is detected in the detection area 24, the movement of the moving object may not be detected.
  • the detection unit 13 detects the presence of the moving object and the movement of the moving object for each of the detection areas 24. .
  • the presence of the moving object may be detected in the detection area 24C. Even if the movement of the moving object is not detected in the detection area 24A, the movement of the moving object may be detected in the detection area 24C.
  • FIG. 3 is a diagram showing an example of an image (camera image) in the shooting area 21 and an image (display image) in the display area 31.
  • the camera image of FIG. 3 is an example of an image in which the camera 2 of the side mirror of the vehicle (hereinafter referred to as the host vehicle) on which the driving support device 1 is mounted is photographing the rear.
  • the display image does not include an image of the portion of the non-display area 23 in the other vehicle C2. For this reason, the image of the portion is not displayed on the display 3.
  • All other vehicles C3 are included in the display area 22. Therefore, the display 3 displays all the other vehicles C3.
  • the other vehicle C4 is not included in the display area 22. For this reason, the other vehicle C4 is not displayed on the display 3.
  • the display 3 displays an image of the display area 31 in which a part of the shooting area 21 is cut out.
  • the image processing unit 12 When the presence of the moving object is detected in any of the plurality of detection areas 24, the image processing unit 12 superimposes an image of the detection area 24 in which the moving object is detected on the display image under a predetermined condition. .
  • the determination unit 14 determines whether to superimpose the image of the detection area 24 where the moving object is detected on the display image.
  • FIG. 4 shows an example of an image in which the images of the detection region 24C and the detection region 24H are superimposed on the display image.
  • the image (display image) of the display area 31 in the example of FIG. 4 the image of the detection area 24C is superimposed on the area 31C corresponding to the detection area 24C, and the area 31H corresponding to the detection area 24H is superimposed.
  • the image of the detection area 24H is superimposed.
  • the determination unit 14 determines that the image of the detection region 24 ⁇ / b> C and the image of the detection region 24 ⁇ / b> H among the plurality of detection regions 24 including the non-display region 23 are superimposed on the display image. It is determined that the image in the region 24 is not superimposed on the display image.
  • the display image includes the image of the region 31C and the image of the region 31H
  • the display image including these images is displayed on the display 3.
  • the image of the region 31C and the image of the region 31H included in the display image are images actually captured by the camera 2.
  • the driver who drives the vehicle can visually recognize the actual images of the detection area 21 ⁇ / b> C and the detection area 21 ⁇ / b> H included in the non-display area 23 on the display 3.
  • the determination unit 14 superimposes an image of the detection region 24 detected that the moving object is not included on the display image. Judge that not.
  • the detection area 24 including the non-display area 23 it is also possible to display the moving object as a symbol. In this case, an image on which symbols are superimposed is displayed on the display 3.
  • the moving object existing in the image of the non-display area 23 is not displayed.
  • the image of the detection area 24 including the non-display area 23 is superimposed on the display image, an actual image of the moving object is displayed on the display 3.
  • the other vehicles C2, C3 and C4 are traveling vehicles. Images of the other vehicle C2 are included in the detection areas 24B, 24C, 24E, and 24F. Among these, the detection area 24 ⁇ / b> E is included in the display area 22.
  • the image of the detection area 24C is superimposed on the display image, and the images of the detection areas 24B and 24F are not superimposed on the display image.
  • the image of the detection area 24C including the image of the bumper portion in the other vehicle C2 is a characteristic image. For this reason, it becomes easy to compare the similarity between the image and the image of the learning data stored in the storage unit 16.
  • the detection unit 13 detects the presence of a moving object in the detection region 24 ⁇ / b> C including the image of the characteristic bumper portion. Moreover, the detection part 13 does not detect a moving object in the detection area 24B and the detection area 24F. Note that the detection unit 13 may detect the presence of a moving object in one or both of the detection region 24B and the detection region 24F.
  • the detection area 24H another vehicle C4 is detected as a moving object.
  • the part of the other vehicle C4 is not included in the display area 22. Since the detection unit 13 detects that there is a moving object in the detection area 24H, the image of the detection area 24H is superimposed on the display image.
  • the image of the detection area 24H is superimposed on the display image.
  • the image of the detection area 24H includes another vehicle C4.
  • the image of the detection area 24H including the other vehicle C4 is displayed on the display 3. Accordingly, the driver can visually recognize the other vehicle C4 displayed on the display 3.
  • FIG. 5 shows an example of the image of the photographing region 21 and the image of the display region 31 when the host vehicle, the other vehicle C2 and the other vehicle C3 are stopped. In the example of FIG. 5, it is assumed that another vehicle C4 is traveling and is approaching the host vehicle.
  • the display 3 displays a video in which the image of the detection region 24H is superimposed on the display image.
  • the determination unit 14 determines whether to superimpose the image of the detection area 24 where the moving object is detected on the display image based on the image of the detection area 24 where the moving object is detected. For example, the determination unit 14 displays the image of the detection area 24 based on whether the movement of the moving object is detected from the image of the detection area 24 or the movement of the moving object is detected in all the detection areas 24. Determine whether to superimpose on the image. Then, the image processing unit 12 performs a superimposition process according to the determination result.
  • the video (image data) on which the image of the detection area 24 in which the presence of the moving object is detected is superimposed is displayed on the display 3 under a predetermined condition
  • the actual image of the non-display area 23 is displayed. Is displayed on the display 3. Accordingly, since the actual image of the non-display area 23 is presented to the driver, driving assistance for the driver is achieved.
  • the driving support device 1 inputs a camera image taken by the camera 2 from the camera 2 at predetermined intervals (predetermined frames) (step S1).
  • the driving support device 1 When a plurality of cameras 2 are connected to the driving support device 1, the driving support device 1 inputs camera images from each of the plurality of cameras 2 at predetermined intervals.
  • the image processing unit 12 sets the display area 22 in the camera image capturing area 21 (step S2).
  • the image processing unit 12 refers to the setting data in the storage unit 16 and sets the display area 22 in the shooting area 21 based on the setting data.
  • the image processing unit 12 performs image processing for cutting out the image of the display area 22 from the image of the shooting area 21 on the camera image (step S3). Thereby, some display images are generated among the camera images.
  • the detection unit 13 detects the presence of a moving object in each of the plurality of detection areas 24 (24A to 24I) set in the imaging area 21.
  • the determination unit 14 determines whether the detection unit 13 has detected a moving object in all the detection regions 24 (24A to 24I) (step S4).
  • step S4 determines whether the detection unit 13 has not detected a moving object in all the detection areas 24, the determination in step S4 is YES. If a moving object is detected in any of the detection areas 24, the determination in step S4 is NO.
  • step S4 the determination unit 14 determines that there is no moving object in all the detection areas 24. In this case, since it is less necessary to superimpose the image of the detection area 24 on the display image, the determination unit 14 determines that the image of the detection area 24 is not superimposed on the display image.
  • the image data output unit 15 outputs a display image on which the image of the detection area 24 is not superimposed to the display 3 as image data (step S5).
  • the display 3 displays the image data input from the driving support device 1.
  • the control unit 11 determines whether or not the processing of the embodiment has been completed (step S7). For example, when the engine of the own vehicle is stopped, the processing of the embodiment may be terminated. In the case of NO at step S7, the processes after step S1 are performed again. That is, the driving assistance apparatus 1 inputs a camera image from the camera 2 for every predetermined frame.
  • step S4 the determination unit 14 determines that there is a moving object in any of the detection areas 24. In this case, the determination unit 14 determines whether the own vehicle is stopped and there is no movement of the moving object (step S6).
  • step S6 If YES in step S6, the vehicle is stopped and the detected moving object does not move. In this case, it is not necessary to superimpose the image of the detection area 24 where the moving object is detected on the display image. Accordingly, the process proceeds to step S5.
  • Whether the host vehicle is stopped may be determined by the determination unit 14 based on the vehicle speed detected by the vehicle speed detector 4. For example, when the speed data detected by the vehicle speed detector 4 is less than a predetermined speed, the determination unit 14 may determine that the host vehicle is stopped. Further, the determination unit 14 may determine whether or not the detected moving object is moving based on whether or not the amount of movement of the detected moving object between frames is equal to or greater than a predetermined amount.
  • step S6 the determination unit 14 determines that the vehicle is traveling, the detected moving object is moving, or the vehicle is traveling and the detected moving object is moving. judge. If NO in step S6, the process proceeds to “A”. The processing after “A” will be described with reference to FIG.
  • the determining unit 14 determines whether there is a moving object in all the detection areas 24 (24A to 24I: including the detection area 24E) (step S11). If the detection unit 13 detects the presence of a moving object in all the detection areas 24, the determination in step S11 is YES. When the detection unit 13 does not detect the presence of the moving object in any of the detection areas 24, the determination in step S11 is NO.
  • step S11 the determination unit 14 determines whether or not all the detected moving objects have moved. In other words, the determination unit 14 determines whether the detection unit 13 has detected that the moving objects in all the detection areas 24 have moved (step S12).
  • step S12 all the moving objects in the detection area 24 have moved. For example, when the detection unit 13 detects the movement of the moving object in all nine detection regions 24 of the camera image, the moving object in all the detection regions 24 has moved due to the vibration of the camera 2 or the like. May have been detected.
  • the determination unit 14 further determines whether the moving objects in all the detection regions 24 have moved in the same direction at the same time (step S13). For example, when the detection unit 13 detects that the moving object in each detection region 24 has moved in the same direction based on the difference between frames, the determination unit 14 may determine YES in step S13.
  • the determination unit 14 determines that the image of each detection region 24 is not superimposed (step S14).
  • step S12 If the determination in step S12 is YES without performing the process in step S13, the determination process in step S14 may be performed.
  • step S15 determines whether the moving object has moved in any of the detection areas 24 (step S15). If NO in step S15, the movement of the moving object is not detected in any detection region 24. For this reason, the process proceeds to step S14.
  • step S15 the determination unit 14 determines whether the detected movement of the moving object is detected for a certain period of time (step S16). If the detection unit 13 does not detect the movement of the moving object for a certain time after detecting the movement of the moving object in any of the detection areas 24, the moving object may have stopped after approaching the host vehicle. There is sex.
  • step S16 the process proceeds to step S14. Thereby, the superimposition process of the image of the detection area 24 where the moving object is detected with respect to the display image is stopped.
  • the certain time may be set to an arbitrary time.
  • step S16 the detected moving object may be moving in the vicinity of the host vehicle.
  • the determination unit 14 determines to superimpose the image of the detection area 24 where the movement of the moving object is detected on the display image (step S17). Also, when the determination in step S13 is NO, the process in step S17 is performed.
  • step S4 determines that the image of the detection area 24 in which the moving object is detected is superimposed on the display image. Good. This is because an image in which the actual image in the detection area 24 is superimposed is displayed on the display 3 by superimposing the image in the detection area 24 where the moving object is detected.
  • the image processing unit 12 performs image processing for superimposing the image of the detection area 24 where the movement of the moving object is detected on the display image (step S18).
  • the image processing unit 12 performs image processing for superimposing the image of each detection area 24 on the display image.
  • the detection unit 13 does not detect the movement of the other vehicle (moving object). This is because when the other vehicle and the host vehicle are traveling at substantially the same speed, the movement of the other vehicle is relatively close to zero.
  • the detection unit 13 detects the movement of the other vehicle included in the detection region 24.
  • step S14 When the process of step S14 is performed or when the process of step S18 is performed, the process returns from “B” to step S5.
  • the process of step S14 When the process of step S14 is performed, the image data on which the image of the detection area 24 is not superimposed is output to the display 3.
  • the process of step S18 the image data on which the image of the detection area 24 is superimposed is output to the display 3.
  • a processor 111 a random access memory (RAM) 112, and a read only memory (ROM) 113 are connected to the bus 100.
  • RAM random access memory
  • ROM read only memory
  • auxiliary storage device 114 the medium connection unit 115, the camera 2, and the display 3 are connected to the bus 100.
  • a plurality of cameras 2 may be provided.
  • a plurality of displays 3 may be provided.
  • the processor 111 executes a program expanded in the RAM 112. As a program to be executed, a program for performing processing in the embodiment may be applied.
  • the ROM 113 is a non-volatile storage device that stores programs developed in the RAM 112.
  • the auxiliary storage device 114 is a storage device that stores various information. For example, a semiconductor memory or the like may be applied to the auxiliary storage device 114.
  • the medium connection unit 115 is provided so as to be connectable to the portable recording medium 119.
  • a portable recording medium 119 a portable memory may be applied.
  • a program for performing the processing of the embodiment may be recorded on the portable recording medium 119.
  • the storage unit 16 may be realized by the RAM 112, the auxiliary storage device 114, or the like.
  • the control unit 11, the image processing unit 12, the detection unit 13, the determination unit 14, and the image data output unit 15 may be realized by the processor 111 executing a given program.
  • the RAM 112, the ROM 113, the auxiliary storage device 114, and the portable recording medium 119 are all examples of a computer-readable tangible storage medium. These tangible storage media are not temporary media such as signal carriers.
  • the driving support device 1 may be realized by an electronic circuit such as an FPGA as described above.
  • the present embodiment is not limited to the above-described embodiment, and various configurations or embodiments can be taken without departing from the gist of the present embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

運転支援装置は、車両に搭載された撮影装置が撮影する撮影領域のうち表示装置が表示する表示領域以外の領域を含む１または複数の検知領域内で移動物が検知された場合、該移動物が検知された検知領域の画像に基づいて、該検知領域の画像を前記表示領域の画像に重畳するかを判定する判定部と、前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する画像データ出力部と、を含む。

Description

運転支援プログラム、運転支援方法および運転支援装置
　本発明は、運転支援プログラム、運転支援方法および運転支援装置に関する。
　近年、車両に搭載されたカメラにより撮影された画像を該車両の運転席近傍のディスプレイ等に表示する技術が用いられている。ディスプレイに車両周囲の画像を表示させることで、車両を運転する運転者に対する運転の支援が図られる。
　関連する技術として、表示視野範囲と移動体を知らせる検知枠との表示対応について最適な表示形態を提供する車両用周辺監視装置に関する技術が提案されている（例えば、特許文献１を参照）。
　また、自車両の進行先の撮像画像中に実空間上に仮想的に固定された検出領域を設定して、設定された検出領域におけるオプティカルフローを算出し、該オプティカルフローに基づいて飛び出し物体を検出する技術が提案されている（例えば、特許文献２を参照）。
特開２０１２－１６２２１２号公報 特開２００６－７２４３９号公報
　車両に搭載されたカメラが広角のカメラである場合、該カメラの視野（カメラ視野）は広いため、該カメラ視野の全範囲の画像を、ディスプレイ等の表示装置に表示すると、視認性が低下する。このため、カメラ視野のうち一部の範囲の画像を切り出して表示装置に表示することで、視認性の低下が抑制される。
　この場合、カメラ視野の画像のうち一部の領域（表示領域）の画像が切り出されるため、表示領域以外の領域（非表示領域）の画像は、ディスプレイに表示されない。このため、非表示領域の実際の画像が表示されなくなる。
　１つの側面として、本発明は、撮影装置が撮影する領域の画像のうち表示装置に表示されない領域の画像を表示することを目的とする。
　１つの態様では、運転支援プログラムは、車両に搭載された撮影装置が撮影する撮影領域のうち表示装置が表示する表示領域以外の領域を含む１または複数の検知領域内で移動物が検知された場合、該移動物が検知された検知領域の画像に基づいて、該検知領域の画像を前記表示領域の画像に重畳するかを判定し、前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する。
　１つの側面によれば、撮影装置が撮影する領域の画像のうち表示装置に表示されない領域の画像を表示することができる。
運転支援装置の一例を示す図である。 撮影領域および表示領域の一例を示す図である。 撮影領域の画像および表示領域の画像の一例を示す図（その１）である。 撮影領域の画像および表示領域の画像の一例を示す図（その２）である。 撮影領域の画像および表示領域の画像の一例を示す図（その３）である。 実施形態の処理の流れの一例を示すフローチャート（その１）である。 実施形態の処理の流れの一例を示すフローチャート（その２）である。 運転支援装置のハードウェア構成の一例である。
＜実施形態の運転支援装置の一例＞
　以下、図面を参照して、実施形態について説明する。図１は、実施形態の運転支援装置の一例を示す図である。実施形態の運転支援装置は、自動車に搭載される装置であるものとする。ただし、該運転支援装置が搭載される車両は自動車以外の車両、例えば、ダンプトラックのような運搬車両等であってもよい。
　図１の例に示されるように、運転支援装置１は、カメラ２Ａ、２Ｂ（以下、カメラ２と総称する）とディスプレイ３Ａ、３Ｂ（以下、ディスプレイ３と総称する）と車速検出器４とに接続される。カメラ２は、撮影装置の一例であり、ディスプレイ３は、表示装置の一例である。
　運転支援装置１は、カメラ２から入力した画像（以下、カメラ画像と称する）に対して、所定の画像処理を施し、画像処理された画像データをディスプレイ３に出力する。
　運転支援装置１は、単体のハードウェアデバイスであってもよいし、例えば、カーナビゲーションの一部であってもよい。運転支援装置１は、Field-Programmable Gate Array(FPGA)等の電子回路であってもよい。
　カメラ２は、該カメラ２が撮影する画像（カメラ画像）を運転支援装置１に出力する撮影装置である。カメラ２は、所定周期（所定フレーム）ごとに、撮影したカメラ画像を運転支援装置１に出力する。該運転支援装置１は、所定フレームごとに、画像処理された画像データをディスプレイ３に出力する。
　これにより、ディスプレイ３に表示される画像は動画像になる。カメラ２およびディスプレイ３は、１つであってもよいし、３つ以上であってもよい。実施形態では、カメラ２Ａは車両の左右の何れかの側のサイドミラーに搭載されるものとし、カメラ２Ｂは、他方の側のサイドミラーに搭載されるものとする。
　ディスプレイ３は、車両の運転席の近傍に設置された表示装置である。実施形態では、ディスプレイ３Ａは、車両のフロントガラス上部の左右両側のうち何れか一方に設置され、ディスプレイ３Ｂは、他方の側に設置されるものとする。
　ディスプレイ３は、例えば、カーナビゲーションの画面であってもよい。また、ディスプレイ３は、車両のフロントガラスに画像を投影するヘッドアップディスプレイ等であってもよい。
　実施形態では、ディスプレイ３Ａは、カメラ２Ａのカメラ画像に対して画像処理された画像データに基づく映像を表示し、ディスプレイ３Ｂは、カメラ２Ｂのカメラ画像に対して画像処理された画像データに基づく映像を表示する。カメラ２とディスプレイ３との関係は１対１であることが好ましいが、１対１でなくてもよい。
　車速検出器４は、車両の速度を検出する。車速検出器４は、例えば、車両のタイヤの回転数に基づいて、車両の速度を検出してもよい。車速検出器４は、検出した速度を示す速度データを運転支援装置１に出力する。
　運転支援装置１は、速度データに基づいて、車両が走行中であるかを判定する。運転支援装置１は、例えば、速度データが示す速度が所定速度（例えば、時速１Ｋｍ）以上の場合、車両が走行していると判定してもよい。また、運転支援装置１は、該速度がゼロの場合に車両が停止していると判定してもよい。
　次に、運転支援装置１について説明する。運転支援装置１は、制御部１１と画像処理部１２と検知部１３と判定部１４と画像データ出力部１５と記憶部１６とを含む。運転支援装置１は、これら以外の機能を含んでもよい。
　制御部１１は、各種の制御を行う。画像処理部１２は、カメラ２から入力したカメラ画像に対して画像処理を施す。画像処理部１２は、カメラ画像の領域（以下、撮影領域と称する）うち一部の領域（以下、表示領域と称する）を切り出す画像処理を、該カメラ画像に施す。
　切り出された一部の領域の画像（以下、表示画像と称する）は、ディスプレイ３の表示サイズに対応する。該表示画像がディスプレイ３に表示される。また、画像処理部１２は、表示領域の画像に対して、所定の画像を重畳する処理を行う。
　検知部１３は、カメラ画像に設定された１または複数の所定領域（以下、検知領域と称する）の画像に移動物が存在する場合に、該移動物を検知する。移動物としては、例えば、他の車両や歩行者等が想定される。また、検知部１３は、移動物の存在が検知された場合、該移動物の動きを検知する。
　判定部１４は、各種の判定を行う。例えば、判定部１４は、移動物が検知された検知領域の画像を、表示領域の画像に対して重畳を行うかを判定する。画像データ出力部１５は、画像処理部１２が画像処理を施した画像データをディスプレイ３に出力する。記憶部１６は、所定の情報を記憶する。
＜撮影領域および表示領域の一例＞
　図２は、撮影領域および表示領域の一例を示す。撮影領域２１は、カメラ２が撮影する領域である。該撮影領域２１は、カメラ２の撮影視野に対応する。ディスプレイ領域３１は、ディスプレイ３の表示サイズに対応する領域である。
　実施形態では、撮影領域２１は、ディスプレイ領域３１よりも広い。例えば、カメラ２が広角レンズのカメラである場合、該カメラ２の撮影領域２１は、ディスプレイ３の表示領域２２よりも広くなる。表示領域２２は、撮影領域２１のうち一部の領域である。
　画像処理部１２は、予め設定されたディスプレイ領域３１に関する設定データを記憶部１６から取得し、該設定データに基づいて、撮影領域２１の画像からディスプレイ領域３１の画像を切り出す。図２の例において、撮影領域２１の画像から切り出されるディスプレイ領域３１の画像は、一点鎖線で示される。
　該設定データは、変更可能であってもよい。この場合、ディスプレイ領域３１は、撮影領域２１のうち任意の領域に設定することが可能になる。
　撮影領域２１のうち、ディスプレイ領域３１の外側の領域（非表示領域２３）は、ディスプレイ３に表示されない領域である。該非表示領域２３は、ディスプレイ３に表示されないため、死角となる領域（ブラインドスポットとも称される）である。
　撮影領域２１には、予め１または複数の検知領域が設定される。図２の例では、点線で示される９つの検知領域２４Ａ～２４Ｉ（以下、検知領域２４と総称する）が設定される。検知領域２４の設定に関する設定データは、予め記憶部１６に記憶されていてもよい。
　図２の例では、９つの検知領域２４が撮影領域２１に設定されている例を示すが、撮影領域２１に設定される検知領域２４の数は１つであってもよいし、９つ以外であってもよい。
　上述したように、検知領域２４は、他の車両や歩行者等の移動物の存在、および該移動物の動きを検知するための領域である。従って、検知領域２４が複数の場合、複数の検知領域２４は、撮影領域２１の中で均等に分散されることが好ましい。図２の例では、９つの検知領域２４が、撮影領域２１の中で均等な間隔で分散配置されている。
　図２の例において、検知領域２４Ｅ以外の検知領域２４は、非表示領域２３を含む領域である。検知領域２４Ｅは、ディスプレイ領域３１の内側にある領域である。ディスプレイ領域３１の内側には、複数の検知領域２４が設定されてもよい。
　検知部１３は、検知領域２４の画像に基づいて、該検知領域２４に移動物が存在するかを検知し、移動物が存在する場合、該移動物の動きを検知する。実施形態では、検知部１３は、検知領域２４に、予め登録された移動物の画像に類似する物体があるかに基づいて、移動物の存在を検知する。
　例えば、車両や歩行者等の形状の画像が学習データとして記憶部１６に記憶されているとする。検知部１３は、検知領域２４に、学習データの画像と類似する物体の画像が存在する場合、検知領域２４に移動物が存在することを検知する。
　移動物の検知は、例えば、フレーム間差分法等により行われてもよい。上述したように、運転支援装置１は、カメラ２から所定周期ごとにカメラ画像（フレーム）を入力する。検知部１３は、検知領域２４におけるフレーム間の差分に基づいて、移動物を検知してもよい。
　検知領域２４に移動物が存在することを検知部１３が検知した場合、検知部１３は、検知された移動物の動きを検知する。例えば、検知部１３は、上記したフレーム間の差分に基づいて、検知領域２４内の移動物の移動量が所定量以上の場合、該移動物が動いたことを検知してもよい。
　上述したように、検知部１３は、学習データに基づいて、検知領域２４内の移動物の存在を検知する。従って、検知領域２４内に移動物の存在が検知された場合でも、該移動物の動きが検知されない場合もある。
　図２の例に示されるように、複数の検知領域２４が設定されている場合、検知部１３は、各検知領域２４のそれぞれについて、移動物の存在の検知および移動物の動きの検知を行う。
　従って、例えば、検知領域２４Ａで移動物の存在が検知されない場合であっても、検知領域２４Ｃでは移動物の存在が検知される場合もある。また、検知領域２４Ａで移動物の動きが検知されない場合であっても、検知領域２４Ｃでは移動物の動きが検知される場合もある。
　図３は、撮影領域２１の画像（カメラ画像）およびディスプレイ領域３１の画像（表示画像）の一例を示す図である。図３のカメラ画像は、運転支援装置１が搭載された車両（以下、自車と称する）のサイドミラーのカメラ２が後方を撮影している画像の例である。
　図３のカメラ画像（撮影領域２１の画像）には、自車Ｃ１と他の車両Ｃ２、Ｃ３およびＣ４が含まれる。他の車両Ｃ２は、一部が非表示領域２３に含まれる。よって、表示画像には、他の車両Ｃ２のうち非表示領域２３の部分の画像は含まれない。このため、該部分の画像は、ディスプレイ３には表示されない。
　他の車両Ｃ３は、全て表示領域２２に含まれる。よって、ディスプレイ３には、他の車両Ｃ３の全部が表示される。他の車両Ｃ４は、表示領域２２に含まれない。このため、ディスプレイ３には、他の車両Ｃ４は表示されない。
　従って、他の車両Ｃ２の一部および他の車両Ｃ４の全部がディスプレイ３に表示されない。そこで、非表示領域２３の画像もディスプレイ３に表示することが考えられる。ただし、この場合、カメラ画像のサイズは、表示画像のサイズより大きいため、カメラ画像を縮小してディスプレイ３に表示することになる。
　カメラ画像を縮小してディスプレイ３に表示すると、ディスプレイ３に表示される表示画像の視認性が低下する。そこで、実施形態では、ディスプレイ３には、撮影領域２１の一部が切り出されたディスプレイ領域３１の画像が表示される。
　そして、複数の検知領域２４のうち何れかで移動物の存在が検知された場合、画像処理部１２は、所定条件下で、移動物が検知された検知領域２４の画像を表示画像に重畳する。移動物が検知された検知領域２４の画像を表示画像に重畳するかの判定は、判定部１４が行う。
　図４は、検知領域２４Ｃおよび検知領域２４Ｈの画像が、表示画像に重畳された画像の一例を示す。図４の例におけるディスプレイ領域３１の画像（表示画像）のうち、検知領域２４Ｃに対応する領域３１Ｃには、該検知領域２４Ｃの画像が重畳されており、検知領域２４Ｈに対応する領域３１Ｈには、該検知領域２４Ｈの画像が重畳されている。
　図４の例の場合、判定部１４は、非表示領域２３を含む複数の検知領域２４のうち、検知領域２４Ｃの画像および検知領域２４Ｈの画像を表示画像に重畳すると判定し、それ以外の検知領域２４の画像は表示画像に重畳しないと判定する。
　図４の例に示されるように、表示画像に領域３１Ｃの画像および領域３１Ｈの画像が含まれるため、これらの画像を含む表示画像がディスプレイ３に表示される。表示画像に含まれる領域３１Ｃの画像および領域３１Ｈの画像は、実際にカメラ２が撮影した画像である。
　従って、自車を運転する運転者は、非表示領域２３に含まれる検知領域２１Ｃおよび検知領域２１Ｈの実際の画像を、ディスプレイ３で視認することができる。
　ここで、非表示領域２３を含む全ての検知領域２４の画像を表示画像に重畳することが考えられる。しかし、表示画像に多くの検知領域２４の画像が重畳されると、ディスプレイ３に表示される画像の視認性が低下する。
　そこで、検知領域２４に移動物が含まれていないことを検知部１３が検知した場合、判定部１４は、移動物が含まれていないことが検知された検知領域２４の画像を表示画像に重畳しないと判定する。
　移動物が含まれていない検知領域２４の画像をディスプレイ３に表示する必要性は低い。そこで、移動物が含まれていないことが検知された検知領域２４の画像を表示画像に重畳しないことで、表示画像に重畳される検知領域２４の画像を少なくすることができる。その結果、視認性の低下が抑制される。
　また、非表示領域２３を含む検知領域２４において、移動物が検知された場合、該移動物をシンボル表示することも考えられる。この場合、ディスプレイ３には、シンボルが重畳された画像が表示される。
　しかし、この場合、非表示領域２３の部分の画像はディスプレイ３に表示されないため、非表示領域２３の部分の画像に存在する移動物が表示されなくなる。実施形態では、非表示領域２３を含む検知領域２４の画像が表示画像に重畳されるため、ディスプレイ３には、移動物の実際の画像が表示される。
　図４の例において、他の車両Ｃ２、Ｃ３およびＣ４は、走行中の車両であるものとする。他の車両Ｃ２の画像は、検知領域２４Ｂ、２４Ｃ、２４Ｅおよび２４Ｆに含まれる。このうち、検知領域２４Ｅは、表示領域２２に含まれる。
　図４の例では、検知領域２４Ｃの画像が表示画像に重畳され、検知領域２４Ｂおよび２４Ｆの画像は表示画像に重畳されていない。例えば、他の車両Ｃ２のうちバンパー部分の画像を含む検知領域２４Ｃの画像は、特徴的な画像である。このため、該画像と、記憶部１６に記憶された学習データの画像との類似度の比較を行い易くなる。
　従って、図４の例では、検知部１３は、特徴的なバンパー部分の画像を含む検知領域２４Ｃ内に移動物が存在することを検知する。また、検知部１３は、検知領域２４Ｂおよび検知領域２４Ｆに移動物を検知しない。なお、検知部１３は、検知領域２４Ｂと検知領域２４Ｆとのうち何れか一方または両方に移動物が存在することを検知してもよい。
　また、検知領域２４Ｈでは、他の車両Ｃ４が移動物として検知される。検知領域２４Ｈにおいて、他の車両Ｃ４の部分は表示領域２２に含まれていない。検知部１３は、検知領域２４Ｈに移動物が存在することを検知しているため、該検知領域２４Ｈの画像は表示画像に重畳される。
　これにより、表示画像に検知領域２４Ｈの画像が重畳される。検知領域２４Ｈの画像には、他の車両Ｃ４が含まれる。表示画像に該検知領域２４Ｈの画像が重畳されることで、ディスプレイ３には、他の車両Ｃ４を含む検知領域２４Ｈの画像が表示される。従って、運転者は、ディスプレイ３に表示されている他の車両Ｃ４を視認することができる。
　図５は、自車、他の車両Ｃ２および他の車両Ｃ３が停止している場合における撮影領域２１の画像およびディスプレイ領域３１の画像の一例を示す。図５の例において、他の車両Ｃ４は走行中であり、自車に接近していることを想定する。
　この場合、他の車両Ｃ２の画像を含む各検知領域２４のそれぞれにおいて、移動物は検知されない。一方、他の車両Ｃ４は、検知領域２４Ｈにおいて、移動物として検知される。このため、ディスプレイ３には、検知領域２４Ｈの画像が表示画像に重畳された映像が表示される。
　従って、判定部１４は、移動物が検知された検知領域２４の画像に基づいて、移動物が検知された検知領域２４の画像を表示画像に重畳するかを判定する。例えば、判定部１４は、検知領域２４の画像から、移動物の動きが検知されたか、或いは全ての検知領域２４で移動物の動きが検知されたか等に基づいて、検知領域２４の画像を表示画像に重畳するかを判定する。そして、判定の結果に応じて、画像処理部１２は重畳処理を行う。
　これにより、ディプレイ３には、所定条件下で、移動物の存在が検知された検知領域２４の画像が重畳された映像（画像データ）が表示されるため、非表示領域２３の実際の画像がディスプレイ３に表示される。従って、運転者に対して、非表示領域２３の実際の画像が提示されることから、運転者に対する運転の支援が図られる。
＜実施形態の処理の流れの一例を示すフローチャート＞
　次に、図６および図７のフローチャートを参照して、実施形態の処理の流れの一例について説明する。運転支援装置１は、カメラ２が撮影するカメラ画像を所定周期（所定フレーム）ごとに該カメラ２から入力する（ステップＳ１）。
　運転支援装置１に複数のカメラ２が接続されている場合には、運転支援装置１は複数のカメラ２のそれぞれから、カメラ画像を所定周期ごとに入力する。
　画像処理部１２は、カメラ画像の撮影領域２１に表示領域２２を設定する（ステップＳ２）。例えば、画像処理部１２は、記憶部１６の設定データを参照して、該設定データに基づいて、撮影領域２１に表示領域２２を設定する。
　画像処理部１２は、撮影領域２１の画像から表示領域２２の画像を切り出す画像処理を、カメラ画像に対して施す（ステップＳ３）。これにより、カメラ画像のうち一部の表示画像が生成される。
　検知部１３は、撮影領域２１に設定された複数の検知領域２４（２４Ａ～２４Ｉ）のそれぞれについて、移動物の存在を検知する。判定部１４は、全ての検知領域２４（２４Ａ～２４Ｉ）で検知部１３が移動物を検知していないかを判定する（ステップＳ４）。
　全ての検知領域２４で検知部１３が移動物を検知していない場合、ステップＳ４の判定はＹＥＳになる。何れかの検知領域２４で移動物が検知された場合、ステップＳ４の判定はＮＯになる。
　ステップＳ４でＹＥＳの場合、判定部１４は全ての検知領域２４で移動物が存在しないと判定する。この場合、検知領域２４の画像を表示画像に重畳する必要性は低いため、判定部１４は、検知領域２４の画像を表示画像に重畳しないと判定する。
　この場合、画像データ出力部１５は、検知領域２４の画像が重畳されていない表示画像を画像データとしてディプレイ３に出力する（ステップＳ５）。ディスプレイ３は、運転支援装置１から入力した画像データを表示する。
　制御部１１は、実施形態の処理が終了したかを判定する（ステップＳ７）。例えば、自車のエンジンが停止した場合に、実施形態の処理は終了してもよい。ステップＳ７でＮＯの場合、ステップＳ１以降の処理が再び行われる。つまり、運転支援装置１は、所定フレームごとに、カメラ２からカメラ画像を入力する。
　ステップＳ４でＮＯの場合、判定部１４は何れかの検知領域２４に移動物が存在すると判定する。この場合、判定部１４は、自車が停車中であり、且つ移動物の動きがないかを判定する（ステップＳ６）。
　ステップＳ６でＹＥＳの場合、自車は停車中であり、検知された移動物にも動きがない。この場合、移動物が検知された検知領域２４の画像を表示画像に重畳する必要性は低い。従って、処理はステップＳ５に進む。
　自車が停車中であるかは、車速検出器４が検出する車速に基づいて、判定部１４が判定してもよい。例えば、車速検出器４が検出した速度データが所定速度未満である場合、判定部１４は自車が停車中であると判定してもよい。また、検知された移動物に動きがあるかは、検知された移動物のフレーム間の移動量が所定量以上であるかに基づいて、判定部１４が判定してもよい。
　ステップＳ６でＮＯの場合、判定部１４は、車両が走行中であるか、検知された移動物に動きがあるか、または車両が走行中であり、且つ検知された移動物に動きがあると判定する。ステップＳ６でＮＯの場合、処理は「Ａ」に進む。「Ａ」以降の処理について、図７を参照して説明する。
　判定部１４は、全ての検知領域２４（２４Ａ～２４Ｉ：検知領域２４Ｅも含む）に移動物が存在するかを判定する（ステップＳ１１）。検知部１３が、全ての検知領域２４で移動物の存在を検知した場合、ステップＳ１１の判定はＹＥＳになる。検知部１３が、何れかの検知領域２４で移動物の存在を検知しない場合、ステップＳ１１の判定はＮＯになる。
　ステップＳ１１でＹＥＳの場合、判定部１４は、検知された全ての移動物に動きがあったかを判定する。つまり、判定部１４は、全ての検知領域２４の移動物に動きがあったことを検知部１３が検知したかを判定する（ステップＳ１２）。
　ステップＳ１２でＹＥＳの場合、全ての検知領域２４の移動物に動きがあったことになる。例えば、カメラ画像の９つの検知領域２４の全てにおいて検知部１３が移動物の動きを検知した場合、カメラ２の振動等に起因して、全ての検知領域２４の移動物に動きがあったことが検知された可能性がある。
　この場合、各検知領域２４の画像を表示画像に重畳する必要性は低い。判定部１４は、さらに、全ての検知領域２４の移動物が同時に同じ方向に移動したかを判定する（ステップＳ１３）。例えば、検知部１３が、フレーム間の差分に基づいて、各検知領域２４の移動物が同じ方向に移動したことを検知した場合、判定部１４は、ステップＳ１３の判定をＹＥＳとしてもよい。
　各検知領域２４の移動物の移動方向が同じ場合、カメラ２の振動等に起因して、全ての検知領域２４の移動物に動きがあったことが検知された可能性が高い。従って、この場合、各検知領域２４の画像を表示画像に重畳する必要性は低いため、判定部１４は、各検知領域２４の画像を重畳しないと判定する（ステップＳ１４）。
　ステップＳ１３の処理を行うことなく、ステップＳ１２でＹＥＳの場合に、ステップＳ１４の判定処理が行われてもよい。
　ステップＳ１１でＮＯの場合、およびステップＳ１２でＮＯの場合、判定部１４は、何れかの検知領域２４に移動物に動きがあったかを判定する（ステップＳ１５）。ステップＳ１５でＮＯの場合、何れの検知領域２４においても移動物の動きが検知されない。このため、処理はステップＳ１４に進む。
　ステップＳ１５でＹＥＳの場合、判定部１４は、検知された移動物の動きが一定時間以上検知されないかを判定する（ステップＳ１６）。検知部１３が、何れかの検知領域２４で移動物の動きを検知した後、一定時間以上、該移動物の動きを検知しない場合、該移動物は、自車に接近した後に、停止した可能性がある。
　停止した移動物を含む検知領域２４の画像を表示画像に重畳する必要性は低い。従って、ステップＳ１６でＹＥＳの場合、処理はステップＳ１４に進む。これにより、表示画像に対する移動物が検知された検知領域２４の画像の重畳処理が停止される。上記の一定時間は、任意の時間に設定されてもよい。
　ステップＳ１６でＮＯの場合、検知された移動物は、自車の近傍で移動している可能性がある。この場合、判定部１４は、移動物の動きが検知された検知領域２４の画像を表示画像に重畳すると判定する（ステップＳ１７）。また、ステップＳ１３の判定がＮＯの場合にも、ステップＳ１７の処理が行われる。
　判定部１４は、ステップＳ４でＮＯの場合、つまり何れかの検知領域２４で移動物が検知された場合、該移動物が検知された検知領域２４の画像が表示画像に重畳すると判定してもよい。移動物が検知された検知領域２４の画像が重畳されることで、検知領域２４の実際の画像が重畳された映像がディスプレイ３に表示されるためである。
　そして、画像処理部１２は、移動物の動きが検知された検知領域２４の画像を表示画像に重畳する画像処理を行う（ステップＳ１８）。移動物の動きが検知された検知領域２４が複数ある場合には、画像処理部１２は、各検知領域２４の画像を表示画像に重畳する画像処理を行う。
　ここで、カメラ画像に含まれる他の車両と自車とがほぼ同じ速度で走行している場合を想定する。この場合、カメラ画像に含まれる他の車両の画像については、検知部１３は該他の車両（移動物）の動きを検知しない。他の車両と自車とがほぼ同じ速度で走行している場合、相対的に該他の車両の動きがゼロに近いためである。
　一方、カメラ画像に含まれる他の車両の速度と自車の速度とが異なる場合、他の車両が自車を追い越すようなケースが想定される。この場合、他の車両と自車との走行速度は異なるため、検知部１３は、検知領域２４に含まれる該他の車両の動きを検知する。
　ステップＳ１４の処理が行われた場合、またはステップＳ１８の処理が行われた場合、処理は「Ｂ」からステップＳ５に戻る。ステップＳ１４の処理が行われた場合、検知領域２４の画像が重畳されていない画像データがディスプレイ３に出力される。ステップＳ１８の処理が行われた場合、検知領域２４の画像が重畳された画像データがディスプレイ３に出力される。
＜運転支援装置のハードウェア構成の一例＞
　次に、図８の例を参照して、運転支援装置１のハードウェア構成の一例を説明する。図８の例に示すように、バス１００に対して、プロセッサ１１１とRandom Access Memory(RAM)１１２とRead Only Memory(ROM)１１３とが接続される。
　また、該バス１００に対して、補助記憶装置１１４と媒体接続部１１５とカメラ２とディスプレイ３とが接続される。カメラ２は複数台であってもよい。ディスプレイ３も複数台であってもよい。プロセッサ１１１はＲＡＭ１１２に展開されたプログラムを実行する。実行されるプログラムとしては、実施形態における処理を行うプログラムが適用されてもよい。
　ＲＯＭ１１３はＲＡＭ１１２に展開されるプログラムを記憶する不揮発性の記憶装置である。補助記憶装置１１４は、種々の情報を記憶する記憶装置であり、例えば半導体メモリ等を補助記憶装置１１４に適用してもよい。
　媒体接続部１１５は、可搬型記録媒体１１９と接続可能に設けられている。可搬型記録媒体１１９としては、可搬型のメモリが適用されてもよい。この可搬型記録媒体１１９に実施形態の処理を行うプログラムが記録されていてもよい。
　記憶部１６は、ＲＡＭ１１２や補助記憶装置１１４等により実現されてもよい。制御部１１、画像処理部１２、検知部１３、判定部１４および画像データ出力部１５は、与られたプログラムをプロセッサ１１１が実行することにより実現されてもよい。
　ＲＡＭ１１２、ＲＯＭ１１３、補助記憶装置１１４および可搬型記録媒体１１９は、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。
　また、運転支援装置１は、上述したように、ＦＰＧＡ等の電子回路により実現されてもよい。
＜その他＞
　本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。
　　　１　　運転支援装置
　　　２　　カメラ
　　　３　　ディスプレイ
　　　４　　車速検出器
　　１１　　制御部
　　１２　　画像処理部
　　１３　　検知部
　　１４　　判定部
　　１５　　画像データ出力部
　　１６　　記憶部
　　２１　　撮影領域
　　２２　　表示領域
　　２３　　非表示領域
　　２４　　検知領域
　　３１　　ディスプレイ領域
　１１１　　プロセッサ
　１１２　　ＲＡＭ
　１１３　　ＲＯＭ

Claims (8)

  1. 　車両に搭載された撮影装置が撮影する撮影領域のうち表示装置が表示する表示領域以外の領域を含む１または複数の検知領域内で移動物が検知された場合、該移動物が検知された検知領域の画像に基づいて、該検知領域の画像を前記表示領域の画像に重畳するかを判定し、
    　前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する、
    　処理を運転支援装置に実行させることを特徴とする運転支援プログラム。
  2. 　前記移動物が検知された検知領域内で該移動物の動きが検知された場合、該動きが検知された移動物を含む検知領域の画像を前記表示領域の画像に重畳すると判定する、
    　処理を前記運転支援装置に実行させることを特徴とする請求項１記載の運転支援プログラム。
  3. 　前記撮影領域に設定された複数の検知領域の全ての検知領域に前記移動物が存在すると判定された場合、前記全ての検知領域の画像を前記表示領域の画像に重畳しないと判定する、
    　処理を前記運転支援装置に実行させることを特徴とする請求項１または２記載の運転支援プログラム。
  4. 　前記全ての検知領域にそれぞれ存在する移動物の移動方向が同じであることが検知された場合、前記全ての検知領域の画像を前記表示領域の画像に重畳しないと判定する、
    　処理を前記運転支援装置に実行させることを特徴とする請求項３記載の運転支援プログラム。
  5. 　前記検知領域内の移動物の動きが検知された後、該移動物の動きが一定時間検知されない場合、前記表示領域の画像に対する該移動物を含む検知領域の画像の重畳を停止する、
    　処理を前記運転支援装置に実行させることを特徴とする請求項１乃至４のうち何れか１項に記載の運転支援プログラム。
  6. 　複数の前記検知領域のそれぞれについて、前記検知領域の画像を前記表示領域の画像に重畳するかを判定し、
    　前記複数の検知領域のそれぞれについて、前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する、
    　処理を前記運転支援装置に実行させることを特徴とする請求項１乃至５のうち何れか１項に記載の運転支援プログラム。
  7. 　車両に搭載された撮影装置が撮影する撮影領域のうち表示装置が表示する表示領域以外の領域を含む１または複数の検知領域内で移動物が検知された場合、該移動物が検知された検知領域の画像に基づいて、該検知領域の画像を前記表示領域の画像に重畳するかを判定し、
    　前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する、
    　処理を運転支援装置が実行することを特徴とする運転支援方法。
  8. 　車両に搭載された撮影装置が撮影する撮影領域のうち表示装置が表示する表示領域以外の領域を含む１または複数の検知領域内で移動物が検知された場合、該移動物が検知された検知領域の画像に基づいて、該検知領域の画像を前記表示領域の画像に重畳するかを判定する判定部と、
    　前記判定の結果に応じて、前記検知領域の画像を前記表示領域の画像に重畳した画像データを前記表示装置に出力する画像データ出力部と、
    　を備えることを特徴とする運転支援装置。
PCT/JP2016/086074 2016-12-05 2016-12-05 運転支援プログラム、運転支援方法および運転支援装置 WO2018105007A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086074 WO2018105007A1 (ja) 2016-12-05 2016-12-05 運転支援プログラム、運転支援方法および運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086074 WO2018105007A1 (ja) 2016-12-05 2016-12-05 運転支援プログラム、運転支援方法および運転支援装置

Publications (1)

Publication Number Publication Date
WO2018105007A1 true WO2018105007A1 (ja) 2018-06-14

Family

ID=62490840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086074 WO2018105007A1 (ja) 2016-12-05 2016-12-05 運転支援プログラム、運転支援方法および運転支援装置

Country Status (1)

Country Link
WO (1) WO2018105007A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
JP2012049918A (ja) * 2010-08-27 2012-03-08 Sony Corp 撮像装置、撮像システム及び撮像方法
JP2012129689A (ja) * 2010-12-14 2012-07-05 Panasonic Corp 映像処理装置、カメラ装置および映像処理方法
WO2014162835A1 (ja) * 2013-03-31 2014-10-09 株式会社 村上開明堂 運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010130647A (ja) * 2008-12-01 2010-06-10 Aisin Seiki Co Ltd 車両周辺確認装置
JP2012049918A (ja) * 2010-08-27 2012-03-08 Sony Corp 撮像装置、撮像システム及び撮像方法
JP2012129689A (ja) * 2010-12-14 2012-07-05 Panasonic Corp 映像処理装置、カメラ装置および映像処理方法
WO2014162835A1 (ja) * 2013-03-31 2014-10-09 株式会社 村上開明堂 運転支援装置

Similar Documents

Publication Publication Date Title
JP5704902B2 (ja) 運転支援装置及び運転支援方法
JP5421072B2 (ja) 接近物体検知システム
JP4107605B2 (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
JP6205640B2 (ja) 車両用警告装置
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
JP2014093071A (ja) 周辺車の位置追跡装置及び方法
US20180330619A1 (en) Display device and display method for displaying pictures, and storage medium
JP6081247B2 (ja) 車両後方画像の表示切替装置および表示切替方法
JP2018097431A (ja) 運転支援装置、運転支援システム及び運転支援方法
JP3952305B2 (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2016190575A (ja) 駐車支援装置、及び駐車支援システム
JP7004736B2 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
JP2019040354A (ja) 運転支援装置、および運転支援方法
JP4857159B2 (ja) 車両運転支援装置
WO2016151978A1 (ja) 画像処理装置、運転支援システム及び画像処理方法
JP6552285B2 (ja) 車載表示装置及び車両後方映像表示方法
JP2005182305A (ja) 車両走行支援装置
WO2018105007A1 (ja) 運転支援プログラム、運転支援方法および運転支援装置
WO2015001747A1 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2009213063A (ja) 監視装置
JP2019153932A (ja) 汚れ報知装置
US20200331388A1 (en) Image display system
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923438

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16923438

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP