WO2017043056A1 - 運転支援方法およびそれを利用した運転支援装置とプログラム - Google Patents

運転支援方法およびそれを利用した運転支援装置とプログラム Download PDF

Info

Publication number
WO2017043056A1
WO2017043056A1 PCT/JP2016/003995 JP2016003995W WO2017043056A1 WO 2017043056 A1 WO2017043056 A1 WO 2017043056A1 JP 2016003995 W JP2016003995 W JP 2016003995W WO 2017043056 A1 WO2017043056 A1 WO 2017043056A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring target
management unit
user input
unit
monitoring
Prior art date
Application number
PCT/JP2016/003995
Other languages
English (en)
French (fr)
Inventor
渉 仲井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to DE112016004049.0T priority Critical patent/DE112016004049B4/de
Priority to US15/753,564 priority patent/US10477155B2/en
Publication of WO2017043056A1 publication Critical patent/WO2017043056A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Definitions

  • the present invention relates to a driving support technology, and more particularly to a driving support method that supports control of an object to be monitored by a driver and a driving support device using the driving support method.
  • Objects present around the vehicle are monitored by a camera mounted on the vehicle. Depending on the result of the monitoring, it is desirable to perform an appropriate notification display for the driver. Therefore, when a plurality of objects including objects existing in the monitoring area are detected, the number of displays is limited to a predetermined display upper limit number or less and displayed on the display. On the other hand, when only an object existing outside the monitoring area is detected, a display number larger than the display upper limit number is allowed and displayed on the display (for example, see Patent Document 1).
  • An object of the present invention is to provide a technique for setting a monitoring target reflecting the driver's will.
  • a driving support device emphasizes a monitoring target management unit that specifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, and a monitoring target specified by the monitoring target management unit
  • a display control unit to be displayed and an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit updates the monitoring target when the input unit receives a user input.
  • the apparatus includes a monitoring target management unit that identifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, a display control unit that highlights the monitoring target specified by the monitoring target management unit, And an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit adds a monitoring target when the input unit receives a user input.
  • Still another aspect of the present invention is also a driving support device.
  • the apparatus includes a monitoring target management unit that identifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, a display control unit that highlights the monitoring target specified by the monitoring target management unit, And an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit deletes the monitoring target when the input unit accepts user input.
  • Still another aspect of the present invention is a driving support method.
  • This method includes a step of specifying a monitoring target based on vehicle surrounding information acquired from a sensor mounted on the vehicle, a step of highlighting the specified monitoring target, and a user for updating the specified monitoring target A step of receiving an input, and a step of updating a monitoring target when a user input is received.
  • the monitoring target reflecting the driver's will can be set.
  • FIG. 1 is a diagram illustrating a configuration of a vehicle according to a first embodiment of the present invention.
  • FIG. 2A is a diagram showing an image displayed on the display unit of FIG.
  • FIG. 2B is a diagram illustrating an image displayed on the display unit of FIG. 1.
  • FIG. 2C is a diagram illustrating an image displayed on the display unit in FIG. 1.
  • FIG. 2D is a diagram illustrating an image displayed on the display unit of FIG. 1.
  • FIG. 2E is a diagram illustrating an image displayed on the display unit in FIG. 1.
  • FIG. 2F is a diagram illustrating an image displayed on the display unit in FIG. 1.
  • FIG. 3 is a flowchart showing a processing procedure for a monitoring target by the driving support apparatus of FIG.
  • FIG. 3 is a flowchart showing a processing procedure for a monitoring target by the driving support apparatus of FIG.
  • FIG. 3 is a flowchart showing a processing procedure for a monitoring target by the driving support apparatus of FIG.
  • FIG. 4 is a diagram illustrating a configuration of a vehicle according to the second embodiment of the present invention.
  • FIG. 5 is a diagram showing an outline of processing in the vehicle of FIG.
  • FIG. 6A is a diagram showing an image displayed on the HUD of FIG.
  • FIG. 6B is a diagram showing an image displayed on the HUD of FIG.
  • FIG. 6C is a diagram showing an image displayed on the HUD of FIG.
  • FIG. 6D is a diagram illustrating an image displayed on the HUD of FIG. 4.
  • FIG. 6E is a diagram showing an image displayed on the HUD of FIG.
  • FIG. 6F is a diagram illustrating an image displayed on the HUD of FIG. 4.
  • FIG. 7A is a diagram showing another image displayed on the HUD of FIG. FIG.
  • FIG. 7B is a diagram showing another image displayed on the HUD of FIG. 4.
  • FIG. 7C is a diagram illustrating another image displayed on the HUD of FIG. 4.
  • FIG. 7D is a diagram illustrating another image displayed on the HUD of FIG. 4.
  • FIG. 7E is a diagram showing another image displayed on the HUD of FIG. 4.
  • FIG. 7F is a diagram illustrating another image displayed on the HUD of FIG. 4.
  • FIG. 8 is a flowchart showing a processing procedure for a monitoring target by the driving support apparatus of FIG.
  • FIG. 9 is a flowchart showing a subsequent processing procedure for the monitoring target by the driving support apparatus of FIG.
  • Example 1 Embodiments described herein relate generally to a driving support apparatus that displays a monitoring target in an image captured by an outside image sensor mounted on a vehicle.
  • the driving support device automatically detects the monitoring target, the driver only keeps monitoring, and the vehicle is in a monotonous state.
  • the automatically detected monitoring target may be insufficient or unnecessary for the driver.
  • the driver cannot update the monitoring target, he / she must monitor himself / herself while falling into a monotonous state.
  • the driver can update the monitoring target, if the update process is troublesome for the driver, the convenience of the driver is reduced. For this reason, it is desirable to set a monitoring target that reflects the driver's will while improving the convenience of the driver.
  • the driving support device displays an image captured by the image sensor outside the vehicle on a display device having a touch panel, and highlights a monitoring target in the image.
  • the driver assistance device adds the monitoring object by directly touching the display device. Or delete it.
  • FIG. 1 shows a configuration of a vehicle 100 according to Embodiment 1 of the present invention.
  • the vehicle 100 includes a driving support device 10, an outside vehicle image sensor 12, a display device 14, and an automatic driving control device 16.
  • the driving support device 10 includes an I / O unit (input / output unit) 20 and a processing unit 22.
  • the I / O unit 20 includes an image input unit 30, an operation signal input unit 32, an image output unit 34, and a monitoring result output unit 36.
  • the processing unit 22 includes a monitoring target management unit 38, a display control unit 40, and a monitoring unit 42.
  • the display device 14 includes a display unit 50 and an operation unit 52.
  • the automatic operation control device 16 includes an I / O unit 60 and a processing unit 62.
  • the vehicle exterior image sensor 12 is an imaging unit attached to the back of the rear mirror of the vehicle 100 in order to capture the side from the front of the vehicle 100. It can be said that the image imaged by the outside image sensor 12 is vehicle periphery information. Since a well-known technique should just be used for the image sensor 12 outside a vehicle, description is abbreviate
  • An image captured by the outside image sensor 12 is a moving image. The image can also be applied to each still image constituting the moving image.
  • the driving support apparatus 10 and the outside image sensor 12 are connected by wired communication such as a dedicated line, USB (Universal Serial Bus), Ethernet (registered trademark, the same applies hereinafter), CAN (Controller Area Network), and the like. Therefore, the vehicle exterior image sensor 12 outputs the captured image to the driving support device 10.
  • USB Universal Serial Bus
  • Ethernet registered trademark, the same applies hereinafter
  • CAN Controller Area Network
  • the display device 14 may be a head unit such as a car navigation system or display audio, may be a mobile terminal device such as a smartphone or a tablet, or may be a dedicated console terminal device.
  • the display unit 50 is a liquid crystal display or an organic EL (Electroluminescence) display.
  • the operation unit 52 is a user interface for receiving driver input.
  • the display unit 50 and the operation unit 52 may be an integrated touch panel display.
  • the operation unit 52 may have an input device that assists gesture input, such as a mouse, a stylus pen, or a trackball. A pen that emits visible light or infrared light may be used. Further, the display unit 50 and the operation unit 52 may be physically configured instead of the integrated touch panel display.
  • the driving support device 10 and the display device 14 may be connected by wired communication such as a dedicated line or CAN, USB, Ethernet, Wi-Fi (registered trademark, the same applies hereinafter), Bluetooth (registered trademark, The same may apply hereinafter) or the like.
  • wired communication such as a dedicated line or CAN, USB, Ethernet, Wi-Fi (registered trademark, the same applies hereinafter), Bluetooth (registered trademark, The same may apply hereinafter) or the like.
  • the automatic operation control device 16 is an automatic operation controller equipped with an automatic operation control function.
  • the configuration of the processing unit 62 can be realized by cooperation of hardware resources and software resources, or only by hardware resources.
  • a processor, ROM (Read Only Memory), RAM (Random Access Memory), and other LSI (Large Scale Integrated Circuit) can be used as hardware resources, and programs such as an operating system, application, and firmware can be used as software resources.
  • the I / O unit 60 executes various communication controls corresponding to various communication formats.
  • the driving support device 10 is an HMI (Human Machine Interface) controller for executing an interface function between the vehicle 100 and the driver.
  • the processing unit 22 can be realized by cooperation of hardware resources and software resources, or only by hardware resources. Processors, ROM, RAM, and other LSIs can be used as hardware resources, and programs such as an operating system, application, and firmware can be used as software resources.
  • the I / O unit 20 executes various communication controls according to various communication formats.
  • the driving support device 10 and the automatic driving control device 16 are directly connected by a signal line. These may be connected via CAN. Further, the driving support device 10 and the automatic driving control device 16 may be integrated into one controller.
  • the monitoring target is set by (1) automatic detection of the monitoring target and (2) update of the monitoring target.
  • (1) automatic detection of a monitoring target will be described.
  • the vehicle exterior image sensor 12 outputs the captured image to the image input unit 30.
  • the image input unit 30 inputs an image from the outside image sensor 12.
  • the image input unit 30 outputs the image to the monitoring target management unit 38 and the display control unit 40.
  • the monitoring target management unit 38 inputs an image from the image input unit 30.
  • the monitoring target management unit 38 detects and identifies the monitoring target from the image.
  • the monitoring target here is arranged on the image and can be said to be a two-dimensional existence region.
  • Object detection in the monitoring target management unit 38 is executed by a two-stage process.
  • the monitoring target management unit 38 extracts feature quantities such as Haar-like, LBP (Local Binary Pattern), and HOG (Histograms of Oriented Gradients) from the image.
  • the monitoring target management unit 38 extracts an object to be monitored by identifying the extracted feature amount using a classifier such as AdaBoost or SVM (Support Vector Machine).
  • AdaBoost AdaBoost
  • SVM Serial Vector Machine
  • the monitoring target management unit 38 adds the extracted object to the monitoring target and starts tracking.
  • the case where the extracted object is not tracked corresponds to a case where the existence area of the extracted object differs from all the areas to be monitored that are already tracked by a predetermined value or more.
  • the case where the extracted object is not tracked is a case where the center coordinates of the extracted object existing area are separated from the center coordinates of all the monitored target areas by a predetermined value or more. There may be.
  • the predetermined value may be determined in advance.
  • the monitoring target management unit 38 uses information on an image that has already specified the monitoring target (hereinafter referred to as “first image”) and uses an image that is subsequent to the first image (hereinafter referred to as “first image”).
  • the monitoring target is specified in “2 images”. More specifically, the monitoring target management unit 38 searches for the monitoring target from the second image by giving priority to the vicinity of the coordinates where the monitoring target exists in the first image. On the other hand, when the monitoring target is no longer included in the image, the monitoring target management unit 38 ends the tracking for the monitoring target. When the monitoring target management unit 38 finishes tracking, the monitoring target management unit 38 deletes the object from the monitoring target.
  • the monitoring target management unit 38 outputs information related to the monitoring target for each image to the display control unit 40 and the monitoring unit 42.
  • the display control unit 40 inputs an image from the image input unit 30 and inputs information about the monitoring target from the monitoring target management unit 38.
  • the information regarding the monitoring target includes, for example, the center coordinates of the existing area where the monitoring target is included in the image and the size of the existing area.
  • the display control unit 40 generates an image for display by superimposing a figure of a frame (hereinafter referred to as “monitoring target frame”) indicating an existing area including the monitoring target on the image. When a plurality of monitoring targets are included, a plurality of monitoring target frames are shown in the image.
  • the display control unit 40 outputs a display image to the image output unit 34, and the image output unit 34 outputs a display image to the display unit 50.
  • the display unit 50 displays the display image input from the image output unit 34. That is, the display control unit 40 causes the display unit 50 to highlight the monitoring target specified by the monitoring target management unit 38.
  • the monitoring unit 42 inputs information related to the monitoring target from the monitoring target management unit 38.
  • the monitoring unit 42 performs monitoring on the monitoring target.
  • the monitoring unit 42 performs monitoring for each monitoring target.
  • the monitoring is, for example, a process of sequentially measuring the distance between the two in order to prevent a collision between the vehicle 100 and the monitoring target. Therefore, the monitoring unit 42 measures the distance between the monitoring target specified by the monitoring target management unit 38 and the vehicle 100.
  • the monitoring unit 42 may measure the distance from the image input to the image input unit 30, or may measure the distance using a distance sensor (not shown). Since a known technique may be used for the measurement of such a distance, description thereof is omitted here.
  • the monitoring unit 42 outputs the distance to each monitoring target to the monitoring result output unit 36 as a monitoring result.
  • the monitoring result output unit 36 outputs the monitoring result in the monitoring unit 42 to the automatic operation control device 16.
  • the processing unit 62 of the automatic operation control device 16 inputs the monitoring result from the monitoring result output unit 36 via the I / O unit 60.
  • the processing unit 62 reflects the distance indicated in the monitoring result on the automatic driving. For example, when the distance is smaller than the threshold value, the processing unit 62 stops the vehicle 100.
  • the monitoring target update includes addition and deletion of the monitoring target.
  • a display image is displayed on the display unit 50.
  • the driver checks the monitoring target frame in the display image displayed on the display unit 50.
  • the driver touches the touch panel of the display device 14. This corresponds to the driver operating the operation unit 52. That is, the operation unit 52 receives a user input for updating the monitoring target frame displayed on the display unit 50.
  • the user input for updating the monitoring target frame displayed on the display unit 50 is also a user input for updating the monitoring target specified by the monitoring target management unit 38.
  • the user input received by the operation unit 52 is input to the operation signal input unit 32 via the display unit 50.
  • the operation signal input unit 32 inputs a user input by the driver made to the operation unit 52, and outputs the user input to the monitoring target management unit 38.
  • the monitoring target management unit 38 inputs user input from the operation signal input unit 32.
  • the monitoring target management unit 38 acquires the coordinates selected by the user input on the display unit 50.
  • the monitoring target management unit 38 acquires a combination of coordinates corresponding to the pattern.
  • the monitoring target management unit 38 compares the selected coordinates with the coordinates of the monitoring target frame. When a plurality of monitoring target frames are provided, comparison with all the monitoring target frames is performed. That is, the monitoring target management unit 38 determines whether the position selected by the user input is outside or inside the monitoring target frame.
  • the monitoring target management unit 38 adds the target indicated by the user input as the monitoring target. Specifically, if an object is detected by the above-described object detection at the coordinates selected by the user input, the monitoring target management unit 38 adds the detected object as a monitoring target. Further, the monitoring target management unit 38 may add an area having a predetermined area around the coordinates selected by the user input as a monitoring target. In the former case, tracking is started as before, but in the latter case, the position of the monitoring target is fixed even when the tracking described above is started. Such processing is performed when the user input is for a target other than the monitoring target frame highlighted by the display control unit 40 and the user input for the target displayed on the display unit 50 is received. It can be said that this is a process of adding the target indicated by the item as a monitoring target.
  • FIG. 2A to 2F show images displayed on the display unit 50.
  • FIG. 2A the first monitoring target frame 200 and the second monitoring target frame 202 are highlighted as monitoring targets.
  • FIG. 2B the driver touches a target other than the first monitoring target frame 200 and the second monitoring target frame 202. This corresponds to the operation unit 52 receiving user input.
  • FIG. 2C in addition to the first monitoring target frame 200 and the second monitoring target frame 202, the third monitoring target frame 204 selected by the user input is also highlighted. 2D-2F will be described later.
  • the monitoring target management unit 38 deletes the monitoring target. That is, the monitoring target management unit 38 deletes the monitoring target when it receives a user input for the monitoring target highlighted by the display control unit 40. In this case, the monitoring target management unit 38 also ends tracking for the deleted monitoring target.
  • FIG. 2D the same display as in FIG. 2A is performed.
  • the driver touches the second monitoring target frame 202. This corresponds to the operation unit 52 receiving user input.
  • FIG. 2F only the first monitoring target frame 200 continues to be highlighted, and the second monitoring target frame 202 is not highlighted. Returning to FIG. In this way, the monitoring target management unit 38 updates the monitoring target when the input unit accepts a user input.
  • the monitoring target management unit 38 When the monitoring target management unit 38 acquires “a combination of coordinates corresponding to a pattern”, the monitoring target management unit 38 specifies the shape of the pattern corresponding to the combination of coordinates. On the other hand, the monitoring target management unit 38 determines in advance a pattern shape for adding a monitoring target and a pattern shape for deleting the monitoring target. When the identified pattern shape is a pattern shape predetermined for adding a monitoring target, the monitoring target management unit 38 adds the object indicated by the pattern shape as the monitoring target.
  • the shape of the pattern predetermined for adding the monitoring target is a square frame
  • an object surrounded by the shape of the frame or an area indicated by the shape of the frame is the monitoring target.
  • the shape of the pattern determined in advance for adding the monitoring target is not limited to the square frame, and may be a circular frame or other shapes.
  • the monitoring target management unit 38 starts tracking the added monitoring target as before. Such a process can be said to be a process of adding a monitoring target when it is a user input predetermined for adding a monitoring target and a user input for the target displayed on the display unit 50 is received.
  • the monitoring target management unit 38 deletes the object indicated by the pattern shape from the monitoring target. More specifically, when the shape of a predetermined pattern for adding a monitoring target is determined by swiping, the swipe line is circumscribed 1472186788460_0 Alternatively, an object indicated by a circle is deleted from the monitoring target. Note that the shape of the pattern predetermined for deleting the monitoring target is not limited to the shape by swipe. Furthermore, the monitoring target management unit 38 ends the tracking for the deleted monitoring target. Such processing can be said to be processing for deleting a monitoring target when a predetermined user input is received in order to delete the monitoring target.
  • the monitoring target management unit 38 may update the reference for specifying the monitoring target according to the received user input. That is, when the same object as the monitoring target added by the user input is detected in the new image, the monitoring target management unit 38 performs relearning so as to identify the added object as the monitoring target. Moreover, when the same object as the monitoring target deleted by the user input is detected in the new image, the monitoring target management unit 38 performs relearning so as not to specify the deleted object as the monitoring target.
  • FIG. 3 is a flowchart illustrating a processing procedure for a monitoring target by the driving support device 10.
  • the image input unit 30 acquires an image (S10).
  • the monitoring target management unit 38 detects the target using the learning device (S12). If the target is not tracked (N in S14), the monitoring target management unit 38 adds the target to the monitoring target (S16), and starts tracking the target (S18). On the other hand, if the target is being tracked (Y in S14), step 16 and step 18 are skipped. When the tracking of the target is completed (Y in S20), the monitoring target management unit 38 deletes the monitoring target (S22). On the other hand, if the target tracking is not completed (N in S20), step 22 is skipped.
  • the display control unit 40 generates an image in which the monitoring target is drawn with a frame on the acquired image (S24).
  • the display control unit 40 displays the generated image on the display unit 50 (S26).
  • the monitoring target management unit 38 acquires the touched coordinates (S30). If the inside of the monitoring target frame is touched (Y in S32), the monitoring target management unit 38 deletes the monitoring target (S34). If an object outside the monitoring target frame is touched (N in S32), the monitoring target management unit 38 adds the touched object to the monitoring target (S36).
  • the monitoring target management unit 38 starts tracking the monitoring target (S38). On the other hand, if the display unit 50 is not touched (N in S28), step 30 to step 38 are skipped.
  • the monitoring target is specified based on the vehicle surrounding information acquired from the outside image sensor, and monitoring is performed when a user input for updating the monitoring target is received with respect to the highlighted monitoring target. Since the target is updated, the monitoring target that reflects the driver's will can be set. In addition, since the monitoring target is added as the monitoring target update, the monitoring target reflecting the driver's will can be set. In addition, when a user input to a target other than the highlighted monitoring target frame is received, the monitoring target is added, so that the driver's intention to add can be clearly input. In addition, when a user input to the target displayed on the display unit is received, the monitoring target is added, so that the instruction can be simplified.
  • the monitoring target is added, so that the driver's intention can be clearly input.
  • the monitoring target is added, so that the instruction can be simplified.
  • the monitoring target is deleted as the monitoring target update, the monitoring target reflecting the driver's will can be set.
  • the monitoring target is deleted, so that the driver's will can be clearly input.
  • the monitoring target is deleted, so that the driver's intention can be clearly input.
  • the driver since re-learning is performed, it is possible to improve the accuracy of monitoring target identification.
  • the driver not only keeps monitoring the behavior and surroundings of the system, but also performs operations for selecting and canceling things that he / she cares about and which he / she does not care about.
  • Example 2 relates to a driving support device that displays a monitoring target, as in the first embodiment.
  • the driving support device updates the monitoring target.
  • the second embodiment is predicated on AR (Augmented Reality) display by HUD (Head-Up Display), and the monitoring target is updated by a gesture by the driver.
  • AR Augmented Reality
  • HUD Head-Up Display
  • FIG. 4 shows a configuration of the vehicle 100 according to the second embodiment of the present invention.
  • the vehicle 100 includes a driving support device 10, an automatic driving control device 16, a millimeter wave radar 70, an in-vehicle image sensor 72, and a HUD 74.
  • the driving support apparatus 10 includes an I / O unit 20 and a processing unit 22, and the I / O unit 20 includes an operation signal input unit 32, a monitoring result output unit 36, an information input unit 80, and an output unit 82.
  • 22 includes a monitoring target management unit 38, a display control unit 40, and a monitoring unit 42.
  • the automatic operation control device 16 includes an I / O unit 60 and a processing unit 62.
  • Millimeter wave radar 70 can detect a situation in the range of about 100 m by using millimeter wave band radio waves.
  • the millimeter wave radar 70 includes a distance measuring function for measuring a distance to an object in front of the radar and a speed measuring function for measuring a speed with respect to the object in front of the radar.
  • the driving support device 10 and the millimeter wave radar 70 are connected by wired communication such as a dedicated line, USB, Ethernet, CAN, or the like. Therefore, the millimeter wave radar 70 outputs information on the distance to the object and the direction in which the object exists (vehicle peripheral information) to the information input unit 80.
  • the in-vehicle image sensor 72 is an imaging unit similar to the in-vehicle image sensor 12, but is installed so as to be able to image a driver in the vehicle.
  • An image captured by the in-vehicle image sensor 72 is a moving image. As described above, the image may be a plurality of still images constituting a moving image.
  • the driving support device 10 and the in-vehicle image sensor 72 are connected by wired communication such as a dedicated line, USB, Ethernet, CAN, or the like. Therefore, the vehicle interior image sensor 72 outputs the captured image to the driving support device 10.
  • the HUD 74 is a means for directly displaying information on the human visual field, and projects an image on a transparent optical glass element.
  • the HUD 74 has a small display composed of a liquid crystal display (LCD), a reflective liquid crystal panel (LCOS), a holographic optical element, or the like for projecting an image.
  • the driving support apparatus 10 and the HUD 74 may be connected by wired communication such as a dedicated line or CAN, or may be connected by wired communication or wireless communication such as USB, Ethernet, Wi-Fi, or Bluetooth. Good.
  • the monitoring target is set by (1) automatic detection of the monitoring target and (2) update of the monitoring target.
  • (1) automatic detection of a monitoring target will be described.
  • the information input unit 80 receives information from the millimeter wave radar 70
  • the information input unit 80 outputs the information to the monitoring target management unit 38.
  • the operation signal input unit 32 outputs an image to the monitoring target management unit 38 when an image captured by the in-vehicle image sensor 72 and an image captured by the driver is input.
  • the monitoring target management unit 38 inputs information from the information input unit 80 and also inputs an image from the operation signal input unit 32.
  • the monitoring target management unit 38 detects and identifies the monitoring target from the information.
  • the monitoring target here is arranged in real space and can be said to be a three-dimensional existence region.
  • the object detection in the monitoring target management unit 38 is performed by the same process as the process for the image.
  • the monitoring target management unit 38 starts tracking by adding a monitoring target, or ends tracking when the monitoring target is not included in the information.
  • the monitoring target management unit 38 specifies the position of the driver's eyes based on the image. For the specification of the eye position, the same process as the object detection for the image so far may be executed.
  • the monitoring target management unit 38 outputs information related to the monitoring target to the display control unit 40 and the monitoring unit 42, and outputs information related to the eye position to the display control unit 40.
  • the display control unit 40 inputs information on the monitoring target and information on the eye position from the monitoring target management unit 38.
  • the information regarding the monitoring target includes, for example, the position of the existing area including the monitoring target and the size of the existing area.
  • the display control unit 40 generates a figure of a frame surrounding the monitoring target (hereinafter referred to as a “monitoring target frame”) on the axis connecting the positions of the existing areas including the monitoring target from the position of the eyes.
  • the monitoring target frame indicates an existing area including the monitoring target.
  • the display control unit 40 outputs a display image including one or more monitoring target frames to the output unit 82, and the output unit 82 outputs the display image to the HUD 74.
  • the HUD 74 projects the display image input at the output unit 82 as a virtual image. Thereby, the display control unit 40 causes the HUD 74 to highlight the monitoring target specified by the monitoring target management unit 38.
  • FIG. 5 shows an outline of processing in the vehicle 100.
  • the right side of the figure indicates the traveling direction of the vehicle 100, and the driver 300 is facing the traveling direction.
  • a target object 308 exists beyond the field of view from the eyes 302 of the driver 300.
  • the target object 308 exists outside the vehicle 100.
  • a virtual image 306 is formed between the eye 302 and the target object 308 by a HUD 74 (not shown).
  • the virtual image 306 includes the above-described monitoring target frame.
  • the monitoring target frame is viewed by the driver 300 as a monitoring target frame 310 that surrounds the target object 308.
  • the monitoring target update includes addition and deletion of the monitoring target.
  • the HUD 74 is projecting a virtual image.
  • the driver checks the monitoring target frame in the virtual image projected by the HUD 74.
  • the driver performs a gesture operation using a hand or a finger within a range that can be captured by the in-vehicle image sensor 72.
  • the in-vehicle image sensor 72 images a gesture operation by the driver.
  • An image obtained by imaging the gesture motion by the driver is a user input for updating the monitoring target frame included in the virtual image projected by the HUD 74, and a user input for updating the monitoring target specified by the monitoring target management unit 38 But there is.
  • the in-vehicle image sensor 72 outputs an image to the operation signal input unit 32, and the operation signal input unit 32 outputs the image to the monitoring target management unit 38.
  • the monitoring target management unit 38 inputs an image from the operation signal input unit 32.
  • the monitoring target management unit 38 specifies the position of the finger included in the image. For specifying the position of the finger, the same processing as that for object detection on the images so far may be performed.
  • the monitoring target management unit 38 specifies the gesture action by following the change in the specified finger position.
  • the monitoring target management unit 38 determines in advance a gesture operation for adding a monitoring target and a gesture operation for deleting the monitoring target.
  • the identified gesture motion is a gesture motion that is predetermined for adding a monitoring target
  • the monitoring target management unit 38 adds an object included in the information from the information input unit 80 as a monitoring target.
  • the monitoring target management unit 38 specifies the direction indicated by the gesture action. For example, in FIG. 5, the direction of the axis extending from the eyes 302 toward the finger 304 is the specified direction. In addition, the monitoring target management unit 38 specifies an object existing in the specified direction in the information from the information input unit 80. Since a known technique may be used for specifying these, description thereof is omitted here. Furthermore, the monitoring target management unit 38 adds the identified object as a monitoring target. The object specified here is an object in real space. Furthermore, the monitoring target management unit 38 starts tracking the added monitoring target as before. Such a process can be said to be a process of adding a monitoring target when it is a gesture action determined in advance for adding a monitoring target and a gesture movement with respect to a target existing in the real space is accepted.
  • the monitoring target management unit 38 deletes the object indicated by the gesture action from the monitoring target.
  • the monitoring target management unit 38 specifies the direction indicated by the gesture operation.
  • the monitoring target management unit 38 deletes the monitoring target existing in the specified direction.
  • the monitoring target management unit 38 ends the tracking for the deleted monitoring target.
  • Such processing can be said to be processing for deleting a monitoring target when a predetermined user input is received in order to delete the monitoring target.
  • the driver checks the monitoring target frame in the virtual image projected by the HUD 74. When it is desired to update the monitoring target frame, the driver points to one point in a range that can be captured by the in-vehicle image sensor 72.
  • the in-vehicle image sensor 72 images the pointing operation by the driver. An image obtained by imaging the pointing operation by the driver is a user input for updating the monitoring target frame included in the virtual image projected by the HUD 74, and a user input for updating the monitoring target specified by the monitoring target management unit 38 But there is.
  • the in-vehicle image sensor 72 outputs an image to the operation signal input unit 32, and the operation signal input unit 32 outputs the image to the monitoring target management unit 38.
  • the monitoring target management unit 38 inputs an image from the operation signal input unit 32.
  • the monitoring target management unit 38 specifies the position of the finger included in the image. For specifying the position of the finger, the same processing as that for object detection on the images so far may be performed.
  • the monitoring target management unit 38 determines whether the specified finger position is outside or inside the monitoring target frame. Specifically, the monitoring target management unit 38 determines whether the axis extending from the eye position through the finger position is outside or inside the monitoring target frame.
  • the monitoring target management unit 38 When the selected position is outside the monitoring target frame, the monitoring target management unit 38 adds the target indicated by the user input as the monitoring target. This process is indicated by the user input when the user input is for a target other than the monitoring target frame highlighted by the display control unit 40 and the user input for the target existing in the real space is received. It can be said that it is a process of adding a target as a monitoring target.
  • the monitoring target management unit 38 deletes the monitoring target by user input.
  • the monitoring target management unit 38 may execute relearning. Furthermore, the monitoring target management unit 38 may determine whether or not to perform relearning according to the gesture operation and the pointing operation.
  • FIG. 6A-6F show images displayed on the HUD 74.
  • FIG. 6A correspond to the field of view in which the driver looks at the front of the vehicle 100 through the windshield.
  • a first monitoring target frame 400 and a second monitoring target frame 402 are projected.
  • the monitoring target management unit 38 adds the target in the enclosed real space to the monitoring target.
  • the added monitoring target is indicated as a third monitoring target frame 404.
  • the surrounding gesture operation is determined to be a gesture for permanently adding the monitoring target
  • the monitoring target management unit 38 starts tracking the third monitoring target frame 404 and executes relearning.
  • FIG. 6D is shown similarly to FIG. 6A.
  • FIG. 6E shows that when the driver indicates a position outside the first monitoring target frame 400 and the second monitoring target frame 402, that is, when the driver performs a touch gesture operation, the monitoring target management unit 38 displays the touched real space. Add the above target to the monitoring target.
  • the added monitoring target is shown as a third monitoring target frame 404 as in FIG. 6C.
  • the touch is determined to be a gesture for temporarily adding a monitoring target
  • the monitoring target management unit 38 starts tracking the third monitoring target frame 404 but does not perform relearning.
  • FIG. 7A-7F show other images displayed on the HUD 74.
  • FIG. These also correspond to the field of view in which the driver is looking in front of the vehicle 100 through the windshield.
  • FIG. 7A is shown similarly to FIG. 6A.
  • the monitoring target management unit 38 deletes the second monitoring target frame 402 with the X mark drawn from the monitoring target. To do.
  • FIG. 7C the second monitoring target frame 402 is deleted, and only the first monitoring target frame 400 is shown.
  • the gesture action for drawing the x mark is determined to be a gesture for permanently adding a monitoring target
  • the monitoring target management unit 38 ends the tracking for the second monitoring target frame 402 and executes relearning. To do.
  • FIG. 7D is shown similarly to FIG. 7A.
  • the monitoring target management unit 38 when the driver performs a gesture operation of swiping the inside of the second monitoring target frame 402, the monitoring target management unit 38 deletes the swiped second monitoring target frame 402 from the monitoring target.
  • FIG. 7F is shown similarly to FIG. 7C.
  • the monitoring target management unit 38 ends the tracking for the second monitoring target frame 402 but does not perform relearning.
  • FIG. 8 is a flowchart illustrating a processing procedure for a monitoring target by the driving support device 10.
  • the information input unit 80 acquires sensor data (S50).
  • the monitoring target management unit 38 detects the target using the learning device (S52). If the target is not tracked (N in S54), the monitoring target management unit 38 adds the target to the monitoring target (S56), and starts tracking the target (S58). On the other hand, if the target is being tracked (Y in S54), step 56 and step 58 are skipped. If the tracking of the target ends (Y in S60), the monitoring target management unit 38 deletes the monitoring target (S62).
  • step 62 is skipped.
  • the monitoring target management unit 38 detects the position of the driver's eyes (S64).
  • the monitoring target management unit 38 generates an image for displaying the monitoring target frame as a virtual image (S66).
  • the display control unit 40 displays the generated image on the HUD 74 (S68).
  • FIG. 9 is a flowchart showing a subsequent processing procedure for the monitoring target by the driving support device 10. This is a flowchart of the processing following FIG.
  • the monitoring target management unit 38 detects the position of the driver's finger (S70), and detects the movement of the finger in space (S72). If the finger is present in the frame (Y in S74) and “x” is written (Y in S76), the monitoring target management unit 38 sets the target corresponding to the frame in which “x” is written as the monitoring target. (S78), and re-learning is performed using the sensor data when the target is detected (S80).
  • the monitoring target management unit 38 deletes the target corresponding to the swipe frame from the monitoring target (S84). If it is not swipe (N in S82), the process is terminated.
  • the monitoring target management unit 38 detects the object in the enclosed real space ( In S88, the detected object is added to the monitoring object (S90).
  • the monitoring target management unit 38 starts tracking the target (S92), and re-learns using the sensor data of the target in the enclosed real space (S94). If it is not an enclosing operation (N in S86) and it is a touch (Y in S96), the monitoring target management unit 38 detects the touched target in the real space (S98) and adds the detected target to the monitoring target. (S100).
  • the monitoring target management unit 38 starts tracking the target (S102). If not touch (N in S96), the process is terminated.
  • the monitoring target when a user input to a target other than the highlighted monitoring target is received, the monitoring target is added, so that the monitoring target reflecting the driver's will can be set.
  • the monitoring target when a user input of a gesture operation that is predetermined for adding a monitoring target is received, the monitoring target is added, so that the driver's intention can be clearly input.
  • the monitoring target when a user input to a target existing in the real space is received, the monitoring target is added, so that the instruction can be simplified.
  • the peripheral detection performance can be improved by re-learning the monitoring target.
  • the monitoring target is deleted, so that the monitoring target reflecting the driver's will can be set.
  • the monitoring target is deleted, so that the driver's intention can be clearly input.
  • a driving support device emphasizes a monitoring target management unit that specifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, and a monitoring target specified by the monitoring target management unit
  • a display control unit to be displayed and an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit updates the monitoring target when the input unit receives a user input.
  • the monitoring target is specified based on the vehicle periphery information acquired from the sensor, and when the user input for updating the monitoring target is received for the highlighted monitoring target, the monitoring target is updated. Therefore, the monitoring target reflecting the driver's will can be set.
  • the apparatus includes a monitoring target management unit that identifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, a display control unit that highlights the monitoring target specified by the monitoring target management unit, And an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit adds a monitoring target when the input unit receives a user input.
  • the monitoring target is specified based on the vehicle periphery information acquired from the sensor, and the monitoring target is added when the user input for updating the monitoring target is received for the highlighted monitoring target. Therefore, the monitoring target reflecting the driver's will can be set.
  • the monitoring target management unit may add the target indicated by the user input as the monitoring target when receiving the user input for the target different from the monitoring target highlighted by the display control unit. In this case, if a user input to a target other than the highlighted monitoring target is received, the monitoring target is added, so that the driver's intention can be clearly input.
  • the monitoring target management unit may add a monitoring target when receiving a user input for the target that is different from the monitoring target highlighted by the display control unit and displayed on the display unit. . In this case, if a user input to the target displayed on the display unit is received, the monitoring target is added, so the instruction can be simplified.
  • the monitoring target management unit may add a monitoring target when receiving a user input for a target that is different from the monitoring target highlighted by the display control unit and exists in the real space. In this case, if a user input for a target existing in the real space is received, the monitoring target is added, so that the instruction can be simplified.
  • the monitoring target management unit may add the target indicated by the user input as the monitoring target when receiving a predetermined user input for adding the monitoring target. In this case, if a predetermined user input is received in order to add a monitoring target, the monitoring target is added, so that the driver's intention can be clearly input.
  • the monitoring target management unit may add a monitoring target when it is a user input predetermined for adding a monitoring target and receives a user input for the target displayed on the display unit. In this case, if a user input to the target displayed on the display unit is received, the monitoring target is added, so the instruction can be simplified.
  • the monitoring target management unit may add a monitoring target when receiving a user input for a target that is predetermined in order to add a monitoring target and that exists in the real space. In this case, if a user input for a target existing in the real space is received, the monitoring target is added, so that the instruction can be simplified.
  • Still another aspect of the present invention is also a driving support device.
  • the apparatus includes a monitoring target management unit that identifies a monitoring target based on vehicle peripheral information acquired from a sensor mounted on the vehicle, a display control unit that highlights the monitoring target specified by the monitoring target management unit, And an input unit that receives a user input for updating the monitoring target specified by the monitoring target management unit.
  • the monitoring target management unit deletes the monitoring target when the input unit accepts user input.
  • the monitoring target is specified based on the vehicle periphery information acquired from the sensor, and the monitoring target is deleted when a user input for updating the monitoring target is received for the highlighted monitoring target. Therefore, the monitoring target reflecting the driver's will can be set.
  • the monitoring target management unit may delete the monitoring target when receiving a user input for the monitoring target highlighted by the display control unit. In this case, if the user input to the highlighted monitoring target is received, the monitoring target is deleted, so that the driver's will can be clearly input.
  • the monitoring target management unit may delete the monitoring target when receiving a predetermined user input for deleting the monitoring target. In this case, if the user input predetermined in order to delete the monitoring target is received, the monitoring target is deleted, so that the driver's intention can be clearly input.
  • the monitoring target management unit holds information related to the forced monitoring target, and even if the input unit accepts user input, the forced monitoring target deletion may not be executed. In this case, since the monitoring target is continuously maintained regardless of the user input, safety for driving can be ensured.
  • the monitoring target management unit may update the reference for specifying the monitoring target based on the vehicle peripheral information according to the user input received in the input unit. In this case, since the reference for specifying the monitoring target is updated based on the vehicle periphery information, the monitoring target specifying accuracy can be improved.
  • the sensor may include at least one of a camera, a millimeter wave, and a laser.
  • Still another aspect of the present invention is a driving support method.
  • This method includes a step of specifying a monitoring target based on vehicle surrounding information acquired from a sensor mounted on the vehicle, a step of highlighting the specified monitoring target, and a user for updating the specified monitoring target A step of receiving an input, and a step of updating a monitoring target when a user input is received.
  • the driving support device 10 is implemented by a dedicated LSI.
  • driving support is performed using a CPU (Central Processing Unit) in a mobile device such as a smartphone or a tablet used as the display device 14.
  • the function of the device 10 may be realized.
  • the portable device used as the display device 14 and the automatic driving control device 16 are directly connected.
  • the function of the driving support device 10 may be realized by a CPU in a head unit such as a car navigation device or display audio.
  • a configuration in which a dedicated LSI mounting the driving support device 10 is included in the head unit may be employed. According to this modification, the degree of freedom of configuration can be improved.
  • the monitoring target management unit 38 deletes the monitoring target according to the user input.
  • the monitoring target management unit 38 may hold information related to a forced monitoring target.
  • an emergency vehicle or the like is held as information regarding a forced monitoring target. Even if the monitoring target management unit 38 receives a user input, the monitoring target management unit 38 may not perform forced deletion of the monitoring target. According to this modification, the emergency vehicle or the like is maintained as a monitoring target regardless of the user input, and thus the safety for driving the vehicle 100 can be ensured.
  • the vehicle exterior image sensor 12 in the first embodiment and the millimeter wave radar 70 in the second embodiment are used as sensors for acquiring vehicle periphery information.
  • the present invention is not limited to this.
  • at least one of LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar, and laser may be used as the sensor.
  • the millimeter wave radar 70 and the in-vehicle image sensor 72 may be used, and in the second embodiment, the in-vehicle image sensor 12 may be used.
  • a plurality of sensors may be combined. According to this modification, the degree of freedom of configuration can be improved.
  • the information acquired from the sensor is vehicle periphery information.
  • This disclosure is useful for updating the monitoring target.
  • driving support device 12 outside image sensor, 14 display device, 16 automatic driving control device, 20 I / O unit, 22 processing unit, 30 image input unit, 32 operation signal input unit, 34 image output unit, 36 monitoring result output Part, 38 monitoring target management part, 40 display control part, 42 monitoring part, 50 display part, 52 operation part, 60 I / O part, 62 processing part, 100 vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

監視対象管理部は、車両に搭載された車外画像センサから取得した車両周辺情報をもとに、監視対象を特定する。表示制御部は、監視対象管理部において特定した監視対象を強調表示させる。操作信号入力部は、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける。監視対象管理部は、操作信号入力部がユーザ入力を受けつけた場合、監視対象を更新する。

Description

運転支援方法およびそれを利用した運転支援装置とプログラム
　本発明は、運転支援技術、特に運転者にとって監視すべき対象に対する制御を支援する運転支援方法およびそれを利用した運転支援装置に関する。
　車両に搭載されたカメラにより車両周辺に存在する対象物が監視される。監視の結果に応じて、運転者にとって適切な報知表示を実行することが望まれる。そのため、監視領域内に存在する対象物を含む複数の対象物が検知されているときには、表示個数を所定の表示上限数以下に制限して表示器に表示がなされる。一方、監視領域外に存在する対象物のみが検知されているときには、表示上限数よりも多い表示個数を許容して表示器に表示がなされる（例えば、特許文献１参照）。
特開２０１４－６７７６号公報
　本発明の目的は、運転者の意志を反映した監視対象を設定する技術を提供することにある。
　本発明のある態様の運転支援装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を更新する。
　本発明の別の態様もまた、運転支援装置である。この装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を追加する。
　本発明のさらに別の態様もまた、運転支援装置である。この装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を削除する。
　本発明のさらに別の態様は、運転支援方法である。この方法は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定するステップと、特定した監視対象を強調表示させるステップと、特定した監視対象を更新するためのユーザ入力を受けつけるステップと、ユーザ入力を受けつけた場合、監視対象を更新するステップと、を有する。
　なお、以上の構成要素の任意の組合せ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、運転者の意志を反映した監視対象を設定できる。
図１は、本発明の実施例１に係る車両の構成を示す図である。 図２Ａは、図１の表示部に表示される画像を示す図である。 図２Ｂは、図１の表示部に表示される画像を示す図である。 図２Ｃは、図１の表示部に表示される画像を示す図である。 図２Ｄは、図１の表示部に表示される画像を示す図である。 図２Ｅは、図１の表示部に表示される画像を示す図である。 図２Ｆは、図１の表示部に表示される画像を示す図である。 図３は、図１の運転支援装置による監視対象に対する処理手順を示すフローチャートである。 図４は、本発明の実施例２に係る車両の構成を示す図である。 図５は、図４の車両における処理概要を示す図である。 図６Ａは、図４のＨＵＤに表示される画像を示す図である。 図６Ｂは、図４のＨＵＤに表示される画像を示す図である。 図６Ｃは、図４のＨＵＤに表示される画像を示す図である。 図６Ｄは、図４のＨＵＤに表示される画像を示す図である。 図６Ｅは、図４のＨＵＤに表示される画像を示す図である。 図６Ｆは、図４のＨＵＤに表示される画像を示す図である。 図７Ａは、図４のＨＵＤに表示される別の画像を示す図である。 図７Ｂは、図４のＨＵＤに表示される別の画像を示す図である。 図７Ｃは、図４のＨＵＤに表示される別の画像を示す図である。 図７Ｄは、図４のＨＵＤに表示される別の画像を示す図である。 図７Ｅは、図４のＨＵＤに表示される別の画像を示す図である。 図７Ｆは、図４のＨＵＤに表示される別の画像を示す図である。 図８は、図４の運転支援装置による監視対象に対する処理手順を示すフローチャートである。 図９は、図４の運転支援装置による監視対象に対する続きの処理手順を示すフローチャートである。
　本発明の実施の形態の説明に先立ち、従来の装置における問題点を簡単に説明する。監視領域を自動的に設定する場合、運転者にとっての利便性は高いが、運転者にとって気になる対象物が検知されなかったり、不要な対象物が検知されたりするおそれがある。それにより、監視の機能が十分に発揮されない。
　（実施例１）
　本発明の実施の形態は、車両に搭載した車外画像センサが撮像した画像における監視対象を表示する運転支援装置に関する。車両が自動操舵モードを実行し、かつ運転支援装置が監視対象を自動的に検出する場合、運転者は監視をし続けるだけとなるので、単調状態に陥ってしまう。また、自動的に検出した監視対象が、運転者にとって不十分であったり、不要であったりすることもあり得る。そのような状況において、運転者が監視対象を更新できなければ、単調状態に陥りながらも、自ら監視をしなければならなくなる。一方、運転者が監視対象を更新できる場合であっても、更新処理が運転者にとって面倒であれば、運転者の利便性が低減する。そのため、運転者の利便性を向上しながらも、運転者の意志を反映した監視対象を設定することが望まれる。
　これに対応するために、本実施例に係る運転支援装置は、タッチパネルを有した表示装置に、車外画像センサが撮像した画像を表示するとともに、画像中での監視対象を強調表示する。そのような状況下において、運転者が、監視対象の検出もれ、誤検出、追加で監視してほしいものを見つけると、表示装置を直接タッチすることによって、運転支援装置は、監視対象を追加あるいは削除する。
　図１は、本発明の実施例１に係る車両１００の構成を示す。車両１００は、運転支援装置１０、車外画像センサ１２、表示装置１４、自動運転制御装置１６を含む。運転支援装置１０は、Ｉ／Ｏ部（入出力部）２０、処理部２２を含む。Ｉ／Ｏ部２０は、画像入力部３０、操作信号入力部３２、画像出力部３４、監視結果出力部３６を含む。処理部２２は、監視対象管理部３８、表示制御部４０、監視部４２を含む。表示装置１４は、表示部５０、操作部５２をむ。自動運転制御装置１６は、Ｉ／Ｏ部６０、処理部６２を含む。
　車外画像センサ１２は、車両１００の前方から側方を撮像するために、車両１００のルームミラー裏に取り付けられた撮像部である。車外画像センサ１２によって撮像された画像は、車両周辺情報といえる。車外画像センサ１２には、公知技術が使用されればよいので、ここでは説明を省略する。車外画像センサ１２において撮像される画像は動画像である。なお、画像は、動画像を構成する各静止画像に対しても適用できる。運転支援装置１０と車外画像センサ１２との間は、専用線、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、Ｅｔｈｅｒｎｅｔ（登録商標、以下同様）、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の有線通信で接続される。そのため、車外画像センサ１２は、撮像した画像を運転支援装置１０に出力する。
　表示装置１４は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。表示部５０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。操作部５２は、運転者の入力を受けつけるためのユーザインタフェースである。表示部５０と操作部５２は一体化したタッチパネルディスプレイであってもよい。なお、操作部５２は、マウス、スタイラスペン、トラックボール等のジェスチャー入力を補助する入力デバイスを有していてもよい。また可視光または赤外線を発光するペンを使用してもよい。さらに、表示部５０と操作部５２が一体型のタッチパネルディスプレイではなく、物理的に別々に構成されていてもよい。
　運転支援装置１０と表示装置１４との間は、専用線、ＣＡＮ等の有線通信で接続されていてもよいし、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉ（登録商標、以下同様）、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下同様）等の有線通信または無線通信で接続されていてもよい。
　自動運転制御装置１６は、自動運転制御機能を実装した自動運転コントローラである。処理部６２の構成はハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、その他のＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部６０は、各種の通信フォーマットに応じた各種の通信制御を実行する。
　運転支援装置１０は、車両１００と運転者との間のインタフェース機能を実行するためのＨＭＩ（Ｈｕｍａｎ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ）コントローラである。処理部２２は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部２０は、各種の通信フォーマットに応じた各種の通信制御を実行する。運転支援装置１０と自動運転制御装置１６との間は直接、信号線で接続される。なお、これらはＣＡＮを介して接続されてもよい。また、運転支援装置１０と自動運転制御装置１６を統合して１つのコントローラとしてもよい。
　以下では、このような構成における監視対象の設定について説明する。監視対象の設定は、（１）監視対象の自動検知、（２）監視対象の更新によって実行される。まず、（１）監視対象の自動検知を説明する。車外画像センサ１２は、撮像した画像を画像入力部３０に出力する。画像入力部３０は、車外画像センサ１２からの画像を入力する。画像入力部３０は、画像を監視対象管理部３８、表示制御部４０に出力する。
　監視対象管理部３８は、画像入力部３０からの画像を入力する。監視対象管理部３８は、画像から監視対象を検出・特定する。ここでの監視対象は、画像上に配置されており、２次元の存在領域であるといえる。監視対象管理部３８における物体検出は、２段階の処理によって実行される。まず、監視対象管理部３８は、画像からＨａａｒ－ｌｉｋｅ、ＬＢＰ（Ｌｏｃａｌ　Ｂｉｎａｒｙ　Ｐａｔｔｅｒｎ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）などの特徴量を抽出する。次に、監視対象管理部３８は、抽出した特徴量をＡｄａＢｏｏｓｔ、ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）などの識別器において識別することによって、監視対象とすべき物体を抽出する。
　監視対象管理部３８は、抽出した物体をトラッキングしていない場合、抽出した物体を監視対象に追加し、トラッキングを開始する。ここで、抽出した物体をトラッキングしていない場合とは、抽出した物体の存在領域と、既にトラッキングしているすべての監視対象の領域とが所定の値以上異なる場合に相当する。また、抽出した物体をトラッキングしていない場合とは、抽出した物体の存在領域の中心座標と、既にトラッキングしているすべての監視対象の領域の中心座標とが所定の値以上離れている場合であってもよい。これらにおいて、所定の値は予め定められればよい。
　監視対象管理部３８は、トラッキングを開始すると、既に監視対象を特定した画像（以下、「第１画像」という）での情報を利用して、第１画像よりも後段の画像（以下、「第２画像」という）において監視対象を特定する。具体的に説明すると、監視対象管理部３８は、第１画像において監視対象が存在している座標の近くを優先して、第２画像から監視対象を探す。一方、監視対象管理部３８は、監視対象が画像に含まれなくなると、監視対象に対するトラッキングを終了する。監視対象管理部３８は、トラッキングを終了すると、その物体を監視対象から削除する。監視対象管理部３８は、各画像に対する監視対象に関する情報を表示制御部４０、監視部４２に出力する。
　表示制御部４０は、画像入力部３０から、画像を入力するとともに、監視対象管理部３８から、監視対象に関する情報を入力する。ここで、監視対象に関する情報は、例えば、画像において監視対象が含まれる存在領域の中心座標と、存在領域の大きさを含む。表示制御部４０は、監視対象が含まれる存在領域を示す枠の図形（以下、「監視対象枠」という）を画像に重畳することによって、表示用の画像を生成する。監視対象が複数含まれる場合、複数の監視対象枠が画像に示される。表示制御部４０は、表示用の画像を画像出力部３４に出力し、画像出力部３４は、表示用の画像を表示部５０に出力する。表示部５０は、画像出力部３４から入力した表示用の画像を表示する。つまり、表示制御部４０は、監視対象管理部３８において特定した監視対象を表示部５０に強調表示させる。
　監視部４２は、監視対象管理部３８から、監視対象に関する情報を入力する。監視部４２は、監視対象に対する監視を実行する。なお、監視対象が複数存在する場合、監視部４２は、各監視対象に対する監視を実行する。監視とは、例えば、車両１００と監視対象との衝突を防止するために両者の距離を逐次測定する処理である。そのため、監視部４２は、監視対象管理部３８において特定した監視対象と車両１００との距離を測定する。ここで、監視部４２は、画像入力部３０に入力した画像から距離を測定してもよく、図示しない距離センサを使用して距離を測定してもよい。このような距離の測定には公知の技術が使用されればよいので、ここでは説明を省略する。監視部４２は、各監視対象に対する距離を監視結果として監視結果出力部３６に出力する。
　監視結果出力部３６は、監視部４２における監視結果を自動運転制御装置１６に出力する。自動運転制御装置１６の処理部６２は、Ｉ／Ｏ部６０を介して、監視結果出力部３６からの監視結果を入力する。処理部６２は、監視結果において示されている距離を自動運転に反映させる。例えば、距離がしきい値よりも小さい場合、処理部６２は、車両１００を停止させる。
　次に、（２）監視対象の更新を説明する。監視対象の更新には、監視対象の追加と削除が含まれる。ここでは、表示部５０に表示用の画像が表示されていることを前提にする。運転者は、表示部５０に表示された表示用の画像における監視対象枠を確認する。監視対象枠を更新したい場合、運転者は、表示装置１４のタッチパネルをタッチする。これは、運転者が操作部５２を操作することに相当する。つまり、操作部５２は、表示部５０に表示した監視対象枠を更新するためのユーザ入力を受けつける。表示部５０に表示した監視対象枠を更新するためのユーザ入力は、監視対象管理部３８において特定した監視対象を更新するためのユーザ入力でもある。その際、操作部５２が受けつけたユーザ入力は、表示部５０を介して、操作信号入力部３２に入力される。
　操作信号入力部３２は、操作部５２に対してなされた運転者によるユーザ入力を入力し、ユーザ入力を監視対象管理部３８に出力する。監視対象管理部３８は、操作信号入力部３２からのユーザ入力を入力する。監視対象管理部３８は、表示部５０上においてユーザ入力による選択がなされた座標を取得する。また、ユーザ入力が、表示部５０上の１点以上の選択ではなく、所定のパターンを描くような動作であった場合、監視対象管理部３８は、パターンに対応した座標の組合せを取得する。
　以下では、「選択された座標」を取得した場合を説明してから、「パターンに対応した座標の組合せ」を取得した場合を説明する。監視対象管理部３８は、「選択された座標」を取得した場合、選択された座標と監視対象枠の座標とを比較する。なお、監視対象枠が複数設けられている場合、すべての監視対象枠との比較がなされる。つまり、監視対象管理部３８は、ユーザ入力で選択された位置が監視対象枠の外であるか、中であるかを判定する。
　選択された位置が監視対象枠の外である場合、監視対象管理部３８は、ユーザ入力によって示された対象を監視対象として追加する。具体的に説明すると、ユーザ入力による選択がなされた座標に、前述の物体検出によって物体が検出されていれば、監視対象管理部３８は、検出された物体を監視対象として追加する。また、監視対象管理部３８は、ユーザ入力による選択がなされた座標を中心として、予め定められた広さを有する領域を監視対象として追加してもよい。なお、前者の場合、これまでと同様にトラッキングが開始されるが、後者の場合、前述のトラッキングが開始されても、監視対象の位置は固定である。このような処理は、表示制御部４０が強調表示させている監視対象枠とは別の対象に対するユーザ入力であって、かつ表示部５０に表示された対象に対するユーザ入力を受けつけた場合、ユーザ入力によって示された対象を監視対象として追加する処理といえる。
　図２Ａ－２Ｆは、表示部５０に表示される画像を示す。図２Ａにおいては、第１監視対象枠２００、第２監視対象枠２０２が監視対象として強調表示されている。図２Ｂにおいて、運転者は、第１監視対象枠２００、第２監視対象枠２０２以外の対象をタッチする。これは、操作部５２がユーザ入力を受けつけることに相当する。図２Ｃでは、第１監視対象枠２００、第２監視対象枠２０２に加えて、ユーザ入力による選択がなされた第３監視対象枠２０４も強調表示される。図２Ｄ－２Ｆについては後述する。図１に戻る。
　一方、選択された位置が監視対象枠の中である場合、監視対象管理部３８は、監視対象を削除する。つまり、監視対象管理部３８は、表示制御部４０が強調表示させている監視対象に対するユーザ入力を受けつけた場合、監視対象を削除する。その場合、監視対象管理部３８は、削除した監視対象に対するトラッキングも終了する。図２Ｄでは、図２Ａと同様の表示がなされる。図２Ｅにおいて、運転者は、第２監視対象枠２０２をタッチする。これは、操作部５２がユーザ入力を受けつけることに相当する。図２Ｆでは、第１監視対象枠２００のみが強調表示され続け、第２監視対象枠２０２が強調表示されなくなる。図１に戻る。このように、監視対象管理部３８は、入力部がユーザ入力を受けつけた場合、監視対象を更新する。
　監視対象管理部３８は、「パターンに対応した座標の組合せ」を取得した場合、座標の組合せに対応したパターンの形状を特定する。一方、監視対象管理部３８は、監視対象を追加するためのパターンの形状と、監視対象を削除するためのパターンの形状とを予め定める。特定したパターンの形状が、監視対象を追加するために予め定められたパターンの形状である場合、監視対象管理部３８は、パターンの形状で示された物体を監視対象として追加する。
　具体的に説明すると、監視対象を追加するために予め定められたパターンの形状が、四角い枠である場合、枠の形状によって囲まれた物体、あるいは枠の形によって示された領域が監視対象として追加される。なお、監視対象を追加するために予め定められたパターンの形状は、四角い枠に限定されず、円形枠やその他の形状であってもよい。さらに、監視対象管理部３８は、追加した監視対象に対して、これまでと同様にトラッキングを開始する。このような処理は、監視対象を追加するために予め定められたユーザ入力であって、かつ表示部５０に表示された対象に対するユーザ入力を受けつけた場合、監視対象を追加する処理といえる。
　特定したパターンの形状が、監視対象を削除するために予め定められたパターンの形状である場合、監視対象管理部３８は、パターンの形状で示された物体を監視対象から削除する。具体的に説明すると、監視対象を追加するために予め定められたパターンの形状が、スワイプによって決められる場合、スワイプした線分が外接する
1472186788460_0
もしくは円形によって示された物体が監視対象から削除される。なお、監視対象を削除するために予め定められたパターンの形状は、スワイプによる形状に限定されない。さらに、監視対象管理部３８は、削除した監視対象に対するトラッキングを終了する。このような処理は、監視対象を削除するために予め定められたユーザ入力を受けつけた場合、監視対象を削除する処理といえる。
　監視対象管理部３８は、受けつけたユーザ入力に応じて、監視対象を特定するための基準を更新してもよい。つまり、監視対象管理部３８は、ユーザ入力によって追加された監視対象と同様の物体を新たな画像において検出した場合、追加した物体を監視対象として特定するように再学習する。また、監視対象管理部３８は、ユーザ入力によって削除された監視対象と同様の物体を新たな画像において検出した場合、削除した物体を監視対象として特定しないように再学習する。
　以上の構成による運転支援装置１０の動作を説明する。図３は、運転支援装置１０による監視対象に対する処理手順を示すフローチャートである。画像入力部３０は、画像を取得する（Ｓ１０）。監視対象管理部３８は、学習器を用いて対象を検知する（Ｓ１２）。対象がトラッキングされていなければ（Ｓ１４のＮ）、監視対象管理部３８は、対象を監視対象に追加し（Ｓ１６）、対象をトラッキング開始する（Ｓ１８）。一方、対象がトラッキングされていれば（Ｓ１４のＹ）、ステップ１６、ステップ１８はスキップされる。対象のトラッキングが終了すれば（Ｓ２０のＹ）、監視対象管理部３８は、監視対象を削除する（Ｓ２２）。一方、対象のトラッキングが終了しなければ（Ｓ２０のＮ）、ステップ２２はスキップされる。
　表示制御部４０は、取得した画像に監視対象を枠で描画した画像を生成する（Ｓ２４）。表示制御部４０は、生成した画像を表示部５０に表示させる（Ｓ２６）。表示部５０がタッチされた場合（Ｓ２８のＹ）、監視対象管理部３８は、タッチした座標を取得する（Ｓ３０）。監視対象の枠内がタッチされれば（Ｓ３２のＹ）、監視対象管理部３８は、監視対象を削除する（Ｓ３４）。監視対象の枠外の物体がタッチされれば（Ｓ３２のＮ）、監視対象管理部３８は、タッチされた物体を監視対象に追加する（Ｓ３６）。監視対象管理部３８は、監視対象をトラッキング開始する（Ｓ３８）。一方、表示部５０がタッチされなければ（Ｓ２８のＮ）、ステップ３０からステップ３８はスキップされる。
　本実施例によれば、車外画像センサから取得した車両周辺情報をもとに監視対象を特定するとともに、強調表示させた監視対象に対して、監視対象を更新するためのユーザ入力を受けつけると監視対象を更新するので、運転者の意志を反映した監視対象を設定できる。また、監視対象の更新として監視対象を追加するので、運転者の意志を反映した監視対象を設定できる。また、強調表示させている監視対象枠とは別の対象に対するユーザ入力を受けつけると、監視対象を追加するので、運転者の追加の意志を明確に入力できる。また、表示部に表示された対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。また、監視対象を追加するために予め定められたパターンのユーザ入力を受けつけると、監視対象を追加するので、運転者の意志を明確に入力できる。また、表示部に表示された対象に対するパターンのユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。
　また、監視対象の更新として監視対象を削除するので、運転者の意志を反映した監視対象を設定できる。また、強調表示させている監視対象枠に対するユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を明確に入力できる。また、監視対象を削除するために予め定められたパターンのユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を明確に入力できる。また、再学習を実行するので、監視対象の特定精度を向上できる。また、運転者はシステムの挙動や周辺を監視し続けるだけではなく”自身が”気になるもの、気にならないものの選択・解除のための操作を実施するので、単調状態になりにくくできる。また、検出もれ・誤検出を低減することができ、機械では検知しにくい運転者の感性を反映した周辺検知が可能となるため、より運転者の嗜好に合った運転ができる。
　（実施例２）
　次に、実施例２を説明する。実施例２は、実施例１と同様に、監視対象を表示する運転支援装置に関する。実施例１では、運転者が、表示装置を直接タッチすることによって、運転支援装置が、監視対象を更新している。一方、実施例２は、ＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）によるＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示を前提としており、運転者によるジェスチャーによって、監視対象が更新される。ここでは、これまでとの差異を中心に説明する。
　図４は、本発明の実施例２に係る車両１００の構成を示す。車両１００は、運転支援装置１０、自動運転制御装置１６、ミリ波レーダ７０、車内画像センサ７２、ＨＵＤ７４を含む。運転支援装置１０は、Ｉ／Ｏ部２０、処理部２２を含み、Ｉ／Ｏ部２０は、操作信号入力部３２、監視結果出力部３６、情報入力部８０、出力部８２を含み、処理部２２は、監視対象管理部３８、表示制御部４０、監視部４２を含む。自動運転制御装置１６は、Ｉ／Ｏ部６０、処理部６２を含む。
　ミリ波レーダ７０は、ミリ波帯の電波を使用することによって１００ｍ程度の範囲の状況を探知可能である。ミリ波レーダ７０には、レーダ前方の物体までの距離を測定する距離測定機能と、レーダ前方の物体に対する速度を測定する速度測定機能が含まれる。運転支援装置１０とミリ波レーダ７０との間は、専用線、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＣＡＮ等の有線通信で接続される。そのため、ミリ波レーダ７０は、物体までの距離と物体が存在する方向に関する情報（車両周辺情報）を情報入力部８０に出力する。
　車内画像センサ７２は、車外画像センサ１２と同様の撮像部であるが、車内の運転者を撮像可能に設置される。車内画像センサ７２において撮像される画像は動画像である。なお、前述のごとく、画像は、動画像を構成する複数の静止画像であってもよい。運転支援装置１０と車内画像センサ７２との間は、専用線、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、ＣＡＮ等の有線通信で接続される。そのため、車内画像センサ７２は、撮像した画像を運転支援装置１０に出力する。
　ＨＵＤ７４は、人間の視野に直接情報を映し出す手段であり、透明な光学ガラス素子に画像を投影する。ＨＵＤ７４は、画像を投影するために、液晶ディスプレイ（ＬＣＤ）、反射型液晶パネル（ＬＣＯＳ）、ホログラフィック光学素子などで構成された小型ディスプレイを有する。運転支援装置１０とＨＵＤ７４との間は、専用線、ＣＡＮ等の有線通信で接続されていてもよいし、ＵＳＢ、Ｅｔｈｅｒｎｅｔ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の有線通信または無線通信で接続されていてもよい。
　以下では、このような構成における監視対象の設定について説明する。監視対象の設定は、（１）監視対象の自動検知、（２）監視対象の更新によって実行される。まず、（１）監視対象の自動検知を説明する。情報入力部８０は、ミリ波レーダ７０からの情報を入力すると、情報を監視対象管理部３８に出力する。また、操作信号入力部３２は、車内画像センサ７２において撮像した画像であって、かつ運転者が撮像された画像を入力すると、画像を監視対象管理部３８に出力する。
　監視対象管理部３８は、情報入力部８０からの情報を入力するとともに、操作信号入力部３２からの画像を入力する。監視対象管理部３８は、情報から監視対象を検出・特定する。ここでの監視対象は、実空間に配置されており、３次元の存在領域であるといえる。監視対象管理部３８における物体検出は、画像に対する処理と同様の処理によってなされる。また、監視対象管理部３８は、これまでと同様に、監視対象を追加することによってトラッキングを開始したり、監視対象が情報に含まれなくなることによってトラッキングを終了したりする。さらに、監視対象管理部３８は、画像をもとに運転者の目の位置を特定する。目の位置の特定にも、これまでの画像に対する物体検出と同様の処理が実行されればよい。監視対象管理部３８は、監視対象に関する情報を表示制御部４０、監視部４２に出力し、目の位置に関する情報を表示制御部４０に出力する。
　表示制御部４０は、監視対象管理部３８から、監視対象に関する情報、目の位置に関する情報を入力する。ここで、監視対象に関する情報は、例えば、監視対象が含まれる存在領域の位置と、存在領域の大きさを含む。表示制御部４０は、目の位置から、監視対象が含まれる存在領域の位置を結ぶ軸上において、監視対象を囲むような枠の図形（以下、「監視対象枠」という）を生成する。監視対象枠は、監視対象が含まれる存在領域を示す。監視対象が複数含まれる場合、複数の監視対象枠が生成される。表示制御部４０は、１つ以上の監視対象枠が含まれた表示用の画像を出力部８２に出力し、出力部８２は、表示用の画像をＨＵＤ７４に出力する。ＨＵＤ７４は、出力部８２において入力した表示用の画像を虚像として投影する。これにより、表示制御部４０は、監視対象管理部３８において特定した監視対象をＨＵＤ７４に強調表示させる。
　図５は、車両１００における処理概要を示す。ここでは、図の右側が車両１００の進行方向を示しており、運転者３００は、進行方向を向いている。運転者３００の目３０２からの視界の先には、対象物体３０８が存在する。ここで、対象物体３０８は、車両１００の外に存在する。目３０２と対象物体３０８の間に、虚像３０６が、図示しないＨＵＤ７４によって形成される。虚像３０６には、前述の監視対象枠が含まれているが、この監視対象枠は、運転者３００にとって、対象物体３０８を囲むような監視対象枠３１０として見る。図４に戻る。監視対象に対する監視部４２、自動運転制御装置１６の処理はこれまでと同様であるので、ここでは説明を省略する。
　次に、（２）監視対象の更新を説明する。監視対象の更新には、監視対象の追加と削除が含まれる。ここでは、ＨＵＤ７４が虚像を投影していることを前提にする。運転者は、ＨＵＤ７４によって投影された虚像における監視対象枠を確認する。監視対象枠を更新したい場合、運転者は、車内画像センサ７２が撮像可能な範囲において手あるいは指を使用したジェスチャー動作を実行する。車内画像センサ７２は、運転者によるジェスチャー動作を撮像する。運転手によるジェスチャー動作を撮像した画像が、ＨＵＤ７４が投影した虚像に含まれた監視対象枠を更新するためのユーザ入力であり、監視対象管理部３８において特定した監視対象を更新するためのユーザ入力でもある。車内画像センサ７２は、画像を操作信号入力部３２に出力し、操作信号入力部３２は、画像を監視対象管理部３８に出力する。
　監視対象管理部３８は、操作信号入力部３２からの画像を入力する。監視対象管理部３８は、画像に含まれた指の位置を特定する。指の位置の特定にも、これまでの画像に対する物体検出と同様の処理が実行されればよい。監視対象管理部３８は、特定した指の位置の変化を追従することによって、ジェスチャー動作を特定する。一方、監視対象管理部３８は、監視対象を追加するためのジェスチャー動作と、監視対象を削除するためのジェスチャー動作とを予め定める。特定したジェスチャー動作が、監視対象を追加するために予め定められたジェスチャー動作である場合、監視対象管理部３８は、情報入力部８０からの情報に含まれる物体を監視対象として追加する。
　具体的に説明すると、監視対象管理部３８は、ジェスチャー動作によって示されている方向を特定する。例えば、図５において、目３０２から指３０４に向かって延びる軸の方向が、特定した方向である。また、監視対象管理部３８は、特定した方向に存在する物体を、情報入力部８０からの情報において特定する。これらの特定には公知の技術が使用されればよいので、ここでは説明を省略する。さらに、監視対象管理部３８は、特定した物体を監視対象として追加する。ここで特定される物体は、実空間での物体である。さらに、監視対象管理部３８は、追加した監視対象に対して、これまでと同様にトラッキングを開始する。このような処理は、監視対象を追加するために予め定められたジェスチャー動作であって、かつ実空間に存在する対象に対するジェスチャー動作を受けつけた場合、監視対象を追加する処理といえる。
　特定したジェスチャー動作が、監視対象を削除するために予め定められたジェスチャー動作である場合、監視対象管理部３８は、ジェスチャー動作で示された物体を監視対象から削除する。監視対象管理部３８は、ジェスチャー動作によって示されている方向を特定する。また、監視対象管理部３８は、特定した方向に存在する監視対象を削除する。さらに、監視対象管理部３８は、削除した監視対象に対するトラッキングを終了する。このような処理は、監視対象を削除するために予め定められたユーザ入力を受けつけた場合、監視対象を削除する処理といえる。
　なお、ユーザ入力は、ジェスチャー動作に限定されない。運転者は、ＨＵＤ７４によって投影された虚像における監視対象枠を確認する。監視対象枠を更新したい場合、運転者は、車内画像センサ７２が撮像可能な範囲における１点を指さす。車内画像センサ７２は、運転者による指さし動作を撮像する。運転手による指さし動作を撮像した画像が、ＨＵＤ７４が投影した虚像に含まれた監視対象枠を更新するためのユーザ入力であり、監視対象管理部３８において特定した監視対象を更新するためのユーザ入力でもある。車内画像センサ７２は、画像を操作信号入力部３２に出力し、操作信号入力部３２は、画像を監視対象管理部３８に出力する。
　監視対象管理部３８は、操作信号入力部３２からの画像を入力する。監視対象管理部３８は、画像に含まれた指の位置を特定する。指の位置の特定にも、これまでの画像に対する物体検出と同様の処理が実行されればよい。監視対象管理部３８は、特定した指の位置が監視対象枠の外であるか、中であるかを判定する。具体的に説明すると、監視対象管理部３８は、目の位置から指の位置を通って延びる軸が監視対象枠の外であるか、中であるかを判定する。
　選択された位置が監視対象枠の外である場合、監視対象管理部３８は、ユーザ入力によって示された対象を監視対象として追加する。この処理は、表示制御部４０が強調表示させている監視対象枠とは別の対象に対するユーザ入力であって、かつ実空間に存在する対象に対するユーザ入力を受けつけた場合、ユーザ入力によって示された対象を監視対象として追加する処理といえる。一方、選択された位置が監視対象枠の中である場合、監視対象管理部３８は、ユーザ入力によって監視対象を削除する。なお、ここでも、監視対象管理部３８は、再学習を実行してもよい。さらに、監視対象管理部３８は、ジェスチャー動作、指さし動作に応じて、再学習をするか否かを決定してもよい。
　図６Ａ－６Ｆは、ＨＵＤ７４に表示される画像を示す。これらは、運転者がフロントガラスごしに車両１００の前方を見ている視界に相当する。図６Ａでは、第１監視対象枠４００、第２監視対象枠４０２が投影されている。図６Ｂでは、運転者が、第１監視対象枠４００、第２監視対象枠４０２外で囲むジェスチャー動作をした場合、監視対象管理部３８は、囲まれた実空間上の対象を監視対象に追加する。図６Ｃでは、追加された監視対象が第３監視対象枠４０４と示される。ここでは、囲むジェスチャー動作が監視対象を永久追加するジェスチャーと決められていた場合、監視対象管理部３８は、第３監視対象枠４０４に対するトラッキングを開始するとともに、再学習を実行する。
　図６Ｄは、図６Ａと同様に示される。図６Ｅは、運転者が、第１監視対象枠４００、第２監視対象枠４０２外の位置を示した場合、つまりタッチのジェスチャー動作をした場合、監視対象管理部３８は、タッチされた実空間上の対象を監視対象に追加する。図６Ｆでは、図６Ｃと同様に、追加された監視対象が第３監視対象枠４０４と示される。ここでは、タッチが監視対象を一時追加するジェスチャーと決められていた場合、監視対象管理部３８は、第３監視対象枠４０４に対するトラッキングを開始するが、再学習を実行しない。
　図７Ａ－７Ｆは、ＨＵＤ７４に表示される別の画像を示す。これらも、運転者がフロントガラスごしに車両１００の前方を見ている視界に相当する。図７Ａは、図６Ａと同様に示される。図７Ｂでは、運転者が、第２監視対象枠４０２内に×印を描くジェスチャー動作をした場合、監視対象管理部３８は、×印が描かれた第２監視対象枠４０２を監視対象から削除する。図７Ｃでは、第２監視対象枠４０２が削除されて、第１監視対象枠４００のみが示される。ここでは、×印を描くジェスチャー動作が監視対象を永久追加するジェスチャーと決められていた場合、また、監視対象管理部３８は、第２監視対象枠４０２に対するトラッキングを終了するとともに、再学習を実行する。
　図７Ｄは、図７Ａと同様に示される。図７Ｅでは、運転者が、第２監視対象枠４０２内をスワイプするジェスチャー動作をした場合、監視対象管理部３８は、スワイプされた第２監視対象枠４０２を監視対象から削除する。図７Ｆは、図７Ｃと同様に示される。また、ここでは、スワイプするジェスチャー動作が監視対象を一時追加するジェスチャーと決められていた場合、監視対象管理部３８は、第２監視対象枠４０２に対するトラッキングを終了するが、再学習を実行しない。
　以上の構成による運転支援装置１０の動作を説明する。図８は、運転支援装置１０による監視対象に対する処理手順を示すフローチャートである。情報入力部８０は、センサデータを取得する（Ｓ５０）。監視対象管理部３８は、学習器を用いて対象を検知する（Ｓ５２）。対象がトラッキングされていなければ（Ｓ５４のＮ）、監視対象管理部３８は、対象を監視対象に追加し（Ｓ５６）、対象をトラッキング開始する（Ｓ５８）。一方、対象がトラッキングされていれば（Ｓ５４のＹ）、ステップ５６、ステップ５８はスキップされる。対象のトラッキングが終了すれば（Ｓ６０のＹ）、監視対象管理部３８は、監視対象を削除する（Ｓ６２）。一方、対象のトラッキングが終了しなければ（Ｓ６０のＮ）、ステップ６２はスキップされる。監視対象管理部３８は、運転者の目の位置を検知する（Ｓ６４）。監視対象管理部３８は、監視対象の枠を虚像として表示するための画像を生成する（Ｓ６６）。表示制御部４０は、生成した画像をＨＵＤ７４に表示させる（Ｓ６８）。
　図９は、運転支援装置１０による監視対象に対する続きの処理手順を示すフローチャートである。これは図８に続く処理のフローチャートである。監視対象管理部３８は、運転者の指の位置を検知し（Ｓ７０）、空間上での指の動作を検知する（Ｓ７２）。指が枠内に存在し（Ｓ７４のＹ）、「×」を書く動作であれば（Ｓ７６のＹ）、監視対象管理部３８は、「×」を書かれた枠に対応する対象を監視対象から削除し（Ｓ７８）、対象を検出した際のセンサデータを用いて再学習する（Ｓ８０）。「×」を書く動作でなく（Ｓ７６のＮ）、スワイプであれば（Ｓ８２のＹ）、監視対象管理部３８は、スワイプされた枠に対応する対象を監視対象から削除する（Ｓ８４）。スワイプでなければ（Ｓ８２のＮ）、処理は終了される。
　指が枠内に存在せず、すなわち枠外に存在し（Ｓ７４のＮ）、囲む動作であれば（Ｓ８６のＹ）、監視対象管理部３８は、囲まれた実空間上の対象を検出し（Ｓ８８）、検出した対象を監視対象に追加する（Ｓ９０）。監視対象管理部３８は、対象をトラッキング開始し（Ｓ９２）、囲まれた実空間上の対象のセンサデータを用いて再学習する（Ｓ９４）。囲む動作でなく（Ｓ８６のＮ）、タッチであれば（Ｓ９６のＹ）、監視対象管理部３８は、タッチされた実空間上の対象を検出し（Ｓ９８）、検出した対象を監視対象に追加する（Ｓ１００）。監視対象管理部３８は、対象をトラッキング開始する（Ｓ１０２）。タッチでなければ（Ｓ９６のＮ）、処理は終了される。
　本実施例によれば、強調表示させている監視対象とは別の対象に対するユーザ入力を受けつけると、監視対象を追加するので、運転者の意志を反映した監視対象を設定できる。また、監視対象を追加するために予め定められたジェスチャー動作のユーザ入力を受けつけると、監視対象を追加するので、運転者の意志を明確に入力できる。また、実空間に存在する対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。また、ジェスチャー動作に応じて再学習をするか否かを決定するので、利便性を向上できる。また、監視対象を再学習することで、周辺検知性能を向上できる。また、強調表示させている監視対象に対するユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を反映した監視対象を設定できる。また、監視対象を削除するために予め定められたジェスチャー動作のユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を明確に入力できる。
　以上、本発明を実施例をもとに説明した。これらの実施例は例示であり、それらの構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　本発明の一態様の概要は、次の通りである。本発明のある態様の運転支援装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を更新する。
　この態様によると、センサから取得した車両周辺情報をもとに監視対象を特定するとともに、強調表示させた監視対象に対して、監視対象を更新するためのユーザ入力を受けつけると監視対象を更新するので、運転者の意志を反映した監視対象を設定できる。
　本発明の別の態様もまた、運転支援装置である。この装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を追加する。
　この態様によると、センサから取得した車両周辺情報をもとに監視対象を特定するとともに、強調表示させた監視対象に対して、監視対象を更新するためのユーザ入力を受けつけると監視対象を追加するので、運転者の意志を反映した監視対象を設定できる。
　監視対象管理部は、表示制御部が強調表示させている監視対象とは別の対象に対するユーザ入力を受けつけた場合、ユーザ入力によって示された対象を監視対象として追加してもよい。この場合、強調表示させている監視対象とは別の対象に対するユーザ入力を受けつけると、監視対象を追加するので、運転者の意志を明確に入力できる。
　監視対象管理部は、表示制御部が強調表示させている監視対象とは別の対象であって、かつ表示部に表示された対象に対するユーザ入力を受けつけた場合、監視対象を追加してもよい。この場合、表示部に表示された対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。
　監視対象管理部は、表示制御部が強調表示させている監視対象とは別の対象であって、かつ実空間に存在する対象に対するユーザ入力を受けつけた場合、監視対象を追加してもよい。この場合、実空間に存在する対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。
　監視対象管理部は、監視対象を追加するために予め定められたユーザ入力を受けつけた場合、ユーザ入力によって示された対象を監視対象として追加してもよい。この場合、監視対象を追加するために予め定められたユーザ入力を受けつけると、監視対象を追加するので、運転者の意志を明確に入力できる。
　監視対象管理部は、監視対象を追加するために予め定められたユーザ入力であって、かつ表示部に表示された対象に対するユーザ入力を受けつけた場合、監視対象を追加してもよい。この場合、表示部に表示された対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。
　監視対象管理部は、監視対象を追加するために予め定められたユーザ入力であって、かつ実空間に存在する対象に対するユーザ入力を受けつけた場合、監視対象を追加してもよい。この場合、実空間に存在する対象に対するユーザ入力を受けつけると、監視対象を追加するので、指示を簡易にできる。
　本発明のさらに別の態様もまた、運転支援装置である。この装置は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、監視対象管理部において特定した監視対象を強調表示させる表示制御部と、監視対象管理部において特定した監視対象を更新するためのユーザ入力を受けつける入力部とを有する。監視対象管理部は、入力部がユーザ入力を受けつけた場合、監視対象を削除する。
　この態様によると、センサから取得した車両周辺情報をもとに監視対象を特定するとともに、強調表示させた監視対象に対して、監視対象を更新するためのユーザ入力を受けつけると監視対象を削除するので、運転者の意志を反映した監視対象を設定できる。
　監視対象管理部は、表示制御部が強調表示させている監視対象に対するユーザ入力を受けつけた場合、監視対象を削除してもよい。この場合、強調表示させている監視対象に対するユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を明確に入力できる。
　監視対象管理部は、監視対象を削除するために予め定められたユーザ入力を受けつけた場合、監視対象を削除してもよい。この場合、監視対象を削除するために予め定められたユーザ入力を受けつけると、監視対象を削除するので、運転者の意志を明確に入力できる。
　監視対象管理部は、強制的な監視対象に関する情報を保持しており、入力部がユーザ入力を受けつけた場合であっても、強制的な監視対象の削除を非実行としてもよい。この場合、ユーザ入力に関係なく監視対象を維持し続けるので、運転に対する安全性を確保できる。
　監視対象管理部は、入力部において受けつけたユーザ入力に応じて、車両周辺情報をもとに監視対象を特定するための基準を更新してもよい。この場合、車両周辺情報をもとに監視対象を特定するための基準を更新するので、監視対象の特定精度を向上できる。
　センサは、カメラ、ミリ波、レーザーのうち少なくともひとつを含んでもよい。
　本発明のさらに別の態様は、運転支援方法である。この方法は、車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定するステップと、特定した監視対象を強調表示させるステップと、特定した監視対象を更新するためのユーザ入力を受けつけるステップと、ユーザ入力を受けつけた場合、監視対象を更新するステップと、を有する。
　実施例１、２において、運転支援装置１０は専用のＬＳＩで実装する例を想定したが、表示装置１４として使用するスマートフォンやタブレット等の携帯機器内のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いて運転支援装置１０の機能を実現してもよい。この場合、表示装置１４として使用する携帯機器と自動運転制御装置１６とが直接接続されることになる。また運転支援装置１０の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のＣＰＵで実現してもよい。また運転支援装置１０を実装した専用のＬＳＩをヘッドユニット内に含める構成でもよい。本変形例によれば、構成の自由度を向上できる。
　実施例１、２において、監視対象管理部３８は、ユーザ入力に応じて監視対象を削除する。しかしながらこれに限らず例えば、監視対象管理部３８は、強制的な監視対象に関する情報を保持してもよい。一例として、緊急車両等が、強制的な監視対象に関する情報として保持される。監視対象管理部３８は、ユーザ入力を受けつけた場合であっても、強制的な監視対象の削除を非実行としてもよい。本変形例によれば、ユーザ入力に関係なく、緊急車両等を監視対象として維持するので、車両１００の運転に対する安全性を確保できる。
　実施例１における車外画像センサ１２、実施例２におけるミリ波レーダ７０が車両周辺情報を取得するためのセンサとして使用される。しかしながらこれに限らず例えば、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー、レーザーのうちの少なくとも１つがセンサとして使用されてもよい。さらに、実施例１において、ミリ波レーダ７０、車内画像センサ７２が使用されてもよく、実施例２において、車外画像センサ１２が使用されてもよい。また、複数のセンサを組み合わせてもよい。本変形例によれば、構成の自由度を向上できる。なお、センサから取得した情報は車両周辺情報とする。
　本開示は、監視対象を更新するのに有用である。
　１０　運転支援装置、　１２　車外画像センサ、　１４　表示装置、　１６　自動運転制御装置、　２０　Ｉ／Ｏ部、　２２　処理部、　３０　画像入力部、　３２　操作信号入力部、　３４　画像出力部、　３６　監視結果出力部、　３８　監視対象管理部、　４０　表示制御部、　４２　監視部、　５０　表示部、　５２　操作部、　６０　Ｉ／Ｏ部、　６２　処理部、　１００　車両。

Claims (16)

  1. 　車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、
    　前記監視対象管理部において特定した前記監視対象を強調表示させる表示制御部と、
    　前記監視対象管理部において特定した前記監視対象を更新するためのユーザ入力を受けつける入力部とを備え、
    　前記監視対象管理部は、前記入力部が前記ユーザ入力を受けつけた場合、前記監視対象を更新する運転支援装置。
  2. 　車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定する監視対象管理部と、
    　前記監視対象管理部において特定した前記監視対象を強調表示させる表示制御部と、
    　前記監視対象管理部において特定した前記監視対象を更新するためのユーザ入力を受けつける入力部とを備え、
    　前記監視対象管理部は、前記入力部が前記ユーザ入力を受けつけた場合、新たな監視対象を追加する運転支援装置。
  3. 　前記監視対象管理部は、前記表示制御部が強調表示させている前記監視対象とは別の対象に対するユーザ入力を受けつけた場合、ユーザ入力によって示された前記別の対象を新たな監視対象として追加する請求項２に記載の運転支援装置。
  4. 　前記監視対象管理部は、前記表示制御部が強調表示させている前記監視対象とは別の対象であって、かつ表示部に表示された対象に対するユーザ入力を受けつけた場合、新たな監視対象を追加請求項３に記載の運転支援装置。
  5. 　前記監視対象管理部は、前記表示制御部が強調表示させている前記監視対象とは別の対象であって、かつ実空間に存在する対象に対するユーザ入力を受けつけた場合、新たな監視対象を追加する請求項３に記載の運転支援装置。
  6. 　前記監視対象管理部は、監視対象を追加するために予め定められたユーザ入力を受けつけた場合、ユーザ入力によって示された対象を新たな監視対象として追加する請求項２に記載の運転支援装置。
  7. 　前記監視対象管理部は、監視対象を追加するために予め定められたユーザ入力であって、かつ表示部に表示された対象に対するユーザ入力を受けつけた場合、新たな監視対象を追加する請求項６に記載の運転支援装置。
  8. 　前記監視対象管理部は、監視対象を追加するために予め定められたユーザ入力であって、かつ実空間に存在する対象に対するユーザ入力を受けつけた場合、新たな監視対象を追加する請求項６に記載の運転支援装置。
  9. 　車両に搭載されたセンサから取得した前記車両周辺情報をもとに、監視対象を特定する監視対象管理部と、
    　前記監視対象管理部において特定した前記監視対象を強調表示させる表示制御部と、
    　前記監視対象管理部において特定した監視対象を更新するための前記ユーザ入力を受けつける入力部とを備え、
    　前記監視対象管理部は、前記入力部がユーザ入力を受けつけた場合、前記監視対象を削除する運転支援装置。
  10. 　前記監視対象管理部は、前記表示制御部が強調表示させている監視対象に対するユーザ入力を受けつけた場合、前記ユーザ入力を受けつけた監視対象を削除する請求項９に記載の運転支援装置。
  11. 　前記監視対象管理部は、監視対象を削除するために予め定められたユーザ入力を受けつけた場合、前記監視対象を削除する請求項９に記載の運転支援装置。
  12. 　前記監視対象管理部は、強制的な監視対象に関する情報を保持しており、前記入力部がユーザ入力を受けつけた場合であっても、当該強制的な監視対象の削除を非実行とする請求項９から１１のいずれかに記載の運転支援装置。
  13. 　前記監視対象管理部は、前記入力部において受けつけた前記ユーザ入力に応じて、車両周辺情報をもとに前記監視対象を特定するための基準を更新する請求項１から１２のいずれかに記載の運転支援装置。
  14. 　前記センサは、カメラ、ミリ波、レーザーのうち少なくともひとつを含む請求項１から１３のいずれかに記載の運転支援装置。
  15. 　車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定するステップと、
    　特定した前記監視対象を強調表示させるステップと、
    　特定した前記監視対象を更新するためのユーザ入力を受けつけるステップと、
    　前記ユーザ入力を受けつけた場合、前記監視対象を更新するステップと、
    　を備える運転支援方法。
  16. 　車両に搭載されたセンサから取得した車両周辺情報をもとに、監視対象を特定するステップと、
    　特定した前記監視対象を強調表示させるステップと、
    　特定した前記監視対象を更新するためのユーザ入力を受けつけるステップと、
    　前記ユーザ入力を受けつけた場合、前記監視対象を更新するステップとをコンピュータに実行させるためのプログラム。
PCT/JP2016/003995 2015-09-07 2016-09-01 運転支援方法およびそれを利用した運転支援装置とプログラム WO2017043056A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112016004049.0T DE112016004049B4 (de) 2015-09-07 2016-09-01 Fahrassistenzverfahren und Fahrassistenzvorrichtung und diese benutzendes Programm
US15/753,564 US10477155B2 (en) 2015-09-07 2016-09-01 Driving assistance method, driving assistance device, and recording medium recording program using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015176155A JP6593692B2 (ja) 2015-09-07 2015-09-07 運転支援方法およびそれを利用した運転支援装置
JP2015-176155 2015-09-07

Publications (1)

Publication Number Publication Date
WO2017043056A1 true WO2017043056A1 (ja) 2017-03-16

Family

ID=58239374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003995 WO2017043056A1 (ja) 2015-09-07 2016-09-01 運転支援方法およびそれを利用した運転支援装置とプログラム

Country Status (4)

Country Link
US (1) US10477155B2 (ja)
JP (1) JP6593692B2 (ja)
DE (1) DE112016004049B4 (ja)
WO (1) WO2017043056A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018160061A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 事故回避情報画像生成装置、事故回避情報表示システム、事故回避情報画像生成方法及びプログラム
JP2022506866A (ja) * 2018-11-07 2022-01-17 エレメント・エイ・アイ・インコーポレイテッド トレーニングセットとして用いる文書からの機密データの除去

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840998B2 (ja) * 2016-11-02 2021-03-10 アイシン精機株式会社 障害物検知装置
JP6907920B2 (ja) 2017-12-15 2021-07-21 株式会社デンソー 自動運転支援装置
JP6806107B2 (ja) 2018-03-20 2021-01-06 日本電気株式会社 障害物認識支援装置、障害物認識支援方法、プログラム
JP7242232B2 (ja) * 2018-09-28 2023-03-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
KR20230005034A (ko) * 2021-06-30 2023-01-09 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130784A (ja) * 1995-08-25 1997-05-16 Matsushita Electric Works Ltd 自動追尾方法及びその装置
JP2009122808A (ja) * 2007-11-13 2009-06-04 Mazda Motor Corp 車両用運転支援装置
WO2014045670A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
JP5898001B2 (ja) 2012-06-26 2016-04-06 本田技研工業株式会社 車両周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130784A (ja) * 1995-08-25 1997-05-16 Matsushita Electric Works Ltd 自動追尾方法及びその装置
JP2009122808A (ja) * 2007-11-13 2009-06-04 Mazda Motor Corp 車両用運転支援装置
WO2014045670A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2015019250A (ja) * 2013-07-11 2015-01-29 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018160061A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 事故回避情報画像生成装置、事故回避情報表示システム、事故回避情報画像生成方法及びプログラム
JP7073628B2 (ja) 2017-03-22 2022-05-24 日本電気株式会社 事故回避情報画像生成装置、事故回避情報表示システム、事故回避情報画像生成方法及びプログラム
JP2022506866A (ja) * 2018-11-07 2022-01-17 エレメント・エイ・アイ・インコーポレイテッド トレーニングセットとして用いる文書からの機密データの除去
JP7353366B2 (ja) 2018-11-07 2023-09-29 サービスナウ・カナダ・インコーポレイテッド トレーニングセットとして用いる文書からの機密データの除去

Also Published As

Publication number Publication date
JP6593692B2 (ja) 2019-10-23
DE112016004049T5 (de) 2018-07-19
JP2017055181A (ja) 2017-03-16
DE112016004049B4 (de) 2023-11-09
US10477155B2 (en) 2019-11-12
US20180241970A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
WO2017043056A1 (ja) 運転支援方法およびそれを利用した運転支援装置とプログラム
US10514758B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US10558273B2 (en) Electronic device and method for controlling the electronic device
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US11524578B2 (en) Control method and control device for vehicle display device
US11760346B2 (en) Systems and methods for collision avoidance
KR102576654B1 (ko) 전자 장치 및 그의 제어 방법
US20200047717A1 (en) System and method for cleaning obstructions for the sensors of an autonomous vehicle
JP2017071284A (ja) 表示制御装置、投影装置、および表示制御プログラム
US20210015376A1 (en) Electronic device and method for measuring heart rate
US20130187845A1 (en) Adaptive interface system
US20180253611A1 (en) Display controller, display control method, and recording medium storing program
US11899848B2 (en) Method, mobile device, head-mounted display, and system for estimating hand pose
KR101825450B1 (ko) 차량 제어 장치 및 그 장치의 제어 방법
US20230300290A1 (en) Information display system, information display method, and non-transitory recording medium
KR20130015740A (ko) 차선 유지 제어를 위한 차선 중심 추정 방법 및 그 장치
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR101612821B1 (ko) 차선 인식 장치 및 그 방법
JP6727400B2 (ja) 表示制御装置及び表示制御方法
US20220043509A1 (en) Gaze tracking
KR102473669B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
WO2023220843A1 (zh) 一种显示方法、装置和车辆
US20230095811A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
JP7478902B2 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP6213193B2 (ja) 動作判定方法及び動作判定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16843924

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15753564

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016004049

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16843924

Country of ref document: EP

Kind code of ref document: A1