WO2012117693A1 - 運転支援装置及び牽引車 - Google Patents

運転支援装置及び牽引車 Download PDF

Info

Publication number
WO2012117693A1
WO2012117693A1 PCT/JP2012/001158 JP2012001158W WO2012117693A1 WO 2012117693 A1 WO2012117693 A1 WO 2012117693A1 JP 2012001158 W JP2012001158 W JP 2012001158W WO 2012117693 A1 WO2012117693 A1 WO 2012117693A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
unit
trajectory guide
superimposed
Prior art date
Application number
PCT/JP2012/001158
Other languages
English (en)
French (fr)
Inventor
謙二 岡野
八潮 岸
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013502179A priority Critical patent/JPWO2012117693A1/ja
Priority to EP12752034.4A priority patent/EP2683164B1/en
Priority to US13/985,014 priority patent/US9516275B2/en
Priority to EP17156514.6A priority patent/EP3188480B1/en
Publication of WO2012117693A1 publication Critical patent/WO2012117693A1/ja
Priority to US15/336,979 priority patent/US9799132B2/en
Priority to US16/655,486 priority patent/US20200051299A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295—Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Definitions

  • the present invention relates to a driving support device that performs appropriate visual field support when connecting a towed vehicle to a towed vehicle.
  • a guide method for connecting the towed vehicle and the towed vehicle is known.
  • the tow vehicle retracts a tow vehicle side connector installed at the rear of the tow vehicle to the vicinity of the towed vehicle side connector.
  • a guide line for alignment of the tow vehicle side connector and the towed vehicle side connector is superimposed on the monitor screen, so that the towed vehicle side connector and the towed vehicle side connector are
  • a method of guiding the alignment with the above with high accuracy see, for example, Patent Document 3).
  • a guide for an expected trajectory that prevents an obstacle in the backward direction of the towed vehicle side connecting device from contacting the side of the vehicle body, and the towed vehicle side connecting device and the towed vehicle side connecting device It is desirable to perform both the alignment guide and the alignment guide.
  • the tow vehicle side connector and the towed vehicle side connector are superimposed on the portion corresponding to the tow vehicle side connector on the monitor screen.
  • a driver operator drives a tow vehicle so that the other end side of a guide wire may cover the towed vehicle side connection tool equivalent part of a monitor.
  • the tow vehicle side connector and the towed vehicle side connector become difficult to see on the monitor by the guide line, and depending on the driver, the towed vehicle side connector and the towed vehicle side connector There is a problem that it is difficult to grasp the positional relationship between the two.
  • the superimposing means superimposes the side in the vehicle width center direction side of the predicted trajectory guide mark in the outer edge direction with respect to the coupler, Is superimposed as an expected trajectory of the vehicle side end.
  • the present invention it is possible to intuitively grasp a guide for preventing an obstacle in the backward direction from coming into contact with the side surface of the vehicle body and a guide for aligning the tow vehicle side connector and the towed vehicle side connector. At the same time, the visual recognition state of the tow vehicle side connector and the towed vehicle side connector can be maintained.
  • FIG. 1 is a flowchart for explaining a guide for assisting connection between a towed vehicle and a towed vehicle by the driving support device which is the main part of FIG.
  • FIG. 4 is a diagram illustrating an image of an expected trajectory guide mark superimposed by the image superimposing unit when the towing vehicle moves backward from the state of FIG. 4.
  • FIG. 5 is a diagram illustrating an image of an expected trajectory guide mark superimposed by the image superimposing unit when the towing vehicle moves backward from the state of FIG. 5.
  • FIG. 1 is a block diagram showing a configuration of a driving support apparatus 101 according to an embodiment of the present invention.
  • the driving support device 101 is connected to an imaging unit 102, a display unit 103, a rudder angle sensor 104, a vehicle speed sensor 105, a gear position sensor 106, and an input unit 107, respectively.
  • the imaging unit 102, the display unit 103, the steering angle sensor 104, the vehicle speed sensor 105, the gear position sensor 106, and the input unit 107 may be included in the driving support device 101, or together with the driving support device 101, the towing vehicle. It is good also as a structure.
  • the driving support apparatus 101 includes an image acquisition unit 108, a control unit 109, and a storage unit 110.
  • the driving support device 101 uses the steering angle sensor 104, the vehicle speed sensor 105, the gear position sensor 106, and the input signal from the input unit 107 to steer the own vehicle to the captured image input from the imaging unit 102.
  • a superimposed image in which a pair of left and right predicted trajectory guide marks corresponding to steering is superimposed is generated, and the generated superimposed image is output to the display unit 103.
  • the imaging means 102 is configured by a camera.
  • the imaging means 102 is attached to the rear part of the host vehicle.
  • the imaging means 102 is attached in the vicinity of the number plate or the trunk.
  • the imaging means 102 may be composed of a plurality of cameras. Moreover, the attachment position of the imaging means 102 may be any location as long as the rear side of the host vehicle including the coupler at the rear of the host vehicle and the coupled tool of the towed vehicle coupled to the coupler can be imaged.
  • the display means 103 is constituted by a navigation device, for example.
  • the display means 103 is provided in the vehicle visible from the driver's seat.
  • the display means 103 receives a superimposed image obtained by superimposing a pair of left and right predicted trajectory guide marks on the captured image behind the host vehicle from the driving support apparatus 101 and displays the superimposed image.
  • the steering angle sensor 104 outputs a steering angle signal indicating the turning angle of the steering to the driving support device 101.
  • the vehicle speed sensor 105 outputs a vehicle speed signal indicating the vehicle speed of the host vehicle to the driving support device 101.
  • the gear position sensor 106 outputs a gear position state signal indicating the state of the gear position to the driving support device 101.
  • the input means 107 outputs an input signal indicating a user instruction command to the driving support apparatus 101.
  • the input means 107 is constituted by, for example, a touch panel, a remote control, a switch, or an operation button.
  • the input means 107 may be provided in the display means 103 when configured by a touch panel.
  • the input means 107 is operated by the user and outputs an input signal indicating a user instruction command to the driving support apparatus 101.
  • the input unit 107 outputs a signal of a command for switching an expected trajectory guide mark for assisting connection between the towed vehicle and the towed vehicle to the driving support device 101.
  • expected trajectory guide mark for assisting connection between the towed vehicle and the towed vehicle is simply referred to as “expected trajectory guide mark”.
  • the driving support apparatus 101 includes an image acquisition unit 108, a control unit 109 connected to the image acquisition unit 108, and a storage unit 110 connected to the control unit 109.
  • the control unit 109 includes an image conversion unit 111, an image superimposing unit 112, and a state control unit 113.
  • the image acquisition means 108 is composed of a volatile memory such as a buffer memory.
  • the image acquisition unit 108 is connected to the imaging unit 102.
  • the image acquisition unit 108 temporarily stores video data obtained from the captured video input from the imaging unit 102.
  • the video data stored in the image acquisition unit 108 is output to the image conversion unit 111 of the control unit 109.
  • the control means 109 is constituted by, for example, a VLSI (Very Large Scale Integration) or a CPU (Central Processing Unit).
  • the control unit 109 is connected to the display unit 103, the steering angle sensor 104, the vehicle speed sensor 105, the gear position sensor 106, the input unit 107, the image acquisition unit 108, and the storage unit 110.
  • the control means 109 performs video processing for guiding the reverse by the steering angle signal from the steering angle sensor 104 and the reverse signal from the gear position sensor 106. Then, the control means 109 performs video processing for guiding the backward movement for towing by an input signal for prompting the backward guidance for towing from the input means 107.
  • control unit 109 may further perform various processes using an input signal from the vehicle speed sensor 105.
  • image conversion unit 111 the image superimposing unit 112
  • state control unit 113 the state control unit 113 in the control unit 109. This is synonymous with external connection, data input / output, and processing by the control means 109.
  • the storage unit 110 is configured by a nonvolatile memory such as a flash memory or a ROM (Read Only Memory).
  • the storage means 110 includes image data unique to the host vehicle, such as an expected trajectory guide mark, an expected trajectory line for backward guide according to the steering angle, a fixed trajectory line for backward guide when the steering angle is zero, and a distance index, and control.
  • image data unique to the host vehicle such as an expected trajectory guide mark, an expected trajectory line for backward guide according to the steering angle, a fixed trajectory line for backward guide when the steering angle is zero, and a distance index, and control.
  • Various programs for control by means 109 are stored.
  • the expected trajectory guide mark is configured in a pair of left and right planes.
  • the image conversion unit 111 and the image superimposing unit 112 are configured by an image processing unit such as an ASIC (Application Specific Integrated Circuit).
  • the image conversion unit 111 performs image processing on the captured video input from the image acquisition unit 108, converts it into a video signal that can be displayed on the display unit 103, and outputs the video signal to the image superimposition unit 112.
  • the image superimposing unit 112 selectively reads out and superimposes image data such as an expected trajectory line or a fixed trajectory line read from the storage unit 110 or a distance index in accordance with a command from the state control unit 113.
  • the image superimposing unit 112 outputs the superimposed video created every predetermined time to the display unit 103.
  • the state control unit 113 superimposes image data such as a predicted trajectory guide for traction, an expected trajectory line or a fixed trajectory line, and a distance index on the image superimposing unit 112 based on the input information on the driving state of the host vehicle. Or, a command such as output of the synthesized video to the display means 103 is performed. For example, the state control unit 113 instructs the image superimposing unit 112 to superimpose an image for guiding the backward movement based on the rudder angle signal from the rudder angle sensor 104 and the reverse signal from the gear position sensor 106. In addition, when the state control unit 113 acquires an input signal for prompting towing backward guidance from the input unit 107, the state control unit 113 instructs the image superimposing unit 112 to superimpose an image for guiding towing backward movement.
  • image data such as a predicted trajectory guide for traction, an expected trajectory line or a fixed trajectory line, and a distance index on the image superimposing unit 112 based on the input information on the driving state of the
  • FIG. 2 is a diagram for explaining the operation of the towing vehicle 201 equipped with the driving support apparatus 101 with an image.
  • the tow vehicle 201 is retracted in order to connect the connecting tool 202 provided at the rear of the host vehicle to the connected tool 204 of the towed vehicle 203.
  • the rotation centers 205 and 206 indicate rotation centers at appropriate times when the steering angle of the tow vehicle 201 is smaller than an appropriate amount.
  • the rotation centers 205 and 206 are indicated by a point on the rear axle of the towing vehicle 201 according to the steering angle based on the Ackermann model.
  • the movement center of the connecting portion 202 can be predicted by the rotation centers 205 and 206. For example, when the steering angle is shallow, the connecting unit 202 moves along the moving path 207, and when the steering angle is appropriate, the connecting part 202 moves along the moving path 208.
  • An expected trajectory guide mark is drawn on the display means 103 based on these movement paths according to the steering. The driver can adjust the steering angle so that the connecting tool 202 faces the connected tool 204 by looking at the predicted trajectory guide mark.
  • traction guide for assisting connection between the towed vehicle 201 and the towed vehicle by the driving support apparatus 101 of the present invention
  • FIG. 3 is a flowchart for explaining the traction guide by the driving support apparatus 101 of the present invention.
  • step S ⁇ b> 1 the state control unit 113 detects a tow guide start instruction input from the input unit 107 and starts processing.
  • the display unit 103 displays the rear image captured by the imaging unit 102.
  • the image conversion unit 111 converts the captured image acquired from the image acquisition unit 108 into a displayable video signal.
  • the converted video signal is output to the display unit 103 via the image superimposing unit 112.
  • step S ⁇ b> 3 the state control unit 113 acquires steering angle information of the steering from the steering angle sensor 104.
  • step S ⁇ b> 4 the image superimposing unit 112 reads an expected trajectory guide mark from the storage unit 110 based on the steering angle information of the steering angle sensor 104 acquired by the state control unit 113. Then, the image superimposing unit 112 superimposes the predicted trajectory guide mark read from the storage unit 110 on the video signal converted in step S2.
  • the display unit 103 displays the superimposed image output from the image superimposing unit 112.
  • step S ⁇ b> 5 the state control unit 113 determines whether an instruction to end the towing guide is input from the input unit 107.
  • step S5 the control means 109 performs the process of step S3 again and continues the traction guide.
  • step S5 If YES in step S5, as shown in step S6, the image superimposing unit 112 erases the predicted trajectory guide mark superimposed in step S4. And as shown to step S7, the output to the display means 103 of the video signal converted by the image conversion part 111 is stopped. Thereby, the display means 103 erases the display of the captured image behind the host vehicle.
  • FIG. 4 is a diagram for explaining the expected trajectory guide mark superimposed by the image superimposing unit 112 as an image.
  • FIG. 5 is a diagram illustrating an image of the expected trajectory guide mark superimposed by the image superimposing unit 112 when the towing vehicle moves backward from the state of FIG.
  • FIG. 6 is a diagram illustrating an image of an expected trajectory guide mark superimposed by the image superimposing unit 112 when the towing vehicle further moves backward from the state of FIG. 4 to 6 will be described as display images displayed on the display unit 103.
  • the images displayed in FIGS. 4 to 6 are superimposed images superimposed by the image superimposing unit 112, And a display image displayed on the display means 103.
  • the display image shows a tow vehicle 401, a tow vehicle side connector 402, a towed vehicle 403, a towed vehicle side connector 404, and an obstacle 409.
  • a pair of left and right planar predicted trajectory guide marks 405 and 406 corresponding to the steering of the host vehicle are superimposed.
  • the predicted trajectory guide marks 405 and 406 are respectively composed of sides 405a and 406a on the center side in the vehicle width direction, sides 405b and 406b on the outer edge side in the vehicle width direction, and sides 405c and 406c on the reverse direction side.
  • the sides 405 a and 406 a on the center side in the vehicle width direction of the expected trajectory guide marks 405 and 406 are superimposed in the outer edge direction with respect to the tow vehicle side connector 402. That is, the side 405a on the vehicle width direction center side of the left expected trajectory guide mark 405 is superimposed on the left side of the towing vehicle side connector 402. A side 406 a on the center side in the vehicle width direction of the expected trajectory guide mark 406 on the right side is superimposed on the right side of the towing vehicle side connector 402.
  • the tow vehicle side coupler 402 is located within the distance between the side 405a on the vehicle width center direction side of the left expected locus guide mark 405 and the side 406a on the vehicle width center direction side of the right expected locus guide mark 406. Is displayed. As a result, the predicted trajectory guide marks 405 and 406 are separated from each other without overlapping the tow vehicle side connector 402. A region sandwiched between the side 405a and the side 406a indicates an expected trajectory of the towing vehicle-side connector 402.
  • Sides 405b and 406b on the outer edge side of the predicted trajectory guide marks 405 and 406 indicate conventional predicted trajectory lines at the left and right ends of the host vehicle, respectively.
  • the collision of the towing vehicle 401 can be determined based on whether or not an object is present in the region sandwiched between the sides 405b and 406b. For example, as shown in FIG. 4, an obstacle 409 exists in a region sandwiched between the sides 405b and 406b. Accordingly, the driver can determine that the tow vehicle 401 collides with the obstacle 409 when the tow vehicle 401 is moved backward.
  • the sides 405c and 406c on the backward direction side indicate distance indexes.
  • a line connecting the distal ends in the backward direction of the sides 405a and 405b is shown as an edge 405c
  • a line connecting the distal ends in the backward direction of the sides 406a and 406b is shown as an edge 406c.
  • the side 405c and the side 406c do not have to be connected at the tip in the backward direction.
  • the sides 405c and 406c only need to connect the sides 405a and 405b and connect the sides 406a and 406b, respectively.
  • the predicted trajectory guide marks 405 and 406 further have stop indicators 407 and 408, respectively, at the front end portion on the own vehicle direction side.
  • the driver can determine the approach of the towed vehicle 403 when the stop indicators 407 and 408 approach the towed vehicle 403 due to the backward movement of the towed vehicle 401.
  • the stop indicators 407 and 408 may be color-coded from the expected trajectory guide marks 405 and 406 in order to distinguish them from the expected trajectory guide marks 405 and 406.
  • the predicted trajectory guide marks 405 and 406 include the stop indexes 407 and 408, but may not include the stop indexes 407 and 408.
  • the towed vehicle side connector 402 or the towed vehicle An image such as a guide mark or an index line is not superimposed on the vehicle side connector 404, and an image such as a guide mark or an index line is not superimposed between the tow vehicle side connector 402 and the towed vehicle side connector 404.
  • the driver maintains the visible state of the tow vehicle side connector 402 and the towed vehicle side connector 404 without losing sight of the position of the tow vehicle side connector 402 or the towed vehicle side connector 404 from the captured image. It is possible to align the position as it is.
  • the driver can intuitively understand that the region sandwiched between the side 405a and the side 406a is a tow guide.
  • this tow guide the driver can intuitively grasp the expected route of the tow vehicle side connector 402. Then, the driver retreats the tow vehicle 401 so as to move the tow vehicle side connector 402 along the region sandwiched between the sides 405a and 406a, thereby towing the tow vehicle side connector as shown in FIG. 402 and the towed vehicle side connector 404 can be guided with high accuracy.
  • the sides 405b and 406b on the outer edge direction side of the predicted trajectory guide marks 405 and 406 it is possible to avoid the obstacle in the backward direction from coming into contact with the side surface of the vehicle body.
  • the image superimposing unit 112 the side 405a, 406a on the vehicle width center direction side of the pair of left and right expected trajectory guide marks 405, 406 are Can also be superimposed in the outer edge direction, and the sides 405b and 406b on the outer edge side in the vehicle width direction of the predicted trajectory guide marks 405 and 406 can be superimposed as an expected trajectory on the vehicle side end. Accordingly, the guide for avoiding the obstacle in the backward direction of the tow vehicle 401 from coming into contact with the side surface of the vehicle body and the guide for alignment between the tow vehicle side connector 402 and the towed vehicle side connector 404 are intuitively grasped. In addition, it is possible to maintain the visibility of the tow vehicle side connector 402 and the towed vehicle side connector 404.
  • the predicted trajectory guide marks 405 and 406 are formed in a planar shape by connecting sides 405a and 406a, sides 405b and 406b, and distance indicators 405c and 406c, respectively.
  • two types of guides that is, a guide that prevents the tow vehicle 401 from coming into contact with surrounding obstacles and a tow guide, can be represented by one type of guide mark. Therefore, the driver can intuitively grasp a plurality of guides by one type of guide mark.
  • the image superimposing unit 112 may switch the image to be superimposed between normal back-up support and traction guide. For example, when the state control unit 113 detects a guide instruction for assisting the connection between the towed vehicle 401 and the towed vehicle 403 from the input unit 107, the image superimposing unit 112 uses the predicted trajectory guide marks 405 and 406 as captured images. Superimpose. On the other hand, when the state control unit 113 does not detect the instruction of the traction guide from the input unit 107 and detects the rear state from the gear position sensor 106, the image superimposing unit 112 determines that the vehicle according to the steering angle from the storage unit 110. The predicted trajectory line at the side end and the fixed trajectory line at the zero steering angle are read out and superimposed on the captured image. The predicted trajectory line at the vehicle-side end includes at least sides 405b and 406b. Desirably, the ends of the sides 405b and 406b are connected to each other.
  • the image superimposing unit 112 can perform necessary guidance according to the situation of the towing vehicle by switching the images to be superimposed between the normal back-up support and the towing guide.
  • normal backward assistance there is no need for a tow guide, and only one type of guide for preventing an obstacle in the backward direction from coming into contact with the side surface of the vehicle body is sufficient. The reason is that the driver's attention to the sides 405b and 406b is lowered when the expected trajectory guide marks 405 and 406 are superimposed.
  • two types of guides are required for towing guidance, and the tow vehicle side connector 402 that is the object of the towing guide is located at the center of the rear end of the vehicle body. It is possible to perform a tow guide that maintains the sex.
  • FIG. 7 is a diagram for explaining a modified example of the predicted trajectory guide marks 405 and 406 of FIG. 4 superimposed by the image superimposing unit 112.
  • the image conversion unit 111 converts the viewpoint of the captured image acquired from the image acquisition unit 108 to create an overhead image.
  • the image superimposing unit 112 reads out the own vehicle image 701, the tow vehicle side connector 702, and the expected trajectory guide marks 705 and 706 from the storage unit 110 and superimposes them on the overhead view image.
  • the towed vehicle 703 and the towed vehicle side connector 704 are shown in the overhead view image.
  • the driver moves the tow vehicle 701 along the region sandwiched between the sides 705a and 706a on the center side in the vehicle width direction of the expected trajectory guide marks 705 and 706, thereby towing the tow vehicle side connector 702 and the towed vehicle side.
  • the alignment with the connector 704 can be performed without losing sight.
  • the driving support device and the tow vehicle according to the present invention are useful for providing appropriate visibility support when connecting the tow vehicle to the towed vehicle.

Abstract

　後退方向の障害物が車体側面に接触することを避けるガイドマークと、牽引車側連結具と被牽引車側連結具の位置合わせのガイドマークを直感的に把握可能に行うとともに、牽引車側連結具と被牽引車側連結具の視認状態を維持する運転支援装置。この装置は、牽引車側連結具（４０２）と被牽引車側連結具（４０４）とを含む自車両後方の撮像画像に、自車両のステアリング操舵に応じた左右一対の面状の予想軌跡ガイドマーク（４０５）、（４０６）を重畳した重畳画像を表示手段（１０３）に出力する。画像重畳部（１１２）は、予想軌跡ガイドマーク（４０５）、（４０６）の車幅中心方向側の辺（４０５ａ）、（４０６ａ）を牽引車側連結具（４０２）よりも外縁方向に重畳し、予想軌跡ガイドマーク（４０５）、（４０６）の車幅方向外縁側の辺（４０５ｂ）、（４０６ｂ）を自車両側端の予想軌跡として重畳する。

Description

運転支援装置及び牽引車
　本発明は被牽引車に牽引車を連結する際に適切な視界支援を行う運転支援装置に関する。
　一般に、車両が後退する場合、ステアリング舵角に応じた車幅に対応した左右一対の予想軌跡線をモニタに重畳して、後退方向の障害物が車体側面に接触しないようガイドする方法が知られている（例えば、特許文献１を参照）。また、さらにステアリング舵角がゼロのときの固定軌跡線をモニタに重畳して、車両の現在の状態をガイドする方法が知られている（例えば、特許文献２を参照）。
　さらに、車両が牽引車の場合、牽引車と被牽引車を連結するためのガイド方法が知られている。一般に、牽引車と被牽引車を連結する場合、牽引車は、牽引車後部に設置された牽引車側連結具を被牽引車側連結具の近傍まで後退させる。この牽引車側連結具の後退に際して、牽引車側連結具と被牽引車側連結具の位置合わせ用のガイド線をモニタ画面に重畳することで、牽引車側連結具と被牽引車側連結具との位置合わせを高精度にガイドする方法が知られている（例えば、特許文献３を参照）。
特開２００９－１７３３８６号公報 特開２００７－７６４９６号公報 特開２００２－３１２７６８号公報
　牽引車と被牽引車とを連結する場合、牽引車側連結具の後退方向の障害物が車体側面に接触することを避ける予想軌跡のガイドと、牽引車側連結具と被牽引車側連結具との位置合わせ用のガイドの両方を行うことが望ましい。
　しかし、従来の運転支援装置では、予想軌跡のガイド線と位置合わせ用のガイド線との２種類のガイド線がそれぞれ独立にモニタに重畳される。そのため、モニタ上で線形状のガイドが多くなり、運転者にとって各ガイド線の意味を直感的に把握しづらいという問題がある。さらに、モニタに固定軌跡のガイド線も重畳されると、直感的な把握はより困難になる。
　また、従来の牽引車側連結具と被牽引車側連結具との位置合わせガイドでは、モニタ画面上の牽引車側連結具相当部分にガイド線の一端が重畳されている。そして、運転者は、ガイド線の他端側をモニタの被牽引車側連結具相当部分に覆いかぶせるように牽引車を運転する。このようなガイド方法では、ガイド線によって牽引車側連結具と被牽引車側連結具とがモニタ上で視認しづらくなり、運転者によってはかえって牽引車側連結具と被牽引車側連結具との位置関係を把握しづらくなるという問題がある。
　本発明の目的は、後退方向の障害物が車体側面に接触することを避けるガイド、及び牽引車側連結具と被牽引車側連結具との位置合わせのガイドを直感的に把握することができるとともに、牽引車側連結具と被牽引車側連結具との視認状態を維持することができる運転支援装置および牽引車を提供することである。
　上記目的を達成するために本発明は、重畳手段が予想軌跡ガイドマークの車幅中心方向側の辺を連結具よりも外縁方向に重畳し、左右一対の予想軌跡ガイドマークの車幅方向外縁側の辺を自車両側端の予想軌跡として重畳することを特徴とする。
　本発明によれば、後退方向の障害物が車体側面に接触することを避けるガイド、及び牽引車側連結具と被牽引車側連結具との位置合わせのガイドを直感的に把握することができるとともに、牽引車側連結具と被牽引車側連結具との視認状態を維持することができる。
本発明の実施形態における運転支援装置の構成を示すブロック図 図１の要部である運転支援装置を搭載した牽引車の動作をイメージで説明する図 図１の要部である運転支援装置による牽引車と被牽引車の接続アシスト用のガイドを説明するフロー図 図１の要部である画像重畳部によって重畳される予想軌跡ガイドマークをイメージで説明する図 図４の状態から牽引車が後退したときに画像重畳部によって重畳される予想軌跡ガイドマークをイメージで説明する図 図５の状態から牽引車が後退したときに画像重畳部によって重畳される予想軌跡ガイドマークをイメージで説明する図 図４の画像重畳部によって重畳される予想軌跡ガイドマークの変形例をイメージで説明する図
　以下、本発明の実施形態の運転支援装置について図面を参照しながら説明する。
　図１は本発明の実施形態の運転支援装置１０１の構成を示すブロック図である。
　図１において、運転支援装置１０１は、撮像手段１０２と、表示手段１０３と、舵角センサ１０４と、車速センサ１０５と、ギアポジションセンサ１０６と、入力手段１０７とそれぞれ接続する。なお、撮像手段１０２、表示手段１０３、舵角センサ１０４、車速センサ１０５、ギアポジションセンサ１０６、及び入力手段１０７は、運転支援装置１０１に含まれてもよいし、運転支援装置１０１と共に牽引車の構成としてもよい。
　運転支援装置１０１は、画像取得手段１０８と、制御手段１０９と、記憶手段１１０とを有する。
　運転支援装置１０１は、舵角センサ１０４、車速センサ１０５、ギアポジションセンサ１０６、及び入力手段１０７からの入力信号に基づいて、撮像手段１０２から入力された自車両後方の撮像画像に自車両のステアリング操舵に応じた左右一対の予想軌跡ガイドマークを重畳した重畳画像を生成し、生成した重畳画像を表示手段１０３に出力する。
　撮像手段１０２は、カメラにより構成される。撮像手段１０２は、自車両の後部に取り付けられる。例えば、撮像手段１０２は、ナンバプレートまたはトランクの近傍に取り付けられる。
　なお、撮像手段１０２は、複数のカメラにより構成されてもよい。また、撮像手段１０２の取付位置は、自車両後部の連結具とこの連結具に連結される被牽引車の被連結具とを含む自車両後方を撮像できれば、いずれの箇所であってもよい。
　表示手段１０３は、例えばナビゲーション装置により構成される。表示手段１０３は、運転席から視認可能な車内に設けられる。表示手段１０３は、自車両後方の撮像画像に左右一対の予想軌跡ガイドマークが重畳された重畳画像を運転支援装置１０１から入力され、この重畳画像を表示する。
　舵角センサ１０４は、ステアリングの切れ角を示す舵角信号を運転支援装置１０１に出力する。
　車速センサ１０５は、自車両の車速を示す車速信号を運転支援装置１０１に出力する。
　ギアポジションセンサ１０６は、ギアポジションの状態を示すギアポジション状態信号を運転支援装置１０１に出力する。
　入力手段１０７は、ユーザの指示命令を示す入力信号を運転支援装置１０１に出力する。入力手段１０７は、例えばタッチパネルやリモコン、スイッチ、または操作ボタンにより構成される。入力手段１０７は、タッチパネルにより構成される場合、表示手段１０３に設けられてもよい。入力手段１０７は、ユーザによって操作され、ユーザの指示命令を示す入力信号を運転支援装置１０１に出力する。例えば、入力手段１０７は、牽引車と被牽引車との接続アシスト用の予想軌跡ガイドマークの切り替え命令の信号を運転支援装置１０１に出力する。なお、以下の説明では、「牽引車と被牽引車との接続アシスト用の予想軌跡ガイドマーク」を単に「予想軌跡ガイドマーク」と記す。
　次に、運転支援装置１０１の内部構成について説明する。
　運転支援装置１０１は、画像取得手段１０８と、この画像取得手段１０８と接続する制御手段１０９と、この制御手段１０９に接続する記憶手段１１０とを有する。制御手段１０９は、画像変換部１１１と画像重畳部１１２と状態制御部１１３とを有する。
　画像取得手段１０８は、例えばバッファメモリのような揮発性メモリで構成される。画像取得手段１０８は、撮像手段１０２と接続する。画像取得手段１０８は、撮像手段１０２から入力された撮像映像によって得られる映像データを一時的に記憶する。画像取得手段１０８に記憶された映像データは、制御手段１０９の画像変換部１１１に出力される。
　制御手段１０９は、例えばＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、またはＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）により構成される。制御手段１０９は、表示手段１０３、舵角センサ１０４、車速センサ１０５、ギアポジションセンサ１０６、入力手段１０７、画像取得手段１０８、及び記憶手段１１０と接続する。制御手段１０９は、舵角センサ１０４からの舵角信号、及びギアポジションセンサ１０６からのリバース信号によって後退を案内するための映像処理を行う。そして、制御手段１０９は、入力手段１０７から牽引用の後退案内を促す入力信号によって、牽引用の後退を案内するための映像処理を行う。なお、制御手段１０９は、車速センサ１０５からの入力信号を用いてさらに各種処理を行っても良い。以下、制御手段１０９内の画像変換部１１１、画像重畳部１１２、及び状態制御部１１３を用いて説明を行うが、これら各構成による制御手段１０９外部との接続、データの入出力、処理は、制御手段１０９による外部との接続、データの入出力、処理と同義である。
　記憶手段１１０は、例えばフラッシュメモリやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のような不揮発性メモリにより構成される。記憶手段１１０は、予想軌跡ガイドマーク、舵角に応じた後退ガイド用の予想軌跡線、舵角ゼロのときの後退ガイド用の固定軌跡線、距離指標等自車両に固有な画像データ、及び制御手段１０９による制御用の各種プログラム等を記憶する。予想軌跡ガイドマークは、左右一対の面状に構成されている。
　画像変換部１１１及び画像重畳部１１２は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）のような画像処理手段により構成されている。画像変換部１１１は、画像取得手段１０８から入力された撮像映像に画像処理を施して表示手段１０３に表示可能な映像信号に変換して画像重畳部１１２に出力する。
　画像重畳部１１２は、状態制御部１１３からの命令に応じて、記憶手段１１０から読み出した予想軌跡線若しくは固定軌跡線、または距離指標等の画像データを選択的に読み出して重畳する。画像重畳部１１２は、所定時間毎に作成したこの重畳映像を表示手段１０３に出力する。
　状態制御部１１３は、入力された自車両の運転状態の情報に基づいて、画像重畳部１１２に対して牽引用の予想軌跡ガイド、予想軌跡線若しくは固定軌跡線、距離指標等の画像データの重畳、または表示手段１０３への合成映像の出力等の命令を行う。例えば、状態制御部１１３は、舵角センサ１０４からの舵角信号、及びギアポジションセンサ１０６からのリバース信号によって、画像重畳部１１２に対して、後退を案内するための画像重畳を命令する。また、状態制御部１１３は、入力手段１０７から牽引用の後退案内を促す入力信号を取得した場合、画像重畳部１１２に対して、牽引用の後退を案内するための画像重畳を命令する。
　次に、運転支援装置１０１による運転支援処理について説明する。
　図２は、運転支援装置１０１を搭載した牽引車２０１の動作をイメージで説明する図である。
　図２に示すように、牽引車２０１は、自車両後部に設けた連結具２０２を被牽引車２０３の被連結具２０４に接続するために後退している。回転中心２０５、２０６は、牽引車２０１のステアリングの切れ角が適切な量より小さいとき、適切なときの回転中心を示すものである。この回転中心２０５、２０６は、アッカーマンモデルに基づいて、ステアリング切れ角に応じた牽引車２０１のリア車軸上の一点で示される。この回転中心２０５、２０６によって連結部２０２の移動経路を予測することができる。例えば、ステアリング切れ角が浅いとき、連結部２０２は移動経路２０７で移動し、ステアリング切れ角が適切なとき、連結部２０２は移動経路２０８で移動する。ステアリングに応じたこれらの移動経路に基づいて表示手段１０３に予想軌跡ガイドマークが描画される。運転者はこの予想軌跡ガイドマークを見て、連結具２０２が被連結具２０４に向かうようにステアリング切れ角を調整することができる。
　次に、本発明の運転支援装置１０１による牽引車２０１と被牽引車の接続アシスト用のガイド（以下、単に「牽引ガイド」と記す）について説明する。
　図３は、本発明の運転支援装置１０１による牽引ガイドを説明するフロー図である。
　まず、ステップＳ１に示すように、状態制御部１１３は、入力手段１０７から入力された牽引ガイドの開始指示を検知して処理を開始する。
　次に、ステップＳ２に示すように、表示手段１０３は撮像手段１０２が撮像した後方画像を表示する。具体的には、画像変換部１１１は、画像取得手段１０８から取得した撮影画像を表示可能な映像信号に変換する。この変換された映像信号は、画像重畳部１１２を介して表示手段１０３に出力される。
　次に、ステップＳ３に示すように、状態制御部１１３は、舵角センサ１０４からステアリングの舵角情報を取得する。
　次に、ステップＳ４に示すように、画像重畳部１１２は、状態制御部１１３が取得した舵角センサ１０４の舵角情報に基づいて、予想軌跡ガイドマークを記憶手段１１０から読み出す。そして、画像重畳部１１２は、記憶手段１１０から読み出した予想軌跡ガイドマークをステップＳ２で変換した映像信号に重畳する。表示手段１０３は、画像重畳部１１２から出力されたこの重畳画像を表示する。
　次に、ステップＳ５に示すように、状態制御部１１３は、入力手段１０７から牽引ガイドの終了指示が入力されたか否かを判定する。
　ステップＳ５でＮＯの場合、制御手段１０９は、再度ステップＳ３の処理を行い、牽引ガイドを継続する。
　ステップＳ５でＹＥＳの場合、ステップＳ６に示すように、画像重畳部１１２は、ステップＳ４で重畳した予想軌跡ガイドマークを消す。そして、ステップＳ７に示すように、画像変換部１１１によって変換された映像信号の表示手段１０３への出力が停止される。これにより、表示手段１０３は、自車両後方の撮像画像の表示を消す。
　次に、画像重畳部１１２によって重畳される予想軌跡ガイドマークについて説明する。
　図４は、画像重畳部１１２によって重畳される予想軌跡ガイドマークをイメージで説明する図である。図５は、図４の状態から牽引車が後退したときに画像重畳部１１２によって重畳される予想軌跡ガイドマークをイメージで説明する図である。図６は、図５の状態からさらに牽引車が後退したときに画像重畳部１１２によって重畳される予想軌跡ガイドマークをイメージで説明する図である。なお、以下、図４～図６について、表示手段１０３に表示される表示画像として説明を行うが、図４～図６に表示されている画像は、画像重畳部１１２によって重畳された重畳画像、及び表示手段１０３に表示される表示画像のいずれをも意味する。
　図４に示すように、表示画像には、牽引車４０１、牽引車側連結具４０２、被牽引車４０３、被牽引車側連結具４０４、及び障害物４０９が映っている。そして、自車両のステアリング操舵に応じた左右一対の面状の予想軌跡ガイドマーク４０５、４０６が重畳されている。予想軌跡ガイドマーク４０５、４０６は、それぞれ、車幅方向中心側の辺４０５ａ、４０６ａ、車幅方向外縁側の辺４０５ｂ、４０６ｂ、後退方向側の辺４０５ｃ、４０６ｃで構成される。
　予想軌跡ガイドマーク４０５、４０６の車幅方向中心側の辺４０５ａ、４０６ａは、牽引車側連結具４０２よりも外縁方向に重畳されている。すなわち、左方の予想軌跡ガイドマーク４０５の車幅方向中心側の辺４０５ａは、牽引車側連結具４０２よりも左方に重畳されている。右方の予想軌跡ガイドマーク４０６の車幅方向中心側の辺４０６ａは、牽引車側連結具４０２よりも右方に重畳されている。このため、左方の予想軌跡ガイドマーク４０５の車幅中心方向側の辺４０５ａと、右方の予想軌跡ガイドマーク４０６の車幅中心方向側の辺４０６ａとの間隔内に牽引車側連結具４０２が表示される。これによって、予想軌跡ガイドマーク４０５、４０６は、牽引車側連結具４０２上に重ならず、離隔されている。この辺４０５ａと辺４０６ａとで挟まれた領域が、牽引車側連結具４０２の予想軌跡を示す。
　予想軌跡ガイドマーク４０５、４０６の車幅方向外縁側の辺４０５ｂ、４０６ｂは、それぞれ自車両左右側端の従来の予想軌跡線を示す。この辺４０５ｂ、４０６ｂで挟まれる領域内に物体が存在するか否かによって、牽引車４０１の衝突を判断することができる。例えば、図４に示すように、辺４０５ｂ、４０６ｂで挟まれる領域に障害物４０９が存在する。これによって、運転者は、このまま牽引車４０１を後退すると牽引車４０１が障害物４０９に衝突することを判断できる。後退方向側の辺４０５ｃ、４０６ｃは、距離指標を示す。
　図４では、辺４０５ａと辺４０５ｂとの後退方向側先端を結んだ線が辺４０５ｃ、辺４０６ａと辺４０６ｂとの後退方向側先端を結んだ線が辺４０６ｃとして示されている。なお、辺４０５ｃ、辺４０６ｃは、後退方向側先端で結ばれなくてもよい。辺４０５ｃ、辺４０６ｃは、それぞれ辺４０５ａと辺４０５ｂとを連結し、辺４０６ａと辺４０６ｂとを連結するものであればよい。
　また、予想軌跡ガイドマーク４０５、４０６は、さらに自車両方向側の先端部に停止指標４０７、４０８をそれぞれ有する。運転者は、牽引車４０１の後退によってこの停止指標４０７、４０８が被牽引車４０３に近づいてきた場合に、被牽引車４０３の接近を判断することができる。この停止指標４０７、４０８は、予想軌跡ガイドマーク４０５、４０６と区別するために、予想軌跡ガイドマーク４０５、４０６と色分けしてもよい。また、本実施形態では、予想軌跡ガイドマーク４０５、４０６は、停止指標４０７、４０８を含んでいるが、停止指標４０７、４０８を含まなくてもよい。
　この予想軌跡ガイドマーク４０５、４０６によれば、図５及び図６に示すように、牽引車４０１が徐々に後退して被牽引車４０３に接近しても、牽引車側連結具４０２または被牽引車側連結具４０４にガイドマーク若しくは指標線などの画像が重畳されないとともに、牽引車側連結具４０２と被牽引車側連結具４０４との間にもガイドマークや指標線などの画像が重畳されない。これによって、運転者は、牽引車側連結具４０２または被牽引車側連結具４０４の位置を撮像画像から見失うことなく、牽引車側連結具４０２及び被牽引車側連結具４０４の視認状態を維持したまま位置合わせをすることができる。一方で、運転者は、辺４０５ａと辺４０６ａとで挟まれた領域が牽引ガイドであることを直感的に把握することができる。そして、この牽引ガイドによって運転者は、牽引車側連結具４０２の予想経路を直感的に把握することができる。そして、運転者は、辺４０５ａと辺４０６ａとで挟まれた領域に沿って牽引車側連結具４０２を動かすように牽引車４０１を後退させることで、図６に示すように牽引車側連結具４０２と被牽引車側連結具４０４とを精度よくガイドすることができる。また、この予想軌跡ガイドマーク４０５、４０６の外縁方向側の辺４０５ｂ、４０６ｂを用いて、後退方向の障害物が車体側面に接触することを避けることができる。
　以上のように、本発明の制御手段１０９、特に画像重畳部１１２によれば、左右一対の予想軌跡ガイドマーク４０５、４０６の車幅中心方向側の辺４０５ａ、４０６ａを牽引車側連結具４０２よりも外縁方向に重畳し、予想軌跡ガイドマーク４０５、４０６の車幅方向外縁側の辺４０５ｂ、４０６ｂを自車両側端の予想軌跡として重畳することができる。これによって、牽引車４０１の後退方向の障害物が車体側面に接触することを避けるガイド、及び牽引車側連結具４０２と被牽引車側連結具４０４との位置合わせのガイドを直感的に把握することができるとともに、牽引車側連結具４０２及び被牽引車側連結具４０４の視認状態を維持することができる。
　そして、予想軌跡ガイドマーク４０５、４０６は、それぞれ辺４０５ａ、４０６ａと、辺４０５ｂ、４０６ｂと、距離指標４０５ｃ、４０６ｃとが連結して面状に構成されている。これによって、牽引車４０１が周囲の障害物と接触することを避けるガイドと、牽引ガイドとの２種類のガイドを１種類のガイドマークによって表すことができる。したがって、運転者は、１種類のガイドマークによって複数のガイドを直感的に把握することができる。
　なお、画像重畳部１１２は、通常の後退支援時と、牽引ガイド時とで、重畳する画像を切り替えてもよい。例えば、状態制御部１１３が入力手段１０７から牽引車４０１と被牽引車４０３との接続アシスト用のガイドの指示を検知した場合、画像重畳部１１２は、予想軌跡ガイドマーク４０５、４０６を撮像画像に重畳する。一方、状態制御部１１３が入力手段１０７から牽引ガイドの指示を検知せず、ギアポジションセンサ１０６からリア状態を検知した場合、画像重畳部１１２は、記憶手段１１０からステアリング舵角に応じた自車両側端の予想軌跡線と舵角ゼロ時の固定軌跡線とを読み出して撮像画像に重畳する。この自車両側端の予想軌跡線は、少なくとも辺４０５ｂ、４０６ｂで構成される。望ましくは、この辺４０５ｂ、４０６ｂの先端部が互いに結ばれている。
　このように、画像重畳部１１２により、通常の後退支援時と、牽引ガイド時とで重畳する画像を切り替えることによって、牽引車の状況に応じて必要なガイドを行うことができる。通常の後退支援時には、牽引ガイドが必要無く、後退方向の障害物が車体側面に接触することを防止するという１種類のガイドのみでよい。その理由は、予想軌跡ガイドマーク４０５、４０６を重畳するとかえって辺４０５ｂ、４０６ｂへの運転者の注意が低下するからである。一方、牽引ガイド時には、２種類のガイドが必要になり、かつ、牽引ガイドの対象である牽引車側連結具４０２が車体後端中央部にあるため、予想軌跡ガイドマーク４０５、４０６の重畳によって視認性を維持した牽引ガイドを行うことができる。
　（変形例１）
　次に、図４の予想軌跡ガイドマーク４０５、４０６の変形例を説明する。図７は、画像重畳部１１２によって重畳される図４の予想軌跡ガイドマーク４０５、４０６の変形例をイメージで説明する図である。
　画像変換部１１１は、画像取得手段１０８から取得した撮像画像を視点変換して俯瞰画像を作成する。図７に示すように、画像重畳部１１２は、記憶手段１１０から、自車両画像７０１と、牽引車側連結具７０２と、予想軌跡ガイドマーク７０５、７０６とを読み出して俯瞰画像に重畳する。俯瞰画像には、被牽引車７０３と被牽引車側連結具７０４とが映っている。運転者は、予想軌跡ガイドマーク７０５、７０６の車幅方向中心側の辺７０５ａ、７０６ａに挟まれた領域に沿って牽引車７０１を移動させることによって、牽引車側連結具７０２と被牽引車側連結具７０４との位置を見失うことなく位置合わせすることができる。
　２０１１年３月２日出願の特願２０１１－４４６５０の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明にかかる運転支援装置および牽引車は、被牽引車に牽引車を連結する際に適切な視界支援を行うのに有用である。
　１０１　　運転支援装置
　１０２　　撮像手段
　１０３　　表示手段
　１０９　　制御手段
　１１２　　画像重畳部

Claims (5)

  1. 　自車両後部の連結具とこの連結具に連結される被牽引車の被連結具とを含む自車両後方の撮像画像を取得する画像取得手段と、
    　この画像取得手段が取得した撮像画像に、自車両のステアリング操舵に応じた左右一対の面状の予想軌跡ガイドマークを重畳してこの重畳画像を表示手段に出力する重畳手段とを備え、
    　この重畳手段は、前記予想軌跡ガイドマークの車幅中心方向側の辺を前記連結具よりも外縁方向に重畳し、前記予想軌跡ガイドマークの車幅方向外縁側の辺を自車両側端の予想軌跡として重畳することを特徴とする運転支援装置。
  2. 　前記重畳手段が重畳した重畳画像を表示する表示手段をさらに備え、
    　前記表示手段には、左方の前記予想軌跡ガイドマークの車幅中心方向側の辺と、右方の前記予想軌跡ガイドマークの車幅中心方向側の辺との間隔内に前記連結具が表示されることを特徴とする請求項１に記載の運転支援装置。
  3. 　自車両後部の連結具とこの連結具に連結される被牽引車の被連結具とを含む自車両後方を撮像し、この撮像画像を前記画像処理手段に出力する後方撮像手段をさらに備えたことを特徴とする請求項２に記載の運転支援装置。
  4. 　自車両後部に設置された連結具と、
    　自車両後部に設置され、前記連結具と前記連結具に連結される被牽引車の被連結具とを含む自車両後方を撮像する後方撮像手段と、
    　車内に設けられ、自車両のステアリング舵角を検出する舵角検出手段と、
    　車内に設けられ、前記後方撮像手段が取得した撮像画像に、前記舵角検出手段が検出した自車両のステアリング舵角に応じた左右一対の予想軌跡ガイドマークを重畳する重畳手段と、
    　運転席から視認可能な車内に設けられて前記重畳手段が重畳した重畳画像を表示する表示手段を備え、
    　前記表示手段は、左右一対の前記予想軌跡ガイドマークの車幅中心方向側の辺を前記連結具よりも外縁方向に表示し、左右一対の前記予想軌跡ガイドマークの車幅方向外縁側の辺を自車両側端の予想軌跡として表示することを特徴とする牽引車。
  5. 　前記表示手段には、左方の前記予想軌跡ガイドマークの車幅中心方向側の辺と、右方の前記予想軌跡ガイドマークの車幅中心方向側の辺との間隔内に前記連結具を表示することを特徴とする請求項４に記載の牽引車。
     
PCT/JP2012/001158 2011-03-02 2012-02-21 運転支援装置及び牽引車 WO2012117693A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013502179A JPWO2012117693A1 (ja) 2011-03-02 2012-02-21 運転支援装置及び牽引車
EP12752034.4A EP2683164B1 (en) 2011-03-02 2012-02-21 Driving assistance device and towing vehicle
US13/985,014 US9516275B2 (en) 2011-03-02 2012-02-21 Driving assistance device and towing vehicle
EP17156514.6A EP3188480B1 (en) 2011-03-02 2012-02-21 Driving assistance device and towing vehicle
US15/336,979 US9799132B2 (en) 2011-03-02 2016-10-28 Driving support apparatus for tow coupling
US16/655,486 US20200051299A1 (en) 2011-03-02 2019-10-17 Driving support apparatus for tow coupling

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011044650 2011-03-02
JP2011-044650 2011-03-02

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/985,014 A-371-Of-International US9516275B2 (en) 2011-03-02 2012-02-21 Driving assistance device and towing vehicle
US15/336,979 Continuation US9799132B2 (en) 2011-03-02 2016-10-28 Driving support apparatus for tow coupling

Publications (1)

Publication Number Publication Date
WO2012117693A1 true WO2012117693A1 (ja) 2012-09-07

Family

ID=46757638

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001158 WO2012117693A1 (ja) 2011-03-02 2012-02-21 運転支援装置及び牽引車

Country Status (4)

Country Link
US (3) US9516275B2 (ja)
EP (2) EP2683164B1 (ja)
JP (1) JPWO2012117693A1 (ja)
WO (1) WO2012117693A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513393A (en) * 2013-04-26 2014-10-29 Jaguar Land Rover Ltd Vehicle hitch assistance system
CN104554006A (zh) * 2013-10-24 2015-04-29 通用汽车环球科技运作有限责任公司 智能牵引
JP2016081198A (ja) * 2014-10-14 2016-05-16 アルパイン株式会社 運転支援装置
JP2016150616A (ja) * 2015-02-16 2016-08-22 株式会社デンソー 運転支援装置
WO2017022457A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置、表示制御方法、及び表示制御プログラム
WO2017068934A1 (ja) * 2015-10-22 2017-04-27 新明和工業株式会社 コンテナ荷役車両
WO2018150642A1 (ja) * 2017-02-16 2018-08-23 アイシン精機株式会社 周辺監視装置
US10065676B2 (en) 2013-04-26 2018-09-04 Jaguar Land Rover Limited System for a towing vehicle
WO2019073871A1 (ja) * 2017-10-12 2019-04-18 アイシン精機株式会社 周辺監視装置
US20190119087A1 (en) * 2017-10-24 2019-04-25 Jungheinrich Ag Method for driver assistance for an industrial truck and industrial truck
JP2019192218A (ja) * 2018-03-13 2019-10-31 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド トレーラヒッチを有するビークルのための後退システム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012117693A1 (ja) * 2011-03-02 2014-07-07 パナソニック株式会社 運転支援装置及び牽引車
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
GB2525036B (en) * 2014-04-11 2018-08-22 Jaguar Land Rover Ltd Selectively deployable control device
DE102014212041A1 (de) * 2014-06-24 2015-12-24 Robert Bosch Gmbh Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeugs bei einer Rückwärtsfahrt zum Ankuppeln eines Anhängers
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
US10683035B2 (en) * 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
US10864787B2 (en) * 2016-07-28 2020-12-15 Robert Bosch Gmbh Systems and methods for a human machine interface for a trailer hitch system
JP6338626B2 (ja) * 2016-08-25 2018-06-06 株式会社Ｓｕｂａｒｕ 車両の表示装置
EP3379222B1 (en) 2017-03-22 2020-12-30 Methode Electronics Malta Ltd. Magnetoelastic based sensor assembly
US10427716B2 (en) 2017-09-12 2019-10-01 Ford Global Technologies, Llc Hitch assist system and method
US10625782B2 (en) * 2017-10-03 2020-04-21 Aisin Seiki Kabushiki Kaisha Surroundings monitoring apparatus
US11014417B2 (en) 2018-02-27 2021-05-25 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11084342B2 (en) 2018-02-27 2021-08-10 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11491832B2 (en) 2018-02-27 2022-11-08 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11135882B2 (en) 2018-02-27 2021-10-05 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US10670479B2 (en) 2018-02-27 2020-06-02 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11221262B2 (en) 2018-02-27 2022-01-11 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US10351061B1 (en) * 2018-03-09 2019-07-16 Deere & Company Implement attachment guidance system
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
JP7147300B2 (ja) * 2018-07-05 2022-10-05 株式会社アイシン 牽引支援装置
CN110733422B (zh) * 2018-07-18 2021-05-04 郑州宇通客车股份有限公司 一种外后视镜动态轨迹预测方法及系统
DE102018212401B3 (de) 2018-07-25 2019-12-24 Volkswagen Aktiengesellschaft Verfahren und System zum automatischen Erkennen eines Ankuppelmanövers eines Kraftfahrzeugs an einen Anhänger
US11090990B2 (en) * 2018-09-17 2021-08-17 Ford Global Technologies, Llc Trailer position, heading angle, and level measurement with smart device
US20200097021A1 (en) * 2018-09-19 2020-03-26 Continental Automotive Systems, Inc. Autonomous Farm Equipment Hitching To A Tractor
US11433812B2 (en) * 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11312416B2 (en) * 2019-01-30 2022-04-26 Toyota Motor Engineering & Manufacturing North America, Inc. Three-dimensional vehicle path guidelines
DE102020003141A1 (de) * 2020-05-26 2021-12-02 Jost-Werke Deutschland Gmbh Fahrerassistenzsystem und Verfahren zum Ankuppeln eines Anhängers an ein Zugfahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312768A (ja) 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2005112004A (ja) * 2003-10-02 2005-04-28 Nissan Motor Co Ltd 車両後退支援装置および方法
JP2007076496A (ja) 2005-09-14 2007-03-29 Fujitsu Ten Ltd 駐車支援装置
JP2009173386A (ja) 2008-01-23 2009-08-06 Mitsubishi Electric Corp エレベータの据付装置
JP2011044650A (ja) 2009-08-24 2011-03-03 Shimadzu Corp アクティブマトリックスアレイ及びその製造方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP4561479B2 (ja) * 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
US8451107B2 (en) * 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
JP2009292339A (ja) * 2008-06-05 2009-12-17 Aisin Seiki Co Ltd 駐車支援装置
US8138899B2 (en) 2009-07-01 2012-03-20 Ford Global Technologies, Llc Rear camera backup assistance with touchscreen display using two points of interest
JP5337878B2 (ja) * 2009-07-22 2013-11-06 トヨタ自動車株式会社 運転支援装置
TWI365145B (en) * 2009-11-02 2012-06-01 Ind Tech Res Inst Method and system for asisting driver
CN201646714U (zh) * 2010-01-26 2010-11-24 德尔福技术有限公司 泊车导向系统
JPWO2012117693A1 (ja) * 2011-03-02 2014-07-07 パナソニック株式会社 運転支援装置及び牽引車

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2002312768A (ja) 2001-04-09 2002-10-25 Matsushita Electric Ind Co Ltd 運転支援装置
JP2005112004A (ja) * 2003-10-02 2005-04-28 Nissan Motor Co Ltd 車両後退支援装置および方法
JP2007076496A (ja) 2005-09-14 2007-03-29 Fujitsu Ten Ltd 駐車支援装置
JP2009173386A (ja) 2008-01-23 2009-08-06 Mitsubishi Electric Corp エレベータの据付装置
JP2011044650A (ja) 2009-08-24 2011-03-03 Shimadzu Corp アクティブマトリックスアレイ及びその製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2683164A4

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10065676B2 (en) 2013-04-26 2018-09-04 Jaguar Land Rover Limited System for a towing vehicle
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US10035457B2 (en) 2013-04-26 2018-07-31 Jaguar Land Rover Limited Vehicle hitch assistance system
GB2513393A (en) * 2013-04-26 2014-10-29 Jaguar Land Rover Ltd Vehicle hitch assistance system
US10940889B2 (en) 2013-04-26 2021-03-09 Jaguar Land Rover Limited System for a towing vehicle
CN104554006A (zh) * 2013-10-24 2015-04-29 通用汽车环球科技运作有限责任公司 智能牵引
JP2016081198A (ja) * 2014-10-14 2016-05-16 アルパイン株式会社 運転支援装置
JP2016150616A (ja) * 2015-02-16 2016-08-22 株式会社デンソー 運転支援装置
WO2016132849A1 (ja) * 2015-02-16 2016-08-25 株式会社デンソー 運転支援装置及び運転支援方法
DE112016000767B4 (de) 2015-02-16 2023-02-23 Denso Corporation Fahrassistenzvorrichtung und fahrassistenzverfahren
WO2017022457A1 (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置、表示制御方法、及び表示制御プログラム
JP2017034544A (ja) * 2015-08-04 2017-02-09 株式会社デンソー 表示制御装置及び表示制御プログラム
JPWO2017068934A1 (ja) * 2015-10-22 2018-08-16 新明和工業株式会社 コンテナ荷役車両
JP2018131200A (ja) * 2015-10-22 2018-08-23 新明和工業株式会社 コンテナ荷役車両
WO2017068934A1 (ja) * 2015-10-22 2017-04-27 新明和工業株式会社 コンテナ荷役車両
JP2018133712A (ja) * 2017-02-16 2018-08-23 アイシン精機株式会社 周辺監視装置
WO2018150642A1 (ja) * 2017-02-16 2018-08-23 アイシン精機株式会社 周辺監視装置
WO2019073871A1 (ja) * 2017-10-12 2019-04-18 アイシン精機株式会社 周辺監視装置
JP2019075624A (ja) * 2017-10-12 2019-05-16 アイシン精機株式会社 周辺監視装置
JP7000787B2 (ja) 2017-10-12 2022-01-19 株式会社アイシン 周辺監視装置
US20190119087A1 (en) * 2017-10-24 2019-04-25 Jungheinrich Ag Method for driver assistance for an industrial truck and industrial truck
US10926984B2 (en) * 2017-10-24 2021-02-23 Jungheinrich Ag Method for driver assistance for an industrial truck and industrial truck
JP2019192218A (ja) * 2018-03-13 2019-10-31 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド トレーラヒッチを有するビークルのための後退システム

Also Published As

Publication number Publication date
US20130321634A1 (en) 2013-12-05
US9516275B2 (en) 2016-12-06
JPWO2012117693A1 (ja) 2014-07-07
EP2683164A1 (en) 2014-01-08
EP2683164A4 (en) 2014-09-10
US20200051299A1 (en) 2020-02-13
US9799132B2 (en) 2017-10-24
EP3188480A1 (en) 2017-07-05
US20170053428A1 (en) 2017-02-23
EP3188480B1 (en) 2019-01-02
EP2683164B1 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
WO2012117693A1 (ja) 運転支援装置及び牽引車
JP4853712B2 (ja) 駐車支援装置
JP5429514B2 (ja) 駐車支援装置
US6621421B2 (en) Vehicle backward movement assisting apparatus for in-line parking
JP5477515B2 (ja) 駐車支援装置
US6999002B2 (en) Parking operating assisting system
US10068483B2 (en) Parking assistance device
JP5380926B2 (ja) 駐車支援装置及び駐車支援方法
WO2006068222A1 (ja) 運転支援装置
EP2003021A2 (en) Parking assistance device
WO2019073872A1 (ja) 駐車支援装置
JP5397329B2 (ja) 駐車支援装置
JP3374833B2 (ja) 駐車時の車両後退支援装置
JP6559083B2 (ja) 駐車支援装置および駐車支援方法
JP5075674B2 (ja) 駐車支援装置
JP2005343417A (ja) 駐車アシスト装置
JP2007091047A (ja) 車両駐車支援装置
CN102529813B (zh) 一种停车辅助装置
JP3762854B2 (ja) 駐車補助装置
JP2012106732A (ja) 車両周辺表示装置
JP6130625B2 (ja) 車両運転支援装置
JP5614769B2 (ja) 車両周辺表示装置
JP5659914B2 (ja) 駐車支援装置
JP2012011817A (ja) 駐車支援装置
JP2007090992A (ja) 車両後退運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12752034

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013502179

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012752034

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012752034

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13985014

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE