WO2010098170A1 - 駐車支援装置 - Google Patents

駐車支援装置 Download PDF

Info

Publication number
WO2010098170A1
WO2010098170A1 PCT/JP2010/051221 JP2010051221W WO2010098170A1 WO 2010098170 A1 WO2010098170 A1 WO 2010098170A1 JP 2010051221 W JP2010051221 W JP 2010051221W WO 2010098170 A1 WO2010098170 A1 WO 2010098170A1
Authority
WO
WIPO (PCT)
Prior art keywords
parking
vehicle
guidance
driver
unit
Prior art date
Application number
PCT/JP2010/051221
Other languages
English (en)
French (fr)
Inventor
門脇淳
渡邊一矢
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to EP10746051.1A priority Critical patent/EP2402219B1/en
Priority to CN2010800036944A priority patent/CN102405154B/zh
Priority to US13/141,904 priority patent/US8816878B2/en
Publication of WO2010098170A1 publication Critical patent/WO2010098170A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06Automatic manoeuvring for parking

Definitions

  • the present invention relates to a parking assist device that parks a vehicle by automatic steering.
  • An automatic steering type parking assist system that displays an image of the rear of the vehicle on a monitor mounted in the vehicle and automatically performs steering using an electric power steering (EPS) as an actuator has been put into practical use.
  • EPS electric power steering
  • the journal of the Society of Automotive Engineers of Japan includes a paper introducing such a system entitled “Development of Intelligent Parking Assist” (non-patent literature) 1).
  • the driver uses the buttons on the touch panel of the monitor to set the parking mode and the parking target position, and operates the confirmation button to start steering assistance. Specifically, select the parking mode of garage parking or parallel parking with the selection button on the touch panel, adjust the target parking position superimposed on the monitor with the adjustment button on the touch panel, and finally confirm on the touch panel Press the button to start steering assistance.
  • Non-Patent Document 1 In order to reduce the adjustment amount, the parking section line is recognized by image processing or the parking space is recognized using an ultrasonic sensor, and the initial position of the target parking position is determined. The accuracy is improved.
  • the recognition of parking lot lines and parking spaces using image processing and ultrasonic sensors improves the accuracy of the initial position of the target parking position and greatly reduces the time until the start of automatic steering.
  • the driver still has to operate the confirmation switch on the touch panel to start automatic steering. Since the driver is required to perform an operation different from natural parking driving, some drivers may feel troublesome. Therefore, there is a demand for a parking assistance device that can smoothly start automatic steering control without requiring a special operation after confirming the parking target position.
  • a parking assistance device includes: A parking position information acquisition unit that acquires parking position information related to a position where the vehicle is parked; A parking target position setting unit that sets a parking target position based on the parking position information; A guidance route calculation unit for calculating a guidance route for guiding the vehicle by automatic steering to the parking target position; A notification information output unit for outputting notification information for notifying a driver of the vehicle that automatic steering is enabled when the guidance route is established; A non-holding state determination unit that determines whether the steering device is in a non-holding state in which the driver is not holding; The guidance unit that controls the steering device and guides the vehicle from the guidance start position to the parking target position by automatic steering is determined to be in a guideable state capable of guiding the vehicle, and the guidance unit A guidance start determination unit for starting the guidance, the guidance start determination unit determining that the guidance route is established and the non-holding state is the guideable state.
  • the guidance start determination unit determines whether or not the guidance is possible and causes the guidance unit to start guiding the vehicle when the guidance is possible.
  • the guidance start determination unit determines that the guidance is possible when the conditions that the guidance route is established and that the guidance route is in the non-holding state are satisfied. According to this configuration, after the guidance route is established, guidance by automatic steering is started if the driver simply stops holding the steering device such as the steering wheel without operating the confirmation button or the guidance start button. Therefore, since the automatic steering control is smoothly started and there is no time loss due to a button operation or the like, the vehicle can be parked quickly. Since the driver can also use the parking assistance device without having to feel troublesome operation such as button operation, convenience is improved.
  • the guidance unit of the parking assistance device guides the vehicle, which has been temporarily stopped by proceeding to the guidance start position by the driving operation of the driver, to the parking target position by automatic steering. Is preferred.
  • the vehicle By temporarily stopping the vehicle at the guidance start position, setting of the parking target position and calculation of the guidance route can be performed with high accuracy.
  • the temporary stop makes it easier to create a non-holding state in which the driver does not hold the steering device when starting guidance.
  • the parking assistance apparatus further includes a movement state determination unit that determines whether or not the vehicle is moving, and the guidance start determination unit includes the guidance route and the non-holding state.
  • the guidance start determination unit includes the guidance route and the non-holding state.
  • the guidance unit determines the guidance unit to guide the vehicle. It is preferable to start.
  • the driver controls the vehicle on the condition that the vehicle is moving in a state where the guidance route is established and the driver does not hold the steering device and the driver further releases the brake. It is possible to accurately determine that the control system such as the guiding unit is entrusted. As a result, the vehicle can be parked smoothly by automatic steering.
  • the driver determines that the driver has left the control of the vehicle to a control system such as a guidance unit due to the movement of the vehicle, the vehicle is preferably in a stopped state before that. Therefore, the determination of the inducible state prior to the start of guidance is preferable on the condition that the guidance route is established and is in the non-holding state, and that the vehicle is in a stopped state.
  • the parking target setting unit of the parking assist device sets the parking target position in a predetermined area set as a partial area of the parking position information, and the parking position It is preferable that the setting position of the predetermined area set for the information is changed according to the operation of the steering device by the driver. Since the driver operates the steering device when the parking target position is set, the driver holds the steering device until the guidance route is established. That is, when it is notified that the guidance route is established and automatic steering is possible, the driver holds the steering device. When the driver stops holding the steering device from this state in response to a message notifying the start of support, the non-holding state determination unit can more clearly determine that the steering device is in a free state. .
  • the predetermined area is changed according to an operation of the steering device by the driver when the vehicle is temporarily stopped at the guidance start position.
  • the setting of the parking target position and the calculation of the guide route for the parking target position are performed with high accuracy within a predetermined area.
  • the parking target setting unit of the parking assist device sequentially sets the parking target position for the predetermined area that is sequentially changed according to the operation of the steering device by the driver, and the guidance The route calculation unit sequentially calculates the guidance route with respect to the sequentially set parking target positions, and the notification information output unit is capable of automatic steering when the sequentially calculated guidance route is established. In addition, it is preferable to output notification information that prompts the driver to stop the operation of the steering device.
  • the setting of the parking target position and the calculation of the guidance route with respect to the parking target position are performed following a predetermined area that is sequentially changed according to the operation of the steering device by the driver.
  • the operation of the steering device by the driver is promptly stopped when the guidance route is established.
  • the driver can quickly stop the operation of the steering device.
  • the notification information is superimposed on the photographed image on a display device that displays a photographed image of a scene around the vehicle by at least one photographing device mounted on the vehicle, and the parking target position is determined. It is preferable to include the graphic image information shown.
  • the driver can confirm the parking target position without delay from the graphic image displayed on the display device. Since the driver can predict that the operation of the steering device should be stopped from the display on the display device, the driver should immediately stop the operation of the steering device according to the notification information that prompts the user to stop the operation of the steering device. Can do.
  • the parking position information is photographed image information obtained by photographing a scene around the vehicle by at least one photographing device mounted on the vehicle.
  • a photographing device mounted on a vehicle
  • a parking assistance device can be configured without using an additional device by using photographed image information.
  • FIG. 1 is a block diagram schematically showing a configuration example of a parking assistance apparatus of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration example of a vehicle on which the parking assistance device is mounted.
  • FIG. 3 is an explanatory diagram showing an example of the movement of the vehicle during parking in a garage.
  • FIG. 4 is an explanatory diagram showing an example of the movement of the vehicle during parallel parking.
  • FIG. 5 is a flowchart schematically showing a processing procedure of the parking assist device until guidance by automatic steering is started.
  • FIG. 1 is a block diagram schematically showing a configuration example of a parking assistance apparatus of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a configuration example of a vehicle on which the parking assistance device is mounted.
  • FIG. 3 is an explanatory diagram showing an example of the movement of the vehicle during parking in a garage.
  • FIG. 4 is an explanatory diagram showing an example of the movement of the vehicle during parallel parking.
  • FIG. 5
  • FIG. 6 is an explanatory diagram illustrating a display example of a screen for designating a parking mode.
  • FIG. 7 is an explanatory diagram illustrating an example of a region set as an image processing target.
  • FIG. 8 is an explanatory diagram illustrating another example of a region set as an image processing target.
  • FIG. 9 is an explanatory diagram showing a display example of the screen when the parking target position is set.
  • FIG. 10 is an explanatory diagram showing a display example of a screen when guidance by automatic steering is started.
  • FIG. 11 is an explanatory diagram showing the relationship between the world coordinate system and the camera coordinate system.
  • FIG. 12 is an explanatory diagram showing the relationship between the camera coordinate system and the image coordinate system of the captured image.
  • FIG. 13 is a diagram for explaining the principle of calculating the amount of movement of the host vehicle.
  • FIG. 14 is an explanatory diagram illustrating an example of a screen on which the driver adjusts the parking target position.
  • the parking assist device of the present invention parks the vehicle 30 by automatic steering, and in this embodiment, the parking assist device is configured with an ECU (electronic control unit) 10 as a core.
  • the ECU 10 includes a microprocessor, a DSP (digital signal processor), a memory, and various electronic components. As shown in FIG. 1, the ECU 10 includes a plurality of functional units. Each functional unit is realized by cooperation of hardware or hardware and software, and is not necessarily configured as an independent component.
  • a monitor device 33 having a touch panel 36 formed on the display unit 34 is provided in the vicinity of the driver's seat and in the upper part of the console.
  • the monitor device 33 is of a liquid crystal type provided with a backlight.
  • the monitor device 33 may be a plasma display type or a CRT type.
  • the touch panel 36 is a pressure-sensitive or electrostatic instruction input device that can output a contact position of a finger or the like as location data.
  • the monitor device 33 is also provided with a speaker 35, the speaker 35 may be provided in another place such as the inside of a door.
  • the monitor device 33 is preferably used also as a display device for the navigation system.
  • captured image information around the vehicle is used as the parking position information related to the position where the vehicle 30 is parked.
  • the vehicle 30 is provided with a photographing device for photographing a scene around the vehicle as a parking position information acquisition unit.
  • a camera 32 is provided at the rear end of the vehicle 30 in order to capture a scene behind the vehicle 30.
  • the camera 32 is a digital camera incorporating an image sensor such as a CCD (charge coupled device) or a CIS (CMOS image sensor), and outputs captured information in real time as time-series moving image information.
  • the camera 32 includes a wide-angle lens, and a viewing angle of 120 to 140 degrees is secured in the horizontal direction.
  • the camera 32 is installed in the vehicle 30 with a depression angle of about 30 degrees on the optical axis, and can capture an area up to about 8 m behind the vehicle 30.
  • the camera 32 that captures the rear of the vehicle 30 is illustrated.
  • only the camera that captures the front of the vehicle 30 is mounted, or two cameras that capture the front and rear are mounted. May be.
  • a camera for photographing the side of the vehicle 30 may be mounted so that the entire area around the vehicle 30 can be photographed.
  • the vehicle 30 is provided with various sensors and switches as vehicle behavior detecting means 20 for detecting the behavior of the vehicle 30 such as a driving operation and a moving state of the vehicle.
  • the ECU 10 receives the detection results from the vehicle behavior detection means 20, and various functional units of the ECU 10 perform various determinations, calculations, and controls based on the detection results received via the sensor input interface 18.
  • Steering sensor 21 is provided in the operation system of steering wheel 41 (steering device), and the operation direction, operation amount, and operation torque of steering wheel 41 by a driver are measured.
  • the steering sensor 21 includes, for example, a magnetoresistive element and a torsion bar. Based on the detection result of the steering sensor 21, the ECU 10 can also determine whether or not the driver holds the steering wheel 41.
  • the vehicle 30 is equipped with an EPS (electric power steering) system as the power steering system 31. The amount steered by the EPS system is also detected by the steering sensor 21, and the EPS system performs feedback control.
  • EPS electric power steering
  • a wheel speed sensor 23 for measuring the rotation of at least one of the front wheels 38f and the rear wheels 38r is provided.
  • the wheel speed sensor 23 is configured using, for example, a magnetoresistive element. Based on the detection result of the wheel speed sensor 23, the ECU 10 can also determine whether or not the vehicle 30 is stopped.
  • an FF type vehicle in which power from the engine 40 disposed in front of the vehicle body is transmitted to the front wheels 38f via a transmission mechanism 39 having a torque converter, CVT (continuously variable transmission), or the like is illustrated. Yes. As shown in FIG.
  • the wheel speed sensor 23 shows an example of measuring the rotation amount of the front wheel 38f that is the driving wheel, but the rotation amount of the rear wheel 38r that is the driven wheel may be measured.
  • the wheel speed sensors 23 may be provided on all the wheels.
  • the movement amount of the vehicle 30 can be measured from the rotation amount of the drive system.
  • the operating system of the shift lever 45 is provided with a shift lever switch 25, and the ECU 10 can determine the shift position.
  • the shift lever switch 25 detects whether or not the shift lever 45 is set to reverse, and transmits the detection result to the ECU 10.
  • a brake sensor 27 is provided in the operation system of the brake pedal 47 that is operated to apply a braking force to the brake system 37 of the wheel 38, and the presence / absence of the brake operation and the operation amount can be detected.
  • the brake system 37 is an electric brake system
  • a braking force can be applied to the vehicle 30 in accordance with the control of the ECU 10.
  • the operation system of the accelerator pedal 49 that controls the traveling speed is provided with an accelerator sensor 29, which can measure the operation amount.
  • the camera 32, the monitor device 33, the power steering system 31, and the brake system 37 are connected to the communication interface 19 of the ECU 10 via an in-vehicle network such as CAN (controller area network). These function as described above in cooperation with each functional unit of the ECU 10.
  • CAN controller area network
  • the parking assistance device (ECU 10) of the present invention includes an image acquisition unit (parking position information acquisition unit) 1, a parking target position setting unit 2, a guidance route calculation unit 3, and a notification information output unit. 4, a non-holding state determination unit 5, a guidance unit 6, a guidance start determination unit 7, a movement state determination unit 8, and an image output unit 9.
  • the ECU 10 includes storage means such as a memory and a disk device (hard disk, optical / magnetic / magneto-optical disk, etc.). For example, internal and external memories and disk devices are used for programs to be executed by the microprocessor and temporary storage of acquired image data.
  • a synchronization separation circuit when acquiring captured image information from the camera 32, a synchronization separation circuit, a buffer, a frame memory, and the like are used. Further, when displaying on the monitor device 33, a graphic image, text, or the like is superimposed on the captured image in accordance with an instruction from the image output unit 9. Graphic images, characters, and the like are generated by the image processing module 16 including a graphic drawing circuit, a superimpose circuit, and the like. Such a configuration is publicly known, and detailed description thereof is omitted here for ease of explanation.
  • the parking assistance device of the present invention has a function of assisting a driving operation for parking the vehicle 30 at a predetermined parking position.
  • FIG. 3 in the case of parking in a garage, the vehicle 30 moves forward to a reverse start position and moves backward from the reverse start position to the parking position.
  • FIG. 4 also in the case of parallel parking, the vehicle 30 moves forward to the reverse start position and moves backward from the reverse start position to the parking position.
  • the driver moves the vehicle 30 forward by operating the steering wheel 41 to the reverse start position.
  • the driver leaves the vehicle 30 backward by leaving the steering to the parking assist device and parks the vehicle 30 at the parking position.
  • FIG. 3 an example will be described in which garage parking is performed with a vacant parking section E between other already parked vehicles 50 as a predetermined parking position.
  • the other vehicle 50 is illustrated in order to clearly indicate the predetermined parking position, but the other vehicle 50 may be omitted as a matter of course.
  • the driver moves the vehicle 30 forward to the reverse start position for parking in the parking area E.
  • the driver operates the steering wheel 41 to steer the vehicle 30 in the right direction. Therefore, when the driver stops the vehicle 30 at the reverse start position, the front wheel 38f is directed to the right as shown in FIG. 3, or the neutral position is set by an operation by the driver in anticipation of the subsequent garage steering. Often has become.
  • the ECU 10 causes the display unit 34 of the monitor device 33 to display the rear image of the vehicle 30 taken by the camera 32.
  • the image acquisition unit 1 acquires a captured image of the camera 32, performs a correction process such as distortion correction in an image processing unit (not shown), and the image output unit 9 superimposes a predetermined graphic image on the captured image.
  • a correction process such as distortion correction in an image processing unit (not shown)
  • the image output unit 9 superimposes a predetermined graphic image on the captured image.
  • the monitor device 33 As shown in FIG. 2, since the monitor device 33 is disposed in front of the driver, the image displayed on the display unit 34 of the monitor device 33 is a mirror image of the captured image that is reversed left and right. That is, the display is performed so that the driver can obtain the same visual effect as when viewing the scene behind the vehicle 30 through the room mirror.
  • touch buttons such as “garage parking”, “parallel parking”, and “stop support” are displayed on the touch panel 36.
  • “Start” in the flowchart of FIG. 5 corresponds to the start of the parking assistance. That is, the touch buttons for “garage parking” and “parallel parking” are not only a parking mode selection button for parking assistance but also a parking assistance start button.
  • a “parking support start” touch button is displayed on the touch panel 36 as a parking support start button, and after selecting this, a “garage parking” or “parallel parking” touch is selected as a parking mode selection button.
  • a form in which a button is displayed may be used.
  • a parking assistance start button may be provided separately on the console of the vehicle 30 instead of the touch button.
  • the notification information output unit 4 prompts the driver to specify the parking position via the voice processing module 17 and the speaker 35 (# 1 in FIG. 5). For example, a message such as “Turn the steering wheel to indicate the parking position” is sent.
  • the driver operates the steering wheel 41 in the same manner as parking the vehicle 30 by manual steering while the vehicle 30 is stopped. For example, the driver operates the steering wheel 41 in the direction of arrow A so that the vehicle 30 is parked in the parking section E in FIG. As a result, the front wheel 38f is steered in the direction of arrow B in FIG.
  • the movement of the steering wheel 41 is detected by the steering sensor 21. Based on the detection result, the ECU 10 sets a region of interest ROI (region of interest), which is a target region for image processing, as shown in FIG. As will be described later, the region of interest ROI corresponds to a “predetermined region” that is set when the parking target position setting unit 2 acquires the parking position information based on the operation of the steering wheel 41 by the driver.
  • the region of interest ROI shown in FIG. 7 is a concept in image processing and does not need to be displayed on the monitor device 33, but does not prevent display on the monitor device 33 in order to clearly indicate to the driver.
  • the ECU 10 can narrow down the target area for image processing.
  • the parking target position is set by recognizing the lane markings W (W1, W2) by image processing. Therefore, the captured image information acquired via the camera 32 corresponds to parking position information regarding a position where the vehicle 30 is parked. Moreover, the image acquisition part 1 which acquires picked-up image information is corresponded to the parking position information acquisition part which acquires parking position information.
  • the parking target position setting unit 2 performs a recognition process of the lane marking W using the region of interest ROI as a target area for image processing, and sets a parking target position. By limiting the target region for image processing, it is possible to suppress the possibility of recognizing other lines and objects as the lane markings W, and to improve the recognition rate.
  • the parking section E partitioned by the lane line W is generally standardized.
  • the relationship between the vehicle 30 and the parking position can be generally defined according to the parking mode. Therefore, it is possible to set the region of interest ROI satisfactorily.
  • the parking target position setting unit 2 performs image processing on the region of interest ROI (predetermined region), detects the lane marking W, and recognizes the parking section E (# 2 in FIG. 5). Then, as shown in FIG. 3, a parking target position P2 is set in the parking section E (# 4 in FIG. 5).
  • the parking section E is recognized substantially in real time following the region of interest ROI that changes as the steering wheel 41 is operated. In the case where the parking lot E cannot be recognized, including the case where the lane marking W cannot be detected, the ECU 10 continues to prompt the driver to specify the parking position (FIG. 5 # 3, # 1).
  • the ECU 10 causes the display unit 36 to display the parking target area G as shown in FIG.
  • the driver can recognize that the parking section E is recognized and the parking target position P2 has been set, and the operation of the steering wheel 41 can be stopped.
  • This display is preferably performed via the image processing module 17 including a graphic drawing circuit and a superimpose circuit in accordance with instructions from the notification information output unit 4 and the image output unit 9.
  • the road surface is a dark color such as asphalt paint
  • the lane marking W is a light color such as white or yellow. Therefore, the parking target position setting unit 2 extracts the lane markings W by performing a known edge detection process in the region of interest ROI. Then, the parking target position setting unit 2 performs straight line recognition on the extracted lane marking W by performing arithmetic processing such as known Hough transform and RANSAC (RANdomRANSAmple Consensus) to recognize the parking lot E. A curve recognition process may be added to recognize the parking section E including a curved shape.
  • the parking target position P2 is set corresponding to a predetermined reference Q of the vehicle 30. That is, the parking target position P2 is set to the coordinates where the reference Q is located when the vehicle 30 is parked in the parking section E.
  • the reference Q is set at the midpoint of the axle of the rear wheel 38r of the vehicle 30, for example.
  • the guide route calculation unit 3 calculates the guide route K for guiding the vehicle 30 to the parking target position P2 set in this way by automatic steering (# 5 in FIG. 5).
  • the parking target position P2 when the parking target position P2 is set, the vehicle 30 is stopped at a point P1 shown in FIG. With this point P1 as the guidance start position (reverse start position), the guidance route K from the guidance start position P1 to the parking target position P2 is calculated.
  • the vehicle 30 is equipped with an EPS system as a power steering system 31.
  • the vehicle 30 can be automatically steered by operating the EPS system based on a command from the ECU 10.
  • the actuator mounted on the EPS system has a large coefficient of friction between the front wheel 38f that is a steered wheel and the ground, it is not suitable for operation in a stationary state that requires a large driving torque. For this reason, automatic steering using the EPS system is performed along with the movement of the vehicle 30. Therefore, the guide route calculation unit 3 calculates the guide route K when the vehicle 30 is steered while moving.
  • the driver in order to set the parking position, the driver is caused to operate the steering wheel 41 according to the actual garage parking, so that the front wheel 38f is moved in a direction suitable for garage parking. is there. Therefore, the guidance route K can be obtained with the shortest route.
  • the guidance route K can be obtained with the shortest route.
  • the front wheel 38f is cut in the opposite direction to the snake angle for entering the garage or is in a neutral position, it is excessive until the steering wheel is steered to the snake angle for entering the garage. Retraction is required.
  • the guide route K becomes long.
  • the shortest guide route K is sufficient.
  • the guidance route calculation unit 3 When the guidance route K is established, the guidance route calculation unit 3 notifies other functional units that the guidance route K has been established, for example, by setting a flag on the program processing of the microprocessor (FIG. 5). # 6). Alternatively, the guidance route calculation unit 3 may directly transmit to the notification information output unit 4.
  • the notification information output unit 4 provides notification information for notifying the driver that the guidance route K is established and automatic steering is possible to the display unit 34 and the speaker 35 via the graphic drawing circuit and the voice synthesis circuit. Output (FIG. 5 # 7). From the speaker 35, for example, a message such as “Now parking support is possible. Release your hand from the steering wheel to loosen the brake and slowly move the vehicle backward” is output.
  • the display unit 34 displays guide lines L1 to L4, touch buttons, and the like as shown in FIG.
  • the guideline L1 is indicated by the vehicle width extension line indicated in green
  • the guideline L2 is indicated by the rear 5 m reference line indicated by green
  • the guideline L3 is indicated by the rear 3 m reference line indicated by green
  • the guideline L4 is indicated by red. It is a rear 1m caution line.
  • a touch button a “stop” button for canceling parking support and a “target change” button for canceling the current parking target area G (parking target position P2) are illustrated.
  • the guidance start determination unit 7 determines that the driver is in a non-holding state where the driver who has received the message releases his hand from the steering wheel 41 is in a guideable state in which automatic steering is possible, and guides the guidance unit 6. Is started (# 9 in FIG. 5).
  • the non-holding state determination unit 5 determines whether or not the driver is not holding the steering wheel 41.
  • the operation system of the steering wheel 41 is provided with the steering sensor 21 in order to control the EPS system.
  • the steering sensor 21 includes, for example, a magnetoresistive element and a torsion bar, and can measure the operation direction, operation amount, and operation torque of the steering wheel 41. The measurement result of the steering sensor 21 is transmitted to the ECU 10 as shown in FIG.
  • a method for determining whether or not the steering wheel 41 is in a free state using a feedback control result of the EPS system or a detection result of the steering sensor 21 is known.
  • the non-holding state determination unit 5 determines whether the driver is holding the steering wheel 41 based on the measurement result of the steering sensor 21.
  • the power steering system 31 normally has a subordinate role of giving assist torque to the driver's steering.
  • the power steering system 31 plays a main role, as is apparent from the fact that the driver sets the steering wheel 41 in a free state.
  • the start of guidance by the guidance unit 6 means that the power steering system 31 shifts from the subordinate operation mode in which the assist torque is applied to the operation mode in which the steering wheel 38f is actively moved to steer the vehicle 30.
  • SBW steerer-by-wire
  • the guidance start determination unit 7 may cause the guidance unit 6 to start guidance when the guidance route K is established and the steering wheel 41 is in the non-holding state, but if the driver does not release the brake pedal 47, The vehicle 30 remains stopped. That is, guidance is not substantially started, and a waiting state occurs. Therefore, the guidance unit 6 may be further guided in consideration of the determination result of whether or not the vehicle 30 is moving (# 10 in FIG. 5). Whether or not the vehicle 30 is moving is determined by the moving state determination unit 8 based on the detection results of other vehicle behavior detecting means such as the brake sensor 27 and the wheel speed sensor 23.
  • the guidance start condition may include that the vehicle 30 is in a stopped state (# 8 in FIG. 5). That is, as shown in FIG. 5, when the guidance route K is established, the vehicle 30 is in a stopped state (# 8), and the steering wheel 41 is in a non-holding state (# 9), the guidance start standby is performed. State. Then, when the vehicle 30 starts to move in the guidance start standby state (# 10), the guidance unit 6 starts guidance. In this way, more reliable automatic steering can be realized.
  • the parking section E is recognized and the parking target position P2 is set. Then, the guide route K to the set parking target position P2 is calculated. Accordingly, the driver holds the steering wheel 41 when it is determined that the guidance route K is established and automatic steering is possible.
  • the non-holding state determination unit 5 can more clearly determine that the steering wheel 41 has entered a free state. . That is, in the present system, the driver's intention to put the steering wheel 41 in the non-holding state is regarded as an indication of the driver's intention to “start automatic steering”.
  • the steering wheel 41 in the present embodiment is an example of a steering device that can steer the vehicle 30 by a driver's active operation. Therefore, the steering device that is a target for determining whether or not the non-holding state determination unit 5 is in the non-holding state is not limited to the steering wheel 41.
  • a vehicle for a handicapped person may be equipped with a stick type steering device instead of the steering wheel 41. In such a vehicle, it is determined whether or not the stick-type steering device is in a free state.
  • the detection of the non-holding state with respect to the steering device is not limited to the steering sensor 21 and may be performed using a touch sensor (not shown) provided in the steering device.
  • the lane marking W serving as a parking reference is detected by image processing based on the captured image information captured by the camera 32, and the parking target position P2 is set. Further, the movement state of the vehicle 30 is calculated by various sensors 21 to 29 functioning as vehicle behavior detecting means. Prior to the description of specific guidance, the basic principle of image processing and the principle of calculation of the movement state will be described first.
  • FIG. 11 is an explanatory diagram showing the relationship between the world coordinate system (X, Y, Z), which is the reference coordinate system, and the camera coordinate system (x, y, z), which is the coordinate system of the camera 32.
  • FIG. 12 is an explanatory diagram showing the relationship between the camera coordinate system (x, y, z) and the image coordinate system (u, v) of the captured image.
  • the world coordinate system and the camera coordinate system are both right-handed coordinate systems here.
  • the right hand coordinate system is a method for determining X (x), Y (y), and Z (z) in the order in which the thumb, index finger, and middle finger of the right hand are opened.
  • the image coordinate system (u, v) is an area (image plane) perpendicular to the z axis that coincides with the optical axis of the camera coordinate system as shown in FIG. 12, and the camera coordinate origin o from the camera coordinate in the z axis direction.
  • This is a two-dimensional coordinate system separated by a focal length f.
  • the point where the image plane and the optical axis intersect is the image center O I.
  • the u-axis of the image coordinate system is parallel to the x-axis of the camera coordinate system
  • the v-axis is parallel to the y-axis of the camera coordinate system.
  • is an angle formed by the u axis and the v axis.
  • the image coordinate system (u, v) is an orthogonal coordinate system and ⁇ is 90 degrees.
  • the point M is represented by the following determinant (1), and its homogeneous coordinates (homogeneous coordinates ) Is expressed by the following determinant (2).
  • the point M is subjected to coordinate transformation (perspective transformation / viewpoint transformation) as a point m on the image plane by the perspective camera matrix P as shown in the following equation (3).
  • the transformation matrix relating to the position between the camera coordinate system and the world coordinate system is a translation vector T (translation component), the transformation matrix relating to the posture is a rotation matrix R (rotation component), the focal length f of the camera 32 and the angle of the uv axis.
  • T translation component
  • R rotation matrix
  • the focal length f of the camera 32 the focal length f of the camera 32 and the angle of the uv axis.
  • the perspective camera matrix P is composed of a plurality of matrices, but is generally represented as a projection camera matrix that is a determinant of 3 rows and 4 columns.
  • the point M in the world coordinate system is converted to the point m in the image coordinate system by the above equation (3), and can be superimposed on the image taken by the camera 32 by the image output unit 9.
  • the coordinates of the parking target position P2 in the world coordinate system can be derived from a point in the image coordinate system.
  • the parking target position P2 is on the YZ plane of the world coordinate system shown in FIG. 11 on the assumption that the road surface is flat, it can be accurately derived from the point of the image coordinate system. .
  • FIG. 13 is a diagram for explaining the principle of calculating the movement amount of the vehicle 30.
  • the detection results by the vehicle behavior detecting means such as the steering sensor 21 and the wheel speed sensor 23 are transmitted to the ECU 10.
  • the guide route calculation unit 3 and the guide unit 6 calculate a movement state such as a position change (movement amount) of the vehicle 30 based on the detection result of the vehicle behavior detection unit.
  • the above-described guidance route calculation unit 3 calculates the guidance route K based on the steering angle operable via the power steering system 31, the speed at which creeping can proceed, and the like.
  • FIG. 13 exemplifies a vehicle 30 that moves backward with an arcuate movement trajectory having a radius C.
  • a broken line in the figure indicates an arc having a radius C.
  • FIG. 13B is a partially enlarged view of FIG.
  • the radius C can be obtained from the detection result of the steering sensor 21.
  • ds indicates a minute movement distance of the vehicle 30 in a minute time.
  • the minute movement distance ds can be obtained from the detection result of the wheel speed sensor 23. From these detection results, the movement amount of the vehicle 30 is calculated using the following equations (5) to (7).
  • is a cumulative moving distance.
  • the guide unit 6 guides the vehicle 30 until the point Q reaches the parking target position P2.
  • the brake system 37 is an electric brake system
  • the ECU 10 outputs a message to stop the vehicle 30 from the speaker 35 via the notification information output unit 4. That is, the ECU 10 prompts the driver to operate the brake pedal 47, and the vehicle 30 is stopped by the operation of the driver.
  • the driver simply holds the steering device such as the steering wheel 41 without operating the confirmation button or the guidance start button. If is stopped, guidance by automatic steering is started. Accordingly, since the automatic steering control is smoothly started and there is no time loss due to button operation or the like, parking of the vehicle 30 can be completed quickly. In addition, since the driver can use the parking assistance device without having to worry about button operation or the like, convenience is improved.
  • the present invention is not limited to the above-described embodiment with respect to the method for setting the parking target position.
  • the case where the parking section E is automatically recognized by recognizing the lane marking W and the parking target position P2 is set is illustrated.
  • the present invention is not limited to this, and the driver may adjust the position of the parking target using the touch panel 3 without recognizing the lane marking W.
  • the driver may adjust and set the parking target area G displayed at a predetermined position using the arrow button H.
  • the information input in accordance with the driver's instruction corresponds to the parking position information of the present invention.
  • the method is not limited to the method of detecting the parking section E by image recognition, and other methods may naturally be used.
  • the parking target position may be set by stopping the vehicle at a predetermined stop position with respect to a place where the vehicle is to be parked, that is, a planned parking place.
  • the parking target position is set by stopping at a predetermined stop position and giving a parking assistance start instruction by the driver.
  • an obstacle in a parking area may be detected using a sonar or a laser, and a parking target area may be set in an empty area.
  • the parking target area and the parking target position are set according to the temporary stop position as described above, the relationship between the target parking position and the host vehicle is calculated according to the way the vehicle moves after the temporary stop. It will be. Therefore, information such as a predetermined positional relationship at the time of temporary stop, a moving direction of the vehicle, and a moving amount corresponds to parking position information regarding a position where the vehicle is parked.
  • the parking position information acquisition unit 1 acquires information from a memory and a register in which a predetermined positional relationship is stored, the steering sensor 21 and the wheel speed sensor 23 as parking position information.
  • the detection result of the sonar or laser corresponds to the parking position information.
  • the present invention can be applied to an ITS (intelligent transport system) such as a parking assist device that parks a vehicle by automatic steering.
  • ITS intelligent transport system

Abstract

駐車目標位置を確認した後に特別な操作を必要とすることなく、円滑に自動操舵制御を開始することが可能な駐車支援装置を提供する。駐車支援装置は、駐車目標位置を設定する駐車目標位置設定部と、駐車目標位置への誘導経路を演算する誘導経路演算部と、誘導経路が成立した際に自動操舵が可能になったことをドライバーに報知する報知情報を出力する報知情報出力部と、舵取り装置をドライバーが保持していない非保持状態であるか否かを判定する非保持状態判定部と、誘導経路が成立し、且つ非保持状態であることを条件に、駐車目標位置へ自動操舵により車両を誘導可能な誘導可能状態であると判定して、自動操舵による誘導を開始させる誘導開始判定部とを有する。

Description

駐車支援装置
 本発明は、自動操舵により車両を駐車させる駐車支援装置に関する。
 車内に搭載されたモニタ上に車両後方の映像を映し出すと共に、電動パワーステアリング(EPS)をアクチュエータとして利用して自動的に操舵を行う自動操舵式駐車支援システムが実用化されている。自動車技術会(Society of Automotive Engineers of Japan)の会誌には、「インテリジェントパーキングアシストの開発(Development of Intelligent Parking Assist)」と題してこのようなシステムを紹介した論文が掲載されている(非特許文献1)。この論文によれば、ドライバーは、シフトをリバースに切り換えた後、モニタのタッチパネル上のボタンを用いて、駐車形態や、駐車目標位置を設定し、確定ボタンを操作して操舵支援を開始させる。具体的には、車庫入れ駐車か縦列駐車かの駐車形態をタッチパネル上の選択ボタンで選択し、モニタに重畳表示された目標駐車位置をタッチパネル上の調整ボタンで調整し、最後にタッチパネル上の確定ボタンを押して操舵支援を開始させる。
 ドライバーがモニタ上のタッチパネルを利用して目標駐車位置の調整や確認を行う場合に、その調整量が多いと、支援開始、即ち自動操舵開始までに時間を要し、駐車支援システムを利用するメリットが低下する。そこで、非特許文献1では、調整量を少なくするために、画像処理により駐車区間線を認識したり、超音波センサを用いて駐車可能空間を認識したりして、目標駐車位置の初期位置の精度を向上させている。
牧野靖(Yasushi Makino)、他3名、「インテリジェントパーキングアシストの開発(Development of Intelligent Parking Assist)」、会誌「自動車技術(Journal of Society of Automotive Engineers of Japan)」、自動車技術会(Society of Automotive Engineers of Japan)、Vol.60, No.10, 2006、P.47-52
 画像処理や超音波センサによる駐車区画線や駐車可能空間の認識により、目標駐車位置の初期位置の精度が向上し、自動操舵開始までの時間は大きく短縮される。しかし、ドライバーは、依然、目標駐車位置を確認した後、タッチパネルの確定スイッチを操作して自動操舵を開始させなくてはならない。自然な駐車運転とは異なる操作がドライバーに要求されるため、ドライバーによっては煩わしさを覚える場合がある。従って、駐車目標位置を確認した後に特別な操作を必要とすることなく、円滑に自動操舵制御を開始することが可能な駐車支援装置が望まれる。
 本発明の1つの側面によれば、駐車支援装置は、
 車両を駐車させる位置に関する駐車位置情報を取得する駐車位置情報取得部と、
 前記駐車位置情報に基づいて駐車目標位置を設定する駐車目標位置設定部と、
 前記駐車目標位置へ自動操舵により前記車両を誘導する誘導経路を演算する誘導経路演算部と、
 前記誘導経路が成立した際に自動操舵が可能になったことを前記車両のドライバーに報知する報知情報を出力する報知情報出力部と、
 舵取り装置を前記ドライバーが保持していない非保持状態であるか否かを判定する非保持状態判定部と、
 前記舵取り装置を制御して自動操舵により前記車両を誘導開始位置から前記駐車目標位置へ誘導する誘導部が前記車両を誘導することが可能な誘導可能状態であると判定して、前記誘導部に誘導を開始させる誘導開始判定部であって、前記誘導経路が成立し且つ前記非保持状態であることを条件として前記誘導可能状態であると判定する当該誘導開始判定部と、を備えて構成される。
 誘導開始判定部は、誘導可能状態であるか否かを判定すると共に、誘導可能状態であるときに誘導部に車両の誘導を開始させる。誘導開始判定部は、誘導経路が成立していること、及び、非保持状態であること、という条件を満たす場合に、誘導可能状態であると判定する。この構成によれば、誘導経路が成立した後、ドライバーが確認ボタンや、誘導開始ボタンを操作することなく、単純にステアリングホイールなどの舵取り装置の保持を止めれば自動操舵による誘導が開始される。従って、円滑に自動操舵制御が開始され、ボタン操作などによる時間のロスもないので、早く車両の駐車を完了させることができる。ドライバーも、ボタン操作などの煩わしさを覚えることなく、駐車支援装置を利用することができるので、利便性が向上する。
 また、本発明に係る駐車支援装置の前記誘導部は、前記ドライバーの運転操作により前記誘導開始位置まで進行して一時停止された前記車両を前記駐車目標位置へ自動操舵により誘導するものであると好適である。車両が誘導開始位置において一時停止することによって、駐車目標位置の設定や、誘導経路の演算を精度良く実施することができる。また、一時停止することによって、誘導開始に際してドライバーが舵取り装置を保持していない非保持状態を作り出しやすくなる。
 また、本発明に係る駐車支援装置は、前記車両が移動しているか否かを判定する移動状態判定部をさらに有し、前記誘導開始判定部は、前記誘導経路が成立し且つ前記非保持状態であって、さらに前記移動状態判定部により前記車両が停止状態であると判定されていることを条件として、前記誘導可能状態であると判定すると好適である。駐車目標位置の設定や、誘導経路の演算が精度良く実施できていることが推定されるので、誘導可能状態であるとの判定精度も高くなる。
 さらに、前記誘導開始判定部は、前記誘導可能状態であると判定された後、前記移動状態判定部により前記車両が移動していると判定された場合に、前記誘導部に前記車両の誘導を開始させると好適である。この構成によれば、誘導経路が成立し、ドライバーが舵取り装置を保持していない状態で、さらにドライバーがブレーキを緩めるなどして車両が移動していることを条件としてドライバーが、車両の制御を誘導部などの制御システムに委ねたことを的確に判定することができる。その結果、円滑に自動操舵により、車両を駐車させることが可能となる。そして、車両が移動していることによって、ドライバーが、車両の制御を誘導部などの制御システムに委ねたことを判定するに際しては、その前に車両が停止状態にあることが好ましい。従って、誘導の開始に先立る誘導可能状態の判定は、誘導経路が成立し且つ非保持状態であることに加え、さらに車両が停止状態であることを条件とすると好適である。
 また、本発明に係る駐車支援装置の前記駐車目標設定部は、前記駐車位置情報のうちの一部の領域として設定される所定の領域において前記駐車目標位置を設定するものであり、前記駐車位置情報に対して設定される当該所定の領域の設定位置は、前記ドライバーによる前記舵取り装置の操作に応じて変更されると好適である。駐車目標位置が設定される際に、ドライバーが舵取り装置を操作しているので、誘導経路が成立する頃まで、ドライバーは舵取り装置を保持している。つまり、誘導経路が成立し、自動操舵が可能となったことが報知される際には、ドライバーが舵取り装置を保持している。支援開始を報知するメッセージに応じて、この状態からドライバーが舵取り装置の保持をやめることによって、非保持状態判定部は、舵取り装置がフリーな状態となったことをより明確に判定することができる。
 ここで、前記所定の領域は、前記誘導開始位置において前記車両が一時停止している際に前記ドライバーによる前記舵取り装置の操作に応じて変更されると好適である。車両が一時停止することによって、所定の領域内において駐車目標位置の設定や、当該駐車目標位置に対する誘導経路の演算が精度良く実施される。
 また、本発明に係る駐車支援装置の前記駐車目標設定部は、前記ドライバーによる前記舵取り装置の操作に応じて逐次変更される前記所定の領域に対して逐次前記駐車目標位置を設定し、前記誘導経路演算部は、逐次設定される前記駐車目標位置に対して逐次前記誘導経路を演算し、前記報知情報出力部は、逐次演算される前記誘導経路が成立した際に、自動操舵が可能になったことに加え、さらに、前記ドライバーによる前記舵取り装置の操作の中止を促す報知情報を出力すると好適である。駐車目標位置の設定や、当該駐車目標位置に対する誘導経路の演算は、ドライバーによる舵取り装置の操作に応じて逐次変更される所定の領域に追従して実施される。従って、成立した誘導経路を維持するためには、ドライバーによる舵取り装置の操作が、誘導経路が成立した時点で速やかに中止されることが好ましい。上記の如く、舵取り装置の操作の中止を促す報知情報が出力されると、ドライバーは速やかに舵取り装置の操作を中止することができる。
 ここで、前記報知情報は、前記車両に搭載された少なくとも1つの撮影装置により前記車両の周辺の情景が撮影された撮影画像を表示する表示装置において当該撮影画像に重畳され、前記駐車目標位置を示すグラフィック画像の情報を含むと好適である。ドライバーは、表示装置に表示されるグラフィック画像により、遅滞なく駐車目標位置を確認することができる。ドライバーは、表示装置の表示から、舵取り装置の操作を中止すべきことを予測することができるので、舵取り装置の操作の中止を促す報知情報に応じて、速やかに舵取り装置の操作を中止することができる。
 また、本発明に係る駐車支援装置において前記駐車位置情報は、前記車両に搭載された少なくとも1つの撮影装置により前記車両の周辺の情景が撮影された撮影画像情報であると好適である。周辺監視等も目的として、車両に撮影装置が搭載される事例が増えており、撮影画像情報を利用することによって追加的な装置を設けることなく、駐車支援装置を構成することができる。
 上述した本発明の概要、並びに本発明のさらなる特徴及び特性は、添付図面を参照して以下に述べる詳細な説明より明らかになる。好適と考えられるいくつかの態様が図示されているが、本発明は図示の態様に限定されるのものではない。
図1は、本発明の駐車支援装置の構成例を模式的に示すブロック図である。 図2は、駐車支援装置が搭載される車両の構成例を模式的に示すブロック図である。 図3は、車庫入れ駐車の際の車両の動きの一例を示す説明図である。 図4は、縦列駐車の際の車両の動きの一例を示す説明図である。 図5は、自動操舵による誘導を開始させるまでの駐車支援装置の処理手順を模式的に示すフローチャートである。 図6は、駐車形態を指定する画面の表示例を示す説明図である。 図7は、画像処理対象として設定される領域の一例を示す説明図である。 図8は、画像処理対象として設定される領域の他の例を示す説明図である。 図9は、駐車目標位置が設定された際の画面の表示例を示す説明図である。 図10は、自動操舵による誘導が開始される際の画面の表示例を示す説明図である。 図11は、ワールド座標系とカメラ座標系との関係を示す説明図である。 図12は、カメラ座標系と撮影画像の画像座標系との関係を示す説明図である。 図13は、自車両の移動量を演算する原理を説明する図である。 図14は、駐車目標位置をドライバーが調整する画面の一例を示す説明図である。
 以下、本発明の実施形態を図面に基づいて説明する。本発明の駐車支援装置は、自動操舵によって車両30を駐車させるものであり、本実施形態においては、ECU(electronic control unit)10を中核として構成される。ECU10は、マイクロプロセッサやDSP(digital signal processor)、メモリ、各種電子部品を備えて構成される。図1に示すように、ECU10は複数の機能部を備えて構成される。各機能部は、ハードウェア、又はハードウェアとソフトウェアとの協働によって実現されるものであり、必ずしも独立した部品として構成される必要はない。
 図1及び図2に示すように、運転席の近傍、コンソールの上部位置には、表示部34にタッチパネル36が形成されたモニタ装置33が備えられている。モニタ装置33は、バックライトを備えた液晶式のものである。もちろん、モニタ装置33は、プラズマ表示型のものやCRT型のものであっても良い。また、タッチパネル36は、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。モニタ装置33にはスピーカ35も備えられているが、スピーカ35はドアの内側など、他の場所に備えられても良い。尚、モニタ装置33はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。
 本実施形態では、車両30を駐車させる位置に関する駐車位置情報として、車両周辺の撮影画像情報を用いる。このため、車両30には、駐車位置情報取得部として、車両周辺の情景を撮影する撮影装置が備えられる。本実施形態では、車両30の後方の情景を撮影するために、車両30の後端にカメラ32が備えられている。カメラ32はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を内蔵するデジタルカメラであり、撮影した情報を時系列の動画情報としてリアルタイムに出力する。カメラ32は、広角レンズを備えて構成され、水平方向に120~140度の視野角が確保されている。また、カメラ32は、光軸に約30度程度の俯角を有して車両30に設置され、車両30の後方8m程度までの領域を撮影可能である。尚、本実施形態では、車両30の後方を撮影するカメラ32を例示したが、車両30の前方を撮影するカメラのみを搭載したり、前方及び後方を撮影する2台のカメラを搭載したりしてもよい。また、さらに車両30の側方を撮影するカメラを搭載して、車両30の周囲の全てを撮影するようにしてもよい。
 図1及び図2に示すように、車両30には車両の運転操作や移動状態など、車両30の挙動を検出するための車両挙動検出手段20として各種センサやスイッチが備えられている。ECU10は、車両挙動検出手段20による検出結果を受け取り、ECU10の各種機能部はセンサ入力インターフェース18を介して受け取った検出結果に基づいて種々の判定や演算、制御を実施する。
 ステアリングホイール41(舵取り装置)の操作系にはステアリングセンサ21が備えられ、ドライバーによるステアリングホイール41の操作方向や操作量、操作トルクが計測される。ステアリングセンサ21は、よく知られているように、例えば、磁気抵抗素子やトーションバーを有して構成される。ステアリングセンサ21の検出結果に基づいて、ECU10は、ドライバーがステアリングホイール41を保持しているか否かについても判定可能である。車両30は、パワーステアリングシステム31として、EPS(electric power steering)システムを搭載している。EPSシステムによって操舵された量もステアリングセンサ21により検出され、EPSシステムはフィードバック制御を行う。
 また、車両30の移動速度や移動距離を計測するセンサとして、前輪38f及び後輪38rの少なくとも一方の車輪38の回転を計測する車輪速センサ23が備えられている。車輪速センサ23は、例えば、磁気抵抗素子などを用いて構成される。車輪速センサ23の検出結果に基づいて、ECU10は、車両30が停止しているか否かについても判定することができる。本実施形態では、車体前方に配置されたエンジン40からの動力が、トルクコンバータやCVT(continuously variable transmission)などを有する変速機構39を介して前輪38fに伝達されるFF形式の車両を例示している。図2に示すように、車輪速センサ23が、駆動輪である前輪38fの回転量を計測する例を示しているが、従動輪である後輪38rの回転量を計測してもよい。また、勿論、全ての車輪に車輪速センサ23が備えられていてもよい。また、変速機構39において、駆動系の回転量から車両30の移動量を計測するようにすることもできる。
 シフトレバー45の操作系にはシフトレバースイッチ25が備えられ、ECU10は、シフト位置を判別可能である。例えば、シフトレバースイッチ25は、シフトレバー45がリバースにセットされたか否かを検出し、検出結果をECU10に伝達する。また、車輪38のブレーキシステム37に制動力を作用させるために操作されるブレーキペダル47の操作系にはブレーキセンサ27が備えられ、ブレーキ操作の有無や操作量などが検出可能である。ここで、ブレーキシステム37が電動ブレーキシステムであると、ECU10の制御に応じて車両30に制動力を与えることができる。また、走行速度を制御するアクセルペダル49の操作系にはアクセルセンサ29が備えられ、その操作量が計測可能である。
 カメラ32やモニタ装置33、パワーステアリングシステム31やブレーキシステム37は、CAN(controller area network)などの車内のネットワークを介して、ECU10の通信インターフェース19に接続されている。そして、これらは、ECU10の各機能部と協働して上記の如く機能する。
 図1に示すように、本発明の駐車支援装置(ECU10)は、画像取得部(駐車位置情報取得部)1と、駐車目標位置設定部2と、誘導経路演算部3と、報知情報出力部4と、非保持状態判定部5と、誘導部6と、誘導開始判定部7と、移動状態判定部8と、画像出力部9との各機能部を有している。ECU10には、メモリ、ディスク装置(ハードディスク、光・磁気・光磁気ディスクなど)などの記憶手段が備えられている。例えば、マイクロプロセッサに実行させるプログラムや、取得された画像データの一時記憶などには、内外のメモリやディスク装置が使用される。
 また、カメラ32からの撮影画像情報の取得の際には、同期分離回路やバッファ、フレームメモリなどが利用される。また、モニタ装置33への表示に際しては、画像出力部9の指示に従って、グラフィック画像や文字などが撮影画像に重畳される。グラフィック画像や文字などは、グラフィック描画回路やスーパーインポーズ回路などを含む画像処理モジュール16によって生成される。このような構成については公知であり、ここでは説明を容易にするため、詳細な説明は省略する。
 以下、各機能部について説明するが、それに先立って、本発明の駐車支援装置が支援する運転操作について説明する。本発明の駐車支援装置は、所定の駐車位置へ車両30を駐車させる運転操作を支援する機能を有する。図3に示すように、車庫入れ駐車の場合、車両30は後退開始位置まで前進し、この後退開始位置から駐車位置へと後進する。また、図4に示すように、縦列駐車の場合にも、車両30は後退開始位置まで前進し、この後退開始位置から駐車位置へと後進する。本実施形態において、ドライバーは、後退開始位置までステアリングホイール41を操作して、車両30を前進させる。そして、後述するように、後退開始位置において自動操舵が可能であるとの報知を受けると、ドライバーは操舵を駐車支援装置に委ねて車両30を後退させ、駐車位置へ車両30を駐車させる。
 以下、図5のフローチャートも利用して、自動操舵を伴う駐車支援について説明する。ここでは、図3に示すように、既に駐車された他の車両50の間の空いた駐車区画Eを所定の駐車位置として、車庫入れ駐車を行う場合を例として説明する。本例では、所定の駐車位置を明示するために他の車両50を図示しているが、当然ながら、他の車両50は無くてもよい。
 ドライバーは、駐車区画Eに車庫入れ駐車するために後退開始位置まで車両30を前進させる。この時、ドライバーは、ステアリングホイール41を操作して、車両30を右方向に操舵している。従って、ドライバーが後退開始位置において車両30を停車させたとき、前輪38fは、図3に示すように右方向に向いているか、あるいはその後の車庫入れの操舵を見越したドライバーによる操作によって中立位置となっていることが多い。ここで、ドライバーがシフトレバー45を操作してシフトをリバースに切り換えると、ECU10は、モニタ装置33の表示部34にカメラ32により撮影された車両30の後方の画像を表示させる。
 具体的には、画像取得部1がカメラ32の撮影画像を取得し、不図示の画像処理部において歪み補正等の補正処理を施し、画像出力部9が所定のグラフィック画像を撮影画像に重畳してモニタ装置33に出力する。尚、図2に示すように、モニタ装置33はドライバーよりも前方に配置されているので、モニタ装置33の表示部34に表示される画像は、撮影画像を左右鏡像反転させたものとなる。つまり、ドライバーがルームミラーを介して車両30の後方の情景を見る場合と同様の視覚効果を得られるように表示される。
 この時、例えば、図6に示すように、「車庫入れ駐車」、「縦列駐車」、「支援中止」などのタッチボタンがタッチパネル36に表示される。ここで、ドライバーが「車庫入れ駐車」のタッチボタンを選択すると、車庫入れ駐車の駐車支援が開始される。図5のフローチャートにおける「スタート」は、この駐車支援の開始に相当する。つまり、「車庫入れ駐車」や「縦列駐車」のタッチボタンは、駐車支援の際の駐車形態の選択ボタンであると同時に、駐車支援の開始ボタンでもある。尚、始めに、駐車支援の開始ボタンとして、タッチパネル36に「駐車支援開始」のタッチボタンが表示され、これを選択した後に駐車形態の選択ボタンとして「車庫入れ駐車」や「縦列駐車」のタッチボタンが表示される形態でもよい。また、タッチボタンではなく、車両30のコンソールなどに別途、駐車支援の開始ボタンが設けられていてもよい。
 駐車支援が開始されると、報知情報出力部4は、音声処理モジュール17及びスピーカ35を介して、ドライバーに駐車位置の指定を促す(図5#1)。例えば、「ステアリングを回して駐車位置を指示してください。」などのメッセージを流す。ドライバーは、車両30を停車させた状態で、手動操舵によって車両30を駐車させるのと同じようにステアリングホイール41を操作する。例えば、ドライバーは、図3において、車両30を駐車区画Eに駐車させるようにステアリングホイール41を矢印Aの方向に操作する。これにより、図3において、前輪38fは矢印B方向へ舵を切られることになる。
 ステアリングホイール41の動きは、ステアリングセンサ21により検出され、この検出結果に基づいて、ECU10は、図7に示すように画像処理の対象領域である関心領域ROI(region of interest)を設定する。後述するように、関心領域ROIは、駐車目標位置設定部2がドライバーによるステアリングホイール41の操作に基づいて駐車位置情報を取得する際に設定される「所定の領域」に相当する。尚、図7に示す関心領域ROIは、画像処理上の概念であり、モニタ装置33に表示する必要はないが、ドライバーに明示するためにモニタ装置33に表示することを妨げるものではない。ここでは、モニタ装置33に表示した形態で例示しているので、左右鏡像の画像としているが、画像処理上では、通常の撮影画像と同様の向きの画像を用いてもよい。尚、関心領域ROIは図7に示す形態に限らず、例えば、図8に示すような形態で設定されてもよい。後述するように、駐車区画Eは概ね規格化されているから、ECU10は、画像処理の対象領域を絞ることができる。
 本実施形態においては、駐車目標位置は、画像処理によって区画線W(W1、W2)を認識することによって設定される。従って、カメラ32を介して取得される撮影画像情報は、車両30を駐車させる位置に関する駐車位置情報に相当する。また、撮影画像情報を取得する画像取得部1は、駐車位置情報を取得する駐車位置情報取得部に相当する。駐車目標位置設定部2は、関心領域ROIを画像処理の対象領域として、区画線Wの認識処理を行い、駐車目標位置を設定する。画像処理の対象領域が限定されることによって、他の線や物体を区画線Wとして認識する可能性を抑制し、認識率を向上させることが可能となる。区画線Wによって区画される駐車区画Eは、概ね規格化されている。また、駐車形態に応じて、車両30と駐車位置との関係も概ね規定することができる。従って、良好に関心領域ROIを設定することが可能である。
 駐車目標位置設定部2は、関心領域ROI(所定の領域)に対して画像処理を行って、区画線Wを検出して駐車区画Eを認識する(図5#2)。そして、図3に示すように、駐車区画Eの中に駐車目標位置P2を設定する(図5#4)。ステアリングホイール41の操作に伴って変化する関心領域ROIに追従して、ほぼリアルタイムに駐車区画Eの認識が行われる。区画線Wが検出できない場合を含み、駐車区画Eが認識できない場合には、ECU10は、継続して、ドライバーに駐車位置を指定するように促す(図5#3、#1)。駐車区画Eが認識できると、ECU10は、図9に示すように駐車目標エリアGを表示部36に表示させる。これにより、ドライバーは、駐車区画Eが認識され、駐車目標位置P2が設定されたことを知ることができ、ステアリングホイール41の操作を中止することが可能である。この表示は、報知情報出力部4や画像出力部9の指示に従って、グラフィック描画回路やスーパーインポーズ回路などを含む画像処理モジュール17を介して実施されると好適である。
 一般的な駐車場では、路面はアスファルト塗装などによる濃い色であり、区画線Wは、白色や黄色などの淡い色である。そこで、駐車目標位置設定部2は、関心領域ROIにおいて、公知のエッジ検出処理を実施することによって、区画線Wを抽出する。そして、駐車目標位置設定部2は、抽出した区画線Wに対して、公知のハフ変換やRANSAC(RANdom SAmple Consensus)などの演算処理を施して直線認識を行い、駐車区画Eを認識する。曲線形状を含む駐車区画Eを認識するために、曲線認識処理が付加されてもよい。
 駐車目標位置P2は、車両30の所定の基準Qに対応して設定される。即ち、駐車目標位置P2は、駐車区画Eに車両30が駐車された際に、基準Qが位置する座標に設定される。基準Qは、例えば、車両30の後輪38rの車軸の中点に設定される。誘導経路演算部3は、このようにして設定された駐車目標位置P2へ自動操舵により車両30を誘導する誘導経路Kを演算する(図5#5)。本実施形態において、駐車目標位置P2が設定された際には、車両30は、図3に示す点P1において停車している状態である。この点P1を誘導開始位置(後退開始位置)として、誘導開始位置P1から駐車目標位置P2までの誘導経路Kが演算される。
 車両30は、パワーステアリングシステム31としてEPSシステムを搭載している。ECU10からの指令に基づいてEPSシステムを作動させることによって、車両30は自動操舵されることが可能である。しかし、EPSシステムに搭載されているアクチュエータは、操舵輪である前輪38fと地面との摩擦係数が大きいため、大きな駆動トルクを要する停車状態での作動には適していない。このため、EPSシステムを用いた自動操舵は、車両30の移動と共に実施される。従って、誘導経路演算部3は、車両30が移動しながら操舵される際の誘導経路Kを演算する。本実施形態においては、駐車位置を設定するために、実際の車庫入れ駐車に準じてドライバーにステアリングホイール41を操作させているので、車庫入れ駐車に適した方向へ前輪38fが動かされた状態である。従って、最短の経路で誘導経路Kを求めることができる。前輪38fが図3に示すように、車庫入れのための蛇角とは逆方向に切られていたり、中立位置であったりした場合には、車庫入れのための蛇角に操舵するまで余分な後退が必要となる。このように余分な後退を要する場合には、誘導経路Kが長くなるが、車庫入れ駐車に適した方向へ前輪38fが動かされている本実施形態においては、最短の誘導経路Kで足りる。
 誘導経路演算部3は、誘導経路Kが成立すると、例えば、マイクロプロセッサのプログラム処理上においてフラグを立てることなどによって、他の機能部に対して誘導経路Kが成立したことを報知する(図5#6)。あるいは、誘導経路演算部3は、報知情報出力部4に直接伝達してもよい。報知情報出力部4は、誘導経路Kが成立し、自動操舵が可能となったことをドライバーに報知する報知情報を、グラフィック描画回路や音声合成回路を介して表示部34やスピーカ35に対して出力する(図5#7)。スピーカ35からは、例えば、「駐車支援可能になりました。ステアリングホイールから手を離してブレーキを緩め、車両をゆっくりと後退させてください。」などのメッセージが出力される。
 表示部34には、図10に示すように、ガイドラインL1~L4や、タッチボタン等が表示される。本例では、ガイドラインL1は緑色で示された車幅延長線、ガイドラインL2は緑色で示された後方5m目安線、ガイドラインL3は緑色で示された後方3m目安線、ガイドラインL4は赤色で示された後方1m注意線である。また、タッチボタンとして、駐車支援を中止させる「中止」ボタン、現在の駐車目標エリアG(駐車目標位置P2)をキャンセルさせる「目標変更」ボタンを例示している。
 誘導開始判定部7は、上記メッセージを受けたドライバーがステアリングホイール41から手を離した非保持状態である場合に、自動操舵が可能な誘導可能状態であると判定して、誘導部6に誘導を開始させる(図5#9)。ドライバーがステアリングホイール41を保持していない非保持状態であるか否かは、非保持状態判定部5によって判定される。上述したように、ステアリングホイール41の操作系には、EPSシステムを制御するために、ステアリングセンサ21が備えられている。ステアリングセンサ21は、例えば、磁気抵抗素子やトーションバーを有して構成され、ステアリングホイール41の操作方向や操作量、操作トルクが計測可能である。ステアリングセンサ21の計測結果は、図1に示すように、ECU10に伝達される。EPSシステムのフィードバック制御結果や、ステアリングセンサ21の検出結果を利用して、ステアリングホイール41がフリーな状態であるか否かを判定する方法が知られている。非保持状態判定部5は、ステアリングセンサ21の計測結果に基づいて、ドライバーがステアリングホイール41を保持しているか否かを判定する。
 パワーステアリングシステム31は、通常は、ドライバーの操舵に対してアシストトルクを与えるという、従属的な役割を担っている。ここで、誘導部6による誘導が開始される際には、ドライバーがステアリングホイール41をフリーな状態としていることからも明らかなように、パワーステアリングシステム31は主体的な役割を担うこととなる。つまり、誘導部6による誘導の開始は、パワーステアリングシステム31が、アシストトルクを与える従属的な動作モードから、主体的に操舵輪38fを動かして車両30を操舵する動作モードへと移行することを意味する。このように、パワーステアリングシステム31、つまり、EPSシステムが主体的に操舵輪38fを駆動する場合には、SBW(steer-by-wire)と称されるような構成であると制御性が良く、より好適である。
 誘導開始判定部7は、誘導経路Kが成立し、ステアリングホイール41が非保持状態である場合に、誘導部6に誘導を開始させても良いが、ドライバーがブレーキペダル47を解除しなければ、車両30は停止したままである。つまり、実質的に誘導が開始されないことになり、待ち状態が発生する。従って、さらに、車両30が移動しているか否かの判定結果を加味して誘導部6に誘導を開始させてもよい(図5#10)。車両30が移動しているか否かは、ブレーキセンサ27や車輪速センサ23など他の車両挙動検出手段の検出結果に基づいて、移動状態判定部8によって判定される。
 尚、誘導開始位置P1から駐車目標位置P2までの誘導経路Kの成立と、ステアリングホイール41の非保持状態とにより、現在の車両30の停車位置からの自動操舵が可能と確実に判定するために、さらに、車両30が停止状態であることを誘導開始条件に含めてもよい(図5#8)。つまり、図5に示すように、誘導経路Kが成立していて車両30が停止状態であり(#8)、且つ、ステアリングホイール41が非保持状態である(#9)場合に、誘導開始待機状態とする。そして、誘導開始待機状態で車両30が動き始めた場合に(#10)、誘導部6に誘導を開始させる。このようにすることで、より確実な自動操舵を実現することができる。
 上述したように、本実施形態においては、ドライバーがステアリングホイール41を操作することによって、駐車区画Eが画像認識され、駐車目標位置P2が設定される。そして、設定された駐車目標位置P2への誘導経路Kが演算される。従って、誘導経路Kが成立し、自動操舵が可能となったと判定される際には、ドライバーがステアリングホイール41を保持している。支援開始を報知するメッセージに応じて、この状態からドライバーがステアリングホイール41を離すと、非保持状態判定部5は、ステアリングホイール41がフリーな状態となったことをより明確に判定することができる。即ち、本システムでは、ドライバーがステアリングホイール41を非保持状態とすることを「自動操舵を開始して欲しい」というドライバーの意思表示として捉えている。
 尚、本実施形態におけるステアリングホイール41は、ドライバーの能動的な操作により車両30を操舵することが可能な舵取り装置の一例である。従って、非保持状態判定部5が非保持状態であるか否かを判定する対象となる舵取り装置は、ステアリングホイール41には限定されない。例えば、障害者向け車両などにおいては、ステアリングホイール41ではなく、スティック型の舵取り装置が装備される場合もある。そのような車両においては、スティック型の舵取り装置がフリーな状態であるか否かが判定される。また、舵取り装置に対する非保持状態の検出はステアリングセンサ21に限らず、舵取り装置に設けられたタッチセンサ(不図示)を用いて実施されてもよい。
 以下、誘導部6による誘導について説明する。上述したように、本実施形態では、カメラ32により撮影された撮影画像情報に基づく画像処理によって駐車基準となる区画線Wが検出され、駐車目標位置P2が設定される。また、車両挙動検出手段として機能する各種センサ21~29によって、車両30の移動状態が演算される。具体的な誘導の説明に先立ち、基本的な画像処理の原理、及び移動状態の演算の原理についてまず説明する。
 図11は、基準座標系であるワールド座標系(X,Y,Z)と、カメラ32の座標系であるカメラ座標系(x,y,z)との関係を示す説明図である。また、図12は、カメラ座標系(x,y,z)と撮影画像の画像座標系(u,v)との関係を示す説明図である。ワールド座標系、カメラ座標系共に、ここでは右手座標系である。右手座標系とは、右手の親指、人差し指、中指を開いた順に、X(x)、Y(y)、Z(z)を定める方式である。
 画像座標系(u,v)は、図12に示すようにカメラ座標系の光軸に一致するz軸に垂直な面Π(画像面)で、z軸方向にカメラ座標の原点oからカメラの焦点距離fだけ離れた2次元座標系である。画像面と光軸とが交わる点が、画像中心OIである。また、理想的には、画像座標系のu軸はカメラ座標系のx軸と平行であり、v軸はカメラ座標系のy軸と平行である。図中のφは、u軸とv軸との為す角度であるが、ここでは、画像座標系(u,v)が直交座標系であり、φが90度であるとする。
 図11に示すように、ワールド座標系における点Mの座標が(Xi,Yi,Zi)の時に、点Mは下記の行列式(1)で表され、その斉次座標(homogeneous coordinates)は下記の行列式(2)で表される。
Figure JPOXMLDOC01-appb-M000001
 点Mは、透視カメラ行列Pによって画像面Π上の点mとして次式(3)のように座標変換(透視変換・視点変換)される。
Figure JPOXMLDOC01-appb-M000002
 カメラ座標系とワールド座標系との間における位置に関する変換行列を並進ベクトルT(並進成分)、姿勢に関する変換行列を回転行列R(回転成分)、カメラ32の焦点距離fやu-v軸の角度φなどのカメラ32の内部パラメータを含む行列をカメラ行列Aとすると、透視カメラ行列Pは次式(4)で示される。
Figure JPOXMLDOC01-appb-M000003
 透視カメラ行列Pは、複数の行列により構成されているが、一般化すると3行4列の行列式である射影カメラ行列として表される。例えば、ワールド座標系の点Mは、上記式(3)により画像座標系の点mに変換され、画像出力部9によってカメラ32による撮影画像に重畳させることができる。同様に、例えば、ワールド座標系における駐車目標位置P2の座標は、画像座標系の点から導くことができる。特に、駐車目標位置P2は路面が平坦であることを前提とすれば、図11に示したワールド座標系のY-Z平面にあるので、画像座標系の点から精度良く導くことが可能である。
 次に、車両30の移動状態の1つである移動量の演算原理について説明する。図13は、車両30の移動量を演算する原理を説明する図である。ここでは、車両30が図11に示したワールド座標系のY-Z平面(路面)にあるものとして説明する。ステアリングセンサ21や車輪速センサ23など、車両挙動検出手段による検出結果は、ECU10に伝達される。誘導経路演算部3や誘導部6は、車両挙動検出手段の検出結果に基づいて車両30の位置変化(移動量)などの移動状態を演算する。また、上述した誘導経路演算部3は、パワーステアリングシステム31を介して動作可能な操舵角や、クリーピングにより進行可能な速度などに基づいて誘導経路Kを演算する。
 図13には、半径Cの円弧状の移動軌跡を伴って後進する車両30を例示している。図中の破線は、半径がCの円弧を示している。図13(b)は図13(a)の部分拡大図である。半径Cはステアリングセンサ21の検出結果から求めることができる。図中のdsは、微小時間における車両30の微小移動距離を示す。微小移動距離dsは車輪速センサ23の検出結果から求めることができる。これらの検出結果より、下記に示す式(5)~(7)を用いて車両30の移動量が演算される。尚、式中のαは累積移動距離である。
Figure JPOXMLDOC01-appb-M000004
 車両30の移動に伴って、逐次上記のような演算を実施して、誘導部6は、点Qが駐車目標位置P2に達するまで車両30を誘導する。ブレーキシステム37が電動ブレーキシステムである場合には、車両30が駐車目標位置P2に達すると、ECU10からの指令に基づいて制動力を働かせて、車両30を停止させる。ブレーキシステム37が電動ブレーキシステムではない場合には、ECU10は、車両30を停止させる旨のメッセージを報知情報出力部4を介してスピーカ35から出力させる。つまり、ECU10は、ドライバーにブレーキペダル47の操作を促し、ドライバーによる操作によって車両30が停止される。
 以上、説明したように、本発明によれば、誘導経路Kが成立した後、ドライバーが確認ボタンや、誘導開始ボタンなどを操作することなく、単純にドライバーがステアリングホイール41などの舵取り装置の保持を止めれば自動操舵による誘導が開始される。従って、円滑に自動操舵制御が開始され、ボタン操作などによる時間のロスもないので、早く車両30の駐車を完了させることができる。また、ドライバーは、ボタン操作などの煩わしさを覚えることなく、駐車支援装置を利用することができるので、利便性が向上する。
 上記の実施形態においては、車庫入れ駐車の場合を例として説明したが、当業者であれば、図4に示した縦列駐車においても同様の制御が可能であることが容易に理解できる。従って、本発明は、車庫入れ駐車に限定されるものではない。また、図13に基づいて、円弧モデルを説明したが、図3に示すように前輪38fが駐車方向とは異なる角度の場合などには、2円モデルを適用することも、当業者にとっては容易な選択である。
 また、駐車目標位置を設定する方法についても、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、区画線Wを画像認識することによって、駐車区画Eを自動認識して、駐車目標位置P2が設定される場合を例示した。しかし、これに限定されることなく、区画線Wを認識することなく、ドライバーがタッチパネル3を用いて駐車目標の位置を調整するように構成されていてもよい。例えば、図14に示すように、所定の位置に表示された駐車目標エリアGを矢印ボタンHを用いてドライバーが調整して、設定してもよい。この場合、ドライバーの指示により入力される情報が、本発明の駐車位置情報に相当するものとなる。
 また、自動的に駐車目標位置P2を設定する場合であっても、画像認識によって駐車区画Eを検出する方法に限定されず、当然、他の方法を用いてもよい。例えば、EP2113426A1に記載されているように、車両を駐車させたい場所、即ち、駐車予定場所に対する所定の停止位置に車両を停車させて駐車目標位置を設定してもよい。所定の停止位置に停止して、ドライバーが駐車支援の開始指示を与えることによって、駐車目標位置が設定される。また、例えば、US2009/0121899A1に記載されているように、ソナーやレーザなどを用いて、駐車区画の障害物を検出して、空き領域に駐車目標エリアを設定するようにしてもよい。また、これらの方法と合わせて、駐車目標位置(駐車目標エリア)がずれた場合を考慮して、図14に示すようにドライバーが調整可能に構成されると好適である。
 上記のように一時停止位置に応じて駐車目標エリアや駐車目標位置が設定される場合には、一時停止後の車両の動き方に応じて、駐車目標位置と自車両との関係が演算されることになる。従って、一時停止時における所定の位置関係や、車両の移動方向、移動量などの情報が車両を駐車させる位置に関する駐車位置情報に相当する。駐車位置情報取得部1は、所定の位置関係が格納されたメモリやレジスタ、ステアリングセンサ21や車輪速センサ23からの情報を駐車位置情報として取得する。また、ソナーやレーザなどを用いて駐車区画の障害物を検出して駐車目標位置を設定する場合には、ソナーやレーザなどの検出結果が駐車位置情報に相当する。
 本発明は、自動操舵により車両を駐車させる駐車支援装置など、ITS(intelligent transport system)に適用することができる。

Claims (9)

  1.  車両を駐車させる位置に関する駐車位置情報を取得する駐車位置情報取得部と、
     前記駐車位置情報に基づいて駐車目標位置を設定する駐車目標位置設定部と、
     前記駐車目標位置へ自動操舵により前記車両を誘導する誘導経路を演算する誘導経路演算部と、
     前記誘導経路が成立した際に自動操舵が可能になったことを前記車両のドライバーに報知する報知情報を出力する報知情報出力部と、
     舵取り装置を前記ドライバーが保持していない非保持状態であるか否かを判定する非保持状態判定部と、
     前記舵取り装置を制御して自動操舵により前記車両を誘導開始位置から前記駐車目標位置へ誘導する誘導部が前記車両を誘導することが可能な誘導可能状態であると判定して、前記誘導部に誘導を開始させる誘導開始判定部であって、前記誘導経路が成立し且つ前記非保持状態であることを条件として前記誘導可能状態であると判定する当該誘導開始判定部と、を備える駐車支援装置。
  2.  前記誘導部は、前記ドライバーの運転操作により前記誘導開始位置まで進行して一時停止された前記車両を前記駐車目標位置へ自動操舵により誘導するものである請求項1に記載の駐車支援装置。
  3.  前記車両が移動しているか否かを判定する移動状態判定部をさらに有し、
     前記誘導開始判定部は、前記誘導経路が成立し且つ前記非保持状態であって、さらに前記移動状態判定部により前記車両が停止状態であると判定されていることを条件として、前記誘導可能状態であると判定する請求項1又は2に記載の駐車支援装置。
  4.  前記誘導開始判定部は、前記誘導可能状態であると判定された後、前記移動状態判定部により前記車両が移動していると判定された場合に、前記誘導部に前記車両の誘導を開始させる請求項3に記載の駐車支援装置。
  5.  前記駐車目標設定部は、前記駐車位置情報のうちの一部の領域として設定される所定の領域において前記駐車目標位置を設定するものであり、前記駐車位置情報に対して設定される当該所定の領域の設定位置は、前記ドライバーによる前記舵取り装置の操作に応じて変更される請求項1~4の何れか一項に記載の駐車支援装置。
  6.  前記所定の領域は、前記誘導開始位置において前記車両が一時停止している際に前記ドライバーによる前記舵取り装置の操作に応じて変更される請求項5に記載の駐車支援装置。
  7.  前記駐車目標設定部は、前記ドライバーによる前記舵取り装置の操作に応じて逐次変更される前記所定の領域に対して逐次前記駐車目標位置を設定し、
     前記誘導経路演算部は、逐次設定される前記駐車目標位置に対して逐次前記誘導経路を演算し、
     前記報知情報出力部は、逐次演算される前記誘導経路が成立した際に、自動操舵が可能になったことに加え、さらに、前記ドライバーによる前記舵取り装置の操作の中止を促す報知情報を出力する請求項5又は6に記載の駐車支援装置。
  8.  前記報知情報は、前記車両に搭載された少なくとも1つの撮影装置により前記車両の周辺の情景が撮影された撮影画像を表示する表示装置において当該撮影画像に重畳され、前記駐車目標位置を示すグラフィック画像の情報を含む請求項1~7の何れか一項に記載の駐車支援装置。
  9.  前記駐車位置情報は、前記車両に搭載された少なくとも1つの撮影装置により前記車両の周辺の情景が撮影された撮影画像情報である請求項1~8の何れか一項に記載の駐車支援装置。
PCT/JP2010/051221 2009-02-25 2010-01-29 駐車支援装置 WO2010098170A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10746051.1A EP2402219B1 (en) 2009-02-25 2010-01-29 Parking assistance device
CN2010800036944A CN102405154B (zh) 2009-02-25 2010-01-29 驻车辅助装置
US13/141,904 US8816878B2 (en) 2009-02-25 2010-01-29 Parking assist apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009043007A JP5403330B2 (ja) 2009-02-25 2009-02-25 駐車支援装置
JP2009-043007 2009-02-25

Publications (1)

Publication Number Publication Date
WO2010098170A1 true WO2010098170A1 (ja) 2010-09-02

Family

ID=42665380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/051221 WO2010098170A1 (ja) 2009-02-25 2010-01-29 駐車支援装置

Country Status (6)

Country Link
US (1) US8816878B2 (ja)
EP (1) EP2402219B1 (ja)
JP (1) JP5403330B2 (ja)
KR (1) KR20110097902A (ja)
CN (1) CN102405154B (ja)
WO (1) WO2010098170A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015515406A (ja) * 2012-03-01 2015-05-28 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両の自立的な縦方向帰還制御、及び/或いは、横方向帰還制御を実施するためのドライバー・アシスタント・システム用の方法
CN106428210A (zh) * 2015-08-07 2017-02-22 丰田自动车株式会社 车道维持辅助装置
JP2018503893A (ja) * 2014-11-26 2018-02-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両を支援誘導するための方法及び装置
WO2019021354A1 (ja) 2017-07-24 2019-01-31 富士通株式会社 車両駐車支援装置、車両駐車支援プログラム
WO2020001423A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 确定自动泊车策略的方法和装置
CN111832340A (zh) * 2019-04-16 2020-10-27 杭州海康威视数字技术股份有限公司 一种停车入库方法、装置和系统

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009028261A1 (de) * 2009-08-05 2011-02-10 Robert Bosch Gmbh Verfahren und Steuerung zur Kalibrierung einer automatisch lenkenden Einparkhilfe
JP5113881B2 (ja) * 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
DE102011112577A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
DE102011113916A1 (de) * 2011-09-21 2013-03-21 Volkswagen Aktiengesellschaft Verfahren zur Klassifikation von Parkszenarien für ein Einparksystem eines Kraftfahrzeugs
KR101316501B1 (ko) * 2011-10-14 2013-10-10 현대자동차주식회사 메쉬형 공간 해석기법을 이용한 주차 공간 탐지방법 및 그 시스템
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Avm탑뷰 기반 주차지원 시스템
DE102012001666A1 (de) 2012-01-28 2013-08-01 Audi Ag Verfahren zum Lenken eines Fahrzeugs mittels eines Lenkassistenzsystems
KR20130094994A (ko) * 2012-02-17 2013-08-27 현대모비스 주식회사 주차 가능 영역 변경 장치 및 그 방법
KR101877570B1 (ko) * 2012-04-04 2018-07-11 현대자동차주식회사 Av 영상 기반의 주차위치 설정 장치 및 그 방법
KR20130118116A (ko) * 2012-04-19 2013-10-29 현대모비스 주식회사 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
US8954241B2 (en) 2012-08-10 2015-02-10 Caterpillar Inc. Mining truck spotting under a shovel
EP2933152A1 (en) * 2012-12-13 2015-10-21 Toyota Jidosha Kabushiki Kaisha Parking assistance device
JP6281178B2 (ja) * 2013-01-31 2018-02-21 住友ベークライト株式会社 電子装置、自動車および電子装置の製造方法
WO2014192107A1 (ja) 2013-05-29 2014-12-04 トヨタ自動車 株式会社 駐車支援装置
KR102062923B1 (ko) * 2013-06-12 2020-01-06 현대모비스 주식회사 주차지원시스템
EP3015319B1 (en) 2013-06-26 2017-10-04 Toyota Jidosha Kabushiki Kaisha Parking assist device
KR20150042106A (ko) * 2013-10-10 2015-04-20 현대자동차주식회사 차량의 변속 장치
JP6120371B2 (ja) * 2013-10-23 2017-04-26 クラリオン株式会社 自動駐車制御装置および駐車支援装置
DE102013224539A1 (de) * 2013-11-29 2015-06-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zur Bilddatenübertragung
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
KR101498976B1 (ko) * 2013-12-19 2015-03-05 현대모비스(주) 차량용 주차지원시스템 및 주차지원방법
US9514366B2 (en) * 2014-02-03 2016-12-06 Xerox Corporation Vehicle detection method and system including irrelevant window elimination and/or window score degradation
DE102014209227B4 (de) * 2014-05-15 2022-03-17 Ford Global Technologies, Llc Parkassistenzsystem
US9436182B2 (en) 2014-05-23 2016-09-06 Google Inc. Autonomous vehicles
US9631933B1 (en) 2014-05-23 2017-04-25 Google Inc. Specifying unavailable locations for autonomous vehicles
CN104015660A (zh) * 2014-06-23 2014-09-03 镇江杭川机械制造有限公司 车辆视觉驻车系统
CN104260722B (zh) * 2014-09-23 2017-06-06 北京理工大学 一种自动泊车系统
WO2016147368A1 (ja) * 2015-03-19 2016-09-22 三菱電機株式会社 運転制御装置及び運転制御方法
KR102327345B1 (ko) * 2015-07-14 2021-11-17 주식회사 만도모빌리티솔루션즈 주차제어시스템 및 그 제어방법
JP2017024683A (ja) * 2015-07-28 2017-02-02 株式会社ジェイテクト 車両用操舵装置
JP6547495B2 (ja) * 2015-07-31 2019-07-24 アイシン精機株式会社 駐車支援装置
DE102015216881A1 (de) * 2015-09-03 2017-03-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum fahrerlosen Führen eines Kraftfahrzeugs innerhalb eines Parkplatzes
DE102016211184A1 (de) * 2015-09-08 2017-03-09 Volkswagen Aktiengesellschaft Verfahren zum automatisierten Fahren eines Fahrzeugs, insbesondere eines Kraftfahrzeugs, zum Ansteuern einer Parkposition
US9809158B2 (en) * 2015-09-29 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. External indicators and notifications for vehicles with autonomous capabilities
JP6494782B2 (ja) * 2015-10-30 2019-04-03 三菱電機株式会社 報知制御装置及び報知制御方法
JP6694710B2 (ja) * 2015-12-25 2020-05-20 株式会社デンソーテン 駐車支援装置、駐車支援方法、及び、駐車支援システム
US9773417B2 (en) * 2016-01-08 2017-09-26 Ford Global Technologies, Llc Enhanced park assist system
JP2017140890A (ja) * 2016-02-09 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
CN105835876B (zh) * 2016-03-27 2018-01-26 张铮 基于计算机控制的智能停车系统
US20180018879A1 (en) * 2016-07-14 2018-01-18 John Frederick Brownell Garage Laser Parking Guide
DE102016220448A1 (de) * 2016-10-19 2018-04-19 Ford Global Technologies, Llc Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeuges
DE102017204830A1 (de) 2017-03-22 2018-09-27 Ford Global Technologies, Llc Verfahren und Fahrerassistenzsystem zur Unterstützung des Ein- und/oder Ausparkens eines Kraftfahrzeugs
US10403144B1 (en) * 2017-05-08 2019-09-03 Open Invention Network Llc Mobile device transport parking notification and movement tracking
US9892642B1 (en) 2017-05-08 2018-02-13 Open Invention Network Llc Mobile device transport parking notification and movement tracking
DE102017208385A1 (de) * 2017-05-18 2018-11-22 Ford Global Technologies, Llc Verfahren zum Unterstützen eines Einparkvorgangs eines Kraftfahrzeugs, elektronisches Einparkhilfesystem sowie Kraftfahrzeug
KR102001916B1 (ko) 2017-05-30 2019-07-19 엘지전자 주식회사 주차 보조 시스템
JP2018203214A (ja) * 2017-06-09 2018-12-27 アイシン精機株式会社 駐車支援装置、駐車支援方法、運転支援装置、および運転支援方法
JP6800120B2 (ja) * 2017-09-20 2020-12-16 株式会社東海理化電機製作所 操作状況検出装置
JP7040098B2 (ja) * 2018-02-15 2022-03-23 トヨタ自動車株式会社 操舵支援装置
JP6917330B2 (ja) * 2018-03-28 2021-08-11 日立Astemo株式会社 駐車支援装置
US10891866B2 (en) * 2018-11-13 2021-01-12 Hall Labs Llc Parking assist apparatus
KR20200061021A (ko) 2018-11-23 2020-06-02 이재룡 IoT기반 화재 대피 유도기
JP7120036B2 (ja) * 2019-01-16 2022-08-17 トヨタ自動車株式会社 自動駐車管理装置
JP7097866B2 (ja) * 2019-09-24 2022-07-08 本田技研工業株式会社 遠隔駐車システム
JP7226235B2 (ja) * 2019-10-11 2023-02-21 トヨタ自動車株式会社 車両駐車支援装置
JP7207254B2 (ja) * 2019-10-11 2023-01-18 トヨタ自動車株式会社 車両駐車支援装置
EP4105087A4 (en) * 2020-02-10 2023-03-22 Nissan Motor Co., Ltd. PARKING AID METHOD AND APPARATUS
JP7465668B2 (ja) * 2020-02-13 2024-04-11 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、駐車支援システム及び駐車支援方法
JP2021149702A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 収容領域管理装置
JP7448394B2 (ja) * 2020-03-26 2024-03-12 本田技研工業株式会社 駐車支援システム
JP7429141B2 (ja) * 2020-03-26 2024-02-07 本田技研工業株式会社 駐車支援システム
CN111547046B (zh) * 2020-04-30 2022-05-06 惠州华阳通用电子有限公司 一种平行车位预占式自动泊车方法及装置
JP2022064677A (ja) 2020-10-14 2022-04-26 株式会社デンソー 表示制御装置、表示装置及び表示制御プログラム
WO2022082404A1 (zh) * 2020-10-20 2022-04-28 华为技术有限公司 一种信息提示的方法、车辆控制的方法以及相关装置
CN116039662B (zh) * 2023-03-30 2023-08-08 深圳曦华科技有限公司 自动驾驶控制方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006131185A (ja) * 2004-11-09 2006-05-25 Denso Corp 駐車支援システム
JP2006298227A (ja) * 2005-04-22 2006-11-02 Toyota Motor Corp 目標位置設定装置およびそれを備えた駐車支援装置
US20090121899A1 (en) 2005-07-27 2009-05-14 Aisin Seiki Kabushiki Kaisha Parking assistance device
EP2113426A1 (en) 2007-02-22 2009-11-04 Aisin Seiki Kabushiki Kaisha Parking assistance device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622329B2 (ja) * 1996-03-08 2005-02-23 スズキ株式会社 車両操舵装置
JP3763222B2 (ja) * 1998-11-19 2006-04-05 日産自動車株式会社 車両の自動操舵装置
JP4161573B2 (ja) 2001-06-29 2008-10-08 株式会社豊田自動織機 駐車支援装置
JP3912279B2 (ja) * 2002-12-24 2007-05-09 三菱自動車工業株式会社 自動操舵制御装置付き自動車
JP2005313710A (ja) 2004-04-27 2005-11-10 Toyota Motor Corp 駐車支援装置
JP4380655B2 (ja) * 2006-04-25 2009-12-09 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JPWO2009060663A1 (ja) * 2007-11-08 2011-03-17 ボッシュ株式会社 駐車支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006131185A (ja) * 2004-11-09 2006-05-25 Denso Corp 駐車支援システム
JP2006298227A (ja) * 2005-04-22 2006-11-02 Toyota Motor Corp 目標位置設定装置およびそれを備えた駐車支援装置
US20090121899A1 (en) 2005-07-27 2009-05-14 Aisin Seiki Kabushiki Kaisha Parking assistance device
EP2113426A1 (en) 2007-02-22 2009-11-04 Aisin Seiki Kabushiki Kaisha Parking assistance device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAKINO YASUSHI: "Development of Intelligent Parking Assist Journal of Society of Automotive Engineers of Japan", SOCIETY OF AUTOMOTIVE ENGINEERS OF JAPAN, vol. 60, no. 10, 2006, pages 47 - 52

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015515406A (ja) * 2012-03-01 2015-05-28 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 車両の自立的な縦方向帰還制御、及び/或いは、横方向帰還制御を実施するためのドライバー・アシスタント・システム用の方法
JP2018503893A (ja) * 2014-11-26 2018-02-08 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両を支援誘導するための方法及び装置
CN106428210A (zh) * 2015-08-07 2017-02-22 丰田自动车株式会社 车道维持辅助装置
WO2019021354A1 (ja) 2017-07-24 2019-01-31 富士通株式会社 車両駐車支援装置、車両駐車支援プログラム
US11378974B2 (en) 2017-07-24 2022-07-05 Fujitsu Limited Information processing device and recording medium recording vehicle parking support program
WO2020001423A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 确定自动泊车策略的方法和装置
US11897454B2 (en) 2018-06-29 2024-02-13 Huawei Technologies Co., Ltd. Method and apparatus for determining automatic parking strategy
CN111832340A (zh) * 2019-04-16 2020-10-27 杭州海康威视数字技术股份有限公司 一种停车入库方法、装置和系统
CN111832340B (zh) * 2019-04-16 2023-08-29 杭州海康威视数字技术股份有限公司 一种停车入库方法、装置和系统

Also Published As

Publication number Publication date
EP2402219A4 (en) 2017-10-18
EP2402219A1 (en) 2012-01-04
KR20110097902A (ko) 2011-08-31
JP5403330B2 (ja) 2014-01-29
US20110273310A1 (en) 2011-11-10
CN102405154B (zh) 2013-10-02
JP2010195224A (ja) 2010-09-09
US8816878B2 (en) 2014-08-26
EP2402219B1 (en) 2019-06-05
CN102405154A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
JP5403330B2 (ja) 駐車支援装置
US9799132B2 (en) Driving support apparatus for tow coupling
JP5182545B2 (ja) 駐車支援装置
KR101190482B1 (ko) 주차지원장치
JP5429514B2 (ja) 駐車支援装置
EP1950097B1 (en) Parking support device
JP5212748B2 (ja) 駐車支援装置
JP4853712B2 (ja) 駐車支援装置
JP5605617B2 (ja) 駐車支援装置
JP5044136B2 (ja) 駐車支援装置
JP2012056428A (ja) 運転支援装置
JP5013205B2 (ja) 駐車支援装置
JP5445852B2 (ja) 駐車支援装置
JP2009126353A (ja) 駐車支援装置
JP7286276B2 (ja) 駐車支援装置、及び駐車支援装置の制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003694.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10746051

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2010746051

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117014519

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13141904

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE