WO2013145582A1 - 駐車支援装置、及び駐車支援方法 - Google Patents

駐車支援装置、及び駐車支援方法 Download PDF

Info

Publication number
WO2013145582A1
WO2013145582A1 PCT/JP2013/001478 JP2013001478W WO2013145582A1 WO 2013145582 A1 WO2013145582 A1 WO 2013145582A1 JP 2013001478 W JP2013001478 W JP 2013001478W WO 2013145582 A1 WO2013145582 A1 WO 2013145582A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
distance
map
parking
aerial photograph
Prior art date
Application number
PCT/JP2013/001478
Other languages
English (en)
French (fr)
Inventor
福田 久哉
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/389,048 priority Critical patent/US9547796B2/en
Priority to EP13769737.1A priority patent/EP2832590A4/en
Publication of WO2013145582A1 publication Critical patent/WO2013145582A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a parking support device and a parking support method for supporting parking of a vehicle based on image information displayed on a display device in the vehicle.
  • a parking assistance device that performs parking assistance based on image information displayed on a display device such as a car navigation system installed in front of the driver's seat of the vehicle.
  • a display device such as a car navigation system installed in front of the driver's seat of the vehicle.
  • the parking assistance device displays a vehicle adjacent to the parking space on a display device in the vehicle.
  • the parking assistance device draws a projection line on the ground based on a camera image taken by a camera installed at the rear of the vehicle.
  • the parking assistance device models a display image in a planar manner using a vehicle shape input in advance from a schematic shape of an adjacent vehicle based on outer shape information obtained from a camera image.
  • the parking support device performs parking support by performing planar display viewed from above, so-called top view display.
  • Such a technique is disclosed in Patent Document 1, for example.
  • camera images taken by a plurality of cameras installed on the front, rear, left and right sides of the vehicle can be modeled in a plane and displayed on the display device of the vehicle as a top view, or an aerial photograph and an image representing the current position on the vehicle;
  • a technique for providing parking assistance by displaying a synthesized image obtained by synthesizing the image on a display device.
  • the display image displayed in the top view by plane conversion or composite conversion is sufficiently higher than the surrounding solid objects. Since photography cannot be performed from the position, a pattern in which a three-dimensional object such as a parked vehicle is projected on the ground may be superimposed on the pattern on the ground itself. In other words, if the camera image captured by the camera is converted to the top view viewpoint, the projected image of the height area of a three-dimensional object (such as a parked vehicle) will be stretched and projected onto the road surface. A display image in a state where the texture is pasted in a desired parking space is obtained.
  • An object of the present invention is to provide a parking assistance device and a parking assistance method capable of providing parking assistance that is easy for a driver to understand by using real-time image information displayed on a display device of a vehicle.
  • the parking assistance device of the present invention is a parking assistance device that performs parking assistance of the vehicle based on image information displayed inside the vehicle, and includes a vehicle position detection unit that detects a position of the vehicle, The aerial photograph storage means for storing the aerial photograph corresponding to the position of the own vehicle detected by the vehicle position detection means, and the own vehicle and the surrounding object obtained by scanning the periphery with the distance measuring sensor mounted on the own vehicle.
  • a peripheral object detection means for creating a distance map based on distance measurement data indicating the distance between the aerial photograph and an aerial photograph acquired from the aerial photograph storage means based on the distance map created by the peripheral object detection means
  • the configuration includes a peripheral map generation unit that updates and generates the latest peripheral map, and a display unit that displays the latest peripheral map generated by the peripheral map generation unit on a screen.
  • the parking assist device of the present invention is a parking assist device that supports parking of the vehicle based on image information displayed inside the vehicle, and determines the position of the own vehicle based on GPS data acquired from GPS.
  • the self-vehicle position detection means for detecting, the aerial photograph acquisition means for acquiring the aerial photograph corresponding to the position of the own vehicle detected by the own-vehicle position detection means from the outside via the communication means, and the own vehicle are mounted
  • a surrounding object detection means for creating a distance map based on distance measurement data indicating a distance between the own vehicle and the surrounding object acquired by scanning a surrounding area of the ranging sensor, and the surrounding object detection means Based on the created distance map, the aerial photograph acquired from the aerial photograph acquiring means is updated, and the peripheral map generating means for generating the latest peripheral map and the peripheral map generating means Take and display means for screen display a new map of hotels surrounding, the configuration with.
  • the parking support method of the present invention is a parking support method for supporting parking of the vehicle based on image information displayed inside the vehicle, the first step of detecting the position of the own vehicle, A second step of storing an aerial photograph corresponding to the position of the host vehicle, and a measurement indicating a distance between the host vehicle and a peripheral object obtained by scanning the periphery of the distance sensor mounted on the host vehicle. A third step of creating a distance map based on the distance data; a fourth step of updating the aerial photograph based on the distance map to generate a latest peripheral map; and And a fifth step of displaying on the display device.
  • the parking support method of the present invention is a parking support method for supporting parking of the vehicle based on image information displayed inside the vehicle, and the position of the own vehicle is determined based on GPS data acquired from GPS.
  • the method includes a fourth step of generating a map and a fifth step of displaying the latest peripheral map on the display device.
  • the image information of the top view display that is close to the actual scenery and has real-time characteristics is monitored by the display device of the vehicle. It becomes easier to grasp the positional relationship with the car. Further, when the vehicle enters the parking space, it is possible to easily determine avoidance of contact with the adjacent vehicle. As a result, it is possible to realize a parking assistance device that is extremely easy to use.
  • movement when the influence of a moving object is considered.
  • FIG. 5 the flowchart which shows the flow of operation
  • the figure of the display screen which shows the state which expanded and displayed the garage entry to the parking space shown to FIG. 7E on a display apparatus.
  • Figure of the display screen that shows the state that the vehicle is sensing with the distance measuring sensor at any point in the parking lot
  • the figure of the display screen which shows the state which displayed the generation process of the periphery map which the periphery map production
  • the parking assist apparatus is based on a past aerial photograph with a sufficiently high camera position, and the current actual environment (for example, parking) obtained by a GPS (Global Positioning System) or a distance measuring sensor. Data on the presence or absence of a vehicle) is updated on the aerial photograph. This eliminates the distortion and blind spot of a three-dimensional object as when taken with a camera from a low position, and allows a peripheral map closer to the actual landscape to be displayed in a top view on the display device. Furthermore, since the display image of the past aerial photograph is updated to the display image of the current environment, the vehicle parking support can be appropriately performed.
  • GPS Global Positioning System
  • FIG. 1 is a block diagram showing a configuration of a parking assistance apparatus and related elements according to Embodiment 1 of the present invention.
  • the parking assistance device 1a shown in FIG. 1 shows a case where a past aerial photograph is built in the computing device 4a in advance.
  • the parking assist device 1a is mounted on a vehicle and mainly includes a distance measuring sensor 2, a GPS receiver 3, a calculation device 4a, and a display device 5.
  • the distance measuring sensor 2 scans the periphery of the vehicle using, for example, a laser radar, and measures the positional relationship between the vehicle and the surrounding object.
  • the GPS receiver 3 acquires GPS data.
  • the arithmetic device 4a acquires distance measurement data from the distance measurement sensor 2 and GPS data from the GPS receiver 3, and generates image data.
  • the display device 5 acquires the image data of the arithmetic device 4a and displays the image on the display.
  • the computing device 4 a includes a host vehicle position detection unit 41, a peripheral object detection unit 42, an aerial photograph storage unit 43, and a peripheral map generation unit 44.
  • the own vehicle position detection unit 41 detects the current position of the own vehicle (own vehicle) based on the GPS data acquired from the GPS receiver 3.
  • the peripheral object detection unit 42 acquires distance measurement data from the distance measurement sensor 2, detects the distance between the vehicle and the current peripheral object, and creates a distance map.
  • the aerial photograph storage unit 43 stores past aerial photographs of many regions including aerial photographs corresponding to the position of the own vehicle detected by the own vehicle position detection unit 41.
  • the peripheral map generation unit 44 Based on the past aerial photograph corresponding to the current position of the host vehicle acquired from the aerial photograph storage unit 43 and the current peripheral object distance map acquired from the peripheral object detection unit 42, the peripheral map generation unit 44 The aerial photograph is updated to generate a current surrounding map, and the surrounding map is transmitted to the display device 5.
  • FIG. 2 is a flowchart showing the flow of operation when there is no moving object in the parking assistance apparatus 1a of the first embodiment shown in FIG.
  • the arithmetic device 4a determines whether or not the parking assistance device 1a is in the peripheral map creation mode (step S1).
  • the vehicle position detection unit 41 of the computing device 4a is based on the GPS data acquired from the GPS receiver 3. To calculate the current position of the vehicle (step S2).
  • the distance measuring sensor 2 mounted on the own vehicle measures the distance between the own vehicle and each object in the surrounding area by scanning the periphery with, for example, a laser radar (step S3).
  • the surrounding object detection unit 42 is based on distance measurement data indicating distances between the vehicle and each object in the surrounding area. Is created (step S4).
  • the surrounding object detection unit 42 determines whether there is a parked vehicle in the vicinity based on the created distance map (step S5).
  • An empty space image is generated by the map (step S6).
  • the peripheral map generation unit 44 generates an outline image of the vehicle based on the empty space image (step S7).
  • the peripheral map generation unit 44 creates a peripheral map updated to the current aerial photograph based on the past aerial photograph, the empty space image, and the outline image of the vehicle (step S8), and this peripheral map is displayed on the display device 5.
  • the display device 5 can display a peripheral map close to the current landscape in a top view.
  • FIG. 3 is a flowchart showing an operation flow when the influence of the moving object is taken into consideration in the parking assistance apparatus 1a of the first embodiment shown in FIG.
  • the operation flow when the influence of the moving object shown in FIG. 3 is taken into consideration is that the step of detecting the moving body (step S13a in FIG. 3) is added to the flowchart of FIG. Since some of the operation contents differ from the flowchart of FIG. 2 due to the addition of steps, the description will be given throughout the flowchart of FIG.
  • the arithmetic device 4a determines whether or not the parking assistance device 1a is in the peripheral map creation mode (step S11).
  • the vehicle position detection unit 41 of the computing device 4a is based on the GPS data acquired from the GPS receiver 3. To calculate the current position of the vehicle (step S12).
  • the distance measuring sensor 2 mounted on the own vehicle scans the periphery with the laser radar and measures the distance between the own vehicle and each object in the surrounding area (step S13). Further, the distance measuring sensor 2 detects the presence / absence of a moving body (for example, a vehicle or the like about to enter or leave the parking space) by scanning the periphery with a laser radar (step S13a). Then, when the distance measurement sensor 2 transmits distance measurement data and information on the presence / absence of a moving body to the surrounding object detection unit 42, the surrounding object detection unit 42 indicates the distance between the vehicle and each object in the surrounding area. The latest distance map is created based on the distance measurement data and information on the presence / absence of a moving object.
  • a moving body for example, a vehicle or the like about to enter or leave the parking space
  • the latest distance map including the moving information of the moving object is created (step S14). Further, the surrounding object detection unit 42 determines whether or not a parked vehicle exists in the vicinity based on the latest distance map created (step S15).
  • An empty space image is generated based on the distance map (step S16).
  • the peripheral map generation unit 44 generates an outline image of the vehicle based on the empty space image (step S17).
  • the peripheral map generation unit 44 creates the latest peripheral map updated to the current aerial photograph based on the past aerial photograph, the empty space image, and the outline image of the vehicle (step S18), and displays this peripheral map. Transmit to device 5.
  • the display device 5 can display the latest updated image in the top view without leaving a trace during the movement of the moving body.
  • FIG. 4 is a block diagram showing the configuration of the parking assist apparatus and related elements according to Embodiment 2 of the present invention.
  • the configuration of the parking assistance device 1 b and related elements includes a distance measuring sensor 2, a GPS receiver 3, a vehicle position detection unit 41, a surrounding object detection unit 42, a surrounding map generation unit 44, and
  • the calculation device 4b includes an aerial photograph acquisition unit (aerial photograph acquisition means) 45, a display device 5, and a communication device 6.
  • the parking assistance device 1a of the first embodiment shown in FIG. 1 has a configuration in which the aerial photograph storage unit 43 of the arithmetic device 4a stores a large number of aerial photographs, but the second embodiment shown in FIG.
  • the parking assistance device 1b is configured such that the aerial photograph acquisition unit 45 of the arithmetic device 4b acquires a desired aerial photograph from the communication device 6 each time. Therefore, elements other than the communication device 6 and the aerial photograph acquisition unit 45 are the same as those in FIG.
  • the aerial photograph acquisition unit 45 outputs a past aerial photograph corresponding to the position of the own vehicle detected by the own vehicle position detection unit 41 via the communication device 6 each time. Get from. Therefore, in step S8 or step S18 of the flowcharts of FIG. 2 and FIG. 3 described above, the surrounding map generation unit 44 is based on the past aerial photograph acquired by the aerial photograph acquisition unit 45 from the outside via the communication device 6.
  • the past aerial photographs are updated based on the empty space image and the vehicle outer shape image, and the latest surrounding map is created. Since other operations are the same as those in the first embodiment, a duplicate description is omitted. If an old aerial photograph is used, such as when a new parking lot is provided, appropriate parking assistance cannot be performed. Therefore, the latest aerial photograph is acquired from the outside via the communication device 6. This makes it possible to perform appropriate parking support based on the latest information.
  • FIG. 5 is a block diagram showing the configuration of the parking assist device and related elements according to Embodiment 3 of the present invention.
  • the parking assistance apparatus 1c of Embodiment 3 has a configuration in which a camera 7 is added to the parking assistance apparatus 1b shown in FIG. Accordingly, the peripheral map generation unit 44 includes the latest situation including the peripheral situation based on the color camera image captured by the camera 7 in addition to the past aerial photograph acquired from the outside by the aerial photograph acquisition unit 45 via the communication device 6. The surrounding map is generated.
  • the operation of the parking assistance apparatus 1c when the aerial photograph and the camera image are used in combination will be described using a flowchart.
  • FIG. 6 is a flowchart showing an operation flow when the surrounding situation is acquired by the camera in the parking assistance device 1c of the third embodiment shown in FIG.
  • the operation flow when the peripheral situation shown in FIG. 6 is acquired by the camera is the same as the flowchart of FIG. 3 in the step of detecting the parking frame (step S25a in FIG. 6) and the step of acquiring the color information of the parked vehicle (FIG. 6).
  • Step S26a) is added, but will be described through all the steps in order to show a flow of a series of operations.
  • the arithmetic device 4c determines whether or not the parking assistance device 1c is in the peripheral map creation mode (step S21).
  • the vehicle position detection unit 41 of the computing device 4c is based on the GPS data from the GPS receiver 3.
  • the current position of the host vehicle is calculated (step S22).
  • the distance measuring sensor 2 mounted on the own vehicle scans the periphery with a laser radar and measures the distance between the own vehicle and each object in the surrounding area (step S23). Further, the distance measuring sensor 2 detects the presence or absence of a moving body (for example, a vehicle that is about to enter or leave the parking space) by scanning the periphery with a laser radar (step S23a). Then, when the distance measurement sensor 2 transmits distance measurement data and information on the presence / absence of a moving body to the surrounding object detection unit 42, the surrounding object detection unit 42 indicates the distance between the vehicle and each object in the surrounding area.
  • the latest distance map is created based on the distance measurement data and information on the presence / absence of a moving object. For example, if there is a moving object, the latest distance map including the moving information of the moving object is created (step S24).
  • the surrounding object detection unit 42 determines whether or not there is a parked vehicle in the vicinity based on the created latest distance map (step S25). And the surrounding object detection part 42 detects a parking frame with respect to the empty space where a parked vehicle does not exist (step S25a).
  • An empty space image is generated from the distance map and the parking frame (step S26).
  • the surrounding map generation unit 44 fills the inside of the parking frame with an empty texture so that the parking frame of the empty space image does not disappear, and the adjacent map of the parked vehicle based on the color camera image captured by the camera 7.
  • Color information is acquired (step S26a).
  • the surrounding map generation unit 44 generates an outline image of the vehicle by painting the outline of the adjacent vehicle with substantially the same color as the adjacent vehicle (step S27).
  • the “adjacent parked vehicle” refers to a parked vehicle photographed by the camera 7 and having a contour extracted.
  • the surrounding map generation unit 44 updates the past aerial photograph based on the past aerial photograph, the empty space image, and the outline image of the vehicle to create the latest peripheral map (step S28). It transmits to the display device 5. Thereby, when the moving body exists, the display device 5 can display the latest updated image in the top view so that no trace remains during the movement of the moving body.
  • an image including a texture having substantially the same color as that of the surrounding road surface is superimposed on the area S in which a broken line is displayed around the parking space.
  • an image including character information of “empty” is superimposed on a region S where a broken line is displayed around the parking space so that the parking space is empty. May be.
  • a state is displayed on the screen where the own vehicle enters the parking space where the texture of the public parking lot or “empty” is displayed.
  • the following operation is performed. That is, as shown in FIG. 7F, as a result of sensing the vehicle P existing in a certain parking space by the distance measuring sensor of the own vehicle M, a dead angle portion that is a portion that cannot be sensed (for example, a rear region B of the vehicle P)
  • the contour R of the maximum outer dimension is displayed by assuming that the vehicle P is a symmetric rear region.
  • the contour region is filled with a desired color (for example, red).
  • the measured contour is superimposed on the contour region.
  • FIG. 8 is a diagram of a display screen showing a state in which the garage entry into the parking space shown in FIG. 7E is enlarged and displayed on the display device. That is, when the own vehicle enters the parking space, the outer edge of the moving locus of the own vehicle viewed from the top is displayed with the outline Q as shown in the top view display screen shown in FIG. You can enter the garage while confirming that you do not.
  • FIG. 9 is a diagram of a display screen that displays on the display device a state in which the vehicle is sensing with a distance measuring sensor at an arbitrary point in the parking lot.
  • the distance measurement area sensed by the vehicle with the distance sensor is displayed in a circumferential range, and the detected contours of the surrounding vehicles are obtained by fusing sensing information as the vehicle moves. Displayed by a small circle of circles.
  • the own vehicle can move in the parking lot while checking the contoured portion of the surrounding vehicle and can enter the garage in the target parking space.
  • FIG. 10 is a diagram of a display screen showing a state in which the peripheral map generation process performed by the peripheral map generation unit 44 of the arithmetic device is displayed on the display device.
  • FIG. 10A an aerial photograph to be measured in a desired parking lot is displayed on the display screen.
  • FIG. 10B the contour screen of the surrounding vehicles detected at time t1 is displayed on the display device.
  • FIG. 10C the contour screen of the surrounding vehicle detected at time t2 is displayed on the display device.
  • the contour screens of the surrounding vehicles detected at time t3, time t (n-1), and time tn are displayed on the display device.
  • a vehicle contour measurement screen in which screens from time t1 to time tn are merged in time series is displayed on the display device.
  • the aerial photograph updated by reflecting only the vicinity of the parking target position is displayed on the display device.
  • the newest aerial photograph which reflected all the sensing areas as needed can also be displayed on a display apparatus.
  • FIG. 11 is a display screen in the case of merging time-series information of moving vehicles (moving objects) in the parking lot. Normally, if a moving object is simply merged with time-series sensing information, traces of the past remain in the surrounding map, so updating is performed only with the latest information. That is, as shown in the upper row of FIG. 11, if there is a moving vehicle that starts moving at time t1 to leave the parking space while the vehicle is waiting at the entrance of the parking lot, the movement The vehicle moves away from the parking space as shown at times t2, t3,. In this case, the moving vehicle information is displayed on the screen as shown in FIGS. 11A to 11F, but the locus of the moving vehicle is not displayed as shown in FIG. 11G.
  • the moving vehicle measured at time t1 in the map area is not displayed even if it is within the measurable range after time t2.
  • an object that is in the measurable range in the map area but does not exist at time t1 exists after time t2.
  • the information from time t1 to time tn is not fused as shown in FIG. 11G, but only the latest information at time tn is displayed on the display device as shown in FIG. 11F. And use it.
  • FIG. 12 is a diagram showing an example of an interpolation process for interpolating a non-sensing area where a part of the vehicle cannot be sensed by the distance measuring sensor. That is, when the distance measuring sensor of the own vehicle senses a parked vehicle, as shown in FIG. 12B, the opposite side surface and rear portion of the parked vehicle cannot be sensed by the distance measuring sensor. Accordingly, as shown in FIG. 12C, when a single-sided image area is obtained in the sensing result of the parked vehicle, a pseudo image obtained by folding the image area of the sensing result at the center line of the vehicle width is combined as shown in FIG. 12D. create.
  • the rear portion that is not sensed at the rear end portion of the parked vehicle is approximated by a straight line as shown in FIG. 12E to complete the parked vehicle composite image.
  • a sensing fusion result screen as shown in FIG. 12A is displayed on the display device.
  • FIG. 13 is a diagram illustrating another example of interpolation processing for a non-sensing area.
  • the pseudo image is synthesized by folding around the center line. Thereby, a composite image of the parked vehicle as shown in FIG. 13D is created.
  • FIG. 13E the portion that was not sensed at the rear end portion of the parked vehicle approximates the contour line behind the vehicle with a rectangle so that the measured vehicle width and the predetermined vehicle length are obtained. Then, a composite image of the parked vehicle is completed.
  • a sensing merged result screen as shown in FIG. 13A is displayed on the display device.
  • the current position of the own vehicle is detected using GPS.
  • the present invention is not limited to this, and any means other than GPS can be used as long as the current position of the own vehicle can be detected. You can also.
  • the “aerial photograph” in the present invention is sufficient if it is a photograph obtained from a sufficient altitude (for example, a few hundred meters or more), and includes photographs other than photographs obtained from aircraft such as satellite photographs. It is a concept.
  • the present invention can be effectively used as a parking assistance device for a popular car equipped with car navigation.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

 車両の表示装置に表示されたリアルタイム性のある画像情報によって運転者に解かりやすい駐車支援を行うことができる駐車支援装置。この装置では、自車位置検出部(41)は、GPS受信機(3)から取得したGPSデータに基づいて自己車両の位置を検出する。航空写真記憶部(43)は、自己車両の位置に対応する航空写真を記憶する。周辺物体検出部(42)は、自己車両が搭載する測距センサ(2)が周辺をスキャンして得た自己車両と周辺物体との距離を示す測距データに基づいて、距離マップを作成する。周辺マップ生成部(44)は、距離マップに基づいて、航空写真記憶部(43)から取得した過去の航空写真を更新し、最新の周辺マップを生成する。表示装置(5)が、最新の周辺マップを画面表示させる。

Description

駐車支援装置、及び駐車支援方法
 本発明は、車両内の表示装置に表示される画像情報によって該車両の駐車支援を行う駐車支援装置、及び駐車支援方法に関する。
 従来、車両が駐車するときに、その車両の運転席前部に設置されたカーナビゲーションなどの表示装置に表示される画像情報により駐車支援を行う駐車支援装置が知られている。例えば、駐車支援装置は、車両が公共駐車場等に駐車するとき、駐車スペースの隣接車両を車両内の表示装置に表示する。その際、駐車支援装置は、車両の後部等に設置されたカメラが撮影したカメラ画像をもとに地面への投影線を描く。または、駐車支援装置は、カメラ画像より得られる外形情報に基づく隣接車両の概略的な形状から、あらかじめ入力されている車両形状を使って表示画像を平面的にモデル化する。このような処理に基づいて、駐車支援装置は、上方から見た平面表示、いわゆるトップビュー表示を行って駐車支援を行う。このような技術は、例えば、特許文献1に開示されている。
 また、車両の前後左右等に設置された複数のカメラが撮影したカメラ画像を、平面的にモデル化して該車両の表示装置にトップビュー表示させたり、航空写真と車両に現在位置を表す画像とを合成した合成画像を表示装置に表示させたりして駐車支援を行う技術も知られている。
特開2001-010427号公報
 しかしながら、車両の後部等に設置されたカメラが撮影したカメラ画像を元に、平面視変換したり合成変換したりしてトップビュー表示した表示画像は、そのカメラが周辺の立体物より充分に高い位置から撮影できないために、駐車車両などの立体物が地面に投影された模様が、地面自体の模様に重畳してしまうことがある。言い換えると、カメラで撮影したカメラ画像をトップビュー視点に視点変換した場合は、立体物(駐車車両など)の高さ領域の投影像が路面に引き伸ばされて投影されるため、紛らわしい3次元的なテクスチャが所望の駐車スペースに貼り付けられた状態の表示画像となってしまう。そのために、地面の模様と駐車車両などの立体物とを区別することが難しくなるので、駐車支援装置の使い勝手が悪くなってしまう。また、車両の後部等に設置されたカメラによるカメラ画像をトップビュー表示した場合は、カメラの解像度などの問題によって表示エリアが狭くなってしまうので、駐車目標位置が確認しづらくなる。すなわち、カメラ画像は局所的な表示になるので、駐車目標位置と自車との位置関係(距離や向き)が把握しにくくなる。さらには、航空写真を用いた場合は、一般的にその航空写真は過去のデータであるので、そのまま使用してもリアルタイム性がないために、駐車支援装置としては使い勝手がよくない。
 本発明の目的は、車両の表示装置に表示されたリアルタイム性のある画像情報によって運転者に解かりやすい駐車支援を行うことができる駐車支援装置、及び駐車支援方法を提供することである。
 本発明の駐車支援装置は、車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援装置であって、自己車両の位置を検出する自車位置検出手段と、前記自車位置検出手段が検出した前記自己車両の位置に対応する航空写真を記憶する航空写真記憶手段と、前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する周辺物体検出手段と、前記周辺物体検出手段が作成した距離マップに基づいて、前記航空写真記憶手段から取得した航空写真を更新し、最新の周辺マップを生成する周辺マップ生成手段と、前記周辺マップ生成手段が生成した最新の周辺マップを画面表示させる表示手段とを備える、構成を採る。
 また、本発明の駐車支援装置は、車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援装置であって、GPSから取得したGPSデータに基づいて自己車両の位置を検出する自車位置検出手段と、通信手段を介して、前記自車位置検出手段が検出した前記自己車両の位置に対応する航空写真を外部から取得する航空写真取得手段と、前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する周辺物体検出手段と、前記周辺物体検出手段が作成した距離マップに基づいて、前記航空写真取得手段から取得した航空写真を更新し、最新の周辺マップを生成する周辺マップ生成手段と、前記周辺マップ生成手段が生成した最新の周辺マップを画面表示させる表示手段と、を備える構成を採る。
 また、本発明の駐車支援方法は、車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援方法であって、自己車両の位置を検出する第1のステップと、前記自己車両の位置に対応する航空写真を記憶する第2のステップと、前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する第3のステップと、前記距離マップに基づいて前記航空写真を更新し、最新の周辺マップを生成する第4のステップと、前記最新の周辺マップを前記表示装置に表示させる第5のステップと、を含む方法を採る。
 また、本発明の駐車支援方法は、車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援方法であって、GPSから取得したGPSデータに基づいて自己車両の位置を検出する第1のステップと、通信手段を介して、前記自己車両の位置に対応する航空写真を外部から取得する第2のステップと、前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する第3のステップと、前記距離マップに基づいて前記航空写真を更新し、最新の周辺マップを生成する第4のステップと、前記最新の周辺マップを前記表示装置に表示させる第5のステップとを含む、方法を採る。
 本発明によれば、実際の風景に近く、かつリアルタイム性のあるトップビュー表示の画像情報が車両の表示装置にモニタリングされるので、車両が駐車スペースへアプローチするときに、周辺の障害物と自車との位置関係が把握しやすくなる。また、車両が駐車スペースへ車庫入れするときに、隣接車両との接触回避を容易に判断することができる。その結果、極めて使い勝手のよい駐車支援装置を実現することができる。
本発明の実施の形態1に係る駐車支援装置及び関連要素の構成を示すブロック図 図1に示す実施の形態1の駐車支援装置において、移動物体が無いときの動作の流れを示すフローチャート 図1に示す実施の形態1の駐車支援装置において、移動物体の影響を考慮したときの動作の流れを示すフローチャート 本発明の実施の形態2に係る駐車支援装置及び関連要素の構成を示すブロック図 本発明の実施の形態3に係る駐車支援装置及び関連要素の構成を示すブロック図 図5に示す実施の形態3の駐車支援装置において、周辺状況をカメラで取得した場合の動作の流れを示すフローチャート 本実施の形態の駐車支援装置を搭載した車両が公共駐車場へ駐車するときに、運転席の表示装置に表示される表示画面の一例を示す図 図7Eに示す駐車スペースへの車庫入れを表示装置に拡大表示した状態を示す表示画面の図 自車が駐車場内の任意地点において測距センサでセンシングを行っている状態を表示装置に映し出した表示画面の図 演算装置の周辺マップ生成部が行う周辺マップの生成過程を表示装置に表示した状態を示す表示画面の図 駐車場内における移動車両(移動物)の時系列情報を融合する場合の表示画面の図 非センシング領域の補間処理の一例を示す図 非センシング領域の補間処理の他の例を示す図
 《概要》
 本発明の実施の形態に係る駐車支援装置は、カメラ位置が充分に高い過去の航空写真を元に、GPS(Global Positioning System)や測距センサによって得られた現在の実際の環境(例えば、駐車車両の有無など)のデータを該航空写真上で更新させる。これによって、低い位置からカメラで撮影したときのような立体物の歪や死角がなくなり、かつ、より実際の風景に近い周辺マップを表示装置にトップビュー表示させることができる。さらに、過去の航空写真の表示画像は現在の環境の表示画像に更新されているので、車両の駐車支援を適正に行うことができる。
 以下、本発明に係る駐車支援装置について、図面を参照しながら幾つかの実施の形態を詳細に説明する。なお、各実施の形態を説明するための全図において、同一要素は原則として同一の符号を付し、その繰り返しの説明は省略する。なお、複数のフローチャートを説明する場合は、それぞれのフローチャートで一連の動作の流れを説明するために、重複する内容についても繰り返し説明する場合がある。
 (実施の形態1)
 〈駐車支援装置の構成〉
 図1は、本発明の実施の形態1に係る駐車支援装置及び関連要素の構成を示すブロック図である。図1に示す駐車支援装置1aは、過去の航空写真があらかじめ演算装置4aに内蔵されている場合を示している。駐車支援装置1aは、車両に搭載され、測距センサ2と、GPS受信機3と、演算装置4aと、表示装置5と、から主に構成されている。測距センサ2は、例えばレーザレーダによって該車両の周辺をスキャンし、該車両と周辺の物体との位置関係を測距する。GPS受信機3は、GPSデータを取得する。演算装置4aは、測距センサ2からの測距データとGPS受信機3からのGPSデータとを取得し、画像データを生成する。表示装置5は、演算装置4aの画像データを取得してディスプレイに画像を表示する。
 演算装置4aは、自車位置検出部41と、周辺物体検出部42と、航空写真記憶部43と、周辺マップ生成部44と、を備えている。自車位置検出部41は、GPS受信機3から取得したGPSデータに基づいて自己車両(自車)の現在位置を検出する。周辺物体検出部42は、測距センサ2から測距データを取得して自車と現在の周辺物体との距離を検出し、距離マップを作成する。航空写真記憶部43は、自車位置検出部41が検出した自己車両の位置に対応する航空写真を含む多数の地域の過去の航空写真を記憶する。周辺マップ生成部44は、航空写真記憶部43から取得した自車の現在位置に対応する過去の航空写真と周辺物体検出部42から取得した現在の周辺物体の距離マップとに基づいて、過去の航空写真を更新して現在の周辺マップを生成し、その周辺マップを表示装置5へ送信する。
 〈移動物体が無いときの駐車支援装置の動作〉
 次に、フローチャートを参照して図1に示す駐車支援装置1aの動作の流れを説明する。図2は、図1に示す実施の形態1の駐車支援装置1aにおいて、移動物体が無いときの動作の流れを示すフローチャートである。先ず、演算装置4aは、駐車支援装置1aが周辺マップの作成モードであるか否かの判定を行う(ステップS1)。次に、演算装置4aが、駐車支援装置1aは周辺マップの作成モードにあると判定した場合には、演算装置4aの自車位置検出部41が、GPS受信機3から取得したGPSデータに基づいて自車の現在位置を算出する(ステップS2)。
 さらに、自車に搭載された測距センサ2が、例えば、レーザレーダによって周辺をスキャンして自車と周辺エリアの各物体との距離を測距する(ステップS3)。そして、測距センサ2が周辺物体検出部42へ測距データを送信すると、周辺物体検出部42は、自車と周辺エリアの各物体との間の距離を示す測距データに基づいて距離マップを作成する(ステップS4)。さらに、周辺物体検出部42は、作成した距離マップに基づいて、周辺に駐車車両が存在するか否かを判断する(ステップS5)。
 その後、周辺マップ生成部44が、航空写真記憶部43から取得した自車の現在位置に対応する過去の航空写真を元に、周辺物体検出部42が作成した周辺の駐車車両の有無を示す距離マップによって、空きスペース画像を生成する(ステップS6)。さらに、周辺マップ生成部44は、空きスペース画像に基づいて車両の外形画像を生成する(ステップS7)。そして、周辺マップ生成部44は、過去の航空写真と空きスペース画像と車両の外形画像とに基づいて現在の航空写真に更新した周辺マップを作成し(ステップS8)、この周辺マップを表示装置5へ送信する。これによって、表示装置5は、現在の風景に近い周辺マップをトップビュー表示することができる。
 〈移動物体の影響を考慮した駐車支援装置の動作〉
 図3は、図1に示す実施の形態1の駐車支援装置1aにおいて、移動物体の影響を考慮したときの動作の流れを示すフローチャートである。図3に示す移動物体の影響を考慮したときの動作の流れは、図2のフローチャートに対して移動体検出のステップ(図3のステップS13a)が追加されたものであるが、移動体検出のステップが追加されたことにより図2のフローチャートとは動作内容が異なる部分もあるので、図3のフローチャートの全体を通して説明する。
 図3において、先ず、演算装置4aは、駐車支援装置1aが周辺マップの作成モードであるか否かの判定を行う(ステップS11)。次に、演算装置4aが、駐車支援装置1aは周辺マップの作成モードにあると判定した場合には、演算装置4aの自車位置検出部41が、GPS受信機3から取得したGPSデータに基づいて自車の現在位置を算出する(ステップS12)。
 さらに、自車に搭載された測距センサ2が、レーザレーダによって周辺をスキャンして自車と周辺エリアの各物体との距離を測距する(ステップS13)。また、測距センサ2は、レーザレーダによって周辺をスキャンすることにより、移動体(例えば、駐車スペースに入退場しようとする車両など)の有無を検出する(ステップS13a)。そして、測距センサ2が周辺物体検出部42へ測距データと移動体の有無の情報とを送信すると、周辺物体検出部42は、自車と周辺エリアの各物体との間の距離を示す測距データ及び移動体の有無の情報とに基づいて最新の距離マップを作成する。例えば、移動体がある場合はその移動体の移動情報を含めた最新の距離マップを作成する(ステップS14)。さらに、周辺物体検出部42は、作成した最新の距離マップに基づいて、周辺に駐車車両が存在するか否かを判断する(ステップS15)。
 その後、周辺マップ生成部44が、航空写真記憶部43から取得した自車の現在位置に対応する過去の航空写真を元に、周辺物体検出部42が作成した周辺の駐車車両の有無を示す最新の距離マップによって、空きスペース画像を生成する(ステップS16)。さらに、周辺マップ生成部44は、空きスペース画像に基づいて車両の外形画像を生成する(ステップS17)。そして、周辺マップ生成部44は、過去の航空写真と空きスペース画像と車両の外形画像とに基づいて現在の航空写真に更新した最新の周辺マップを作成し(ステップS18)、この周辺マップを表示装置5へ送信する。これにより、表示装置5は、移動体が存在する場合は、該移動体の移動中の痕跡が残らないようにして最新の更新画像をトップビュー表示することができる。
 (実施の形態2)
 図4は、本発明の実施の形態2に係る駐車支援装置及び関連要素の構成を示すブロック図である。図4に示すように、駐車支援装置1b及び関連要素の構成は、測距センサ2と、GPS受信機3と、自車位置検出部41、周辺物体検出部42、周辺マップ生成部44、及び航空写真取得部(航空写真取得手段)45からなる演算装置4bと、表示装置5と、通信装置6とから成っている。
 すなわち、図1に示す実施の形態1の駐車支援装置1aは、演算装置4aの航空写真記憶部43が多数の航空写真を記憶している構成であったが、図4に示す実施の形態2の駐車支援装置1bは、演算装置4bの航空写真取得部45が通信装置6から、その都度、所望の航空写真を取得する構成になっている。従って、通信装置6と航空写真取得部45以外の要素は図1と同じであるので、重複する説明は省略する。
 実施の形態2の駐車支援装置1bでは、航空写真取得部45が、自車位置検出部41が検出した自車の位置に対応した過去の航空写真を、その都度、通信装置6を介して外部から取得する。従って、前述の図2及び図3のフローチャートのステップS8またはステップS18において、周辺マップ生成部44は、航空写真取得部45が通信装置6を介して外部から取得した過去の航空写真を元に、空きスペース画像と車両の外形画像とに基づいて過去の航空写真を更新し、最新の周辺マップを作成する。それ以外の動作は実施の形態1と同じであるので、重複する説明は省略する。新たな駐車場が設けられた場合など、古い航空写真を用いると適切な駐車支援を行うことができなくなる。そのため、通信装置6を介して外部から最新の航空写真を取得する。これにより、最新の情報に基づく適切な駐車支援を行うが可能となる。
 (実施の形態3)
 図5は、本発明の実施の形態3に係る駐車支援装置及び関連要素の構成を示すブロック図である。実施の形態3の駐車支援装置1cは、図4に示す駐車支援装置1bに対してカメラ7が追加された構成となっている。従って、周辺マップ生成部44が、航空写真取得部45が通信装置6を介して外部から取得した過去の航空写真に加えて、カメラ7が撮影したカラーのカメラ画像による周辺状況も含めて、最新の周辺マップを生成する構成となっている。以下、フローチャートを用いて航空写真とカメラ画像とを併用した場合の駐車支援装置1cの動作について説明する。
 〈周辺状況をカメラで取得した場合の駐車支援装置の動作〉
 図6は、図5に示す実施の形態3の駐車支援装置1cにおいて、周辺状況をカメラで取得した場合の動作の流れを示すフローチャートである。図6に示す周辺状況をカメラで取得した場合の動作の流れは、図3のフローチャートに対して駐車枠検出のステップ(図6のステップS25a)及び、駐車車両の色情報の取得ステップ(図6のステップS26a)が追加されたものであるが、一連の動作の流れを示すために全ステップを通して説明する。
 図6において、先ず、演算装置4cは、駐車支援装置1cが周辺マップの作成モードであるか否かの判定を行う(ステップS21)。次に、演算装置4cが、駐車支援装置1cは周辺マップの作成モードにあると判定した場合には、演算装置4cの自車位置検出部41が、GPS受信機3からのGPSデータに基づいて自車の現在位置を算出する(ステップS22)。
 さらに、自車に搭載された測距センサ2が、レーザレーダによって周辺をスキャンして自車と周辺エリアの各物体との距離を測距する(ステップS23)。また、測距センサ2は、レーザレーダによって周辺をスキャンすることにより、移動体(例えば、駐車スペースに入退場しようとする車両など)の有無を検出する(ステップS23a)。そして、測距センサ2が周辺物体検出部42へ測距データと移動体の有無の情報とを送信すると、周辺物体検出部42は、自車と周辺エリアの各物体との間の距離を示す測距データ及び移動体の有無の情報とに基づいて最新の距離マップを作成する。例えば、移動体がある場合はその移動体の移動情報を含めた最新の距離マップを作成する(ステップS24)。
 さらに、周辺物体検出部42は、作成した最新の距離マップに基づいて、周辺に駐車車両が存在するか否かを判断する(ステップS25)。そして、周辺物体検出部42は、駐車車両が存在しない空きスペースに対して駐車枠を検出する(ステップS25a)。
 その後、周辺マップ生成部44が、航空写真取得部45から取得した自車の現在位置に対応する過去の航空写真を元に、周辺物体検出部42が検出した周辺の駐車車両の有無を示す最新の距離マップと駐車枠とによって空きスペース画像を生成する(ステップS26)。さらに、周辺マップ生成部44は、空きスペース画像の駐車枠が消えないように、該駐車枠の内側を空きテクスチャで塗りつぶすと共に、カメラ7が撮影したカラーのカメラ画像に基づいて隣接する駐車車両の色情報を取得する(ステップS26a)。そして、周辺マップ生成部44は、隣接車両の輪郭の内部に該隣接車両と略同じ色を塗りつぶして車両の外形画像を生成する(ステップS27)。ここで「隣接する駐車車両」とは、カメラ7で撮影された駐車車両で、かつ、輪郭を抽出できた駐車車両をいう。
 そして、周辺マップ生成部44は、過去の航空写真と空きスペース画像と車両の外形画像とに基づいて過去の航空写真を更新して最新の周辺マップを作成し(ステップS28)、この周辺マップを表示装置5へ送信する。これにより、表示装置5は、移動体が存在する場合は、該移動体の移動中の痕跡が残らないようにして最新の更新画像をトップビュー表示させることができる。
 (実施例)
 次に、前記の各実施の形態によって実現させる駐車支援装置の具体的な実施例について説明する。図7は、本実施の形態の駐車支援装置を搭載した車両が公共駐車場へ駐車するときに運転席の表示装置に表示される表示画面の一例を示す図である。車両(以下、自車と言う)が駐車場へ入場すると、先ず、図7Aのように、オリジナル写真である過去の航空写真が、自車の運転席の表示装置にトップビュー画面で表示される。さらに、自車の測距センサが周辺をスキャンして測距したエリアが、航空写真上に円周範囲として表示される。ここで、円周範囲内において何れかの駐車スペースに車両が存在しない場合は、図7Bのように、車両が存在しない駐車スペースの領域Sの周囲に破線が表示される。
 次に、図7Cのように、駐車スペースの周囲に破線が表示された領域Sに対して、周辺の路面と略同じ色のテクスチャを含む画像が重畳される。あるいは、図7Dのように、駐車スペースの周囲に破線が表示された領域Sに対して、駐車スペースが空いていることが分かるように、例えば、『空』の文字情報を含む画像が重畳されてもよい。そして、自車の表示装置には、図7Eのように、公共駐車場のテクスチャまたは『空』が表示された駐車スペースへ自車が車庫入れする様子が画面表示される。
 一方、図7Aのオリジナル写真である航空写真において周辺測距の円周範囲内にある全ての駐車スペースに車両が存在する場合は、以下の動作となる。すなわち、図7Fのように、ある駐車スペースに存在する車両Pを自車Mの測距センサがセンシングした結果、センシングできない部分(例えば、車両Pの後部領域B)である死角部分に対して、車両Pの左右対称な後部領域と推定して最大外形寸法の輪郭Rを表示する。そして、図7Gのように、その輪郭領域を所望の色(例えば赤色)で塗りつぶす。あるいは図7Hのように、計測できた輪郭をその輪郭領域に重畳する。なお、オリジナル写真である航空写真に、過去の車両が映っている場合には、当該過去の車両の位置に、周辺の路面と略同じ色のテクスチャを含む画像を重畳させた後、輪郭を重畳するようにしてもよい。このようにすることで、過去の車両の映像が残ってしまうことを防止することができる。
 図8は、図7Eに示す駐車スペースへの車庫入れを表示装置に拡大表示した状態を示す表示画面の図である。すなわち、自車が駐車スペースへ車庫入れする場合は、図8に示すトップビュー表示画面のように、上面から見た自車の移動軌跡の外縁を輪郭Qで表示することにより、隣接車両に接触しないことを確認しながら車庫入れすることができる。
 図9は、自車が駐車場内の任意地点において測距センサでセンシングを行っている状態を表示装置に映し出した表示画面の図である。図9に示すように、自車が測距センサでセンシングした測距エリアが円周範囲で表示され、自車の移動に伴ってセンシング情報を融合させることにより、検出された周辺車両の輪郭が小さい丸印の羅列によって表示される。これによって、自車は周辺車両の突き出た輪郭部分を確認しながら駐車場内を移動し、目的の駐車スペースへ車庫入れすることができる。
 図10は、演算装置の周辺マップ生成部44が行う周辺マップの生成過程を表示装置に表示した状態を示す表示画面の図である。先ず、図10Aに示すように、所望の駐車場における計測対象の航空写真が表示画面に表示される。次に、自車が駐車場内へ進入すると、図10Bに示すように、時刻t1において検出された周辺車両の輪郭画面が表示装置に表示される。次に、図10Cに示すように、時刻t2において検出された周辺車両の輪郭画面が表示装置に表示される。
 このようにして、図10D、E、Fに示すように、時刻t3、時刻t(n-1)、時刻tnのそれぞれで検出された周辺車両の輪郭画面が表示装置に表示される。そして、図10Gに示すように、時刻t1から時刻tnまでの画面が時系列で融合された車両輪郭の計測画面が表示装置に表示される。これによって、図10Hに示すように、駐車目標位置の周辺のみが反映されて更新された航空写真が表示装置に表示される。あるいは、図10Iに示すように、必要に応じてセンシング領域の全てを反映させた最新の航空写真を表示装置に表示させることもできる。
 図11は、駐車場内における移動車両(移動物)の時系列情報を融合する場合の表示画面である。通常、移動物を単純に時系列のセンシング情報で融合すると周辺マップに過去の痕跡が残ってしまうため、最新情報のみで更新を行う。すなわち、図11の上段に羅列した図に示すように、時刻t1において、駐車場の入口で自車が待機中に駐車スペースから退去するために移動を開始する移動車両が存在する場合、その移動車両は、時刻t2、t3、…tnに示すように駐車スペース退出の移動を行う。この場合、移動車両の情報は図11A~Fのように画面表示されるが、図11Gのように移動車両の軌跡は表示されない。
 すなわち、マップエリア内で時刻t1に計測された移動車両は、時刻t2以降では計測可能範囲であっても表示されない。また、マップエリア内で計測可能範囲にあるのに時刻t1に存在しない物体が時刻t2以降に存在する。このように、移動車両の融合に関しては、図11Gのように、時刻t1から時刻tnまでの情報を融合するのではなく、図11Fに示すように、時刻tnの最新情報のみを表示装置に表示して利用する。
 図12は、測距センサによって車両の一部がセンシングできない非センシング領域を補間する補間処理の一例を示す図である。すなわち、自車の測距センサが駐車車両をセンシングする場合、図12Bに示すように、その駐車車両の反対側の側面及び後部は測距センサによってセンシングすることができない。したがって、図12Cに示すように、駐車車両のセンシング結果において片面の画像領域が得られたら、図12Dに示すように、センシング結果の画像領域を車両幅の中心線で折り返して合成した擬似画像を作成する。さらに、駐車車両の後端部分でセンシングされなかった後部は、図12Eに示すように直線で近似して駐車車両の合成画像を完成させる。このようにして作成された各駐車車両の合成画像を融合すると、図12Aに示すようなセンシング融合結果の画面が表示装置に表示される。
 図13は、非センシング領域の補間処理の他の例を示す図である。自車の測距センサが駐車車両をセンシングした結果、図13Bに示すように駐車車両の前部領域のみがセンシングされた場合は、図13Cに示すように、センシング結果の画像領域を車両幅の中心線で折り返して擬似画像を合成する。これによって、図13Dに示すような駐車車両の合成画像が作成される。さらに、駐車車両の後端部分でセンシングされなかった部分は、図13Eに示すように、計測された車幅、及びあらかじめ決められた車長となるように、車両後方の輪郭線を矩形で近似して駐車車両の合成画像を完成させる。このようにして作成された各駐車車両の合成画像を融合すると図13Aに示すようなセンシング融合結果の画面が表示装置に表示される。
 以上、本発明の駐車支援装置について、幾つかの実施の形態と実施例に基づき具体的に説明したが、本発明は前記の各実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。
 なお、各実施の形態では、GPSを用いて自車の現在位置の検出を行ったが、本発明はこれに限られず、自車の現在位置を検出できるものであればGPS以外の手段を用いることもできる。
 また、本発明における「航空写真」とは、充分な高度(例えば、数百メートル以上上空)から取得された写真であれば十分であり、衛星写真など航空機から取得した写真以外の写真をも含む概念である。
 2012年3月30日出願の特願2012-080814の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
 本発明によれば、カーナビゲーションを搭載した大衆車の駐車支援装置として有効に利用することができる。
 1a、1b、1c 駐車支援装置
 2 測距センサ
 3 GPS受信機
 4a、4b、4c 演算装置
 5 表示装置
 6 通信装置
 7 カメラ
 41 自車位置検出部
 42 周辺物体検出部
 43 航空写真記憶部
 44 周辺マップ生成部
 45 航空写真取得部
 

Claims (13)

  1.  車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援装置であって、
     自己車両の位置を検出する自車位置検出手段と、
     前記自車位置検出手段が検出した前記自己車両の位置に対応する航空写真を記憶する航空写真記憶手段と、
     前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する周辺物体検出手段と、
     前記周辺物体検出手段が作成した距離マップに基づいて、前記航空写真記憶手段から取得した航空写真を更新し、最新の周辺マップを生成する周辺マップ生成手段と、
     前記周辺マップ生成手段が生成した周辺マップを画面表示させる表示手段と、
     を備える、駐車支援装置。
  2.  車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援装置であって、
     GPSから取得したGPSデータに基づいて自己車両の位置を検出する自車位置検出手段と、
     通信手段を介して、前記自車位置検出手段が検出した前記自己車両の位置に対応する航空写真を外部から取得する航空写真取得手段と、
     前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する周辺物体検出手段と、
     前記周辺物体検出手段が作成した距離マップに基づいて、前記航空写真取得手段から取得した航空写真を更新し、最新の周辺マップを生成する周辺マップ生成手段と、
     前記周辺マップ生成手段が生成した最新の周辺マップを画面表示させる表示手段と、
     を備える、駐車支援装置。
  3.  前記周辺物体検出手段は、前記測距センサが移動体を検出したときは、前記測距データと前記移動体の検出情報とに基づいて前記距離マップを作成する、請求項1に記載の駐車支援装置。
  4.  前記自己車両の周辺エリアを撮影するカメラをさらに備え、
     前記周辺マップ生成手段は、前記カメラが撮影したカメラ画像を参照して前記航空写真記憶手段から取得した航空写真を更新し、最新の周辺マップを生成する、請求項1に記載の駐車支援装置。
  5.  前記周辺マップ生成手段は、前記カメラが撮影したカメラ画像に基づいて、
     駐車枠に駐車車両がない場合には空きスペースの駐車枠の内側に空きスペースであることを表す画像を重畳し、
     駐車枠に駐車車両がある場合には駐車車両の輪郭の内側に駐車車両があることを表す画像を重畳する、
     請求項4に記載の駐車支援装置。
  6.  前記空きスペースであることを表す画像は、
     駐車枠周辺の路面と略同色のテクスチャを含む画像、もしくは、空きスペースであることを表す文字情報を含む画像である、
     請求項5に記載の駐車支援装置。
  7.  前記駐車車両があることを表す画像は、
     前記駐車車両の輪郭を含む画像、もしくは、該輪郭を含む画像を前記駐車車両と略同色で塗りつぶした画像である、
     請求項5に記載の駐車支援装置。
  8.  前記周辺マップ生成手段は、前記測距センサが前記駐車両をスキャンしてセンシングされなかった領域を、該駐車車両の幅方向または長さ方向の中心線で折り返した擬似画像により補間する、
     請求項1に記載の駐車支援装置。
  9.  前記周辺マップ生成手段は、前記空きスペースへ車両が車庫入れするときは、該車両が移動するときの、該車両の外縁の輪郭を表示する、
     請求項7に記載の駐車支援装置。
  10.  車両の駐車支援を行う駐車支援装置であって、
     前記車両の位置に対応する航空写真に、前記車両の周辺にある他の車両の有無に応じた画像を重畳して表示させる表示手段、
     を備える駐車支援装置。
  11.  車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援方法であって、
     自己車両の位置を検出する第1のステップと、
     前記自己車両の位置に対応する航空写真を記憶する第2のステップと、
     前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する第3のステップと、
     前記距離マップに基づいて前記航空写真を更新し、周辺マップを生成する第4のステップと、
     前記周辺マップを前記表示装置に表示させる第5のステップと、
     を含む駐車支援方法。
  12.  車両の内部に表示された画像情報に基づいて該車両の駐車支援を行う駐車支援方法であって、
     GPSから取得したGPSデータに基づいて自己車両の位置を検出する第1のステップと、
     通信手段を介して、前記自己車両の位置に対応する航空写真を外部から取得する第2のステップと、
     前記自己車両が搭載する測距センサが周辺をスキャンして取得した、該自己車両と周辺物体との間の距離を示す測距データに基づいて、距離マップを作成する第3のステップと、
     前記距離マップに基づいて前記航空写真を更新し、最新の周辺マップを生成する第4のステップと、
     前記最新の周辺マップを前記表示装置に表示させる第5のステップと、
     を含む駐車支援方法。
  13.  前記第3のステップにおいて、前記測距センサが移動体を検出したときは、前記測距データと前記移動体の検出情報とに基づいて前記距離マップを作成する、
     請求項11に記載の駐車支援方法。
PCT/JP2013/001478 2012-03-30 2013-03-07 駐車支援装置、及び駐車支援方法 WO2013145582A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/389,048 US9547796B2 (en) 2012-03-30 2013-03-07 Parking assistance device and parking assistance method
EP13769737.1A EP2832590A4 (en) 2012-03-30 2013-03-07 PARKING AID DEVICE AND PARKING ASSISTANCE PROCEDURE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012080814A JP5857224B2 (ja) 2012-03-30 2012-03-30 駐車支援装置、及び駐車支援方法
JP2012-080814 2012-03-30

Publications (1)

Publication Number Publication Date
WO2013145582A1 true WO2013145582A1 (ja) 2013-10-03

Family

ID=49258900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001478 WO2013145582A1 (ja) 2012-03-30 2013-03-07 駐車支援装置、及び駐車支援方法

Country Status (4)

Country Link
US (1) US9547796B2 (ja)
EP (1) EP2832590A4 (ja)
JP (1) JP5857224B2 (ja)
WO (1) WO2013145582A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2511173A (en) * 2013-12-16 2014-08-27 Daimler Ag Visualization of active assistant systems for a vehicle
CN109686116A (zh) * 2017-10-19 2019-04-26 丰田自动车株式会社 交通灯信息提供系统、交通灯信息提供方法及所用服务器
US10683011B2 (en) 2013-05-10 2020-06-16 Robert Bosch Gmbh Dynamic vehicle display for communicating multiple vehicle parameters
CN111964685A (zh) * 2019-05-20 2020-11-20 罗伯特·博世有限公司 用于创建用于车辆的定位地图的方法和系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
DE102013224518A1 (de) * 2013-11-29 2015-06-03 Visteon Global Technologies, Inc. System zum Verarbeiten von Daten von Kraftfahrzeugen und Verfahren zur Beurteilung der Fahrweise
WO2015125301A1 (ja) * 2014-02-24 2015-08-27 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP6237875B2 (ja) * 2014-02-24 2017-11-29 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
CN104260670A (zh) * 2014-10-23 2015-01-07 合肥星服信息科技有限责任公司 一种车辆路面投影指示仪
US9139199B2 (en) * 2015-02-01 2015-09-22 Thomas Danaher Harvey Methods for dense parking of remotely controlled or autonomous vehicles
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015212689A1 (de) * 2015-07-07 2017-01-12 Robert Bosch Gmbh Fahrerunabhängige Überführung eines Kraftfahrzeugs
US10026315B2 (en) 2015-11-02 2018-07-17 Walmart Apollo, Llc Apparatus and method for monitoring parking area
JP6582891B2 (ja) * 2015-11-04 2019-10-02 アイシン・エィ・ダブリュ株式会社 空車枠特定システム、方法およびプログラム
KR102488512B1 (ko) * 2016-04-15 2023-01-13 주식회사 에이치엘클레무브 주차 지원 장치 및 그의 주차 제어 방법
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
WO2018057839A1 (en) 2016-09-22 2018-03-29 Apple Inc. Vehicle Video System
EP3527456A4 (en) 2016-10-13 2019-10-23 Nissan Motor Co., Ltd. METHOD AND DEVICE FOR ESTIMATING HOST POSITION
IL248749B (en) 2016-11-03 2019-08-29 Dan El Eglick A system for looking at using several databases
WO2018097356A1 (ko) * 2016-11-24 2018-05-31 충북대학교 산학협력단 차량 주차보조 장치 및 그 방법
JP6760114B2 (ja) 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US10223598B2 (en) 2017-02-20 2019-03-05 Volkswagen Aktiengesellschaft Method of generating segmented vehicle image data, corresponding system, and vehicle
DE102017130488A1 (de) * 2017-12-19 2019-06-19 Valeo Schalter Und Sensoren Gmbh Verfahren zur Klassifizierung von Parklücken in einem Umgebungsbereich eines Fahrzeugs mit einem neuronalen Netzwerk
CN108528441B (zh) * 2018-03-27 2020-02-07 广州汽车集团股份有限公司 泊车方法及装置
JP2020142690A (ja) * 2019-03-07 2020-09-10 パナソニックIpマネジメント株式会社 表示制御装置、駐車支援装置、および表示制御方法
KR20210061722A (ko) * 2019-11-20 2021-05-28 팅크웨어(주) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP7372144B2 (ja) * 2019-12-26 2023-10-31 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置、及び車載処理システム
JP7298492B2 (ja) * 2020-01-29 2023-06-27 株式会社Soken 車両用処理装置
US11769409B2 (en) * 2020-12-15 2023-09-26 Charter Communications Operating, Llc Automated parking lot digital map generation and use thereof
DE102022204313A1 (de) * 2022-05-02 2023-11-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen eines Umfeldabbildes für einen Parkassistenten eines Fahrzeugs
US11854400B2 (en) * 2022-05-03 2023-12-26 Here Global B.V. Apparatus and methods for predicting events in which drivers fail to see curbs
DE102022120715A1 (de) * 2022-08-17 2024-02-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Anzeigeeinrichtung in einem Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010427A (ja) 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置
JP2004053351A (ja) * 2002-07-18 2004-02-19 Fujitsu Ten Ltd ナビゲーション装置
JP2007233539A (ja) * 2006-02-28 2007-09-13 Nissan Motor Co Ltd 車両用走行制御装置
JP2008033439A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 車両用表示システム、ナビゲーションシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP4898590B2 (ja) 2007-07-26 2012-03-14 キヤノン株式会社 データ処理装置及び方法
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
TW201100279A (en) * 2009-06-23 2011-01-01 Automotive Res & Testing Ct Composite-image-type parking auxiliary system
DE102010034140A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung und Fahrerassistenzsystem
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001010427A (ja) 1999-06-29 2001-01-16 Fujitsu Ten Ltd 車両の駐車支援装置
JP2004053351A (ja) * 2002-07-18 2004-02-19 Fujitsu Ten Ltd ナビゲーション装置
JP2007233539A (ja) * 2006-02-28 2007-09-13 Nissan Motor Co Ltd 車両用走行制御装置
JP2008033439A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 車両用表示システム、ナビゲーションシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2832590A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10683011B2 (en) 2013-05-10 2020-06-16 Robert Bosch Gmbh Dynamic vehicle display for communicating multiple vehicle parameters
GB2511173A (en) * 2013-12-16 2014-08-27 Daimler Ag Visualization of active assistant systems for a vehicle
CN109686116A (zh) * 2017-10-19 2019-04-26 丰田自动车株式会社 交通灯信息提供系统、交通灯信息提供方法及所用服务器
CN109686116B (zh) * 2017-10-19 2022-02-08 丰田自动车株式会社 交通灯信息提供系统、交通灯信息提供方法及所用服务器
CN111964685A (zh) * 2019-05-20 2020-11-20 罗伯特·博世有限公司 用于创建用于车辆的定位地图的方法和系统

Also Published As

Publication number Publication date
US9547796B2 (en) 2017-01-17
JP5857224B2 (ja) 2016-02-10
US20150078624A1 (en) 2015-03-19
EP2832590A1 (en) 2015-02-04
JP2013209015A (ja) 2013-10-10
EP2832590A4 (en) 2015-04-01

Similar Documents

Publication Publication Date Title
JP5857224B2 (ja) 駐車支援装置、及び駐車支援方法
JP4940168B2 (ja) 駐車スペース認識装置
US11535155B2 (en) Superimposed-image display device and computer program
JP5798392B2 (ja) 駐車支援装置
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
CN101207802B (zh) 驾驶支援方法和驾驶支援装置
JP2009017462A (ja) 運転支援システム及び車両
JP2009211624A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2019089476A (ja) 駐車支援装置及びコンピュータプログラム
CN101252679A (zh) 驾驶辅助方法及驾驶辅助装置
JP2006054662A (ja) 運転支援装置
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP6221562B2 (ja) 車両用情報提示装置
JP2007088577A (ja) 車両周辺画像処理システム
JP2009220592A (ja) 車載用縦列駐車支援装置および車載用縦列駐車支援装置のプログラム
JP2014172411A (ja) 駐車支援装置
JP5132796B2 (ja) 車両周辺画像生成装置および画像切替方法
JP2010286944A (ja) ドライブレコーダシステム、常時記録型ドライブレコーダおよびナビゲーション装置
WO2023145400A1 (ja) 交通流計測システムおよび交通流計測方法
WO2023145402A1 (ja) 交通流計測システムおよび交通流計測方法
US20230037900A1 (en) Device and Method for Determining Objects Around a Vehicle
JP2010238147A (ja) 運転支援システム、運転支援方法、及び運転支援プログラム
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP4975568B2 (ja) 地物識別装置、地物識別方法及び地物識別プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13769737

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013769737

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14389048

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: DE