WO2017163385A1 - 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム - Google Patents

支援画像表示装置、支援画像表示方法及び支援画像表示プログラム Download PDF

Info

Publication number
WO2017163385A1
WO2017163385A1 PCT/JP2016/059481 JP2016059481W WO2017163385A1 WO 2017163385 A1 WO2017163385 A1 WO 2017163385A1 JP 2016059481 W JP2016059481 W JP 2016059481W WO 2017163385 A1 WO2017163385 A1 WO 2017163385A1
Authority
WO
WIPO (PCT)
Prior art keywords
support image
image display
landscape
reference position
support
Prior art date
Application number
PCT/JP2016/059481
Other languages
English (en)
French (fr)
Inventor
尚之 対馬
雅浩 虻川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2016/059481 priority Critical patent/WO2017163385A1/ja
Priority to US16/074,912 priority patent/US20190043235A1/en
Priority to JP2017558561A priority patent/JP6342089B2/ja
Priority to CN201680083676.9A priority patent/CN108885845B/zh
Priority to DE112016006449.7T priority patent/DE112016006449B4/de
Publication of WO2017163385A1 publication Critical patent/WO2017163385A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • B60K35/28
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B60K2360/166
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to a technique for providing driving assistance by displaying a support image indicating an object existing in front of a vehicle.
  • a driver drives while grasping various information presented by a driving support device such as a navigation device.
  • driving support devices display a support image indicating the name of a building or the like on a windshield such as a head-up display so as to be superimposed on a landscape in front.
  • driving assistance apparatuses display a forward landscape photographed by a camera on a display unit such as an LCD (Liquid crystal display), and display a support image superimposed on the scenery.
  • Patent Document 1 describes a technique for displaying a name in a display area of an object.
  • Patent Document 1 names are displayed only for structures that are visible to the driver. Therefore, in the technique described in Patent Document 1, the name cannot be displayed for a structure in a position that cannot be seen from the driver by another structure. It is an object of the present invention to display a support image that is easy to understand for a driver even for a structure that is invisible to the driver by other structures.
  • the support image display device is: In a support image display device for displaying a support image indicating a reference position of an object included in a landscape observed from a viewpoint of a moving body so as to be superimposed on the landscape, An image generation unit for generating the support image; A visual determination unit that determines whether or not a structure between the moving object and the object overlaps a reference range based on a reference position of the object in the landscape; A display control unit configured to change and display the support image when the reference range overlaps the structure;
  • the support image when the reference range based on the reference position pointed to by the support image cannot be visually recognized, the support image is changed and displayed superimposed on the landscape. As a result, it is possible to display a support image that is easy to understand for the driver even for a structure that is invisible to the driver by other structures.
  • FIG. 1 is a configuration diagram of a support image display device 10 according to Embodiment 1.
  • FIG. 3 is a flowchart showing overall processing of the support image display device 10 according to the first embodiment. Explanatory drawing of a process in case the structure 53 which concerns on Embodiment 1 does not exist. Explanatory drawing of a process in case the structure 53 which concerns on Embodiment 1 exists.
  • FIG. 5 is a flowchart showing display control processing according to the first embodiment. Explanatory drawing of the determination process whether the structure 53 which concerns on the modification 1 exists. Explanatory drawing of the specific process of the reference
  • FIG. 10 is a flowchart showing visibility determination processing in step S2 according to the second embodiment. Explanatory drawing of the calculation process of the change range L which concerns on Embodiment 2.
  • FIG. 10 is a flowchart showing display control processing according to the second embodiment. Explanatory drawing of the support image 41 displayed based on Embodiment 2. FIG.
  • Embodiment 1 FIG. *** Explanation of configuration *** With reference to FIG. 1, the structure of the assistance image display apparatus 10 which concerns on Embodiment 1 is demonstrated.
  • the support image display device 10 is a computer that is mounted on the moving body 100 and performs display control of POI (Point Of Interest) information that the navigation device 31 is to display on the display device 32.
  • the moving body 100 is a vehicle.
  • the moving body 100 is not limited to a vehicle, but may be other types such as a ship or a pedestrian.
  • the support image display device 10 includes a processor 11, a storage device 12, a communication interface 13, and a display interface 14.
  • the processor 11 is connected to other hardware via a signal line, and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the storage device 12 includes a memory 121 and a storage 122.
  • the memory 121 is, for example, a RAM (Random Access Memory).
  • the storage 122 is an HDD (Hard Disk Drive) as a specific example.
  • the storage 122 may be a portable storage medium such as an SD (Secure Digital) memory card, a CF (CompactFlash), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • SD Secure Digital
  • CF CompactFlash
  • NAND flash NAND flash
  • the communication interface 13 is a device that connects a device such as the navigation device 31 mounted on the moving body 100.
  • the communication interface 13 is a connection terminal of USB (Universal Serial Bus) or IEEE1394.
  • the navigation device 31 specifies the position of the moving body 100 using the positioning device 33, displays the route to the destination or waypoint on the display device 32 based on the specified position, and moves to the destination or waypoint.
  • the navigation device 31 is a computer that has map information, displays POI information designated by the driver or automatically extracted on the display device 32, and presents it to the driver.
  • the POI information is information about an object estimated to be of interest to the driver, and is information indicating the position, shape, etc. of the object.
  • the POI information is information on an object corresponding to the designated classification when a classification such as a pharmacy or a restaurant is designated by the driver.
  • the positioning device 33 is a device that receives a positioning signal transmitted on a carrier wave from a positioning satellite such as a GPS (Global Positioning System) satellite.
  • the display interface 14 is a device that connects the display device 32 mounted on the moving body 100.
  • the display interface 14 is a connection terminal of USB, HDMI (registered trademark, High-Definition Multimedia Interface).
  • the display device 32 is a device that superimposes and displays information on the scenery around the moving body 100 such as the front of the moving body 100.
  • the landscape here is one of a real thing seen through a head-up display, a video acquired by a camera, and a three-dimensional map created by computer graphics.
  • the support image display device 10 includes an image generation unit 21, a visibility determination unit 22, and a display control unit 23 as functional configurations.
  • the functions of the image generation unit 21, the visibility determination unit 22, and the display control unit 23 are realized by software.
  • the storage 122 of the storage device 12 stores programs that realize the functions of the respective units of the support image display device 10. This program is read into the memory 121 by the processor 11 and executed by the processor 11. Thereby, the function of each part of support image display device 10 is realized.
  • Information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121, a register in the processor 11, or a cache memory. In the following description, it is assumed that information, data, signal values, and variable values indicating the processing results of the functions of the respective units realized by the processor 11 are stored in the memory 121.
  • a program for realizing each function realized by the processor 11 is stored in the storage device 12.
  • this program may be stored in a portable storage medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • FIG. 1 only one processor 11 is shown. However, a plurality of processors 11 may be provided, and a plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • the operation of the support image display apparatus 10 according to the first embodiment corresponds to the support image display method according to the first embodiment.
  • the operation of the support image display device 10 according to the first embodiment corresponds to the processing of the support image display program according to the first embodiment.
  • FIG. 2 The process shown in FIG. 2 is executed when the navigation device 31 displays the POI information on the display device 32.
  • the navigation device 31 transmits the POI information to the support image display device 10 when displaying the POI information.
  • the object 51 of POI information is demonstrated as a pharmacy. 3 and FIG. 4, the structure 53 does not exist between the moving body 100 and the pharmacy as the object 51 as shown in FIG. 3A in FIG. 4 (A) is different in that a building which is a structure 53 exists.
  • the image generation unit 21 In the image generation processing in step S1, as shown in FIGS. 3B and 4B, the image generation unit 21 generates a support image 41 indicating the reference position 61 with respect to the object 51 of the POI information.
  • the reference position 61 is a position that serves as a reference when the object is pointed by the support image.
  • the reference position 61 is a point on the object 51.
  • the support image 41 points to the object 51 and is an image for explaining the object. For example, an image like a virtual signboard pointing to the object 51 corresponds to this.
  • the visibility determination unit 22 determines whether or not the reference range 62 with the reference position 61 as a reference can be visually recognized from the moving body 100.
  • the visibility determination unit 22 is configured such that the structure 53 between the moving object 100 and the target object 51 is a reference range with the reference position 61 of the target object 51 as a reference in a landscape observed from the viewpoint position of the moving object. Whether or not it overlaps 62 is determined.
  • the reference range 62 indicates an arbitrary range determined in advance from the reference position. Note that the arbitrary range may be the same as the reference point. That is, the reference point and the reference range may be the same range. In the first embodiment, the reference range 62 is a point indicating the reference position 61.
  • step S3 the display control unit 23 reads the support image 41 generated in step S1 from the memory 121. Then, the display control unit 23 causes the read support image 41 to be superimposed on the landscape 42 and displayed on the display device 32.
  • the display control unit 23 displays the read support image 41. As it is, it is superimposed on the scenery 42 and displayed on the display device 32. That is, as shown in FIG. 3A, when there is no structure 53 between the moving body 100 and the pharmacy that is the target object 51, as shown in FIG.
  • the displayed support image 41 is displayed on the display device 32 while being superimposed on the landscape 42 without being changed.
  • the display control unit 23 changes the read support image 41. After that, the image is displayed on the display device 32 by being superimposed on the scenery 42 around the moving body 100.
  • the change in the support image 41 includes a change in the position of the support image 41 and a change in the display mode.
  • the display control unit 23 changes the position indicated by the support image 41 and then the display device. An example of displaying on the screen 32 will be described. That is, as shown in FIG. 4A, when the structure 53 exists between the mobile object 100 and the pharmacy that is the target object 51, as shown in FIG.
  • the display control unit 23 displays the position indicated by the support image 41 on the display device 32 after shifting the position indicated by the support image 41 to the road 52 side, as shown in FIG. Thereby, it becomes easy to understand that the pharmacy that is the object 51 exists on the back side of the structure 53. Thereby, it becomes easy to understand that the pharmacy that is the object 51 exists on the back side of the structure 53.
  • step S ⁇ b> 11 the image generation unit 21 acquires the POI information transmitted from the navigation device 31 in step S ⁇ b> 11 via the communication interface 13.
  • the image generation unit 21 writes the acquired POI information in the memory 121.
  • the POI information is information indicating the position and shape of the object 51.
  • the information indicating the shape of the target object 51 indicates a planar shape when the target object 51 is viewed from above, and the planar shape of the target object 51 is a rectangle.
  • the POI information is information indicating the latitude and longitude of four points at the upper left, upper right, lower left, and lower right when the object 51 is viewed from above.
  • the POI information is information indicating four latitudes and longitudes for pharmacies around the mobile body 100.
  • step S12 the image generation unit 21 generates a support image 41 that points to the object 51 indicated by the POI information acquired in step S11. Specifically, the image generation unit 21 reads the POI information acquired in step S11 from the memory 121. The image generation unit 21 specifies the reference position 61 of the object 51 from the POI information. Then, the image generation unit 21 generates a support image 41 that indicates the reference position 61 of the identified object 51 and extends toward the road 52. The image generation unit 21 writes the calculated reference position 61 and the generated support image 41 in the memory 121.
  • the image generation unit 21 specifies the closest point to the road 52 of the target object 51 among the four points from the four latitudes and longitudes indicated by the POI information. When there are two points closest to the road 52, the image generation unit 21 selects any one point. The image generation unit 21 calculates a position shifted from the identified point by a certain distance toward a point located diagonally to the object 51. The image generation unit 21 calculates a position obtained by shifting the calculated position by the reference height in the height direction, that is, the vertical direction from the ground surface, and sets the calculated position as the reference position 61.
  • the support image 41 is an image having an arrow shape.
  • the support image 41 is an image in which the position of the tip of the arrow overlaps the reference position 61 and extends toward the road 52.
  • the support image 41 is an image showing the name, type, and the like of the target object 51.
  • the support image 41 is not limited to the shape of the arrow, but may be another shape such as a balloon.
  • step S ⁇ b> 21 the visibility determination unit 22 calculates the viewpoint position 101 of the driver of the moving body 100. Specifically, the visibility determination unit 22 acquires position information indicating the position of the moving body 100 from the navigation device 31. Then, the visibility determining unit 22 calculates the driver's viewpoint position 101 from the position indicated by the position information. As a specific example, the visibility determination unit 22 stores, in advance, relative position information indicating the relative position of the driver's viewpoint position 101 with respect to the position indicated by the position information obtained from the navigation device 31 in the memory 121. . Then, the visibility determination unit 22 calculates the viewpoint position 101 using this relative position information. The visibility determining unit 22 writes the calculated viewpoint position 101 in the memory 121.
  • step S ⁇ b> 22 the visibility determination unit 22 determines whether the structure 53 exists between the viewpoint position 101 calculated in step S ⁇ b> 21 and the target object 51. Specifically, the visibility determination unit 22 reads the viewpoint position 101 calculated in step S21 and the POI information acquired in step S11 from the memory 121. As illustrated in FIG. 7, the visibility determination unit 22 calculates two straight lines D1 connecting the viewpoint position 101 and two points located at both ends of the four points of the object 51 indicated by the POI information.
  • the two straight lines D1 are angles formed by the reference axis among straight lines connecting the viewpoint position 101 and each of the four points of the object 51 with the right direction from the viewpoint position 101 to the traveling direction of the moving body 100 as a reference axis.
  • the visibility determining unit 22 refers to the map information included in the navigation device 31, and the structure 53 exists in a range surrounded by the viewpoint position 101, the two calculated straight lines, and the object 51. It is determined whether or not.
  • the visibility determining unit 22 advances the process to step S23 when the structure 53 exists, and advances the process to step S26 when the structure 53 does not exist.
  • step S ⁇ b> 23 the visibility determination unit 22 calculates an invisible area 54 that cannot be seen from the viewpoint position 101 with the structure 53 existing between the viewpoint position 101 and the target object 51. Specifically, as shown in FIG. 8, the visibility determination unit 22 calculates two straight lines D ⁇ b> 2 that pass through the viewpoint position 101 and the points at both ends of the structure 53.
  • the structure 53 is rectangular like the object 51, and the latitude and longitude of the four points of the upper left, upper right, lower left, and lower right when the structure 53 is viewed from above is shown in the map information. It shall be. Therefore, the visibility determining unit 22 can calculate the two straight lines D2 by the same method as the two straight lines D1.
  • the visibility determination unit 22 calculates the area behind the structure 53 between the two straight lines D2 as the invisible area 54.
  • the visibility determining unit 22 writes the calculated invisible area 54 in the memory 121.
  • step S24 the visibility determining unit 22 determines whether or not the reference range 62 enters the invisible area 54 calculated in step S23. Specifically, the visibility determining unit 22 reads the reference position 61 calculated in step S12 and the invisible area 54 calculated in step S23 from the memory 121. The visibility determining unit 22 identifies the reference range 62 from the reference position 61. Here, the point indicated by the reference position 61 is the reference range 62. Then, the visibility determining unit 22 determines whether or not at least a part of the identified reference range 62 falls within the read invisible area 54. The visibility determining unit 22 advances the process to step S25 if entering, and advances the process to step S26 if not entering.
  • the structure 53 between the moving body 100 and the target object 51 is a reference with the reference position 61 of the target object 51 as a reference. It is determined whether or not the range 62 overlaps.
  • step S ⁇ b> 25 the visibility determination unit 22 calculates a movement amount M for moving the support image 41. Specifically, as illustrated in FIG. 9, the visibility determination unit 22 calculates a straight line D3 that connects the reference position 61 and the nearest point 63 of the road 52 with respect to the reference position 61 when viewed from above. The visibility determining unit 22 calculates the length of the line segment between the reference position 61 and the boundary point 55 of the invisible area 54 on the calculated straight line D3 as the movement amount M. The visibility determining unit 22 writes the calculated movement amount M in the memory 121.
  • step S ⁇ b> 26 the visibility determining unit 22 sets 0 as the movement amount M and writes it in the memory 121.
  • step S31 the display control unit 23 reads and obtains the support image 41 generated in step S12 and the movement amount M calculated in step S25 or the movement amount M set in step S26 from the memory 121. .
  • step S32 the display control unit 23 determines whether or not the movement amount M acquired in step S31 is zero.
  • the display control unit 23 advances the process to step S33 when the movement amount M is 0, and advances the process to step S34 when the movement amount M is not 0.
  • step S33 the display control unit 23 causes the display device 32 to display the support image 41 acquired in step S31 as it is superimposed on the landscape 42.
  • step S34 the display control unit 23 moves the support image 41 acquired in step S31 toward the road 52 on which the moving body 100 travels by the movement amount M, and then superimposes the support image 41 on the landscape 42. 32. That is, as shown in FIG. 4D, the display control unit 23 moves the support image 41 to a position where the position pointed to by the support image 41 can be visually recognized from the moving body 100, and then displays the landscape 42. The images are superimposed and displayed on the display device 32. In other words, the display control unit 23 moves the support image 41 to a position where the position pointed to by the support image 41 does not overlap the structure 53 in the landscape, and then superimposes it on the landscape 42 and displays it on the display device 32. Let
  • the support image display device 10 moves the support image 41 and moves the scenery 42 when the reference range 62 with reference to the reference position 61 indicated by the support image 41 is not visible. Is displayed superimposed on. Thereby, it is possible to display the support image 41 in a manner that is easily understood by the driver even for a structure that is in a position that cannot be seen by the driver due to another structure.
  • the reference position 61 is a point on the object 51.
  • the reference position 61 may be a point in the vicinity of the target object 51 at a position shifted from the target object 51.
  • the reference position 61 may be a point closer to the road 52 than the object 51.
  • the first modification will be described with respect to differences from the first embodiment.
  • the method for specifying the reference position 61 in step S12 is different.
  • the image generation unit 21 identifies the point closest to the road 52 of the object 51 out of the four points indicated by the latitude and longitude indicated by the POI information, and is located diagonally to the object 51 from the identified point. Calculate the position shifted by a certain distance toward the point.
  • the image generation unit 21 shifts the calculated point toward the road 52 toward the outside of the object 51 and sets the reference position 61 as a position shifted by the reference height in the height direction, that is, in the vertical direction from the ground surface.
  • the method for calculating the two straight lines D1 in step S22 is different.
  • the visibility determination unit 22 uses a point indicating the reference position 61 in addition to the four points of the object 51 indicated by the POI information.
  • the visibility determination unit 22 connects two viewpoint positions 101 and two points located at both ends of a total of five points indicating the reference position 61 and the four points of the object 51 indicated by the POI information.
  • a straight line D1 is calculated.
  • the method for specifying the reference range 62 in step S24 is different.
  • the reference range 62 is viewed from above. This is the area between the reference position 61 and the object 51 in the case of More specifically, the reference range 62 is an area on a straight line connecting the reference position 61 and the closest point from the reference position 61 in the object 51 when viewed from above. Therefore, the visibility determination unit 22 calculates a straight line connecting the reference position 61 and the closest point of the reference position 61 in the object 51 when viewed from above, and calculates the region on the calculated straight line as the reference range 62. Calculate as
  • the method for calculating the movement amount M in step S25 is different.
  • the visibility determination unit 22 calculates a straight line D3 connecting the end point 64 on the object 51 side of the reference range 62 and the nearest point 63 of the road 52. Then, the length of the line segment between the end point 64 and the boundary point 55 of the invisible area 54 in the calculated straight line D3 is calculated as the movement amount M.
  • the support image 41 is moved toward the road 52 when the reference range 62 cannot be visually recognized.
  • the reference range 62 cannot be visually recognized, if a part of the object 51 can be visually recognized by the driver, the position indicated by the support image 41 can be visually recognized by the driver in the object 51.
  • the support image 41 may be moved and displayed so as to be in the position. In other words, when the structure 53 does not overlap with a part of the object 51 in the landscape, the support image 51 is set such that the position indicated by the support image 41 does not overlap the structure 53 in the object 51. It may be displayed after moving.
  • step S21 to step S26 is the same as the processing from step S21 to step S26 in FIG.
  • step S ⁇ b> 27 the visibility determination unit 22 determines whether or not a part of the target object 51 is visible from the driver of the moving body 100. Specifically, the visibility determining unit 22 reads the invisible area 54 calculated in step S23 from the memory 121. The visibility determining unit 22 determines whether or not a part of the object 51 is outside the read invisible area 54. If a part of the object 51 is outside the invisible area 54, the visibility determination unit 22 proceeds to step S28 assuming that a part of the object 51 can be visually recognized by the driver of the moving body 100. On the other hand, if part of the object 51 does not fall outside the invisible area 54, the visibility determination unit 22 determines that the entire object 51 cannot be visually recognized by the driver of the moving body 100 and advances the process to step S ⁇ b> 25.
  • step S ⁇ b> 28 the visibility determination unit 22 calculates the distance and direction indicating the relative position of the point within the region of the object 51 outside the invisible area 54 with respect to the reference position 61 as the movement amount M.
  • the point in the region of the object 51 that does not enter the invisible area 54 is a center point in the region of the object 51 that does not enter the invisible area 54.
  • each unit of the support image display device 10 is realized by software.
  • the function of each unit of the support image display device 10 may be realized by hardware. The third modification will be described with respect to differences from the first embodiment.
  • the support image display device 10 includes a processing circuit 15 instead of the processor 11 and the storage device 12.
  • the processing circuit 15 is a dedicated electronic circuit that realizes the functions of each unit of the support image display device 10 and the function of the storage device 12.
  • the processing circuit 15 is assumed to be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). Is done.
  • the function of each part may be realized by one processing circuit 15, or the function of each part may be realized by being distributed to a plurality of processing circuits 15.
  • ⁇ Modification 4> As a fourth modification, some functions may be realized by hardware, and other functions may be realized by software. That is, among the units of the support image display device 10, some functions may be realized by hardware, and other functions may be realized by software.
  • the processor 11, the storage device 12, and the processing circuit 15 are collectively referred to as “processing circuitries”. That is, the function of each part is realized by a processing circuit.
  • the support image display device 10 is a device different from the navigation device 31.
  • the support image display device 10 may be integrated with the navigation device 31.
  • the viewpoint position 101 is the viewpoint position 101 of the driver of the moving body 100, but is not limited to this, and may be the viewpoint position of a passenger other than the driver. Further, when the landscape is displayed as an image acquired by the camera, the viewpoint position 101 may be the viewpoint position of the camera.
  • FIG. The second embodiment is different from the first embodiment in that the outline of the support image 41 is changed when the reference range 62 based on the reference position 61 indicated by the support image 41 cannot be visually recognized. In the second embodiment, this different point will be described.
  • the operation of the support image display apparatus 10 according to the second embodiment corresponds to the support image display method according to the second embodiment.
  • the operation of the support image display apparatus 10 according to the second embodiment corresponds to the process of the support image display program according to the second embodiment.
  • step S21 to step S24 is the same as the processing from step S21 to step S24 shown in FIG.
  • the visibility determining unit 22 calculates a change range L in which the contour line is changed. Specifically, as illustrated in FIG. 17, the visibility determination unit 22 calculates a straight line D3 that connects the reference position 61 and the nearest point 63 of the road 52 with respect to the reference position 61 when viewed from above. The visibility determination unit 22 calculates the length L1 of the line segment between the reference position 61 and the boundary point 55 of the invisible area 54 on the calculated straight line D3. The visibility determining unit 22 sets the shorter one of the calculated length L1 and the length L2 of the support image 41 as the change range L. The visibility determining unit 22 writes the calculated change range L in the memory 121.
  • step S ⁇ b> 26 ⁇ / b> B the visibility determining unit 22 sets 0 as the change range L and writes it in the memory 121.
  • Step S33 is the same as the process of step S33 shown in FIG.
  • step S31B the display control unit 23 reads and obtains the support image 41 generated in step S12 and the change range L calculated in step S25B or the change range L set in step S26B from the memory 121. .
  • step S32B the display control unit 23 determines whether or not the change range L acquired in step S31B is zero. If the change range L is 0, the display control unit 23 advances the process to step S33. If the change range L is not 0, the display control unit 23 advances the process to step S34B.
  • step S34B the display control unit 23 changes the outline of the range from the tip to the change range L in the support image 41 acquired in step S31B to a broken line or the like, and then superimposes it on the landscape 42 to display the display device. 32. That is, as shown in FIG. 19, the display control unit 23 changes the outline of the portion of the support image 41 that overlaps the structure 53 between the moving body 100 and the reference range 62, and then changes the scenery 42. To be displayed on the display device 32.
  • the functions of the respective units of the support image display device 10 are realized by software.
  • the function of each unit of the support image display device 10 may be realized by hardware.
  • the support image display device 10 may have some functions realized by hardware and other functions realized by software.
  • 10 support image display device, 11 processor, 12 storage device, 121 memory, 122 storage, 13 communication interface, 14 display interface, 15 processing circuit, 21 image generation unit, 22 visibility determination unit, 23 display control unit, 31 navigation device, 32 display devices, 33 positioning devices, 41 support images, 42 landscapes, 51 objects, 52 roads, 53 structures, 54 invisible areas, 55 boundary points, 61 reference positions, 62 reference ranges, 63 nearest points, 64 endpoints, 100 Moving body.

Abstract

画像生成部(21)は、対象物に対する基準位置を指し示す支援画像を生成する。可視判定部(22)は、移動体(100)から基準位置を基準とする基準範囲が視認できるか否かを判定する。表示制御部(23)は、基準範囲が視認できると判定された場合には、支援画像をそのまま移動体(100)の周囲の風景に重畳させて表示させ、基準範囲が視認できないと判定された場合には、支援画像を変化させた上で、移動体(100)の周囲の風景に重畳させて表示させる。

Description

支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
 この発明は、車両前方に存在する対象物を指し示す支援画像を表示することにより、運転支援を行う技術に関する。
 運転手は、ナビゲーション装置といった運転支援装置により提示される様々な情報を把握しながら運転する。
 運転支援装置には、ヘッドアップディスプレイのようにウインドシールド上に、前方の風景に重畳させて、建物の名称等を示す支援画像を表示するものがある。また、運転支援装置には、LCD(Liquid crystal display)といった表示部に、カメラによって撮影された前方の風景を表示するとともに、風景に重畳させて支援画像を表示するものがある。
 このように、風景に重畳させて情報を表示する場合に、支援画像を表示する位置が、支援画像が対象とする対象物とずれてしまうと、運転手を混乱させてしまう。この課題に対して、特許文献1には、対象物の表示領域に名称を表示する技術が記載されている。
特開平09-281889号公報
 特許文献1では、運転手から見える構造物についてのみ、名称を表示している。そのため、特許文献1に記載された技術では、他の構造物によって運転手から見えない位置にある構造物については、名称を表示できない。
 この発明は、他の構造物によって運転手から見えない位置にある構造物についても、運転手に理解しやすく支援画像を表示することを目的とする。
 この発明に係る支援画像表示装置は、
 移動体の視点位置から観察される風景に含まれる対象物の基準位置を指し示す支援画像を前記風景に重畳するように表示する支援画像表示装置において、
 前記支援画像を生成する画像生成部と、
 前記風景において、前記移動体と前記対象物との間にある構造物が、前記対象物の基準位置を基準とする基準範囲と重なるか否かを判定する可視判定部と、
 前記基準範囲が前記構造物と重なる場合には、前記支援画像を変化させて表示させる表示制御部と
を備える。
 この発明では、支援画像が指し示す基準位置を基準とする基準範囲が視認できない場合に、支援画像を変化させた上で風景に重畳させて表示させる。これにより、他の構造物によって運転手から見えない位置にある構造物についても、運転手に理解しやすく支援画像を表示することが可能である。
実施の形態1に係る支援画像表示装置10の構成図。 実施の形態1に係る支援画像表示装置10の全体的な処理を示すフローチャート。 実施の形態1に係る構造物53が存在しない場合における処理の説明図。 実施の形態1に係る構造物53が存在する場合における処理の説明図。 実施の形態1に係る画像生成処理を示すフローチャート。 実施の形態1に係る可視判定処理を示すフローチャート。 実施の形態1に係る構造物53が存在するか否かの判定処理の説明図。 実施の形態1に係る不可視エリア54の計算処理の説明図。 実施の形態1に係る移動量Mの計算処理の説明図。 実施の形態1に係る表示制御処理を示すフローチャート。 変形例1に係る構造物53が存在するか否かの判定処理の説明図。 変形例1に係る基準範囲62の特定処理の説明図。 変形例1に係る移動量Mの計算処理の説明図。 変形例2に係るステップS2の可視判定処理を示すフローチャート。 変形例3に係る支援画像表示装置10の構成図。 実施の形態2に係るステップS2の可視判定処理を示すフローチャート。 実施の形態2に係る変化範囲Lの計算処理の説明図。 実施の形態2に係る表示制御処理を示すフローチャート。 実施の形態2に係る表示される支援画像41の説明図。
 実施の形態1.
 ***構成の説明***
 図1を参照して、実施の形態1に係る支援画像表示装置10の構成を説明する。
 支援画像表示装置10は、移動体100に搭載され、ナビゲーション装置31が表示装置32に表示させようとするPOI(Point Of Interest)情報の表示制御を行うコンピュータである。実施の形態1では、移動体100は車両である。移動体100は、車両に限らず、船舶、歩行者といった他の種類であってもよい。
 支援画像表示装置10は、プロセッサ11と、記憶装置12と、通信インタフェース13と、ディスプレイインタフェース14とを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
 プロセッサ11は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ11は、具体例としては、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(Graphics Processing Unit)である。
 記憶装置12は、メモリ121と、ストレージ122とを備える。メモリ121は、具体例としては、RAM(Random Access Memory)である。ストレージ122は、具体例としては、HDD(Hard Disk Drive)である。また、ストレージ122は、SD(Secure Digital)メモリカード、CF(CompactFlash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体であってもよい。
 通信インタフェース13は、移動体100に搭載されたナビゲーション装置31といった装置を接続する装置である。通信インタフェース13は、具体例としては、USB(Universal Serial Bus)、IEEE1394の接続端子である。
 ナビゲーション装置31は、測位装置33を用いて移動体100の位置を特定し、特定された位置に基づき目的地又は経由地への経路を表示装置32に表示させて、目的地又は経由地への経路案内を行うコンピュータである。また、ナビゲーション装置31は、地図情報を有しており、運転手から指定された、又は、自動的に抽出したPOI情報を表示装置32に表示させて、運転手に提示するコンピュータである。
 POI情報は、運転手が関心を持っていると推定される対象物についての情報であり、対象物の位置、形状等を示す情報である。POI情報は、具体例としては、薬局、レストランといった分類が運転手から指定された場合には、指定された分類に該当する対象物の情報である。
 測位装置33は、GPS(Global Positioning System)衛星といった測位衛星から搬送波に乗せて送信された測位信号を受信する装置である。
 ディスプレイインタフェース14は、移動体100に搭載された表示装置32を接続する装置である。ディスプレイインタフェース14は、具体例としては、USB、HDMI(登録商標、High-Definition Multimedia Interface)の接続端子である。
 表示装置32は、移動体100の前方といった移動体100の周囲の風景に、情報を重畳して表示する装置である。ここでいう風景は、ヘッドアップディスプレイ等を介して見える実物と、カメラによって取得された映像と、コンピュータグラフィックによって作成された3次元地図とのいずれかである。
 支援画像表示装置10は、機能構成として、画像生成部21と、可視判定部22と、表示制御部23とを備える。画像生成部21と、可視判定部22と、表示制御部23との各部の機能はソフトウェアにより実現される。
 記憶装置12のストレージ122には、支援画像表示装置10の各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ11によりメモリ121に読み込まれ、プロセッサ11によって実行される。これにより、支援画像表示装置10の各部の機能が実現される。
 プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121、又は、プロセッサ11内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、プロセッサ11によって実現される各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ121に記憶されるものとして説明する。
 プロセッサ11によって実現される各機能を実現するプログラムは、記憶装置12に記憶されているとした。しかし、このプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVDといった可搬記憶媒体に記憶されてもよい。
 図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。
 ***動作の説明***
 図2から図10を参照して、実施の形態1に係る支援画像表示装置10の動作を説明する。
 実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示方法に相当する。また、実施の形態1に係る支援画像表示装置10の動作は、実施の形態1に係る支援画像表示プログラムの処理に相当する。
 図2から図4を参照して、実施の形態1に係る支援画像表示装置10の全体的な処理を説明する。
 図2に示す処理は、ナビゲーション装置31がPOI情報を表示装置32に表示させる際に実行される。ナビゲーション装置31は、POI情報を表示させる際、POI情報を支援画像表示装置10に送信する。
 ここでは、POI情報の対象物51は薬局であるとして説明する。図3と図4とは、図3では図3の(A)に示すように移動体100と対象物51である薬局との間に構造物53が存在しないのに対して、図4では図4の(A)に示すように構造物53である建物が存在する点が異なる。
 ステップS1の画像生成処理では、図3の(B)及び図4の(B)に示すように、画像生成部21は、POI情報の対象物51に対する基準位置61を指し示す支援画像41を生成して、メモリ121に書き込む。基準位置61は、支援画像により対象物を指し示す際に、基準となる位置である。実施の形態1では、基準位置61は、対象物51上の点である。支援画像41は、対象物51を指し示し、この対象物を説明するための画像であって、例えば、対象物51を指し示す仮想の看板のような画像がこれに相当する。
 ステップS2の可視判定処理では、可視判定部22は、移動体100から基準位置61を基準とする基準範囲62が視認できるか否かを判定する。すなわち、可視判定部22は、移動体の視点位置から観察される風景において、移動体100と対象物51との間にある構造物53が、対象物51の基準位置61を基準とする基準範囲62と重なるか否かを判定する。基準範囲62は、基準位置から予め決められた任意の範囲を示す。なお、上記任意の範囲は、基準点と同一であっても良い。すなわち、基準点と基準範囲が同じ範囲であっても良い。実施の形態1では、基準範囲62は、基準位置61を示す点である。
 ステップS3の表示制御処理では、表示制御部23は、ステップS1で生成された支援画像41をメモリ121から読み出す。そして、表示制御部23は、読み出された支援画像41を風景42に重畳させて表示装置32に表示させる。
 この際、表示制御部23は、ステップS2で基準範囲62が視認できると判定された場合には、すなわち、基準範囲62が構造物53と重ならない場合には、読み出された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させる。
 つまり、図3の(A)に示すように、移動体100と対象物51である薬局との間に構造物53が存在しない場合には、図3の(C)に示すように、読み出された支援画像41を変化させず、風景42に重畳させて表示装置32に表示させる。
 一方、表示制御部23は、ステップS2で基準範囲62が視認できないと判定された場合には、すなわち、基準範囲62が構造物53と重なる場合には、読み出された支援画像41を変化させた上で、移動体100の周囲の風景42に重畳させて表示装置32に表示させる。支援画像41の変化には、支援画像41の位置の変化、表示態様の変化が含まれるが、実施の形態1では、表示制御部23が支援画像41の指し示す位置を変化させた上で表示装置32に表示させる例について説明する。
 つまり、図4の(A)に示すように、移動体100と対象物51である薬局との間に構造物53が存在する場合には、図4の(C)に示すように、表示制御部23が、読み出された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させると、支援画像41が指し示した位置が構造物53と重なってしまい、対象物51である薬局が構造物53内に存在するように見えてしまう。
 そこで、表示制御部23は、図4の(D)に示すように、支援画像41が指し示す位置を、道路52側にずらした上で表示装置32に表示させる。これにより、構造物53の裏側に対象物51である薬局が存在することが分かり易くなる。これにより、構造物53の裏側に対象物51である薬局が存在することが分かり易くなる。
 図5を参照して、実施の形態1に係るステップS1の画像生成処理を説明する。
 ステップS11では、画像生成部21は、ステップS11でナビゲーション装置31から送信されたPOI情報を、通信インタフェース13を介して取得する。画像生成部21は、取得されたPOI情報をメモリ121に書き込む。
 POI情報は、対象物51の位置、形状を示す情報である。実施の形態1では、対象物51の形状を示す情報は、対象物51を上空から見た場合の平面形状を示すとし、対象物51の平面形状は矩形であるとする。そして、POI情報は、対象物51を上空から見た場合の左上、右上、左下、右下の4点の緯度及び経度を示す情報とする。ここでは、対象物51は薬局であるため、POI情報は、移動体100の周辺にある薬局についての4点の緯度及び経度を示す情報である。
 ステップS12では、画像生成部21は、ステップS11で取得されたPOI情報が示す対象物51を指し示す支援画像41を生成する。
 具体的には、画像生成部21は、ステップS11で取得されたPOI情報をメモリ121から読み出す。画像生成部21は、POI情報から対象物51の基準位置61を特定する。そして、画像生成部21は、特定された対象物51の基準位置61を指し示し、道路52の方に延びた支援画像41を生成する。画像生成部21は、計算された基準位置61と、生成された支援画像41とをメモリ121に書き込む。
 基準位置61を特定する方法の具体例としては、画像生成部21は、POI情報が示す4点の緯度及び経度から、4点のうち対象物51の道路52に最も近い点を特定する。画像生成部21は、道路52に最も近い点が2点ある場合には、いずれか1点を選択する。画像生成部21は、特定された点から対象物51の対角に位置する点の方に一定距離だけずらした位置を計算する。画像生成部21は、計算された位置を基準高さだけ高さ方向、すなわち、地表面から垂直方向にずらした位置を計算し、計算された位置を基準位置61とする。
 図3及び図4では、支援画像41は、矢印の形状をした画像である。そして、支援画像41は、矢印の先端の位置が基準位置61に重なり、道路52の方に延びた画像である。また、支援画像41は、対象物51の名称、種類等が示された画像である。支援画像41は、矢印の形状に限らず、吹き出しといった他の形状であってもよい。
 図6を参照して、実施の形態1に係るステップS2の可視判定処理を説明する。
 ステップS21では、可視判定部22は、移動体100の運転手の視点位置101を計算する。
 具体的には、可視判定部22は、ナビゲーション装置31から移動体100の位置を示す位置情報を取得する。そして、可視判定部22は、位置情報が示す位置から運転手の視点位置101を計算する。具体例としては、可視判定部22は、ナビゲーション装置31から得られる位置情報が示す位置に対する、運転手の視点位置101の相対的な位置を示す相対位置情報を事前にメモリ121に記憶しておく。そして、可視判定部22は、この相対位置情報を用いて視点位置101を計算する。可視判定部22は、計算された視点位置101をメモリ121に書き込む。
 ステップS22では、可視判定部22は、ステップS21で計算された視点位置101と、対象物51との間に、構造物53が存在するか否かを判定する。
 具体的には、可視判定部22は、ステップS21で計算された視点位置101とステップS11で取得されたPOI情報とをメモリ121から読み出す。図7に示すように、可視判定部22は、視点位置101と、POI情報が示す対象物51の4点のうち両端に位置する2つの点とを接続した2本の直線D1を計算する。2本の直線D1は、視点位置101から移動体100の進行方向に対する右方向を基準軸として、視点位置101と対象物51の4点それぞれとを結んだ直線のうち、基準軸との成す角θが最小になる直線と、最大になる直線とを計算することにより、計算される。そして、可視判定部22は、ナビゲーション装置31が有する地図情報を参照して、視点位置101と、計算された2本の直線と、対象物51とで囲まれた範囲に構造物53が存在するか否かを判定する。
 可視判定部22は、構造物53が存在する場合には処理をステップS23に進め、構造物53が存在しない場合には処理をステップS26に進める。
 ステップS23では、可視判定部22は、視点位置101と対象物51との間に存在する構造物53で視点位置101から見えなくなる不可視エリア54を計算する。
 具体的には、図8に示すように、可視判定部22は、視点位置101と、構造物53の両端の点とを通る2本の直線D2を計算する。ここでは、構造物53は、対象物51と同様に矩形であり、構造物53を上空から見た場合の左上、右上、左下、右下の4点の緯度及び経度が地図情報に示されているものとする。したがって、可視判定部22は、2本の直線D1と同様の方法により、2本の直線D2を計算できる。可視判定部22は、2本の直線D2の間における、構造物53の裏側のエリアを不可視エリア54として計算する。可視判定部22は、計算された不可視エリア54をメモリ121に書き込む。
 ステップS24では、可視判定部22は、ステップS23で計算された不可視エリア54に基準範囲62が入るか否かを判定する。
 具体的には、可視判定部22は、ステップS12で計算された基準位置61と、ステップS23で計算された不可視エリア54をメモリ121から読み出す。可視判定部22は、基準位置61から基準範囲62を特定する。ここでは、基準位置61が示す点が基準範囲62となる。そして、可視判定部22は、特定された基準範囲62の少なくとも一部が、読み出された不可視エリア54に入るか否かを判定する。
 可視判定部22は、入る場合には処理をステップS25に進め、入らない場合には処理をステップS26に進める。すなわち、移動体100の運転手の視点位置101から風景を観察した際に、この移動体100と対象物51との間にある構造物53が、対象物51の基準位置61を基準とする基準範囲62と重なるか否かを判定する。
 ステップS25では、可視判定部22は、支援画像41を移動させる移動量Mを計算する。
 具体的には、図9に示すように、可視判定部22は、上空から見た場合における、基準位置61と、基準位置61に対する道路52の最近点63とを接続する直線D3を計算する。可視判定部22は、計算された直線D3における基準位置61と不可視エリア54の境界点55との間の線分の長さを移動量Mとして計算する。可視判定部22は、計算された移動量Mをメモリ121に書き込む。
 ステップS26では、可視判定部22は、移動量Mとして0を設定し、メモリ121に書き込む。
 図10を参照して、実施の形態1に係るステップS3の表示制御処理を説明する。
 ステップS31では、表示制御部23は、ステップS12で生成された支援画像41と、ステップS25で計算された移動量M又はステップS26で設定された移動量Mとを、メモリ121から読み出して取得する。
 ステップS32では、表示制御部23は、ステップS31で取得された移動量Mが0であるか否かを判定する。
 表示制御部23は、移動量Mが0である場合には処理をステップS33に進め、移動量Mが0でない場合には処理をステップS34に進める。
 ステップS33では、表示制御部23は、図3の(C)に示すように、ステップS31で取得された支援画像41をそのまま、風景42に重畳させて表示装置32に表示させる。
 ステップS34では、表示制御部23は、ステップS31で取得された支援画像41を、移動量Mだけ移動体100が走行する道路52の方に移動させた上で、風景42に重畳させて表示装置32に表示させる。つまり、表示制御部23は、図4の(D)に示すように、支援画像41によって指し示された位置が移動体100から視認できる位置まで支援画像41を移動させた上で、風景42に重畳させて表示装置32に表示させる。すなわち、表示制御部23は、風景において、支援画像41によって指し示された位置が構造物53と重ならない位置まで支援画像41を移動させた上で、風景42に重畳させて表示装置32に表示させる。
 ***実施の形態1の効果***
 以上のように、実施の形態1に係る支援画像表示装置10は、支援画像41が指し示す基準位置61を基準とする基準範囲62が視認できない場合に、支援画像41を移動させた上で風景42に重畳させて表示させる。これにより、他の構造物によって運転手から見えない位置にある構造物についても、運転手に理解しやすく支援画像41を表示することが可能である。
 ***他の構成***
 <変形例1>
 実施の形態1では、基準位置61は、対象物51上の点であった。しかし、変形例1として、基準位置61は、対象物51からずれた位置にある、対象物51の近傍の点であってもよい。具体例としては、基準位置61は、対象物51よりも道路52寄りの点であってもよい。
 変形例1について、実施の形態1と異なる点を説明する。
 変形例1では、ステップS12での基準位置61を特定する方法が異なる。
 画像生成部21は、POI情報が示す4点の緯度及び経度から、4点のうち対象物51の道路52に最も近い点を特定し、特定された点から対象物51の対角に位置する点の方に一定距離だけずらした位置を計算する。画像生成部21は、計算された点から道路52の方に対象物51の外側までずらし、基準高さだけ高さ方向、すなわち、地表面から垂直方向にずらした位置を基準位置61とする。
 変形例1では、ステップS22での2本の直線D1を計算する方法が異なる。
 可視判定部22は、図11に示すように、可視判定部22は、POI情報が示す対象物51の4点に加え、基準位置61を示す点を用いる。つまり、可視判定部22は、視点位置101と、POI情報が示す対象物51の4点及び基準位置61を示す点の合計5点のうち両端に位置する2つの点とを接続した2本の直線D1を計算する。
 変形例1では、ステップS24での基準範囲62を特定する方法が異なる
 図12に示すように、基準位置61が対象物51からずれた位置にある場合には、基準範囲62は、上空から見た場合における基準位置61と対象物51との間の領域である。より具体的には、基準範囲62は、上空から見た場合における、基準位置61と、対象物51における基準位置61からの最近点とを繋いだ直線上の領域である。
 そのため、可視判定部22は、上空から見た場合における、基準位置61と、対象物51における基準位置61の最近点とを繋いだ直線を計算し、計算された直線上の領域を基準範囲62として計算する。
 変形例1では、ステップS25での移動量Mを計算する方法が異なる。
 図13に示すように、可視判定部22は、基準範囲62の対象物51側の端点64と、道路52の最近点63とを結んだ直線D3を計算する。そして、計算された直線D3における端点64と不可視エリア54の境界点55との間の線分の長さを移動量Mとして計算する。
 <変形例2>
 実施の形態1では、基準範囲62が視認できない場合に、支援画像41を道路52の方に移動させた。しかし、変形例2として、基準範囲62が視認できない場合に、対象物51の一部が運転手から視認できる場合には、支援画像41が指し示した位置が、対象物51における運転手から視認できる位置となるように、支援画像41を移動させた上で表示させてもよい。すなわち、風景において、構造物53が対象物51の一部と重ならない場合には、支援画像41が指し示した位置が、対象物51における構造物53と重ならない位置となるように、支援画像51を移動させた上で表示させてもよい。
 図14を参照して、変形例2に係るステップS2の可視判定処理を説明する。
 ステップS21からステップS26の処理は、図6のステップS21からステップS26の処理と同じである。
 ステップS27では、可視判定部22は、対象物51の一部が移動体100の運転手から視認できるか否かを判定する。
 具体的には、可視判定部22は、ステップS23で計算された不可視エリア54をメモリ121から読み出す。可視判定部22は、対象物51の一部が、読み出された不可視エリア54の外にあるか否かを判定する。
 可視判定部22は、対象物51の一部が不可視エリア54の外にある場合には、対象物51の一部が移動体100の運転手から視認できるとして、処理をステップS28に進める。一方、可視判定部22は、対象物51の一部も不可視エリア54に外にならない場合には、対象物51の全体が移動体100の運転手から視認できないとして、処理をステップS25に進める。
 ステップS28では、可視判定部22は、基準位置61に対する、不可視エリア54の外にある対象物51の領域内の点の相対的な位置を示す、距離及び方向を移動量Mとして計算する。不可視エリア54に入らない対象物51の領域内の点は、具体例としては、不可視エリア54に入らない対象物51の領域内の中心点である。
 <変形例3>
 実施の形態1では、支援画像表示装置10の各部の機能がソフトウェアで実現された。しかし、変形例3として、支援画像表示装置10の各部の機能はハードウェアで実現されてもよい。この変形例3について、実施の形態1と異なる点を説明する。
 図15を参照して、変形例3に係る支援画像表示装置10の構成を説明する。
 各部の機能がハードウェアで実現される場合、支援画像表示装置10は、プロセッサ11と記憶装置12とに代えて、処理回路15を備える。処理回路15は、支援画像表示装置10の各部の機能及び記憶装置12の機能を実現する専用の電子回路である。
 処理回路15は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)が想定される。
 各部の機能を1つの処理回路15で実現してもよいし、各部の機能を複数の処理回路15に分散させて実現してもよい。
 <変形例4>
 変形例4として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、支援画像表示装置10の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
 プロセッサ11と記憶装置12と処理回路15とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。
 <変形例5>
 実施の形態1では、支援画像表示装置10は、ナビゲーション装置31と別の装置であった。しかし、支援画像表示装置10は、ナビゲーション装置31と一体となっていてもよい。
 なお、本実施の形態において、視点位置101は、移動体100の運転手の視点位置101であるものとしたが、これに限られず、運転手以外の搭乗者の視点位置であってもよい。また、風景をカメラによって取得した映像で表示する場合には、視点位置101はカメラの視点位置でもよい。
 実施の形態2.
 実施の形態2は、支援画像41が指し示す基準位置61を基準とする基準範囲62が視認できない場合に、支援画像41の輪郭線を変化させる点が実施の形態1と異なる。実施の形態2では、この異なる点を説明する。
 ***動作の説明***
 図16から図19を参照して、実施の形態2に係る支援画像表示装置10の動作を説明する。
 実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示方法に相当する。また、実施の形態2に係る支援画像表示装置10の動作は、実施の形態2に係る支援画像表示プログラムの処理に相当する。
 図16を参照して、実施の形態2に係るステップS2の可視判定処理を説明する。
 ステップS21からステップS24の処理は、図6に示すステップS21からステップS24の処理と同じである。
 ステップS25Bでは、可視判定部22は、輪郭線を変化させる変化範囲Lを計算する。
 具体的には、図17に示すように、可視判定部22は、上空から見た場合における、基準位置61と、基準位置61に対する道路52の最近点63とを接続する直線D3を計算する。可視判定部22は、計算された直線D3における基準位置61と不可視エリア54の境界点55との間の線分の長さL1を計算する。可視判定部22は、計算された長さL1と、支援画像41の長さL2とのうち、短い方を変化範囲Lとする。可視判定部22は、計算された変化範囲Lをメモリ121に書き込む。
 ステップS26Bでは、可視判定部22は、変化範囲Lとして0を設定し、メモリ121に書き込む。
 図18を参照して、実施の形態2に係るステップ3の表示制御処理を説明する。
 ステップS33は、図10に示すステップS33の処理と同じである。
 ステップS31Bでは、表示制御部23は、ステップS12で生成された支援画像41と、ステップS25Bで計算された変化範囲L又はステップS26Bで設定された変化範囲Lとを、メモリ121から読み出して取得する。
 ステップS32Bでは、表示制御部23は、ステップS31Bで取得された変化範囲Lが0であるか否かを判定する。
 表示制御部23は、変化範囲Lが0である場合には処理をステップS33に進め、変化範囲Lが0でない場合には処理をステップS34Bに進める。
 ステップS34Bでは、表示制御部23は、ステップS31Bで取得された支援画像41のうち、先端から変化範囲Lまでの範囲の輪郭線を破線等に変更した上で、風景42に重畳させて表示装置32に表示させる。つまり、表示制御部23は、図19に示すように、支援画像41のうち、移動体100と基準範囲62との間にある構造物53と重なる部分の輪郭線を変更した上で、風景42に重畳させて表示装置32に表示させる。
 <変形例6>
 実施の形態2では、実施の形態1と同じように、支援画像表示装置10の各部の機能がソフトウェアで実現された。しかし、実施の形態1の変形例3と同じように、支援画像表示装置10の各部の機能はハードウェアで実現されてもよい。また、実施の形態1の変形例4と同じように、支援画像表示装置10は、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
 以上、本発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
 10 支援画像表示装置、11 プロセッサ、12 記憶装置、121 メモリ、122 ストレージ、13 通信インタフェース、14 ディスプレイインタフェース、15 処理回路、21 画像生成部、22 可視判定部、23 表示制御部、31 ナビゲーション装置、32 表示装置、33 測位装置、41 支援画像、42 風景、51 対象物、52 道路、53 構造物、54 不可視エリア、55 境界点、61 基準位置、62 基準範囲、63 最近点、64 端点、100 移動体。

Claims (9)

  1.  移動体の視点位置から観察される風景に含まれる対象物の基準位置を指し示す支援画像を前記風景に重畳するように表示する支援画像表示装置において、
     前記支援画像を生成する画像生成部と、
     前記風景において、前記移動体と前記対象物との間にある構造物が、前記対象物の基準位置を基準とする基準範囲と重なるか否かを判定する可視判定部と、
     前記基準範囲が前記構造物と重なる場合には、前記支援画像を変化させて表示させる表示制御部と
    を備える支援画像表示装置。
  2.  前記表示制御部は、前記基準範囲が前記構造物と重なる場合には、前記支援画像の位置を変化させた上で表示させる
    請求項1に記載の支援画像表示装置。
  3.  前記表示制御部は、前記風景において、前記支援画像によって指し示された位置が前記構造物と重ならない位置まで、前記支援画像を前記移動体が走行する道路の方に移動させた上で表示させる
    請求項2に記載の支援画像表示装置。
  4.  前記可視判定部は、前記風景において、前記構造物が前記対象物の一部と重ならないか否かを判定し、
     前記表示制御部は、前記構造物が前記対象物の一部と重ならない場合には、前記支援画像によって指し示された位置が前記対象物における前記構造物と重ならない位置となるように、前記支援画像を移動させた上で表示させる
    請求項2に記載の支援画像表示装置。
  5.  前記表示制御部は、前記基準範囲が前記構造物と重なる場合には、前記支援画像の輪郭線を変化させた上で表示させる
    請求項1に記載の支援画像表示装置。
  6.  前記表示制御部は、前記支援画像のうち、前記風景において、前記構造物と重なる部分の輪郭線を変更した上で表示させる
    請求項5に記載の支援画像表示装置。
  7.  前記基準範囲は、前記基準位置が前記対象物上にある場合には、前記基準位置を示す点であり、前記基準位置が前記対象物からずれた位置にある場合には、前記基準位置と前記対象物との間の領域である
    請求項1から6までのいずれか1項に記載の支援画像表示装置。
  8.  移動体の視点位置から観察される風景に含まれる対象物の基準位置を指し示す支援画像を前記風景に重畳するように表示する支援画像表示方法において、
     プロセッサが、前記支援画像を生成し、
     プロセッサが、前記風景において、前記移動体と前記対象物との間にある構造物が、前記対象物の基準位置を基準とする基準範囲と重なるか否かを判定し、
     プロセッサが、前記基準範囲が前記構造物と重なる場合には、前記支援画像を変化させて表示させる支援画像表示方法。
  9.  移動体の視点位置から観察される風景に含まれる対象物の基準位置を指し示す支援画像を前記風景に重畳するように表示する支援画像表示プログラムにおいて、
     前記支援画像を生成する画像生成処理と、
     前記風景において、前記移動体と前記対象物との間にある構造物が、前記対象物の基準位置を基準とする基準範囲と重なるか否かを判定する可視判定処理と、
     前記基準範囲が前記構造物と重なる場合には、前記支援画像を変化させて表示させる表示制御処理と
    をコンピュータに実行させる支援画像表示プログラム。
PCT/JP2016/059481 2016-03-24 2016-03-24 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム WO2017163385A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2016/059481 WO2017163385A1 (ja) 2016-03-24 2016-03-24 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
US16/074,912 US20190043235A1 (en) 2016-03-24 2016-03-24 Support image display apparatus, support image display method, and computer readable medium
JP2017558561A JP6342089B2 (ja) 2016-03-24 2016-03-24 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
CN201680083676.9A CN108885845B (zh) 2016-03-24 2016-03-24 辅助图像显示装置、辅助图像显示方法和计算机可读的记录介质
DE112016006449.7T DE112016006449B4 (de) 2016-03-24 2016-03-24 Unterstützungsbild-Anzeigevorrichtung, Unterstützungsbild-Anzeigeverfahren und Unterstützungsbild-Anzeigeprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059481 WO2017163385A1 (ja) 2016-03-24 2016-03-24 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2017163385A1 true WO2017163385A1 (ja) 2017-09-28

Family

ID=59900055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059481 WO2017163385A1 (ja) 2016-03-24 2016-03-24 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム

Country Status (5)

Country Link
US (1) US20190043235A1 (ja)
JP (1) JP6342089B2 (ja)
CN (1) CN108885845B (ja)
DE (1) DE112016006449B4 (ja)
WO (1) WO2017163385A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2014089138A (ja) * 2012-10-31 2014-05-15 Aisin Aw Co Ltd 位置案内システム、方法およびプログラム
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3474053B2 (ja) 1996-04-16 2003-12-08 株式会社日立製作所 ナビゲーション装置の地図表示方法およびナビゲーション装置
US6169552B1 (en) * 1996-04-16 2001-01-02 Xanavi Informatics Corporation Map display device, navigation device and map display method
JP3798469B2 (ja) * 1996-04-26 2006-07-19 パイオニア株式会社 ナビゲーション装置
US6142871A (en) * 1996-07-31 2000-11-07 Konami Co., Ltd. Apparatus, method and recorded programmed medium for simulating driving using mirrors displayed in a game space
JPH10253380A (ja) * 1997-03-14 1998-09-25 Hitachi Ltd 三次元地図表示装置
JP4476719B2 (ja) * 2004-07-02 2010-06-09 よこはまティーエルオー株式会社 ナビゲーションシステム
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP2010230551A (ja) * 2009-03-27 2010-10-14 Sony Corp ナビゲーション装置及びナビゲーション方法
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
JP2012133699A (ja) * 2010-12-24 2012-07-12 Software Factory:Kk 車両用運転支援装置
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
EP2717238B1 (en) * 2011-06-02 2016-11-09 Toyota Jidosha Kabushiki Kaisha Vehicular field of view assistance device
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置
JP5893054B2 (ja) * 2012-01-17 2016-03-23 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP5492962B2 (ja) * 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
CN103105174B (zh) * 2013-01-29 2016-06-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法
JP6236954B2 (ja) * 2013-07-23 2017-11-29 アイシン・エィ・ダブリュ株式会社 運転支援システム、方法およびプログラム
CN104575091A (zh) * 2013-10-18 2015-04-29 西安造新电子信息科技有限公司 停车场引导系统
KR20150087619A (ko) * 2014-01-22 2015-07-30 한국전자통신연구원 증강 현실 기반의 차로 변경 안내 장치 및 방법
JP6396672B2 (ja) * 2014-04-23 2018-09-26 クラリオン株式会社 情報表示装置及び情報表示方法
JP6149824B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
CN104359487B (zh) * 2014-11-13 2017-06-23 沈阳美行科技有限公司 一种实景导航系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2014089138A (ja) * 2012-10-31 2014-05-15 Aisin Aw Co Ltd 位置案内システム、方法およびプログラム
JP2015152467A (ja) * 2014-02-17 2015-08-24 パイオニア株式会社 表示制御装置、制御方法、プログラム、及び記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019095213A (ja) * 2017-11-17 2019-06-20 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置及びコンピュータプログラム
US11535155B2 (en) 2017-11-17 2022-12-27 Aisin Corporation Superimposed-image display device and computer program

Also Published As

Publication number Publication date
CN108885845B (zh) 2021-02-26
DE112016006449B4 (de) 2020-11-05
CN108885845A (zh) 2018-11-23
JPWO2017163385A1 (ja) 2018-04-12
JP6342089B2 (ja) 2018-06-13
DE112016006449T5 (de) 2018-11-29
US20190043235A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
RU2677999C1 (ru) Устройство отображения транспортного средства
US7920966B2 (en) Navigation apparatuses, methods, and programs
JP6521081B2 (ja) 車両用表示装置
KR20110038021A (ko) 교차로 뷰 디스플레이 장치 및 방법
JP2009171537A (ja) 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
JP2009020089A (ja) ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2015000629A (ja) 車載表示装置およびプログラム
US20200135021A1 (en) Recommended driving output device, recommended driving output method and recommended driving output system
JP6186905B2 (ja) 車載表示装置およびプログラム
JP5881566B2 (ja) ナビゲーション装置およびナビゲーション情報の表示制御方法
JP6342089B2 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
JPWO2017179206A1 (ja) 駐車支援用表示制御装置および駐車支援用表示制御方法
JP6328366B2 (ja) ヘッドアップディスプレイの表示制御装置および表示制御方法
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP6214798B1 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
JP2004333155A (ja) 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP7476568B2 (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
JP2009019970A (ja) ナビゲーション装置
JP6444514B2 (ja) 表示制御装置、表示装置および経路案内方法
JP6432312B2 (ja) ナビゲーションシステム、ナビゲーション方法、及びナビゲーションプログラム
JP2018205115A (ja) 表示制御装置、ヘッドアップディスプレイ及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017558561

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16895421

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16895421

Country of ref document: EP

Kind code of ref document: A1