WO2017199347A1 - 画像表示装置、画像表示方法及び画像表示プログラム - Google Patents

画像表示装置、画像表示方法及び画像表示プログラム Download PDF

Info

Publication number
WO2017199347A1
WO2017199347A1 PCT/JP2016/064648 JP2016064648W WO2017199347A1 WO 2017199347 A1 WO2017199347 A1 WO 2017199347A1 JP 2016064648 W JP2016064648 W JP 2016064648W WO 2017199347 A1 WO2017199347 A1 WO 2017199347A1
Authority
WO
WIPO (PCT)
Prior art keywords
image display
target
importance
image
display device
Prior art date
Application number
PCT/JP2016/064648
Other languages
English (en)
French (fr)
Inventor
義広 都丸
長谷川　雄史
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018517978A priority Critical patent/JP6385621B2/ja
Priority to CN201680085372.6A priority patent/CN109073403A/zh
Priority to DE112016006725.9T priority patent/DE112016006725T5/de
Priority to PCT/JP2016/064648 priority patent/WO2017199347A1/ja
Priority to US16/088,514 priority patent/US20190102948A1/en
Publication of WO2017199347A1 publication Critical patent/WO2017199347A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Definitions

  • the present invention relates to a technique for displaying an object around a moving body by superimposing it on a landscape around the moving body.
  • Patent Document 1 two depths of a landscape and a CG content to be superimposed are compared.
  • the content of the corresponding part is hidden, and when it is determined that the CG content is on the near side of the landscape, the corresponding part is displayed. Display content.
  • the shielding relationship between the landscape and the content is made to coincide with the reality, thereby enhancing the sense of reality.
  • Patent Document 2 peripheral objects such as a forward vehicle obtained by an in-vehicle sensor are also displayed in the same manner as in Patent Document 1.
  • CG contents are displayed in accordance with the actual positional relationship. For this reason, it may be difficult to see CG content representing information that the driver wants to see, such as a destination mark and a gas station mark, and information that the driver should see, such as obstacles on the road and vehicles ahead. As a result, the driver may miss this information.
  • An object of the present invention is to make necessary information easy to see while maintaining a sense of reality.
  • An image display apparatus is An information acquisition unit for acquiring information on objects around the moving body; When the importance of the object acquired by the information acquisition unit is higher than a threshold value, a shielding determination unit that determines that the object cannot be shielded; A display control unit that displays the image data indicating the target object superimposed on the scenery around the moving object, regardless of the position of the target object, for the target object determined to be unshieldable by the shielding determination unit.
  • FIG. 1 is a configuration diagram of an image display device 10 according to Embodiment 1.
  • FIG. 3 is a flowchart showing overall processing of the image display apparatus 10 according to the first embodiment.
  • FIG. 3 is a diagram showing a situation around the moving object 100 according to the first embodiment.
  • FIG. 4 shows an image in front of the moving body 100 according to the first embodiment.
  • FIG. 4 is a diagram showing a depth map according to the first embodiment.
  • 5 is a flowchart showing normalization processing in step S3 according to the first embodiment.
  • FIG. 5 shows objects around the moving body 100 according to the first embodiment.
  • 6 is a flowchart showing navigation data acquisition processing in step S4 according to the first embodiment.
  • 7 is a flowchart showing model generation processing in step S6 according to the first embodiment.
  • FIG. 3 is an explanatory diagram of a 3D model corresponding to peripheral data according to Embodiment 1.
  • FIG. FIG. 3 is a diagram showing a 3D model corresponding to an object around the moving body 100 according to the first embodiment.
  • 5 is a flowchart showing a shielding determination process in step S8 according to the first embodiment.
  • 7 is a flowchart showing model drawing processing in step S9 according to the first embodiment.
  • FIG. 9 is a configuration diagram of an image display device 10 according to a first modification.
  • the flowchart which shows the shielding determination process of step S8 which concerns on Embodiment 2.
  • FIG. The figure which shows the image in step S95 completion
  • FIG. The figure which shows the image in step S98 completion
  • FIG. Explanatory drawing when the destination which concerns on Embodiment 2 is near.
  • FIG. 6 is a configuration diagram of an image display device 10 according to a third embodiment.
  • 10 is a flowchart showing overall processing of the image display apparatus 10 according to the third embodiment.
  • FIG. 10 is a flowchart showing a shielding determination process in step S8C according to the third embodiment.
  • FIG. The figure which shows the image in step S98 completion
  • FIG. 1 shows a state where the image display device 10 is mounted on the moving body 100.
  • the moving body 100 is a vehicle, a ship, or a pedestrian.
  • the moving body 100 is a vehicle.
  • the image display device 10 is a computer mounted on the moving body 100.
  • the image display device 10 includes hardware of a processor 11, a memory 12, a storage 13, an image interface 14, a communication interface 15, and a display interface 16.
  • the processor 11 is connected to other hardware via the system bus and controls these other hardware.
  • the processor 11 is an IC (Integrated Circuit) that performs processing. Specific examples of the processor 11 are a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a GPU (Graphics Processing Unit).
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • GPU Graphics Processing Unit
  • the memory 12 is a work area in which data, information, and programs are temporarily stored by the processor 11.
  • the memory 12 is a RAM (Random Access Memory) as a specific example.
  • the storage 13 is, as a specific example, a ROM (Read Only Memory), a flash memory, or an HDD (Hard Disk Drive).
  • the storage 13 may be a portable storage medium such as an SD (Secure Digital) memory card, a CF (Compact Flash), a NAND flash, a flexible disk, an optical disk, a compact disk, a Blu-ray (registered trademark) disk, or a DVD.
  • SD Secure Digital
  • CF Compact Flash
  • NAND flash NAND flash
  • the image interface 14 is a device for connecting the imaging device 31 mounted on the moving body 100.
  • the image interface 14 is, as a specific example, a USB (Universal Serial Bus) or HDMI (registered trademark, High-Definition Multimedia Interface) terminal.
  • the moving body 100 is equipped with a plurality of imaging devices 31 that capture images around the moving body 100. In the first embodiment, two imaging devices 31 that capture an image in front of the moving body 100 are mounted in front of the moving body 100 at a distance of several tens of centimeters.
  • the imaging device 31 is a digital camera as a specific example.
  • the communication interface 15 is a device for connecting an ECU 32 (Electronic Control Unit) mounted on the moving body 100.
  • the communication interface 15 is a terminal of Ethernet, CAN (Controller Area Network), RS232C, USB, or IEEE1394.
  • the ECU 32 is a device that acquires information on objects around the moving body 100 detected by sensors such as a laser sensor, a millimeter wave radar, and a sonar mounted on the moving body 100.
  • the ECU 32 is a device that acquires information detected by sensors such as a GPS (Global Positioning System) sensor, an orientation sensor, a speed sensor, an acceleration sensor, and a geomagnetic sensor mounted on the moving body 100.
  • GPS Global Positioning System
  • the display interface 16 is a device for connecting a display 33 mounted on the moving body 100.
  • the display interface 16 is, as a specific example, a terminal of DVI (Digital Visual Interface), D-SUB (D-SUBminiature), or HDMI (registered trademark).
  • the display 33 is a device that displays the CG content superimposed on the scenery around the moving body 100.
  • the display 33 is an LCD (Liquid Crystal Display) or a head-up display.
  • the landscape here is one of an image acquired by a camera, a three-dimensional map created by computer graphics, and a real thing that can be seen through a head-up display or the like. In the first embodiment, the landscape is an image in front of the moving body 100 acquired by the imaging device 31.
  • the image display device 10 includes, as functional components, a depth map generation unit 21, a depth normalization unit 22, a target information acquisition unit 23, a model generation unit 24, a situation acquisition unit 25, a shielding determination unit 26, A display control unit 27.
  • the functions of the depth map generation unit 21, depth normalization unit 22, target information acquisition unit 23, model generation unit 24, situation acquisition unit 25, shielding determination unit 26, and display control unit 27 are as follows. Realized by software.
  • the storage 13 stores a program that realizes the function of each unit. This program is read into the memory 12 by the processor 11 and executed by the processor 11.
  • navigation data 41 and drawing parameters 42 are stored.
  • the navigation data 41 is data for guiding a navigation target object such as a gas station or a pharmacy.
  • the drawing parameters 42 are the closest surface distance that is the front limit distance of the drawing range in graphics, the farthest surface distance that is the back limit distance, the horizontal viewing angle of the image pickup device 31, and the image pickup by the image pickup device 31. This is data indicating the aspect ratio (horizontal / vertical) of the recorded image.
  • Information, data, signal values, and variable values indicating the processing results of the functions of the respective units of the image display device 10 are stored in the memory 12 or a register or cache memory in the processor 11. In the following description, it is assumed that information, data, signal values, and variable values indicating the processing results of the functions of the respective units of the image display device 10 are stored in the memory 12.
  • FIG. 1 only one processor 11 is shown. However, a plurality of processors 11 may be provided, and a plurality of processors 11 may execute programs that realize each function in cooperation with each other.
  • the operation of the image display apparatus 10 according to the first embodiment will be described with reference to FIGS.
  • the operation of the image display device 10 according to the first embodiment corresponds to the image display method according to the first embodiment.
  • the operation of the image display device 10 according to the first embodiment corresponds to the processing of the image display program according to the first embodiment.
  • Step S1 Image acquisition processing in FIG. 2
  • the depth map generation unit 21 acquires an image ahead of the moving body 100 captured by the imaging device 31 via the image interface 14.
  • the depth map generation unit 21 writes the acquired image in the memory 12.
  • two digital cameras are mounted as the imaging device 31 at a distance of several tens of centimeters in front of the moving body 100.
  • FIG. 3 it is assumed that there are surrounding vehicles L, M, and N in front of the moving body 100 and a plurality of buildings on the side of the road.
  • an image obtained by capturing the front of the moving body 100 with a stereo camera is obtained.
  • the imageable distance indicating the range imaged by the imaging device 31 is the maximum distance that can be taken in the optical axis direction of the imaging device 31, as shown in FIG.
  • the depth map generation unit 21 generates a depth map indicating the distance from the imaging device 31 to the subject for each pixel of the image acquired in step S1.
  • the depth map generation unit 21 writes the generated depth map in the memory 12.
  • the depth map generation unit 21 generates a depth map by a stereo method. Specifically, the depth map generation unit 21 finds a pixel in which the same object is captured in images taken by two cameras, and obtains the distance between the pixels found by triangulation.
  • the depth map generation unit 21 generates a depth map by calculating distances for all pixels.
  • the depth map generated from the image shown in FIG. 4 is as shown in FIG. 5, and each pixel indicates the distance from the camera to the subject. In FIG. 5, the closer to the camera, the smaller the value, and the farther the value, the larger the value. Therefore, the front side is expressed by high density hatching, and the back side is expressed by low density hatching.
  • Step S3 in FIG. 2 normalization process
  • the depth normalization unit 22 draws the calculated distance in the real world, which is the distance of the depth map generated in step S ⁇ b> 2, using 3D (Dimensional) graphics using the drawing parameter 42 stored in the storage 13. Convert to distance. Thereby, the depth normalization part 22 produces
  • the depth normalization unit 22 writes the normalized depth map in the memory 12.
  • step S31 the depth normalization unit 22 acquires the drawing parameter 42 and specifies the nearest surface distance and the farthest surface distance.
  • step S32 the depth normalization part 22 performs the process of step S32 to step S36 by making each pixel of the depth map produced
  • step S ⁇ b> 32 the depth normalization unit 22 divides the value obtained by subtracting the nearest surface distance from the distance of the target pixel by the value obtained by subtracting the nearest surface distance from the farthest surface distance to obtain a normalized distance for the target pixel.
  • the depth normalization unit 22 sets the distance for the target pixel to 0 when the normalized distance calculated in step S32 is smaller than 0, and the normalization calculated in step S32 If the distance after conversion is greater than 1, the distance for the target pixel is set to 1, and in other cases, the distance for the target pixel is set to the distance calculated in step S32. Thereby, the depth normalization unit 22 represents the distance about the target pixel as an internal ratio with respect to the nearest surface distance and the farthest surface distance, and converts the distance into a value obtained by linear interpolation in the range of 0 to 1.
  • Step S4 in FIG. 2 navigation data acquisition process
  • the target information acquisition unit 23 reads and acquires the navigation data 41 that is stored in the storage 13 and is information about the target that exists in the vicinity of the moving body 100.
  • the target information acquisition unit 23 converts the position of the acquired navigation data 41 from the earth coordinate system, which is an absolute coordinate system, to a relative coordinate system based on the imaging device 31.
  • the target information acquisition unit 23 writes the acquired navigation data 41 in the memory 12 together with the converted position.
  • FIG. 3 for example, as shown in FIG. 7, navigation data 41 for the destination and the gas station is acquired.
  • the gas station is at a location within the imageable distance of the imaging device 31, and the destination is at a location separated from the imaging device 31 by more than the imageable distance.
  • the navigation data 41 includes the positions of the four end points of the display area of the 3D model for the object expressed in the earth coordinate system.
  • the Earth coordinate system is an X-axis in the longitude direction, a Z-axis in the latitude direction, and a Y-axis in the elevation direction in the Mercator projection.
  • the origin is the Greenwich Observatory, and the unit is a metric coordinate system.
  • the relative coordinate system has an X-axis in the right direction of the image pickup device 31, a Z-axis in the optical axis direction, a Y-axis in the upward direction, and the origin is the position of the image pickup device 31. It is.
  • the target information acquisition unit 23 acquires the position of the imaging device 31 in the earth coordinate system and the optical axis direction of the imaging device 31 in the earth coordinate system via the communication interface 15 from the ECU 32.
  • the position and optical axis direction of the imaging device 31 in the earth coordinate system can be specified by a dead reckoning method using a sensor such as a GPS sensor, a direction sensor, an acceleration sensor, or a geomagnetic sensor.
  • the position of the imaging device 31 in the earth coordinate system can be acquired as the X value (CarX), the Y value (CarY), and the Z value (CarZ) of the earth coordinate system.
  • the optical axis direction in the earth coordinate system of the imaging device 31 can be acquired as a 3 ⁇ 3 rotation matrix for conversion from the earth coordinate system to the relative coordinate system.
  • step S ⁇ b> 42 the target information acquisition unit 23 acquires navigation data 41 about the target existing around the moving body 100. Specifically, the target information acquisition unit 23 collects the navigation data 41 about the target existing within a radius of several hundred meters at the position acquired in step S41. More specifically, only the navigation data 41 satisfying the relationship “(NaviX ⁇ CarX) 2 + (NaviZ ⁇ CarZ) 2 ⁇ R 2 ” between the location of the navigation data 41 in the earth coordinate system and the acquisition radius is collected. That's fine.
  • NaviX and NaviZ are the X value and Z value of the position of the navigation data in the earth coordinate system
  • R is the acquisition radius.
  • the acquisition radius R is arbitrarily set.
  • the target information acquisition unit 23 executes step S43 using each navigation data 41 acquired in step S42 as target data.
  • step S43 the target information acquisition unit 23 converts the position of the navigation data 41 in the earth coordinate system to the position in the relative coordinate system by calculating Formula 1.
  • NaviY is the Y value of the position of the navigation data 41 in the earth coordinate system.
  • Mat CarR is a rotation matrix indicating the optical axis direction in the earth coordinate system of the imaging device 31 acquired in step S41.
  • NaviX_rel, NaviY_rel, and NaviZ_rel are the X value, Y value, and Z value of the position of the navigation data 41 in the relative coordinate system.
  • Step S5 in FIG. 2 peripheral data acquisition process
  • the target information acquisition unit 23 acquires peripheral data, which is information about a target existing around the mobile body 100, from the ECU 32 via the communication interface 15.
  • the target information acquisition unit 23 writes the acquired peripheral data in the memory 12.
  • the peripheral data is sensor data obtained by recognizing an object using sensor values detected by a sensor such as a laser sensor, millimeter wave radar, or sonar.
  • the peripheral data indicates the size indicating the height and width, the position in the relative coordinate system, the moving speed, and the type such as a car, a person, and a building.
  • peripheral data about the objects of the peripheral vehicles ML are acquired.
  • the position indicated by the peripheral data is the center position of the lower side of the surface of the object on the moving body 100 side.
  • Step S6 in FIG. 2 model generation process
  • the model generation unit 24 reads the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5 from the memory 12, and generates a 3D model for the read navigation data 41 and the peripheral data.
  • the model generation unit 24 writes the generated 3D model in the memory 12.
  • the 3D model is a plate-like CG content representing the navigation data 41.
  • the 3D model is a frame-like CG content surrounding the periphery of the surface of the object on the moving body 100 side. It is.
  • step S61 the model generation unit 24 reads the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5 from the memory 12. The model generation unit 24 executes the processing from step S62 to step S65 using the read navigation data 41 and peripheral data as target data.
  • step S62 the model generation unit 24 determines whether the target data is peripheral data or navigation data 41. If the target data is peripheral data, in step S63, the model generation unit 24 uses the position of the target object and the width and height of the target object included in the peripheral data, as shown in FIG. Vertex rows P [0] to P [9] indicating a set of triangles constituting a frame surrounding the periphery of the surface on the moving body 100 side are set.
  • the vertex P [0] and the vertex P [8], and the vertex P [1] and the vertex P [9] indicate the same position.
  • the thickness of the frame specified by the distance between the vertex P [0] and the vertex P [1] is arbitrarily set.
  • the Z value that is the value in the front-rear direction is set to the Z value of the position of the object.
  • step S65 the model generation unit 24 sets texture coordinates for mapping the texture representing the navigation data 41 in the range surrounded by the vertex rows P [0] to P [3].
  • this represents mapping the entire given texture as texture coordinates corresponding to the upper left, upper right, lower left, and lower right of the range surrounded by the vertex rows P [0] to P [3] (0 , 0), (1, 0), (0, 1), (1, 1) are set.
  • a 3D model of model A and model B is generated for the navigation data 41 for the destination and the gas station.
  • 3D models of models C to E are generated for the peripheral data for the peripheral vehicles ML.
  • Step S7 in FIG. 2 status acquisition process
  • the situation acquisition unit 25 acquires information related to the driving situation of the moving body 100 from the ECU 32 via the communication interface 15.
  • the situation acquisition unit 25 uses the relative distance, which is the distance from the moving body 100 to the object corresponding to the peripheral data acquired in step S5, and the peripheral acquired in step S5 as information about the situation.
  • the relative speed that is the speed at which the object corresponding to the data approaches the moving body 100 is acquired.
  • the relative distance can be calculated from the position of the moving body 100 and the position of the object.
  • the relative speed can be calculated from a change in the relative position between the moving body 100 and the object.
  • Step S8 in FIG. 2 shielding determination process
  • the occlusion determination unit 26 determines whether the importance of the object is higher than a threshold for the object corresponding to the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5. Then, it is determined whether or not the object is occluded. When the importance level is higher than the threshold value, the occlusion determination unit 26 determines that the object cannot be occluded in order to preferentially display the 3D model. Otherwise, the occlusion determination unit 26 performs 3D according to reality. In order to display the model, it is determined that the object is occluded.
  • step S81 the shielding determination unit 26 reads from the memory 12 the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5.
  • the model generation unit 24 executes the processing from step S82 to step S87 using the read navigation data 41 and peripheral data as target data.
  • step S82 the model generation unit 24 determines whether the target data is the navigation data 41 or the peripheral data.
  • step S83 when the target data is peripheral data, the shielding determination unit 26 determines whether the type of the target corresponding to the target data is a vehicle. When the type of the object is a vehicle, the shielding determination unit 26 calculates the importance from the relative speed and the relative distance acquired in step S7 in step S84. In step S85 to step S87, the shielding determination unit 26 sets that shielding is impossible when the importance level is higher than the threshold value, and otherwise sets shielding possible. On the other hand, when the target data is the navigation data 41 and when the target type is not a vehicle, the shielding determination unit 26 sets the shielding possible.
  • step S84 the shielding determination unit 26 calculates the importance so that the higher the relative distance is, the higher the relative speed is. For this reason, the degree of importance increases as the possibility that the moving body 100 and the vehicle that is the target collide with each other increases.
  • the shielding determination unit 26 calculates the importance according to Equation 2.
  • C vehicle is the importance.
  • Len is a relative distance from the moving body 100 to the object.
  • k safelen is a predetermined safety distance coefficient.
  • w len is a predetermined distance cost coefficient.
  • Spd is a relative speed, and takes a positive value in a direction in which the object approaches the moving body 100 and takes a negative value in a direction away from the object.
  • w spd is a predetermined relative velocity cost coefficient.
  • Step S9 in FIG. 2 model drawing process
  • the display control unit 27 reads the image acquired in step S1 from the memory 12, renders the 3D model generated in step S6 on the read image, and generates a display image. Then, the display control unit 27 transmits the generated display image to the display 33 via the display interface 16 and causes the display 33 to display the display image. At this time, the display control unit 27 renders a 3D model, which is image data indicating the target object, to an image, regardless of the position of the target object, which is determined to be non-blockable by the blocking determination unit 26.
  • the display control unit 27 determines whether or not to render a 3D model, which is image data indicating the object, for the object determined to be occluded by the occlusion determination unit 26 according to the position of the object. To do.
  • the display control unit 27 is behind the other object for the object that is determined to be occluded, and is not rendered when the object is occluded by the other object, but before the other object, Render if it is not occluded by the object.
  • the display control unit 27 renders only the part that is not shielded.
  • step S ⁇ b> 91 the display control unit 27 reads an image from the memory 12.
  • the image shown in FIG. 4 is read.
  • step S ⁇ b> 92 the display control unit 27 calculates a projection matrix that is a transformation matrix for projecting the 3D space onto the two-dimensional image space using the drawing parameter 42.
  • the display control unit 27 calculates a projection matrix according to Equation 3.
  • Mat proj is a projection matrix.
  • Aspect is the aspect ratio of the image.
  • Z near is the nearest surface distance.
  • Z far is the farthest surface distance.
  • step S93 the display control unit 27 collects the 3D model generated in step S6 for the object determined to be occluded. Then, the display control unit 27 executes the processing from step S94 to step S95 using each collected 3D model as a target model.
  • step S94 the display control unit 27 validates the depth test and executes the depth test. In the depth test, the distance after projective transformation of the target model is compared with the distance in the normalized depth map generated in step S2 in units of pixels, and the target model is projectively transformed rather than the distance in the depth map. This is a process for identifying pixels that are close to each other.
  • the depth test is a function supported by a GPU or the like, and can be used by using OpenGL or DirectX which is a graphics library.
  • the target model is projectively transformed by equation (4).
  • PicX and PicY are the X value and the Y value of the pixel of the writing destination.
  • width and height are the width and height of the image.
  • ModelX, ModelY, and ModelZ are the X value, Y value, and Z value of the vertex coordinates constituting the target model.
  • the display control unit 27 converts the target model according to Equation 4 and renders the pixel specified by the depth test in the image read out in step S91 by coloring it with the color of the target model. To do.
  • step S96 the display control unit 27 collects the 3D model generated in step S6 for the object that is determined not to be shielded. Then, the display control unit 27 executes the processing from step S97 to step S98 using each collected 3D model as a target model.
  • step S97 the display control unit 27 invalidates the depth test and does not execute the depth test.
  • step S98 the display control unit 27 converts the target model according to Equation 4, and then renders all pixels indicated by the target model in the image read out in step S91 by coloring them with the color of the target model. To do.
  • the destination vehicle, the gas station, and the surrounding vehicles M to L which are objects, are determined to be non-shieldable for the surrounding vehicle L, and are determined to be shieldable for the remaining objects. That is, the 3D models A, B, C, and E can be shielded, and the 3D model D cannot be shielded.
  • the process of step S95 ends, the 3D models A, B, C, and E are rendered as shown in FIG.
  • the 3D models A and B are not rendered because they are behind the building and shielded by the building.
  • the process of step S98 ends, the 3D model D is rendered as shown in FIG.
  • the 3D model D is after the 3D model E, it is not occluded, so that the entire 3D model D is rendered regardless of the position.
  • Embodiment 1 switches the presence / absence of shielding according to the importance of the object. Thereby, it is possible to make necessary information easy to see while maintaining a sense of reality. That is, since the image display apparatus 10 according to Embodiment 1 displays a highly important object superimposed on the landscape regardless of the position of the object, necessary information is easy to see. On the other hand, for an object that is not highly important, it is determined whether or not to display the object in accordance with the position of the object, so that a sense of reality is maintained.
  • the image display device 10 according to Embodiment 1 has a relative distance that is a distance from the moving body 100 to the target object and a speed at which the target object approaches the moving body 100 when the target object is a moving object. The importance is calculated from a certain relative speed. As a result, a moving object with a high risk of colliding with the moving object 100 is displayed in a state where it is difficult to be overlooked.
  • each unit of the image display apparatus 10 is realized by software.
  • the function of each unit of the image display apparatus 10 may be realized by hardware. The first modification will be described with respect to differences from the first embodiment.
  • the image display device 10 When the function of each unit is realized by hardware, the image display device 10 includes a processing circuit 17 instead of the processor 11, the memory 12, and the storage 13.
  • the processing circuit 17 is a dedicated electronic circuit that realizes the functions of each unit of the image display device 10 and the functions of the memory 12 and the storage 13.
  • the processing circuit 17 is assumed to be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA (Gate Array), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). Is done.
  • the function of each part may be realized by one processing circuit 17, or the function of each part may be distributed to a plurality of processing circuits 17.
  • ⁇ Modification 2> As a second modification, some functions may be realized by hardware, and other functions may be realized by software. In other words, some of the functions of the image display device 10 may be realized by hardware, and other functions may be realized by software.
  • the processor 11, the memory 12, the storage 13, and the processing circuit 17 are collectively referred to as “processing circuitries”. That is, the function of each part is realized by a processing circuit.
  • Embodiment 2 is different from the first embodiment in that, when a landmark such as a destination is close, the landmark is displayed without shielding. In the second embodiment, this different point will be described. In the second embodiment, as a specific example, a case will be described in which whether or not shielding is determined only for an object whose type is a destination is described. However, not only the destination but also other landmarks designated by the driver or the like may be subject to the determination of whether or not shielding is possible.
  • the operation of the image display apparatus 10 according to the second embodiment will be described with reference to FIGS. 2, 12, 14, and 18 to 20.
  • the operation of the image display device 10 according to the second embodiment corresponds to the image display method according to the second embodiment.
  • the operation of the image display device 10 according to the second embodiment corresponds to the processing of the image display program according to the second embodiment.
  • the operation of the image display device 10 according to the second embodiment is different from the operation of the image display device 10 according to the first embodiment in the situation acquisition process in step 7 in FIG. 2 and the shielding determination process in step S8.
  • Step S7 in FIG. 2 status acquisition process
  • the situation acquisition unit 25 acquires a relative distance, which is a distance from the moving body 100 to the destination, as information regarding the driving situation.
  • Step S8 in FIG. 2 shielding determination process
  • the occlusion determination unit 26 determines the importance of the object from the threshold value for the object corresponding to the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5. Whether or not the object is occluded is determined according to whether or not it is high. However, the importance calculation method is different from that of the first embodiment.
  • step S83B when the target data is the navigation data 41, the shielding determination unit 26 determines whether or not the type of the target corresponding to the target data is the destination. When the type of the object is the destination, the shielding determination unit 26 calculates the importance from the relative distance acquired in step S7 in step S84B.
  • the shielding determination unit 26 calculates the importance so that the higher the relative distance is, the higher the importance is.
  • the shielding determination unit 26 calculates the importance according to Equation 5.
  • C DestLen is importance.
  • DestPos is the position of the imaging device 31 in the earth coordinate system.
  • CamPos is the position of the destination in the earth coordinate system.
  • CapMaxLen is an imageable distance.
  • C thres is a value larger than the threshold value.
  • C DestLen is C thres when the distance DestLen between the imaging device 31 and the destination is longer than the imageable distance, and is 0 when the distance is short. That is, the importance C DestLen calculated by Equation 5 is greater than the threshold if the distance DestLen between the imaging device 31 and the destination is longer than the imageable distance, and is less than or equal to the threshold if shorter.
  • FIG. 12 it is assumed that the destination, which is the target, the gas station, and the surrounding vehicles ML, is determined not to be shielded, and the remaining objects are determined to be shieldable. That is, the 3D models B, C, D, and E can be shielded, and the 3D model A cannot be shielded.
  • 3D models B, C, D, and E are rendered as shown in FIG. 19 when the process of step S95 in FIG. 14 is completed.
  • the 3D model B is not rendered because it is behind the building and shielded by the building.
  • the process of step S98 in FIG. 14 is completed, the 3D model A is rendered as shown in FIG. Although the 3D model A is behind the building, it is rendered regardless of the position because it cannot be shielded.
  • the image display apparatus 10 calculates the importance from the distance from the moving body 100 to the object when the object is a landmark such as a destination. As a result, when the destination is far away, a 3D model representing the destination is displayed even if the destination is shielded by a building or the like, so that the direction of the destination can be easily grasped.
  • the 3D model A corresponding to the destination is determined to be concealable.
  • the 3D model A is displayed in a state where a part thereof is concealed by the building C in front.
  • Embodiment 3 FIG.
  • the third embodiment is different from the first and second embodiments in that an object in a direction that the driver is not looking at is displayed without shielding. In the third embodiment, this different point will be described.
  • the image display apparatus 10 according to the third embodiment is different from the image display apparatus 10 shown in FIG. 1 in that it does not include the situation acquisition unit 25 and includes a line-of-sight specifying unit 28 as functional components.
  • the line-of-sight specifying unit 28 is realized by software in the same manner as other functional components.
  • the image display device 10 according to the third embodiment includes the two imaging devices 31 ⁇ / b> A in the front as in the first and second embodiments, and the imaging device 31 ⁇ / b> B that images the driver.
  • the operation of the image display device 10 according to the third embodiment will be described with reference to FIG. 12 and FIGS.
  • the operation of the image display device 10 according to the third embodiment corresponds to the image display method according to the third embodiment.
  • the operation of the image display device 10 according to the third embodiment corresponds to the processing of the image display program according to the third embodiment.
  • step S1 to step S6 in FIG. 24 is the same as the processing from step S1 to step S6 in FIG.
  • the process of step S9 of FIG. 24 is the same as the process of step S9 of FIG.
  • the line-of-sight specifying unit 28 specifies a line-of-sight vector indicating the direction in which the driver is looking.
  • the line-of-sight specifying unit 28 writes the specified line-of-sight vector in the memory 12.
  • the line-of-sight specifying unit 28 acquires an image of the driver imaged by the imaging device 31B via the image interface 14. Then, the line-of-sight specifying unit 28 detects an eyeball from the acquired image and calculates a driver's line-of-sight vector from the positional relationship between the white eye and the pupil.
  • the line-of-sight vector specified here is a vector in the B coordinate system of the imaging device 31B. Therefore, the line-of-sight specifying unit 28 converts the specified line-of-sight vector into a line-of-sight vector in the A coordinate system of the imaging device 31 ⁇ / b> A that images the front of the moving body 100. Specifically, the line-of-sight specifying unit 28 converts the coordinate system of the line-of-sight vector using a rotation matrix calculated based on the relative orientation between the imaging device 31A and the imaging device 31B. The relative posture is specified from the installation positions of the imaging devices 31A and 31B in the moving body 100.
  • the moving body coordinate system is a coordinate system in which the horizontal direction of the moving body 100 is the X coordinate, the upward direction is the Y coordinate, and the traveling direction is the Z coordinate, and the moving body coordinates with respect to the horizontal direction, the upward direction, and the optical axis direction of the imaging device 31A.
  • the rotation angles of the X-axis, Y-axis, and Z-axis of the system are Pitch cam , Yaw cam , and Roll cam , respectively
  • the transformation matrix Mat car2cam from the moving body coordinate system to the A coordinate system is as shown in Equation 6.
  • line-of-sight detection unit 28 may be realized by such hardware since the line-of-sight detection hardware is also commercially available.
  • Step S8C in FIG. 24 shielding determination process
  • the occlusion determination unit 26 determines the importance of the object from the threshold value for the object corresponding to the navigation data 41 acquired in step S4 and the peripheral data acquired in step S5. Whether or not the object is occluded is determined according to whether or not it is high. However, the importance calculation method is different from that of the first embodiment.
  • step S81 to step S83 and the processing from step S85 to step S87 are the same as those in the first embodiment.
  • step S ⁇ b> 84 ⁇ / b> C the shielding determination unit 26 calculates the importance so that the larger the deviation between the position of the target object and the position viewed by the driver indicated by the line-of-sight vector, the higher.
  • the shielding determination unit 26 calculates the importance according to Equation 9.
  • Cwatch is the importance.
  • P obj is the position of the object.
  • ⁇ is an angle formed by the line-of-sight vector and the target vector from the imaging device 31A to the target.
  • w watch is a visual recognition cost coefficient, and is a positive constant that is arbitrarily determined.
  • the surrounding vehicle N is determined not to be shielded among the destination, the gas station, and the surrounding vehicles ML, which are the objects, and the remaining objects are determined to be shieldable. That is, the 3D models A to D can be shielded, and the 3D model E cannot be shielded.
  • the process of step S95 ends, the 3D models A to D are rendered as shown in FIG.
  • the 3D models A and B are not rendered because they are behind the building and shielded by the building.
  • the process of step S98 ends, the 3D model E is rendered as shown in FIG.
  • Embodiment 3 calculates the importance from the deviation from the position where the driver is looking. Thereby, when it is highly possible that the driver has missed the object, the 3D model corresponding to the object is displayed without being concealed, so that the object can be noticed by the driver. On the other hand, an object that is highly likely to be noticed by the driver is easily concealed so that the positional relationship can be easily understood.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Instructional Devices (AREA)

Abstract

画像表示装置（１０）は、移動体（１００）の周辺の対象物の情報を取得し、取得された対象物の重要度が閾値よりも高いか否かに応じて、対象物について遮蔽不可とするか遮蔽可とするかを判定する。画像表示装置（１０）は、遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データを移動体（１００）の周辺の風景に重畳させて表示させ、遮蔽可と判定された対象物については、対象物の位置に応じて、風景に重畳させて表示させるか否かを決定する。

Description

画像表示装置、画像表示方法及び画像表示プログラム
　この発明は、移動体の周辺の対象物を移動体の周辺の風景に重畳させて表示させる技術に関する。
　カメラによって車両前方が撮像された画像である風景に、その風景内にあたかも存在するかのようにナビゲーションデータをＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）コンテンツとして重畳させて表示する技術がある。特許文献１，２には、この技術について記載されている。
　特許文献１では、風景と、重畳させるＣＧコンテンツとの２つの奥行きを比較する。そして、特許文献１では、ＣＧコンテンツが風景の奥側にあると判断された場合には該当部分のコンテンツを非表示にし、ＣＧコンテンツが風景の手前側にあると判断された場合は該当部分のコンテンツを表示する。これにより、風景とコンテンツの遮蔽関係を現実と一致させ、より現実感を高めている。
　特許文献２では、車載センサにより得られた前方車両等の周辺物についても、特許文献１と同様の手法で表示している。
国際公開２０１３／１１１３０２号 特開２０１２―２０８１１１号公報
　特許文献１，２では、現実に即した位置関係に従いＣＧコンテンツが表示される。そのため、目的地マーク及びガソリンスタンドマークといった運転手が見たい情報と、道路上の障害物及び前方車両といった運転手が見るべき情報とを表したＣＧコンテンツが見にくくなる場合があった。その結果、運転手がこれらの情報を見落としてしまう場合があった。
　この発明は、現実感を保ちつつ、必要な情報を見やすくすることを目的とする。
　この発明に係る画像表示装置は、
　移動体の周辺の対象物の情報を取得する情報取得部と、
　前記情報取得部によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、
　前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御部と
を備える。
　この発明では、対象物の重要度に応じて遮蔽の有無を切り替えることにより、現実感を保ちつつ、必要な情報を見やすくすることができる。
実施の形態１に係る画像表示装置１０の構成図。 実施の形態１に係る画像表示装置１０の全体的な処理を示すフローチャート。 実施の形態１に係る移動体１００の周辺の状況を示す図。 実施の形態１に係る移動体１００の前方の画像を示す図。 実施の形態１に係る深度マップを示す図。 実施の形態１に係るステップＳ３の正規化処理を示すフローチャート。 実施の形態１に係る移動体１００の周辺の対象物を示す図。 実施の形態１に係るステップＳ４のナビゲーションデータ取得処理を示すフローチャート。 実施の形態１に係るステップＳ６のモデル生成処理を示すフローチャート。 実施の形態１に係る周辺データに対応する３Ｄモデルの説明図。 実施の形態１に係るナビゲーションデータ４１に対応する３Ｄモデルの説明図。 実施の形態１に係る移動体１００の周辺の対象物に対応する３Ｄモデルを示す図。 実施の形態１に係るステップＳ８の遮蔽判定処理を示すフローチャート。 実施の形態１に係るステップＳ９のモデル描画処理を示すフローチャート。 実施の形態１に係るステップＳ９５終了時点における画像を示す図。 実施の形態１に係るステップＳ９８終了時点における画像を示す図。 変形例１に係る画像表示装置１０の構成図。 実施の形態２に係るステップＳ８の遮蔽判定処理を示すフローチャート。 実施の形態２に係るステップＳ９５終了時点における画像を示す図。 実施の形態２に係るステップＳ９８終了時点における画像を示す図。 実施の形態２に係る目的地が近い場合の説明図。 実施の形態２に係る目的地が近い場合のステップＳ９８時点における画像を示す図。 実施の形態３に係る画像表示装置１０の構成図。 実施の形態３に係る画像表示装置１０の全体的な処理を示すフローチャート。 実施の形態３に係るステップＳ８Ｃの遮蔽判定処理を示すフローチャート。 実施の形態３に係るステップＳ９５終了時点における画像を示す図。 実施の形態３に係るステップＳ９８終了時点における画像を示す図。
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る画像表示装置１０の構成を説明する。
　図１では、画像表示装置１０が移動体１００に搭載された状態が示されている。移動体１００は、具体例としては、車両、船舶、歩行者である。実施の形態１では、移動体１００は、車両である。
　画像表示装置１０は、移動体１００に搭載されるコンピュータである。
　画像表示装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、画像インタフェース１４と、通信インタフェース１５と、表示インタフェース１６とのハードウェアを備える。プロセッサ１１は、システムバスを介して他のハードウェアと接続され、これら他のハードウェアを制御する。
　プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　メモリ１２は、プロセッサ１１によってデータ、情報、プログラムが一時的に記憶される作業領域である。メモリ１２は、具体例としては、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　ストレージ１３は、具体例としては、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤといった可搬記憶媒体であってもよい。
　画像インタフェース１４は、移動体１００に搭載された撮像装置３１を接続するための装置である。画像インタフェース１４は、具体例としては、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）の端子である。
　移動体１００には、移動体１００の周辺の画像を撮像する複数の撮像装置３１が搭載されている。実施の形態１では、移動体１００の前方に、移動体１００の前方の画像を撮像する２台の撮像装置３１が、数十センチメートル離れて搭載されている。撮像装置３１は、具体例としては、デジタルカメラである。
　通信インタフェース１５は、移動体１００に搭載されたＥＣＵ３２（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）を接続するための装置である。通信インタフェース１５は、具体例としては、Ｅｔｈｅｒｎｅｔ、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４の端子である。
　ＥＣＵ３２は、移動体１００に搭載されたレーザセンサ、ミリ波レーダ、ソナーといったセンサにより検出された移動体１００の周辺の対象物の情報を取得する装置である。また、ＥＣＵ３２は、移動体１００に搭載されたＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）センサ、方位センサ、速度センサ、加速度センサ及び地磁気センサといったセンサで検出された情報を取得する装置である。
　表示インタフェース１６は、移動体１００に搭載されたディスプレイ３３を接続するための装置である。表示インタフェース１６は、具体例としては、ＤＶＩ（Ｄｉｇｉｔａｌ　Ｖｉｓｕａｌ　Ｉｎｔｅｒｆａｃｅ）、Ｄ－ＳＵＢ（Ｄ－ＳＵＢｍｉｎｉａｔｕｒｅ）、ＨＤＭＩ（登録商標）の端子である。
　ディスプレイ３３は、移動体１００の周辺の風景に、ＣＧコンテンツを重畳させて表示する装置である。ディスプレイ３３は、具体例としては、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ヘッドアップディスプレイである。
　ここでいう風景は、カメラによって取得された画像と、コンピュータグラフィックによって作成された３次元地図と、ヘッドアップディスプレイ等を介して見える実物とのいずれかである。実施の形態１では、風景は、撮像装置３１によって取得された移動体１００の前方の画像とする。
　画像表示装置１０は、機能構成要素として、深度マップ生成部２１と、深度正規化部２２と、対象情報取得部２３と、モデル生成部２４と、状況取得部２５と、遮蔽判定部２６と、表示制御部２７とを備える。深度マップ生成部２１と、深度正規化部２２と、対象情報取得部２３と、モデル生成部２４と、状況取得部２５と、遮蔽判定部２６と、表示制御部２７との各部の機能は、ソフトウェアにより実現される。
　ストレージ１３には、各部の機能を実現するプログラムが記憶されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。
　また、ストレージ１３には、ナビゲーションデータ４１と、描画パラメータ４２とが記憶されている。ナビゲーションデータ４１は、ガソリンスタンド、薬局といったナビゲーション対象の対象物を案内するためのデータである。描画パラメータ４２は、グラフィックスでの描画範囲の手前側限界距離である最近面距離と、奥側限界距離である最遠面距離と、撮像装置３１の水平方向視野角と、撮像装置３１によって撮像された画像のアスペクト比（横／縦）とを示すデータである。
　画像表示装置１０の各部の機能の処理の結果を示す情報とデータと信号値と変数値とは、メモリ１２、又は、プロセッサ１１内のレジスタ又はキャッシュメモリに記憶される。以下の説明では、画像表示装置１０の各部の機能の処理の結果を示す情報とデータと信号値と変数値は、メモリ１２に記憶されるものとする。
　図１では、プロセッサ１１は、１つだけ示されている。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
　＊＊＊動作の説明＊＊＊
　図２から図１４を参照して、実施の形態１に係る画像表示装置１０の動作を説明する。
　実施の形態１に係る画像表示装置１０の動作は、実施の形態１に係る画像表示方法に相当する。また、実施の形態１に係る画像表示装置１０の動作は、実施の形態１に係る画像表示プログラムの処理に相当する。
　（図２のステップＳ１：画像取得処理）
　深度マップ生成部２１は、撮像装置３１によって撮像された移動体１００の前方の画像を、画像インタフェース１４を介して取得する。深度マップ生成部２１は、取得された画像をメモリ１２に書き込む。
　実施の形態１では、撮像装置３１として、２台のデジタルカメラが移動体１００の前方に数十センチメートル離れて搭載されている。図３に示すように、移動体１００の前方に周辺車両Ｌ，Ｍ，Ｎが存在し、道路脇に複数の建物が存在するとする。すると、図４に示すように、移動体１００の前方をステレオカメラで撮像した画像が得られる。ここで、撮像装置３１で撮像される範囲を示す撮像可能距離は、図３に示すように、撮像装置３１の光軸方向の撮影可能な最大の距離である。
　（図２のステップＳ２：マップ生成処理）
　深度マップ生成部２１は、ステップＳ１で取得された画像のピクセル毎に、撮像装置３１から被写体までの距離を示す深度マップを生成する。深度マップ生成部２１は、生成された深度マップをメモリ１２に書き込む。
　実施の形態１では、深度マップ生成部２１は、ステレオ法により深度マップを生成する。具体的には、深度マップ生成部２１は、２つのカメラで撮像された画像における同一物体を写した画素を見つけ、三角測量により見つけられた画素の距離を求める。深度マップ生成部２１は、全画素に対して距離を計算することにより、深度マップを生成する。図４に示す画像から生成された深度マップは、図５に示すようになり、各画素はカメラから被写体までの距離を示す。図５では、カメラに近いほど値が小さく、遠いほど値が大きいため、手前側ほど密度の高いハッチングで表現され、奥側ほど密度の低いハッチングで表現されている。
　（図２のステップＳ３：正規化処理）
　深度正規化部２２は、ステップＳ２で生成された深度マップの距離である実世界における計算された距離を、ストレージ１３に記憶された描画パラメータ４２を用いて３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）グラフィックスで描画するための距離に変換する。これにより、深度正規化部２２は、正規化された深度マップを生成する。深度正規化部２２は、正規化された深度マップをメモリ１２に書き込む。
　図６を参照して具体的に説明する。
　まず、ステップＳ３１で深度正規化部２２は、描画パラメータ４２を取得して、最近面距離と最遠面距離とを特定する。次に、深度正規化部２２は、ステップＳ２で生成された深度マップの各ピクセルを対象ピクセルとして、ステップＳ３２からステップＳ３６の処理を実行する。
　ステップＳ３２で深度正規化部２２は、対象ピクセルの距離から最近面距離を減じた値を、最遠面距離から最近面距離を減じた値で除して、対象ピクセルについての正規化後の距離を計算する。ステップＳ３３からステップＳ３６で深度正規化部２２は、ステップＳ３２で計算された正規化後の距離が０より小さい場合には、対象ピクセルについての距離を０に設定し、ステップＳ３２で計算された正規化後の距離が１より大きい場合には、対象ピクセルについての距離を１に設定し、他の場合には対象ピクセルについての距離をステップＳ３２で計算された距離に設定する。
　これにより、深度正規化部２２は、対象ピクセルについての距離を、最近面距離と最遠面距離とに対する内分比として表し、０～１の範囲に線形補間した値に変換する。
　（図２のステップＳ４：ナビゲーションデータ取得処理）
　対象情報取得部２３は、ストレージ１３に記憶された、移動体１００の周辺に存在す対象物についての情報であるナビゲーションデータ４１を読み出して取得する。対象情報取得部２３は、取得されたナビゲーションデータ４１の位置を絶対座標系である地球座標系から、撮像装置３１を基準とした相対座標系に変換する。そして、対象情報取得部２３は、取得されたナビゲーションデータ４１を、変換された位置とともにメモリ１２に書き込む。
　図３の場合には、例えば図７に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ４１が取得される。図７では、ガソリンスタンドは、撮像装置３１の撮像可能距離内の場所にあり、目的地は撮像装置３１から撮像可能距離以上に離れた場所にある。
　図７に示すように、ナビゲーションデータ４１は、地球座標系で表された対象物についての３Ｄモデルの表示領域の４端点の位置を含む。地球座標系とはメルカトル図法において経度方向にＸ軸、緯度方向にＺ軸、標高方向にＹ軸を取り原点をグリニッジ天文台とし、単位はメートル系の座標系である。これに対して、相対座標系は、撮像装置３１の右方向にＸ軸、光軸方向にＺ軸、上方向にＹ軸を取り原点を撮像装置３１の位置とし、単位がメートル系の座標系である。
　図８を参照して具体的に説明する。
　ステップＳ４１で対象情報取得部２３は、ＥＣＵ３２から通信インタフェース１５を介して撮像装置３１の地球座標系における位置と、撮像装置３１の地球座標系における光軸方向とを取得する。
　撮像装置３１の地球座標系における位置及び光軸方向は、ＧＰＳセンサ、方位センサ、加速度センサ、地磁気センサといったセンサを用いたデッドレコニング法により特定できる。これにより、撮像装置３１の地球座標系における位置は、地球座標系のＸ値（ＣａｒＸ）、Ｙ値（ＣａｒＹ）、Ｚ値（ＣａｒＺ）として取得できる。また、撮像装置３１の地球座標系における光軸方向は、地球座標系から相対座標系へ変換するための３×３の回転行列として取得できる。
　ステップＳ４２で対象情報取得部２３は、移動体１００の周辺に存在す対象物についてのナビゲーションデータ４１を取得する。具体的には、対象情報取得部２３は、ステップＳ４１で取得された位置の半径数百メートル以内に存在する対象物についてのナビゲーションデータ４１を収集する。より詳細には、ナビゲーションデータ４１の地球座標系での存在位置と取得半径とが“（ＮａｖｉＸ－ＣａｒＸ）２＋（ＮａｖｉＺ－ＣａｒＺ）２≦Ｒ２”の関係を満たすナビゲーションデータ４１のみを収集すればよい。ここで、ＮａｖｉＸ及びＮａｖｉＺはナビゲーションデータの地球座標系における位置のＸ値及びＺ値であり、Ｒは取得半径である。取得半径Ｒは、任意に設定される。
　対象情報取得部２３は、ステップＳ４２で取得された各ナビゲーションデータ４１を対象データとして、ステップＳ４３を実行する。ステップＳ４３では、対象情報取得部２３は、数１を計算することにより、ナビゲーションデータ４１の地球座標系における位置を、相対座標系における位置に変換する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ＮａｖｉＹは、ナビゲーションデータ４１の地球座標系における位置のＹ値である。ＭａｔＣａｒＲは、ステップＳ４１で取得された撮像装置３１の地球座標系における光軸方向を示す回転行列である。ＮａｖｉＸ＿ｒｅｌ、ＮａｖｉＹ＿ｒｅｌ及びＮａｖｉＺ＿ｒｅｌは、ナビゲーションデータ４１の相対座標系における位置のＸ値、Ｙ値及びＺ値である。
　（図２のステップＳ５：周辺データ取得処理）
　対象情報取得部２３は、ＥＣＵ３２から通信インタフェース１５を介して、移動体１００の周辺に存在する対象物についての情報である周辺データを取得する。対象情報取得部２３は、取得された周辺データをメモリ１２に書き込む。
　周辺データは、レーザセンサ、ミリ波レーダ、ソナーといったセンサによって検出されたセンサ値を用いて対象物を認識することにより得られるセンサデータである。周辺データは、対象物について、高さ及び幅を示す大きさと、相対座標系における位置と、移動速度と、車・人・建物といった種別とを示す。
　図３の場合には、図７に示すように、周辺車両Ｍ～Ｌの対象物についての周辺データが取得される。図７に示すように、周辺データが示す位置は、対象物の移動体１００側の面における下辺の中心位置である。
　（図２のステップＳ６：モデル生成処理）
　モデル生成部２４は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出し、読み出されたナビゲーションデータ４１及び周辺データについての３Ｄモデルを生成する。モデル生成部２４は、生成された３Ｄモデルをメモリ１２に書き込む。
　３Ｄモデルは、ナビゲーションデータ４１の場合には、ナビゲーションデータ４１を表す板状のＣＧコンテンツであり、周辺データの場合には、対象物の移動体１００側の面の周辺を囲む枠状のＣＧコンテンツである。
　図９を参照して具体的に説明する。
　ステップＳ６１でモデル生成部２４は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出す。
　モデル生成部２４は、読み出されたナビゲーションデータ４１及び周辺データそれぞれを対象データとして、ステップＳ６２からステップＳ６５の処理を実行する。ステップＳ６２でモデル生成部２４は、対象データが周辺データかナビゲーションデータ４１かを判定する。
　対象データが周辺データの場合には、ステップＳ６３でモデル生成部２４は、周辺データに含まれる対象物の位置と対象物の幅及び高さとを用いて、図１０に示すように、対象物の移動体１００側の面の周辺を囲む枠を構成する三角形の集合を示す頂点列Ｐ［０］～Ｐ［９］を設定する。ここで、頂点Ｐ［０］と頂点Ｐ［８］、及び、頂点Ｐ［１］と頂点Ｐ［９］は、同じ位置を示す。なお、頂点Ｐ［０］と頂点Ｐ［１］との間の距離によって特定される枠の厚みは、任意に設定される。また、全頂点に対し、前後方向の値であるＺ値は、対象物の位置のＺ値が設定される。
　対象データがナビゲーションデータ４１の場合には、ステップＳ６４でモデル生成部２４は、ナビゲーションデータ４１の表示領域についての相対座標系における４端点の位置を、図１１に示すように頂点列Ｐ［０］～Ｐ［３］に設定する。そして、ステップＳ６５でモデル生成部２４は、頂点列Ｐ［０］～Ｐ［３］で囲まれた範囲にナビゲーションデータ４１を表すテクスチャをマッピングするテクスチャ座標を設定する。具体例としては、頂点列Ｐ［０］～Ｐ［３］で囲まれた範囲の左上、右上、左下、右下に対応するテクスチャ座標として、与えられたテクスチャ全体をマッピングすることを表す（０，０）、（１，０）、（０，１）、（１，１）が設定される。
　図３の場合には、図１２に示すように、目的地とガソリンスタンドとについてのナビゲーションデータ４１に対して、モデルＡとモデルＢとの３Ｄモデルが生成される。また、周辺車両Ｍ～Ｌについての周辺データに対して、モデルＣ～モデルＥの３Ｄモデルが生成される。
　（図２のステップＳ７：状況取得処理）
　状況取得部２５は、ＥＣＵ３２から通信インタフェース１５を介して、移動体１００の運転状況に関する情報を取得する。実施の形態１では、状況取得部２５は、状況に関する情報として、移動体１００からステップＳ５で取得された周辺データに対応する対象物までの距離である相対距離と、ステップＳ５で取得された周辺データに対応する対象物が移動体１００に近づく速度である相対速度とを取得する。相対距離は、移動体１００の位置と対象物の位置とから計算可能である。相対速度は、移動体１００と対象物との相対的な位置の変化から計算可能である。
　（図２のステップＳ８：遮蔽判定処理）
　遮蔽判定部２６は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。遮蔽判定部２６は、重要度が閾値よりも高い場合には、優先的に３Ｄモデルを表示させるために、その対象物について遮蔽不可と判定し、そうでない場合には、現実に即して３Ｄモデルを表示させるために、その対象物について遮蔽可と判定する。
　図１３を参照して具体的に説明する。
　実施の形態１では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体も遮蔽可否の判定の対象としてもよい。
　ステップＳ８１では、遮蔽判定部２６は、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとをメモリ１２から読み出す。
　モデル生成部２４は、読み出されたナビゲーションデータ４１及び周辺データそれぞれを対象データとして、ステップＳ８２からステップＳ８７の処理を実行する。ステップＳ８２では、モデル生成部２４は、対象データがナビゲーションデータ４１か周辺データかを判定する。
　ステップＳ８３で遮蔽判定部２６は、対象データが周辺データの場合には、対象データに対応する対象物の種別が車両であるか否かを判定する。対象物の種別が車両である場合には、ステップＳ８４で遮蔽判定部２６は、ステップＳ７で取得された相対速度及び相対距離から重要度を計算する。そして、ステップＳ８５からステップＳ８７で遮蔽判定部２６は、重要度が閾値よりも高い場合には、遮蔽不可と設定し、そうでない場合には、遮蔽可と設定する。
　一方、対象データがナビゲーションデータ４１の場合と、対象物の種別が車両でない場合とには、遮蔽判定部２６は、遮蔽可と設定する。
　ステップＳ８４では、遮蔽判定部２６は、相対距離が近いほど高く、相対速度が速いほど高くなるように重要度を計算する。そのため、重要度は、移動体１００と対象物である車両とが衝突する可能性が高いほど高くなる。
　具体例として、遮蔽判定部２６は、数２により、重要度を計算する。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Ｃｖｅｈｉｃｌｅは、重要度である。Ｌｅｎは、移動体１００から対象物までの相対距離である。ｋｓａｆｅｌｅｎは、事前に定められた安全距離係数である。ｗｌｅｎは、事前に定められた距離コスト係数である。Ｓｐｄは、相対速度であり、対象物が移動体１００に近づく方向に正の値を取り、離れる方向に負の値を取る。ｗｓｐｄは、事前に定められた相対速度コスト係数である。
　（図２のステップＳ９：モデル描画処理）
　表示制御部２７は、ステップＳ１で取得された画像をメモリ１２から読み出し、読み出された画像に、ステップＳ６で生成された３Ｄモデルをレンダリングして、表示画像を生成する。そして、表示制御部２７は、生成された表示画像を表示インタフェース１６を介してディスプレイ３３に送信して、ディスプレイ３３に表示させる。
　この際、表示制御部２７は、遮蔽判定部２６によって遮蔽不可と判定された対象物については、対象物の位置に関わらず、対象物を示す画像データである３Ｄモデルを画像にレンダリングする。
　一方、表示制御部２７は、遮蔽判定部２６によって遮蔽可と判定された対象物については、対象物の位置に応じて、対象物を示す画像データである３Ｄモデルをレンダリングするか否かを決定する。つまり、表示制御部２７は、遮蔽可と判定された対象物については、他の物体の後にあり、他の物体により遮蔽される場合にはレンダリングせず、他の物体の前にあり、他の物体により遮蔽されない場合にはレンダリングする。なお、一部だけ他の物体により遮蔽される場合には、表示制御部２７は、遮蔽されない部分だけをレンダリングする。
　図１４を参照して具体的に説明する。
　ステップＳ９１で表示制御部２７は、画像をメモリ１２から読み出す。ここでは、図４に示す画像が読み出される。
　次に、ステップＳ９２で表示制御部２７は、描画パラメータ４２を用いて、３Ｄ空間を２次元の画像空間へ投影する変換行列である射影行列を計算する。具体的には、表示制御部２７は、数３により、射影行列を計算する。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ｍａｔｐｒｏｊは、射影行列である。ａｓｐｅｃｔは、画像のアスペクト比である。Ｚｎｅａｒは、最近面距離である。Ｚｆａｒは、最遠面距離である。
　次に、ステップＳ９３で表示制御部２７は、遮蔽可と判定された対象物について、ステップＳ６で生成された３Ｄモデルを収集する。そして、表示制御部２７は、収集された各３Ｄモデルを対象モデルとして、ステップＳ９４からステップＳ９５の処理を実行する。
　ステップＳ９４で表示制御部２７は、深度テストを有効化し、深度テストを実行する。深度テストは、対象モデルを射影変換した後の距離と、ステップＳ２で生成された正規化された深度マップにおける距離とをピクセル単位で比較し、深度マップにおける距離よりも対象モデルを射影変換した後の距離が近いピクセルを特定する処理である。なお、深度テストは、ＧＰＵ等でサポートされている機能であり、グラフィックスライブラリであるＯｐｅｎＧＬやＤｉｒｅｃｔＸを使用することで利用できる。対象モデルは、数４により射影変換される。
Figure JPOXMLDOC01-appb-M000004
 　ここで、ＰｉｃＸ及びＰｉｃＹは、書き込み先のピクセルのＸ値及びＹ値である。ｗｉｄｔｈ及びｈｅｉｇｈｔは、画像の幅及び高さである。ＭｏｄｅｌＸ、ＭｏｄｅｌＹ及びＭｏｄｅｌＺは、対象モデルを構成する頂点座標のＸ値、Ｙ値及びＺ値である。
　そして、ステップＳ９５で表示制御部２７は、数４により対象モデルを変換した上で、ステップＳ９１で読み出された画像における深度テストで特定されたピクセルについて、対象モデルの色で色付けすることによりレンダリングする。
　次に、ステップＳ９６で表示制御部２７は、遮蔽不可と判定された対象物について、ステップＳ６で生成された３Ｄモデルを収集する。そして、表示制御部２７は、収集された各３Ｄモデルを対象モデルとして、ステップＳ９７からステップＳ９８の処理を実行する。
　ステップＳ９７で表示制御部２７は、深度テストを無効化し、深度テストを実行しない。そして、ステップＳ９８で表示制御部２７は、数４により対象モデルを変換した上で、ステップＳ９１で読み出された画像における対象モデルが示す全てのピクセルについて、対象モデルの色で色付けすることによりレンダリングする。
　図１２において、対象物である目的地とガソリンスタンドと周辺車両Ｍ～Ｌとのうち、周辺車両Ｌについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＡ，Ｂ，Ｃ，Ｅは遮蔽可であり、３ＤモデルＤは遮蔽不可であるとする。
　この場合、ステップＳ９５の処理が終わった時点で、図１５に示すように、３ＤモデルＡ，Ｂ，Ｃ，Ｅがレンダリングされる。但し、３ＤモデルＡ，Ｂは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップＳ９８の処理が終わった時点で、図１６に示すように、３ＤモデルＤがレンダリングされる。３ＤモデルＤは、３ＤモデルＥの後にあるが、遮蔽不可であるため位置に関係なく全体がレンダリングされている。
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る画像表示装置１０は、対象物の重要度に応じて遮蔽の有無を切り替える。これにより、現実感を保ちつつ、必要な情報を見やすくすることができる。
　つまり、実施の形態１に係る画像表示装置１０は、重要度が高い対象物については、対象物の位置に関係なく風景に重畳させて表示するため、必要な情報が見やすくなる。一方、重要度が高くない対象物については、対象物の位置に応じ、現実に即して表示するか否かを決定するため、現実感が保たれる。
　特に、実施の形態１に係る画像表示装置１０は、対象物が移動する物体である場合に、移動体１００から対象物までの距離である相対距離と、対象物が移動体１００に近づく速度である相対速度とから重要度を計算する。これにより、移動体１００に衝突する危険性の高い移動体が見落とされにくい状態で表示される。
　＊＊＊他の構成＊＊＊
　＜変形例１＞
　実施の形態１では、画像表示装置１０の各部の機能がソフトウェアで実現された。変形例１として、画像表示装置１０の各部の機能はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
　図１７を参照して、変形例１に係る画像表示装置１０の構成を説明する。
　各部の機能がハードウェアで実現される場合、画像表示装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、処理回路１７を備える。処理回路１７は、画像表示装置１０の各部の機能と、メモリ１２及びストレージ１３の機能とを実現する専用の電子回路である。
　処理回路１７は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）が想定される。
　各部の機能を１つの処理回路１７で実現してもよいし、各部の機能を複数の処理回路１７に分散させて実現してもよい。
　＜変形例２＞
　変形例２として、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。つまり、画像表示装置１０の各部のうち、一部の機能がハードウェアで実現され、他の機能がソフトウェアで実現されてもよい。
　プロセッサ１１とメモリ１２とストレージ１３と処理回路１７とを、総称して「プロセッシングサーキットリー」という。つまり、各部の機能は、プロセッシングサーキットリーにより実現される。
　実施の形態２．
　実施の形態２は、目的地といったランドマークが近い場合に、そのランドマークを遮蔽なしで表示する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明する。
　実施の形態２では、具体例として種別が目的地である対象物についてのみ遮蔽可否を判定する場合を説明する。しかし、目的地に限らず、運転手等によって指定された他のランドマークも遮蔽可否の判定の対象としてもよい。
　＊＊＊動作の説明＊＊＊
　図２と図１２と図１４と図１８から図２０とを参照して、実施の形態２に係る画像表示装置１０の動作を説明する。
　実施の形態２に係る画像表示装置１０の動作は、実施の形態２に係る画像表示方法に相当する。また、実施の形態２に係る画像表示装置１０の動作は、実施の形態２に係る画像表示プログラムの処理に相当する。
　実施の形態２に係る画像表示装置１０の動作は、図２のステップ７の状況取得処理と、ステップＳ８の遮蔽判定処理とが実施の形態１に係る画像表示装置１０の動作と異なる。
　（図２のステップＳ７：状況取得処理）
　実施の形態２では、状況取得部２５は、運転状況に関する情報として、移動体１００から目的地までの距離である相対距離を取得する。
　（図２のステップＳ８：遮蔽判定処理）
　遮蔽判定部２６は、実施の形態１と同様に、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態１と異なる。
　図１８を参照して具体的に説明する。
　実施の形態２では、種別が目的地である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。
　ステップＳ８１からステップＳ８２の処理と、ステップＳ８５からステップＳ８７の処理とは、実施の形態１と同じである。
　ステップＳ８３Ｂで遮蔽判定部２６は、対象データがナビゲーションデータ４１の場合には、対象データに対応する対象物の種別が目的地であるか否かを判定する。対象物の種別が目的地である場合には、ステップＳ８４Ｂで遮蔽判定部２６は、ステップＳ７で取得された相対距離から重要度を計算する。
　ステップＳ８４Ｂで遮蔽判定部２６は、相対距離が遠いほど高くなるように重要度を計算する。
　具体例として、遮蔽判定部２６は、数５により、重要度を計算する。
Figure JPOXMLDOC01-appb-M000005
 　ここで、ＣＤｅｓｔＬｅｎは、重要度である。ＤｅｓｔＰｏｓは、撮像装置３１の地球座標系における位置である。ＣａｍＰｏｓは、目的地の地球座標系における位置である。ＣａｐＭａｘＬｅｎは、撮像可能距離である。Ｃｔｈｒｅｓは、閾値よりも大きい値である。ＣＤｅｓｔＬｅｎは、撮像装置３１と目的地との間の距離ＤｅｓｔＬｅｎが撮像可能距離よりも長ければＣｔｈｒｅｓとなり、短ければ０になる。つまり、数５により計算された重要度ＣＤｅｓｔＬｅｎは、撮像装置３１と目的地との間の距離ＤｅｓｔＬｅｎが撮像可能距離よりも長ければ閾値より大きい値になり、短ければ閾値以下の値になる。
　図１２において、対象物である目的地とガソリンスタンドと周辺車両Ｍ～Ｌとのうち、目的地については遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＢ，Ｃ，Ｄ，Ｅは遮蔽可であり、３ＤモデルＡは遮蔽不可であるとする。
　この場合、図１４のステップＳ９５の処理が終わった時点で、図１９に示すように、３ＤモデルＢ，Ｃ，Ｄ，Ｅがレンダリングされる。但し、３ＤモデルＢは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、図１４のステップＳ９８の処理が終わった時点で、図２０に示すように、３ＤモデルＡがレンダリングされる。３ＤモデルＡは、建物の後にあるが、遮蔽不可であるため位置に関係なくレンダリングされている。
　＊＊＊実施の形態２の効果＊＊＊
　以上のように、実施の形態２に係る画像表示装置１０は、対象物が目的地といったランドマークである場合に、移動体１００から対象物までの距離から重要度を計算する。これにより、目的地が遠い場合には、目的地が建物等により遮蔽されていても目的地を表す３Ｄモデルが表示されるため、目的地の方向が把握し易くなる。
　なお、図２１に示すように、目的地が近く、撮像可能距離以内にある場合には、目的地に対応する３ＤモデルＡは、隠蔽可と判定される。その結果、図２２に示すように、３ＤモデルＡは、一部が手前の建物Ｃによって隠蔽された状態で表示される。これにより、目的地が近い場合は、目的地と建物等との位置関係が分かり易くなる。
　つまり、目的地が遠い場合には、近くにある建物等との位置関係はあまり重要ではない。そのため、目的地に対応する３Ｄモデルを遮蔽せずに表示することにより、目的地の方向が分かり易くなる。一方、目的地が近い場合には、近くにある建物等との位置関係は重要である。そのため、目的地に対応する３Ｄモデルを遮蔽ありで表示することにより、建物等との位置関係が分かり易くなる。
　＊＊＊他の構成＊＊＊
　＜変形例３＞
　実施の形態１では、車両といった移動体について遮蔽可否を判定し、実施の形態２では、目的地といったランドマークについて遮蔽可否を判定した。変形例３として、実施の形態１で行った遮蔽可否の判定と実施の形態２で行った遮蔽可否の判定との両方を行ってもよい。
　実施の形態３．
　実施の形態３は、運転手が見ていない方向の対象物については遮蔽なしで表示する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明する。
　＊＊＊構成の説明＊＊＊
　図２３を参照して、実施の形態３に係る画像表示装置１０の構成を説明する。
　実施の形態３に係る画像表示装置１０は、機能構成要素として、状況取得部２５を備えておらず、視線特定部２８を備えている点が図１に示す画像表示装置１０と異なる。視線特定部２８は、他の機能構成要素と同様に、ソフトウェアにより実現される。
　また、実施の形態３に係る画像表示装置１０は、実施の形態１，２と同様に前方に２台の撮像装置３１Ａを備えるとともに、運転手を撮像する撮像装置３１Ｂを備える。
　＊＊＊動作の説明＊＊＊
　図１２と図２４から図２７とを参照して、実施の形態３に係る画像表示装置１０の動作を説明する。
　実施の形態３に係る画像表示装置１０の動作は、実施の形態３に係る画像表示方法に相当する。また、実施の形態３に係る画像表示装置１０の動作は、実施の形態３に係る画像表示プログラムの処理に相当する。
　図２４のステップＳ１からステップＳ６の処理は、図２のステップＳ１からステップＳ６の処理と同じである。また、図２４のステップＳ９の処理は、図２のステップＳ９の処理と同じである。
　（図２４のステップＳ７Ｃ：視線特定処理）
　視線特定部２８は、運転手が見ている方向を示す視線ベクトルを特定する。視線特定部２８は、特定された視線ベクトルをメモリ１２に書き込む。
　具体例としては、視線特定部２８は、撮像装置３１Ｂによって撮像された運転手の画像を、画像インタフェース１４を介して取得する。そして、視線特定部２８は、取得された画像から眼球を検出し、白目と瞳孔との位置関係から運転手の視線ベクトルを計算する。
　但し、ここで特定される視線ベクトルは、撮像装置３１ＢのＢ座標系におけるベクトルである。そこで、視線特定部２８は、特定された視線ベクトルを、移動体１００の前方を撮像する撮像装置３１ＡのＡ座標系における視線ベクトルに変換する。具体的には、視線特定部２８は、撮像装置３１Ａと撮像装置３１Ｂとの相対姿勢により計算される回転行列を用いて、視線ベクトルの座標系を変換する。なお、相対姿勢は移動体１００における撮像装置３１Ａ，３１Ｂの設置位置から特定される。
　移動体座標系を、移動体１００の横方向をＸ座標、上方向をＹ座標、進行方向をＺ座標とする座標系とし、撮像装置３１Ａの横方向、上方向、光軸方向に対する移動体座標系のＸ軸、Ｙ軸、Ｚ軸の回転角をそれぞれ、Ｐｉｔｃｈｃａｍ，Ｙａｗｃａｍ，Ｒｏｌｌｃａｍとした場合、移動体座標系からＡ座標系への変換行列Ｍａｔｃａｒ２ｃａｍは数６の通りとなる。
Figure JPOXMLDOC01-appb-M000006
 　撮像装置３１Ｂの横方向、上方向、光軸方向に対する移動体座標系のＸ軸、Ｙ軸、Ｚ軸の回転角をそれぞれ、Ｐｉｔｃｈｄｒｃ，Ｙａｗｄｒｃ，Ｒｏｌｌｄｒｃとした場合、移動体座標系からＢ座標系への変換行列Ｍａｔｃａｒ２ｄｒｃは数７の通りとなる。
Figure JPOXMLDOC01-appb-M000007
 　すると、Ｂ座標系からのＡ座標系への変換はＭａｔｃａｒ２ｃａｍ・（Ｍａｔｃａｒ２ｄｒｃ）ｔとなるため、数８によりＡ座標系での視線ベクトルが計算される。
Figure JPOXMLDOC01-appb-M000008
 　ここで、ＶｃａｍはＡ座標系での視線ベクトルであり、ＶｄｒｃはＢ座標系での視線ベクトルである。
　なお、視線検出用のハードウェアも市販されているため、そのようなハードウェアにより視線特定部２８を実現してもよい。
　（図２４のステップＳ８Ｃ：遮蔽判定処理）
　遮蔽判定部２６は、実施の形態１と同様に、ステップＳ４で取得されたナビゲーションデータ４１と、ステップＳ５で取得された周辺データとに対応する対象物について、その対象物の重要度が閾値よりも高いか否かに応じて、その対象物の遮蔽可否を判定する。但し、重要度の計算方法が実施の形態１と異なる。
　図２５を参照して具体的に説明する。
　実施の形態３では、種別が車両である対象物についてのみ遮蔽可否を判定し、他の種別の対象物については全て遮蔽可とする。なお、車両に限らず、歩行者といった他の移動体と、ガソリンスタンドといったランドマークとも遮蔽可否の判定の対象としてもよい。
　ステップＳ８１からステップＳ８３の処理と、ステップＳ８５からステップＳ８７の処理とは、実施の形態１と同じである。
　ステップＳ８４Ｃで遮蔽判定部２６は、対象物の位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きいほど高くなるように重要度を計算する。
　具体例として、遮蔽判定部２６は、数９により、重要度を計算する。
Figure JPOXMLDOC01-appb-M000009
 ここで、Ｃｗａｔｃｈは、重要度である。Ｐｏｂｊは、対象物の位置である。θは、視線ベクトルと撮像装置３１Ａから対象物への対象ベクトルとの成す角である。ｗｗａｔｃｈは、視認コスト係数であり、任意に定められる正の定数である。
　図１２における周辺車両Ｍと周辺車両Ｌとの中間辺りを運転手が見ているとする。すると、周辺車両Ｎの位置と、視線ベクトルが示す運転手が見ている位置とのずれが大きくなり、周辺車両Ｎについての重要度が高くなる。そのため、対象物である目的地とガソリンスタンドと周辺車両Ｍ～Ｌとのうち、周辺車両Ｎについては遮蔽不可と判定され、残りの対象物については遮蔽可と判定されたとする。つまり、３ＤモデルＡ～Ｄは遮蔽可であり、３ＤモデルＥは遮蔽不可であるとする。
　この場合、ステップＳ９５の処理が終わった時点で、図２６に示すように、３ＤモデルＡ～Ｄがレンダリングされる。但し、３ＤモデルＡ，Ｂは、建物の後にあり、建物により遮蔽されるため、レンダリングされていない。そして、ステップＳ９８の処理が終わった時点で、図２７に示すように、３ＤモデルＥがレンダリングされる。
　＊＊＊実施の形態３の効果＊＊＊
　以上のように、実施の形態３に係る画像表示装置１０は、運転手が見ている位置とのずれから重要度を計算する。これにより、運転手が対象物を見落としている可能性が高い場合に、対象物に対応する３Ｄモデルが隠蔽されずに表示されるため、対象物を運転手に気付かせることができる。
　一方、運転手が気づいている可能性が高い対象物については、隠蔽可として、位置関係が分かり易くなっている。
　＊＊＊他の構成＊＊＊
　＜変形例４＞
　実施の形態１では、車両といった移動体について相対位置及び相対速度から遮蔽可否を判定し、実施の形態２では、目的地といったランドマークについて相対位置から遮蔽可否を判定した。そして、実施の形態３では、運転手が見ている位置とのずれに基づき遮蔽可否を判定した。変形例４として、実施の形態１，２の少なくともいずれかで行った遮蔽可否の判定と、実施の形態３で行った遮蔽可否の判定との両方を行ってもよい。
　１０　画像表示装置、１１　プロセッサ、１２　メモリ、１３　ストレージ、１４　画像インタフェース、１５　通信インタフェース、１６　表示インタフェース、１７　処理回路、２１　深度マップ生成部、２２　深度正規化部、２３　対象情報取得部、２４　モデル生成部、２５　状況取得部、２６　遮蔽判定部、２７　表示制御部、２８　視線特定部、３１，３１Ａ，３１Ｂ　撮像装置、３２　ＥＣＵ、３３　ディスプレイ、４１　ナビゲーションデータ、４２　描画パラメータ、１００　移動体。

Claims (9)

  1. 　移動体の周辺の対象物の情報を取得する対象情報取得部と、
    　前記対象情報取得部によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定部と、
    　前記遮蔽判定部によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御部と
    を備える画像表示装置。
  2. 　前記重要度は、前記対象物が移動する物体である場合に、前記移動体から前記対象物までの距離である相対距離と、前記対象物が前記移動体に近づく速度である相対速度とから計算される
    請求項１に記載の画像表示装置。
  3. 　前記重要度は、前記相対距離が近いほど高く、前記相対速度が速いほど高い
    請求項２に記載の画像表示装置。
  4. 　前記重要度は、前記対象物がランドマークである場合に、前記移動体から前記対象物までの距離である相対距離が遠いほど高い
    請求項１から３までのいずれか１項に記載の画像表示装置。
  5. 　前記重要度は、前記対象物の位置と、前記移動体の運転手が見ている位置とのずれが大きいほど高い
    請求項１から４までのいずれか１項に記載の画像表示装置。
  6. 　前記対象物の情報は、ストレージに記憶された前記対象物を案内するナビゲーションデータと、センサによって検出されたセンサ値から得られたセンサデータとである
    請求項１から５までのいずれか１項に記載の画像表示装置。
  7. 　前記表示制御部は、前記遮蔽判定部によって遮蔽可と判定された前記対象物については、前記対象物の位置に応じて、前記風景に重畳させて表示させるか否かを制御する
    請求項１から６までのいずれか１項に記載の画像表示装置。
  8. 　プロセッサが、移動体の周辺の対象物の情報を取得し、
    　プロセッサが、取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定し、
    　プロセッサが、遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる画像表示方法。
  9. 　移動体の周辺の対象物の情報を取得する対象情報取得処理と、
    　前記対象情報取得処理によって取得された対象物の重要度が閾値よりも高い場合に、前記対象物について遮蔽不可と判定する遮蔽判定処理と、
    　前記遮蔽判定処理によって遮蔽不可と判定された前記対象物については、前記対象物の位置に関わらず、前記対象物を示す画像データを前記移動体の周辺の風景に重畳させて表示させる表示制御処理と
    をコンピュータに実行させる画像表示プログラム。
PCT/JP2016/064648 2016-05-17 2016-05-17 画像表示装置、画像表示方法及び画像表示プログラム WO2017199347A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018517978A JP6385621B2 (ja) 2016-05-17 2016-05-17 画像表示装置、画像表示方法及び画像表示プログラム
CN201680085372.6A CN109073403A (zh) 2016-05-17 2016-05-17 图像显示装置、图像显示方法和图像显示程序
DE112016006725.9T DE112016006725T5 (de) 2016-05-17 2016-05-17 Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm
PCT/JP2016/064648 WO2017199347A1 (ja) 2016-05-17 2016-05-17 画像表示装置、画像表示方法及び画像表示プログラム
US16/088,514 US20190102948A1 (en) 2016-05-17 2016-05-17 Image display device, image display method, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/064648 WO2017199347A1 (ja) 2016-05-17 2016-05-17 画像表示装置、画像表示方法及び画像表示プログラム

Publications (1)

Publication Number Publication Date
WO2017199347A1 true WO2017199347A1 (ja) 2017-11-23

Family

ID=60325117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064648 WO2017199347A1 (ja) 2016-05-17 2016-05-17 画像表示装置、画像表示方法及び画像表示プログラム

Country Status (5)

Country Link
US (1) US20190102948A1 (ja)
JP (1) JP6385621B2 (ja)
CN (1) CN109073403A (ja)
DE (1) DE112016006725T5 (ja)
WO (1) WO2017199347A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586303A (zh) * 2020-05-22 2020-08-25 浩鲸云计算科技股份有限公司 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068831A (ja) * 2013-09-30 2015-04-13 本田技研工業株式会社 機能拡張された３次元（３−ｄ）ナビゲーション

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960705248A (ko) * 1994-07-15 1996-10-09 모리시다 요이치 헤드업 디스플레이 장치, 액정 디스플레이 패널 및 그 제조방법
US8427395B2 (en) * 2009-04-02 2013-04-23 GM Global Technology Operations LLC Full-windshield hud enhancement: pixelated field of view limited architecture
JP2012208111A (ja) 2011-12-05 2012-10-25 Pioneer Electronic Corp 画像表示装置及び制御方法
JP5702476B2 (ja) 2012-01-26 2015-04-15 パイオニア株式会社 表示装置、制御方法、プログラム、記憶媒体
US9064420B2 (en) * 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
JP6107354B2 (ja) * 2013-04-15 2017-04-05 オムロン株式会社 画像表示装置、画像表示装置の制御方法、画像表示プログラム、および、これを記録したコンピュータ読み取り可能な記録媒体
CN104503092B (zh) * 2014-11-28 2018-04-10 深圳市魔眼科技有限公司 不同角度和距离自适应的三维显示方法及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068831A (ja) * 2013-09-30 2015-04-13 本田技研工業株式会社 機能拡張された３次元（３−ｄ）ナビゲーション

Also Published As

Publication number Publication date
DE112016006725T5 (de) 2018-12-27
CN109073403A (zh) 2018-12-21
JP6385621B2 (ja) 2018-09-05
US20190102948A1 (en) 2019-04-04
JPWO2017199347A1 (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
US20200333159A1 (en) Method and apparatus for displaying virtual route
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US8395490B2 (en) Blind spot display apparatus
JP4696248B2 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
CN111046743B (zh) 一种障碍物信息标注方法、装置、电子设备和存储介质
US20170096106A1 (en) Video synthesis system, video synthesis device, and video synthesis method
US20070009137A1 (en) Image generation apparatus, image generation method and image generation program
US11288785B2 (en) Virtual overlay system and method for occluded objects
US10891795B2 (en) Localization method and apparatus based on 3D color map
US20100315505A1 (en) Object motion detection system based on combining 3d warping techniques and a proper object motion detection
CN111460865A (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
JP6239186B2 (ja) 表示制御装置及び表示制御方法及び表示制御プログラム
US11869162B2 (en) Apparatus and method with virtual content adjustment
JP2020032866A (ja) 車両用仮想現実提供装置、方法、及びコンピュータ・プログラム
US11562576B2 (en) Dynamic adjustment of augmented reality image
WO2022173647A1 (en) Synthesizing three-dimensional visualizations from perspectives of onboard sensors of autonomous vehicles
JP5825713B2 (ja) 車両用危険場面再現装置
CN112639822B (zh) 一种数据处理方法及装置
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP7337617B2 (ja) 推定装置、推定方法及びプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP6214798B1 (ja) 支援画像表示装置、支援画像表示方法及び支援画像表示プログラム
CN116612459B (zh) 目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018517978

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16902366

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16902366

Country of ref document: EP

Kind code of ref document: A1