WO2012131871A1 - 情報表示装置、制御方法、プログラム、及び記憶媒体 - Google Patents

情報表示装置、制御方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2012131871A1
WO2012131871A1 PCT/JP2011/057615 JP2011057615W WO2012131871A1 WO 2012131871 A1 WO2012131871 A1 WO 2012131871A1 JP 2011057615 W JP2011057615 W JP 2011057615W WO 2012131871 A1 WO2012131871 A1 WO 2012131871A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
obstacle
display
dangerous
control unit
Prior art date
Application number
PCT/JP2011/057615
Other languages
English (en)
French (fr)
Inventor
田村　雄一
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2011545967A priority Critical patent/JP4909451B1/ja
Priority to PCT/JP2011/057615 priority patent/WO2012131871A1/ja
Publication of WO2012131871A1 publication Critical patent/WO2012131871A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles

Definitions

  • the present invention relates to a technique for displaying information based on an image taken from a moving body.
  • Patent Document 1 when displaying a three-dimensional map generated based on map information and determining that there is a building that hides other vehicles based on vehicle-to-vehicle communication, the building is translucent.
  • a technique for displaying the image is disclosed.
  • Patent Document 2 an image of a road and a three-dimensional building is displayed based on map data, and when it is detected that the blinker is turned on, an image of a three-dimensional building is based on the shape of the road ahead.
  • a technique is disclosed in which a transparent display region for transparently displaying the image is defined and an image of a building in the region is transparently displayed.
  • the display of traffic lights necessary for driving and the display of notable objects (dangerous objects) such as pedestrians may be hidden by obstacles.
  • the present invention has been made to solve the above-described problems, and provides an information display device that can display through an obstacle preferably when performing guidance display based on a live-action image. Main purpose.
  • the first aspect of the present invention is the first acquisition means for acquiring a real image obtained by photographing a predetermined direction from the current position of the moving body, and the first image capturing target included in the real image includes the first image capturing unit in the predetermined direction.
  • a means for identifying an obstacle that forms a blind spot a second acquisition means for acquiring an image of a second imaging target that can be acquired by the first acquisition means when there is no obstacle, and the first Display control means for transmitting the obstacle and displaying the photographed image on a display means on the basis of two images to be photographed.
  • FIG. 1 shows a schematic configuration of an information display system common to each embodiment.
  • (A) shows an example of a camera image generated while traveling in a predetermined place.
  • (B) shows an example of a reference image corresponding to (a). It is an example of the display image produced
  • (A) shows an example of the camera image image
  • (B) is an example of the display image produced
  • the information display device includes first acquisition means for acquiring a photographed image obtained by photographing a predetermined direction from the current position of the moving object, and a first photographing object included in the photographed image.
  • first acquisition means for acquiring a photographed image obtained by photographing a predetermined direction from the current position of the moving object, and a first photographing object included in the photographed image.
  • a specifying unit that specifies an obstacle that forms a blind spot with respect to the predetermined direction, and a second imaging target image that can be acquired by the first acquisition unit when there is no obstacle.
  • Second acquisition means, and display control means for causing the obstacle to pass through and displaying the actual photographed image on the display means based on the second image to be photographed.
  • the first acquisition means acquires a live-action image taken in a predetermined direction from the current position of the moving body.
  • the specifying unit specifies an obstacle that forms a blind spot with respect to a predetermined direction among the first shooting targets included in the photographed image.
  • the second acquisition unit acquires an image of the second imaging target that can be acquired by the first acquisition unit when there is no obstacle.
  • the display control unit causes the obstacle to pass through and displays the photographed image on the display unit based on the image of the second imaging target.
  • the display control unit includes a transmission image generation unit that performs transmission processing on the real image acquired by the first acquisition unit and generates a transmission image.
  • the obstacle is transmitted by displaying the image of the second imaging target in an overlapping manner.
  • the information display device can preferably transmit the obstacle and display the blind spot portion formed by the obstacle.
  • the second acquisition unit acquires the image of the second imaging target at a timing different from the time when the first acquisition unit acquires the photographed image.
  • the information display device can preferably acquire the image of the second imaging target and display a real image through which an obstacle is transmitted.
  • the image of the second imaging target is an image captured by the moving body or another moving body
  • the second acquisition unit uses the image of the second imaging target.
  • the image of the second shooting target is acquired from the server device that stores the image.
  • the information display device can preferably acquire the image of the second imaging target and display a real image through which an obstacle is transmitted.
  • a dangerous substance specifying means for specifying a dangerous article to be noted in driving present in a blind spot formed by the obstacle
  • a dangerous substance display determining means for determining a display representing the dangerous article.
  • the display control means superimposes a display representing the dangerous substance determined by the dangerous substance display determination means on the transmitted display of the obstacle.
  • the “dangerous material” is a predetermined object to be noted in driving, and refers to an object that moves actively or passively, such as a pedestrian, an animal, or a luggage.
  • the dangerous goods specifying means specifies the type of the dangerous goods
  • the display dangerous goods display determining means displays the dangerous goods based on the type of the dangerous goods. decide.
  • the information display apparatus can make a driver
  • a control method executed by an information display device the first acquisition step of acquiring a live-action image taken in a predetermined direction from the current position of the moving body, and the real-image image
  • the information display device can suitably transmit the obstacle and display the blind spot portion formed by the obstacle.
  • a program executed by the information display device wherein first acquisition means for acquiring a live-action image obtained by photographing a predetermined direction from the current position of the moving body, Among the first imaging targets included, a specifying unit that identifies an obstacle that forms a blind spot with respect to the predetermined direction, and a second imaging target that can be acquired by the first acquisition unit when there is no obstacle
  • the information display device is caused to function as a second acquisition unit that acquires the image, and a display control unit that transmits the obstacle and displays the photographed image on the display unit based on the image of the second imaging target.
  • the information display device can suitably transmit the obstacle and display the blind spot portion formed by the obstacle.
  • the above program is stored in a storage medium.
  • “dangerous goods” refers to things that should be noted in driving, for example, active or passively moving objects such as pedestrians, animals, and luggage.
  • “Static obstacle” refers to a movable obstacle registered in map data such as a building, and “dynamic obstacle” is not likely to be registered in map data. A movable obstacle such as a vehicle.
  • FIG. 1 shows a schematic configuration of an information display system common to each embodiment of the present invention.
  • the Example demonstrated below is an example which applied the information display apparatus of this invention to the navigation apparatus of the vehicle.
  • the information display system includes a server device 1, a plurality of vehicles (here, vehicle 2, vehicle 2A, vehicle 2B) and a communication network 5 such as the Internet.
  • a server device 1 a plurality of vehicles (here, vehicle 2, vehicle 2A, vehicle 2B) and a communication network 5 such as the Internet.
  • the server device 1 is configured to be able to communicate with a plurality of vehicles, and manages images (also referred to as “reference images Iref”) taken by each vehicle.
  • the server device 1 includes a reference image database (hereinafter, the database is referred to as “DB”) 10, and stores a captured image transmitted from each vehicle as a reference image Iref.
  • the server apparatus 1 stores only the captured image in which the dynamic obstacle is not displayed among the captured images transmitted from the respective vehicles as the reference image Iref in the reference image DB 10.
  • the reference image Iref is an example of the “second imaging target image” in the present invention.
  • the reference image DB 10 stores each reference image Iref in association with information on its shooting position and shooting direction. Then, the server device 1 transmits the reference image Iref to the vehicle 2 based on a request from the vehicle 2.
  • the vehicle 2 includes a front camera 27, a back camera 28, and a navigation device 20.
  • the front camera 27 is mounted on the vehicle 2 and is installed at a position where the traveling direction of the vehicle 2 is photographed.
  • the front camera 27 outputs the captured image (also referred to as “camera image If”) to the navigation device 20.
  • the back camera 28 is mounted on the vehicle 2 and is installed at a position for photographing the backward direction of the vehicle 2.
  • the back camera 28 outputs the captured image (also referred to as “camera image Ib”) to the navigation device 20.
  • the camera images If and Ib are examples of the “real image” in the present invention.
  • the navigation device 20 includes a storage unit 21, a control unit 22, a wireless communication unit 23, a GPS receiver 24, and a display unit 25.
  • the storage unit 21 stores information necessary for the control of the control unit 22.
  • the storage unit 21 includes a map DB 210.
  • the map DB 210 stores map information necessary for processing such as map display and route guidance by the navigation device 20.
  • the wireless communication unit 23 executes a communication process for communicating with the server device 1 through the communication network 5. Normally, the wireless communication unit 23 communicates with the server device 1 by wireless communication using a communication function such as a mobile phone or a portable terminal device.
  • the GPS receiver 24 detects the absolute position (current position) of the vehicle 2 from latitude and longitude information received from a plurality of GPS satellites. Then, the GPS receiver 24 transmits the acquired current position information to the control unit 22 at a constant or indefinite period.
  • the display unit 25 is composed of, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.
  • the control unit 22 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and controls the navigation device 20 as a whole.
  • the control unit 22 includes an image processing engine and performs image processing of the camera images If and Ib. Then, the control unit 22 generates an image to be displayed on the display unit 25 (hereinafter also referred to as “display image Iv”) using the camera images If and Ib and the reference image Iref. Then, the control unit 22 in the present invention “first acquisition means”, “specification means”, “second acquisition means”, “display control means”, “transparent image generation means”, “dangerous material specification means”, and It functions as “dangerous goods display determining means”.
  • the control unit 22 detects a dynamic obstacle that forms a blind spot from the camera image If, the control obstacle 22 makes the dynamic obstacle translucent, and a traffic light or the like that exists in the blind spot part. A display image Iv in which the predetermined object is visible is generated. Thereby, the control part 22 displays the traffic light etc. in the blind spot of a dynamic obstruction, and improves the convenience.
  • FIG. 2A shows an example of a camera image If generated while traveling in a predetermined place.
  • FIG. 2B shows an example of a reference image Iref taken in the same direction at or near the same location as FIG.
  • control unit 22 detects from the camera image If that there is a dynamic obstacle that hinders the display of the traffic light.
  • the control unit 22 specifies the track 41 as a dynamic obstacle from the camera image If shown in FIG.
  • the control unit 22 detects the traffic signal from the camera image If by a technique such as pattern matching. Then, when the traffic light can be detected from the camera image If, it is determined that there is no dynamic obstacle. On the other hand, when the traffic signal cannot be detected from the camera image If, the control unit 22 determines that there is a dynamic obstacle, and displays a region including a portion estimated to display the traffic signal as a dynamic obstacle display. This is an area. In another example, the control unit 22 divides the camera image If into similar pixels that are close to each other, and an area other than the sky or the road that includes a predetermined pixel or more is defined as a dynamic obstacle display area. Identify.
  • the control unit 22 transmits the request information for the reference image Iref to the server device 1, and the server device 1 receives the reference image Iref (see FIG. 2B) corresponding to the camera image If shown in FIG. Receive from.
  • the above-described request information includes information on the current position specified by the GPS receiver 24 and information on the shooting direction of the camera image If (that is, the traveling direction of the vehicle 2).
  • control part 22 produces
  • An image processing method for making the track 41 translucent will be specifically described with reference to a flowchart of FIG. 4 to be described later.
  • FIG. 3 is an example of a display image Iv generated based on the camera image If shown in FIG. 2A and the reference image Iref shown in FIG. In FIG. 3 and subsequent figures, for the sake of convenience, it is assumed that a spotted region indicates a translucent portion.
  • the navigation apparatus 20 can assist driving
  • FIG. 4 is an example of a flowchart showing a processing procedure executed by the control unit 22 in the first embodiment.
  • the control unit 22 repeatedly executes the processing of the flowchart shown in FIG. 4 according to a predetermined cycle.
  • control unit 22 detects a dynamic obstacle from the camera image If (step S101).
  • control part 22 acquires the reference image Iref from the server apparatus 1 (step S102).
  • control unit 22 transmits the reference image Iref corresponding to the camera image If from the server device 1 by transmitting information on the traveling direction that is the shooting direction of the camera image If and the current position to the server device 1. Receive.
  • control unit 22 performs a translucent process for the camera image If (step S103).
  • the control unit 22 performs a transmission process on the camera image If to generate a transmission image.
  • the control unit 22 changes all pixel values of the camera image If so as to have predetermined transparency by the image processing engine.
  • the above-described transparency is determined in advance based on, for example, experiments and the like, considering the visibility when the display image Iv is generated.
  • control part 22 produces
  • control unit 22 generates a display image Iv in which the reference image Iref and the translucent camera image If are superimposed. Thereby, the display image Iv which displayed both the dynamic obstacle and the target object in the blind spot formed by the dynamic obstacle is generated.
  • control unit 22 displays the display image Iv on the display unit 25 (step S105).
  • the navigation apparatus 20 can display both a dynamic obstacle and the target object in the blind spot formed by the dynamic obstacle, and can assist driving
  • the control unit 22 replaces or in addition to the first embodiment with a camera image Ib indicating a dangerous object partially blocked by a dynamic obstacle. Is detected, the dynamic obstacle is displayed in a translucent manner, and a display corresponding to the dangerous object is superimposed on the display of the dynamic obstacle. As a result, the control unit 22 clearly displays the presence of the dangerous substance on the display image Iv and preferably alerts the driver.
  • FIG. 5 is an example of a flowchart showing a processing procedure executed by the control unit 22 in the second embodiment.
  • FIG. 6 is a schematic diagram specifically showing the processing of the flowchart of FIG. FIG. 6 shows a specific example of processing for the camera image Ib taken when performing parallel parking.
  • a stopped vehicle 42, a pedestrian 43 partially hidden by the stopped vehicle 42, and a luggage 44 held by the pedestrian 43 are displayed.
  • the control unit 22 detects a dynamic obstacle from the camera image Ib (step S201).
  • the control part 22 detects the stop vehicle 42 as a dynamic obstruction from the camera image Ib.
  • the control unit 22 acquires the reference image Iref taken from the same position and the same direction as the camera image Ib from the server device 1 and compares the reference image Iref with the camera image Ib. Then, the control unit 22 determines that the stopped vehicle 42 displayed in the camera image Ib is not in the reference image Iref, and sets the stopped vehicle 42 as a dynamic obstacle. As described above, the control unit 22 compares the camera image Ib with the reference image Iref, and determines what is not displayed in the reference image Iref as a dynamic obstacle.
  • the control unit 22 determines whether or not a dangerous object partially hidden behind a dynamic obstacle has been detected (step S202). For example, the control unit 22 determines whether or not there is a moving object in the vicinity of the display area of the dynamic obstacle from the camera image Ib obtained in chronological order. Consider it a thing. Here, as shown to Fig.6 (a), the control part 22 considers the pedestrian 43 holding the load 44 which exists in the blind spot which the stop vehicle 42 forms as a dangerous article. At this time, the control unit 22 specifies that the dangerous substance is a person from the display portion such as the face of the pedestrian 43 based on, for example, a well-known image recognition technique.
  • step S203 When the control unit 22 determines that a dangerous object partially hidden behind the dynamic obstacle has been detected (step S202; Yes), the control unit 22 performs a translucency process for the dynamic obstacle (step S203). For example, as in the first embodiment, the control unit 22 performs the translucency processing of the camera image Ib so as to have a predetermined transparency, and further superimposes the reference image Iref on the camera image Ib. Thereby, as shown in FIG.6 (b), the stop vehicle 42 becomes translucent. On the other hand, the control part 22 complete
  • the control unit 22 selects graphics (computer graphics) to be displayed as a dangerous substance (step S204). Specifically, for example, based on a well-known image recognition technique, the control unit 22 performs pattern matching to specify what kind of object the dangerous substance is, and selects graphics corresponding to the specified type.
  • the control unit 22 identifies the dangerous object as a human (pedestrian) and selects a graphic 45 representing the human (pedestrian).
  • the control part 22 memorize
  • the control unit 22 generates a display image Iv in which the graphics 45 selected in step S204 is superimposed on the camera image Ib in which the dynamic obstacle is translucent, and displays the display image Iv on the display unit 25 (step S205). ).
  • the control unit 22 superimposes the graphics 45 on the camera image Ib by superimposing it on the recognized display position of the dangerous substance.
  • the control unit 22 if the camera image Ib is superimposed and displayed from above the graphics 45 indicating the dangerous object, it will be behind the vehicle (depth side) as seen from the driver. It becomes easier to recognize that there are pedestrians.
  • this enables the control unit 22 to clearly display the presence of the pedestrian 43 that is partially hidden in the captured camera image Ib on the display image Iv, and to clearly identify dangerous objects that are difficult to visually recognize. To alert the driver to alert.
  • the control unit 22 detects a static obstacle registered in map data such as a building from the camera image If. In addition to making the static obstacle translucent, graphics corresponding to a dangerous object and a road existing in a blind spot formed by the static obstacle are superimposed and displayed. Thereby, the control part 22 assists a driving
  • FIG. 7A shows an example of a camera image If taken immediately before traveling at a right turn point.
  • a building 47 that is a static obstacle is displayed at the right turn point. In this case, the user cannot determine whether there is a dangerous object in the blind spot formed by the building 47.
  • the control unit 22 generates a display image Iv that displays dangerous objects and roads in the blind spot of the building 47.
  • FIG. 7B is an example of a display image Iv generated based on the camera image If of FIG.
  • the control unit 22 determines whether or not there is a dangerous substance in the blind spot of the building 47 based on the prior art for dangerous goods recognition. For example, in this case, the control unit 22 acquires an image by wireless communication from a camera (not shown) provided on the road where the blind spot portion of the building 47 is photographed, and determines whether there is a dangerous object based on the image. To do.
  • the control part 22 shall detect the pedestrian who is a dangerous material.
  • the control unit 22 makes the display of the building 47 that is a static obstacle translucent. Specifically, the control unit 22 deletes the display of the building 47 displayed in the camera image If and superimposes a semi-transparent image (transparent image) of the building 47 generated in advance on the camera image If.
  • the navigation apparatus 20 stores in advance in the map DB 210 a semi-transparent image of a facility that becomes a static obstacle among facilities registered in the map DB 210 as facility information of the facility.
  • control unit 22 selects a graphic corresponding to the detected dangerous object and a graphic representing the road in the blind spot from a plurality of types of graphics stored in the storage unit 21 in advance and superimposes them on the camera image If.
  • the control unit 22 superimposes and displays the pedestrian graphics 49 and the road graphics 50 hidden in the building 47 on the camera image If in which the building 47 is translucent.
  • the control unit 22 may dynamically generate the road graphics based on the road shape or the like of the portion displayed in the camera image If.
  • control unit 22 can clearly notify the user that a road and a pedestrian are present in the back of the building 47.
  • control unit 22 may further add a route guidance display such as an arrow to the display image Iv.
  • control unit 22 determines that there is no dangerous object in the blind spot of the static obstacle, if the road to be traveled exists in the blind spot of the static obstacle, the static obstacle May be translucent. In this case, the control unit 22 superimposes only the graphics of the road hidden behind the static obstacle on the camera image If. Thereby, the control part 22 can notify a driver
  • FIG. 8 is an example of a flowchart showing the processing procedure of the third embodiment.
  • the control unit 22 repeatedly executes the process shown in FIG. 8 according to a predetermined cycle.
  • control unit 22 detects a static obstacle (step S301).
  • control unit 22 refers to the map DB 210 based on the current position, and detects a static obstacle near the destination road.
  • control unit 22 searches the map DB 210 for a translucent image of the detected static obstacle (step S302). And the control part 22 cuts out the display area of a static obstruction from the camera image If (step S303). For example, the control unit 22 replaces the display area of the static obstacle with a predetermined uniform pixel value from the camera image If.
  • control unit 22 pastes a semi-transparent image of a static obstacle on the camera image If (step S304). Then, the control unit 22 selects graphics to be displayed as dangerous goods and roads (step S305).
  • control part 22 produces
  • the control unit 22 can appropriately notify the driver of the presence of the dangerous substance.
  • the control unit 22 detects a dynamic obstacle from the camera image Ib, renders the dynamic obstacle translucent, and displays dangerous object graphics.
  • the method to which the present invention is applicable is not limited to this. Instead of this, or in addition to this, the control unit 22 detects a dynamic obstacle from the camera image If, makes the dynamic obstacle translucent, and displays graphics of the dangerous substance. Also good.
  • the control unit 22 specifies the type of dangerous goods and displays graphics corresponding to the type of dangerous goods on the display image Iv.
  • the method to which the present invention is applicable is not limited to this.
  • the control unit 22 may display the dangerous substance in the display image Iv with a predetermined mark such as a surprise mark. Also by this, the control part 22 can notify a driver
  • control unit 22 may display the edge portion of the obstacle that has been made translucent in the display image Iv by emphasizing it by blinking display, bold line display, or the like. .
  • control unit 22 may change and display the contrast or color of the obstacle to be translucent.
  • the control unit 22 may change the transparency thereof. For example, in the second embodiment, when there are a plurality of stopped vehicles in the camera image Ib and each of the dangerous objects is hidden in the camera image Ib, the control unit 22 determines the transparency of the stopped vehicle having the largest area in the camera image Ib. The transparency of the other stopped vehicles is made lower than that of the other stopped vehicles, and the graphics of the dangerous objects to be superimposed on the former stopped vehicles are made conspicuous.
  • control unit 22 may highlight the target graphics to be focused on compared to other graphics.
  • the target to be noted is, for example, a person, and specifically refers to a predetermined type of dangerous goods.
  • control unit 22 can preferably make the driver alert the driver by making the dangerous object hidden behind the obstacle stand out.
  • the configuration of the information display system in FIG. 1 is an example, and the configuration to which the present invention is applicable is not limited to this.
  • the navigation device 20 may not have the back camera 28.
  • the control unit 22 generates the display image Iv using the camera image If based on the first to third embodiments.
  • the control unit 22 displays the dangerous object hidden in the static obstacle and the graphics of the road on the display image Iv.
  • the control unit 22 may cause the display image Iv to display graphics of dangerous objects and objects other than roads. For example, when the tree is hidden in addition to the pedestrian 49 behind the building 47 shown in FIG. 7A, the control unit 22 displays the graphics of the tree in the display image Iv shown in FIG. 7B. It may be displayed.
  • the present invention can be suitably applied to an in-vehicle navigation device, a PND (Personal Navigation Device), and other devices that display information.
  • a PND Personal Navigation Device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　情報表示装置は、第一取得手段と、特定手段と、第二取得手段と、表示制御手段と、を備える。第一取得手段は、移動体の現在位置から所定の方向を撮影した実写画像を取得する。特定手段は、実写画像に含まれる第一撮影対象のうち、所定の方向に対して死角を形成している障害物を特定する。第二取得手段は、障害物が無い場合に、第一取得手段が取得できる第二撮影対象の画像を取得する。表示制御手段は、第二撮影対象の画像に基づいて、障害物を透過させて実写画像を表示手段に表示させる。

Description

情報表示装置、制御方法、プログラム、及び記憶媒体
　本発明は、移動体から撮影された画像に基づき情報を表示する技術に関する。
　従来から、ナビゲーション装置などで地図を表示する際、一部の表示を半透明化する技術が知られている。例えば、特許文献１には、地図情報に基づき生成した３次元の地図を表示する際に、車－車間通信に基づき他の車両を隠す建築物があると判断した場合、当該建築物を半透明の画像で表示する技術が開示されている。また、特許文献２には、地図データに基づいて、道路および立体的な建物の画像を表示させ、ウィンカがオンされたことを検出すると、前方の道路形状に基づいて、立体的な建物の画像を透過的に表示させる透過表示領域を定め、その領域の建物の画像を透過的に表示させる技術が開示されている。
特開２００５－２０７９４３号公報 特開２００４－２３３５３８号公報
　カメラで撮影した実写画像に基づき案内表示を行う場合、運転上必要な信号機の表示や、歩行者などの注目すべき物（危険物）の表示が、障害物によって隠れてしまう場合がある。
　本発明は、上記のような課題を解決するためになされたものであり、実写画像に基づき案内表示を行う際に、好適に障害物を透過して表示可能な情報表示装置を提供することを主な目的とする。
　請求項１に記載の発明は、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、を有することを特徴とする。
各実施例に共通した情報表示システムの概略構成を示す。 （ａ）は、所定の場所を走行中に生成されたカメラ画像の一例を示す。（ｂ）は、（ａ）に対応するリファレンス画像の一例を示す。 カメラ画像及びリファレンス画像に基づき生成された表示画像の一例である。 第１実施例の処理手順を示すフローチャートの一例である。 第２実施例の処理手順を示すフローチャートの一例である。 第２実施例の処理を具体的に示した図である。 （ａ）は、右折地点を走行する直前に撮影されたカメラ画像の一例を示す。（ｂ）は、（ａ）のカメラ画像に基づき生成された表示画像の一例である。 第３実施例の処理手順を示すフローチャートの一例である。
　本発明の好適な実施形態によれば、情報表示装置は、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、を有する。
　第一取得手段は、移動体の現在位置から所定の方向を撮影した実写画像を取得する。特定手段は、実写画像に含まれる第一撮影対象のうち、所定の方向に対して死角を形成している障害物を特定する。第二取得手段は、障害物が無い場合に、第一取得手段が取得できる第二撮影対象の画像を取得する。表示制御手段は、第二撮影対象の画像に基づいて、障害物を透過させて実写画像を表示手段に表示させる。このようにすることで、情報表示装置は、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
　上記の情報表示装置の一態様では、前記表示制御手段は、前記第一取得手段により取得された実写画像に透過処理を施し、透過画像を生成する透過画像生成手段を備え、前記透過画像と前記第二撮影対象の画像を重ねて表示することで、前記障害物を透過させる。この態様により、情報表示装置は、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
　上記の情報表示装置の一態様では、前記第二取得手段は、前記第一取得手段が前記実写画像を取得した時とは異なるタイミングで前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
　上記の情報表示装置の一態様では、前記第二撮影対象の画像は、前記移動体又は他の移動体により撮影された画像であり、前記第二取得手段は、前記第二撮影対象の画像を記憶するサーバ装置から、前記第二撮影対象の画像を取得する。この態様により、情報表示装置は、好適に、第二撮影対象の画像を取得し、障害物を透過させた実写画像を表示することができる。
　上記の情報表示装置の一態様では、前記障害物が形成する死角に存在する運転上注意すべき危険物を特定する危険物特定手段と、前記危険物を表す表示を決定する危険物表示決定手段と、をさらに備え、前記表示制御手段は、透過された前記障害物の表示に、前記危険物表示決定手段が決定した前記危険物を表す表示を重畳させることを特徴とする。ここで、「危険物」とは、運転上注意すべき対象として予め定められたものであって、例えば、歩行者、動物、荷物などの能動的又は受動的に動く物体を指す。このようにすることで、情報表示装置は、障害物に隠れた危険物を明確に表示させ、注意喚起を促すことができる。
　上記の情報表示装置の一態様では、前記危険物特定手段は、前記危険物の種類を特定し、前記表示危険物表示決定手段は、前記危険物の種類に基づき、前記危険物を表す表示を決定する。これにより、情報表示装置は、障害物に隠れた危険物を運転者により容易に特定させることができる。
　本発明の他の実施形態によれば、情報表示装置により実行される制御方法であって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得工程と、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定工程と、前記障害物が無い場合に、前記第一取得工程が取得できる第二撮影対象の画像を取得する第二取得工程と、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御工程と、を備える。情報表示装置は、この制御方法を用いることで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。
　本発明のさらに別の実施形態によれば、情報表示装置により実行されるプログラムであって、移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段、前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段、前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段、前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段、として前記情報表示装置を機能させる。情報表示装置は、このプログラムを搭載して実行することで、好適に、障害物を透過させ、障害物が形成した死角部分を表示させることができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な第１実施例乃至第３実施例について説明する。以後では、「危険物」とは、運転上注意すべきものを指し、例えば、歩行者、動物、荷物などの能動的又は受動的に動くものを指す。また、「静的障害物」とは、建物などの地図データに登録されている可動性のある障害物を指し、「動的障害物」とは、地図データに登録されている可能性がない車両などの可動性のある障害物を指す。
　［システム構成］
　図１は、本発明の各実施例に共通した情報表示システムの概略構成を示す。なお、以下に説明する実施例は、本発明の情報表示装置を車両のナビゲーション装置に適用した例である。
　図１に示すように、情報表示システムは、サーバ装置１と、複数の車両（ここでは、車両２、車両２Ａ、車両２Ｂ）と、インターネットなどの通信網５と、を有する。
　サーバ装置１は、複数の車両と通信可能に構成され、各車両で撮影された画像（「リファレンス画像Ｉｒｅｆ」とも呼ぶ。）を管理する。具体的には、サーバ装置１は、リファレンス画像データベース（以下、データベースを「ＤＢ」と表記する。）１０を備え、各車両から送信された撮影画像を、リファレンス画像Ｉｒｅｆとして記憶する。このとき、好適には、サーバ装置１は、各車両から送信された撮影画像のうち、動的障害物が表示されていない撮影画像のみを、リファレンス画像Ｉｒｅｆとしてリファレンス画像ＤＢ１０に記憶する。このように、リファレンス画像Ｉｒｅｆは、本発明における「第二撮影対象の画像」の一例である。
　また、リファレンス画像ＤＢ１０は、各リファレンス画像Ｉｒｅｆを、その撮影位置及び撮影方向の情報と関連付けて記憶する。そして、サーバ装置１は、車両２からの要求に基づき、リファレンス画像Ｉｒｅｆを車両２に送信する。
　車両２は、フロントカメラ２７と、バックカメラ２８と、ナビゲーション装置２０とを備える。フロントカメラ２７は、車両２に搭載され、車両２の進行方向を撮影する位置に設置される。フロントカメラ２７は、撮影した画像（「カメラ画像Ｉｆ」とも呼ぶ。）をナビゲーション装置２０へ出力する。
　同様に、バックカメラ２８は、車両２に搭載され、車両２の後進方向を撮影する位置に設置される。バックカメラ２８は、撮影した画像（「カメラ画像Ｉｂ」とも呼ぶ。）をナビゲーション装置２０へ出力する。カメラ画像Ｉｆ、Ｉｂは、本発明における「実写画像」の一例である。
　ナビゲーション装置２０は、記憶部２１と、制御部２２と、無線通信部２３と、ＧＰＳ受信機２４と、表示部２５と、を備える。
　記憶部２１は、制御部２２の制御に必要な情報を記憶する。記憶部２１は、地図ＤＢ２１０を備える。地図ＤＢ２１０は、ナビゲーション装置２０による地図表示や経路案内などの処理に必要な地図情報を記憶している。
　無線通信部２３は、通信網５を通じてサーバ装置１と通信するための通信処理を実行する。通常、無線通信部２３は、携帯電話、携帯型端末装置などの通信機能を利用し、無線通信によりサーバ装置１と通信する。
　ＧＰＳ受信機２４は、複数のＧＰＳ衛星等から受信した緯度及び経度情報等から車両２の絶対的な位置（現在位置）を検出する。そして、ＧＰＳ受信機２４は、取得した現在位置の情報を制御部２２へ一定又は不定の周期で送信する。
　表示部２５は、例えば対角５～１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
　制御部２２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでおり、ナビゲーション装置２０全体を制御する。また、制御部２２は、画像処理エンジンを備え、カメラ画像Ｉｆ、Ｉｂの画像処理を行う。そして、制御部２２は、カメラ画像Ｉｆ、Ｉｂ及びリファレンス画像Ｉｒｅｆを用いて、表示部２５に表示させる画像（以後、「表示画像Ｉｖ」とも呼ぶ。）を生成する。そして、制御部２２は、本発明における「第一取得手段」、「特定手段」、「第二取得手段」、「表示制御手段」、「透過画像生成手段」、「危険物特定手段」、及び「危険物表示決定手段」として機能する。
　［第１実施例］
　第１実施例では、概略的には、制御部２２は、死角を形成する動的障害物をカメラ画像Ｉｆから検出した場合、当該動的障害物を半透明化し、死角部分に存在する信号機等の所定の対象物を視認可能にした表示画像Ｉｖを生成する。これにより、制御部２２は、制御部２２は、動的障害物の死角にある信号機などを表示させ、利便性を向上させる。
　これについて、図２及び図３を参照して説明する。図２（ａ）は、所定の場所を走行中に生成されたカメラ画像Ｉｆの一例を示す。図２（ｂ）は、図２（ａ）と同一の場所又はその近傍で同一方向に向けて撮影されたリファレンス画像Ｉｒｅｆの一例を示す。
　まず、制御部２２は、カメラ画像Ｉｆから、信号機の表示を妨げる動的障害物があることを検出する。ここでは、制御部２２は、図２（ａ）に示すカメラ画像Ｉｆから、トラック４１を動的障害物として特定したものとする。
　ここで、動的障害物の特定方法について補足説明する。例えば、制御部２２は、地図データに基づき、現在位置が、信号機が見える位置であると判断した場合、カメラ画像Ｉｆから信号機をパターンマッチングなどの手法により検出する。そして、カメラ画像Ｉｆから信号機を検出できた場合、動的障害物がないと判断する。一方、制御部２２は、カメラ画像Ｉｆから信号機を検出できなかった場合、動的障害物があると判断し、信号機が表示されると推定される部分を含む領域を、動的障害物の表示領域とする。他の例では、制御部２２は、カメラ画像Ｉｆを近接した類似画素ごとに領域分割し、空や道路以外の領域であって、所定画素以上を含む領域を、動的障害物の表示領域と特定する。
　次に、制御部２２は、リファレンス画像Ｉｒｅｆの要求情報をサーバ装置１に送信し、図２（ａ）に示すカメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆ（図２（ｂ）参照）をサーバ装置１から受信する。ここで、上述の要求情報は、ＧＰＳ受信機２４により特定した現在位置の情報と、カメラ画像Ｉｆの撮影方向（即ち、車両２の進行方向）の情報とを含む。
　そして、制御部２２は、カメラ画像Ｉｆと、当該リファレンス画像Ｉｒｅｆとに基づき、トラック４１に半透明化処理（透過処理）を施した表示画像Ｉｖを生成する。トラック４１を半透明化する画像処理方法については、後述する図４のフローチャートを用いて具体的に説明する。
　図３は、図２（ａ）に示すカメラ画像Ｉｆ及び図２（ｂ）に示すリファレンス画像Ｉｒｅｆに基づき生成された表示画像Ｉｖの一例である。なお、図３以降では、便宜上、斑点が付された領域は、半透明部分を示すものとする。
　図３に示す表示画像Ｉｖでは、トラック４１が半透明化されていることにより、トラック４１の死角に存在した信号機５１が表示されている。このように、動的障害物を半透明化した表示画像Ｉｖを生成し、表示部２５に表示させることで、ナビゲーション装置２０は、運転を好適に補助することができる。
　図４は、第１実施例で制御部２２が実行する処理手順を示すフローチャートの一例である。制御部２２は、図４に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
　まず、制御部２２は、カメラ画像Ｉｆから動的障害物を検出する（ステップＳ１０１）。次に、制御部２２は、サーバ装置１からリファレンス画像Ｉｒｅｆを取得する（ステップＳ１０２）。具体的には、制御部２２は、カメラ画像Ｉｆの撮影方向である進行方向と現在位置との情報をサーバ装置１へ送信することで、カメラ画像Ｉｆに対応するリファレンス画像Ｉｒｅｆをサーバ装置１から受信する。
　次に、制御部２２は、カメラ画像Ｉｆの半透明化処理を行う（ステップＳ１０３）。言い換えると、制御部２２は、カメラ画像Ｉｆに透過処理を施し、透過画像を生成する。具体的には、制御部２２は、画像処理エンジンにより、所定の透明度を有するように、カメラ画像Ｉｆの全画素値を変更する。上述の透明度は、例えば、実験等に基づき、表示画像Ｉｖを生成した際の視認性等を勘案して予め定められる。
　そして、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを合成した表示画像Ｉｖを生成する（ステップＳ１０４）。言い換えると、制御部２２は、リファレンス画像Ｉｒｅｆと、半透明化したカメラ画像Ｉｆとを重畳させた表示画像Ｉｖを生成する。これにより、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示した表示画像Ｉｖが生成される。
　次に、制御部２２は、表示画像Ｉｖを表示部２５に表示させる（ステップＳ１０５）。これにより、ナビゲーション装置２０は、動的障害物と、動的障害物により形成された死角にある対象物とを両方表示させ、運転を好適に補助することができる。
　［第２実施例］
　次に、第２実施例について説明する。概略的には、第２実施例では、制御部２２は、第１実施例に代えて、又はこれに加えて、動的障害物により一部の表示が妨げられている危険物をカメラ画像Ｉｂから検出した場合、当該動的障害物を半透明化して表示すると共に、当該動的障害物の表示上に、当該危険物に相当する表示を重畳させる。これにより、制御部２２は、危険物の存在を表示画像Ｉｖ上で明確に表示し、好適に運転者の注意喚起を行う。
　これについて、図５、図６を参照して具体的に説明する。図５は、第２実施例において、制御部２２が実行する処理手順を示すフローチャートの一例である。図６は、図５のフローチャートの処理を具体的に示す概要図である。なお、図６は、縦列駐車を行う場合に撮影されたカメラ画像Ｉｂを対象とした処理の具体例を示す。図６に示すカメラ画像Ｉｂには、停車車両４２と、停車車両４２により一部非表示となっている歩行者４３と、歩行者４３に抱えられた荷物４４と、が表示されている。
　まず、制御部２２は、カメラ画像Ｉｂから動的障害物を検出する（ステップＳ２０１）。ここでは、図６（ａ）に示すように、制御部２２は、カメラ画像Ｉｂから動的障害物として停車車両４２を検出する。例えば、制御部２２は、この場合、カメラ画像Ｉｂと同一位置かつ同一方向から撮影されたリファレンス画像Ｉｒｅｆをサーバ装置１から取得し、当該リファレンス画像Ｉｒｅｆと、カメラ画像Ｉｂとを比較する。そして、制御部２２は、カメラ画像Ｉｂで表示された停車車両４２がリファレンス画像Ｉｒｅｆにはないと判断し、当該停車車両４２を動的障害物に定める。このように、制御部２２は、カメラ画像Ｉｂとリファレンス画像Ｉｒｅｆとを比較し、リファレンス画像Ｉｒｅｆには表示されていないものを動的障害物に定める。
　次に、制御部２２は、動的障害物に一部隠れた危険物を検出したか否か判定する（ステップＳ２０２）。例えば、制御部２２は、時系列で得られたカメラ画像Ｉｂから、動的障害物の表示領域の近傍に動く物体が存在するか否か判定し、当該物体が存在する場合、当該物体を危険物とみなす。ここでは、図６（ａ）に示すように、制御部２２は、停車車両４２が形成する死角に存在する荷物４４を抱えた歩行者４３を、危険物とみなす。また、このとき、制御部２２は、例えば周知の画像認識技術に基づき、歩行者４３の顔等の表示部分から、危険物が人であることを特定する。
　そして、制御部２２は、動的障害物に一部隠れた危険物を検出したと判断した場合（ステップＳ２０２；Ｙｅｓ）、動的障害物の半透明化処理を行う（ステップＳ２０３）。例えば、制御部２２は、第１実施例と同様、所定の透明度を有するようにカメラ画像Ｉｂの半透明化処理を行い、さらに当該カメラ画像Ｉｂにリファレンス画像Ｉｒｅｆを重畳させる。これにより、図６（ｂ）に示すように、停車車両４２が半透明化される。一方、制御部２２は、動的障害物に一部隠れた危険物を検出しなかった場合（ステップＳ２０２；Ｎｏ）、フローチャートの処理を終了する。
　次に、制御部２２は、危険物として表示させるグラフィックス（コンピュータグラフィックス）を選択する（ステップＳ２０４）。具体的には、制御部２２は、例えば周知の画像認識技術に基づき、危険物がどの種類の物体であるかパターンマッチングを行い特定し、特定した種類に対応するグラフィックスを選択する。ここでは、図６（ｃ）に示すように、制御部２２は、危険物を人間（歩行者）であると特定し、人間（歩行者）を表すグラフィックス４５を選択する。なお、制御部２２は、認識可能な危険物の種類にそれぞれ対応するグラフィックスを予めメモリに記憶しておく。
　そして、制御部２２は、動的障害物が半透明化されたカメラ画像Ｉｂに、ステップＳ２０４で選択したグラフィックス４５を重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ２０５）。このとき、図６（ｄ）に示すように、制御部２２は、認識した危険物の表示位置に重畳させて、グラフィックス４５をカメラ画像Ｉｂに重畳させる。このとき、図６（ｄ）に示すように、危険物を示すグラフィックス４５の上からカメラ画像Ｉｂを重畳させて表示するようにすれば、運転者から見て車両の後方（奥行き側）に歩行者が存在しているということが認識しやすくなる。また、これにより、制御部２２は、撮影したカメラ画像Ｉｂでは一部非表示となっていた歩行者４３の存在を、明確に表示画像Ｉｖに表示させることができ、視認しにくい危険物を明確に表示して運転者に注意喚起を促すことができる。
　［第３実施例］
　第３実施例では、第１、第２実施例に代えて、又はこれに加えて、制御部２２は、建物等の地図データに登録されている静的障害物をカメラ画像Ｉｆから検出した場合、当該静的障害物を半透明化すると共に、静的障害物が形成する死角に存在する危険物及び道路に相当するグラフィックスを重畳表示する。これにより、制御部２２は、運転を好適に補助する。
　これについて、図７を参照して説明する。図７（ａ）は、右折地点を走行する直前に撮影されたカメラ画像Ｉｆの一例を示す。図７（ａ）に示すように、カメラ画像Ｉｆでは、右折地点に静的障害物である建物４７が表示されている。この場合、ユーザは、建物４７が形成する死角に、危険物があるか否か判別することができない。
　従って、この場合、制御部２２は、建物４７の死角にある危険物及び道路を表示した表示画像Ｉｖを生成する。図７（ｂ）は、図７（ａ）のカメラ画像Ｉｆに基づき生成された表示画像Ｉｖの一例である。
　ここで、図７（ｂ）に示す表示画像Ｉｖを生成する具体的な処理について説明する。まず、制御部２２は、危険物認識の先行技術などに基づき、建物４７の死角に危険物が存在するか否か判定する。例えば、この場合、制御部２２は、建物４７の死角部分を撮影する路上に設けられたカメラ（不図示）から無線通信により画像を取得し、当該画像に基づき危険物が存在するか否か判定する。ここでは、制御部２２は、危険物である歩行者を検出したものとする。
　次に、制御部２２は、静的障害物である建物４７の表示を半透明化する。具体的には、制御部２２は、カメラ画像Ｉｆに表示された建物４７の表示を消去すると共に、予め生成された建物４７の半透明画像（透過画像）をカメラ画像Ｉｆに重畳させる。ここで、ナビゲーション装置２０は、例えば、地図ＤＢ２１０に登録されている施設のうち、静的障害物となる施設の半透明画像を、当該施設の施設情報として予め地図ＤＢ２１０に記憶しておく。
　さらに、制御部２２は、予め記憶部２１に記憶された複数種類のグラフィックスから、検出した危険物に対応するグラフィックス及び死角にある道路を表すグラフィックスを選択し、カメラ画像Ｉｆに重畳させて表示画像Ｉｖを生成する。図７（ｂ）では、制御部２２は、歩行者のグラフィックス４９と、建物４７に隠れた道路のグラフィックス５０とを、建物４７が半透明化されたカメラ画像Ｉｆに重畳表示している。なお、制御部２２は、道路のグラフィックスについては、カメラ画像Ｉｆに表示されている部分の道路形状等に基づき動的に生成してもよい。
　このようにすることで、制御部２２は、ユーザに、道路及び歩行者が建物４７の奥に存在することを明確に知らせることができる。また、制御部２２は、上述の処理に加えて、表示画像Ｉｖに、矢印などのルート案内表示をさらに付加してもよい。
　なお、制御部２２は、静的障害物の死角に危険物が存在しないと判断した場合であっても、静的障害物の死角に走行予定の道路が存在する場合には、静的障害物を半透明化してもよい。この場合、制御部２２は、静的障害物に隠れた道路のグラフィックスのみをカメラ画像Ｉｆに重畳させる。これにより、制御部２２は、走行する道路に危険物が存在しないことを運転者に知らせることができる。
　図８は、第３実施例の処理手順を示すフローチャートの一例である。制御部２２は、図８に示す処理を、所定の周期に従い繰り返し実行する。
　まず、制御部２２は、静的障害物を検出する（ステップＳ３０１）。例えば、制御部２２は、現在位置に基づき地図ＤＢ２１０を参照することで、走行先の道路近傍にある静的障害物を検出する。
　次に、制御部２２は、検出した静的障害物の半透明画像を地図ＤＢ２１０から検索する（ステップＳ３０２）。そして、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を切り取る（ステップＳ３０３）。例えば、制御部２２は、カメラ画像Ｉｆから静的障害物の表示領域を所定の均一の画素値に置き換える。
　次に、制御部２２は、カメラ画像Ｉｆに静的障害物の半透明画像を貼り付ける（ステップＳ３０４）。そして、制御部２２は、危険物及び道路として表示させるグラフィックスをそれぞれ選択する（ステップＳ３０５）。
　そして、制御部２２は、ステップＳ３０４を実行後のカメラ画像Ｉｂに、各グラフィックスを重畳させた表示画像Ｉｖを生成し、表示部２５に表示させる（ステップＳ３０６）。これにより、制御部２２は、静的障害物により死角が形成されている場合であっても、運転者に適切に危険物の存在を知らせることができる。
［変形例］
　以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の各実施例に適用することが可能である。
　（変形例１）
　第２実施例では、制御部２２は、カメラ画像Ｉｂから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、又は、これに加えて、制御部２２は、カメラ画像Ｉｆから動的障害物を検出し、当該動的障害物を半透明化すると共に、危険物のグラフィックスを表示させてもよい。
　（変形例２）
　第２実施例及び第３実施例では、制御部２２は、危険物の種類を特定し、表示画像Ｉｖに危険物の種類に対応するグラフィックスを表示させた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、制御部２２は、危険物をビックリマークなどの所定のマークで表示画像Ｉｖ中に表示させてもよい。これによっても、好適に、制御部２２は、危険物の存在を運転者に知らせることができる。
　（変形例３）
　第１実施例乃至第３実施例に加えて、制御部２２は、半透明化させた障害物のエッジ部分を点滅表示や太線表示などで強調させて、表示画像Ｉｖ中に表示させてもよい。他の例では、制御部２２は、半透明化させる障害物のコントラスト又は色を変更して表示してもよい。
　また、第２実施例及び第３実施例において、制御部２２は、半透明化させる障害物が１つのカメラ画像Ｉｆ又はカメラ画像Ｉｂに複数存在した場合、これらの透明度を異ならせてもよい。例えば、制御部２２は、第２実施例において、カメラ画像Ｉｂに、複数の停車車両が存在し、それぞれに危険物が隠れていた場合、カメラ画像Ｉｂに占める面積が最も大きい停車車両の透明度を、他の停車車両の透明度よりも低くし、前者の停車車両に重畳表示させる危険物のグラフィックスを目立たせる。
　また、制御部２２は、危険物や道路をグラフィックスにて表示させる場合、注目させたい対象のグラフィックスを他のグラフィックスに比べて強調表示させてもよい。ここで、注目させたい対象とは、例えば人であり、具体的には予め定められた種類の危険物を指す。
　これらの例によっても、制御部２２は、好適に、障害物に隠れた危険物等を目立たせて、運転者に注意喚起を促すことができる。
　（変形例４）
　図１の情報表示システムの構成は、一例であり、本発明が適用可能な構成は、これに限定されない。例えば、ナビゲーション装置２０は、バックカメラ２８を有しなくてもよい。この場合、制御部２２は、第１乃至第３実施例に基づき、カメラ画像Ｉｆを用いて、表示画像Ｉｖを生成する。
　（変形例５）
　第３実施例では、制御部２２は、静的障害物に隠された危険物及び道路のグラフィックスを表示画像Ｉｖに表示させた。しかし、これに加え、制御部２２は、危険物及び道路以外の物体のグラフィックスを表示画像Ｉｖに表示させてもよい。例えば、制御部２２は、図７（ａ）に示す建物４７の裏に歩行者４９に加えて、木が隠れていた場合、当該木のグラフィックスを図７（ｂ）に示す表示画像Ｉｖで表示させてもよい。
　本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｄｅｖｉｃｅ）、その他情報を表示する装置に好適に適用することができる。
　１　サーバ装置
　２、２Ａ、２Ｂ　車両
　５　通信網
　２０　ナビゲーション装置
　２７　フロントカメラ
　２８　バックカメラ

Claims (9)

  1. 　移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段と、
    　前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段と、
    　前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段と、
    　前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段と、
    　を有することを特徴とする情報表示装置。
  2. 　前記表示制御手段は、
    前記第一取得手段により取得された実写画像に透過処理を施し、透過画像を生成する透過画像生成手段を備え、
    　前記透過画像と前記第二撮影対象の画像を重ねて表示することで、前記障害物を透過させることを特徴とする、請求項１に記載の情報表示装置。
  3. 　前記第二取得手段は、前記第一取得手段が前記実写画像を取得した時とは異なるタイミングで前記第二撮影対象の画像を取得することを特徴とする請求項１に記載の情報表示装置。
  4. 　前記第二撮影対象の画像は、前記移動体又は他の移動体により撮影された画像であり、
    　前記第二取得手段は、前記第二撮影対象の画像を記憶するサーバ装置から、前記第二撮影対象の画像を取得することを特徴とする請求項１に記載の情報表示装置。
  5. 　前記障害物が形成する死角に存在する運転上注意すべき危険物を特定する危険物特定手段と、
    　前記危険物を表す表示を決定する危険物表示決定手段と、をさらに備え、
    　前記表示制御手段は、透過された前記障害物の表示に、前記危険物表示決定手段が決定した前記危険物を表す表示を重畳させることを特徴とする請求項１に記載の情報表示装置。
  6. 　前記危険物特定手段は、前記危険物の種類を特定し、
    　前記危険物表示決定手段は、前記危険物の種類に基づき、前記危険物を表す表示を決定することを特徴とする請求項５に記載の情報表示装置。
  7. 　情報表示装置により実行される制御方法であって、
    　移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得工程と、
    　前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定工程と、
    　前記障害物が無い場合に、前記第一取得工程が取得できる第二撮影対象の画像を取得する第二取得工程と、
    　前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御工程と、
    を備えることを特徴とする制御方法。
  8. 　情報表示装置により実行されるプログラムであって、
    　移動体の現在位置から所定の方向を撮影した実写画像を取得する第一取得手段、
    　前記実写画像に含まれる第一撮影対象のうち、前記所定の方向に対して死角を形成している障害物を特定する特定手段、
    　前記障害物が無い場合に、前記第一取得手段が取得できる第二撮影対象の画像を取得する第二取得手段、
    　前記第二撮影対象の画像に基づいて、前記障害物を透過させて前記実写画像を表示手段に表示させる表示制御手段、
    として前記情報表示装置を機能させることを特徴とするプログラム。
  9. 　請求項８に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2011/057615 2011-03-28 2011-03-28 情報表示装置、制御方法、プログラム、及び記憶媒体 WO2012131871A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011545967A JP4909451B1 (ja) 2011-03-28 2011-03-28 情報表示装置及び制御方法
PCT/JP2011/057615 WO2012131871A1 (ja) 2011-03-28 2011-03-28 情報表示装置、制御方法、プログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/057615 WO2012131871A1 (ja) 2011-03-28 2011-03-28 情報表示装置、制御方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2012131871A1 true WO2012131871A1 (ja) 2012-10-04

Family

ID=46170926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/057615 WO2012131871A1 (ja) 2011-03-28 2011-03-28 情報表示装置、制御方法、プログラム、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP4909451B1 (ja)
WO (1) WO2012131871A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013113500A1 (de) * 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
JP2015198400A (ja) * 2014-04-02 2015-11-09 株式会社アイ・シー・テクノロジー 物体透明化システム及び方法
JP2016149132A (ja) * 2015-02-12 2016-08-18 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
EP3138736A1 (de) * 2015-09-02 2017-03-08 MAN Truck & Bus AG Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法
JP2018032402A (ja) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 車載拡張現実システム向けの遮蔽調整システム
WO2018070717A1 (en) 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
JP2018074315A (ja) * 2016-10-27 2018-05-10 学校法人立命館 画像表示システム、画像表示方法及びコンピュータプログラム
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
JP2018160759A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム
JP2019029957A (ja) * 2017-08-03 2019-02-21 トヨタ自動車株式会社 遠隔操作装置
JP2019096368A (ja) * 2019-03-29 2019-06-20 株式会社エヌ・ティ・ティ・データ 運転支援装置、運転支援方法及び運転支援プログラム
JP2020123075A (ja) * 2019-01-29 2020-08-13 株式会社デンソーテン 配信システムおよび配信方法
WO2020189646A1 (ja) * 2019-03-19 2020-09-24 株式会社小糸製作所 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム
JP2020201544A (ja) * 2019-06-06 2020-12-17 株式会社デンソー インフラセンサ管理装置、運転支援装置、及びインフラセンサ管理方法
CN112581792A (zh) * 2019-09-30 2021-03-30 本田技研工业株式会社 行驶辅助系统、行驶辅助方法以及存储程序的计算机可读取存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6445808B2 (ja) * 2014-08-26 2018-12-26 三菱重工業株式会社 画像表示システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2005207943A (ja) * 2004-01-23 2005-08-04 Alpine Electronics Inc 車載用ナビゲーション装置及びその立体地図表示方法
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2007172541A (ja) * 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP2010267052A (ja) * 2009-05-14 2010-11-25 Denso Corp 車載表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH079886A (ja) * 1993-06-29 1995-01-13 Hitachi Ltd 車両の運転情報装置
JP3405165B2 (ja) * 1997-12-26 2003-05-12 トヨタ自動車株式会社 車載情報提供装置
JP4643860B2 (ja) * 2001-06-12 2011-03-02 クラリオン株式会社 車両用視覚支援装置及び支援方法
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
JP2004064131A (ja) * 2002-07-24 2004-02-26 Honda Motor Co Ltd 車両用表示装置
JP4103518B2 (ja) * 2002-09-20 2008-06-18 株式会社エクォス・リサーチ 車載画像表示装置
JP4699054B2 (ja) * 2005-03-10 2011-06-08 クラリオン株式会社 車両周囲監視装置
JP2008250503A (ja) * 2007-03-29 2008-10-16 Aisin Aw Co Ltd 運転支援装置
JP4702348B2 (ja) * 2007-10-09 2011-06-15 株式会社エクォス・リサーチ 車載画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101566A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 交通安全確認システム
JP2005207943A (ja) * 2004-01-23 2005-08-04 Alpine Electronics Inc 車載用ナビゲーション装置及びその立体地図表示方法
JP2006072830A (ja) * 2004-09-03 2006-03-16 Aisin Aw Co Ltd 運転支援システム及び運転支援モジュール
JP2007172541A (ja) * 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP2010267052A (ja) * 2009-05-14 2010-11-25 Denso Corp 車載表示装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013113500A1 (de) * 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
JP2015198400A (ja) * 2014-04-02 2015-11-09 株式会社アイ・シー・テクノロジー 物体透明化システム及び方法
JP2016149132A (ja) * 2015-02-12 2016-08-18 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 乗り物のドライバ支援システムにおける予測のためのシステムおよび方法
EP3401167A1 (de) * 2015-09-02 2018-11-14 MAN Truck & Bus AG Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
EP3138736A1 (de) * 2015-09-02 2017-03-08 MAN Truck & Bus AG Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
EP3401166A1 (de) * 2015-09-02 2018-11-14 MAN Truck & Bus AG Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法
US11062609B2 (en) 2016-05-24 2021-07-13 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
JP2018032402A (ja) * 2016-08-23 2018-03-01 トヨタ自動車株式会社 車載拡張現実システム向けの遮蔽調整システム
US10248196B2 (en) 2016-08-23 2019-04-02 Toyota Jidosha Kabushiki Kaisha System for occlusion adjustment for in-vehicle augmented reality systems
WO2018070717A1 (en) 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
US10726276B2 (en) 2016-10-11 2020-07-28 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
EP3504094A4 (en) * 2016-10-11 2019-09-18 Samsung Electronics Co., Ltd. METHOD FOR PROVIDING A VEHICLE OBTAINING IMAGE, ELECTRONIC APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM
JP2018074315A (ja) * 2016-10-27 2018-05-10 学校法人立命館 画像表示システム、画像表示方法及びコンピュータプログラム
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
JP2018160759A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラム
JP2019029957A (ja) * 2017-08-03 2019-02-21 トヨタ自動車株式会社 遠隔操作装置
JP2020123075A (ja) * 2019-01-29 2020-08-13 株式会社デンソーテン 配信システムおよび配信方法
JP7348725B2 (ja) 2019-01-29 2023-09-21 株式会社デンソーテン 配信システム、配信方法および車載装置
WO2020189646A1 (ja) * 2019-03-19 2020-09-24 株式会社小糸製作所 車両用ヘッドアップディスプレイおよび車両用ヘッドアップディスプレイシステム
US11899201B2 (en) 2019-03-19 2024-02-13 Koito Manufacturing Co., Ltd. Head-up display for vehicles and head-up display system for vehicles
JP2019096368A (ja) * 2019-03-29 2019-06-20 株式会社エヌ・ティ・ティ・データ 運転支援装置、運転支援方法及び運転支援プログラム
JP2020201544A (ja) * 2019-06-06 2020-12-17 株式会社デンソー インフラセンサ管理装置、運転支援装置、及びインフラセンサ管理方法
JP7259565B2 (ja) 2019-06-06 2023-04-18 株式会社デンソー インフラセンサ管理装置、運転支援装置、及びインフラセンサ管理方法
CN112581792A (zh) * 2019-09-30 2021-03-30 本田技研工业株式会社 行驶辅助系统、行驶辅助方法以及存储程序的计算机可读取存储介质

Also Published As

Publication number Publication date
JP4909451B1 (ja) 2012-04-04
JPWO2012131871A1 (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
JP4909451B1 (ja) 情報表示装置及び制御方法
CN111247575B (zh) 车辆驾驶辅助系统、方法及计算机可读取的存储介质
JP2012208111A (ja) 画像表示装置及び制御方法
CN110920521B (zh) 显示系统、显示方法及存储介质
WO2016186039A1 (ja) 自動車周辺情報表示システム
WO2021006060A1 (ja) 表示制御装置および表示制御プログラム
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
KR20180039924A (ko) 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP2019095213A (ja) 重畳画像表示装置及びコンピュータプログラム
CN107406072B (zh) 车辆辅助系统
JP2014531024A (ja) 画像データベース地図サービスからアシストシステム内にデータを移す方法
JP6136565B2 (ja) 車両用表示装置
JP5898539B2 (ja) 車両走行支援システム
WO2016051447A1 (ja) 情報表示制御システムおよび情報表示制御方法
JP2008250503A (ja) 運転支援装置
JP2010026708A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US11710429B2 (en) Display control device and non-transitory computer readable storage medium for display control by head-up display
JP2015219736A (ja) 運転支援装置
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
CN109050401A (zh) 一种增强现实的驾驶显示方法和装置
JP6102509B2 (ja) 車両用表示装置
JP7283448B2 (ja) 表示制御装置および表示制御プログラム
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP6221562B2 (ja) 車両用情報提示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2011545967

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11861924

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11861924

Country of ref document: EP

Kind code of ref document: A1