WO2012086052A1 - 画像制御装置、制御方法、プログラム、及び記憶媒体 - Google Patents

画像制御装置、制御方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2012086052A1
WO2012086052A1 PCT/JP2010/073324 JP2010073324W WO2012086052A1 WO 2012086052 A1 WO2012086052 A1 WO 2012086052A1 JP 2010073324 W JP2010073324 W JP 2010073324W WO 2012086052 A1 WO2012086052 A1 WO 2012086052A1
Authority
WO
WIPO (PCT)
Prior art keywords
facility
display
image
information
imaging
Prior art date
Application number
PCT/JP2010/073324
Other languages
English (en)
French (fr)
Inventor
徹練 柴尾
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2011545965A priority Critical patent/JP4917191B1/ja
Priority to PCT/JP2010/073324 priority patent/WO2012086052A1/ja
Publication of WO2012086052A1 publication Critical patent/WO2012086052A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image

Definitions

  • the present invention relates to a technique for controlling an image obtained from imaging means mounted on a moving body.
  • Patent Document 1 discloses an image capturing apparatus that improves the viewability by displaying only additional information that satisfies a predetermined condition among additional information that is superimposed and displayed as a landmark (facility mark).
  • the above-described image photographing device divides the photographing range of the photographed image into areas, provides the maximum display number within the area, and displays them in the order of priorities previously given to the landmark data.
  • the number of landmarks to be superimposed on a live-action image can be limited, but a landmark may be displayed for a facility that can be easily visually recognized from the live-action image. Therefore, in this case, the display becomes complicated and information useful for the driver may not be displayed.
  • the present invention has been made to solve the above-described problems, and can select and add only necessary facility information to an image obtained from an imaging unit mounted on a moving body.
  • the main object is to provide a control device.
  • an acquisition unit that acquires an image captured by an imaging unit mounted on a moving body, a storage unit that stores facility information about the facility, and the facility within the imaging range of the imaging unit Among the non-display facilities that are not displayed in the image, and / or, among the facilities that are outside the imaging range, a determination unit that determines the presence or absence of a non-display facility located in the vicinity of the imaging range, and the determination unit Display means for superimposing the facility information on the non-display facility on the image to be displayed on the display means when it is determined that there is the non-display facility.
  • the invention according to claim 6 is a control method executed by an image control apparatus having a storage unit that stores facility information relating to a facility, and acquiring an image captured by an imaging unit mounted on a moving body And, among the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display located in the vicinity of the imaging range among the facilities that are outside the imaging range A determination step of determining the presence or absence of a facility, and a display control step of displaying on the display means the facility information related to the non-display facility superimposed on the image when it is determined by the determination step that the non-display facility exists. It is characterized by providing.
  • the invention according to claim 7 is a program executed by an image control apparatus having a storage unit that stores facility information relating to a facility, and an acquisition unit that acquires an image captured by an imaging unit mounted on a moving body; Among the facilities in the imaging range of the imaging means, a non-display facility that is not displayed in the image, and / or a non-display facility located in the vicinity of the imaging range among the facilities that are outside the imaging range And a display control unit for displaying the facility information on the non-display facility superimposed on the image on the display unit when the determination unit determines that there is the non-display facility.
  • the image control apparatus is made to function.
  • FIG. 1 is a conceptual diagram of the three-dimensional space corresponding to the visual field of the virtually generated camera.
  • B shows the positional relationship between the shooting range space and the space outside the shooting range.
  • A) shows the figure which represented the non-display space produced
  • B shows the figure which represented the non-display space produced
  • A) shows an example of the captured image before the facility mark is superimposed.
  • It is an example of the flowchart which shows the process sequence of a present Example.
  • the image control apparatus includes a storage unit that stores facility information related to a facility, and a non-display facility that is not displayed in the image among the facilities in the imaging range of the imaging unit, or And / or a determination unit that determines whether or not there is a non-display facility located in the vicinity of the imaging range among the facilities outside the imaging range, and the determination unit determines that there is the non-display facility Display control means for causing the display means to display the facility information related to the non-display facility superimposed on the image.
  • the image control apparatus includes an acquisition unit, a storage unit, a determination unit, and a display control unit.
  • the acquisition unit acquires an image captured by the imaging unit mounted on the moving body.
  • the storage means stores facility information related to the facility.
  • the judging means determines whether or not there is a non-display facility that is not displayed in the image among the facilities in the imaging range of the imaging means and / or a non-display facility that is located in the vicinity of the imaging range among the facilities that are outside the imaging range. to decide. “Near the shooting range” is an area in a predetermined range adjacent to the area in the shooting range, and its specifying method is defined in advance based on, for example, experiments.
  • the display control means superimposes facility information relating to the non-display facility on the image and causes the display means to display the information.
  • the image control apparatus superimposes and displays the facility information of the non-display facility that is difficult to view from the captured image or cannot be viewed. Therefore, the image control apparatus can compensate for the shortage of information obtained from the image while preventing the information on the captured image from becoming complicated, and can present information useful to the driver.
  • the image processing apparatus further includes positioning means for measuring the current position of the moving body, the storage means stores facility position information indicating the position of the facility on a map, and the determination means includes The presence / absence of the non-display facility is determined based on the current position measured by the positioning means and the facility position information.
  • the image control apparatus can preferably specify the non-display facility.
  • the determination unit sets, as the non-display facility, a facility that is not displayed in the image at a predetermined ratio or more, out of the facilities in the shooting range of the imaging unit.
  • the “predetermined ratio” is a ratio at which it is determined that it is difficult for the driver to visually recognize the presence of the facility or cannot be visually recognized, and is determined in advance based on, for example, experiments.
  • the display control unit displays the facility information at a position shifted from a non-display facility corresponding to the facility information, and the position of the non-display facility and the facility An arrow indicating the correspondence with information is displayed.
  • the image control apparatus can make the driver clearly understand the correspondence between the facility information and the location of the facility indicated by the facility information.
  • the facility to be determined by the determination unit as to whether or not it is the non-display facility is a parking lot.
  • a parking lot and its entrance are often difficult to see or cannot be visually recognized because they are blocked by other facilities on an image taken during traveling. Therefore, in this aspect, the image control apparatus can compensate for the shortage of information obtained from the image and improve convenience by superimposing the non-displayed parking lot information on the captured image.
  • a control method executed by an image control apparatus having a storage unit that stores facility information related to a facility, and acquires an image captured by an imaging unit mounted on a moving body.
  • the non-display facilities that are not displayed in the image, and / or the facilities that are outside the imaging range are located in the vicinity of the imaging range
  • the image control apparatus can prevent the information on the captured image from becoming complicated, compensate for the lack of information obtained from the image, and present information useful to the driver. .
  • a program executed by an image control apparatus having a storage unit that stores facility information related to a facility, and acquires an image captured by an imaging unit mounted on a moving body.
  • the non-display facility that is not displayed in the image and / or the facility that is outside the imaging range is located in the vicinity of the imaging range
  • a determination unit that determines whether or not there is a non-display facility
  • a display control that causes the display unit to display the facility information related to the non-display facility on the image when the determination unit determines that there is the non-display facility.
  • the image control apparatus is caused to function as means.
  • the image control apparatus can prevent the information on the captured image from becoming complicated, compensate for the lack of information obtained from the image, and present information useful to the driver. it can.
  • the above program is stored in a storage medium.
  • the “destination” refers to a destination point set in the navigation device 1 by the user.
  • the “stop-by place” refers to a point set in the navigation device 1 as a point where the user stops in the middle of the destination.
  • these are also referred to as “destination etc.”.
  • FIG. 1 shows a schematic configuration of a navigation apparatus 1 which is an example of an image control apparatus according to the present invention.
  • the navigation device 1 is mounted on a vehicle and connected to the camera 5.
  • the navigation device 1 includes a self-supporting positioning device 10, a GPS receiver 18, a system controller 20, a disk drive 31, a data storage unit 36, a communication interface 37, a communication device 38, a display unit 40, an audio output.
  • a unit 50 and an input device 60 are provided.
  • the self-supporting positioning device 10 includes an acceleration sensor 11, an angular velocity sensor 12, and a distance sensor 13.
  • the acceleration sensor 11 is made of, for example, a piezoelectric element, detects vehicle acceleration, and outputs acceleration data.
  • the angular velocity sensor 12 is composed of, for example, a vibrating gyroscope, detects the angular velocity of the vehicle when the direction of the vehicle is changed, and outputs angular velocity data and relative azimuth data.
  • the distance sensor 13 measures a vehicle speed pulse composed of a pulse signal generated with the rotation of the vehicle wheel.
  • the GPS receiver 18 receives radio waves 19 carrying downlink data including positioning data from a plurality of GPS satellites.
  • the positioning data is used to detect the absolute position of the vehicle (hereinafter also referred to as “current position”) from latitude and longitude information.
  • the system controller 20 includes an interface 21, a CPU (Central Processing Unit) 22, a ROM (Read Only Memory) 23, and a RAM (Random Access Memory) 24, and controls the entire navigation device 1.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the interface 21 performs an interface operation with the acceleration sensor 11, the angular velocity sensor 12, the distance sensor 13, and the GPS receiver 18. From these, vehicle speed pulses, acceleration data, relative azimuth data, angular velocity data, GPS positioning data, absolute azimuth data, and the like are input to the system controller 20.
  • the CPU 22 controls the entire system controller 20 by executing a program prepared in advance.
  • the ROM 23 includes a nonvolatile memory (not shown) in which a control program for controlling the system controller 20 is stored.
  • the RAM 24 stores various data such as route data preset by the user via the input device 60 so as to be readable, and provides a working area to the CPU 22.
  • a system controller 20 a disk drive 31 such as a CD-ROM drive or a DVD-ROM drive, a data storage unit 36, a communication interface 37, a display unit 40, an audio output unit 50 and an input device 60 are mutually connected via a bus line 30. It is connected to the.
  • the disk drive 31 reads and outputs content data such as music data and video data from a disk 33 such as a CD or DVD under the control of the system controller 20.
  • the disk drive 31 may be either a CD-ROM drive or a DVD-ROM drive, or may be a CD and DVD compatible drive.
  • the data storage unit 36 is configured by, for example, an HDD or the like, and stores various data used for navigation processing such as map data.
  • the data storage unit 36 is an example of the “storage unit” in the present invention.
  • the communication device 38 includes, for example, an FM tuner, a beacon receiver, a mobile phone, a dedicated communication card, and the like, and information distributed from a VICS (Vehicle Information Communication System) center or the like (hereinafter referred to as “VICS information”). Is acquired from the radio wave 39.
  • VICS information Vehicle Information Communication System
  • the interface 37 performs an interface operation of the communication device 38 and inputs the VICS information to the system controller 20 or the like.
  • the display unit 40 displays various display data on a display device such as a display under the control of the system controller 20. Specifically, the system controller 20 reads map data from the data storage unit 36.
  • the display unit 40 is an example of the “display unit” in the present invention, and displays the map data read from the data storage unit 36 by the system controller 20 on the display screen.
  • the display unit 40 includes a graphic controller 41 that controls the entire display unit 40 based on control data sent from the CPU 22 via the bus line 30 and a memory such as a VRAM (Video RAM), and can display image information that can be displayed immediately.
  • VRAM Video RAM
  • a buffer memory 42 that temporarily stores, a display control unit 43 that controls display of a display 44 such as a liquid crystal or a CRT (Cathode Ray Tube) based on image data output from the graphic controller 41, and a display 44 are provided.
  • the display 44 functions as an image display unit, and includes, for example, a liquid crystal display device having a diagonal size of about 5 to 10 inches and is mounted near the front panel in the vehicle.
  • the audio output unit 50 performs D / A (Digital to Analog) conversion of audio digital data sent from the CD-ROM drive 31, DVD-ROM 32, RAM 24, or the like via the bus line 30 under the control of the system controller 20.
  • a D / A converter 51 to perform an amplifier (AMP) 52 that amplifies the audio analog signal output from the D / A converter 51, and a speaker 53 that converts the amplified audio analog signal into sound and outputs the sound into the vehicle. It is prepared for.
  • AMP amplifier
  • the input device 60 includes keys, switches, buttons, a remote controller, a voice input device, and the like for inputting various commands and data.
  • the input device 60 is disposed around the front panel and the display 44 of the main body of the in-vehicle electronic system mounted in the vehicle.
  • the display 44 is a touch panel system
  • the touch panel provided on the display screen of the display 44 also functions as the input device 60.
  • the camera 5 has a predetermined angle of view and generates an image (also simply referred to as “captured image”) captured based on light incident on the image sensor.
  • the camera 5 is directed in the forward direction of the vehicle.
  • the camera 5 is an example of the “imaging unit” in the present invention.
  • the “shooting range” refers to a space within the field of view (Field of View) of the camera 5 and at a distance that can be reflected in the shot image.
  • the system controller 20 Based on the current position and map information, the system controller 20 identifies a facility that is partially or completely hidden from the captured image, and a mark for identifying the facility (also referred to as “facility mark”).
  • the images are displayed on the display unit 40 in a superimposed manner.
  • the facility mark is an example of “facility information” in the present invention.
  • the system controller 20 corresponds to “acquisition means”, “determination means”, and “display control means” in the present invention.
  • non-display facility In the facility that is the target of superimposing the facility mark on the captured image.
  • the system controller 20 is located within the photographing range of the facilities outside the photographing range of the camera 5 and the facilities existing in the vicinity of the photographing range (also referred to as “outside photographing range non-display facility Ino”).
  • a facility that is not displayed in the captured image also referred to as “non-display facility Ini within the capturing range” is defined as a non-display facility In that is assigned a facility mark.
  • the system controller 20 generates a virtual three-dimensional space (also referred to as “shooting range space Si”) that is the same scale as the shot image and matches the shooting range. This will be described with reference to FIG.
  • FIG. 2A is a conceptual diagram of the shooting range space Si.
  • viewpoint Pv indicates the position of the camera 5
  • square pyramid Fv is a space corresponding to the field of view of the camera 5 generated based on the direction and angle of view of the camera 5 from the viewpoint Pv.
  • the “front clip plane Cf” refers to a plane close to the viewpoint Pv among the two planes that cut out the shooting range space Si from the quadrangular pyramid Fv
  • the “rear clip plane Cr” refers to the shooting range space from the square pyramid Fv Of the two surfaces from which Si is cut, the surface far from the viewpoint Pv is indicated.
  • the “X axis” refers to a coordinate axis in which the traveling direction of the vehicle is positive
  • the “Y axis” is a coordinate axis in which the vehicle is in the lateral direction and faces the front of the vehicle and the right direction is the positive direction
  • the “Z-axis” refers to a coordinate axis whose forward direction is the direction opposite to the gravitational direction.
  • the system controller 20 specifies the position of the viewpoint Pv based on the height at which the camera 5 is installed and the measured current position of the vehicle.
  • the system controller 20 generates a quadrangular pyramid Fv from the viewpoint Pv based on the direction and angle of view of the camera 5 based on FIG.
  • the system controller 20 generates the imaging range space Si by cutting out the quadrangular pyramid Fv at the front clip surface Cf and the rear clip surface Cr which are planes perpendicular to the X axis.
  • the height at which the camera 5 is installed, the orientation of the camera 5, the angle of view, the X coordinate values of the front clip surface Cf and the rear clip surface Cr are stored in advance in a memory such as the ROM 23 or the data storage unit 36 (simply simply “memory Is also stored in advance.
  • the system controller 20 sets a facility existing in a predetermined space in the vicinity of the shooting range space Si as a non-display range non-display facility Ino.
  • the above-described predetermined space is also referred to as “outside imaging range space So”.
  • FIG. 2B shows the positional relationship between the shooting range space Si and the outside shooting range space So when viewed from the arrow “Y1” in FIG.
  • the “center line Lc” represents a perpendicular line from the viewpoint Pv to the front clip surface Cf and the rear clip surface Cr.
  • the imaging area outside space So extends from the imaging area space Si in both the positive and negative directions of the Y axis.
  • the space So outside the shooting range So expands the front clip surface Cf and the rear clip surface Cr in the Y axis direction from the center line Lc parallel to the X axis to a position of a predetermined distance “D1”.
  • This is a space obtained by excluding the imaging range space Si from the frustum having the front clip surface Cf and the rear clip surface Cr as the upper surface and the bottom surface.
  • the system controller 20 takes a picture of the facility located in the space outside the shooting range So based on the location information of the facility stored in the map data (also referred to as “facility location information”).
  • the out-of-range hidden facility Ino is also referred to as “facility location information”.
  • the system controller 20 refers to the map data, in addition to the facility position information, information on the height of the facility (also referred to as “facility height information”), and the width in the Y-axis direction corresponding to the width of the facility And an object corresponding to a model of each facility in the imaging range space Si based on the location range information (also referred to as “facility range information”) specified from the width in the X-axis direction corresponding to the depth width of the facility. Place.
  • the system controller 20 is a space that is hidden by objects of other facilities when the imaging range space Si is projected from the viewpoint Pv onto the same two-dimensional space as the captured image based on the orientation and the angle of view of the camera 5. (Also referred to as “non-display space Sh”).
  • Non-display space Sh The two-dimensional space after projecting the imaging range space Si described above is also referred to as “projection 2D space Sp”.
  • FIG. 3A illustrates a non-display space Sh generated by the facility object “Ob1” arranged in the imaging range space Si on the XZ plane.
  • FIG. 3B illustrates a non-display space Sh generated by the object Ob1 on the XY plane.
  • the non-display space Sh is illustrated by oblique lines.
  • the system controller 20 generates an object Ob1 based on the facility height information and the facility range information for the facility having the positional relationship corresponding to the shooting range space Si, and the shooting range space. Arranged in Si. Specifically, as shown in FIG. 3A, the system controller 20 determines the height of the object Ob1 corresponding to the width of the arrow 60 based on the facility height information. Further, as shown in FIG. 3B, the system controller 20 is based on facility range information including facility width information corresponding to the width of the arrow 61 and facility depth width information corresponding to the width of the arrow 62. The location range of the object Ob1 is determined. Therefore, in this case, the object Ob1 has a rectangular parallelepiped shape. Then, the system controller 20 draws a half line passing through each vertex of the object Ob1 from the viewpoint Pv in the imaging range space Si (see broken lines “L1” to “L3”), and specifies the non-display space Sh.
  • the system controller 20 identifies an object that overlaps the non-display space Sh and that is hidden for a predetermined ratio or more of the whole as an object of the non-display facility Ini within the shooting range. Specifically, an area that is not displayed by another object in the projection 2D space Sp is “A1”, an area in which the object is displayed in the projection 2D space Sp is “A2”, and the above-described predetermined ratio is set. Assuming that “Th” is satisfied, the system controller 20 specifies that the object is an object in the imaging range non-display facility Ini when the following expression (1) is satisfied.
  • A1 / (A1 + A2) ⁇ Th Formula (1)
  • the above-mentioned predetermined ratio Th is determined in advance based on, for example, experiments.
  • the system controller 20 generates a non-display space Sh for each facility object generated in the imaging range space Si, and is an object that overlaps the non-display space Sh, and is equal to or greater than a predetermined ratio Th in the projection 2D space Sp.
  • the object to be hidden is specified as the object of the non-display facility Ini within the photographing range.
  • the system controller 20 can specify the non-display facility Ini within the photographing range suitably.
  • FIG. 4A shows an example of a photographed image before the facility mark is superimposed.
  • facilities “70A” to “70G” are displayed.
  • the facility 70F is a parking lot.
  • a facility “70H” exists outside the imaging range.
  • the facilities 70B and 70F are not displayed at a predetermined ratio Th or more by other facilities.
  • FIG. 4B shows a captured image in which the system controller 20 executes the non-display facility detection process and the facility mark is superimposed.
  • the system controller 20 determines that the facilities 70B and 70F are the non-display facilities Ini within the shooting range by the non-display facility detection process, and the facility 70H is hidden outside the shooting range. It is determined that the facility is Ino, and facility marks “71B”, “71F”, and “71H” corresponding to each facility are superimposed on the captured image. Further, the system controller 20 displays arrows “72B”, “72F”, and “72H” for clearly indicating the positions of the corresponding facilities corresponding to the facility marks 71B, 71F, and 71H.
  • the system controller 20 can notify the user of the existence of a facility that cannot be grasped only by the photographed image by superimposing the facility mark corresponding to the non-display facility on the photographed image.
  • the system controller 20 takes a facility mark corresponding to the parking lot even when the presence of the parking lot and its entrance cannot be grasped only by a captured image. By displaying the image superimposed on the image, the driver can easily grasp the desired parking lot and its entrance.
  • the system controller 20 does not superimpose the facility mark of the facility clearly visible from the captured image (the facilities 70A, 70C to 70E, 70G in FIG. 4B) on the captured image. In this manner, the system controller 20 prevents only complicated information from being displayed due to unnecessary information display by superimposing only the facility mark corresponding to the non-display facility on the captured image, and only drives information necessary for the driver. Can be presented to the person.
  • the system controller 20 arranges the facility marks 71B, 71F, and 71H at positions shifted from the corresponding facilities, and the facility marks and the corresponding facilities 70B, 70F, and 70H. Are correlated by displaying arrows 72B, 72F, 72H. Thereby, when the facility mark corresponds to the facility displayed on the front, the driver can be prevented from misidentifying, and the location of the facility corresponding to each facility mark can be clearly grasped.
  • FIG. 5 is an example of a flowchart showing a processing procedure executed by the system controller 20 in this embodiment.
  • the system controller 20 repeatedly executes the process of the flowchart shown in FIG. 5 according to a predetermined cycle.
  • the system controller 20 specifies the current position (step S101). For example, the system controller 20 specifies the current position based on detection signals from the GPS receiver 18 and the autonomous positioning device 10.
  • the system controller 20 generates a shooting range space Si and a shooting range outside space So (step S102). Specifically, the system controller 20 determines the viewpoint Pv based on the height at which the camera 5 is installed and the current position, the orientation of the camera 5, the angle of view, the positions of the front clip surface Cf and the rear clip surface Cr. Based on the above, an imaging range space Si is generated. Further, the system controller 20 defines an adjacent space extending from the imaging range space Si by a predetermined width in both the positive and negative directions of the Y axis as the imaging range outside space So.
  • the system controller 20 arranges the objects of each facility in the imaging range space Si and generates a non-display space Sh (step S103). Specifically, the system controller 20 specifies a non-display space Sh corresponding to each object by drawing a half line passing through the vertex of each facility object from the viewpoint Pv.
  • the system controller 20 determines whether there is a facility corresponding to the space So outside the imaging range (step S104). If the system controller 20 determines that there is a facility corresponding to the space So outside the imaging range (step S104; Yes), the system controller 20 superimposes the facility mark of the facility on the captured image (step S105). Thereby, even if the system controller 20 is a facility that is not displayed in the captured image outside the imaging range of the camera 5, the system controller 20 can inform the user of the presence and improve convenience.
  • step S104 determines that there is no facility in the space So outside the imaging range (step S104; No), or after the process of step S105 is finished, whether or not there is an object that overlaps the non-display space Sh. Determination is made (step S106). If the system controller 20 determines that there is an object that overlaps the non-display space Sh (step S106; Yes), the system controller 20 generates a projection 2D space Sp and determines whether or not the non-display is greater than or equal to a predetermined ratio Th (step). S107).
  • step S107 If the system controller 20 determines that there is an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more (step S107; Yes), the facility mark of the facility corresponding to the object is superimposed on the captured image. (Step S108). As a result, the system controller 20 can inform the user of the presence of facilities that are hidden in the captured image by overlapping with other facilities, and can improve convenience.
  • the system controller 20 does not have an object that overlaps the non-display space Sh (step S106; No), or does not have an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more (step S107; No), it is determined that there is no need to display the facility mark of the facility corresponding to the object, and the process of the flowchart is terminated. Accordingly, the system controller 20 can prevent the display from becoming complicated due to unnecessary information display, and can present only the information necessary for the driver to the driver.
  • Modification 1 In the processing flow of FIG. 5, the system controller 20 arranges all the objects in the shooting range space Si in step S103, and then in step S107, is there an object that is not displayed in the projection 2D space Sp for a predetermined ratio Th or more? Judged whether or not.
  • the method to which the present invention is applicable is not limited to this.
  • the system controller 20 arranges objects in the imaging range space Si in order from the facility closest to the viewpoint Pv (current position), and each time the object is not displayed in the projection 2D space Sp for a predetermined ratio Th or more. It may be determined whether or not. Also by this, the system controller 20 can specify the non-display facility Ini within the photographing range preferably.
  • the system controller 20 refers to the map data, acquires facility height information and facility range information, determines the shape of the facility object to be placed in the imaging range space Si, and specifies the non-display space Sh did.
  • system controller 20 may specify the non-display space Sh based on either the facility height information or the facility range information.
  • the system controller 20 determines the non-display space Sh based only on the facility range information
  • the non-display space Sh in the imaging range space Si is planarly displayed on the XY plane as shown in FIG. Determine.
  • the system controller 20 may set a facility where the non-display space Sh and the facility range overlap each other by a predetermined ratio Th or more on the XY plane as the imaging-range non-display facility Ini.
  • the system controller 20 specifies the non-display space Sh based only on the facility height information, for example, the system controller 20 uniformly sets the location range of each facility to a predetermined size.
  • the non-display space Sh is specified by arranging the imaging range space Si in a rectangular parallelepiped shape.
  • the system controller 20 In the description of the non-display facility detection process, the system controller 20 generates objects for all the facilities corresponding to the shooting range space Si, determines whether or not the shooting range is non-display facility Ini, and does not display the shooting range. In the case of the facility Ini, the facility mark is superimposed on the captured image. Instead, the system controller 20 determines whether or not only a predetermined type or a predetermined facility among the facilities corresponding to the imaging range space Si is a non-display facility Ini within the imaging range, and captures the facility mark. It may be superimposed on the image.
  • the above-mentioned “predetermined type” corresponds to, for example, a parking lot.
  • the “predetermined facility” corresponds to, for example, a facility in the vicinity of an intersection or other facility that is a landmark in driving specified in advance by map data or the like.
  • the system controller 20 selects a predetermined type or Only a predetermined facility may be determined as a non-display facility Ino outside the imaging range, and the facility mark may be superimposed on the captured image.
  • the system controller 20 can notify facilities important for the driver who cannot be visually recognized in the captured image, and can improve convenience.
  • Modification 4 In the description of FIG. 4, when displaying the facility mark corresponding to the non-display facility Ini within the shooting range, the system controller 20 arranges the facility mark at a position shifted from the non-display facility Ini within the shooting range, And the in-photographing-range non-display facility Ini corresponding thereto are displayed by displaying arrows.
  • the configuration to which the present invention is applicable is not limited to this.
  • the system controller 20 displays the facility mark by superimposing it on the corresponding non-display facility Ini within the imaging range, and displaying the facility mark in a translucent or dotted line frame. You may change and display. Also in this aspect, the system controller 20 prevents the facility displayed in front of the photographing area non-display facility Ini from corresponding to the facility mark, and prevents the presence of the photographing range non-display facility Ini from the driver. Can let you know.
  • the present invention can be suitably applied to a vehicle navigation device, a PND (Personal Navigation Device), and other devices that control images acquired from a camera mounted on a moving body.
  • a vehicle navigation device a PND (Personal Navigation Device)
  • PND Personal Navigation Device

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は／及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。

Description

画像制御装置、制御方法、プログラム、及び記憶媒体
　本発明は、移動体に搭載された撮像手段から得られる画像を制御する技術に関する。
　従来から、移動体の位置とカメラの設置位置、設置方向により、施設情報の画像上の位置を推定し、実写画像に重畳して表示する技術が知られている。例えば、特許文献１には、ランドマーク（施設マーク）として重畳表示する付加情報のうち、所定の条件を満たすものだけを表示することで閲覧性を向上させる画像撮影装置が開示されている。具体的には、上述の画像撮影装置は、実写画像の撮影範囲をエリア分けし、そのエリア内で最大表示個数を設け、予めランドマークデータに付与された優先度順に表示させている。
特開２００９－０１７５４０号公報
　上述の技術によれば、実写画像に重畳させるランドマークの数を制限することができる一方で、実写画像から容易に視認できる施設についてもランドマークが表示される場合がある。従って、この場合、表示が煩雑化すると共に、運転者にとって有益な情報が表示されない可能性がある。
　本発明は、上記のような課題を解決するためになされたものであり、移動体に搭載された撮像手段から得られる画像に、必要な施設情報のみを選定して付加することが可能な画像制御装置を提供することを主な目的とする。
　請求項１に記載の発明は、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、を備えることを特徴とする。
　請求項６に記載の発明は、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、を備えることを特徴とする。
　請求項７に記載の発明は、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、として前記画像制御装置を機能させることを特徴とする。
本実施例に係るナビゲーション装置の概略構成の一例である。 （ａ）は、仮想的に生成したカメラの視野に対応する３次元空間の概念図である。（ｂ）は、撮影範囲空間と、撮影範囲外空間との位置関係を示す。 （ａ）は、オブジェクトによって生成される非表示空間をＸＺ平面上で表した図を示す。（ｂ）は、オブジェクトによって生成される非表示空間をＸＹ平面上で表した図を示す。 （ａ）は、施設マークを重畳させる前の撮影画像の一例を示す。（ｂ）は、システムコントローラが非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。 本実施例の処理手順を示すフローチャートの一例である。
　本発明の好適な実施形態によれば、画像制御装置は、施設に関する施設情報を記憶する記憶手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、を備える。
　上記の画像制御装置は、取得手段と、記憶手段と、判断手段と、表示制御手段と、を備える。取得手段は、移動体に搭載された撮像手段が撮像した画像を取得する。記憶手段は、施設に関する施設情報を記憶する。判断手段は、撮像手段の撮像範囲にある施設のうち、画像に表示されない非表示施設、又は／及び、撮像範囲の外にある施設のうち、撮影範囲の近傍に位置する非表示施設の有無を判断する。「撮影範囲の近傍」とは、撮影範囲にあるエリアに隣接した所定範囲のエリアであり、例えば実験等に基づき予めその特定方法が規定される。表示制御手段は、判断手段によって非表示施設があると判断された場合、当該非表示施設に関する施設情報を画像に重畳して表示手段に表示させる。
　この実施形態によれば、画像制御装置は、撮影した画像からは視認しにくい又は視認することができない非表示施設の施設情報を当該画像に重畳して表示する。従って、画像制御装置は、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。
　上記の画像制御装置の一態様では、前記移動体の現在位置を測位する測位手段をさらに備え、前記記憶手段は、地図上の前記施設の位置を示す施設位置情報を記憶し、前記判断手段は、前記測位手段により測位された前記現在位置と、前記施設位置情報とに基づいて前記非表示施設の有無を判断する。この態様により、画像制御装置は、好適に、非表示施設を特定することが可能となる。
　上記の画像制御装置の他の一態様では、前記判断手段は、前記撮像手段の撮影範囲にある前記施設のうち、前記画像に所定の割合以上表示されない施設を前記非表示施設とする。「所定の割合」とは、運転者が当該施設の存在を視認しにくい又は視認することができないと判断される割合であり、例えば実験等に基づき予め定められる。このようにすることで、画像制御装置は、好適に、非表示施設を特定することができる。
　上記の画像制御装置の他の一態様では、前記表示制御手段は、前記施設情報を、当該施設情報に対応する非表示施設とずれた位置に表示すると共に、当該非表示施設の位置と前記施設情報との対応を示す矢印を表示する。このようにすることで、画像制御装置は、施設情報と当該施設情報が示す施設の位置との対応を運転者に明確に把握させることができる。
　上記の画像制御装置の他の一態様では、前記判断手段により前記非表示施設であるか否か判断の対象となる施設は、駐車場である。一般に、駐車場及びその入口は、走行中に撮影される画像上では他の施設に遮られて特に視認しにくい又は視認することができない場合が多い。従って、この態様では、画像制御装置は、非表示となっている駐車場の情報を撮影画像に重畳させることで、画像から得られる情報の不足を補い、利便性を向上させることができる。
　本発明の他の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、を備える。画像制御装置は、この制御方法を実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。
　本発明のさらに別の実施形態によれば、施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、として前記画像制御装置を機能させる。画像制御装置は、このプログラムを搭載し実行することで、撮影画像上の情報が煩雑になるのを防ぎつつ、画像から得られる情報の不足を補い、運転者にとって有益な情報を提示することができる。なお、好適には、上記のプログラムは記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。以後では、「目的地」とは、使用者がナビゲーション装置１に設定した目的の地点を指す。また、「立寄地」とは、使用者が目的地の途中で立ち寄る地点としてナビゲーション装置１に設定した地点を指す。また、目的地及び立寄地を特に区別しない場合、これらを「目的地等」とも呼ぶ。
　［概略構成］
　図１は、本発明における画像制御装置の一例であるナビゲーション装置１の概略構成を示す。ナビゲーション装置１は、車両に搭載され、カメラ５と接続する。図１に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０及び入力装置６０を備える。
　自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、車両の方向変換時における車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。
　ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置（以後、「現在位置」とも呼ぶ。）を検出するために用いられる。
　システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。
　インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、予め用意されたプログラムを実行することにより、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。
　システムコントローラ２０、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０及び入力装置６０は、バスライン３０を介して相互に接続されている。
　ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ－ＲＯＭドライブ又はＤＶＤ－ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。
　データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。データ記憶ユニット３６は、本発明における「記憶手段」の一例である。
　通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳ（Ｖｅｈｉｃｌｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）センタなどから配信される情報（以下、「ＶＩＣＳ情報」と呼ぶ。）を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、ＶＩＣＳ情報をシステムコントローラ２０等に入力する。
　表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、本発明における「表示手段」の一例であり、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５～１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。
　音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ－ＲＯＭドライブ３１又はＤＶＤ－ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。
　入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。
　カメラ５は、所定の画角を有し、撮像素子に入射する光に基づき撮影した画像（単に「撮影画像」とも呼ぶ。）を生成する。カメラ５は、車両の前方方向に向けられる。カメラ５は、本発明における「撮像手段」の一例である。以後では、「撮影範囲」とは、カメラ５の視野（Ｆｉｅｌｄ　ｏｆ　Ｖｉｅｗ）内の空間であって、撮影画像に映り得る距離にある空間を指す。
　システムコントローラ２０は、現在位置及び地図情報に基づき、撮影画像から一部または全部が非表示となっている施設を特定し、当該施設を識別するためのマーク（「施設マーク」とも呼ぶ。）を重畳させて表示ユニット４０に表示させる。施設マークは、本発明における「施設情報」の一例である。このように、システムコントローラ２０は、本発明における「取得手段」、「判断手段」、「表示制御手段」に相当する。
　以下、システムコントローラ２０が実行する具体的な処理について説明する。以後では、施設マークを撮影画像に重畳させる対象となる施設を、「非表示施設Ｉｎ」とも呼ぶ。
　［非表示施設検出処理］
　次に、非表示施設Ｉｎの検出処理（「非表示施設検出処理」とも呼ぶ。）について具体的に説明する。概略的には、システムコントローラ２０は、カメラ５の撮影範囲外にある施設うち、撮影範囲の近傍に存在する施設（「撮影範囲外非表示施設Ｉｎｏ」とも呼ぶ。）と、撮影範囲内にある施設のうち、撮影画像に表示されない施設（「撮影範囲内非表示施設Ｉｎｉ」とも呼ぶ。）とを、施設マークを付す非表示施設Ｉｎに定める。このようにすることで、システムコントローラ２０は、撮影画像からは視認しにくい又は視認することができない施設の施設マークを積極的に提示し、利便性を向上させる。
　１．撮影範囲外非表示施設
　まず、撮影範囲外非表示施設Ｉｎｏの特定方法について具体的に説明する。まず、システムコントローラ２０は、撮影画像と同縮尺であって、撮影範囲と一致する仮想的な３次元空間（「撮影範囲空間Ｓｉ」とも呼ぶ。）を生成する。これについて、図２を参照して説明する。
　図２（ａ）は、撮影範囲空間Ｓｉの概念図である。図２（ａ）において、「視点Ｐｖ」は、カメラ５の位置を示し、「四角錐Ｆｖ」は、視点Ｐｖからカメラ５の向き、及び画角に基づき生成したカメラ５の視野に相当する空間を示し、「前方クリップ面Ｃｆ」は、四角錐Ｆｖから撮影範囲空間Ｓｉを切り取る２つの面のうち、視点Ｐｖに近い面を指し、「後方クリップ面Ｃｒ」は、四角錐Ｆｖから撮影範囲空間Ｓｉを切り取る２つの面のうち、視点Ｐｖから遠い面を指す。また、以後では、「Ｘ軸」は、車両の進行方向を正とする座標軸を指し、「Ｙ軸」は、車両の側面方向であって車両の前方を向いて右方向を正方向とする座標軸を指し、「Ｚ軸」は、重力方向と反対方向を正方向とする座標軸を指すものとする。
　まず、システムコントローラ２０は、カメラ５が設置される高さ及び測定した車両の現在位置に基づき視点Ｐｖの位置を特定する。次に、システムコントローラ２０は、図２（ａ）に基づき、視点Ｐｖから、カメラ５の向き及び画角に基づき、四角錐Ｆｖを生成する。さらに、システムコントローラ２０は、Ｘ軸と垂直な平面である前方クリップ面Ｃｆ及び後方クリップ面Ｃｒで四角錐Ｆｖを切り取ることで、撮影範囲空間Ｓｉを生成する。なお、カメラ５が設置される高さ、カメラ５の向き、画角、前方クリップ面Ｃｆ及び後方クリップ面ＣｒのＸ座標値は、例えば予めＲＯＭ２３やデータ記憶ユニット３６等のメモリ（単に、「メモリ」とも呼ぶ。）に予め記憶されている。
　次に、システムコントローラ２０は、撮影範囲空間Ｓｉの近傍にある所定の空間に存在する施設を、撮影範囲外非表示施設Ｉｎｏとする。以後では、上述の所定の空間を、「撮影範囲外空間Ｓｏ」とも呼ぶ。
　これについて、図２（ｂ）を参照して説明する。図２（ｂ）は、図２（ａ）の矢印「Ｙ１」から見た場合の撮影範囲空間Ｓｉと、撮影範囲外空間Ｓｏとの位置関係を示す。また、「中心線Ｌｃ」は、視点Ｐｖから前方クリップ面Ｃｆ及び後方クリップ面Ｃｒへの垂線を表す。
　図２（ｂ）に示すように、撮影範囲外空間Ｓｏは、撮影範囲空間ＳｉからＹ軸の正負両方向に延在する。具体的には、撮影範囲外空間Ｓｏは、前方クリップ面Ｃｆ及び後方クリップ面ＣｒをそれぞれＸ軸と平行な中心線Ｌｃから所定距離「Ｄ１」の位置までＹ軸方向に拡大し、拡大後の前方クリップ面Ｃｆ及び後方クリップ面Ｃｒを上面及び底面とする錐台から撮影範囲空間Ｓｉを除外した空間である。
　そして、システムコントローラ２０は、撮影範囲外空間Ｓｏを特定後、地図データに記憶された施設の位置情報（「施設位置情報」とも呼ぶ。）に基づき、撮影範囲外空間Ｓｏに位置する施設を撮影範囲外非表示施設Ｉｎｏとする。
　２．撮影範囲内非表示施設
　次に、撮影範囲内非表示施設Ｉｎｉの特定方法について具体的に説明する。まず、システムコントローラ２０は、地図データを参照し、施設位置情報に加え、施設の高さの情報（「施設高さ情報」とも呼ぶ。）と、施設の横幅に相当するＹ軸方向での幅及び施設の奥行き幅に相当するＸ軸方向での幅から特定される立地範囲の情報（「施設範囲情報」とも呼ぶ。）とに基づき、撮影範囲空間Ｓｉ中に各施設の模型に相当するオブジェクトを配置する。そして、システムコントローラ２０は、カメラ５の向き及び画角に基づき、視点Ｐｖから撮影範囲空間Ｓｉを撮影画像と同様の２次元空間に投影した場合に、他の施設のオブジェクトにより非表示となる空間（「非表示空間Ｓｈ」とも呼ぶ。）を特定する。上述した撮影範囲空間Ｓｉを投影後の２次元空間を、「投影２Ｄ空間Ｓｐ」とも呼ぶ。
　この処理について図３を参照して具体的に説明する。
　図３（ａ）は、撮影範囲空間Ｓｉに配置された施設のオブジェクト「Ｏｂ１」によって生成される非表示空間ＳｈをＸＺ平面上で表した図を示す。図３（ｂ）は、オブジェクトＯｂ１によって生成される非表示空間ＳｈをＸＹ平面上で表した図を示す。非表示空間Ｓｈは、斜線により図示されている。
　図３（ａ）、（ｂ）では、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する位置関係を有する施設について、施設高さ情報及び施設範囲情報に基づき、オブジェクトＯｂ１を生成し、撮影範囲空間Ｓｉに配置している。具体的には、システムコントローラ２０は、図３（ａ）に示すように、施設高さ情報に基づき、矢印６０の幅に相当するオブジェクトＯｂ１の高さを定める。また、システムコントローラ２０は、図３（ｂ）に示すように、矢印６１の幅に相当する施設の横幅の情報及び矢印６２の幅に相当する施設の奥行き幅の情報からなる施設範囲情報に基づき、オブジェクトＯｂ１の立地範囲を定める。従って、この場合、オブジェクトＯｂ１は、直方体の形状を有する。そして、システムコントローラ２０は、視点ＰｖからオブジェクトＯｂ１の各頂点を通過する半直線を撮影範囲空間Ｓｉ中に描き（破線「Ｌ１」乃至「Ｌ３」参照）、非表示空間Ｓｈを特定する。
　そして、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトであって、全体のうち所定割合以上が非表示となるオブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。具体的には、投影２Ｄ空間Ｓｐ中で他のオブジェクトにより非表示となった面積を「Ａ１」、投影２Ｄ空間Ｓｐ中で当該オブジェクトが表示される面積を「Ａ２」とし、上述の所定割合を「Ｔｈ」とすると、システムコントローラ２０は、以下の式（１）が満たされた場合、当該オブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。
　Ａ１／（Ａ１＋Ａ２）≧Ｔｈ　　　式（１）
　上述の所定割合Ｔｈは、例えば実験等に基づき予め定められる。
　このように、システムコントローラ２０は、撮影範囲空間Ｓｉに生成した各施設のオブジェクトについて非表示空間Ｓｈを生成し、当該非表示空間Ｓｈと重なるオブジェクトであって、投影２Ｄ空間Ｓｐで所定割合Ｔｈ以上非表示となるオブジェクトを、撮影範囲内非表示施設Ｉｎｉのオブジェクトであると特定する。これにより、システムコントローラ２０は、好適に、撮影範囲内非表示施設Ｉｎｉを特定することができる。
　［表示例］
　次に、上述の処理に基づいて、システムコントローラ２０が表示ユニット４０に表示させる表示例について図４を参照して説明する。
　図４（ａ）は、施設マークを重畳させる前の撮影画像の一例を示す。図４（ａ）に示す撮影画像は、施設「７０Ａ」乃至「７０Ｇ」が表示されている。なお、施設７０Ｆは、駐車場である。さらに、撮影範囲外には、図示しない施設「７０Ｈ」が存在する。施設７０Ｂ、７０Ｆは、他施設により所定割合Ｔｈ以上が非表示となっている。
　図４（ｂ）は、システムコントローラ２０が非表示施設検出処理を実行し、施設マークを重畳させた撮影画像を示す。図４（ｂ）に示すように、システムコントローラ２０は、非表示施設検出処理により、施設７０Ｂ、７０Ｆを撮影範囲内非表示施設Ｉｎｉであると判断し、かつ、施設７０Ｈを撮影範囲外非表示施設Ｉｎｏであると判断し、各施設に対応する施設マーク「７１Ｂ」、「７１Ｆ」、「７１Ｈ」を撮影画像に重畳させている。また、システムコントローラ２０は、各施設マーク７１Ｂ、７１Ｆ、７１Ｈに対応して、対応する施設の位置を明示するための矢印「７２Ｂ」、「７２Ｆ」、「７２Ｈ」を表示させている。
　このように、システムコントローラ２０は、非表示施設に対応する施設マークを撮影画像に重畳させることで、撮影画像のみでは把握することができない施設の存在をユーザに知らせることができる。特に、運転者が駐車場を探しているときに、当該駐車場及びその入口の存在を撮影画像のみでは把握できない場合であっても、システムコントローラ２０は、その駐車場に対応する施設マークを撮影画像に重畳させて表示することで、運転者に容易に所望の駐車場及びその入口を把握させることができる。
　一方、システムコントローラ２０は、撮影画像から明確に視認される施設（図４（ｂ）では施設７０Ａ、７０Ｃ乃至７０Ｅ、７０Ｇ）の施設マークを撮影画像に重畳しない。このように、システムコントローラ２０は、非表示施設に対応する施設マークのみを撮影画像に重畳させることで、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。
　また、図４（ｂ）では、システムコントローラ２０は、施設マーク７１Ｂ、７１Ｆ、７１Ｈを対応する施設とずれた位置に配置すると共に、当該施設マークと、これに対応する施設７０Ｂ、７０Ｆ、７０Ｈとを、矢印７２Ｂ、７２Ｆ、７２Ｈを表示することで対応づけた。これにより、施設マークが前面に表示されている施設に対応すると運転者が誤認するのを防ぎ、各施設マークに対応する施設の位置を明確に把握させることができる。
　［処理フロー］
　次に、本実施例でシステムコントローラ２０が実行する処理手順について図５を用いて説明する。図５は、本実施例でシステムコントローラ２０が実行する処理手順を示すフローチャートの一例である。システムコントローラ２０は、図５に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。
　まず、システムコントローラ２０は、現在位置を特定する（ステップＳ１０１）。例えば、システムコントローラ２０は、ＧＰＳ受信機１８や自立測位装置１０の検出信号に基づき、現在位置を特定する。
　次に、システムコントローラ２０は、撮影範囲空間Ｓｉ及び撮影範囲外空間Ｓｏを生成する（ステップＳ１０２）。具体的には、システムコントローラ２０は、カメラ５が設置される高さ及び現在位置に基づき、視点Ｐｖを定めると共に、カメラ５の向き、画角、前方クリップ面Ｃｆ及び後方クリップ面Ｃｒの位置とに基づき、撮影範囲空間Ｓｉを生成する。また、システムコントローラ２０は、撮影範囲空間ＳｉからＹ軸の正負両方向に所定幅だけ延在する隣接空間を撮影範囲外空間Ｓｏに定める。
　次に、システムコントローラ２０は、撮影範囲空間Ｓｉ中に各施設のオブジェクトを配置し、非表示空間Ｓｈを生成する（ステップＳ１０３）。具体的には、システムコントローラ２０は、視点Ｐｖから各施設のオブジェクトの頂点を通過する半直線を描くことで、各オブジェクトに対応する非表示空間Ｓｈを特定する。
　そして、システムコントローラ２０は、撮影範囲外空間Ｓｏに対応する施設が存在するか否か判定する（ステップＳ１０４）。そして、システムコントローラ２０は、撮影範囲外空間Ｓｏに対応する施設が存在すると判断した場合（ステップＳ１０４；Ｙｅｓ）、当該施設の施設マークを撮影画像に重畳させる（ステップＳ１０５）。これにより、システムコントローラ２０は、カメラ５の撮影範囲外で撮影画像に表示されない施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。
　一方、システムコントローラ２０は、撮影範囲外空間Ｓｏに施設が存在しないと判断した場合（ステップＳ１０４；Ｎｏ）、又はステップＳ１０５の処理の終了後、非表示空間Ｓｈと重なるオブジェクトが存在するか否か判定する（ステップＳ１０６）。そして、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトが存在すると判断した場合（ステップＳ１０６；Ｙｅｓ）、投影２Ｄ空間Ｓｐを生成し、所定割合Ｔｈ以上非表示となるか否か判定する（ステップＳ１０７）。そして、システムコントローラ２０は、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトが存在すると判断した場合（ステップＳ１０７；Ｙｅｓ）、当該オブジェクトに対応する施設の施設マークを撮影画像に重畳させる（ステップＳ１０８）。これにより、システムコントローラ２０は、他の施設と重なって撮影画像中で隠れた施設であっても、ユーザにその存在を知らせることができ、利便性を向上させることができる。
　一方、システムコントローラ２０は、非表示空間Ｓｈと重なるオブジェクトが存在しない場合（ステップＳ１０６；Ｎｏ）、または、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトが存在しない場合（ステップＳ１０７；Ｎｏ）、当該オブジェクトに対応する施設の施設マークを表示する必要はないと判断し、フローチャートの処理を終了する。これにより、システムコントローラ２０は、不要な情報表示により表示が煩雑化するのを防ぎ、運転者に必要な情報のみを運転者に提示することができる。
　［変形例］
　以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。
　（変形例１）
　図５の処理フローでは、システムコントローラ２０は、ステップＳ１０３で撮影範囲空間Ｓｉに全てのオブジェクトを配置した後、ステップＳ１０７において、投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるオブジェクトがあるか否か判定した。しかし、本発明が適用可能な方法はこれに限定されない。
　これに代えて、システムコントローラ２０は、視点Ｐｖ（現在位置）から近い施設から順に撮影範囲空間Ｓｉにオブジェクトを配置し、そのたびに、当該オブジェクトが投影２Ｄ空間Ｓｐ上で所定割合Ｔｈ以上非表示となるか否か判定してもよい。これによっても、好適に、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉを特定することができる。
　（変形例２）
　上述の説明では、システムコントローラ２０は、地図データを参照して施設高さ情報及び施設範囲情報を取得し、撮影範囲空間Ｓｉ中に配置する施設のオブジェクトの形状を定め、非表示空間Ｓｈを特定した。
　しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、システムコントローラ２０は、施設高さ情報又は施設範囲情報のいずれか一方に基づき、非表示空間Ｓｈを特定してもよい。
　例えば、システムコントローラ２０は、施設範囲情報のみに基づき非表示空間Ｓｈを定める場合、図３（ｂ）に示すように、ＸＹ平面上で、撮影範囲空間Ｓｉ中の非表示空間Ｓｈを平面的に定める。そして、システムコントローラ２０は、当該ＸＹ平面上で、非表示空間Ｓｈと施設の範囲が所定割合Ｔｈ以上重なる施設を、撮影範囲内非表示施設Ｉｎｉであるとしてもよい。
　一方、システムコントローラ２０は、施設高さ情報のみに基づき非表示空間Ｓｈを特定する場合、例えば、各施設の立地範囲を予め定めた大きさに画一的に定め、実施例と同様、オブジェクトを撮影範囲空間Ｓｉに直方体状に配置し、非表示空間Ｓｈを特定する。
　（変形例３）
　非表示施設検出処理の説明では、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する全ての施設について、オブジェクトを生成して撮影範囲内非表示施設Ｉｎｉか否かを判定し、撮影範囲内非表示施設Ｉｎｉの場合には施設マークを撮影画像に重畳させた。これに代えて、システムコントローラ２０は、撮影範囲空間Ｓｉに対応する施設のうち、所定の種類又は予め定められた施設についてのみ、撮影範囲内非表示施設Ｉｎｉか否か判定し、施設マークを撮影画像に重畳させてもよい。上述の「所定の種類」とは、例えば駐車場が該当する。また、「予め定められた施設」とは、例えば交差点付近の施設、その他地図データ等で予め指定された運転上目印となる施設が該当する。
　同様に、システムコントローラ２０は、撮影範囲外空間Ｓｏ中の全ての施設を対象に、施設マークを撮影画像に重畳させる場合に代えて、撮影範囲外空間Ｓｏ中の施設のうち、所定の種類又は予め定められた施設のみを撮影範囲外非表示施設Ｉｎｏと定め、施設マークを撮影画像に重畳させてもよい。
　この例によっても、システムコントローラ２０は、撮影画像では視認できない運転者にとって重要な施設を知らせることができ、利便性を向上させることができる。
　（変形例４）
　図４の説明では、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉに対応する施設マークを表示する場合、撮影範囲内非表示施設Ｉｎｉとずれた位置に施設マークを配置すると共に、当該施設マークと、これに対応する撮影範囲内非表示施設Ｉｎｉとを、矢印を表示することで対応づけた。しかし、本発明が適用可能な構成は、これに限定されない。
　これに代えて、システムコントローラ２０は、施設マークを対応する撮影範囲内非表示施設Ｉｎｉ上に重ねて表示すると共に、当該施設マークを、半透明により、又は、点線枠を付すなどにより表示態様を変化させて表示してもよい。この態様によっても、システムコントローラ２０は、撮影範囲内非表示施設Ｉｎｉの前面に表示された施設が施設マークに対応するとの誤認が生じるのを防ぎ、撮影範囲内非表示施設Ｉｎｉの存在を運転者に知らせることができる。
　本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｄｅｖｉｃｅ）、その他移動体に搭載されたカメラから取得した画像を制御する装置に好適に適用することができる。
　１　ナビゲーション装置
　１０　自立測位装置
　１２　ＧＰＳ受信機
　２０　システムコントローラ
　２２　ＣＰＵ
　３６　データ記憶ユニット
　３８　通信装置
　４０　表示ユニット
　４４　ディスプレイ

Claims (8)

  1. 　移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、
    　施設に関する施設情報を記憶する記憶手段と、
    　前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、
    　前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段と、
    を備えることを特徴とする画像制御装置。
  2. 　前記移動体の現在位置を測位する測位手段をさらに備え、
    　前記記憶手段は、地図上の前記施設の位置を示す施設位置情報を記憶し、
    　前記判断手段は、前記測位手段により測位された前記現在位置と、前記施設位置情報とに基づいて前記非表示施設の有無を判断することを特徴とする請求項１に記載の画像制御装置。
  3. 　前記判断手段は、前記撮像手段の撮影範囲にある前記施設のうち、前記画像に所定の割合以上表示されない施設を前記非表示施設とすることを特徴とする請求項１または２に記載の画像制御装置。
  4. 　前記表示制御手段は、前記施設情報を、当該施設情報に対応する非表示施設とずれた位置に表示すると共に、当該非表示施設の位置と前記施設情報との対応を示す矢印を表示することを特徴とする請求項１乃至３のいずれか一項に記載の画像制御装置。
  5. 　前記判断手段により前記非表示施設であるか否か判断の対象となる施設は、駐車場であることを特徴とする請求項１乃至４のいずれか一項に記載の画像制御装置。
  6. 　施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行される制御方法であって、
    　移動体に搭載された撮像手段が撮像した画像を取得する取得工程と、
    　前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断工程と、
    　前記判断工程によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御工程と、
    を備えることを特徴とする制御方法。
  7. 　施設に関する施設情報を記憶する記憶手段を有する画像制御装置により実行されるプログラムであって、
    　移動体に搭載された撮像手段が撮像した画像を取得する取得手段と、
    　前記撮像手段の撮像範囲にある前記施設のうち、前記画像に表示されない非表示施設、又は／及び、前記撮像範囲の外にある前記施設のうち、前記撮影範囲の近傍に位置する非表示施設の有無を判断する判断手段と、
    　前記判断手段によって前記非表示施設があると判断された場合、当該非表示施設に関する前記施設情報を前記画像に重畳して表示手段に表示させる表示制御手段、
    として前記画像制御装置を機能させることを特徴とするプログラム。
  8. 　請求項７に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2010/073324 2010-12-24 2010-12-24 画像制御装置、制御方法、プログラム、及び記憶媒体 WO2012086052A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011545965A JP4917191B1 (ja) 2010-12-24 2010-12-24 画像制御装置及び画像制御方法
PCT/JP2010/073324 WO2012086052A1 (ja) 2010-12-24 2010-12-24 画像制御装置、制御方法、プログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/073324 WO2012086052A1 (ja) 2010-12-24 2010-12-24 画像制御装置、制御方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2012086052A1 true WO2012086052A1 (ja) 2012-06-28

Family

ID=46243756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/073324 WO2012086052A1 (ja) 2010-12-24 2010-12-24 画像制御装置、制御方法、プログラム、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP4917191B1 (ja)
WO (1) WO2012086052A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068696A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援情報の表示方法及び駐車支援装置
JP2017223567A (ja) * 2016-06-16 2017-12-21 三菱電機株式会社 ポップアップ情報機能付き移動端末及び、ポップアップ情報システム
WO2021256241A1 (ja) * 2020-06-15 2021-12-23 Ｎｅｃソリューションイノベータ株式会社 ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069776A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両用表示方法、車両用表示装置
JP2006059136A (ja) * 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2008071298A (ja) * 2006-09-15 2008-03-27 Ntt Docomo Inc 空間掲示板システム
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069776A (ja) * 2003-08-21 2005-03-17 Denso Corp 車両用表示方法、車両用表示装置
JP2006059136A (ja) * 2004-08-20 2006-03-02 Seiko Epson Corp ビューア装置及びそのプログラム
JP2008071298A (ja) * 2006-09-15 2008-03-27 Ntt Docomo Inc 空間掲示板システム
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068696A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援情報の表示方法及び駐車支援装置
CN108140311A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
JPWO2017068696A1 (ja) * 2015-10-22 2018-09-20 日産自動車株式会社 駐車支援情報の表示方法及び駐車支援装置
US10366611B2 (en) 2015-10-22 2019-07-30 Nissan Motor Co., Ltd. Parking support information display method and parking support device
CN108140311B (zh) * 2015-10-22 2021-08-24 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
JP2017223567A (ja) * 2016-06-16 2017-12-21 三菱電機株式会社 ポップアップ情報機能付き移動端末及び、ポップアップ情報システム
WO2021256241A1 (ja) * 2020-06-15 2021-12-23 Ｎｅｃソリューションイノベータ株式会社 ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体
JP7376191B2 (ja) 2020-06-15 2023-11-08 Ｎｅｃソリューションイノベータ株式会社 ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体

Also Published As

Publication number Publication date
JPWO2012086052A1 (ja) 2014-05-22
JP4917191B1 (ja) 2012-04-18

Similar Documents

Publication Publication Date Title
US9179140B2 (en) 3dimension stereoscopic display device
JP2009250827A (ja) ナビゲーション装置、方法及びプログラム
JP2007080060A (ja) 対象物特定装置
JP5964332B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP5795386B2 (ja) 表示装置及び制御方法
JP2015172548A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JP5735658B2 (ja) 表示装置及び表示方法
JP5197881B1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
US20150029214A1 (en) Display device, control method, program and storage medium
JP4833384B1 (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
JP4917191B1 (ja) 画像制御装置及び画像制御方法
JP5702476B2 (ja) 表示装置、制御方法、プログラム、記憶媒体
JP2015105903A (ja) ナビゲーション装置、ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP5517176B2 (ja) 画像調整装置、制御方法、プログラム、及び記憶媒体
WO2017013792A1 (ja) 表示制御装置およびナビゲーション装置
JPH08184457A (ja) 車載ナビゲーション装置
JP6401925B2 (ja) 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP2015152467A (ja) 表示制御装置、制御方法、プログラム、及び記憶媒体
JPWO2011121788A1 (ja) ナビゲーション装置、情報表示装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
WO2013088512A1 (ja) 表示装置及び表示方法
JP5438172B2 (ja) 情報表示装置、情報表示方法、情報表示プログラムおよび記録媒体
WO2013046423A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
JP2007121797A (ja) 地図表示装置
WO2013046425A1 (ja) ヘッドアップディスプレイ、制御方法、及び表示装置
JP4658733B2 (ja) フレーム取得装置及び車載用ナビゲーション装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2011545965

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10861114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10861114

Country of ref document: EP

Kind code of ref document: A1