WO2013061447A1 - 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム - Google Patents

案内画像生成装置、案内画像生成方法及び案内画像生成プログラム Download PDF

Info

Publication number
WO2013061447A1
WO2013061447A1 PCT/JP2011/074830 JP2011074830W WO2013061447A1 WO 2013061447 A1 WO2013061447 A1 WO 2013061447A1 JP 2011074830 W JP2011074830 W JP 2011074830W WO 2013061447 A1 WO2013061447 A1 WO 2013061447A1
Authority
WO
WIPO (PCT)
Prior art keywords
guide image
display
head
image
unit
Prior art date
Application number
PCT/JP2011/074830
Other languages
English (en)
French (fr)
Inventor
田村　雄一
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/074830 priority Critical patent/WO2013061447A1/ja
Publication of WO2013061447A1 publication Critical patent/WO2013061447A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/184—Displaying the same information on different displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/771—Instrument locations other than the dashboard on the ceiling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions

Definitions

  • the present invention relates to a method for generating a guide image for guiding a mobile object.
  • Patent Document 1 discloses a navigation device that is assumed to be used in a smartphone.
  • Patent document 2 is disclosing the apparatus which displays the image displayed on the display window of the portable terminal on the head-up display mounted in the vehicle.
  • the device of Patent Document 2 displays a display image of a portable terminal as it is on a head-up display.
  • a head-up display mounted on a vehicle it may not be preferable to display the display image of the mobile terminal as it is.
  • the display image of the mobile terminal is too fine or there is too much information to be displayed, it can be considered that if it is displayed as it is on the head-up display, it will adversely affect the driving by the driver.
  • An object of this invention is to produce
  • the invention according to claim 1 is a guide image generating device, wherein a photographing unit that photographs a portion including a display unit of a mobile terminal, and a guide image displayed on the display unit photographed by the photographing unit are displayed.
  • Output means for outputting.
  • the invention according to claim 6 is a guide image generating method executed by a guide image generating apparatus including an image capturing unit, wherein the image capturing unit captures a portion including a display unit of a mobile terminal, and Generating a guide image for a head-up display by analyzing a guide image displayed on the display unit photographed by a photographing unit and extracting a part of information of the guide image used for guiding a moving body And a step of outputting the generated head-up display guide image to the head-up display.
  • the invention according to claim 7 is a guide image generating program executed by a guide image generating apparatus including an imaging unit and a computer, and an imaging step of imaging a part including a display unit of a portable terminal by the imaging unit; Analyzing the guide image displayed on the display unit photographed by the photographing means, and extracting a part of the guide image used for guiding the moving body to generate a head-up display guide image And generating the generated head-up display guide image and outputting the generated head-up display guide image to the head-up display.
  • FIG. 1 It is a block diagram which shows schematic structure of the image display system which concerns on an Example. It is a figure which shows the structure of a cradle typically. It is a figure which shows typically the structure of a head-up display. The example of the display level of a guidance image is shown. An example of information extraction and display by a guide image generation device is shown. It is a flowchart of a guidance image generation process.
  • the guide image generating device analyzes a guide unit displayed on the display unit captured by the image capturing unit that captures a portion including the display unit of the mobile terminal, and the display unit.
  • Generating means for generating a head-up display guide image by extracting a part of information of the guide image used for guiding the mobile body, and outputting the generated head-up display guide image to the head-up display Output means.
  • the photographing means such as a camera photographs a portion including a display unit of a mobile terminal such as a smartphone or a mobile phone.
  • the generation unit analyzes a guide image included in the captured image, extracts a part of information used for guiding a moving body such as a vehicle, and generates a head-up display guide image.
  • the generated head-up display guide image is output to a head-up display mounted on the moving body. Thereby, based on the guidance image displayed on the mobile terminal, a guidance image suitable for the head-up display is generated and displayed on the head-up display.
  • the generation unit processes the extracted part of the information so that the display is simpler than the guide image displayed on the display unit of the mobile terminal.
  • the head-up display guide image is generated.
  • the generating means extracts from the guide image at least information indicating the position of the moving body and information indicating the road on which the moving body is traveling.
  • the head-up display guide image includes at least a current position mark and a running road. Thereby, provision of basic guidance information is ensured.
  • Another aspect of the above guide image generation device may be associated with at least one of information indicating a user, model information of the mobile terminal, and information indicating an application being executed on the mobile terminal.
  • a storage unit for storing a mode wherein the generation unit determines the mode of the guide image based on at least one of a current user, model information of a currently used mobile terminal, and an application currently being executed; Then, the partial information is extracted based on the mode of the guidance image.
  • the mode of the guidance image is stored in association with at least one of the user, the model of the portable terminal, and the application executed on the portable terminal. Therefore, by using this information, it is possible to determine the mode of the guide image and to make the process of extracting information included in the head-up display guide image efficient and quick.
  • the generating means displays the head up display guide image so that the traveling direction indicated by the head up display guiding image coincides with the traveling direction of the moving body. Generate.
  • the traveling direction indicated by the head-up display guidance image matches the traveling direction of the moving object, the user can easily recognize the content of the displayed guidance image intuitively.
  • a guide image generating method executed by a guide image generating device including a photographing unit includes a photographing step of photographing a part including a display unit of a mobile terminal by the photographing unit, Generating a guide image for a head-up display by analyzing a guide image displayed on the display unit photographed by a photographing unit and extracting a part of information of the guide image used for guiding a moving body And a step of outputting the generated head-up display guide image to the head-up display. Also by this method, a guide image suitable for a head-up display is generated based on the guide image displayed on the mobile terminal and displayed on the head-up display.
  • a guide image generating program executed by a guide image generating apparatus including an image capturing unit and a computer captures a part including a display unit of a mobile terminal by the image capturing unit. Analyzing the guide image displayed on the display unit photographed by the photographing means, and extracting a part of the guide image used for guiding the moving body to generate a head-up display guide image The computer is caused to execute a generating step of performing and an output step of outputting the generated head-up display guide image to the head-up display.
  • a guide image suitable for the head-up display is generated based on the guide image displayed on the mobile terminal, and is output to the head-up display.
  • This program is preferably stored in a storage medium.
  • FIG. 1 shows a configuration of an image display system according to an embodiment of the present invention.
  • the image display system is mounted on a moving body such as a vehicle.
  • the image display system includes a guide image generation device 1, a cradle 30, an occupant recognition camera 35, and a head-up display (hereinafter also referred to as “HUD”) 40.
  • the cradle 30, the occupant recognition camera 35, and the HUD 40 are connected to the guide image generating device 1.
  • the cradle 30 is arranged at a predetermined place in the vehicle.
  • the cradle 30 stores a mobile terminal such as a smartphone or a mobile phone, and includes a camera 31.
  • An example of the cradle 30 is shown in FIG.
  • the cradle 30 includes a camera 31 and a housing 32.
  • the housing 32 includes a base 32a and a cover 32b.
  • a camera 31 is attached to the inner surface of the cover 32b.
  • the portable terminal 33 is disposed in the recess 32c of the base 32a with the display unit facing upward. After arranging the portable terminal 33, the cover 32b is placed on the base 32a.
  • the camera 31 attached to the inner surface of the cover 32b is close to the display unit of the mobile terminal 33, photographs the front surface of the mobile terminal 33 including the display unit, and supplies the obtained image to the guide image generating device 1. .
  • the cradle may have any structure as long as the front surface of the mobile terminal 33 can be continuously photographed by the camera.
  • the display unit of the mobile terminal 33 may be arranged obliquely with respect to the camera 31 in the recess of the base 32a. In this case, the camera 31 captures the entire front surface of the mobile terminal 33. Then, a rectangular frame or the like of the display unit is recognized, and the photographed image is rotated based on it. Thereby, the angle shift
  • the occupant recognition camera 35 is arranged at a predetermined location in the vehicle, for example, on the dashboard.
  • the occupant recognition camera 35 captures the face of the user (driver) and supplies the face image to the guidance image generation device 1.
  • the HUD 40 is disposed between the driver's seat of the vehicle and the windshield, and displays the guide image supplied from the guide image generating device 1 to the driver as the virtual image Iv.
  • An example of the HUD 40 is shown in FIG.
  • the HUD 40 includes a light source unit 3 and is attached to a vehicle including a front window 25, a ceiling portion 27, a bonnet 28, a dashboard 29, and the like.
  • the light source unit 3 is installed on the ceiling portion 27 in the passenger compartment via the support members 5a and 5b, and transmits light constituting an image indicating information for assisting driving (also referred to as “driving assist information”) to the combiner 9. Exit toward. Specifically, the light source unit 3 generates an original image (real image) of the display image in the light source unit 3 based on the control of the control unit 4, and emits light constituting the image to the combiner 9.
  • the virtual image “Iv” is visually recognized by the driver via the combiner 9.
  • the combiner 9 projects the display image emitted from the light source unit 3 and reflects the display image to the driver's eye point Pe to display the display image as a virtual image Iv. And the combiner 9 has the support shaft part 8 installed in the ceiling part 27, and rotates the support shaft part 8 as a spindle.
  • the support shaft portion 8 is installed, for example, in the vicinity of the ceiling portion 27 in the vicinity of the upper end of the front window 25, in other words, the position where a sun visor (not shown) for the driver is installed.
  • the support shaft portion 8 may be installed instead of the above-described sun visor.
  • the control unit 4 includes a CPU, RAM, ROM, and the like (not shown), and performs general control of the head-up display 2.
  • the control unit 4 can communicate with the navigation device 1 and receives various types of information used for navigation processing from the navigation device 1.
  • the guide image generating apparatus 1 includes a calculation unit 10 and a storage unit 20 when roughly classified.
  • the computing unit 10 can be an image processing engine or a processor that executes a predetermined program.
  • the storage unit 20 can be a nonvolatile memory or the like.
  • the calculation unit 10 includes a capturing unit 11, a mode recognition unit 12, an element extraction unit 13, an image generation unit 14, and an occupant recognition unit 15.
  • the occupant recognition unit 15 identifies the occupant by image recognition based on the occupant (user) image acquired from the occupant recognition camera 35, mainly the face image, and the occupant identification information is sent to the mode recognition unit 12 and the image generation unit 14. send. With the occupant recognition, it is possible to recognize who the person has been in the past. In the case of a person who has never boarded, the photographed image information is registered and used for recognition from the next time.
  • the capturing unit 11 receives a captured image of the front surface of the mobile terminal 33 from the camera 31 of the cradle 30, and captures each frame image of the captured image using a video buffer memory (not shown).
  • the mode recognition unit 12 performs mode recognition of the guide image displayed on the mobile terminal 33 based on each captured frame image.
  • the “guide image mode” refers to a screen mode in which vehicle guidance information is displayed by an application executed on the mobile terminal 33. ), Guidance mode, non-guidance mode, intersection enlarged display mode, photographic image display mode, etc., and the scale of the displayed map.
  • the mode recognition is performed together with the recognition of the model information of the portable terminal 33, and recognizes “with which portable terminal” and “which mode is being displayed”.
  • the “guidance image” refers to information including at least information indicating an area such as a map and a road, and the vehicle position. Therefore, the guidance route in the case where route guidance to a so-called destination is performed, information on the direction of travel at the guidance point (information on turning left and right), etc. may not be included. That is, an image in which only the position of the vehicle is displayed on a map or a diagram showing a road is also included in the guide image.
  • the mode recognizing unit 12 determines whether the guide image is in the bird's eye view mode or the plan view mode based on the direction and angle of the line segment indicating the road in the guide image included in the captured frame image. Can be determined. Further, the mode recognizing unit 12 can determine whether the mode is the guidance mode or the non-guidance mode based on whether or not information on the destination or the guidance point is displayed in the guidance image. Moreover, the mode recognition part 12 can detect a reduced scale based on the numerical value of the reduced scale contained in a guidance image. As described above, the mode recognition unit 12 recognizes the mode of the guide image by performing the image recognition process on the guide image.
  • the mode recognizing unit 12 determines the model of the captured mobile terminal 33 based on the captured frame image. For example, the mode recognition unit 12 determines the model of the mobile terminal 33 by detecting a part other than the guide image in the captured frame image, that is, the model number written on the front surface of the mobile terminal 33. Can do. In addition, if the outer shape of the front portion of various portable terminals 33 is prepared in advance, the model of the portable terminal 33 can be determined by shape matching processing.
  • the mode recognition unit 12 can also determine the model of the mobile terminal 33 based on the occupant identification information acquired from the occupant recognition unit 35. That is, when the model information of the portable terminal 33 owned by each passenger is registered in advance, the corresponding model of the portable terminal 33 can be specified based on the identification information of the passenger.
  • the mode recognition unit 12 stores them in the storage unit 20 in association with each other.
  • the mode of the guide image of the model A mobile terminal 33 is the bird's eye view mode
  • the mode of the guide image of the model B mobile terminal 33 is the plan view mode, and so on.
  • the mode of the guide image may be stored for each application.
  • the mode recognition unit 12 can store the guidance image mode for each occupant using the occupant identification information acquired from the occupant recognition unit 15. This can also be expected to increase the efficiency of the second and subsequent mode recognition processes.
  • the element extraction unit 13 performs element extraction.
  • the element extraction is to extract image elements in each mode after the mode recognition unit 12 recognizes the mode.
  • the element extraction unit 13 performs, from the guide image, each element that forms the guide image, for example, a road, a national road number, a road name, a vehicle position mark, an intersection name, an accompanying name, by the image recognition process.
  • Information, a driving instruction (guidance) arrow, a driving instruction (guidance) line, traffic jam information, a sign, a number indicating a distance, and the like are extracted.
  • the element extraction unit 13 extracts each element by pattern matching using various templates prepared in advance. For example, an arrow indicating the vehicle position in the guide image is extracted using a plurality of arrow templates prepared in advance.
  • This element extraction process is actually a process with a very large computational load. Therefore, the processing efficiency is improved by using the above-described mode recognition result.
  • the elements corresponding to the mode may be preferentially used to extract each element. For example, if there is a precedent that “in some modes, the guidance arrow appears in the center of the screen in red and upwards”, element extraction is performed by preferentially using the template corresponding to that mode. The processing can be speeded up and made efficient.
  • the image generation unit 14 determines the elements to be displayed on the HUD 40 among the elements extracted by the element extraction unit 13, and converts them into images suitable for display by the HUD 40. Specifically, first, the image generation unit 14 selects an element to be displayed on the HUD 40 among the elements extracted by the element extraction unit 13. Here, among the plurality of elements extracted by the element extraction unit 13, as to which elements are displayed on the HUD 40, a plurality of levels selectable by the user are prepared. A level that defines which element is displayed on the HUD 40 is referred to as a “display element level”. An example of a table that defines display element levels is shown in FIG.
  • FIG. 4 (a) only basic elements that are at least necessary are displayed at level 1. As the level increases, the displayed elements increase. In level 7, the most elements are displayed. Specifically, in addition to all elements indicating map information, elements indicating accompanying information are also displayed.
  • the user can select his / her favorite display element level when displaying with the HUD 40.
  • the display element level may be set to level 1, and the level may be changed by the user's subsequent level changing operation. For example, a user who wants to display only basic elements in HUD 40 selects level 1. In that case, only the guidance route to the own vehicle position mark and the next intersection is displayed on the HUD 40. On the other hand, the user who wants to display all the map information, although accompanying information is unnecessary, selects level 6. In that case, the elements defined at level 6 in FIG. 4A are displayed on the HUD 40. As described above, by enabling the user to select the display element level, it is possible to display information requested by the user on the HUD 40.
  • the largest number of elements extracted by element extraction are displayed, but not all the elements extracted by element extraction are still displayed.
  • a mark (icon) indicating time, communication status, radio wave status, etc. is generally displayed on the display unit of the mobile terminal 33, but even if elements are extracted, the HUD 40 Is not displayed.
  • the image taken by the camera 31 of the cradle 30 includes an image of the front portion of the portable terminal 33, that is, a portion other than the display portion, but that portion is not an element extraction target. In reality, not all elements included in the guide image can be extracted by the element extraction process. Therefore, no matter what level is selected as the display element level, the image generated by the image generation unit 14 and displayed on the HUD 40 is not the same as the image captured by the camera 31, but is included in the image captured by the camera 31. Become part of the
  • the user can select the transparency when displaying each element.
  • the level that defines the elements to be displayed, including the transparency of the display, is called “transparency level”.
  • An example of a table defining the transparency level is shown in FIG.
  • the elements to be displayed are the same as the display element level shown in FIG. 4 (a), but the transparency for displaying each element is defined. Since the HUD 40 displays the element on the windshield, “opaque (transparency 0%)” means that the element is displayed most darkly, and “transparency 100%” means that the element is not displayed. Therefore, at level 1, for example, the basic elements are the darkest and are displayed so that the user can clearly see them, but the other elements are displayed very lightly. As described above, by enabling the user to select the transparency level, it is possible to display information required by the user on the HUD 40 with appropriate visibility.
  • the above level setting can also be performed for each driving situation of the vehicle.
  • the user can set level 1 while traveling on an expressway and can set level 3 on a general road.
  • the image generation unit 14 converts the elements to be displayed determined by the user level designation as described above into an image suitable for display on the HUD 40. Specifically, the image generation unit 14 displays the elements to be displayed on the HUD 40 out of the plurality of elements extracted by the element extraction, rather than as they are, as a simpler display than the state displayed on the mobile terminal 33.
  • Process and display as follows. This processing is called “deformation processing”, and the created simple display element is called “deformation element”.
  • the entire guide image generated as a set of deformation elements is referred to as a “HUD guide image”.
  • the deformation process includes processes such as changing the shape of the original element, changing the color, and replacing the original element with a new shape similar to the original element. Note that the above-described adjustment of transparency is also included in one of the deformations.
  • the image generation unit 14 sets the traveling direction of the generated HUD guide image as the traveling direction of the vehicle even when the guidance image captured by the capturing unit 11 is in a mode other than the traveling direction up (for example, the north up mode).
  • Match That is, when displayed on the HUD 40, the traveling direction in the HUD guide image is either the upward direction (ie, the traveling direction up) or the downward direction (ie, the traveling direction down) in the HUD guide image.
  • the guide image for HUD is displayed as a virtual image on the windshield of the vehicle, and the guide image for HUD is used when the traveling direction of the displayed guide image for HUD matches the traveling direction of the vehicle. This is because it is easy for a person to understand intuitively.
  • a red triangle and a blue circle are prepared.
  • the user can select a favorite one from a plurality of prepared deformation elements.
  • the image generation unit 14 can have a learning function for deformation processing.
  • the HUD guide image generated by the default deformation process is displayed on the HUD 40.
  • the learning of the image generation unit 14 proceeds, and the image generation unit 14 grasps the user's preference tendency.
  • the deformation process that matches the user's preference is automatically performed. For example, as a deformation process, a user prefers a deformation process that changes the shape to a round shape while maintaining the color of the original element displayed on the mobile terminal 33, and how many such guide images for HUD are used. If this is selected, the image generation unit 14 learns the tendency, and performs the same type of deformation processing for elements not specified by the user.
  • the above learning function may be executed individually for each condition when executing the navigation process. For example, deformation processing that matches the user's preference may be performed for various conditions such as whether or not a route is set, whether the vehicle is traveling on a highway or a general road, the surrounding weather, season, and time.
  • FIG. 5 shows an example of guide image generation processing by the guide image generation device 1
  • FIG. 6 is a flowchart of the guide image generation processing.
  • the user sets the mobile terminal 33 in the cradle 30 and explains the front part of the mobile terminal 33 by the camera 31.
  • the capturing unit 11 of the guide image generating device 1 receives the image data from the camera 31 and captures an image for each frame (step S10).
  • An example of the captured image is shown in FIG. Note that the example of FIG. 5A shows an image of only the display unit of the mobile terminal 33 for convenience, and the image of the front part other than the display unit of the mobile terminal 33 is omitted.
  • the mode recognition unit 12 of the guidance image generation device 1 analyzes the captured image, recognizes model information from an image of a portion other than the display unit of the mobile terminal 33 (step S11), and also from the guidance image to the mode Is detected (step S12). In the example of FIG. 5A, the mode recognition unit 12 recognizes that the guide image is in the bird's eye view mode.
  • the mode recognition unit 12 when the mode associated with the model information of the mobile terminal 33 is stored, the mode recognition unit 12 performs mode recognition in consideration of the information. In addition, since the occupant recognition unit 15 recognizes the user based on the image acquired from the occupant recognition camera 35, when there is a mode stored in association with the user, the mode recognition unit 12 Recognize the mode considering the information.
  • the element extraction unit 13 of the image generation apparatus 1 extracts elements from the captured image (step S13).
  • the accompanying information indicated by the broken line 71, the road number indicated by the broken line 72, the road indicated by the broken line 73, and the vehicle position mark indicated by the broken line 74 are extracted as elements from the captured image. .
  • Each extracted element is shown in FIG.
  • the image generation unit 14 selects an element to be displayed from a plurality of extracted elements based on a display element level or a transparency level according to the user's designation. Then, the image generation unit 14 creates a deformation element for each element to be displayed, and generates a HUD guide image including them (step S14).
  • FIG. 5D shows an example of a HUD guide image. In this example, it is assumed that a running road, its road number, and a vehicle position mark are displayed from a plurality of extracted elements shown in FIG. The image generation unit 14 performs deformation processing for deforming the shape and size of the road, road number, and own vehicle position mark shown in FIG. 5C, and generates the HUD guide image shown in FIG.
  • the image generation unit 14 transmits the generated HUD guide image to the HUD 40 for display.
  • the HUD guide image shown in FIG. 5D is displayed on the HUD 40. That is, the user visually recognizes the image shown in FIG. 5D as a virtual image above the windshield 25 through the combiner 9.
  • the guide image display process is completed.
  • elements included in the guide image displayed on the mobile terminal 33 are extracted, and a part of the elements is deformed to generate a HUD guide image. Therefore, compared with the case where the guidance image displayed on the mobile terminal 33 is displayed on the HUD 40 as it is, it is possible to display a guidance image that is easy for the user during driving to view.
  • the occupant recognition camera 35 is used and the user is recognized by the image, but instead, the user may be recognized using a voice recognition process.
  • the present invention can be used in a device that is mounted on a mobile body and displays guidance information of the mobile body using a HUD.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

　案内画像生成装置において、カメラなどの撮影手段は、スマートフォン、携帯電話などの携帯端末の表示部を含む部分を撮影する。生成手段は、撮影画像に含まれる案内画像を解析し、車両などの移動体の案内に利用される一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する。生成されたヘッドアップディスプレイ用案内画像は移動体に搭載されたヘッドアップディスプレイに表示される。これにより、携帯端末に表示された案内画像に基づいて、ヘッドアップディスプレイに適した案内画像が生成され、ヘッドアップディスプレイに表示される。

Description

案内画像生成装置、案内画像生成方法及び案内画像生成プログラム
　本発明は、移動体を案内するための案内画像を生成する手法に関する。
　スマートフォンと呼ばれる多機能携帯電話が普及している。スマートフォンは多種のアプリケーションを実行可能であり、カーナビゲーションに類似したナビゲーションアプリケーションも提供されている。例えば、特許文献１は、スマートフォンでの使用を想定したナビゲーション装置を開示している。
　一方、車両に搭載されるヘッドアップディスプレイにより、運転者に各種の情報を提供することが提案されている。特許文献２は、携帯端末の表示窓に表示された画像を、車両に搭載されたヘッドアップディスプレイに表示する装置を開示している。
特開２０１０－６０４３３号公報 特開２００６－２７０２５６号公報
　特許文献２の装置は、携帯端末の表示画像をそのままヘッドアップディスプレイに表示するものである。しかし、車両に搭載したヘッドアップディスプレイを利用する場合、携帯端末の表示画像をそのまま表示することが好ましくない場合もある。例えば、携帯端末の表示画像が細かすぎたり、表示される情報が多すぎたりする場合、それをそのままヘッドアップディスプレイに表示すると運転者による運転に好ましくない影響を与えることが考えられる。
　本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、携帯端末に表示された画像から、移動体に搭載されたヘッドアップディスプレイによる表示に適した案内画像を生成することを目的とする。
　請求項１に記載の発明は、案内画像生成装置であって、携帯端末の表示部を含む部分を撮影する撮影手段と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成手段と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力手段と、を備えることを特徴とする。
　請求項６に記載の発明は、撮影手段を備える案内画像生成装置により実行される案内画像生成方法であって、前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を有することを特徴とする。
　請求項７に記載の発明は、撮影手段及びコンピュータを備える案内画像生成装置により実行される案内画像生成プログラムであって、前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を前記コンピュータに実行させることを特徴とする。
実施例に係る画像表示システムの概略構成を示すブロック図である。 クレードルの構成を模式的に示す図である。 ヘッドアップディスプレイの構成を模式的に示す図である。 案内画像の表示レベルの例を示す。 案内画像生成装置による情報の抽出及び表示例を示す。 案内画像生成処理のフローチャートである。
　本発明の好適な実施形態では、案内画像生成装置は、携帯端末の表示部を含む部分を撮影する撮影手段と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成手段と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力手段と、を備える。
　上記の案内画像生成装置において、カメラなどの撮影手段は、スマートフォン、携帯電話などの携帯端末の表示部を含む部分を撮影する。生成手段は、撮影画像に含まれる案内画像を解析し、車両などの移動体の案内に利用される一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する。生成されたヘッドアップディスプレイ用案内画像は移動体に搭載されたヘッドアップディスプレイに出力される。これにより、携帯端末に表示された案内画像に基づいて、ヘッドアップディスプレイに適した案内画像が生成され、ヘッドアップディスプレイに表示される。
　上記の案内画像生成装置の一態様では、前記生成手段は、抽出した前記一部の情報を、前記携帯端末の表示部により表示されていた案内画像よりも簡易な表示となるように加工して前記ヘッドアップディスプレイ用案内画像を生成する。これにより、携帯端末の表示部に表示されていた案内画像をそのままヘッドアップディスプレイに表示する場合に比べて、運転中の利用者が認識しやすい案内画像を表示することが可能となる。
　上記の案内画像生成装置の他の一態様では、前記生成手段は、前記案内画像から、少なくとも前記移動体の位置を示す情報、及び、前記移動体が走行している道路を示す情報を抽出し、前記ヘッドアップディスプレイ用案内画像に少なくとも現在位置マーク及び走行中の道路を含める。これにより、基本的な案内情報の提供が確保される。
　上記の案内画像生成装置の他の一態様は、利用者を示す情報、前記携帯端末の機種情報及び前記携帯端末上で実行されているアプリケーションを示す情報の少なくとも１つと関連付けて、前記案内画像のモードを記憶する記憶部を備え、前記生成手段は、現在の利用者、現在使用されている携帯端末の機種情報及び現在実行されているアプリケーションの少なくとも１つに基づいて前記案内画像のモードを判定し、当該案内画像のモードに基づいて前記一部の情報を抽出する。この態様では、利用者、携帯端末の機種、携帯端末上で実行されているアプリケーションの少なくとも１つと関連付けて案内画像のモードが記憶されている。よって、この情報を利用することにより、案内画像のモードを判定し、ヘッドアップディスプレイ用案内画像に含まれる情報を抽出する処理を効率化、迅速化することができる。
　上記の案内画像生成装置の他の一態様では、前記生成手段は、前記ヘッドアップディスプレイ用案内画像が示す進行方向が、前記移動体の進行方向と一致するように前記ヘッドアップディスプレイ用案内画像を生成する。この態様では、ヘッドアップディスプレイ用案内画像が示す進行方向は移動体の進行方向と一致しているので、利用者は表示された案内画像の内容を直感的に認識しやすくなる。
　本発明の他の好適な実施形態では、撮影手段を備える案内画像生成装置により実行される案内画像生成方法は、前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を有する。この方法によっても、携帯端末に表示された案内画像に基づいて、ヘッドアップディスプレイに適した案内画像が生成され、ヘッドアップディスプレイに表示される。
　本発明の他の好適な実施形態では、撮影手段及びコンピュータを備える案内画像生成装置により実行される案内画像生成プログラムは、前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を前記コンピュータに実行させる。このプログラムを実行することにより、携帯端末に表示された案内画像に基づいて、ヘッドアップディスプレイに適した案内画像が生成され、ヘッドアップディスプレイに出力される。このプログラムは、好適には記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。
　図１は、本発明の実施例に係る画像表示システムの構成を示す。画像表示システムは、車両などの移動体に搭載される。画像表示システムは、案内画像生成装置１と、クレードル３０と、乗員認識カメラ３５と、ヘッドアップディスプレイ（以下、「ＨＵＤ」とも記す。）４０と、を備える。クレードル３０、乗員認識カメラ３５及びＨＵＤ４０は、案内画像生成装置１に接続されている。
　クレードル３０は、車内の所定の場所に配置される。クレードル３０は、スマートフォンや携帯電話などの携帯端末を収納するものであり、カメラ３１を備える。クレードル３０の一例を図２に示す。図２の例において、クレードル３０は、カメラ３１と、筐体３２とを備える。筐体３２は、基台３２ａと、カバー３２ｂとを備える。カバー３２ｂの内側面にはカメラ３１が取り付けられている。携帯端末３３は、その表示部が上を向いた状態で基台３２ａの凹部３２ｃ内に配置される。携帯端末３３を配置した後、基台３２ａに対してカバー３２ｂがかぶせられる。カバー３２ｂの内側面に取り付けられたカメラ３１は、携帯端末３３の表示部に近接し、表示部を含む携帯端末３３の前面部を撮影し、得られた画像を案内画像生成装置１へ供給する。
　なお、図２に示すクレードルの構成は一例に過ぎない。カメラにより携帯端末３３の前面部を継続的に撮影可能であれば、クレードルはどのような構造であっても構わない。また、基台３２ａの凹部内において、携帯端末３３の表示部がカメラ３１に対して斜めに配置される場合があるが、その場合には、カメラ３１は携帯端末３３の前面部全体を撮影し、その表示部の矩形の枠などを認識し、それを基準として撮影した画像を回転させる。これにより、配置された携帯端末３３とカメラ３１との角度ずれを撮影画像上で補正することができる。
　乗員認識カメラ３５は、車内の所定の場所、例えばダッシュボード上などに配置される。乗員認識カメラ３５は、利用者（運転者）の顔を撮影し、その顔画像を案内画像生成装置１に供給する。
　ＨＵＤ４０は、車両の運転席とフロントガラスとの間に配置され、案内画像生成装置１から供給された案内画像を上記の虚像Ｉｖとして運転者に表示する。ＨＵＤ４０の一例を図３に示す。図３に示すように、ＨＵＤ４０は、光源ユニット３を備え、フロントウィンドウ２５、天井部２７、ボンネット２８、及びダッシュボード２９などを備える車両に取り付けられる。
　光源ユニット３は、支持部材５ａ、５ｂを介して車室内の天井部２７に設置され、運転を補助する情報（「運転補助情報」とも呼ぶ。）を示す画像を構成する光を、コンバイナ９に向けて出射する。具体的には、光源ユニット３は、制御部４の制御に基づき、光源ユニット３内に表示像の元画像（実像）を生成し、その画像を構成する光をコンバイナ９へ出射することで、コンバイナ９を介して運転者に虚像「Ｉｖ」を視認させる。
　コンバイナ９は、光源ユニット３から出射される表示像が投影されると共に、表示像を運転者のアイポイントＰｅへ反射することで当該表示像を虚像Ｉｖとして表示させる。そして、コンバイナ９は、天井部２７に設置された支持軸部８を有し、支持軸部８を支軸として回動する。支持軸部８は、例えば、フロントウィンドウ２５の上端近傍の天井部２７、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。なお、支持軸部８は、上述のサンバイザに代えて設置されてもよい。
　制御部４は、図示しないＣＰＵやＲＡＭ、ＲＯＭなどを有し、ヘッドアップディスプレイ２の全般的な制御を行う。また、制御部４は、ナビゲーション装置１と通信が可能であり、ナビゲーション処理に用いられる各種情報をナビゲーション装置１から受信する。
　次に、案内画像生成装置１について説明する。案内画像生成装置１は、大別して演算部１０と記憶部２０とを備える。演算部１０は、画像処理エンジン、又は、所定のプログラムを実行するプロセッサなどとすることができる。記憶部２０は、不揮発性のメモリなどとすることができる。
　演算部１０は、取り込み部１１と、モード認識部１２と、要素抽出部１３と、画像生成部１４と、乗員認識部１５とを備える。
　乗員認識部１５は、乗員認識カメラ３５から取得した乗員（利用者）の画像、主として顔画像に基づいて画像認識により乗員を識別し、乗員の識別情報をモード認識部１２及び画像生成部１４に送る。乗員認識により、過去に乗車したことがある人物については、それが誰かを認識することができる。また、一度も乗車したことがない人物の場合には、撮影した画像情報を登録しておき、次回以降の認識に使用する。
　取り込み部１１は、携帯端末３３の前面部の撮影画像をクレードル３０のカメラ３１から受け取り、図示しない映像バッファメモリを利用して、撮影画像の各フレーム画像をキャプチャーする。
　モード認識部１２は、キャプチャーされた各フレーム画像に基づいて、携帯端末３３に表示されている案内画像のモード認識を行う。ここで、「案内画像のモード」とは、その携帯端末３３で実行されているアプリケーションにより車両の案内情報を表示する画面モードをいい、例えば、鳥瞰図モード、平面図モード（ノースアップ、進行方向アップ）、案内中モード、非案内中モード、交差点拡大表示モード、写真画像表示モードなど、及び、表示されている地図の縮尺などを含む。モード認識は、携帯端末３３の機種情報の認識とともに行われ、「どの携帯端末で」、「どのモードの表示をしているか」を認識する。
　なお、本明細書では、「案内画像」とは、少なくとも地図、道路などのエリアを示す情報と、自車位置とを含む情報を言う。よって、いわゆる目的地までのルート案内が行われている場合の案内ルート、案内地点における進行方向の情報（右左折の情報）などは含まれていなくても構わない。即ち、単純に地図又は道路を示す線図上に自車位置のみが表示されている画像も案内画像に含まれる。
　具体的には、モード認識部１２は、キャプチャーされたフレーム画像に含まれる案内画像中の道路を示す線分の方向、角度などに基づいて案内画像が鳥瞰図モードであるか平面図モードであるかを判定することができる。また、モード認識部１２は、案内画像中に目的地又は案内地点に関する情報の表示があるか否かに基づいて、案内中モードであるか非案内中モードであるかを判定することができる。また、モード認識部１２は、案内画像に含まれる縮尺の数値に基づいて縮尺を検出することができる。このように、モード認識部１２は、案内画像に対する画像認識処理を行うことにより、案内画像のモードを認識する。
　これに加えて、モード認識部１２は、キャプチャーされたフレーム画像に基づいて、撮影された携帯端末３３の機種を判定する。例えば、モード認識部１２は、キャプチャーしたフレーム画像中の案内画像以外の部分、つまり携帯端末３３の前面部に記入された機種番号などを検出することにより、当該携帯端末３３の機種を判定することができる。また、予め各種の携帯端末３３の前面部の外形などを用意しておけば、形状マッチング処理により当該携帯端末３３の機種を判定することもできる。
　モード認識部１２は、乗員認識部３５から取得した乗員の識別情報に基づいて、携帯端末３３の機種を判別することもできる。即ち、各乗員が所有する携帯端末３３の機種情報が予め登録されている場合には、乗員の識別情報に基づいて、対応する携帯端末３３の機種を特定することができる。
　こうして案内画像のモード及び携帯端末３３の機種を検出できた場合、モード認識部１２は、それらを関連付けて記憶部２０に記憶しておく。例えば、機種Ａの携帯端末３３の案内画像のモードは鳥瞰図モードであり、機種Ｂの携帯端末３３の案内画像のモードは平面図モードである、というように、機種に対応付けて案内画像のモードを記憶しておく。これにより、利用者が同じ携帯端末３３を再度使用した場合に、モード認識処理を迅速に行うことが可能となる。
　なお、機種情報の代わりに又は機種情報に加えて、案内画像を表示しているアプリケーションが検出できる場合には、アプリケーション毎に案内画像のモードを記憶しておいてもよい。携帯端末３３上で動作するナビゲーションのアプリケーションは複数存在するが、案内画像として表示される地図やマークなどはアプリケーション毎にある程度決まっている。よって、例えば案内画像中に含まれているアプリケーション名などを検出できれば、アプリケーション毎に案内画像のモードを記憶することができる。これにより、２回目以降のモード認識処理の効率化が期待できる。
　また、モード認識部１２は、乗員認識部１５から取得した乗員の識別情報を利用して、乗員毎に案内画像のモードを記憶しておくこともできる。これによっても、２回目以降のモード認識処理の効率化が期待できる。
　要素抽出部１３は、要素抽出を行う。要素抽出とは、モード認識部１２によりモード認識がされた後に、それぞれのモードにおける画像の要素を抽出することである。具体的には、要素抽出部１３は、画像認識処理によって、案内画像から、当該案内画像を形成している各要素、例えば、道路、国道番号、道路名、自車位置マーク、交差点名、付随情報、走行指示（案内）矢印、走行指示（案内）ライン、渋滞情報、標識、距離を示す数字などを抽出する。典型的な例では、要素抽出部１３は、予め用意された各種のテンプレートを利用し、パターンマッチングにより各要素を抽出する。例えば、予め用意された複数の矢印のテンプレートを利用して、案内画像中の自車位置を示す矢印を抽出する。
　この要素抽出処理は、実際には非常に計算処理の負荷が大きい処理となる。そこで、前述のモード認識結果を利用して処理の効率化が図られる。即ち、案内画像のモードが認識されていれば、そのモードに対応するテンプレートを優先的に使用して各要素を抽出すればよい。例えば、「あるモードにおいては、案内用矢印が画面中央に赤色で画面上向きに出る」という前例があれば、そのモードに対応するテンプレートを優先的に使用して抽出処理を行うことにより、要素抽出処理の迅速化、効率化が可能となる。
　画像生成部１４は、要素抽出部１３により抽出された要素のうち、ＨＵＤ４０に表示すべき要素を決定し、それらをＨＵＤ４０による表示に適した画像に変換する。具体的には、まず、画像生成部１４は、要素抽出部１３により抽出された要素のうち、ＨＵＤ４０に表示する要素を選択する。ここで、要素抽出部１３により抽出された複数の要素のうち、どの要素をＨＵＤ４０に表示するかについては、利用者が選択可能な複数のレベルが用意される。どの要素をＨＵＤ４０に表示するかを規定するレベルを「表示要素レベル」と呼ぶ。表示要素レベルを規定するテーブルの一例を図４（ａ）に示す。
　図４（ａ）に示すように、レベル１では最低限必要な基本要素のみが表示される。レベルが増加するにつれて、表示される要素が増加する。レベル７では最も多くの要素が表示され、具体的には地図情報を示す全ての要素に加えて付随情報を示す要素も表示される。
　利用者は、ＨＵＤ４０により表示を行う際に、自分の好みの表示要素レベルを選択することができる。なお、デフォルト設定では表示要素レベルをレベル１に設定しておき、その後の利用者のレベル変更操作によりレベルを変更することとしてもよい。例えば、ＨＵＤ４０では基本的な要素のみを表示させたいと考える利用者はレベル１を選択する。その場合、ＨＵＤ４０には、自車位置マークと次の交差点までの案内ルートのみが表示される。一方、付随情報は不要であるが、地図情報は全て表示したいと考える利用者はレベル６を選択する。その場合、ＨＵＤ４０には、図４（ａ）のレベル６に規定される要素が表示される。このように、利用者が表示要素レベルを選択できるようにすることにより、利用者が求める情報をＨＵＤ４０に表示させることが可能となる。
　なお、レベル７では要素抽出により抽出された要素のうち最も多数の要素が表示されることになるが、それでも、要素抽出により抽出された要素の全てが表示されるわけではない。例えば、携帯端末３３の表示部には、案内画像に加えて、一般的に時刻、通信状況、電波状況などを示すマーク（アイコン）が表示されるが、それらは要素抽出されたとしても、ＨＵＤ４０には表示されない。また、クレードル３０のカメラ３１による撮影画像は携帯端末３３の前面部、即ち、表示部以外の部分の画像を含むが、その部分は要素抽出の対象とはならない。また、現実には要素抽出処理により案内画像に含まれる全ての要素が抽出できるとは限らない。よって、表示要素レベルとしてどのレベルが選択されたにしても、画像生成部１４により生成されＨＵＤ４０に表示される画像は、カメラ３１が撮影した画像と同一ではなく、カメラ３１が撮影した画像に含まれる要素のうちの一部となる。
　また、ＨＵＤ４０に表示する要素の指定に加えて、各要素を表示する際の透明度を利用者が選択できるようにすることもできる。表示すべき要素を、表示の透明度も含めて規定するレベルを「透明度レベル」と呼ぶ。透明度レベルを規定するテーブルの一例を図４（ｂ）に示す。
　図４（ａ）と比較するとわかるように、透明度レベルでは、表示すべき要素は図４（ａ）に示す表示要素レベルと同様であるが、各要素を表示する透明度が規定されている。ＨＵＤ４０はフロントガラス上に要素を表示するので、「不透明（透明度０％）」とは要素を最も濃く表示することを意味し、「透明度１００％」とは表示されないことを意味する。よって、例えばレベル１では、基本要素は最も濃く、利用者がはっきり見えるように表示されるが、それ以外の要素は非常に薄く表示されることになる。このように、利用者が透明度レベルを選択できるようにすることにより、利用者が求める情報を適切な見易さでＨＵＤ４０に表示させることが可能となる。
　なお、上記のレベルの設定は、車両による走行の状況ごとに行うこともできる。例えば、利用者は、高速道路走行中はレベル１を設定し、一般道ではレベル３を設定することもできる。
　そして、画像生成部１４は、以上のように利用者のレベル指定により決定された表示すべき要素を、ＨＵＤ４０での表示に適した画像に変換する。具体的には、画像生成部１４は、要素抽出により抽出された複数の要素のうちＨＵＤ４０に表示すべき要素を、そのままではなく、携帯端末３３に表示されていた状態よりも簡易な表示とするように加工して表示する。この加工を「デフォルメ処理」と呼び、作成された簡易表示の要素を「デフォルメ要素」と呼ぶ。また、このデフォルメ要素の集合として生成される案内画像全体を「ＨＵＤ用案内画像」と呼ぶ。具体的には、デフォルメ処理は、元の要素の形状を変形させる、色を変更する、元の要素をそれに類似した新たな形状に置き換える、などの処理を含む。なお、上記の透明度の調整もデフォルメの１つに含まれる。
　また、画像生成部１４は、取り込み部１１によりキャプチャーされた案内画像が進行方向アップ以外のモード（例えばノースアップモード）である場合でも、生成するＨＵＤ用案内画像の進行方向を車両の進行方向と一致させる。即ち、ＨＵＤ４０に表示された際に、ＨＵＤ用案内画像における進行方向は、そのＨＵＤ用案内画像における上方向（即ち、進行方向アップ）又は下方向（即ち、進行方向ダウン）のいずれかとされる。これは、ＨＵＤ用案内画像は車両のフロントガラス上に虚像として表示されるため、表示されるＨＵＤ用案内画像の進行方向が車両の進行方向と一致している方が、ＨＵＤ用案内画像を利用者が直感的に理解しやすいからである。
　なお、抽出された１つの要素に対しては複数のデフォルメ要素が用意されることが好ましい。例えば、自車位置マークについては、赤い三角形と青い丸が用意される、という具合である。そして、利用者は、複数用意されたデフォルメ要素から、好みのものを選択することができる。
　また、利用者の過去の設定に基づいて、画像生成部１４はデフォルメ処理の学習機能を備えることができる。学習の初期においては、デフォルトのデフォルメ処理により生成されたＨＵＤ用案内画像がＨＵＤ４０に表示される。しかし、利用者が何度も本システムを利用し、好みのＨＵＤ用案内画像を選択していくと、画像生成部１４の学習が進み、画像生成部１４は利用者の好みの傾向を把握して、利用者の嗜好にあったデフォルメ処理を自動的に行うようにする。例えば、ある利用者はデフォルメ処理として、携帯端末３３に表示された元の要素の色を維持しつつ、形状を丸い形状に変形するタイプのデフォルメ処理を好み、そのようなＨＵＤ用案内画像をいくつか選択していると、画像生成部１４はその傾向を学習し、利用者が指定していない要素についても同じタイプのデフォルメ処理を行うようになる。
　また、上記の学習機能は、ナビゲーション処理を実行する際の条件毎に個別に実行することとしてもよい。例えば、ルート設定の有無、高速道路走行中か一般道走行中か、周囲の天候、季節、時刻などの様々な条件について、利用者の嗜好に合致したデフォルメ処理を行うようにしてもよい。
　次に、案内画像生成装置１による処理の例を説明する。図５は案内画像生成装置１による案内画像生成処理の例を示し、図６は案内画像生成処理のフローチャートである。
　まず、利用者は携帯端末３３をクレードル３０にセットし、カメラ３１により携帯端末３３の前面部を説明する。案内画像生成装置１の取り込み部１１は、カメラ３１からの画像データを受け取り、フレーム毎に画像をキャプチャーする（ステップＳ１０）。キャプチャーされた画像の例を図５（ａ）に示す。なお、図５（ａ）の例は、便宜上携帯端末３３の表示部のみの画像を示し、携帯端末３３の表示部以外の前面部の画像は省略している。
　次に、案内画像生成装置１のモード認識部１２は、キャプチャーされた画像を分析し、携帯端末３３の表示部以外の部分の画像から機種情報を認識するとともに（ステップＳ１１）、案内画像からモードを検出する（ステップＳ１２）。図５（ａ）の例では、モード認識部１２は案内画像が鳥瞰図モードであることを認識する。
　なお、前述のように、携帯端末３３の機種情報に関連付けられたモードが記憶されている場合には、モード認識部１２はその情報を考慮してモード認識を行う。また、乗員認識部１５は乗員認識カメラ３５から取得した画像に基づいて利用者を認識しているので、当該利用者に関連付けて記憶されているモードがある場合には、モード認識部１２はその情報を考慮してモード認識を行う。
　次に、画像生成装置１の要素抽出部１３は、キャプチャーされた画像から要素を抽出する（ステップＳ１３）。図５（ｂ）の例では、キャプチャーされた画像から、破線７１で示す付随情報、破線７２で示す道路番号、破線７３で示す道路、及び、破線７４で示す自車位置マークを要素として抽出する。抽出された各要素を図５（ｃ）に示す。
　次に、画像生成部１４は、抽出された複数の要素から、利用者の指定に応じた表示要素レベル又は透明度レベルに基づいて、表示すべき要素を選択する。そして、画像生成部１４は、表示すべき要素それぞれについてデフォルメ要素を作成し、それらを含むＨＵＤ用案内画像を生成する（ステップＳ１４）。図５（ｄ）にＨＵＤ用案内画像の例を示す。この例では、図５（ｃ）に示す抽出された複数の要素から、走行中の道路と、その道路番号と、自車位置マークとが表示されるものとする。画像生成部１４は、図５（ｃ）に示す道路、道路番号及び自車位置マークの形状や大きさを変形するデフォルメ処理を行い、図５（ｄ）に示すＨＵＤ用案内画像を生成する。
　そして、画像生成部１４は、生成したＨＵＤ用案内画像をＨＵＤ４０に送信し、表示させる。これにより、ＨＵＤ４０には図５（ｄ）に示すＨＵＤ用案内画像が表示される。即ち、利用者は、図５（ｄ）に示す画像を、コンバイナ９を介してフロントガラス２５の上方に虚像として視認する。こうして、案内画像表示処理は終了する。
　以上説明したように、本実施例では、携帯端末３３に表示された案内画像から、それに含まれる要素を抽出し、そのうちの一部の要素をデフォルメ処理してＨＵＤ用案内画像を生成する。よって、携帯端末３３に表示された案内画像がそのままＨＵＤ４０に表示される場合と比較して、運転中の利用者にとって見やすい案内画像を表示することができる。
　[変形例]
　上記の実施例では、乗員認識カメラ３５を利用し、画像により利用者を認識しているが、その代わりに音声認識処理を利用して利用者を認識することとしてもよい。
　本発明は、移動体に搭載され、ＨＵＤにより移動体の案内情報を表示する装置に利用することができる。
　１　案内画像生成装置
　１０　演算部
　１１　取り込み部
　１２　モード認識部
　１３　要素抽出部
　１４　画像生成部
　１５　乗員認識部
　３０　クレードル
　３１　カメラ
　３５　乗員認識カメラ
　４０　ヘッドアップディスプレイ

Claims (8)

  1. 　携帯端末の表示部を含む部分を撮影する撮影手段と、
    　前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成手段と、
    　生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力手段と、を備えることを特徴とする案内画像生成装置。
  2. 　前記生成手段は、抽出した前記一部の情報を、前記携帯端末の表示部により表示されていた案内画像よりも簡易な表示となるように加工して前記ヘッドアップディスプレイ用案内画像を生成することを特徴とする請求項１に記載の案内画像生成装置。
  3. 　前記生成手段は、前記案内画像から、少なくとも前記移動体の位置を示す情報、及び、前記移動体が走行している道路を示す情報を抽出し、前記ヘッドアップディスプレイ用案内画像に少なくとも現在位置マーク及び走行中の道路を含めることを特徴とする請求項１又は２に記載の案内画像生成装置。
  4. 　利用者を示す情報、前記携帯端末の機種情報及び前記携帯端末上で実行されているアプリケーションを示す情報の少なくとも１つと関連付けて、前記案内画像のモードを記憶する記憶部を備え、
    　前記生成手段は、現在の利用者、現在使用されている携帯端末の機種情報及び現在実行されているアプリケーションの少なくとも１つに基づいて前記案内画像のモードを判定し、当該案内画像のモードに基づいて前記一部の情報を抽出することを特徴とする請求項１乃至３のいずれか一項に記載の案内画像生成装置。
  5. 　前記生成手段は、前記ヘッドアップディスプレイ用案内画像が示す進行方向が、前記移動体の進行方向と一致するように前記ヘッドアップディスプレイ用案内画像を生成することを特徴とする請求項１乃至４のいずれか一項に記載の案内画像生成装置。
  6. 　撮影手段を備える案内画像生成装置により実行される案内画像生成方法であって、
    　前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、
    　前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、
    　生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を有することを特徴とする案内画像生成方法。
  7. 　撮影手段及びコンピュータを備える案内画像生成装置により実行される案内画像生成プログラムであって、
    　前記撮影手段により、携帯端末の表示部を含む部分を撮影する撮影工程と、
    　前記撮影手段により撮影された前記表示部に表示されている案内画像を解析し、移動体の案内に利用される当該案内画像の一部の情報を抽出してヘッドアップディスプレイ用案内画像を生成する生成工程と、
    　生成されたヘッドアップディスプレイ用案内画像をヘッドアップディスプレイに出力する出力工程と、を前記コンピュータに実行させることを特徴とする案内画像生成プログラム。
  8. 　請求項７に記載の案内画像生成プログラムを記憶した記憶媒体。
PCT/JP2011/074830 2011-10-27 2011-10-27 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム WO2013061447A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/074830 WO2013061447A1 (ja) 2011-10-27 2011-10-27 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/074830 WO2013061447A1 (ja) 2011-10-27 2011-10-27 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム

Publications (1)

Publication Number Publication Date
WO2013061447A1 true WO2013061447A1 (ja) 2013-05-02

Family

ID=48167312

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/074830 WO2013061447A1 (ja) 2011-10-27 2011-10-27 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム

Country Status (1)

Country Link
WO (1) WO2013061447A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141161A (ja) * 2014-01-30 2015-08-03 富士通テン株式会社 車両用表示装置、及び、表示方法
WO2016199449A1 (ja) * 2015-06-12 2016-12-15 株式会社Ｊｖｃケンウッド ヘッドアップディスプレイ装置および投射方法
WO2018069953A1 (ja) * 2016-10-11 2018-04-19 三菱電機株式会社 車載装置および情報提示方法
US20220234445A1 (en) * 2021-01-27 2022-07-28 Honda Motor Co., Ltd. Head-up display control system and head-up display display method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270256A (ja) * 2005-03-22 2006-10-05 Seiko Epson Corp 携帯端末用画像表示装置
JP2006264410A (ja) * 2005-03-22 2006-10-05 Seiko Epson Corp 車両用表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270256A (ja) * 2005-03-22 2006-10-05 Seiko Epson Corp 携帯端末用画像表示装置
JP2006264410A (ja) * 2005-03-22 2006-10-05 Seiko Epson Corp 車両用表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015141161A (ja) * 2014-01-30 2015-08-03 富士通テン株式会社 車両用表示装置、及び、表示方法
WO2016199449A1 (ja) * 2015-06-12 2016-12-15 株式会社Ｊｖｃケンウッド ヘッドアップディスプレイ装置および投射方法
WO2018069953A1 (ja) * 2016-10-11 2018-04-19 三菱電機株式会社 車載装置および情報提示方法
US20220234445A1 (en) * 2021-01-27 2022-07-28 Honda Motor Co., Ltd. Head-up display control system and head-up display display method
US11865917B2 (en) * 2021-01-27 2024-01-09 Honda Motor Co., Ltd. Head-up display control system and head-up display display method

Similar Documents

Publication Publication Date Title
EP3213948B1 (en) Display control device and display control program
EP3428840A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US20150175068A1 (en) Systems and methods for augmented reality in a head-up display
US20140002357A1 (en) Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US10386199B2 (en) Navigation guidance apparatus and method using wide-angle lens camera image
CN111252074B (zh) 多模态控制方法、装置、计算机可读存储介质和车辆
US10315516B2 (en) Driving-support-image generation device, driving-support-image display device, driving-support-image display system, and driving-support-image generation program
US20170004641A1 (en) Display control device, display control method, and computer-readable medium for display control
KR20150022350A (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
WO2013061447A1 (ja) 案内画像生成装置、案内画像生成方法及び案内画像生成プログラム
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
JP2015141161A (ja) 車両用表示装置、及び、表示方法
JP2017222271A (ja) 車両用表示制御装置
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
US11828947B2 (en) Vehicle and control method thereof
JP2014149640A (ja) ジェスチャ操作装置及びジェスチャ操作プログラム
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
JPWO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
KR20170033699A (ko) 이동 단말기 및 그 제어 방법
KR20210129974A (ko) 차량의 표시 장치 및 그 방법
CN112109729A (zh) 用于车载系统的人机交互方法、装置和系统
JP5617678B2 (ja) 車両用表示装置
JP2020053083A (ja) 撮影装置、制御方法、プログラム及び記憶媒体
JP6791043B2 (ja) 情報処理装置及び情報処理プログラム
KR101736186B1 (ko) 차량용 표시 시스템 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11874599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11874599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP