WO2019077730A1 - 表示制御装置、表示制御方法、および表示システム - Google Patents

表示制御装置、表示制御方法、および表示システム Download PDF

Info

Publication number
WO2019077730A1
WO2019077730A1 PCT/JP2017/037951 JP2017037951W WO2019077730A1 WO 2019077730 A1 WO2019077730 A1 WO 2019077730A1 JP 2017037951 W JP2017037951 W JP 2017037951W WO 2019077730 A1 WO2019077730 A1 WO 2019077730A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
virtual object
degree
display
shielding
Prior art date
Application number
PCT/JP2017/037951
Other languages
English (en)
French (fr)
Inventor
歩未 西川
悠希 住吉
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112017007923.3T priority Critical patent/DE112017007923B4/de
Priority to US16/651,117 priority patent/US20200242813A1/en
Priority to JP2019549073A priority patent/JP6618665B2/ja
Priority to CN201780095886.4A priority patent/CN111213194A/zh
Priority to PCT/JP2017/037951 priority patent/WO2019077730A1/ja
Publication of WO2019077730A1 publication Critical patent/WO2019077730A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a display control device, a display control method, and a display system.
  • An AR (Augmented Reality) display system which is mounted on a vehicle or the like and displays a virtual object such as a route guidance arrow superimposed on a real landscape, is in widespread use.
  • Patent Document 1 discloses a navigation system for a vehicle that deletes the overlapping area in the information transmitter when the forward vehicle, which is an obstacle, and the route guidance arrow, which is an information transmitter, overlap. According to the configuration, it is possible to visually recognize both the forward vehicle and the route guidance arrow without blocking the vehicle ahead by the route guidance arrow.
  • the navigation system for a vehicle disclosed in Patent Document 1 performs processing (hereinafter referred to as shielding processing) for deleting the overlapping area from the road guidance arrow in the area where the vehicle and the road guidance arrow overlap.
  • shielding processing processing for deleting the overlapping area from the road guidance arrow in the area where the vehicle and the road guidance arrow overlap.
  • the shielding process is not performed in consideration of the contents of the overlapping area, such as the area and position of the area where the real object and the virtual object overlap. Therefore, for example, when the area of the overlapping area is large, the area of the shielding area becomes large, and there is a problem that the information indicated by the virtual object becomes unclear.
  • the present invention has been made to solve the above-described problems, and even when shielding processing is performed on a region where a virtual object and a real object overlap, the information indicated by the virtual object is not unclear.
  • Display control apparatus, display control method, and display system
  • a display control device controls a display device that displays a virtual object superimposed on a real landscape, and an external information acquisition unit that detects a real object present in the real landscape; a superimposed position of the virtual object and the real object Based on the depth relationship with and the positional relationship between the virtual object and the superimposed position of the virtual object on the display surface of the display device, an occlusion area, which is an area in which the real object is in front of the superimposed position of the virtual object, is acquired And calculating the degree of discrimination for determining whether or not the information indicated by the virtual object can be recognized when the shielded area acquiring unit and the shielded area are shielded, And a virtual object in which the shielded area is shielded when the discrimination degree is equal to or higher than the threshold, and a virtual object whose display form is changed when the discrimination degree is less than the threshold And a controller for generating
  • the present invention it is possible to obtain a display control apparatus, a display control method, and a display system in which the information indicated by the virtual object is not unclear even when the shielding process is performed on a region where the virtual object and the real object overlap. be able to.
  • FIG. 1 is a block diagram showing a configuration of a display control device according to Embodiment 1. It is a figure for demonstrating the virtual object after shielding process. It is a figure for demonstrating the image information of a virtual object, and the superimposition position information of a virtual object. It is another figure for demonstrating the image information of a virtual object, and the superimposition position information of a virtual object.
  • 5 is a flowchart for explaining the operation of the display control apparatus according to Embodiment 1; 5 is a flowchart for describing virtual object generation processing according to Embodiment 1; 5 is a flowchart for describing virtual object generation processing according to Embodiment 1; It is a figure which shows the case where it determines with the shielding area
  • FIG. 16 is a flowchart for describing virtual object generation processing according to Embodiment 2.
  • FIG. 16 is a flowchart for describing virtual object generation processing according to Embodiment 2.
  • FIG. It is a figure which shows the case where it determines with the area
  • FIG. 18 is a flowchart for describing virtual object generation processing according to Embodiment 3.
  • FIG. It is a figure shown about a case where a user uses a function which performs highlighting to a peripheral vehicle or a pedestrian around. It is a figure which shows the area of the virtual object before shielding process. It is a figure which shows the area of the virtual object after shielding process.
  • FIG. 20 is a flowchart for describing virtual object generation processing according to Embodiment 4.
  • FIG. It is a figure for demonstrating the area of the important field in the virtual object before occlusion processing.
  • FIG. 21 is a flowchart for describing virtual object generation processing according to Embodiment 5.
  • FIG. FIG. 21 is a flowchart for describing virtual object generation processing according to Embodiment 5.
  • FIG. It is a figure for demonstrating the importance of each pixel. It is a figure for demonstrating the importance of a shielding area
  • FIG. 26 is a flowchart for describing virtual object generation processing according to Embodiment 6.
  • FIG. 33A and FIG. 33B are diagrams showing an example of the hardware configuration of the display control apparatus.
  • FIG. 1 is a block diagram showing the configuration of a display control apparatus 100 according to the first embodiment.
  • the display control apparatus 100 includes an external information acquisition unit 10, a position information acquisition unit 20, a control unit 30, a shielded area acquisition unit 40, a discrimination degree determination unit 50, and the like.
  • the display control device 100 is connected to the camera 1, the sensor 2, the navigation device 3, and the display device 4.
  • the display control device 100 is, for example, a device mounted on a vehicle or a portable terminal carried by an occupant and brought into the vehicle.
  • the portable terminal is, for example, a portable navigation device, a tablet PC, or a smartphone.
  • the display control device 100 is assumed to be mounted on a vehicle or brought into a vehicle, but the present invention is not limited to this.
  • the camera 1, sensor 2, navigation device 3, and display device 4 It can be applied to other vehicles equipped. Moreover, if it is a portable terminal provided with the display control device 100, the camera 1, the sensor 2, the navigation device 3 and the display device 4, it can be used while walking without being brought into a vehicle.
  • the display control device 100 is a device that controls the display device 4 that superimposes and displays a virtual object on a real landscape.
  • a head-up display is used as the display device 4 will be described.
  • FIG. 2 is a diagram for explaining the virtual object after the shielding process.
  • FIG. 2 shows the case where the virtual object is a route guidance arrow.
  • FIG. 2 shows how a vehicle, which is a real object (hereinafter referred to as a real object), exists between the current position of the user and the position in the depth direction of the virtual object viewed by the user.
  • the display control apparatus 100 generates a virtual object in which a region (shielded region) overlapping the real object is shielded among the virtual objects.
  • the route guidance arrow shown in FIG. 2 the area
  • the display control apparatus 100 calculates the identification degree of the virtual object after the shielding process, and changes the display form of the virtual object when the identification degree is less than the threshold.
  • the degree of identification is a value for determining whether the user can recognize the information indicated by the virtual object.
  • the degree of identification changes, for example, according to the shielding amount of the virtual object.
  • the degree of discrimination is a larger value as the shielding amount of the virtual object is smaller, and is smaller as the shielding amount of the virtual object is larger.
  • the external information acquisition unit 10 generates external information indicating the position, size, and the like of a real object present in a real landscape, and outputs the generated external information to the control unit 30 and the shielded area acquisition unit 40.
  • the external information acquisition unit 10 generates external information indicating the position, size, and the like of a real object present in a real landscape, for example, by analyzing image data of the real landscape obtained from the camera 1.
  • the external information acquisition unit 10 generates external information indicating the position, size, and the like of a real object present in a real landscape, for example, by analyzing sensor data acquired from the sensor 2.
  • generation method of the external information by the external information acquisition part 10 is not limited to these, You may use another well-known technique.
  • the position information acquisition unit 20 acquires position information from the navigation device 3.
  • the position information includes the current position information of the user.
  • the position information includes position information of an intersection to be guided, position information of a building to be guided, and the like.
  • the position information acquisition unit 20 outputs the acquired position information to the control unit 30.
  • the control unit 30 is virtual based on the external information acquired from the external information acquisition unit 10, the position information acquired from the position information acquisition unit 20, the function provided to the user (route guidance, highlighting of a real object, etc.), etc. Image information of an object and superimposed position information of a virtual object are generated.
  • the virtual object is an image or the like created in advance by a PC or the like.
  • FIG. 3 is a diagram for describing image information of a virtual object and superimposed position information of the virtual object.
  • the image information of the virtual object is, for example, a route guidance arrow as shown in FIG.
  • the superimposed position information of the virtual object is information of a position at which the route guidance arrow is superimposed and displayed on a real landscape.
  • the information on the position includes information on the position in each of the vertical and horizontal directions and the depth direction.
  • the control unit 30 controls the current position of the user and the position of the superimposed position of the virtual object so that the virtual object is superimposed and displayed on the superimposed position of the virtual object when the user looks at the virtual object simultaneously with the real landscape. Based on the relationship, the position, size, and the like of the virtual object visually recognized through the display surface of the display device 4 are adjusted.
  • the control unit 30 acquires the distance from the current position of the user to the position of the intersection to be guided based on the current position information of the user acquired from the position information acquisition unit 20 and the position information of the intersection to be guided .
  • the control unit 30 controls the position, size, and the like of the route guidance arrow visually recognized through the display surface of the display device 4 so that the route guidance arrow is superimposed on the intersection to be guided based on the distance. adjust.
  • FIG. 4 is another diagram for explaining image information of a virtual object and superimposed position information of the virtual object.
  • the image information of the virtual object has, for example, a frame shape as shown in FIG.
  • superimposed position information of the virtual object is information of a position at which the frame shape is superimposed and displayed on a real landscape.
  • the information on the position includes information on the position in each of the vertical and horizontal directions and the depth direction.
  • the control unit 30 outputs the generated superimposed position information of the virtual object to the shielded area acquisition unit 40.
  • the shielded area acquisition unit 40 is based on the external information acquired from the external information acquisition unit 10 and the superimposed position information of the virtual object acquired from the control unit 30, and the positional relationship and depth relationship between the superimposed position of the virtual object and the real object To get
  • the positional relationship is vertical and horizontal positional relationship on the display surface of the display device 4 when the user simultaneously views the superimposed position of the virtual object and the real object via the display device 4.
  • the depth relationship is a positional relationship between the superimposed position of the virtual object and the real object in the depth direction when the user simultaneously views the superimposed position of the virtual object and the real object via the display device 4.
  • the shielded area acquiring unit 40 is an area where the superimposed position of the virtual object and the real object overlap when viewed from the user based on the positional relationship and the depth relationship, and the real object of the real landscape is from the superimposed position of the virtual object. It is determined whether there is an area (shielded area) on the front side.
  • the shielded area acquisition unit 40 outputs information indicating the result of the determination to the control unit 30. At this time, when outputting information indicating that there is a shielding area, the shielding area acquisition unit 40 also outputs information on the shielding area (hereinafter, referred to as shielding area information) to the control unit 30.
  • shielding area information information on the shielding area
  • control unit 30 When the control unit 30 acquires, from the shielded area acquisition unit 40, information indicating that there is no shielded area, the control unit 30 outputs the image information of the virtual object and the superimposed position information of the virtual object to the display device 4. This is because there is no need to perform shielding processing. On the other hand, when the control unit 30 acquires information indicating that there is a shielding region and shielding region information from the shielding region acquisition unit 40, the control unit 30 outputs the image information of the virtual object and shielding region information to the discrimination degree determination unit 50.
  • the discrimination degree determination unit 50 calculates the discrimination degree of the virtual object after the shielding process based on the image information and the shielding area information of the virtual object acquired from the control unit 30.
  • the shielding process is realized by deleting the area indicated by the shielding area information from the area indicated by the image information of the virtual object.
  • the discrimination degree determination unit 50 determines whether the discrimination degree of the virtual object after the shielding process is equal to or more than a predetermined threshold value. Discrimination degree determination unit 50 outputs information indicating the result of the determination to control unit 30.
  • control unit 30 When the control unit 30 acquires, from the discrimination degree determination unit 50, information indicating that the discrimination degree of the virtual object after the shielding process is equal to or higher than the threshold, the image information of the virtual object after the shielding process and the superimposed position of the virtual object The information is output to the display device 4.
  • the control unit 30 when the control unit 30 acquires information indicating that the identification degree is less than the threshold from the identification degree determination unit 50, the control unit 30 changes the display mode of the virtual object before the shielding process is performed. The change of the display mode is performed in order to make the virtual object have no shielded area or to set the discrimination degree of the virtual object after the shielding process to a threshold value or more.
  • FIG. 5 is a flowchart for explaining the operation of the display control apparatus 100 according to the first embodiment. The operation of the display control apparatus 100 according to the first embodiment will be described with reference to FIG.
  • the external information acquisition unit 10 detects a real object present in a real landscape based on image data acquired from the camera 1 or sensor data acquired from the sensor 2, and indicates external information indicating the position, size, etc. of the real object. Is acquired (step ST1).
  • the external information acquisition unit 10 outputs the external information to the control unit 30 and the shielding area acquisition unit 40.
  • the position information acquisition unit 20 acquires position information from the navigation device 3 (step ST2).
  • the position information acquisition unit 20 outputs the position information to the control unit 30.
  • the control unit 30 performs virtual object generation processing, and outputs the generated image information of the virtual object and the superimposed position information of the virtual object to the display device 4 (step ST3).
  • 6A and 6B are flowcharts for explaining the virtual object generation process shown in step ST3 of FIG.
  • the control unit 30 superimposes the image information of the virtual object and the virtual object based on the external information acquired from the external information acquisition unit 10, the position information acquired from the position information acquisition unit 20, the function to be provided to the user, etc. Position information is generated (step ST11).
  • the control unit 30 outputs superimposed position information of the virtual object to the shielded area acquisition unit 40.
  • the shielded area acquisition unit 40 is based on the external information acquired from the external information acquisition unit 10 and the superimposed position information of the virtual object acquired from the control unit 30 to determine the positional relationship and depth between the superimposed position of the virtual object and the real object.
  • the relationship is acquired (step ST12).
  • the shielded area acquiring unit 40 is an area where the superimposed position of the virtual object and the real object overlap when viewed from the user based on the positional relationship and the depth relationship, and the real object of the real landscape is from the superimposed position of the virtual object. It is determined whether there is an area (shielded area) to be in front (step ST13).
  • FIG. 7 is a diagram illustrating a case where the shielding area acquisition unit 40 determines that the shielding area is present.
  • the shielding area acquisition unit 40 When it is determined that there is no shielding area (step ST13: NO), the shielding area acquisition unit 40 outputs information indicating that there is no shielding area to the control unit 30 (step ST14).
  • the control unit 30 acquires, from the shielded area acquisition unit 40, information indicating that there is no shielded area, the control unit 30 outputs the image information of the virtual object and the superimposed position information of the virtual object to the display device 4 (step ST15).
  • step ST13 when it is determined that the shielding area is present (step ST13: YES), the shielding area acquisition unit 40 outputs information indicating that the shielding area is present and the shielding area information to the control unit 30 (step ST16).
  • control unit 30 When the control unit 30 acquires information indicating that there is a shielded area and shielded area information from the shielded area acquisition unit 40, the control unit 30 outputs the image information of the virtual object and the shielded area information to the discrimination degree determination unit 50 (step ST17). .
  • the discrimination degree determination unit 50 calculates the discrimination degree of the virtual object after the shielding process based on the image information of the virtual object and the shielding area information (step ST18).
  • FIG. 8 is a view showing an example of the virtual object after the shielding process.
  • the discrimination degree determination unit 50 determines whether or not the discrimination degree of the virtual object after the shielding process is equal to or more than a predetermined threshold (step ST19).
  • the degree of identification can be set in an arbitrary range. In the following description, the maximum value of the degree of identification is 100, and the minimum value of the degree of identification is 0.
  • the threshold of the identification degree can be any value that can determine whether the user can recognize the information indicated by the virtual object. In the following description, it is assumed that the threshold of the degree of identification is set between 1 and 99.
  • the threshold of the degree of identification may be a fixed value for all virtual objects, or may be a different value for each type of virtual object.
  • step ST19 the degree of discrimination determining unit 50 determines whether or not the degree of discrimination of the virtual object after the shielding process is 80 or more.
  • the discrimination degree determination unit 50 determines that the discrimination degree of the virtual object after the shielding process is equal to or more than a predetermined threshold (step ST19: YES), it controls information indicating that the discrimination degree is equal to or more than the threshold It outputs to the part 30 (step ST20).
  • the control unit 30 outputs the image information of the virtual object after the shielding process and the superimposed position information of the virtual object to the display device 4 when the information indicating that the identification degree is the threshold or more is acquired from the identification degree determination unit 50 To do (step ST21).
  • step ST19 when it is determined that the discrimination degree of the virtual object after the shielding process is less than a predetermined threshold (step ST19: NO), the discrimination degree is less than the threshold.
  • the information shown is output to the control unit 30 (step ST22).
  • control unit 30 acquires, from the discrimination degree determination unit 50, information indicating that the discrimination degree is less than the threshold, whether the number of times of changing the display form of the virtual object (the number of times of change) has reached the limit number of times It determines (step ST23).
  • the limit number of times can be any value.
  • step ST23 NO
  • the control unit 30 changes the display mode of the virtual object and generates superimposed position information of the virtual object after the display mode change.
  • the superimposed position information of the virtual object is output to the shielded area acquisition unit 40 (step ST24).
  • step ST24 ends, the process returns to step ST12 again.
  • FIG. 9 is a diagram showing an example in which the control unit 30 changes the display mode of the virtual object.
  • step ST23 when the control unit 30 determines that the number of changes has reached the limit number (step ST23: YES), the control unit 30 outputs information by an alternative method (step ST25).
  • the output of information by the alternative method is, for example, the output of information to a display unit (not shown) of the navigation device 3, the output of information by voice via a speaker (not shown), or the like.
  • the display control device 100 controls the display device 4 that displays a virtual object superimposed on a real landscape, and the external information acquisition unit 10 detects a real object present in the real landscape. Based on the depth relationship between the superimposed position of the virtual object and the real object, and the positional relationship between the superimposed position of the virtual object on the display surface of the display device 4 and the real object, the superimposed position of the real object is the virtual object
  • a shielded area acquisition unit 40 for acquiring a shielded area that is an area closer to the front, and a degree of discrimination for determining whether or not information indicated by a virtual object can be recognized when the shielded area is shielded
  • a discrimination degree determination unit 50 that determines whether or not the discrimination degree is equal to or more than a threshold, and when the discrimination degree is equal to or more than a threshold, generates a virtual object in which the shielding area is shielded and the discrimination degree is less than the threshold If it is, change the display mode
  • a control unit 30 controls the display device
  • the shielding process is performed to make the virtual object appear to be displayed behind the real object existing in the real landscape, the information on the virtual object is lost. Absent. Therefore, the user can correctly grasp the information possessed by the virtual object. Further, by visually recognizing a virtual object or the like having a large amount of shielding processing, it is possible to prevent the user from feeling discomfort.
  • the present invention is not limited to this, and the present invention may be applied when the user is looking at an image of a real landscape displayed on a head mounted display. Furthermore, the present invention may be applied when the user is looking at a real landscape displayed on a center display of a vehicle, a screen of a smartphone, or the like.
  • FIG. 10 is a block diagram showing the configuration of the display control apparatus 100 according to the second embodiment.
  • the description of the configuration having the same or corresponding function as the configuration described in the first embodiment will be omitted or simplified.
  • the display control device 100 includes the importance degree storage unit 60.
  • the importance storage unit 60 stores the importance of each area when one virtual object is divided into a plurality of areas.
  • the importance of each area is set in advance and can be set to any value.
  • the importance of characteristic regions is set high, and the importance of non-characteristic regions is set low.
  • the total value of the importance of the entire virtual object is made equal to the maximum value of the predetermined degree of identification.
  • FIG. 11 is a diagram showing an example of setting of the importance in the virtual object.
  • the virtual object is a route guidance arrow, for example, it is divided into two areas of an area on the tip side of the arrow and an area other than the tip side of the arrow, and the importance of each area is stored in the importance storage unit 60 ing.
  • the area at the tip end of the arrow indicates the direction of travel and corresponds to the characteristic area. For this reason, the area on the tip side of the arrow is set to be more important than the area other than the tip side of the arrow.
  • the importance of the area at the tip end of the arrow is 60, and the importance of the area other than the tip end of the arrow is 40.
  • Steps ST11 to ST16 are the same as in FIG. 6A, and thus redundant description will be omitted.
  • control unit 30 When the control unit 30 acquires information indicating that there is a shielded area and shielded area information from the shielded area acquisition unit 40, the control unit 30 acquires the importance of each area of the virtual object from the importance storage unit 60, and The importance of each area is compared to determine the area having the highest importance (important area), and important area information indicating the important area is generated (step ST31).
  • the control unit 30 outputs the image information of the virtual object, the important area information, and the shielded area information acquired from the shielded area acquiring unit 40 to the discrimination degree determining unit 50 (step ST32).
  • Discrimination degree determination unit 50 determines whether or not the important area in the virtual object is a shielded area (step ST33). When the discrimination degree determination unit 50 determines that the important area in the virtual object is not a shielding area (step ST33: NO), the discrimination degree of the virtual object after the shielding process is set to the maximum value (100) Is output to the control unit 30 (step ST34). Since step ST21 is the same as that of FIG. 6A, the overlapping description is omitted.
  • the discrimination degree determination unit 50 determines that the important area in the virtual object is the shielding area (step ST33: YES)
  • the discrimination degree of the virtual object after the shielding process is set to the minimum value (0), and the discrimination degree is a threshold
  • the information which shows that it is less than is output to the control part 30 (step ST35).
  • Steps ST23 to ST25 are the same as in FIG. 6B, and thus redundant description will be omitted.
  • the discrimination degree determination unit 50 determines whether the area at the tip end of the arrow which is the important area is the shielding area.
  • FIG. 13 is a diagram showing a case where the discrimination degree determination unit 50 determines that the area at the tip end of the arrow is the shielding area. At this time, the discrimination degree determination unit 50 sets the discrimination degree to the minimum value (0), and outputs information indicating that the discrimination degree is less than the threshold to the control unit 30.
  • FIG. 14 is a diagram showing a case where the identification degree determination unit 50 determines that the region at the tip end of the arrow does not become the shielding region. At this time, the discrimination degree determination unit 50 sets the discrimination degree to the maximum value (100), and outputs information indicating that the discrimination degree is equal to or more than the threshold to the control unit 30.
  • control unit 30 does not change the display mode of the virtual object when the important region in the virtual object does not become the shielding region even if the shielding region is present. This makes it possible to prevent unnecessary changes in the display form.
  • the configuration of the display control apparatus 100 according to the third embodiment is the same as the configuration of the display control apparatus 100 according to the first embodiment shown in FIG. 1, and thus the illustration and the description of each configuration will be omitted.
  • the discrimination degree determination unit 50 calculates the discrimination degree of the virtual object based on the area ratio of the virtual object before and after the shielding process.
  • the discrimination degree determination unit 50 calculates the area of the virtual object and the area of the shielding area based on the number of pixels and the like on the display surface of the display device 4.
  • the discrimination degree determination unit 50 acquires the image information and the shielding area information of the virtual object from the control unit 30, it calculates the area A of the virtual object before the shielding process and the area B of the shielding area (step ST41).
  • the discrimination degree determination unit 50 calculates the area C of the virtual object after the shielding process (step ST42).
  • the area C of the virtual object after the shielding process is calculated by subtracting the area B from the area A.
  • the discrimination degree determination unit 50 calculates the ratio of the area C of the virtual object after the shielding process to the area A of the virtual object before the shielding process (step ST43).
  • the degree of discrimination determining unit 50 sets the ratio of the area C to the area A as the degree of discrimination of the virtual object after the shielding process, and determines whether the degree of discrimination is equal to or more than a predetermined threshold (step ST44).
  • step ST44 YES
  • the discrimination degree determination unit 50 proceeds to the process of step ST20. Since step ST20 and step ST21 are the same as FIG. 6A, the overlapping description is omitted.
  • step ST44 NO
  • the discrimination degree determination unit 50 proceeds to the process of step ST22 (FIG. 6B). Since steps ST22 to ST25 are the same as those in FIG. 6B, the illustration and the overlapping description will be omitted.
  • FIG. 16 is a diagram showing a case where the user uses the function of highlighting the surrounding vehicle or the surrounding pedestrian.
  • the virtual object has a frame shape.
  • FIG. 17 is a diagram showing the area A of the virtual object before the shielding process.
  • FIG. 18 is a diagram showing the area C of the virtual object after the shielding process.
  • the area A is 500 and the area B is 100.
  • the area C is 400.
  • the discrimination degree determination unit 50 determines the discrimination degree of the virtual object after the shielding process to 80, and determines whether the discrimination degree is equal to or more than a predetermined threshold value.
  • the identification degree of the virtual object is calculated using the area ratio of the area of the virtual object before the shielding process and the area of the virtual object after the shielding process.
  • the configuration using the importance of each region in the virtual object is described
  • the configuration using the area ratio of the virtual object before and after the shielding process is described. It is also good. In that case, whether to use the importance of each area in the virtual object or to use the area ratio of the virtual object before and after the shielding processing is switched according to the type of the virtual object to be presented to the user.
  • the configuration of the display control apparatus 100 according to the fourth embodiment is the same as the configuration of the display control apparatus 100 according to the second embodiment shown in FIG. 10, and thus the illustration and the description of each configuration will be omitted.
  • the discrimination degree determination unit 50 determines that the area (important area) having high importance in the virtual object acquired from the control unit 30 is the shielding area
  • the discrimination degree of the virtual object after the shielding process Is calculated based on the area D of the important area in the virtual object before the shielding process and the area F of the important area in the virtual object after the shielding process.
  • steps ST11 to ST16, steps ST31 to ST34, and step ST21 are the same as those in FIG. 12A, and therefore illustration and redundant description will be omitted.
  • step ST33 YES
  • step ST51 the discrimination degree determination unit 50 determines that the important area in the virtual object is a shielding area.
  • Discrimination degree determination unit 50 calculates area F of the important area in the virtual object after the shielding process (step ST52).
  • the area F is calculated by subtracting the area E from the area D.
  • the discrimination degree determination unit 50 calculates the ratio of the area F to the area D (step ST53).
  • the degree of discrimination determining unit 50 determines the ratio as the degree of discrimination of the virtual object after the shielding process, and determines whether the degree of discrimination is equal to or more than a predetermined threshold (step ST54).
  • step ST54 determines that the discrimination degree of the virtual object after the shielding process is greater than or equal to a predetermined threshold (step ST54: YES)
  • it controls information indicating that the discrimination degree is greater than or equal to the threshold It outputs to the part 30 (step ST55).
  • the control unit 30 outputs the image information of the virtual object after the shielding process and the superimposed position information of the virtual object to the display device 4 when the information indicating that the identification degree is the threshold or more is acquired from the identification degree determination unit 50 (Step ST56).
  • step ST54 when the discrimination degree determination unit 50 determines that the discrimination degree of the virtual object after the shielding process is less than a predetermined threshold (step ST54: NO), the discrimination degree is less than the threshold.
  • the information shown is output to the control unit 30 (step ST57). Steps ST23 to ST25 are the same as in FIG. 12B, and thus redundant description will be omitted.
  • FIG. 20 is a diagram for describing the area D of the important area in the virtual object before the shielding process.
  • FIG. 21 is a diagram for explaining the area F of the important area in the virtual object after the shielding process.
  • the discrimination degree of the virtual object is determined using the area ratio before and after the shielding process of the important region in the virtual object.
  • Embodiment 5 The configuration of the display control device 100 according to the fifth embodiment is the same as the configuration of the display control device 100 according to the second embodiment shown in FIG. 10, so the illustration and the description of each configuration will be omitted.
  • control unit 30 calculates the importance of each pixel of the virtual object based on the importance of each region in the virtual object and the number of pixels (area) of each of the regions.
  • the discrimination degree determination unit 50 calculates the discrimination degree of the virtual object after the shielding process based on the image information of the virtual object, the shielding area information, and the importance of each pixel of the virtual object.
  • Steps ST11 to ST16 are the same as in FIG. 12A, and thus redundant description will be omitted.
  • control unit 30 When the control unit 30 acquires information indicating that there is a shielded area and shielded area information from the shielded area acquisition unit 40, the control unit 30 acquires the importance of each area in the virtual object from the importance storage unit 60 (step ST61). The control unit 30 divides the importance of each area in the virtual object by the number of pixels forming each area to calculate the importance of each pixel of the virtual object (step ST62).
  • FIG. 23 is a diagram for explaining the importance of each pixel.
  • the control unit 30 acquires the importance 60 of the area at the tip end of the arrow and the importance 40 of the area other than the area at the tip of the arrow from the importance storage 60 .
  • the number of pixels (area) of the area at the tip of the arrow is 100 and the number of pixels (area) of the area other than the area at the tip of the arrow is 200, each pixel constituting the area at the tip of the arrow
  • the control unit 30 outputs the image information of the virtual object, the shielding area information, and the importance of each pixel of the virtual object to the discrimination degree determination unit 50 (step ST63).
  • the discrimination degree determination unit 50 calculates the importance of the shielding area based on the image information of the virtual object, the shielding area information, and the importance of each pixel of the virtual object (step ST64).
  • the discrimination degree determination unit 50 multiplies the importance of each pixel by the number of pixels (area) of the shielding area to calculate the importance of the shielding area.
  • the shielding area straddles a plurality of areas in the virtual object, the importance of the shielding area is calculated for each of the plurality of areas, and the calculated importance of the shielding area is added.
  • FIG. 24 is a diagram for explaining the importance of the shielding area.
  • the discrimination degree determination unit 50 uses the value obtained by subtracting the importance of the shielding area from the maximum value of the discrimination degree determined in advance as the discrimination degree of the virtual object after the shielding process, and the discrimination degree is equal to or more than a predetermined threshold It is determined whether or not (step ST65).
  • step ST65 determines that the discrimination degree of the virtual object after the shielding process is equal to or higher than a predetermined threshold (step ST65: YES)
  • step ST66 controls information indicating that the discrimination is equal to or higher than the threshold It outputs to section 30 (step ST66). Since step ST21 is the same as that of FIG. 12A, the overlapping description is omitted.
  • step ST65 determines that the discrimination degree of the virtual object after the shielding process is less than the predetermined threshold
  • step ST67 information indicating that the discrimination degree is less than the threshold Are output to the control unit 30.
  • the discrimination degree of the virtual object is calculated based on the value obtained by dividing the importance of each area of the virtual object by the area of each area and the area of the shielding area. Since the degree of discrimination is calculated based on the degree of importance of each pixel instead of the degree of importance of each region in the virtual object, the accuracy of the degree of discrimination can be further improved. This makes it possible to more accurately determine whether the degree of discrimination of the virtual object after the shielding process is equal to or greater than a predetermined threshold, and prevents a virtual object that is difficult for the user to recognize to be displayed. can do.
  • the configuration of the display control apparatus 100 according to the sixth embodiment is the same as the configuration of the display control apparatus 100 according to the second embodiment shown in FIG. 10, and thus the illustration and the description of each configuration will be omitted.
  • the control unit 30 acquires information indicating that the identification degree is less than the threshold from the identification degree determination unit 50, and changes the display form of the virtual object. When it is determined that the number of times has not reached the limit number of times, the following processing is performed.
  • the control unit 30 determines whether there is an area suitable for displaying a virtual object.
  • FIG. 27 is a diagram showing an example of a region suitable for displaying a virtual object.
  • an area on the road on which the user can view through the screen among the roads of the guidance route and which is not blocked by the real object is a display of a virtual object
  • Area suitable for FIG. 28 is a diagram illustrating another example of a region suitable for displaying a virtual object.
  • the user uses the function of highlighting the surrounding vehicles or pedestrians in the surrounding area, the area around the object to be highlighted can be viewed by the user through the screen, but is an actual area
  • An area not blocked by the body is an area suitable for displaying a virtual object.
  • the control unit 30 divides an area suitable for displaying a virtual object into a plurality of areas.
  • each divided area is referred to as a divided area.
  • the control unit 30 specifies an area (hereinafter, referred to as an effective area) suitable for displaying the important area in the virtual object from among the divided areas.
  • FIG. 29 is a diagram for describing an area (effective area) suitable for displaying an important area in a virtual object.
  • the effective area is an area in which the area where the important area in the virtual object is displayed (the display area of the important area) is the largest among the divided areas.
  • the control unit 30 may specify divided areas with large display areas of the important areas in the descending order of display areas of the important areas to specify a plurality of effective areas.
  • control unit 30 holds the plurality of effective areas as data arranged in order from the display area of the important area in the descending order.
  • control unit 30 may set the area having the largest display area of the important area as the effective area among the divided areas having the display area of the important area equal to or larger than the predetermined area.
  • control unit 30 may select a plurality of effective areas by selecting in order of the display area of the important area from among the divided areas having the display area of the important area equal to or larger than the predetermined area.
  • the control unit 30 generates a virtual object in which the important area in the virtual object is moved to the effective area.
  • control unit 30 identifies a plurality of effective areas (effective area A and effective area B), and the display areas of the important areas in effective area A and effective area B are the same.
  • the control unit 30 selects the effective area A in which the movement amount of the important area in the virtual object is the smallest, and generates a virtual object in which the important area in the virtual object is moved to the effective area A.
  • steps ST11 to ST21 are the same as those in FIG. 6A, and therefore illustration and redundant description will be omitted.
  • step ST22, step ST23, and step ST25 are the same as FIG. 6B, the overlapping description is abbreviate
  • Control unit 30 determines whether or not there is a region suitable for displaying a virtual object based on the external information acquired from external information acquisition unit 10 and the position information acquired from position information acquisition unit 20 (step ST71). ). In step ST71, when the control unit 30 determines that there is no area suitable for display of the virtual object (step ST71: NO), the process proceeds to step ST25.
  • step ST71 when the control unit 30 determines that there is an area suitable for displaying a virtual object (step ST71: YES), the control unit 30 acquires the importance of each area in the virtual object from the importance storage unit 60. The important area in is determined (step ST72). Next, the control unit 30 divides the area suitable for displaying the virtual object into a plurality of areas, and among the plurality of areas (divided areas), the area suitable for displaying the important area in the virtual object (effective area ) Is specified (step ST73).
  • control unit 30 determines whether there is an effective area that is not used for generation of a virtual object (step ST75 described later) (step ST74).
  • step ST74 when the control unit 30 determines that there is an effective area that is not used to generate a virtual object (step ST74: YES), the control unit 30 generates a virtual object in which the important area in the virtual object is moved to the effective area. The superimposed position information of the virtual object is output to the shielded area acquisition unit 40 (step ST75).
  • step ST75 when there are a plurality of effective areas not used for generation of virtual objects, the control unit 30 sequentially uses the effective areas in order of generation of the display area of the important area to generate virtual objects.
  • step ST75 When the process of step ST75 ends, the process returns to the process of step ST12 (FIG. 6A).
  • step ST74 when the control unit 30 determines that there is no effective area not used for generation of a virtual object (step ST74: NO), the process proceeds to step ST25.
  • FIG. 30 is a diagram showing an example of moving an important area in a virtual object to an effective area.
  • FIG. 31 is a diagram showing another example of moving the important area in the virtual object to the effective area.
  • the virtual object is a route guidance arrow.
  • the control unit 30 moves the area (important area) on the tip side of the arrow to the effective area.
  • the control unit 30 sets a portion serving as a boundary between the area at the tip of the arrow and the area other than the area at the tip of the arrow as a first base point, and the center of the intersection as a second base point.
  • the position of the end of the front route guidance arrow is taken as a third base point.
  • the control unit 30 generates a route guidance arrow so as to connect the first base point, the second base point, and the third base point.
  • step ST75 the control unit 30 generates a virtual object in which the important area in the virtual object is moved to the effective area.
  • the generation of the virtual object includes a case where a plurality of virtual objects having different display forms are stored in advance, and the control unit 30 selects a virtual object suitable for display.
  • FIG. 32 is a diagram showing an example of a plurality of virtual objects stored in advance.
  • FIG. 32 shows a plurality of route guidance arrows in which the length of the region other than the region on the tip side of the arrow is different.
  • step ST71 when the above configuration according to the sixth embodiment is applied to the second embodiment or the like, when the importance of each area in the virtual object is acquired before the process of step ST71, the process of step ST72 is performed. It can be omitted.
  • the degree of identification of the virtual object when the degree of identification of the virtual object is less than the threshold, the area where the important region of the virtual object is displayed is the largest among the regions suitable for displaying the virtual object ( In the effective area, a virtual object is generated by moving the important area.
  • the degree of identification of the virtual object when the degree of identification of the virtual object is less than the threshold, there is a high possibility that the degree of identification of the virtual object is equal to or more than the threshold as compared with the case where the display form of the virtual object is changed without defining anything. Thus, unnecessary change in display mode can be prevented.
  • a plurality of effective areas when a plurality of effective areas are specified, virtual objects are generated using the effective areas in order of increasing display area of the important area. Thus, virtual objects can be generated efficiently.
  • a plurality of effective areas having the same display area of the important area is specified, a virtual object is generated using the effective area with the smallest movement amount of the important area. Thus, virtual objects can be generated efficiently.
  • FIG. 33A and FIG. 33B are diagrams showing an example of a hardware configuration of the display control device 100.
  • Each function of the external information acquisition unit 10, the position information acquisition unit 20, the control unit 30, the shielding area acquisition unit 40, and the discrimination degree determination unit 50 in the display control apparatus 100 is realized by a processing circuit. That is, the display control device 100 includes a processing circuit for realizing each of the functions.
  • the processing circuit may be the processing circuit 103 as dedicated hardware, or may be the processor 102 that executes a program stored in the memory 101.
  • the importance degree storage unit 60 in the display control device 100 is a memory 101.
  • the processing circuit 103, the processor 102 and the memory 101 are connected to the camera 1, the sensor 2, the navigation device 3 and the display device 4.
  • the processing circuit 103 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit (ASIC). , FPGA (Field Programmable Gate Array), or a combination thereof.
  • the functions of the external information acquisition unit 10, the position information acquisition unit 20, the control unit 30, the shielding area acquisition unit 40, and the discrimination degree determination unit 50 may be realized by a plurality of processing circuits 103. It may be realized by one processing circuit 103.
  • each function of the external information acquisition unit 10, the position information acquisition unit 20, the control unit 30, the shielding area acquisition unit 40 and the discrimination degree determination unit 50 is software, It is realized by firmware or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 101.
  • the processor 102 implements the functions of the respective units by reading and executing the program stored in the memory 101. 6A, 6B, 12A, 12B, 15A, 15A, 19A, 19B, 22A, 22B, 26A, 26B when executed by the processor 102.
  • this program causes a computer to execute the procedure or method of the external information acquisition unit 10, the position information acquisition unit 20, the control unit 30, the shielded area acquisition unit 40, and the discrimination degree determination unit 50.
  • the memory 101 may be a nonvolatile or volatile semiconductor memory such as a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), or a flash memory, or a hard disk or a hard disk
  • RAM random access memory
  • ROM read only memory
  • EPROM erasable programmable ROM
  • flash memory or a hard disk or a hard disk
  • a magnetic disk such as a flexible disk may be used, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versatile Disc) may be used.
  • the processor 102 refers to a central processing unit (CPU), a processing device, an arithmetic device, a microprocessor, a microcomputer, or the like.
  • the functions of the external information acquisition unit 10, the position information acquisition unit 20, the control unit 30, the shielded area acquisition unit 40, and the discrimination degree determination unit 50 are partially realized by dedicated hardware, and partially implemented by software or It may be realized by firmware.
  • the processing circuit in the display control device 100 can realize each of the functions described above by hardware, software, firmware, or a combination thereof.
  • the display control device of the present invention even when the shielding process is performed on the area where the virtual object and the real object overlap, the information indicated by the virtual object is accurately transmitted. It is suitable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)

Abstract

現実の風景に存在する実物体を検出する外部情報取得部（１０）と、仮想物体の重畳位置と実物体との奥行き関係と、表示装置（４）の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得する遮蔽領域取得部（４０）と、遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、識別度が閾値以上であるか否かを判定する識別度判定部（５０）と、識別度が閾値以上である場合には、遮蔽領域を遮蔽した仮想物体を生成するとともに、識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成する制御部（３０）とを備える。

Description

表示制御装置、表示制御方法、および表示システム
　本発明は、表示制御装置、表示制御方法、および表示システムに関するものである。
　車両等に搭載され、道案内矢印等の仮想物体を現実の風景に重畳表示するＡＲ（Augmented Reality）表示システムが普及している。
　特許文献１には、障害物である前方車両と、情報伝達子である道案内矢印とが重なる場合に、情報伝達子における当該重なる領域を削除する車両用ナビゲーションシステムが開示されている。当該構成によれば、道案内矢印によって前方車両が遮られることなく、前方車両および道案内矢印の両方を視認することができる。
特開２００５－６９７９９号公報（［０１２０］、図２０）
　上記のとおり、特許文献１に開示されている車両用ナビゲーションシステムは、車両と道案内矢印とが重なる領域では、道案内矢印から当該重なる領域を削除する処理（以下、遮蔽処理という）を行うものであるが、実物体と仮想物体とが重なる領域の面積および位置等、当該重なる領域の内容を考慮して遮蔽処理を行うものではない。そのため、例えば、当該重なる領域の面積が大きい場合には遮蔽領域の面積が大きくなり、仮想物体が示す情報が不明確になってしまうという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、仮想物体と実物体とが重なる領域について遮蔽処理を行った場合でも、仮想物体が示す情報が不明確になることのない表示制御装置、表示制御方法、および表示システムを得ることを目的とする。
　この発明に係る表示制御装置は、仮想物体を現実の風景に重畳表示する表示装置を制御し、現実の風景に存在する実物体を検出する外部情報取得部と、仮想物体の重畳位置と実物体との奥行き関係と、表示装置の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得する遮蔽領域取得部と、遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、識別度が閾値以上であるか否かを判定する識別度判定部と、識別度が閾値以上である場合には、遮蔽領域を遮蔽した仮想物体を生成するとともに、識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成する制御部とを備える。
　この発明によれば、仮想物体と実物体とが重なる領域について遮蔽処理を行った場合でも、仮想物体が示す情報が不明確になることのない表示制御装置、表示制御方法、および表示システムを得ることができる。
実施の形態１に係る表示制御装置の構成を示すブロック図である。 遮蔽処理後の仮想物体について説明するための図である。 仮想物体の画像情報および仮想物体の重畳位置情報について説明するための図である。 仮想物体の画像情報および仮想物体の重畳位置情報について説明するための別の図である。 実施の形態１に係る表示制御装置の動作を説明するためのフローチャートである。 実施の形態１に係る仮想物体生成処理について説明するためのフローチャートである。 実施の形態１に係る仮想物体生成処理について説明するためのフローチャートである。 遮蔽領域ありと判定する場合を示す図である。 遮蔽処理後の仮想物体の一例を示す図である。 仮想物体の表示形態を変更する場合の一例を示す図である。 実施の形態２に係る表示制御装置の構成を示すブロック図である。 仮想物体における重要度の設定の一例を示す図である。 実施の形態２に係る仮想物体生成処理について説明するためのフローチャートである。 実施の形態２に係る仮想物体生成処理について説明するためのフローチャートである。 矢印の先端側の領域が遮蔽領域となると判定する場合を示す図である。 矢印の先端側の領域が遮蔽領域とならないと判定する場合を示す図である。 実施の形態３に係る仮想物体生成処理について説明するためのフローチャートである。 周辺の車両または周辺の歩行者に対する強調表示を行う機能をユーザが利用している場合について示す図である。 遮蔽処理前の仮想物体の面積を示す図である。 遮蔽処理後の仮想物体の面積を示す図である。 実施の形態４に係る仮想物体生成処理について説明するためのフローチャートである。 遮蔽処理前の仮想物体における重要領域の面積について説明するための図である。 遮蔽処理後の仮想物体における重要領域の面積について説明するための図である。 実施の形態５に係る仮想物体生成処理について説明するためのフローチャートである。 実施の形態５に係る仮想物体生成処理について説明するためのフローチャートである。 各ピクセルの重要度について説明するための図である。 遮蔽領域の重要度について説明するための図である。 遮蔽処理後の仮想物体の識別度について説明するための図である。 実施の形態６に係る仮想物体生成処理について説明するためのフローチャートである。 仮想物体の表示に適した領域の一例を示す図である。 仮想物体の表示に適した領域の別の一例を示す図である。 仮想物体における重要領域の表示に適した領域（有効領域）について説明するための図である。 仮想物体における重要領域を有効領域に移動する例を示す図である。 仮想物体における重要領域を有効領域に移動する別の例を示す図である。 予め記憶されている複数の仮想物体の一例を示す図である。 図３３Ａおよび図３３Ｂは、表示制御装置のハードウェア構成例を示す図である。
実施の形態１．
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
　図１は、実施の形態１に係る表示制御装置１００の構成を示すブロック図である。
　表示制御装置１００は、外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０、および識別度判定部５０等を備えて構成される。
　表示制御装置１００は、カメラ１、センサ２、ナビゲーション装置３、および表示装置４と接続されている。表示制御装置１００は、例えば、車両に搭載される装置、または乗員に所持されて車両内に持ち込まれる携帯端末である。携帯端末は、例えば、ポータブルナビゲーションデバイス、タブレットＰＣ、またはスマートフォンである。
　上記では、表示制御装置１００が、車両に搭載されるもの、または車両に持ち込まれるものとしたが、これに限定されるものではなく、カメラ１、センサ２、ナビゲーション装置３、および表示装置４を備えた他の乗り物に適用することができる。また、表示制御装置１００、カメラ１、センサ２、ナビゲーション装置３、および表示装置４を備えた携帯端末であれば、車両に持ち込まずに、歩行中に使用することができる。
　表示制御装置１００は、仮想物体を現実の風景に重畳表示する表示装置４を制御する装置である。実施の形態１では、表示装置４としてヘッドアップディスプレイを用いる場合について説明する。
　図２は、遮蔽処理後の仮想物体について説明するための図である。
　図２は、仮想物体を道案内矢印とした場合を示している。図２は、ユーザの現在位置と、ユーザによって視認される仮想物体の奥行き方向位置との間に、現実の物体（以下、実物体という）である車両が存在する様子を示している。
　表示制御装置１００は、仮想物体のうち、実物体と重複する領域（遮蔽領域）を遮蔽した仮想物体を生成する。図２に示す道案内矢印は、車両と重複する領域が遮蔽処理されている。
　実施の形態１に係る表示制御装置１００は、遮蔽処理後の仮想物体の識別度を算出し、当該識別度が閾値未満である場合には、仮想物体の表示形態を変更する。
　識別度は、仮想物体が示す情報をユーザが認識することができるか否かを判定するための値である。識別度は、例えば、仮想物体の遮蔽量によって変化する。識別度は、仮想物体の遮蔽量が小さいほど大きな値となり、仮想物体の遮蔽量が大きいほど小さな値となる。
　外部情報取得部１０は、現実の風景に存在する実物体の位置、大きさ等を示す外部情報を生成し、生成した外部情報を制御部３０および遮蔽領域取得部４０に出力する。
　外部情報取得部１０は、現実の風景に存在する実物体の位置、大きさ等を示す外部情報を、例えば、カメラ１から取得した現実の風景の画像データを解析して生成する。
　外部情報取得部１０は、現実の風景に存在する実物体の位置、大きさ等を示す外部情報を、例えば、センサ２から取得したセンサデータを解析して生成する。
　なお、外部情報取得部１０による外部情報の生成方法はこれらに限定されるものではなく、他の公知技術を用いてもよい。
　位置情報取得部２０は、ナビゲーション装置３から位置情報を取得する。
　位置情報には、ユーザの現在位置情報が含まれる。また、道案内機能を利用している場合、位置情報には、案内対象となる交差点の位置情報、案内対象となる建物の位置情報等が含まれる。位置情報取得部２０は、取得した位置情報を制御部３０に出力する。
　制御部３０は、外部情報取得部１０から取得した外部情報、位置情報取得部２０から取得した位置情報、およびユーザに提供する機能（道案内、実物体の強調表示等）等に基づいて、仮想物体の画像情報および仮想物体の重畳位置情報を生成する。仮想物体は、ＰＣ等で予め作成された画像等である。
　図３は、仮想物体の画像情報および仮想物体の重畳位置情報について説明するための図である。
　ユーザが道案内機能を利用している場合、仮想物体の画像情報は、例えば、図３に示すような道案内矢印である。このとき、仮想物体の重畳位置情報は、当該道案内矢印を現実の風景に重畳表示する位置の情報である。当該位置の情報には、縦横方向および奥行き方向のそれぞれの方向に対する位置の情報が含まれる。
　制御部３０は、ユーザが現実の風景と同時に仮想物体を見た際に、仮想物体が仮想物体の重畳位置に重畳表示されるように、ユーザの現在位置と、仮想物体の重畳位置との位置関係に基づいて、表示装置４の表示面を介して視認される仮想物体の位置、大きさ等を調整する。
　制御部３０は、位置情報取得部２０から取得したユーザの現在位置情報と、案内対象となる交差点の位置情報とに基づき、ユーザの現在位置から案内対象となる交差点の位置までの距離を取得する。制御部３０は、当該距離に基づき、道案内矢印が案内対象となる交差点上に重畳表示されるように、表示装置４の表示面を介して視認される道案内矢印の位置、大きさ等を調整する。
　図４は、仮想物体の画像情報および仮想物体の重畳位置情報を説明するための別の図である。
　ユーザが周辺の車両または周辺の歩行者に対する強調表示を行う機能を利用している場合、仮想物体の画像情報は、例えば、図４に示すような枠形状である。このとき、仮想物体の重畳位置情報は、当該枠形状を現実の風景に重畳表示する位置の情報である。当該位置の情報には、縦横方向および奥行き方向のそれぞれの方向に対する位置の情報が含まれる。
　制御部３０は、生成した仮想物体の重畳位置情報を遮蔽領域取得部４０に出力する。
　遮蔽領域取得部４０は、外部情報取得部１０から取得した外部情報と、制御部３０から取得した仮想物体の重畳位置情報とに基づき、仮想物体の重畳位置と実物体との位置関係および奥行き関係を取得する。
　位置関係とは、仮想物体の重畳位置と実物体とを、ユーザが表示装置４を介して同時に見た場合における、表示装置４の表示面上での縦横の位置関係である。
　奥行き関係とは、仮想物体の重畳位置と実物体とを、ユーザが表示装置４を介して同時に見た場合における、仮想物体の重畳位置と実物体との奥行き方向の位置関係である。
　遮蔽領域取得部４０は、当該位置関係および当該奥行き関係に基づき、ユーザから見て仮想物体の重畳位置と実物体とが重なる領域であって、現実の風景の実物体が仮想物体の重畳位置より手前側となる領域（遮蔽領域）の有無を判定する。
　遮蔽領域取得部４０は、当該判定の結果を示す情報を制御部３０に出力する。このとき、遮蔽領域取得部４０は、遮蔽領域があることを示す情報を出力する場合、併せて当該遮蔽領域の情報（以下、遮蔽領域情報という）を制御部３０に出力する。
　制御部３０は、遮蔽領域がないことを示す情報を遮蔽領域取得部４０から取得した場合、仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する。遮蔽処理を行う必要がないためである。
　一方、制御部３０は、遮蔽領域があることを示す情報および遮蔽領域情報を遮蔽領域取得部４０から取得した場合、仮想物体の画像情報および遮蔽領域情報を識別度判定部５０に出力する。
　識別度判定部５０は、制御部３０から取得した仮想物体の画像情報および遮蔽領域情報に基づき、遮蔽処理後の仮想物体の識別度を算出する。遮蔽処理は、仮想物体の画像情報が示す領域から遮蔽領域情報が示す領域を削除等して実現する。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値以上であるか否かを判定する。識別度判定部５０は、当該判定の結果を示す情報を制御部３０に出力する。
　制御部３０は、遮蔽処理後の仮想物体の識別度が閾値以上であることを示す情報を識別度判定部５０から取得した場合、遮蔽処理後の仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する。
　一方、制御部３０は、識別度が閾値未満であることを示す情報を識別度判定部５０から取得した場合、遮蔽処理を行う前の仮想物体の表示形態を変更する。当該表示形態の変更は、仮想物体に遮蔽領域がない状態とするか、または、遮蔽処理後の仮想物体の識別度を閾値以上とするために行う。
　図５は、実施の形態１に係る表示制御装置１００の動作を説明するためのフローチャートである。図５を用いて、実施の形態１に係る表示制御装置１００の動作について説明する。
　外部情報取得部１０は、カメラ１から取得した画像データまたはセンサ２から取得したセンサデータに基づいて、現実の風景に存在する実物体を検出し、実物体の位置、大きさ等を示す外部情報を取得する（ステップＳＴ１）。外部情報取得部１０は、外部情報を制御部３０および遮蔽領域取得部４０に出力する。
　位置情報取得部２０は、ナビゲーション装置３から位置情報を取得する（ステップＳＴ２）。位置情報取得部２０は、位置情報を制御部３０に出力する。
　制御部３０は、仮想物体生成処理を行い、生成した仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する（ステップＳＴ３）。
　図６Ａおよび図６Ｂは、図５のステップＳＴ３で示した仮想物体生成処理について説明するためのフローチャートである。
　制御部３０は、外部情報取得部１０から取得した外部情報と、位置情報取得部２０から取得した位置情報、およびユーザに提供する機能等に基づいて、仮想物体の画像情報および当該仮想物体の重畳位置情報を生成する（ステップＳＴ１１）。制御部３０は、仮想物体の重畳位置情報を遮蔽領域取得部４０に出力する。
　遮蔽領域取得部４０は、外部情報取得部１０から取得した外部情報と、制御部３０から取得した仮想物体の重畳位置情報とに基づいて、仮想物体の重畳位置と実物体との位置関係および奥行き関係を取得する（ステップＳＴ１２）。
　遮蔽領域取得部４０は、当該位置関係および当該奥行き関係に基づき、ユーザから見て仮想物体の重畳位置と実物体とが重なる領域であって、現実の風景の実物体が仮想物体の重畳位置より手前となる領域（遮蔽領域）があるか否かを判定する（ステップＳＴ１３）。図７は、遮蔽領域取得部４０が遮蔽領域ありと判定する場合を示す図である。
　遮蔽領域取得部４０は、遮蔽領域なしと判定した場合（ステップＳＴ１３：ＮＯ）、遮蔽領域がないことを示す情報を制御部３０に出力する（ステップＳＴ１４）。
　制御部３０は、遮蔽領域がないことを示す情報を遮蔽領域取得部４０から取得した場合、仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する（ステップＳＴ１５）。
　ステップＳＴ１３において、遮蔽領域取得部４０は、遮蔽領域ありと判定した場合（ステップＳＴ１３：ＹＥＳ）、遮蔽領域があることを示す情報および遮蔽領域情報を制御部３０に出力する（ステップＳＴ１６）。
　制御部３０は、遮蔽領域があることを示す情報および遮蔽領域情報を遮蔽領域取得部４０から取得した場合、仮想物体の画像情報および遮蔽領域情報を識別度判定部５０に出力する（ステップＳＴ１７）。
　識別度判定部５０は、当該仮想物体の画像情報および当該遮蔽領域情報に基づき、遮蔽処理後の仮想物体の識別度を算出する（ステップＳＴ１８）。図８は、遮蔽処理後の仮想物体の一例を示す図である。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が予め定められた閾値以上であるか否かを判定する（ステップＳＴ１９）。
　識別度は、任意の範囲で設定することができる。以下の説明では、識別度の最大値を１００、識別度の最小値を０とする。
　識別度の閾値は、仮想物体が示す情報をユーザが認識することができるか否かを判定可能な任意の値とすることができる。以下の説明では、識別度の閾値を１～９９の間で設定するものとする。識別度の閾値はすべての仮想物体について固定値としてもよいし、仮想物体の種類ごとに異なる値としてもよい。
　識別度の閾値を８０とする場合、ステップＳＴ１９において、識別度判定部５０は、遮蔽処理後の仮想物体の識別度が８０以上であるか否かを判定する。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値以上であると判定した場合（ステップＳＴ１９：ＹＥＳ）、識別度が閾値以上であることを示す情報を制御部３０に出力する（ステップＳＴ２０）。制御部３０は、識別度が閾値以上であることを示す情報を識別度判定部５０から取得した場合、遮蔽処理後の仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する（ステップＳＴ２１）。
　ステップＳＴ１９において、識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値未満であると判定した場合（ステップＳＴ１９：ＮＯ）、識別度が閾値未満であることを示す情報を制御部３０に出力する（ステップＳＴ２２）。
　制御部３０は、識別度が閾値未満であることを示す情報を識別度判定部５０から取得した場合、仮想物体について表示形態を変更した回数（変更回数）が限界回数に到達したか否かを判定する（ステップＳＴ２３）。当該限界回数は任意の値とすることができる。
　制御部３０は、変更回数が限界回数に到達していないと判定した場合（ステップＳＴ２３：ＮＯ）、仮想物体の表示形態を変更するとともに、表示形態変更後の仮想物体の重畳位置情報を生成し、当該仮想物体の重畳位置情報を遮蔽領域取得部４０に出力する（ステップＳＴ２４）。ステップＳＴ２４の処理が終わると、再びステップＳＴ１２の処理に戻る。
　図９は、制御部３０が仮想物体の表示形態を変更する場合の一例を示す図である。
　ステップＳＴ２３において、制御部３０は、当該変更回数が限界回数に到達したと判定した場合（ステップＳＴ２３：ＹＥＳ）、制御部３０は、代替方法で情報を出力する（ステップＳＴ２５）。当該代替方法による情報の出力は、例えば、ナビゲーション装置３の表示部（不図示）への情報の出力、不図示のスピーカを介しての音声による情報の出力等である。
　以上のように、実施の形態１に係る表示制御装置１００は、仮想物体を現実の風景に重畳表示する表示装置４を制御し、現実の風景に存在する実物体を検出する外部情報取得部１０と、仮想物体の重畳位置と実物体との奥行き関係と、表示装置４の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得する遮蔽領域取得部４０と、遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、識別度が閾値以上であるか否かを判定する識別度判定部５０と、識別度が閾値以上である場合には、遮蔽領域を遮蔽した仮想物体を生成するとともに、識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成する制御部３０とを備える。これにより、仮想物体と実物体とが重なる領域について遮蔽処理を行った場合でも、仮想物体が示す情報が不明確になることのない表示制御装置を得ることができる。
　また、実施の形態１によれば、現実の風景に存在する実物体より奥に仮想物体が表示されているように見せるための遮蔽処理を行った場合でも、仮想物体の情報が損なわれることがない。このため、ユーザが、仮想物体の持つ情報を正しく把握することができる。また、遮蔽処理量が大きい仮想物体等を視認することにより、ユーザが違和感を抱くのを防止することができる。
　上記では、ユーザがヘッドアップディスプレイ等の透過型ディスプレイを通して現実の風景を視認する場合について説明した。ただし、これに限定されるものではなく、ユーザがヘッドマウントディスプレイに表示された現実の風景の映像を見ている場合に本発明を適用してもよい。また、ユーザが、車両のセンターディスプレイ、スマートフォンの画面等に表示された現実の風景を見ている場合に本発明を適用してもよい。
実施の形態２．
　図１０は、実施の形態２に係る表示制御装置１００の構成を示すブロック図である。実施の形態１で説明した構成と同一または相当する機能を有する構成については、その説明を省略または簡略化する。
　実施の形態２に係る表示制御装置１００は、重要度格納部６０を備える。
　重要度格納部６０には、１つの仮想物体を複数の領域に分割した際における、各領域の重要度が格納されている。各領域の重要度は予め設定されており、任意の値を設定することができる。仮想物体のうち、特徴的な領域の重要度は高く設定され、特徴的でない領域の重要度は低く設定されている。仮想物体全体の重要度の合計値は、予め定められた識別度の最大値と等しくなるようにする。
　図１１は、仮想物体における重要度の設定の一例を示す図である。仮想物体が道案内矢印である場合、例えば、矢印の先端側の領域と、矢印の先端側以外の領域との２つの領域に分割され、各領域の重要度が重要度格納部６０に格納されている。矢印の先端側の領域は進行方向を示すものであり、特徴的な領域に該当する。このため、矢印の先端側の領域は、矢印の先端側以外の領域に対して重要度が高く設定される。図１１では、矢印の先端側の領域の重要度を６０、矢印の先端側以外の領域の重要度を４０としている。
　図１２Ａおよび図１２Ｂに示すフローチャートを用いて、実施の形態２に係る表示制御装置１００が行う仮想物体生成処理について説明する。
　ステップＳＴ１１～ステップＳＴ１６は図６Ａと同様であるため、重複する説明を省略する。
　制御部３０は、遮蔽領域があることを示す情報および遮蔽領域情報を遮蔽領域取得部４０から取得した場合、仮想物体の各領域の重要度を重要度格納部６０から取得するとともに、仮想物体の各領域の重要度を比較して重要度が最も高い領域（重要領域）を決定し、重要領域を示す重要領域情報を生成する（ステップＳＴ３１）。制御部３０は、仮想物体の画像情報、重要領域情報、および遮蔽領域取得部４０から取得した遮蔽領域情報を、識別度判定部５０に出力する（ステップＳＴ３２）。
　識別度判定部５０は、仮想物体における重要領域が遮蔽領域となるか否かを判定する（ステップＳＴ３３）。
　識別度判定部５０は、仮想物体における重要領域が遮蔽領域とならないと判定した場合（ステップＳＴ３３：ＮＯ）、遮蔽処理後の仮想物体の識別度を最大値（１００）とし、識別度が閾値以上であることを示す情報を、制御部３０に出力する（ステップＳＴ３４）。ステップＳＴ２１は図６Ａと同様であるため、重複する説明を省略する。
　一方、識別度判定部５０は、仮想物体における重要領域が遮蔽領域となると判定した場合（ステップＳＴ３３：ＹＥＳ）、遮蔽処理後の仮想物体の識別度を最小値（０）とし、識別度が閾値未満であることを示す情報を、制御部３０に出力する（ステップＳＴ３５）。ステップＳＴ２３～ステップＳＴ２５は図６Ｂと同様であるため、重複する説明を省略する。
　図１１に示すように、仮想物体が道案内矢印である場合、識別度判定部５０は、重要領域である矢印の先端側の領域が遮蔽領域となるか否かを判定する。
　図１３は、識別度判定部５０が、矢印の先端側の領域が遮蔽領域となると判定する場合を示す図である。このとき、識別度判定部５０は、識別度を最小値（０）とし、識別度が閾値未満であることを示す情報を制御部３０に出力する。
　一方、図１４は、識別度判定部５０が、矢印の先端側の領域が遮蔽領域とならないと判定する場合を示す図である。このとき、識別度判定部５０は、識別度を最大値（１００）とし、識別度が閾値以上であることを示す情報を制御部３０に出力する。
　以上のように、実施の形態２によれば、遮蔽領域があったとしても、仮想物体における重要領域が遮蔽領域とならない場合、制御部３０は仮想物体の表示形態を変更しない。これにより、不要な表示形態の変更を防ぐことができる。
　また、特許文献１に開示されているような従来の遮蔽処理では、仮想物体における特徴的な領域が削除されてしまった場合、ユーザは仮想物体が示す情報を正確に把握することができない。例えば、仮想物体が道案内矢印である場合、矢印の先端側の領域が削除されてしまった場合、ユーザは進むべきルートを把握することができない。これに対して、実施の形態２によれば、仮想物体における重要領域が遮蔽領域となる場合には、仮想物体の表示形態が変更される。このため、仮想物体における特徴的な領域が削除されることはない。
実施の形態３．
　実施の形態３に係る表示制御装置１００の構成は、図１で示した実施の形態１に係る表示制御装置１００の構成と同様であるため、図示および各構成の説明を省略する。
　実施の形態３において、識別度判定部５０は、仮想物体の識別度を遮蔽処理前後の仮想物体の面積比に基づいて算出する。識別度判定部５０は、仮想物体の面積および遮蔽領域の面積を、表示装置４の表示面上でのピクセル数等に基づき算出する。
　図１５に示すフローチャートを用いて、実施の形態３に係る表示制御装置１００が行う仮想物体生成処理について説明する。
　ステップＳＴ１１～ステップＳＴ１７は図６Ａと同様であるため、重複する説明を省略する。
　識別度判定部５０は、仮想物体の画像情報および遮蔽領域情報を制御部３０から取得した場合、遮蔽処理前の仮想物体の面積Ａおよび遮蔽領域の面積Ｂを算出する（ステップＳＴ４１）。識別度判定部５０は、遮蔽処理後の仮想物体の面積Ｃを算出する（ステップＳＴ４２）。遮蔽処理後の仮想物体の面積Ｃは、面積Ａから面積Ｂを減算し算出する。
　識別度判定部５０は、遮蔽処理前の仮想物体の面積Ａに対する遮蔽処理後の仮想物体の面積Ｃの割合を算出する（ステップＳＴ４３）。識別度判定部５０は、面積Ａに対する面積Ｃの割合を遮蔽処理後の仮想物体の識別度とし、当該識別度が予め定められた閾値以上であるか否かを判定する（ステップＳＴ４４）。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が予め定められた閾値以上であると判定した場合（ステップＳＴ４４：ＹＥＳ）、ステップＳＴ２０の処理に進む。ステップＳＴ２０およびステップＳＴ２１は図６Ａと同様であるため、重複する説明を省略する。
　一方、識別度判定部５０は、遮蔽処理後の仮想物体の識別度が予め定められた閾値未満であると判定した場合（ステップＳＴ４４：ＮＯ）、ステップＳＴ２２の処理（図６Ｂ）に進む。ステップＳＴ２２～ステップＳＴ２５は図６Ｂと同様であるため、図示および重複する説明を省略する。
　図１６は、周辺の車両または周辺の歩行者に対する強調表示を行う機能をユーザが利用している場合について示す図である。仮想物体は枠形状である。
　図１７は、遮蔽処理前の仮想物体の面積Ａを示す図である。
　図１８は、遮蔽処理後の仮想物体の面積Ｃを示す図である。ここで、面積Ａを５００とし、面積Ｂを１００とする。この場合、面積Ｃは４００となる。識別度判定部５０は、面積Ａに対する面積Ｃの割合、（４００／５００）×１００＝８０を算出する。識別度判定部５０は、遮蔽処理後の仮想物体の識別度を８０し、当該識別度が予め定められた閾値以上であるか否かを判定する。
　以上のように、実施の形態３では、仮想物体の識別度を、遮蔽処理前の仮想物体の面積と遮蔽処理後の仮想物体の面積との面積比を用いて算出する。このように構成することで、仮想物体に特徴的な領域がなく、仮想物体の各領域の重要度が一様である場合であっても、仮想物体の識別度が予め定められた閾値以上であるか否かを判定することができる。
　実施の形態２では仮想物体における各領域の重要度を用いる構成について説明し、実施の形態３では遮蔽処理前後の仮想物体の面積比を用いる構成について説明したが、両者を切り替えて実行する構成としてもよい。その場合、ユーザに提示する仮想物体の種類等に応じて、仮想物体における各領域の重要度を用いるか、遮蔽処理前後の仮想物体の面積比を用いるかを切り替える。
実施の形態４．
　実施の形態４に係る表示制御装置１００の構成は、図１０で示した実施の形態２に係る表示制御装置１００の構成と同様であるため、図示および各構成の説明を省略する。
　実施の形態４において、識別度判定部５０は、制御部３０から取得した、仮想物体における重要度が高い領域（重要領域）が遮蔽領域となると判定した場合、遮蔽処理後の仮想物体の識別度を、遮蔽処理前の仮想物体における重要領域の面積Ｄと、遮蔽処理後の仮想物体における重要領域の面積Ｆとに基づき算出する。
　図１９に示すフローチャートを用いて、実施の形態４に係る表示制御装置１００が行う仮想物体生成処理について説明する。なお、ステップＳＴ１１～ステップＳＴ１６、ステップＳＴ３１～ステップＳＴ３４、およびステップＳＴ２１は図１２Ａと同様であるため、図示および重複する説明を省略する。
　識別度判定部５０は、仮想物体における重要領域が遮蔽領域となると判定した場合（ステップＳＴ３３：ＹＥＳ）、遮蔽処理前の仮想物体における重要領域の面積Ｄ、および仮想物体における重要領域のうち、遮蔽領域に該当する領域の面積Ｅを算出する（ステップＳＴ５１）。
　識別度判定部５０は、遮蔽処理後の仮想物体における重要領域の面積Ｆを算出する（ステップＳＴ５２）。面積Ｆは、面積Ｄから面積Ｅを減算することで算出する。
　識別度判定部５０は、面積Ｄを１００とした場合における、当該面積Ｄに対する面積Ｆの割合を算出する（ステップＳＴ５３）。
　識別度判定部５０は、当該割合を遮蔽処理後の仮想物体の識別度とし、当該識別度が予め定められた閾値以上であるか否かを判定する（ステップＳＴ５４）。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値以上であると判定した場合（ステップＳＴ５４：ＹＥＳ）、識別度が閾値以上であることを示す情報を制御部３０に出力する（ステップＳＴ５５）。制御部３０は、識別度が閾値以上であることを示す情報を識別度判定部５０から取得した場合、遮蔽処理後の仮想物体の画像情報および当該仮想物体の重畳位置情報を表示装置４に出力する（ステップＳＴ５６）。
　ステップＳＴ５４において、識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値未満であると判定した場合（ステップＳＴ５４：ＮＯ）、識別度が閾値未満であることを示す情報を制御部３０に出力する（ステップＳＴ５７）。ステップＳＴ２３～ステップＳＴ２５は図１２Ｂと同様であるため、重複する説明を省略する。
　図２０は、遮蔽処理前の仮想物体における重要領域の面積Ｄについて説明するための図である。
　図２１は、遮蔽処理後の仮想物体における重要領域の面積Ｆについて説明するための図である。
　識別度判定部５０は、矢印の先端側の領域が遮蔽領域となると判定した場合、図２０に示す面積Ｄおよび図２１に示す面積Ｅを算出する。識別度判定部５０は、面積Ｄから面積Ｅを減算することで面積Ｆを算出する。ここで、面積Ｄを２０とし、面積Ｅを１５とする。このとき、面積Ｆは５となる。識別度判定部５０は、面積Ｄに対する面積Ｆの割合、（５／２０）×１００＝２５を算出し、遮蔽処理後の仮想物体の識別度を２５として、当該識別度が予め定められた閾値以上であるか否かを判定する。
　以上のように、実施の形態４では、仮想物体の識別度を、仮想物体における重要領域の遮蔽処理前後の面積比を用いて決定する。これにより、仮想物体の重要領域に遮蔽領域があったとしても、当該重要領域に占める当該遮蔽領域の割合が小さい場合には仮想物体の表示形態を変更しない。これにより、不要な表示形態の変更を防ぐことができる。
実施の形態５．
　実施の形態５に係る表示制御装置１００の構成は、図１０で示した実施の形態２に係る表示制御装置１００の構成と同様であるため、図示および各構成の説明を省略する。
　実施の形態５において、制御部３０は、仮想物体における各領域の重要度および当該各領域のピクセル数（面積）に基づいて、仮想物体の各ピクセルの重要度を算出する。
　識別度判定部５０は、仮想物体の画像情報、遮蔽領域情報、および仮想物体の各ピクセルの重要度に基づいて、遮蔽処理後の仮想物体の識別度を算出する。
　図２２Ａおよび図２２Ｂに示すフローチャートを用いて、実施の形態５に係る表示制御装置１００が行う仮想物体生成処理について説明する。
　ステップＳＴ１１～ステップＳＴ１６は図１２Ａと同様であるため、重複する説明を省略する。
　制御部３０は、遮蔽領域があることを示す情報および遮蔽領域情報を遮蔽領域取得部４０から取得した場合、仮想物体における各領域の重要度を重要度格納部６０から取得する（ステップＳＴ６１）。
　制御部３０は、仮想物体における各領域の重要度を、それぞれの領域を構成するピクセル数で除算し、仮想物体の各ピクセルの重要度を算出する（ステップＳＴ６２）。
　図２３は、各ピクセルの重要度について説明するための図である。
　仮想物体が道案内矢印である場合、制御部３０は、矢印の先端側の領域の重要度６０、および矢印の先端側の領域以外の領域の重要度４０を、重要度格納部６０から取得する。ここで、矢印の先端側の領域のピクセル数（面積）が１００、矢印の先端側の領域以外の領域のピクセル数（面積）が２００であれば、矢印の先端側の領域を構成する各ピクセルの重要度は、６０／１００＝０．６となり、矢印の先端側の領域以外の領域を構成する各ピクセルの重要度は、４０／２００＝０．２となる。
　制御部３０は、仮想物体の画像情報、遮蔽領域情報、および仮想物体の各ピクセルの重要度を、識別度判定部５０に出力する（ステップＳＴ６３）。
　識別度判定部５０は、仮想物体の画像情報、遮蔽領域情報、および仮想物体の各ピクセルの重要度に基づき、遮蔽領域の重要度を算出する（ステップＳＴ６４）。識別度判定部５０は、各ピクセルの重要度と遮蔽領域のピクセル数（面積）とを乗算し、遮蔽領域の重要度を算出する。このとき、遮蔽領域が仮想物体における複数の領域に跨る場合には、当該複数の領域ごとに遮蔽領域の重要度を算出し、算出した遮蔽領域の重要度を加算する。
　図２４は、遮蔽領域の重要度について説明するための図である。
　矢印の先端側の領域における遮蔽領域が５０ピクセル、矢印の先端側の領域以外の領域における遮蔽領域が６０ピクセルである場合、遮蔽領域の重要度は（０．６×５０）＋（０．２×６０）＝４２となる。
　識別度判定部５０は、予め定められた識別度の最大値から遮蔽領域の重要度を減算した値を遮蔽処理後の仮想物体の識別度とし、当該識別度が予め定められた閾値以上であるか否かを判定する（ステップＳＴ６５）。
　識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値以上であると判定した場合（ステップＳＴ６５：ＹＥＳ）、識別度が閾値以上であることを示す情報を制御部３０に出力する（ステップＳＴ６６）。ステップＳＴ２１は図１２Ａと同様であるため、重複する説明を省略する。
　一方、識別度判定部５０は、遮蔽処理後の仮想物体の識別度が、予め定められた閾値未満であると判定した場合（ステップＳＴ６５：ＮＯ）、識別度が閾値未満であることを示す情報を制御部３０に出力する（ステップＳＴ６７）。ステップＳＴ２３～ステップＳＴ２５は図１２Ｂと同様であるため、重複する説明を省略する。
　図２５は、遮蔽処理後の仮想物体の識別度について説明するための図である。
　遮蔽処理後の仮想物体の識別度は、遮蔽処理前の仮想物体の識別度を１００とすると、
１００－４２＝５８となる。
　以上のように、実施の形態５では、仮想物体の識別度を、仮想物体の各領域の重要度を各領域の面積で除した値と、遮蔽領域の面積とに基づいて算出する。仮想物体における各領域の重要度ではなく、ピクセルごとの重要度に基づいて識別度を算出するため、識別度の精度をさらに向上させることができる。これにより、遮蔽処理後の仮想物体の識別度が予め定められた閾値以上であるか否かの判定をより正確に行うことができ、ユーザによる認識が困難な仮想物体が表示されるのを防止することができる。
実施の形態６．
　実施の形態６に係る表示制御装置１００の構成は、図１０で示した実施の形態２に係る表示制御装置１００の構成と同様であるため、図示および各構成の説明を省略する。
　実施の形態６は、実施の形態１の構成において、制御部３０が、識別度が閾値未満であることを示す情報を識別度判定部５０から取得し、かつ、仮想物体の表示形態を変更した回数が限界回数に到達していないと判定した場合に、以下の処理を行うものである。
　制御部３０は、仮想物体の表示に適した領域があるか否かを判定する。
　図２７は、仮想物体の表示に適した領域の一例を示す図である。ユーザが道案内機能を利用している場合、案内ルートの道路のうち、ユーザが画面を通して見ることができる道路上の領域であって、実物体に遮られることのない領域が、仮想物体の表示に適した領域となる。
　図２８は、仮想物体の表示に適した領域の別の一例を示す図である。ユーザが周辺の車両または周辺の歩行者に対する強調表示を行う機能を利用している場合、強調表示を行う対象物の周囲の領域のうち、ユーザが画面を通して見ることができる領域であって、実物体に遮られることのない領域が、仮想物体の表示に適した領域となる。
　制御部３０は、仮想物体の表示に適した領域を複数の領域に分割する。以下、分割された各領域を分割領域という。制御部３０は、分割領域の中から、仮想物体における重要領域の表示に適した領域（以下、有効領域という）を特定する。
　図２９は、仮想物体における重要領域の表示に適した領域（有効領域）について説明するための図である。有効領域とは、分割領域の中で、仮想物体における重要領域が表示される面積（重要領域の表示面積）が、最も大きい領域である。
　なお、制御部３０は、重要領域の表示面積が大きい分割領域を、重要領域の表示面積が大きい順に選択して、複数の有効領域を特定してもよい。その場合、制御部３０は、複数の有効領域を、重要領域の表示面積が大きいものから順に並べたデータとし、保持する。
　また、制御部３０は、重要領域の表示面積が一定の面積以上の分割領域の中で、重要領域の表示面積が最も大きい領域を有効領域としてもよい。
　また、制御部３０は、重要領域の表示面積が一定の面積以上の分割領域の中で、重要領域の表示面積が大きい順に選択して、複数の有効領域を特定してもよい。
　制御部３０は、仮想物体における重要領域を有効領域に移動した仮想物体を生成する。
　なお、図２９は、制御部３０が有効領域を複数特定し（有効領域Ａおよび有効領域Ｂ）、かつ、有効領域Ａおよび有効領域Ｂにおける重要領域の表示面積が同一の場合を示している。この場合、制御部３０は、仮想物体における重要領域の移動量が最も小さい有効領域Ａを選択し、仮想物体における重要領域を有効領域Ａに移動した仮想物体を生成する。
　図２６に示すフローチャートを用いて、実施の形態６に係る表示制御装置１００が行う仮想物体生成処理について説明する。なお、ステップＳＴ１１～ステップＳＴ２１は図６Ａと同様であるため、図示および重複する説明を省略する。また、ステップＳＴ２２、ステップＳＴ２３、およびステップＳＴ２５は図６Ｂと同様であるため、重複する説明を省略する。
　制御部３０は、外部情報取得部１０から取得した外部情報と、位置情報取得部２０から取得した位置情報とに基づき、仮想物体の表示に適した領域があるか否かを判定する（ステップＳＴ７１）。
　ステップＳＴ７１において、制御部３０は、仮想物体の表示に適した領域がないと判定した場合（ステップＳＴ７１：ＮＯ）、ステップＳＴ２５の処理に進む。
　ステップＳＴ７１において、制御部３０は、仮想物体の表示に適した領域があると判定した場合（ステップＳＴ７１：ＹＥＳ）、仮想物体における各領域の重要度を重要度格納部６０から取得し、仮想物体における重要領域を決定する（ステップＳＴ７２）。
　次に、制御部３０は、仮想物体の表示に適した領域を複数の領域に分割し、当該複数の領域（分割領域）の中から、仮想物体における重要領域の表示に適した領域（有効領域）を特定する（ステップＳＴ７３）。
　次に、制御部３０は、仮想物体の生成（後述するステップＳＴ７５）に使用していない有効領域があるか否かを判定する（ステップＳＴ７４）。
　ステップＳＴ７４において、制御部３０は、仮想物体の生成に使用していない有効領域があると判定した場合（ステップＳＴ７４：ＹＥＳ）、仮想物体における重要領域を有効領域に移動した仮想物体を生成し、当該仮想物体の重畳位置情報を遮蔽領域取得部４０に出力する（ステップＳＴ７５）。ステップＳＴ７５において、仮想物体の生成に使用していない有効領域が複数ある場合、制御部３０は、重要領域の表示面積が大きい有効領域から順に仮想物体の生成に使用する。ステップＳＴ７５の処理が終わると、再びステップＳＴ１２（図６Ａ）の処理に戻る。
　一方、ステップＳＴ７４において、制御部３０は、仮想物体の生成に使用していない有効領域がないと判定した場合（ステップＳＴ７４：ＮＯ）、ステップＳＴ２５の処理に進む。
　図３０は、仮想物体における重要領域を有効領域に移動する例を示す図である。図３１は、仮想物体における重要領域を有効領域に移動する別の例を示す図である。図３０および図３１では、仮想物体を道案内矢印としている。制御部３０は、矢印の先端側の領域（重要領域）を有効領域に移動する。制御部３０は、矢印の先端側の領域と、矢印の先端側の領域以外の領域との境界となる部分を第１の基点とし、かつ、交差点の中心を第２の基点とし、かつ、変更前の道案内矢印の末端の位置を第３の基点とする。制御部３０は、第１の基点、第２の基点、および第３の基点を結ぶようにして道案内矢印を生成する。
　上記では、ステップＳＴ７５において、制御部３０が、仮想物体における重要領域を有効領域に移動した仮想物体を生成するものとした。当該仮想物体の生成は、表示形態の異なる複数の仮想物体を予め記憶しておき、制御部３０が表示に適した仮想物体を選択する場合を含む。
　図３２は、予め記憶されている複数の仮想物体の一例を示す図である。図３２は、矢印の先端側の領域以外の領域の長さが異なる複数の道案内矢印を示している。
　なお、実施の形態６に係る上記構成を実施の形態２に適用する場合等、ステップＳＴ７１の処理までの間に仮想物体における各領域の重要度を取得している場合は、ステップＳＴ７２の処理は省略することができる。
　以上のように、実施の形態６では、仮想物体の識別度が閾値未満である場合に、仮想物体の表示に適した領域のうち、仮想物体における重要領域が表示される面積が最も大きい領域（有効領域）に、当該重要領域を移動した仮想物体を生成する。これにより、仮想物体の識別度が閾値未満である場合に、何も定義せずに仮想物体の表示形態を変更する場合に比べ、仮想物体の識別度が閾値以上となる可能性が高くなる。よって、不要な表示形態の変更を防ぐことができる。また、有効領域を複数特定した場合、重要領域の表示面積が大きい有効領域から順に用いて、仮想物体を生成する。このため、仮想物体を効率的に生成することができる。また、重要領域の表示面積が同一の有効領域を複数特定した場合、当該重要領域の移動量が最も小さい有効領域を用いて仮想物体を生成する。このため、仮想物体を効率的に生成することができる。
　最後に、表示制御装置１００のハードウェア構成例を説明する。
　図３３Ａおよび図３３Ｂは、表示制御装置１００のハードウェア構成例を示す図である。
　表示制御装置１００における外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０および識別度判定部５０の各機能は、処理回路により実現される。即ち、表示制御装置１００は、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１０３であってもよいし、メモリ１０１に格納されるプログラムを実行するプロセッサ１０２であってもよい。
　また、表示制御装置１００における重要度格納部６０は、メモリ１０１である。処理回路１０３、プロセッサ１０２およびメモリ１０１は、カメラ１、センサ２、ナビゲーション装置３、および表示装置４と接続される。
　図３３Ａに示すように、処理回路が専用のハードウェアである場合、処理回路１０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０および識別度判定部５０の機能を複数の処理回路１０３で実現してもよいし、各部の機能をまとめて１つの処理回路１０３で実現してもよい。
　図３３Ｂに示すように、処理回路がプロセッサ１０２である場合、外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０および識別度判定部５０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１０１に格納される。
　プロセッサ１０２は、メモリ１０１に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、表示制御装置１００は、プロセッサ１０２により実行されるときに、図６Ａ、図６Ｂ、図１２Ａ、図１２Ｂ、図１５Ａ、図１５Ｂ、図１９Ａ、図１９Ｂ、図２２Ａ、図２２Ｂ、図２６Ａ、および図２６Ｂのフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０１を備える。
　また、このプログラムは、外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０および識別度判定部５０の手順または方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ１０１は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、またはフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスクまたはフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　プロセッサ１０２とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、マイクロプロセッサ、またはマイクロコンピュータ等のことである。
　なお、外部情報取得部１０、位置情報取得部２０、制御部３０、遮蔽領域取得部４０および識別度判定部５０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る表示制御装置は、仮想物体と実物体とが重なる領域について遮蔽処理を行った場合でも、仮想物体が示す情報が正確に伝達されるため、車両への搭載または車両への持ち込みに好適である。
　１　カメラ、２　センサ、３　ナビゲーション装置、４　表示装置、１０　外部情報取得部、２０　位置情報取得部、３０　制御部、４０　遮蔽領域取得部、５０　識別度判定部、６０　重要度格納部、１００　表示制御装置。

Claims (8)

  1. 　仮想物体を現実の風景に重畳表示する表示装置を制御する表示制御装置であって、
    　現実の風景に存在する実物体を検出する外部情報取得部と、
    　仮想物体の重畳位置と実物体との奥行き関係と、前記表示装置の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得する遮蔽領域取得部と、
    　前記遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、前記識別度が閾値以上であるか否かを判定する識別度判定部と、
    　前記識別度が閾値以上である場合には、前記遮蔽領域を遮蔽した仮想物体を生成するとともに、前記識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成する制御部と
    　を備える表示制御装置。
  2. 　仮想物体は複数の領域から構成され、各領域には重要度が予め設定されており、
    　前記識別度判定部は、前記重要度に基づいて遮蔽処理後の仮想物体の前記識別度を算出し、前記識別度が閾値以上であるか否かを判定することを特徴とする請求項１記載の表示制御装置。
  3. 　前記識別度判定部は、遮蔽処理前後の仮想物体の面積比に基づいて前記識別度を算出し、前記識別度が閾値以上であるか否かを判定することを特徴とする請求項１記載の表示制御装置。
  4. 　仮想物体は複数の領域から構成され、各領域には重要度が予め設定されており、
    　前記識別度判定部は、前記重要度に基づき仮想物体における重要領域を決定するとともに、仮想物体における前記重要領域の遮蔽処理前後の面積比に基づいて前記識別度を算出し、前記識別度が閾値以上であるか否かを判定することを特徴とする請求項１記載の表示制御装置。
  5. 　仮想物体は複数の領域から構成され、各領域には重要度が予め設定されており、
    　前記識別度判定部は、前記重要度を前記各領域の面積で除した値と、前記遮蔽領域の面積とに基づいて前記識別度を算出し、前記識別度が閾値以上であるか否かを判定することを特徴とする請求項１記載の表示制御装置。
  6. 　仮想物体は複数の領域から構成され、各領域には重要度が予め設定されており、
    　前記制御部は、前記識別度が閾値未満である場合に、前記重要度に基づいて仮想物体における重要領域を決定し、仮想物体の表示に適した領域のうち、前記重要領域が表示される面積が最も大きい領域に、前記重要領域を移動した仮想物体を生成することを特徴とする請求項１記載の表示制御装置。
  7. 　仮想物体を現実の風景に重畳表示する表示装置を制御する表示制御方法であって、
    　外部情報取得部が、現実の風景に存在する実物体を検出するステップと、
    　遮蔽領域取得部が、仮想物体の重畳位置と実物体との奥行き関係と、前記表示装置の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得するステップと、
    　識別度判定部が、前記遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、前記識別度が閾値以上であるか否かを判定するステップと、
    　制御部が、前記識別度が閾値以上である場合には、前記遮蔽領域を遮蔽した仮想物体を生成するとともに、前記識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成するステップと
    　を備える表示制御方法。
  8. 　仮想物体を現実の風景に重畳表示する表示装置と、
    　前記表示装置を制御する表示制御装置とを備えた表示システムにおいて、
    　前記表示制御装置は、
    　現実の風景に存在する実物体を検出する外部情報取得部と、
    　仮想物体の重畳位置と実物体との奥行き関係と、前記表示装置の表示面上での仮想物体の重畳位置と実物体との位置関係とに基づいて、実物体が仮想物体の重畳位置より手前となる領域である遮蔽領域を取得する遮蔽領域取得部と、
    　前記遮蔽領域を遮蔽した場合に、仮想物体が示す情報を認識することができるか否かを判定するための識別度を算出し、前記識別度が閾値以上であるか否かを判定する識別度判定部と、
    　前記識別度が閾値以上である場合には、前記遮蔽領域を遮蔽した仮想物体を生成するとともに、前記識別度が閾値未満である場合には、表示形態を変更した仮想物体を生成する制御部とを備えることを特徴とする表示システム。
PCT/JP2017/037951 2017-10-20 2017-10-20 表示制御装置、表示制御方法、および表示システム WO2019077730A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112017007923.3T DE112017007923B4 (de) 2017-10-20 2017-10-20 Anzeigesteuerungsvorrichtung, Anzeigesteuerungsverfahren und Anzeigesystem
US16/651,117 US20200242813A1 (en) 2017-10-20 2017-10-20 Display control device, display control method, and display system
JP2019549073A JP6618665B2 (ja) 2017-10-20 2017-10-20 表示制御装置、表示制御方法、および表示システム
CN201780095886.4A CN111213194A (zh) 2017-10-20 2017-10-20 显示控制装置、显示控制方法及显示系统
PCT/JP2017/037951 WO2019077730A1 (ja) 2017-10-20 2017-10-20 表示制御装置、表示制御方法、および表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/037951 WO2019077730A1 (ja) 2017-10-20 2017-10-20 表示制御装置、表示制御方法、および表示システム

Publications (1)

Publication Number Publication Date
WO2019077730A1 true WO2019077730A1 (ja) 2019-04-25

Family

ID=66173948

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/037951 WO2019077730A1 (ja) 2017-10-20 2017-10-20 表示制御装置、表示制御方法、および表示システム

Country Status (5)

Country Link
US (1) US20200242813A1 (ja)
JP (1) JP6618665B2 (ja)
CN (1) CN111213194A (ja)
DE (1) DE112017007923B4 (ja)
WO (1) WO2019077730A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3757945A1 (en) * 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
JP2022097911A (ja) * 2020-12-21 2022-07-01 トヨタ自動車株式会社 表示システム、表示装置、及びプログラム
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) * 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2014181927A (ja) * 2013-03-18 2014-09-29 Aisin Aw Co Ltd 情報提供装置、及び情報提供プログラム
JP2015194473A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 情報表示装置、情報表示方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2014181927A (ja) * 2013-03-18 2014-09-29 Aisin Aw Co Ltd 情報提供装置、及び情報提供プログラム
JP2015194473A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 情報表示装置、情報表示方法及びプログラム

Also Published As

Publication number Publication date
DE112017007923B4 (de) 2021-06-10
US20200242813A1 (en) 2020-07-30
JP6618665B2 (ja) 2019-12-11
CN111213194A (zh) 2020-05-29
DE112017007923T5 (de) 2020-07-23
JPWO2019077730A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
JP6618665B2 (ja) 表示制御装置、表示制御方法、および表示システム
JP6443559B2 (ja) 車両用表示装置及び車両用表示方法
KR20170016201A (ko) 주차 지원 장치 및 그 제어 방법
CN108027976B (zh) 行驶支援装置以及基于行驶支援装置的行驶支援方法
US20160297364A1 (en) Vehicle image processing apparatus and vehicle image processing method
US9588340B2 (en) Pedestrian intersection alert system and method thereof
CN103778617B (zh) 动态图像处理方法以及动态图像处理系统
US9964413B2 (en) Navigation device for a movable object and method for generating a display signal for a navigation device for a movable object
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP6521081B2 (ja) 車両用表示装置
US20160089980A1 (en) Display control apparatus
JP7365594B2 (ja) 表示システム
JP2007198962A (ja) 車両用案内表示装置
KR102395287B1 (ko) 영상변환장치
JP2008262333A (ja) 路面判別装置および路面判別方法
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP7484722B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2020052671A (ja) 表示制御装置、車両、表示制御方法
JP2016070951A (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP6552285B2 (ja) 車載表示装置及び車両後方映像表示方法
JP2010128645A (ja) 情報提供システム及び情報提供方法
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
JP2018149884A (ja) ヘッドアップディスプレイ装置及び表示制御方法
KR102569898B1 (ko) 혼합 현실을 이용한 운전 보조 시스템 및 그 제어 방법
WO2017179174A1 (ja) 移動体周囲表示方法及び移動体周囲表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17929013

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549073

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17929013

Country of ref document: EP

Kind code of ref document: A1