WO2014033913A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
WO2014033913A1
WO2014033913A1 PCT/JP2012/072169 JP2012072169W WO2014033913A1 WO 2014033913 A1 WO2014033913 A1 WO 2014033913A1 JP 2012072169 W JP2012072169 W JP 2012072169W WO 2014033913 A1 WO2014033913 A1 WO 2014033913A1
Authority
WO
WIPO (PCT)
Prior art keywords
drawing object
display surface
display
unit
user
Prior art date
Application number
PCT/JP2012/072169
Other languages
English (en)
French (fr)
Inventor
善彦 森
康明 瀧本
星原 靖憲
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2014532681A priority Critical patent/JP5847315B2/ja
Priority to PCT/JP2012/072169 priority patent/WO2014033913A1/ja
Publication of WO2014033913A1 publication Critical patent/WO2014033913A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored

Definitions

  • the present invention relates to a display device having a non-flat display surface, and more particularly to improving the visibility of an image displayed on a non-flat display surface.
  • Patent Document 1 In the conventional technique represented by Patent Document 1, in order to reduce visual distortion of the video, the pixel value of the image image on the final screen is corrected and displayed. That is, since the pixel value of the rendered image was directly corrected, there was a problem that the image quality when displayed on the screen deteriorated.
  • the present invention has been made to solve the above-described problems, and it is an object of the present invention to obtain a display device that can provide an image that can be easily viewed even on a non-flat display surface without degrading image quality. Objective.
  • the display device renders graphics data into a shape of the display surface of the display unit based on a display unit including at least a non-flat portion on the display surface and a rendering parameter that determines characteristics of the display image.
  • a rendering unit that generates drawing data to be drawn together, and a correction unit that corrects rendering parameters of a rendering object of graphics data before rendering by the rendering unit.
  • FIG. 3 is a flowchart illustrating an operation performed by the display device according to the first embodiment. It is a figure explaining the timing of the correction
  • FIG. 1 is a block diagram showing a configuration of a display device according to Embodiment 1 of the present invention.
  • the display device illustrated in FIG. 1 is a display device that displays an image on a display surface including at least a non-flat portion, and includes a storage unit 1, a rendering unit 2, a VRAM (Video Random Access Memory) unit 3, a display unit 4, and a control.
  • Unit 5 operation unit 6, correction unit 7, display surface state detection unit 8, display surface shape detection unit 9, and user detection unit 10.
  • the storage unit 1 is a storage unit that stores graphics data, moving image data, and other data. Examples thereof include a hard disk drive device, a flash memory drive device, and a USB (Universal Serial Bus) memory.
  • the rendering unit 2 executes rendering that transforms the graphics data stored in the storage unit 1 based on the rendering parameters, thereby rendering the drawing data (drawing image) drawn in accordance with the shape of the display surface of the display unit 4. Image).
  • the VRAM unit 3 is a video memory in which drawing data to be finally displayed on the display surface of the display unit 4 is expanded, that is, pixel information of the drawing data is held.
  • the display unit 4 is a display device that displays the drawing data with pixel information held by the VRAM unit 3, and includes a display surface including at least a non-flat portion.
  • a liquid crystal display device having a curved display surface or a projection device that projects an image on a non-flat surface.
  • the control unit 5 is a control unit that controls each function of the display device illustrated in FIG. 1.
  • the control unit 5 executes a control program to control operations of the rendering unit 2 and the correction unit 7 or a graphic processing unit (CPU) or a graphic. Realized with a processing unit (GPU).
  • the operation unit 6 is an input device that receives an operation input from a user, and corresponds to, for example, a touch panel provided on the display unit 4, a remote controller, a hardware key, or the like.
  • the correction unit 7 is a correction unit that corrects the rendering parameters defined in the graphics data stored in the storage unit 1 in accordance with a correction instruction from the control unit 5.
  • the rendering parameter is a parameter that determines the characteristics of the drawing image image to be displayed on the display surface of the display unit 4. For example, a drawing image image that matches the shape of the display surface of the display unit 4 is generated from graphics data.
  • the correction unit 7 draws the correction target displayed on the display surface based on the position of the display unit 4, the orientation and inclination of the display surface, the shape of the display surface, the position of the user with respect to the display surface, and the line-of-sight direction.
  • the rendering parameters for the drawing object are corrected before rendering so that the object appears to be drawn on a flat surface by the user.
  • the display surface state detection unit 8 is a detection unit that detects the state of the display surface such as the position of the display unit 4, the direction and inclination of the display surface.
  • the display surface state detection unit 8 includes, for example, a gyro sensor built in the display device, a wireless device that communicates with the display device to detect its position, or a display unit 4 based on a result of analyzing a captured image on the display surface.
  • a camera device that detects the position, orientation and inclination of the display surface is used.
  • the display surface state detection unit 8 may be a combination of a plurality of types of detection means for detecting a physical quantity indicating the state of the display surface.
  • the display surface shape detection unit 9 is a detection unit that detects the shape of the display surface of the display unit 4, and detects the shape of the display surface currently displayed on the display unit 4.
  • the display surface shape detection unit 9 includes, for example, the position of the display unit 4 detected by the display surface state detection unit 8, the orientation and inclination of the display surface, and the position and line of sight of the user with respect to the display surface detected by the user detection unit 10. Using the direction, the location of the display surface in a preset display space (for example, in a vehicle) and the orientation and inclination with respect to the user are specified.
  • the display surface shape detection unit 9 compares the orientation and inclination of the display surface at the specified location with the physical characteristics of the display surface set in advance, and detects the shape of the display surface viewed from the user. To do.
  • the display surface shape detection unit 9 may be a camera device that detects the shape of the display surface from the result of analyzing the captured image of the display surface. Further, the display surface shape detection unit 9 may be a combination of a plurality of types of detection means for detecting a physical quantity related to the shape of the display surface.
  • the user detection unit 10 is a detection unit that detects the position and line-of-sight direction of the user with respect to the display surface.
  • a camera device that detects the position and line-of-sight direction of the user with respect to the display surface from the result of analyzing the captured image of the user is used as the user detection unit 10.
  • the user detection unit 10 may be a combination of a plurality of types of detection means for detecting a physical quantity related to the position and line-of-sight direction of the user with respect to the display surface.
  • the user detection unit 10 may detect the type according to the distance from the display surface to the user and the position of the user.
  • the position of the display unit 4 By fixing the position of the user and the position of the display device with respect to the display surface, the position of the display unit 4, the orientation and inclination of the display surface, the shape of the display surface, and the user position and the line-of-sight direction with respect to the display surface are fixed values. It may be set in advance. That is, in the present invention, if the above data is set as a fixed value, the display surface state detection unit 8, the display surface shape detection unit 9, and the user detection unit 10 can be omitted.
  • a camera device is employed as the display surface state detection unit 8 and the user detection unit 10. That is, the camera device as the display surface state detection unit 8 and the user detection unit 10 moves by recognizing the display surface and an image obtained by photographing the user and collating them with a preset shape in the vehicle space. After that, the position of the display unit 4, the direction and inclination of the display surface, the shape of the display surface, the position of the user with respect to the display surface and the line-of-sight direction can be derived.
  • the display surface state detection unit 8, the display surface shape detection unit 9, and the user detection unit 10 are not limited to the detection methods described above, and any method can be used as long as the data can be detected. It doesn't matter.
  • FIG. 2 is a flowchart showing the operation of the display device according to the first embodiment.
  • the display surface state detection unit 8 detects the state of the display surface such as the position of the display unit 4, the direction and inclination of the display surface (step ST1).
  • a camera device is employed as the display surface state detection unit 8, and the position of the display unit 4, the orientation of the display surface, and the tilt are detected from the result of analyzing the captured image on the display surface.
  • the user detection unit 10 detects the position and line-of-sight direction of the user with respect to the display surface of the display unit 4 (step ST2).
  • a camera device is employed as the user detection unit 10 to detect the position and line-of-sight direction of the user with respect to the display surface from the result of analyzing the captured image of the user.
  • the display surface shape detection unit 9 detects the shape of the display surface of the display unit 4 (step ST3).
  • the display surface shape detection is performed using the position of the display unit 4 detected by the display surface state detection unit 8, the orientation and inclination of the display surface, and the user position and the line-of-sight direction with respect to the display surface detected by the user detection unit 10.
  • the unit 9 identifies the location of the display surface in the preset display space, and the orientation and inclination with respect to the user.
  • the display surface shape detection unit 9 detects the shape of the display surface viewed from the user by comparing the orientation and inclination of the display surface at the specified location with the physical characteristics of the display surface set in advance. To do.
  • control unit 5 acquires the state of the display surface, the position of the user, the user's line-of-sight direction, the shape of the display surface, or the operation content from the operation unit 6, and transmits it to the correction unit 7. Moreover, the control part 5 acquires the use condition of the whole system containing a display apparatus (step ST4).
  • the control part 5 grasps
  • the correction unit 7 determines a drawing object to be corrected and a display image conversion method based on the state of the display surface, the user position, the user's line-of-sight direction, the shape of the display surface, or the operation content from the operation unit 6. (Step ST5). That is, the correction unit 7 determines a drawing object to be corrected from the drawing objects in the graphics data, and further determines the correction content (conversion method) of the drawing object on the display surface.
  • the correction unit 7 derives a rendering parameter to be corrected according to the conversion method determined in step ST5 (step ST6).
  • the correction unit 7 derives a rendering parameter that defines the coordinate system of the display image among the rendering parameters that determine the characteristics of the display image.
  • control unit 5 is not flat on the display surface of the display unit 4 based on the state of the display surface, the user's position, the user's line-of-sight direction or the shape of the display surface obtained by the processing from step ST1 to step ST3.
  • a region is determined (step ST7).
  • the correction unit 7 derives a display area where the visibility of the user is reduced.
  • the correction unit 7 calculates the correction value of the rendering parameter for each drawing object based on the state of the display surface, the user position, the user's line-of-sight direction, the shape of the display surface, or the operation content from the operation unit 6. (Step ST8). Note that the correction unit 7 calculates a correction value of the rendering parameter even for a drawing object that is not corrected. In this case, a value that is the same as the original value is calculated as the correction value of the rendering parameter.
  • the correction unit 7 also corrects rendering parameters for layout information defined for each drawing object (information indicating the layout of the drawing object on the display surface). The correction value of the rendering parameter for this layout information is used when correction for changing the layout on the display surface of the drawing object is performed.
  • FIG. 3 is a diagram for explaining the timing of correction performed by the correction unit 7 so that the user can see it drawn on a flat surface.
  • graphic data is generally designed on the assumption that a flat display surface or projection onto a flat surface is assumed. For this reason, when an image is displayed on a display surface including a non-flat portion, it is necessary to correct the drawing data in accordance with the shape of the display surface.
  • the image of the final screen that is, graphics data is rendered, and the pixel value of the drawing data developed in the VRAM is corrected (timing 2). ).
  • the pixel value of the drawing data to be finally drawn on the display surface is corrected in this way, the drawing object is stretched according to the shape of the display surface, and as shown in FIG. Image quality deteriorates.
  • the rendering parameters are corrected before the graphics data is rendered (timing 1). That is, a rendering parameter that is information for rendering is corrected.
  • the pixel value after conversion is not determined in the VRAM, and the pixel value is determined after performing the above correction. Therefore, it is possible to perform conversion while preventing deterioration of the image quality of the video finally seen by the user.
  • FIG. 4 is a diagram showing an outline of correction that allows a user to draw and see a flat surface, and takes a display device with a curved display surface as an example.
  • the drawing data drawn in accordance with the shape of the curved display surface is corrected so that the user can see the drawing data drawn on a flat surface.
  • a viewpoint plane A visually recognized by the user is virtually defined.
  • the viewpoint A is projected onto a curved display surface to obtain a mapping A ′.
  • this mapping A ′ as shown in FIG. 4, the points that are equidistant on the viewpoint plane A are mapped to positions that are spread away from the center of the display surface. This tendency depends on the shape of the display surface.
  • the mapping B is a distorted coordinate system C so as to be a flat surface as viewed from the user's viewpoint when projected onto a non-flat display surface.
  • the correction unit 7 converts the display surface conversion system shown in FIG. 4 into the coordinate system C by correcting the rendering parameters that determine the characteristics of the display image, that is, the rendering parameters that determine the coordinate system of the drawing object.
  • the rendering unit 2 renders the graphics data for the coordinate system C based on the rendering parameters corrected by the correction unit 7. As a result, an image that finally appears flat on the viewpoint of the user can be generated without degrading the image quality.
  • This rendering coordinate system C can be derived from the position of the user's viewpoint and the shape of the display surface.
  • the rendering unit 2 renders the graphics data stored in the storage unit 1 in accordance with an instruction from the control unit 5 (step ST9).
  • the pixel value of the drawing object is stored (expanded) in the VRAM unit 3.
  • the control unit 5 determines whether or not rendering has been completed for all the drawing objects in the current drawing frame (step ST10).
  • step ST10 If rendering for all the drawing objects has not been completed (step ST10; NO), the process returns to step ST8 and the above processing is repeated.
  • step ST10; YES the display unit 4 displays a display image of the drawing object stored in the VRAM unit 3 in accordance with an instruction from the control unit 5 (step ST10). ST11).
  • step ST12 the control unit 5 changes the orientation of the display surface and the user's viewpoint moves. It is confirmed whether or not the shape of the display surface viewed from the user's viewpoint has been changed (step ST12). If a change is detected (step ST13; YES), the process returns to step ST1, and the process from step ST1 is repeated for the state of the display surface after the change.
  • step ST13; NO determines whether rendering of all the drawing frames was completed. If there is a drawing frame that has not been rendered (step ST14; NO), the process returns to step ST8, and the rendering unit 2 performs rendering for the next drawing frame in accordance with an instruction from the control unit 5. If rendering for all the frames has been completed (step ST14; YES), the process is terminated.
  • FIG. 5 is a diagram illustrating an example of correction that allows a user to draw and view a flat surface. Since the graphics data is generally designed on the assumption that it is a flat display surface or projection onto a flat surface, the final display image is displayed on a physically curved display surface 4a as shown in FIG. In the case of displaying on the screen, if rendering is performed using the rendering parameters before correction, the display image is distorted.
  • the background drawing object 11a is drawn so as to expand in accordance with the shape of the display surface 4a, and the drawing object 11b is drawn most widely at the center of the display surface 4a. It is drawn in a shape that has been ablated as it approaches the edge of the display surface 4a.
  • the correction unit 7 does not set all objects 11a and 11b displayed on the display surface 4a as correction targets, but draws objects 11b as correction targets as shown in FIG. 5C. Only for the correction target. That is, the correction unit 7 corrects the rendering parameter of the drawing object 11b, converts the shape of the drawing object 11b so that the user can see it drawn on a flat surface, and corrects the drawing object 11a of other backgrounds. Instead, the image is drawn in accordance with the shape of the display surface 4a. In this case, the drawing objects 11a other than the drawing object 11b to which the conversion is applied remain distorted, but a non-display portion does not occur before and after the process, and the display area does not decrease.
  • the correction unit 7 may determine whether to perform correction based on the category of the drawing object. For example, in a display device mounted on a moving body such as a vehicle, when the meter display is displayed as an image, the correction unit 7 seems to draw only the drawing object whose category is meter on the flat surface from the user. Thus, a drawing object whose category is background and whose category is background is not subjected to correction and is drawn as it is in accordance with the shape of the display surface. That is, the correction unit 7 determines in advance as a correction target when the category is background and not as a correction target when the category is a meter.
  • the meter display corrects the image of the meter, which is a drawing object that provides important information to the user, so that the user can easily see it.
  • the correction unit 7 stores a flag (correction target flag) indicating that the correction target is to be corrected together with the drawing object to be corrected in advance, and determines whether to perform correction based on the correction target flag. May be.
  • the correction unit 7 may determine a drawing object to be corrected by an instruction input from the operation unit 6. As a result, a drawing object that is determined to be difficult for the user to visually recognize can be set as a correction target, and visibility from the user is improved.
  • the correction unit 7 may determine the drawing object to be corrected in advance as described above, but the drawing object that is referred to when the user operates using the operation unit 6 may be operated by the user. You may determine dynamically according to frequency.
  • the control unit 5 records the operation frequency for a drawing object that accepts a user operation, and notifies the correction unit 7 that the drawing object whose operation frequency has reached a predetermined threshold value or more is a correction target.
  • the correction unit 7 performs correction using a drawing object notified from the control unit 5 and having a user operation frequency equal to or higher than a predetermined threshold as a correction target. Thereby, the visibility of the drawing object which is frequently used by the user and expected to be high in importance can be improved.
  • the correction unit 7 may determine the drawing object to be corrected in association with the user type or position. In this case, when the user moves and the viewpoint position is changed, the correction unit 7 dynamically changes the drawing object in accordance with the change and sets the changed object as a correction target.
  • the correction unit 7 may use a drawing object presenting predetermined information as a correction target drawing object.
  • a drawing object presenting predetermined information For example, when the display device displays a meter display as an image, the meters present predetermined measurement information that should be grasped by the user, so that it is necessary to make the meter easily visible to the user. Therefore, a drawing object indicating a meter is set as a correction target. Thereby, the visibility of the drawing object which presents the predetermined information which should be grasped by the user can be improved.
  • the display unit 4 including at least a non-flat portion on the display surface, and the display unit that renders graphics data based on the rendering parameter that determines the characteristics of the display image.
  • 4 includes a rendering unit 2 that generates drawing data to be drawn in accordance with the shape of the display surface 4, and a correction unit 7 that corrects rendering parameters of a drawing object of graphics data before rendering by the rendering unit 2.
  • the correction unit 7 determines the drawing object to be corrected based on the category of the drawing object or the flag indicating that it is the correction target.
  • the drawing object to be determined can be a correction target, and visibility from the user can be improved.
  • the correction unit 7 corrects the rendering parameter of the drawing object to be corrected and changes the shape of the drawing object, so that the visibility of the drawing object can be improved.
  • the correction unit 7 targets a drawing object whose operation frequency by the user is equal to or higher than a predetermined threshold, it is expected that the user frequently uses it and has a high importance. The visibility of the drawing object can be improved.
  • the correction unit 7 sets the drawing object presenting the predetermined information as the correction target, the visibility of the drawing object presenting the predetermined information that the user should grasp is improved. be able to.
  • Embodiment 2 determines a drawing object to be corrected, corrects the rendering parameter for the drawing object to be corrected, and appears to be drawn on a flat surface from the user. In this way, the shape of the drawing object is changed.
  • the correction unit 7 determines a drawing object to be corrected, and changes the drawing position of the rendering parameter for the drawing object to be corrected.
  • Other configurations and functions are the same as those of the display device according to the first embodiment.
  • FIG. 6 is a diagram showing an outline of correction by changing the layout of an object in the correction unit of the display device according to Embodiment 2 of the present invention.
  • the drawing objects 11c and 11d on the premise that the drawing is performed on the flat display surface 4A are drawn on the display surface 4a whose screen center is greatly curved as shown in FIG. 6B.
  • An example is given below.
  • the drawing object 11c indicating the meters is drawn at a curved position in the center of the display surface 4a, the drawing object 11c is distorted as shown in FIG. And visibility from the user is deteriorated. Further, when the position is corrected so that it looks flat from the user as it is, the drawing object 11c having a distorted shape only looks flat, and the visibility from the user is not improved.
  • the rendering parameter for the drawing object 11c is corrected based on the state of the display surface, the user's position, the user's line-of-sight direction, and the shape of the display surface.
  • the layout information of the drawing object 11c is corrected, and as shown in FIG. 6C, the drawing position of the display surface 4a is moved to a position with less curvature, and the user makes a flat surface from the moved position.
  • the shape of the drawing object 11c is corrected so that it is drawn.
  • the position where the curvature on the display surface 4 a is small is selected by the correction unit 7 using the display surface recognition method in the display space set in the display unit 4.
  • the correction unit 7 obtains the angle between the perpendicular line drawn from the user's viewpoint position to the display surface 4a and the plane portion of the display surface 4a based on the state of the display surface and the user's position, and the portion of the display surface 4a Define the curvature of each.
  • the correction unit 7 performs the above-described correction for an object drawn in a region where the curvature is equal to or greater than a predetermined threshold. Further, the correction unit 7 may dynamically change the threshold value according to the user type (driver or passenger in the passenger seat), the user position, or the category set in the drawing object.
  • the correction unit 7 corrects the rendering parameter of the drawing object to be corrected and changes the layout in which the drawing object is drawn.
  • the object can be drawn accurately.
  • the correction unit 7 makes a correction object a drawing object drawn in a region where the curvature of the display unit 4 is greater than or equal to a predetermined value, the object is accurately placed at a position that is easily visible to the user. Can be drawn.
  • the correction unit 7 determines a drawing object to be corrected with poor visibility from the user, corrects the rendering parameter for the drawing object to be corrected, and makes the flatness from the user. Change the position of the drawing object so that it is drawn on a flat surface. However, if all the drawing objects are moved from the user to a position where they are drawn and seen on a flat surface, the objects are concentrated at a position where the user sees the drawing on a flat surface, and the visibility of the entire screen is reduced. There is concern. In addition, correcting the rendering parameters of all drawing objects is expensive.
  • the correction unit 7 performs drawing to be corrected based on the state of the mobile body on which the display device is mounted (carried), the position of the user, or the user type. The object is determined, and the rendering parameter of the drawing object to be corrected is corrected.
  • Other configurations and functions are the same as those of the display device according to the second embodiment.
  • FIG. 7 is a diagram showing an outline of processing for determining an object to be corrected in the correction unit of the display device according to Embodiment 3 of the present invention, and is a display device mounted on an instrument panel of a moving body such as a vehicle.
  • This display device has a display surface 4a whose center of the screen is greatly curved.
  • the display surface 4a includes a speed meter, a fuel meter (or a battery meter), and a display device as a drawing object.
  • a playback button and a stop button of a playback device for media information such as music or video to which the display device is connected are drawn.
  • FIG. 7A shows a case where there is sufficient gasoline (or battery) (the fuel gauge (or battery gauge) is near Full) and the reproduction of media information is stopped, and FIG. , Gasoline (or battery) is running short (fuel meter (or battery meter) is near Empty) and media information is being reproduced.
  • the correction unit 7 determines a drawing object candidate to be corrected based on the state of the display surface, the position of the user, the user's line-of-sight direction, or the shape of the display surface. Is based on the status of the mobile unit such as the status of the fuel meter (or battery meter) of the mobile unit, the speed, the value of a measuring instrument such as room temperature measured by an air conditioner, or the playback state of media information by the playback device Thus, the drawing object to be corrected is determined, and the rendering parameter of the drawing object to be corrected is corrected. For example, as shown in FIG.
  • the correction unit 7 when there is a predetermined amount or more of fuel (or battery), the correction unit 7 does not correct the drawing object 11f indicating the fuel meter (or battery meter), and the speed meter.
  • the rendering parameter is corrected so that the position or shape of the drawing object 11e is changed so that the drawing object 11e showing the object can be corrected.
  • FIG. 7B when the fuel (or battery) is less than a predetermined amount, the correction unit 7 does not correct the drawing object 11e indicating the speed meter, but the fuel meter (or battery meter).
  • the rendering parameter is corrected so that the position or shape of the drawing object 11f is changed so that the user can see the drawing object 11f drawn on a flat surface.
  • the correction unit 7 when the moving body is traveling at a predetermined speed or more, the correction unit 7 does not correct the drawing object 11f indicating the fuel meter (or the battery meter) but sets the drawing object 11e indicating the speed meter as a correction target.
  • the rendering parameters may be corrected so as to change the position or shape of the drawing object 11e so that the user can see the drawing on a flat surface.
  • the correction unit 7 when the moving body is traveling at a speed lower than the predetermined speed, the correction unit 7 does not correct the drawing object 11e indicating the speed meter, but sets the drawing object 11f indicating the fuel gauge (or battery gauge) as a correction target.
  • the rendering parameter may be corrected so as to change the position or shape of the drawing object 11f so that the user can see the drawing on a flat surface.
  • the correction unit 7 performs the playback stop operation because the user operates the playback button next when the playback device stops playback of the media information. Without correcting the corresponding drawing object 11h, the position or shape of the drawing object 11g is changed so that the drawing object 11g corresponding to the reproduction start operation is drawn as a correction target so as to be drawn on a flat surface from the user. Rendering parameters may be corrected. In addition, when the playback device is playing back media information, the correction unit 7 does not correct the drawing object 11g corresponding to the playback start operation, but uses the drawing object 11h corresponding to the playback stop operation as a correction target.
  • the rendering parameter may be corrected so as to change the position or shape of the drawing object 11h so that the user can see it drawn on a flat surface.
  • the drawing object corresponding to the next predicted operation according to the playback status of the playback device of the media information can be accurately corrected.
  • the correction unit 7 When the playback device is playing back media information, the correction unit 7 is an operation for designating a playback state other than the start of playback of media information, such as a stop button, a fast-forward button, or a rewind button that is expected to be used during playback.
  • the drawing object corresponding to may be the correction target. Therefore, when the reproduction of the media information is stopped in accordance with the instruction from the control unit 5, the correction unit 7 sets the drawing object 11g corresponding to the operation for designating the start of the reproduction of the media information as the correction target. Is being reproduced, the drawing object corresponding to the operation for designating the reproduction state other than the reproduction start of the media information is set as the correction target. As a result, the drawing object corresponding to the operation predicted next depending on the reproduction state of the media information can be accurately set as the correction target.
  • the correction unit 7 indicates the user type determined based on the information detected by the display surface state detection unit 8, the display surface shape detection unit 9, and the user detection unit 10, the viewpoint position, and the shape of the display surface 4a viewed from the viewpoint. Based on the information or the information set in advance, the drawing positions of the drawing objects 11e to 11h on the display surface 4a are determined.
  • the drawing object 11e indicating the speed meter and the drawing object 11f indicating the fuel gauge (or the battery gauge) appear to be displayed on a flat surface from the user A of the driver's seat of the moving body on which the display device is mounted. The image is drawn on the left area of the display surface 4a.
  • the drawing object 11g indicating the play button and the drawing object 11h indicating the stop button are drawn in the right region of the display surface 4a so as to be displayed on the flat surface from the user B in the passenger seat.
  • the correction unit 7 may determine a drawing object for information to be presented to the user based on the vehicle state and the type of the user detected by the user detection unit 10, and may use only the determined object as a correction target. For example, in the case shown in FIG. 7A, for the user A in the driver's seat, that is, the user of the type, the visibility is given priority over the correction of the drawing object in the vehicle control system over the object in the entertainment control system. It is necessary to improve, and the correction unit 7 uses the drawing object 11e indicating the speed meter, which is a drawing object of the vehicle control system, and the drawing object 11f indicating the fuel gauge (or battery gauge) as correction targets, and uses the driver's user as a reference.
  • the drawing object to be corrected is determined based on the state of the display surface, the user's position, the user's line-of-sight direction, the shape of the display surface, or the state of the moving body, and the rendering parameters of the drawing object to be corrected are corrected.
  • the state of the drawing object 11g and the stop button of the playback button of the media information playback device which is an entertainment drawing object
  • the object 11h is the object 11h as a correction candidate
  • a drawing object candidate to be corrected is determined based on the user's line-of-sight direction, the shape of the display surface, or the state of the moving body.
  • the correction unit 7 determines the drawing object to be corrected based on the state of the moving body such as the playback state of the playback device of the media information, and sets the rendering parameter of the drawing object to be corrected. to correct.
  • the user type may be determined from the user position by the correction unit 7.
  • the rules for determining the correction target described above are set in advance in the correction unit 7, and it is determined which rule the correction unit 7 determines according to the state of the moving object, the user type, the user position, or the like. May be.
  • a processing algorithm for determining a correction target a plurality of algorithms are set in advance in the correction unit 7, the information acquired by the correction unit 7 is compared with a fixed threshold value, and the algorithm is determined according to the comparison result. May be selected.
  • a threshold value a value fuzzified by fuzzy theory or the like may be used.
  • the drawing object to be corrected is determined based on the type or position of the user, the visibility of the drawing object can be improved according to the user.
  • the correction unit 7 determines the drawing object to be corrected according to the value of the measuring instrument of the moving body that is in the state of the moving body, so that the degree of importance for the user is increased. High drawing objects can be accurately corrected, and the load on the display device can be reduced.
  • the correction unit 7 sets the drawing object corresponding to the operation for starting the reproduction of the media information as the correction target, and the media information is being reproduced. If it is, the drawing object corresponding to the operation specifying the playback state other than the start of playback of the media information is targeted for correction, so the drawing object expected to be operated according to the playback status of the media is accurately corrected. Can be targeted.
  • Embodiment 4 FIG.
  • the correction unit 7 determines a drawing object to be corrected based on the shape of the drawing object, corrects the rendering parameter of the drawing object to be corrected, Change the drawing position of the drawing object so that it is drawn on a flat surface.
  • Other configurations and functions are the same as those of the display device according to the first embodiment.
  • FIG. 8 is a diagram showing a process of correcting according to the shape of the display surface and the object in the correction unit of the display device according to Embodiment 4 of the present invention, and the display surface 4a of the display unit 4 as viewed from the user.
  • An example is shown in which a drawing object having a shape that is assumed to be difficult for the user to visually recognize when drawing according to the shape is a correction target.
  • the drawing objects 11i and 11j that are supposed to be displayed on the flat display surface 4A are displayed on the display surface 4a bent from the center of the screen as shown in FIG. 8B. Take the case as an example.
  • the drawing object 11i is a circular object
  • the drawing object 11j is a rectangular object.
  • the rectangular object 11j is only distorted into a rhombus when matched to the shape of the display surface 4a.
  • the circular object 11i is abducted into a slender elliptical shape, which is more than the rectangular case. Visibility deteriorates. Therefore, the correction unit 7 changes the layout to a region where the visibility from the user does not deteriorate as shown in FIG. 8C with the circular object 11i as a correction target, and then draws on the flat surface from the user. It is corrected so that it can be seen. In this way, the object to be corrected can be determined accurately.
  • the correction unit 7 may set a shape of a drawing object that is assumed to be difficult for the user to visually recognize in advance, and determine the drawing object based on the setting. Further, the correction unit 7 may associate the shape of the display surface with the shape of the object and the drawing position, set in advance whether or not to be a correction target, and determine based on the setting. Further, the correction unit 7 may determine the display surface and the object shape according to a rule in which the shape of the object and the shape of the object are combined with fuzzy theory.
  • the correction unit 7 displays the shape in accordance with the shape of the display surface of the display unit 4 viewed from the user, the shape assumed to be difficult for the user to visually recognize. Since the drawing object is the correction target, the object to be corrected can be determined accurately, and the load on the display device can be reduced.
  • the correction unit 7 determines the drawing object to be corrected based on the shape of the drawing object, corrects the rendering parameter of the drawing object to be corrected, and Change the drawing position of the drawing object so that it is drawn on a flat surface.
  • the correction unit 7 determines a drawing object to be corrected based on the shape of the drawing object, and appears to be drawn on a flat surface from the user according to the display surface. As described above, the rendering parameter is corrected so as to change the shape of the drawing object to be corrected.
  • Other configurations and functions are the same as those of the display device according to the fourth embodiment.
  • FIG. 9 is a diagram showing processing for correcting the shape of the object in accordance with the display surface in the correction unit of the display device according to Embodiment 5 of the present invention.
  • the correction unit 7 is drawn on a flat surface by the user. This shows a case where the shape of the drawing object is changed so that it can be seen.
  • FIG. 9A a case where a drawing object 11k that is supposed to be displayed on the flat display surface 4A is displayed on the display surface 4a bent from the center of the screen as shown in FIG. 9B.
  • drawing objects it is important that the shape is visible as it is, and information that the drawing object presents is important.
  • the target displayed on the display unit 4 is a drawing object 11k indicating a fuel gauge (or a battery gauge), and for the user, information presented by this object, that is, the fuel, rather than its shape.
  • the remaining amount is important. Therefore, in the fifth embodiment, when the correction unit 7 draws on the non-flat display surface 4a, the original image is not reproduced as it is, but the object information is improved so that the visibility of the presented information is improved. Change the shape. For example, in FIG. 9, if the drawing size of the drawing object 11k is large and the layout is changed, the visibility is rather lowered. For this reason, as shown in FIG.
  • the correction unit 7 corrects the rendering parameters, thereby changing the drawing object 11k to a shape that looks like a rectangle even when drawn on a non-flat surface. As a result, as shown in FIG. 9D, a rectangular object 11l drawn on a flat surface by the user is obtained, and visibility can be improved.
  • the correction unit 7 determines the correction target based on the shape of the drawing object, so that the object to be corrected can be accurately determined.
  • the load can also be reduced.
  • Embodiment 6 FIG.
  • the drawing object to be corrected is determined based on the color of ambient light, and the color of the drawing object to be corrected is changed.
  • the luminance of the drawing object to be corrected is changed based on the brightness of the display surface.
  • Other configurations and functions are the same as those of the display device according to the first embodiment.
  • FIG. 10 is a diagram showing processing for correcting an object according to the surrounding environment in the correction unit of the display device according to Embodiment 6 of the present invention.
  • FIG. 10 shows a case where the display surface is not flat, but as described above, the present invention is applied to a display surface including a non-flat surface.
  • FIG. 10A shows a situation in which blue ambient light is irradiated to the display surface 4A on which the drawing objects 11m and 11n designed in blue are displayed.
  • the control unit 5 is based on the color of the ambient light on the display surface 4A detected by the display surface state detection unit 8 and has a color similar to the color of the ambient light (for example, within a predetermined range from the ambient light with a hue ring).
  • the correction unit 7 is instructed to set the drawing objects 11m and 11n, which are drawing objects of a certain color), as correction targets.
  • the correction unit 7 corrects the rendering parameters of the drawing objects 11m and 11n in accordance with the instruction from the control unit 5 and changes the color of the object drawn in blue under this environment as shown in FIG. Change the drawing color so that it looks yellow.
  • a method for realizing such a change there is a method in which an environment color and a drawing color pattern are determined in advance in the correction unit 7, and a drawing color is selected and corrected according to the environment color and the pattern.
  • the correction unit 7 may correct the color opposite to the ambient light (the color on the opposite side of the ambient light in the hue ring) as the drawing color.
  • the correction unit 7 changes the luminance of the drawing objects 11m and 11n based on the brightness on the display surface 4A detected by the display surface state detection unit 8. To do.
  • the correction unit 7 corrects the rendering parameters of the drawing objects 11m and 11n, and changes the luminance of the drawing object to a luminance that is easy to visually recognize in this environment.
  • a brightness and luminance pattern of the display surface is determined in advance in the correction unit 7, and the luminance is selected and corrected according to the brightness of the display surface 4A and the pattern. It is done.
  • the correction unit 7 corrects the rendering parameter for the drawing object to be corrected and changes the color or luminance of the drawing object. Can be improved.
  • any constituent element of each embodiment can be modified or any constituent element of the embodiment can be omitted or combined within the scope of the invention.
  • the display device can provide an image that is easy to visually recognize even on a non-flat display surface without degrading the image quality. It is suitable for an in-vehicle display device that tends to be a display surface.
  • 1 storage unit 2 rendering unit, 3 VRAM unit, 4 display unit, 4a, 4A display surface, 5 control unit, 6 operation unit, 7 correction unit, 8 display surface state detection unit, 9 display surface shape detection unit, 10 user Detection unit, 11a to 11n drawing objects.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

 少なくとも非平坦な部分を表示面に含む表示部4と、表示画像の特性を決定するレンダリングパラメータに基づいてグラフィックスデータをレンダリングして表示部4の表示面の形状に合わせて描画される描画データを生成するレンダリング部2と、グラフィックスデータの描画オブジェクトのレンダリングパラメータを、レンダリング部2によるレンダリングの前に補正する補正部7とを備える。

Description

表示装置
 この発明は、非平坦な表示面を有した表示装置に係り、特に非平坦な表示面に表示する映像の視認性の改善に関する。
 グラフィック映像は、一般的に、平坦なディスプレイ面または平坦面への投影を前提としてデザインされているため、映像が最終的に表示される表示面の物理的な形状が湾曲していたり、凹凸があった場合は、映像が歪んでしまい、デザイン時に期待していた映像にならない可能性がある。
 そこで、従来では、最終的に表示される面の形状に合わせて映像データを画像変換する処理が行われていた。例えば、特許文献1に記載されるシステムでは、表示面の表面特徴がある場所を決定し、この表面特徴の場所に基づいて表示面に表示する映像データを補正する。このようにすることで、表面特徴により引き起こされる映像の視覚的な歪みを補償している。
特開2011-103120号公報
 特許文献1に代表される従来の技術では、映像の視覚的な歪みを軽減するために、最終画面のイメージ画像の画素値を補正して表示していた。すなわち、レンダリングされた後のイメージ画像の画素値を直接補正していたので、画面に表示したときの画質が劣化するという課題があった。
 また、従来では、映像の一部のオブジェクトやオブジェクトが示す情報のみを見やすくデザインすることが考慮されていなかった。
 さらに、イメージ画像の画素値を補正するときに利用する補正パラメータは、湾曲しているディスプレイ面や非平坦な投影面の特徴が変更された場合、これに合わせて補正パラメータの値を再度調節する必要があり、煩雑な処理となっていた。
 さらに、非平坦な表示面は、ユーザの位置によって様々な形状で見えるため、ユーザの位置に応じた視認性の改善が必要である。しかしながら、従来は、ユーザの位置に応じた見やすさが考慮されておらず、車内の座席位置に応じた視認性の改善ができない可能性があった。
 この発明は、上記のような課題を解決するためになされたもので、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができる表示装置を得ることを目的とする。
 この発明に係る表示装置は、少なくとも非平坦な部分を表示面に含む表示部と、表示画像の特性を決定するレンダリングパラメータに基づいて、グラフィックスデータをレンダリングして表示部の表示面の形状に合わせて描画される描画データを生成するレンダリング部と、グラフィックスデータの描画オブジェクトのレンダリングパラメータを、レンダリング部によるレンダリングの前に補正する補正部とを備える。
 この発明によれば、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができるという効果がある。
この発明の実施の形態1に係る表示装置の構成を示すブロック図である。 実施の形態1に係る表示装置による動作を示すフローチャートである。 ユーザから平坦な面に描画されて見えるようにする補正のタイミングを説明する図である。 ユーザから平坦な面に描画されて見えるようにする補正の概要を示す図である。 ユーザから平坦な面に描画されて見えるようにする補正の例を示す図である。 この発明の実施の形態2に係る表示装置の補正部におけるオブジェクトのレイアウト変更による補正の概要を示す図である。 この発明の実施の形態3に係る表示装置の補正部における補正対象のオブジェクトを決定する処理の概要を示す図である。 この発明の実施の形態4に係る表示装置の補正部における表示面とオブジェクトの形状に応じて補正する処理を示す図である。 この発明の実施の形態5に係る表示装置の補正部における表示面に合わせてオブジェクトの形状を補正する処理を示す図である。 この発明の実施の形態6に係る表示装置の補正部における周囲環境に応じてオブジェクトを補正する処理を示す図である。
 以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、この発明の実施の形態1に係る表示装置の構成を示すブロック図である。図1に示す表示装置は、少なくとも非平坦な部分を含む表示面に映像を表示する表示装置であり、記憶部1、レンダリング部2、VRAM(Video Random Access Memory)部3、表示部4、制御部5、操作部6、補正部7、表示面状態検出部8、表示面形状検出部9およびユーザ検出部10を備えて構成される。
 記憶部1は、グラフィックスデータや動画データ、その他のデータを記憶する記憶部である。例えば、ハードディスクドライブ装置や、フラッシュメモリドライブ装置、USB(Universal Serial Bus)メモリなどが挙げられる。
 レンダリング部2は、記憶部1に記憶されるグラフィックスデータを、レンダリングパラメータに基づいて変形するレンダリングを実行することで、表示部4の表示面の形状に合わせて描画される描画データ(描画イメージ画像)を生成する。
 VRAM部3は、表示部4の表示面に最終的に表示する描画データが展開、すなわち、当該描画データの画素情報が保持されるビデオメモリである。
 表示部4は、VRAM部3が保持する画素情報で当該描画データを表示する表示装置であり、少なくとも非平坦な部分を含む表示面を備える。例えば、湾曲した表示面を有する液晶表示装置や、非平坦な面に映像を投影する投影装置である。
 制御部5は、図1に示す表示装置の各機能を制御する制御部であり、例えば、制御プログラムを実行してレンダリング部2や補正部7の動作を制御する中央演算装置(CPU)またはグラフィックプロセッシングユニット(GPU)で実現される。
 操作部6は、ユーザからの操作入力を受け付ける入力装置であり、例えば、表示部4に設けられるタッチパネルや、リモートコントローラ、ハードウェアキーなどが該当する。
 補正部7は、制御部5から補正の指示に従って、記憶部1に記憶されるグラフィックスデータに定義されたレンダリングパラメータを補正する補正部である。
 ここで、レンダリングパラメータとは、表示部4の表示面に表示する描画イメージ画像の特性を決定するパラメータであり、例えばグラフィックスデータから表示部4の表示面の形状に合った描画イメージ画像を生成するために必要な各種の設定値である。
 この発明では、補正部7が、表示部4の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向に基づいて表示面上に表示された補正対象の描画オブジェクトがユーザから平坦な面に描画されて見えるように、描画オブジェクトに関するレンダリングパラメータをレンダリングの前に補正する。
 表示面状態検出部8は、表示部4の位置、表示面の向きおよび傾きなどの表示面の状態を検出する検出部である。表示面状態検出部8には、例えば、表示装置に内蔵されたジャイロセンサや、表示装置と通信してその位置を検出する無線装置、もしくは、表示面の撮像画像を解析した結果から表示部4の位置、表示面の向きおよび傾きを検出するカメラ装置などが使用される。
 また、表示面状態検出部8は、表示面の状態を示す物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。
 表示面形状検出部9は、表示部4の表示面の形状を検出する検出部であり、表示部4が現在表示している表示面の形状が検出される。表示面形状検出部9は、例えば、表示面状態検出部8によって検出された表示部4の位置、表示面の向きおよび傾きと、ユーザ検出部10によって検出された表示面に対するユーザの位置および視線方向を用いて、あらかじめ設定された表示空間(例えば、車両内)における表示面の場所とユーザに対する向きおよび傾きを特定する。次に、表示面形状検出部9は、特定した場所における表示面の向きおよび傾きを、あらかじめ設定されている表示面の物理的な特徴と照合して、ユーザから見た表示面の形状を検出する。
 また、表示面形状検出部9には、表示面の撮像画像を解析した結果から、表示面の形状を検出するカメラ装置を用いてもよい。さらに、表示面形状検出部9は、表示面の形状に関する物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。
 ユーザ検出部10は、表示面に対するユーザの位置および視線方向を検出する検出部である。ユーザ検出部10には、例えば、ユーザの撮像画像を解析した結果から表示面に対するユーザの位置および視線方向を検出するカメラ装置などが使用される。
 また、ユーザ検出部10は、表示面に対するユーザの位置および視線方向に関する物理量を検出する複数種類の検出手段を組み合わせたものであってもよい。
 さらに、ユーザ検出部10が、表示面からユーザまでの距離や、ユーザの位置に応じた種別を検出してもよい。
 なお、表示面に対するユーザの位置と表示装置の位置を固定することにより、表示部4の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向を固定値としてあらかじめ設定されていてもよい。すなわち、この発明では、上記のデータが固定値として設定されていれば、表示面状態検出部8、表示面形状検出部9およびユーザ検出部10を省略することができる。
 また、ユーザと表示装置の表示部4とが動く場合は、例えば表示面状態検出部8およびユーザ検出部10としてカメラ装置を採用する。
 すなわち、表示面状態検出部8およびユーザ検出部10としてのカメラ装置は、表示面とユーザを撮影した画像を画像認識して、あらかじめ設定されている車両空間内の形状と照合することで、動いた後の表示部4の位置、表示面の向きと傾き、表示面の形状、表示面に対するユーザの位置と視線方向を導出できる。
 ただし、表示面状態検出部8、表示面形状検出部9およびユーザ検出部10は、上述した検出方法に限定されるものではなく、上記データを検出可能であれば、どのような方法を用いてもかまわない。
 次に動作について説明する。
 図2は、実施の形態1に係る表示装置による動作を示すフローチャートである。
 まず、表示面状態検出部8が、表示部4の位置、表示面の向きおよび傾きなどの表示面の状態を検出する(ステップST1)。例えば、表示面状態検出部8としてカメラ装置を採用し、表示面の撮像画像を解析した結果から表示部4の位置、表示面の向きおよび傾きを検出する。
 次に、ユーザ検出部10が、表示部4の表示面に対するユーザの位置および視線方向を検出する(ステップST2)。例えば、ユーザ検出部10としてカメラ装置を採用して、ユーザの撮像画像を解析した結果から表示面に対するユーザの位置および視線方向を検出する。
 続いて、表示面形状検出部9が表示部4の表示面の形状を検出する(ステップST3)。例えば、表示面状態検出部8が検出した表示部4の位置、表示面の向きおよび傾きと、ユーザ検出部10が検出した表示面に対するユーザの位置と視線方向とを用いて、表示面形状検出部9が、あらかじめ設定された表示空間における表示面の場所とユーザに対する向きと傾きを特定する。次に、表示面形状検出部9は、特定した場所における表示面の向きと傾きを、あらかじめ設定された表示面の物理的な特徴と照合することにより、ユーザから見た表示面の形状を検出する。
 この後、制御部5が、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部6からの操作内容を取得し、補正部7に送信する。また、制御部5は、表示装置を含むシステム全体の使用状況を取得する(ステップST4)。ここでは、制御部5が、この発明に係る表示装置を含む情報処理システムにおける音楽や映像などのメディア情報の再生状態などをシステム全体の使用状況として把握する。
 補正部7は、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部6からの操作内容に基づいて、補正対象とする描画オブジェクトおよび表示イメージの変換方法を判断する(ステップST5)。すなわち、補正部7は、グラフィックスデータにおける描画オブジェクトのうちから、補正対象となる描画オブジェクトを決定し、さらに表示面における当該描画オブジェクトの補正内容(変換方法)を決定する。
 次に、補正部7は、ステップST5で決定した変換方法に従った補正を行うべきレンダリングパラメータを導出する(ステップST6)。ここでは、補正部7が、表示画像の特性を決定するレンダリングパラメータのうち、表示画像の座標系を規定するレンダリングパラメータを導出する。
 さらに、制御部5が、ステップST1からステップST3までの処理で得られた表示面の状態、ユーザの位置、ユーザの視線方向または表示面の形状に基づいて、表示部4の表示面における非平坦な領域を判定する(ステップST7)。
 ここで、補正部7は、描画オブジェクトをそのまま表示すると、ユーザの視認性が低下する表示領域を導出する。
 この後、補正部7が、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または操作部6からの操作内容に基づいて、描画オブジェクトごとのレンダリングパラメータの補正値を算出する(ステップST8)。なお、補正部7は、補正しない描画オブジェクトについてもレンダリングパラメータの補正値を算出し、この場合、レンダリングパラメータの補正値として、元と同じになる値が算出される。
 また、補正部7は、描画オブジェクトごとに定義されているレイアウト情報(表示面上の描画オブジェクトのレイアウトを示す情報)についてのレンダリングパラメータの補正も行う。このレイアウト情報についてのレンダリングパラメータの補正値は、描画オブジェクトの表示面上のレイアウトを変更する補正を行う場合に利用される。
 図3は、ユーザから平坦な面に描画されて見えるように補正部7が行う補正のタイミングを説明する図である。上述したように、グラフィックデータは、一般的に、平坦なディスプレイ面または平坦面への投影を前提としてデザインされている。このため、非平坦な部分を含む表示面にイメージを表示する場合、表示面の形状に合わせて描画データを補正する必要がある。
 上述の場合、従来では、図3(a)に示すように、最終画面のイメージ画像、すなわちグラフィックスデータをレンダリングして、VRAMに展開された描画データの画素値を補正していた(タイミング2)。このように最終的に表示面に描画する描画データの画素値を補正すると、描画オブジェクトが表示面の形状に応じて引き延ばされたような状態となり、図3(b)に示すように、画質が劣化する。
 そこで、この発明では、図3(a)に示すように、グラフィックスデータをレンダリングを実行する前に、レンダリングパラメータを補正する(タイミング1)。
 すなわち、レンダリングするための情報であるレンダリングパラメータが補正される。この場合、VRAMでは変換後の画素値が未決定であり、上記補正を行った後に画素値が決定される。従って、最終的にユーザが見る映像の画質の劣化を防ぎながら変換することができる。
 図4は、ユーザから平坦な面に描画されて見えるようにする補正の概要を示す図であり、表示面が湾曲した表示装置を例に挙げている。図4に示すような非平坦な表示面に表示される描画オブジェクトの視認性を向上するためにはVRAM部3に展開されている映像情報を補正する必要がある。この発明では、湾曲した表示面の形状に合わせて描画される描画データを、ユーザから平坦な面に描画されて見えるように補正する。
 この補正の方法としては、例えば、まず図4に示すように、ユーザが視認する視点面Aを仮想的に定義する。この視点面Aを、湾曲した表示面へ投影して写像A’を得る。この写像A’では、図4に示すように、視点面Aで等間隔であった点が、表示面の中央から遠ざかるほど拡がった位置に写像される。この傾向は、表示面の形状に依存している。
 そこで、写像A’の各点を表示装置の映像生成面に投影した写像Bを得る補正を行う。この写像Bは、図4のように、非平坦な表示面に投影したときに、ユーザの視点から見て平坦な面となるように、歪んだ座標系Cとなる。
 補正部7は、表示画像の特性を決定するレンダリングパラメータ、すなわち描画オブジェクトの座標系を決定するレンダリングパラメータを補正することで、図4に示す表示面の変換系から座標系Cに変換する。レンダリング部2は、補正部7により補正されたレンダリングパラメータに基づいて、グラフィックスデータのレンダリングを座標系Cに対して行う。これにより、最終的にユーザの視点面で平坦に見える画像を画質を劣化させることなく生成することができる。このレンダリング座標系Cは、ユーザの視点の位置と表示面の形状から導出することが可能である。
 図2の説明に戻る。上述のようにして補正されたレンダリングパラメータに基づいて、レンダリング部2が、制御部5からの指示に従って記憶部1に記憶されるグラフィックスデータをレンダリングする(ステップST9)。このレンダリングによって描画オブジェクトの画素値がVRAM部3に格納(展開)される。
 レンダリング部2によって描画オブジェクトごとに対応するレンダリングが行われる度に、制御部5は、現在の描画フレームにおける全ての描画オブジェクトについてのレンダリングが完了したか否かを判定する(ステップST10)。
 ここで、全ての描画オブジェクトについてのレンダリングが完了していなければ(ステップST10;NO)、ステップST8に戻って上記処理を繰り返す。
 全ての描画オブジェクトについてのレンダリングが完了した場合(ステップST10;YES)、表示部4が、制御部5からの指示に従って、VRAM部3に格納されている、描画オブジェクトの表示イメージを表示する(ステップST11)。
 次に、制御部5は、表示面状態検出部8、表示面形状検出部9およびユーザ検出部10が検出した情報に基づいて、表示面の向きの変化やユーザの視点が移動したことにより、ユーザの視点から見た表示面の形状が変更されたか否かを確認する(ステップST12)。ここで、変更が検知されれば(ステップST13;YES)、ステップST1に戻り、変更後の表示面の状態について、ステップST1からの処理を繰り返す。
 一方、変更が検知されない場合(ステップST13;NO)、制御部5は、全ての描画フレームのレンダリングが完了したか否かを判定する(ステップST14)。
 レンダリングを行っていない描画フレームがある場合(ステップST14;NO)は、ステップST8の処理に戻り、レンダリング部2が、制御部5からの指示に従って、次の描画フレームについてのレンダリングを実行する。
 また、全てのフレームについてのレンダリングが完了していれば(ステップST14;YES)、処理を終了する。
 次に、この実施の形態1における補正部7が実行するレンダリングパラメータの補正内容について説明する。
 図5は、ユーザから平坦な面に描画されて見えるようにする補正の例を示す図である。
 グラフィックスデータは、一般的に平坦なディスプレイ面または平坦面への投影を前提としてデザインされているため、図5(a)に示すように物理的に湾曲した表示面4aに表示イメージを最終的に表示する場合、補正前のレンダリングパラメータを用いてレンダリングすると、表示イメージが歪んでしまう。
 例えば、図5(a)では、背景の描画オブジェクト11aは、表示面4aの形状に合わせて拡がって描画され、描画オブジェクト11bは、表示面4aの中央に位置するものが最も拡がって描画され、表示面4aの縁部に近づくにつれて拉げた形状となって描画されている。
 これに対し、表示面4aに表示する全ての描画オブジェクト11a,11bを、表示面4aの形状による表示への影響を相殺する変換処理を施して、ユーザから平坦な面に描画されているように補正すると、図5(b)に示すように、表示面4aの一部で描画オブジェクトが表示されず、また表示イメージが全体的に小さく表示されたように見える。
 そこで、この発明では、補正部7は、表示面4aに表示される全てのオブジェクト11a,11bを補正対象とするのではなく、図5(c)に示すように、補正対象とした描画オブジェクト11bについてのみ補正対象とする。すなわち、補正部7は、描画オブジェクト11bのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクト11bの形状を変換し、それ以外の背景の描画オブジェクト11aについては補正せず、そのまま表示面4aの形状に合わせて描画する。この場合は、変換を適用した描画オブジェクト11b以外の描画オブジェクト11aは歪んだままとなるが、処理前と処理後において非表示の部分が発生せず、表示面積が減少しない。
 補正部7は、描画オブジェクトのカテゴリに基づいて補正を行うか否かを決定してもよい。例えば、車両などの移動体に搭載される表示装置において、メーター表示器を画像表示する場合は、補正部7は、カテゴリがメーターを示す描画オブジェクトのみを、ユーザから平坦な面に描画されて見えるように補正対象とし、カテゴリが背景の描画オブジェクトは補正対象とせずそのまま表示面の形状に合わせて描画する。すなわち、補正部7は、あらかじめ、カテゴリが背景の場合は補正対象とせず、カテゴリがメーター類の場合は補正対象として決定しておく。これにより、メーター表示器において、ユーザに対して重要な情報を提供する描画オブジェクトであるメーターの画像がユーザから視認しやすく補正される。
 また、補正部7は、あらかじめ、補正対象とする描画オブジェクトとともに補正対象であることを示すフラグ(補正対象フラグ)を記憶しておき、補正対象フラグに基づいて、補正を行うか否かを決定してもよい。また、補正部7は、補正対象とする描画オブジェクトを操作部6から入力される指示によって決定してもよい。これにより、ユーザが視認しにくいと判断する描画オブジェクトを補正の対象とすることができ、ユーザからの視認性が向上する。
 補正部7は、補正対象の描画オブジェクトを、上述のように、あらかじめ決定しておいてもよいが、ユーザが操作部6を用いて操作する際に参照される描画オブジェクトについては、ユーザの操作頻度に応じて動的に決定してもよい。
 例えば、制御部5が、ユーザの操作を受け付ける描画オブジェクトについて操作頻度を記録し、操作頻度が所定の閾値以上に達した当該描画オブジェクトについて補正対象である旨を補正部7に通知する。補正部7は、制御部5から通知された、ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを、補正対象として補正を実行する。これにより、ユーザが頻繁に使用して重要度が高いと予想される描画オブジェクトの視認性を向上させることができる。
 また、補正部7は、補正対象の描画オブジェクトをユーザの種別または位置に対応付けて決定してもよい。この場合、ユーザが移動して、その視点位置が変更されると、補正部7が、これに応じて動的に描画オブジェクトを変更し、変更後のオブジェクトを補正対象とする。
 また、補正部7は、所定の情報を提示する描画オブジェクトを補正対象の描画オブジェクトとしてもよい。例えば、表示装置がメーター表示器を画像表示する場合、メーター類は、ユーザが把握すべき所定の計測情報を提示するものであるため、ユーザから視認しやすくする必要がある。
 そこで、メータ類を示す描画オブジェクトを補正対象とする。これにより、ユーザが把握すべき所定の情報を提示する描画オブジェクトの視認性を向上させることができる。
 以上のように、この実施の形態1によれば、少なくとも非平坦な部分を表示面に含む表示部4と、表示画像の特性を決定するレンダリングパラメータに基づいてグラフィックスデータをレンダリングして表示部4の表示面の形状に合わせて描画される描画データを生成するレンダリング部2と、グラフィックスデータの描画オブジェクトのレンダリングパラメータを、レンダリング部2によるレンダリングの前に補正する補正部7とを備える。このように構成することにより、画質を劣化させずに非平坦な表示面であっても視認しやすい映像を提供することができる。
 なお、この発明は、車両内のような平坦面の確保が難しい空間内における、フロント、リアのプロジェクションシステムや、湾曲液晶ディスプレイなどの表示装置において、描画される映像内のオブジェクトの視認性を向上させることができる。
 また、この実施の形態1によれば、補正部7が、描画オブジェクトのカテゴリまたは補正対象であることを示すフラグに基づいて、補正対象とする描画オブジェクトを決定するので、ユーザが視認しにくいと判断する描画オブジェクトを補正の対象とすることができ、ユーザからの視認性を向上させることができる。
 さらに、この実施の形態1によれば、補正部7が、補正対象の描画オブジェクトのレンダリングパラメータを補正して描画オブジェクトの形状を変更するので、描画オブジェクトの視認性を向上させることができる。
 さらに、この実施の形態1によれば、補正部7が、ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを補正対象とするので、ユーザが頻繁に使用して重要度が高いと予想される描画オブジェクトの視認性を向上させることができる。
 さらに、この実施の形態1によれば、補正部7が、所定の情報を提示する描画オブジェクトを補正対象とするので、ユーザが把握すべき所定の情報を提示する描画オブジェクトの視認性を向上させることができる。
実施の形態2.
 上記実施の形態1に係る表示装置においては、補正部7が補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの形状を変更する。この実施の形態2に係る表示装置においては、補正部7が補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータの描画位置を変更する。その他の構成および機能については、上記実施の形態1に係る表示装置と同様である。
 図6は、この発明の実施の形態2に係る表示装置の補正部におけるオブジェクトのレイアウト変更による補正の概要を示す図である。図6(a)に示すように、平坦な表示面4Aに描画することを前提とした描画オブジェクト11c,11dを、図6(b)に示すような画面中央が大きく湾曲した表示面4aに描画する場合を例に挙げる。この場合、メーター類を示す描画オブジェクト11cが表示面4aの中央の湾曲している位置に描画されるため、これに合わせて描画すると、図6(b)のように描画オブジェクト11cが歪んだ形状になり、ユーザからの視認性が悪くなる。
 また、この位置でそのままユーザから平坦に見えるように補正した場合、歪んだ形状の描画オブジェクト11cが平坦に見えるようになるだけで、ユーザからの視認性は向上しない。
 そこで、この実施の形態2の補正部7では、上述のような場合、表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状に基づいて、描画オブジェクト11cについてのレンダリングパラメータを補正するにあたり、描画オブジェクト11cのレイアウト情報を補正して、図6(c)に示すように、表示面4aの描画位置を湾曲が少ない位置に移動させ、移動させた位置でユーザから平坦な面に描画されて見えるように描画オブジェクト11cの形状を補正する。このようにすることで、補正前は、表示面4aの湾曲した位置に描画されることになっていた描画オブジェクト11cについてユーザからの視認性を向上させることができる。
 なお、表示面4aにおける湾曲が少ない位置は、表示部4に設定された表示空間内での表示面の認識方式を用いて、補正部7によって選定される。例えば、補正部7が、表示面の状態およびユーザの位置に基づいて、ユーザの視点位置から表示面4aに下ろした垂線と表示面4aの平面部との角度を求めて、表示面4aの部分ごとの湾曲率を定義しておく。補正部7が、この湾曲率が所定の閾値以上の領域に描画されるオブジェクトについて、上述の補正を行う。また、補正部7は、ユーザの種別(運転者または助手席の同乗者)、ユーザの位置、または、描画オブジェクトに設定したカテゴリに応じて、当該閾値を動的に変更してもよい。
 以上のように、この実施の形態2によれば、補正部7が、補正対象の描画オブジェクトのレンダリングパラメータを補正して、描画オブジェクトが描画されるレイアウトを変更するので、ユーザから視認しやすい位置に的確にオブジェクトを描画することができる。
 また、この実施の形態2によれば、補正部7が、表示部4の湾曲率が所定以上の領域に描画される描画オブジェクトを補正対象とするので、ユーザから視認しやすい位置に的確にオブジェクトを描画することができる。
実施の形態3.
 上記実施の形態2に係る表示装置においては、補正部7が、ユーザから視認性の悪い補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの位置を変更する。しかしながら、全ての描画オブジェクトをユーザから平坦な面に描画されて見える位置に移動させると、ユーザから平坦な面に描画されて見える位置にオブジェクトが集中して、かえって画面全体の視認性が低下することが懸念される。また、全ての描画オブジェクトのレンダリングパラメータを補正することは、負荷も高い。そこで、この実施の形態3に係る表示装置においては、補正部7が、表示装置が搭載される(携帯される)移動体の状態、ユーザの位置またはユーザ種別に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。その他の構成および機能については、上記実施の形態2に係る表示装置と同様である。
 図7は、この発明の実施の形態3に係る表示装置の補正部における補正対象のオブジェクトを決定する処理の概要を示す図であり、車両などの移動体のインストルメントパネルに搭載された表示装置を例に挙げている。この表示装置は、画面中央部が大きく湾曲した表示面4aを有しており、この表示面4aに、描画オブジェクトとして移動体の速度メーター、燃料計(またはバッテリ計)、表示装置が備えているまたは表示装置が接続されている音楽または映像などのメディア情報の再生装置の再生ボタン、停止ボタンを描画する。
 図7(a)は、ガソリン(またはバッテリ)が十分にあり(燃料計(またはバッテリ計)がFull近く)、メディア情報の再生を停止している場合を示しており、図7(b)は、ガソリン(またはバッテリ)が不足しつつあり(燃料計(またはバッテリ計)がEmpty近く)、メディア情報を再生している場合を示している。
 この実施の形態3に係る表示装置においては、補正部7は、表示面の状態、ユーザの位置、ユーザの視線方向または表示面の形状に基づいて、補正対象とする描画オブジェクトの候補を決定するが、移動体の燃料計(またはバッテリ計)の状態、速度、エアコンなどで測定している室温などの計測器の値、または、再生装置によるメディア情報の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを判断し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。
 例えば、図7(a)に示すように、燃料(またはバッテリ)が所定量以上ある場合は、補正部7は、燃料計(またはバッテリ計)を示す描画オブジェクト11fを補正せずに、速度メーターを示す描画オブジェクト11eを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11eの位置または形状を変更するようにレンダリングパラメータを補正する。また、図7(b)に示すように、燃料(またはバッテリ)が所定量未満の場合は、補正部7は、速度メーターを示す描画オブジェクト11eを補正せずに、燃料計(またはバッテリ計)を示す描画オブジェクト11fを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11fの位置または形状を変更するようにレンダリングパラメータを補正する。
 また、補正部7は、移動体が所定速度以上で走行している場合は、燃料計(またはバッテリ計)を示す描画オブジェクト11fを補正せずに、速度メーターを示す描画オブジェクト11eを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11eの位置または形状を変更するようにレンダリングパラメータを補正してもよい。また、補正部7は、移動体が所定速度未満で走行している場合は、速度メーターを示す描画オブジェクト11eは補正せずに、燃料計(またはバッテリ計)を示す描画オブジェクト11fを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11fの位置または形状を変更するようにレンダリングパラメータを補正してもよい。
 さらに、補正部7は、図7(a)に示すように、再生装置がメディア情報の再生を停止している場合、ユーザが次に操作するのは再生ボタンであるので、再生停止の操作に対応する描画オブジェクト11hを補正せずに、再生開始の操作に対応する描画オブジェクト11gを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11gの位置または形状を変更するようにレンダリングパラメータを補正してもよい。また、補正部7は、再生装置がメディア情報を再生している場合、再生開始の操作に対応する描画オブジェクト11gを補正せずに、再生停止の操作に対応する描画オブジェクト11hを補正対象として、ユーザから平坦な面に描画されて見えるように描画オブジェクト11hの位置または形状を変更するようにレンダリングパラメータを補正してもよい。これにより、メディア情報の再生装置の再生状況に応じて次に予想される操作に対応する描画オブジェクトを的確に補正対象とすることができる。
 補正部7は、再生装置がメディア情報を再生している場合、再生中に使用が予想される停止ボタン、早送りボタン、巻き戻しボタンなどの、メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象としてもよい。
 従って、補正部7は、制御部5からの指示に従い、メディア情報の再生が停止されている場合には、メディア情報の再生開始を指定する操作に対応する描画オブジェクト11gを補正対象とし、メディア情報が再生中である場合には、メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とする。これにより、メディア情報の再生状況に応じて次に予想される操作に対応する描画オブジェクトを的確に補正対象とすることができる。
 補正部7は、表示面状態検出部8、表示面形状検出部9およびユーザ検出部10が検出した情報に基づいて判別されたユーザ種別とその視点位置および視点からみた表示面4aの形状を示す情報、もしくは、あらかじめ設定された上記情報に基づいて、表示面4aにおける各描画オブジェクト11e~11hの描画位置を決定する。
 図7では、速度メーターを示す描画オブジェクト11eおよび燃料計(またはバッテリ計)を示す描画オブジェクト11fは、表示装置が搭載される移動体の運転席のユーザAから平坦な面に表示されて見えるように、表示面4aの左側の領域に描画される。また、再生ボタンを示す描画オブジェクト11gおよび停止ボタンを示す描画オブジェクト11hは、助手席のユーザBから平坦な面に表示されて見えるように、表示面4aの右側の領域に描画される。
 補正部7は、車両状態とユーザ検出部10によって検出されたユーザの種別とに基づいて、当該ユーザに提示すべき情報についての描画オブジェクトを判別し、判別したオブジェクトのみを補正対象としてもよい。
 例えば、図7(a)に示す場合、運転席のユーザA、すなわち種別が運転者のユーザについては、エンターティンメント制御系のオブジェクトより車両制御系の描画オブジェクトの補正を優先して視認性を向上させる必要があり、補正部7は、車両制御系の描画オブジェクトである速度メーターを示す描画オブジェクト11eおよび燃料計(またはバッテリ計)を示す描画オブジェクト11fを補正対象として、運転者のユーザを基準に表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または移動体の状態に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。
 また、助手席のユーザB、すなわち種別が運転者以外の乗員であるユーザについては、車両制御系のオブジェクトよりエンターテインメント制御系のオブジェクトの補正を優先して視認性を向上させる必要がある。そこで、エンターテインメント系の描画オブジェクトであるメディア情報の再生装置の再生ボタンの描画オブジェクト11gおよび停止ボタンの状態がオブジェクト11hを補正候補として、助手席のユーザを基準に表示面の状態、ユーザの位置、ユーザの視線方向、表示面の形状または移動体の状態に基づいて、補正対象とする描画オブジェクトの候補を決定する。このとき、補正部7は、上述したように、メディア情報の再生装置の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正する。なお、ユーザ種別は、補正部7がユーザ位置から判断すればよい。
 上述した補正対象を決定するルールは、補正部7にあらかじめ設定しておき、補正部7が、移動体の状態、ユーザ種別、またはユーザの位置などに応じて、どのルールで決定するかを判断してもよい。また、補正対象を決定する処理のアルゴリズムは、補正部7にあらかじめ複数のアルゴリズムを設定しておき、補正部7が取得する情報を固定的な閾値と比較して、その比較結果に応じてアルゴリズムを選択してもよい。閾値については、ファジー理論などでファジー化させた値を用いてもよい。
 以上のように、この実施の形態3によれば、ユーザの種別または位置に基づいて、補正対象とする描画オブジェクトを決定するので、ユーザに応じて描画オブジェクトの視認性を向上させることができる。
 また、この実施の形態3によれば、移動体の速度、燃料残量またはバッテリ残量、室温などの移動体に備えられている計測器の値、または、メディア情報の再生装置の再生状態などの移動体の状態に基づいて、補正対象とする描画オブジェクトを決定するので、ユーザにとって重要度の高い描画オブジェクトを的確に補正対象とすることができ、表示装置の負荷も低減できる。
 さらに、この実施の形態3によれば、補正部7が、移動体の状態である当該移動体の計測器の値に応じて、補正対象とする描画オブジェクトを決定するので、ユーザにとって重要度の高い描画オブジェクトを的確に補正対象とすることができ、表示装置の負荷も低減できる。
 さらに、この実施の形態3によれば、補正部7が、メディア情報の再生が停止されている場合、当該メディア情報の再生開始の操作に対応する描画オブジェクトを補正対象とし、メディア情報が再生中である場合には、当該メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とするので、メディアの再生状況に応じて操作が予想される描画オブジェクトを的確に補正対象とすることができる。
実施の形態4.
 この実施の形態4に係る表示装置においては、補正部7が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを決定し、補正対象の描画オブジェクトのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクトの描画位置を変更する。その他の構成および機能については、上記実施の形態1に係る表示装置と同様である。
 図8は、この発明の実施の形態4に係る表示装置の補正部における表示面とオブジェクトの形状に応じて補正する処理を示す図であって、ユーザから見た表示部4の表示面4aの形状に合わせて描画した場合に、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とする例を示している。
 図8(a)に示すように、平坦な表示面4Aに表示することを前提とした描画オブジェクト11i,11jを、図8(b)に示すような画面中央から折れ曲がった表示面4aに表示する場合を例に挙げる。描画オブジェクト11iは円形のオブジェクトであり、描画オブジェクト11jは矩形のオブジェクトである。
 上述の場合、表示面4aの形状に合わせて描画すると、図8(b)に示すように、両オブジェクト11i,11jとも歪んだ形状となって視認性が低下する。このため、レイアウトを変更して視認性の悪い領域に描画されないようにする必要がある。
 しかしながら、全てのオブジェクトのレイアウトを変更すると、ユーザからの視認性が悪くならない領域にオブジェクトが集中して、かえって画面全体の視認性が低下することが懸念される。
 そこで、補正部7は、ユーザから見た表示部4の表示面4aの形状に合わせて描画した場合、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とする。
 図8の場合、矩形のオブジェクト11jは、表示面4aの形状に合わせたときに菱形に歪むだけであるが、円形のオブジェクト11iは、細長な楕円形状に拉げてしまい、矩形の場合よりも視認性が悪くなる。
 そのため、補正部7は、円形のオブジェクト11iを補正対象として、図8(c)に示すように、ユーザからの視認性が悪くならない領域にレイアウトを変更してから、ユーザから平坦な面に描画されて見えるように補正する。このようにすることで、補正すべきオブジェクトを的確に決定することができる。
 なお、補正対象とする描画オブジェクトの決定方法としては、補正部7が、ユーザから視認しにくくなると想定される描画オブジェクトの形状をあらかじめ設定しておき、当該設定に基づいて決定してもよい。また、補正部7は、表示面の形状とオブジェクトの形状および描画位置とを対応付けて、補正対象とすべきか否かをあらかじめ設定しておき、当該設定に基づいて決定してもよい。また、補正部7は、表示面の形状とオブジェクトの形状をファジー理論などによりファジー化させて組み合わせたルールに沿って決定してもよい。
 以上のように、この実施の形態4によれば、補正部7が、ユーザから見た表示部4の表示面の形状に合わせて表示した場合に、ユーザから視認しにくくなると想定される形状の描画オブジェクトを補正対象とするので、補正すべきオブジェクトを的確に決定することができ、表示装置の負荷も低減できる。
実施の形態5.
 上記実施の形態4に係る表示装置においては、補正部7が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを判断し、補正対象の描画オブジェクトのレンダリングパラメータを補正して、ユーザから平坦な面に描画されて見えるように描画オブジェクトの描画位置を変更する。この実施の形態5に係る表示装置においては、補正部7が、描画オブジェクトの形状に基づいて、補正対象とする描画オブジェクトを判断し、表示面に合わせてユーザから平坦な面に描画されて見えるように、補正対象の描画オブジェクトの形状を変更するようにレンダリングパラメータを補正する。その他の構成および機能については、上記実施の形態4に係る表示装置と同様である。
 図9は、この発明の実施の形態5に係る表示装置の補正部における表示面に合わせてオブジェクトの形状を補正する処理を示す図であり、補正部7が、ユーザから平坦な面に描画されて見えるように当該描画オブジェクトの形状を変更する場合を示している。図9(a)に示すように、平坦な表示面4Aに表示することを前提とした描画オブジェクト11kを、図9(b)に示すような画面中央から折れ曲がった表示面4aに表示する場合を例に挙げる。描画オブジェクトには、その形状がそのままに見えることが重要なものと、その描画オブジェクトが提示する情報が重要なものとが存在している。
 図9の場合は、表示部4に表示される対象は、燃料計(またはバッテリ計)を示す描画オブジェクト11kであり、ユーザにとっては、その形状よりも、このオブジェクトが提示する情報、すなわち燃料の残量が重要である。
 そこで、この実施の形態5では、補正部7が、非平坦な表示面4aに描画するにあたり、元のイメージをそのまま再現するのではなく、提示される情報の視認性が向上するようにオブジェクトの形状を変更する。
 例えば、図9では、描画オブジェクト11kの描画サイズが大きく、レイアウトを変更すると、かえって視認性が低下してしまう。このため、図9(c)に示すように、補正部7がレンダリングパラメータを補正することで、非平坦な面に描画されても矩形に見える形状に描画オブジェクト11kを変更する。これにより、図9(d)に示すように、ユーザから平坦な面に描画された矩形のオブジェクト11lとなり、視認性を向上させることができる。
 以上のように、この実施の形態5によれば、補正部7が、描画オブジェクトの形状に基づいて、補正対象を決定するので、補正すべきオブジェクトを的確に決定することができ、表示装置の負荷も低減できる。
実施の形態6.
 この実施の形態6に係る表示装置においては、環境光の色に基づいて、補正対象の描画オブジェクトを決定し、補正対象の描画オブジェクトの色を変更する。また、この実施の形態6に係る表示装置においては、表示面の明るさに基づいて、補正対象の描画オブジェクトの輝度を変更する。その他の構成および機能については、上記実施の形態1に係る表示装置と同様である。
 図10は、この発明の実施の形態6に係る表示装置の補正部における周囲環境に応じてオブジェクトを補正する処理を示す図である。なお、説明の簡単のため、図10では表示面が非平坦でない場合を示しているが、上述したように、非平坦な面を含む表示面に適用される。
 図10(a)は、青色でデザインされた描画オブジェクト11m,11nが表示されている表示面4Aに対して青色の環境光が照射された状況を示している。
 この場合、制御部5は、表示面状態検出部8によって検出された表示面4Aへの環境光の色に基づいて、環境光の色と同系色(例えば、色相環で環境光から所定範囲にある色)の描画オブジェクトである描画オブジェクト11m,11nを補正対象とするように補正部7に対して指示する。
 補正部7は、制御部5からの指示に従って、図10(b)に示すように、描画オブジェクト11m,11nのレンダリングパラメータを補正し、青色で描画されていたオブジェクトの色を、この環境下において黄色に見えるように描画色を変更する。
 このような変更を実現する方法としては、補正部7にあらかじめ環境色と描画色のパターンを定めておき、環境色と当該パターンとに応じて描画色を選択して補正する方法がある。また、補正部7は、環境光の反対色(色相環で環境光と反対側にある色)を描画色として補正してもよい。
 また、表示面に太陽光などが照射された場合には、補正部7が、表示面状態検出部8によって検出された表示面4Aにおける明るさに基づいて、描画オブジェクト11m,11nの輝度を変更する。
 補正部7は、描画オブジェクト11m,11nのレンダリングパラメータを補正し、描画オブジェクトの輝度を、この環境下において視認しやすい輝度に変更する。
 このような変更を実現する方法としては、補正部7にあらかじめ表示面の明るさと輝度のパターンを定めておき、表示面4Aの明るさと当該パターンに応じて輝度を選択して補正することが考えられる。
 以上のように、この実施の形態6によれば、補正部7が、補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、当該描画オブジェクトの色または輝度を変更するので、描画オブジェクトの視認性を向上させることができる。
 なお、本発明はその発明の範囲内において、各実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略、組み合わせが可能である。
 この発明に係る表示装置は、画質を劣化させず非平坦な表示面であっても視認しやすい映像を提供することができるので、車両内のように十分な平坦面を確保できず、非平坦な表示面となりやすい車載用表示装置に好適である。
 1 記憶部、2 レンダリング部、3 VRAM部、4 表示部、4a,4A 表示面、5 制御部、6 操作部、7 補正部、8 表示面状態検出部、9 表示面形状検出部、10 ユーザ検出部、11a~11n 描画オブジェクト。

Claims (13)

  1.  少なくとも非平坦な部分を表示面に含む表示部と、
     表示画像の特性を決定するレンダリングパラメータに基づいてグラフィックスデータをレンダリングして前記表示部の表示面の形状に合わせて描画される描画データを生成するレンダリング部と、
     前記グラフィックスデータの描画オブジェクトのレンダリングパラメータを、前記レンダリング部によるレンダリングの前に補正する補正部とを備える表示装置。
  2.  前記補正部は、前記描画オブジェクトのカテゴリまたは補正対象であることを示すフラグに基づいて、補正対象とする描画オブジェクトを決定することを特徴とする請求項1記載の表示装置。
  3.  前記補正部は、前記表示部の湾曲率が所定以上の領域に描画される描画オブジェクトを補正対象とすることを特徴とする請求項1記載の表示装置。
  4.  前記補正部は、前記補正対象の描画オブジェクトのレンダリングパラメータを補正して、前記描画オブジェクトが描画されるレイアウトを変更することを特徴とする請求項1記載の表示装置。
  5.  前記補正部は、前記補正対象の描画オブジェクトのレンダリングパラメータを補正して、前記描画オブジェクトの形状を変更することを特徴とする請求項1記載の表示装置。
  6.  前記補正部は、前記ユーザの種別または位置に基づいて、補正対象とする描画オブジェクトを決定することを特徴とする請求項1記載の表示装置。
  7.  前記補正部は、前記ユーザによる操作頻度が所定の閾値以上の描画オブジェクトを補正対象とすることを特徴とする請求項1記載の表示装置。
  8.  前記補正部は、所定の情報を提示する描画オブジェクトを補正対象とすることを特徴とする請求項1記載の表示装置。
  9.  前記補正部は、前記表示装置が搭載または携帯される移動体の状態に応じて、補正対象とする描画オブジェクトを決定することを特徴とする請求項1記載の表示装置。
  10.  前記補正部は、前記移動体の状態である当該移動体の計測器の値に応じて、補正対象とする描画オブジェクトを決定することを特徴とする請求項9記載の表示装置。
  11.  前記補正部は、メディア情報の再生が停止されている場合、当該メディア情報の再生開始を指定する操作に対応する描画オブジェクトを補正対象とし、前記メディア情報が再生中である場合には、当該メディア情報の再生開始以外の再生状態を指定する操作に対応する描画オブジェクトを補正対象とすることを特徴とする請求項9記載の表示装置。
  12.  前記補正部は、前記描画オブジェクトの形状に基づいて、補正対象を決定することを特徴とする請求項1記載の表示装置。
  13.  前記補正部は、前記補正対象の描画オブジェクトについてのレンダリングパラメータを補正して、当該描画オブジェクトの色または輝度を変更することを特徴とする請求項1記載の表示装置。
PCT/JP2012/072169 2012-08-31 2012-08-31 表示装置 WO2014033913A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014532681A JP5847315B2 (ja) 2012-08-31 2012-08-31 表示装置
PCT/JP2012/072169 WO2014033913A1 (ja) 2012-08-31 2012-08-31 表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072169 WO2014033913A1 (ja) 2012-08-31 2012-08-31 表示装置

Publications (1)

Publication Number Publication Date
WO2014033913A1 true WO2014033913A1 (ja) 2014-03-06

Family

ID=50182760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072169 WO2014033913A1 (ja) 2012-08-31 2012-08-31 表示装置

Country Status (2)

Country Link
JP (1) JP5847315B2 (ja)
WO (1) WO2014033913A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663412A (zh) * 2014-08-20 2017-05-10 索尼公司 信息处理设备、信息处理方法及程序
JP2017219837A (ja) * 2016-06-07 2017-12-14 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 透明表示装置及びその駆動方法
JPWO2020152754A1 (ja) * 2019-01-21 2021-12-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP2022078108A (ja) * 2016-05-17 2022-05-24 株式会社半導体エネルギー研究所 移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330507A (ja) * 1999-05-21 2000-11-30 Seiko Epson Corp 投射型表示装置
JP2003190102A (ja) * 2001-12-28 2003-07-08 Ziosoft Inc 医療画像処理システムおよびプログラム
JP2006094458A (ja) * 2004-08-26 2006-04-06 Matsushita Electric Works Ltd 映像信号処理装置および仮想現実感生成装置ならびに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330507A (ja) * 1999-05-21 2000-11-30 Seiko Epson Corp 投射型表示装置
JP2003190102A (ja) * 2001-12-28 2003-07-08 Ziosoft Inc 医療画像処理システムおよびプログラム
JP2006094458A (ja) * 2004-08-26 2006-04-06 Matsushita Electric Works Ltd 映像信号処理装置および仮想現実感生成装置ならびに記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663412A (zh) * 2014-08-20 2017-05-10 索尼公司 信息处理设备、信息处理方法及程序
EP3185239A4 (en) * 2014-08-20 2018-04-11 Sony Corporation Information processing device, information processing method, and program
JP2022078108A (ja) * 2016-05-17 2022-05-24 株式会社半導体エネルギー研究所 移動体
JP2017219837A (ja) * 2016-06-07 2017-12-14 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 透明表示装置及びその駆動方法
JPWO2020152754A1 (ja) * 2019-01-21 2021-12-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP7170752B2 (ja) 2019-01-21 2022-11-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11544822B2 (en) 2019-01-21 2023-01-03 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method

Also Published As

Publication number Publication date
JPWO2014033913A1 (ja) 2016-08-08
JP5847315B2 (ja) 2016-01-20

Similar Documents

Publication Publication Date Title
US8280665B2 (en) Calibration device for on-vehicle camera
US8947533B2 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
US10178314B2 (en) Moving object periphery image correction apparatus
US9939638B2 (en) Vehicle display device
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
JP5847315B2 (ja) 表示装置
US9747664B2 (en) Image processing apparatus
WO2019033469A1 (zh) 基于透明显示器的增强现实显示方法和装置
JP6482975B2 (ja) 画像生成装置および画像生成方法
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US20160124224A1 (en) Dashboard system for vehicle
JP2011155393A (ja) 車両周辺画像表示装置及び車両周辺画像表示方法
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
JP2008168693A (ja) 車両用表示装置
JP2020095155A (ja) 虚像表示システム、表示制御装置及び表示制御プログラム
KR20140079903A (ko) 차량의 헤드업 디스플레이 장치 및 그 동작 방법
JP7268526B2 (ja) 車両用表示制御装置、及び車両用表示システム
TWI773958B (zh) 車輛盲點影像顯示方法、裝置及系統
JP2016070951A (ja) 表示装置、制御方法、プログラム、及び記憶媒体
KR101484170B1 (ko) Hud 영상 평가시스템 및 그 평가방법
GB2536882A (en) Head up display adjustment
JP4696825B2 (ja) 車両用死角映像表示装置
JP7293620B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
JP6680276B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12883583

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014532681

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12883583

Country of ref document: EP

Kind code of ref document: A1