WO2020202746A1 - 情報処理装置及び情報処理方法、並びにコンピュータプログラム - Google Patents

情報処理装置及び情報処理方法、並びにコンピュータプログラム Download PDF

Info

Publication number
WO2020202746A1
WO2020202746A1 PCT/JP2020/002857 JP2020002857W WO2020202746A1 WO 2020202746 A1 WO2020202746 A1 WO 2020202746A1 JP 2020002857 W JP2020002857 W JP 2020002857W WO 2020202746 A1 WO2020202746 A1 WO 2020202746A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
information processing
image signal
color
image signals
Prior art date
Application number
PCT/JP2020/002857
Other languages
English (en)
French (fr)
Inventor
賢司 久永
昭彦 泉
拓也 生江
啓士 松山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/440,851 priority Critical patent/US20220148486A1/en
Publication of WO2020202746A1 publication Critical patent/WO2020202746A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235Field-sequential colour display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/123Frame memory handling using interleaving

Definitions

  • the technology disclosed in the present specification relates to an information processing device and an information processing method for performing processing for displaying a plurality of scenes at the same time, and a computer program.
  • the auxiliary display of the traffic situation as the main scene and at the same time display the UI (User Interface) as the sub scene.
  • UI User Interface
  • a method of overlaying a plurality of scenes for example, a method of synthesizing a plurality of scenes at the time of authoring, drawing the combined scenes in VRAM (Video RAM (Random Access Memory)), and displaying and outputting each scene on a display, or Examples thereof include a method of drawing, drawing in an intermediate buffer once, and then synthesizing when drawing in VRAM (see, for example, Patent Document 1).
  • VRAM Video RAM (Random Access Memory)
  • Examples thereof include a method of drawing, drawing in an intermediate buffer once, and then synthesizing when drawing in VRAM (see, for example, Patent Document 1).
  • the load of synthesizing each scene at the time of authoring is large, and in the latter method, there is a concern that the processing load of synthesizing the drawing data of a plurality of intermediate buffers and writing them to VRAM becomes large.
  • An object of the technology disclosed in the present specification is to provide an information processing device and an information processing method for simultaneously displaying a plurality of scenes with a low load, and a computer program.
  • the technique disclosed in the present specification has been made in consideration of the above problems, and the first aspect thereof is an information processing device that processes two or more image signals.
  • a division unit that decomposes the image signal for each color element
  • a selection unit for selecting the color element of the image signal from any one of the color elements of the two or more image signals for each color element.
  • An output unit that outputs the color elements of the image signal for each predetermined area, and It is an information processing device provided with.
  • the predetermined area is a subframe obtained by dividing one frame into a plurality of frames in the time direction.
  • the selection unit selectively selects from the color elements of the two or more image signals in each of the subframes.
  • the predetermined area is a subpixel obtained by dividing one pixel into a plurality of pixels.
  • the selection unit selectively selects from the two or more image signals for each subpixel in the pixel.
  • the second aspect of the technique disclosed in the present specification is an information processing method for processing two or more image signals.
  • a third aspect of the technology disclosed herein is a computer program written in a computer-readable format to perform processing of two or more image signals on a computer.
  • a division unit that decomposes the image signal into color elements
  • a selection unit that selects the color element of the image signal from any one of the color elements of the two or more image signals for each color element.
  • An output unit that outputs the color elements of the image signal for each predetermined area, It is a computer program that functions as.
  • the computer program according to the third aspect defines a computer program written in a computer-readable format so as to realize a predetermined process on the computer.
  • a collaborative action is exhibited on the computer, and the same action effect as the information processing device according to the first aspect can be obtained. ..
  • FIG. 1 is a diagram schematically showing a display drive device 100.
  • FIG. 2 is a diagram showing a procedure in which the display driving device 100 simultaneously displays image signals of a plurality of scenes.
  • FIG. 3 is a diagram showing another operation example of the display drive device 100.
  • FIG. 4 is a diagram showing an operation example of outputting each image signal of the main scene 101 and the sub scene 102 in the time-division color display device 120.
  • FIG. 5 is a diagram showing another operation example of outputting each image signal of the main scene 101 and the sub scene 102 in the time-division color display device 120.
  • FIG. 6 is a diagram showing an example of the internal configuration of the display drive device 100.
  • FIG. 7 is a diagram showing a display drive device 700 that simultaneously displays image signals of a plurality of scenes.
  • an image signal is composed of three color elements of RGB for each pixel. Also in this specification, for convenience, the description will be centered on an embodiment in which an image signal composed of RGB color elements is handled. However, even when an image signal having a color space other than RGB is adopted, the technique disclosed in the present specification can be similarly applied.
  • FIG. 1 schematically shows a display drive device 100 that simultaneously displays image signals of a plurality of scenes by applying the technique disclosed in the present specification.
  • a display drive device 100 that simultaneously displays image signals of a plurality of scenes by applying the technique disclosed in the present specification.
  • the main scene indicated by the reference number 101 and the sub scene indicated by the reference number 102 are simultaneously displayed by using the in-vehicle head-up display.
  • the display drive device 100 reads the image signal developed on the VRAM 130 and outputs it to the display device 120.
  • the image signal of the main scene 101 is, for example, an auxiliary display of the traffic situation
  • the image signal of the sub scene 102 is, for example, a UI.
  • which image signal is used as the main scene or the sub scene is not particularly limited.
  • the auxiliary display of the traffic situation may be fixed to the main scene and the UI may be fixed to the sub scene, or the image signals serving as the main scene and the sub scene may be switched according to the importance. It is also assumed that the importance of each image signal dynamically changes depending on the situation (driving situation of the own vehicle, etc.).
  • the main scene 101 and the sub scene 102 are generated by their respective authoring systems and are individually written on the VRAM 130.
  • the authoring system may be, for example, a subsystem of a vehicle control system, but detailed description thereof will be omitted here.
  • the system that generates each image signal of the main scene 101 and the sub scene 102 is not particularly limited.
  • the image signal of the main scene 101 is composed of images (image signals) 103 to 105 for each RGB color element. If the image signals 103 to 105 of all the color elements are read out and output to the screen of the display device at the same time, one frame of the original main scene 101 is displayed.
  • the image signal of the sub-scene 102 is composed of images (image signals) 106 to 108 for each of the RGB color elements, and the image signals 106 to 108 of all the color elements are read out and simultaneously output to the screen of the display device. For example, one frame of the original sub-scene 102 is displayed.
  • spontaneous output here means not only when the image signals of a plurality of color elements are output completely at the same time on the time axis, but also when it is output in a time division within a time shorter than the time resolution of human vision. (See below) shall also be included.
  • Each image signal of the main scene 101 and the sub scene 102 developed on the VRAM 130 is divided into each RGB color element.
  • the selector 110 in the display drive device 100 has a function of selecting one of the image signals of the main scene 101 and the sub-scene 102 for each color element and outputting the image signals to the display device 120.
  • the selector 110 outputs only the image signals of some of the color elements 103 to 105 of the RGB color elements from the image signal of the main scene 101, while the main scene 102 is output from the image signal of the sub scene 102. Only the image signals of the remaining color elements that are not output from 101 are output.
  • the selector 110 is a display section, the main from the image signal of a scene 101 while selecting the image signal R M and G M R and G, the remaining from the image signal of the sub-scene 102
  • the image signal B S of B is selected, and the image signals of each of these color elements are simultaneously output to the display device 120.
  • the selector 110 when the selector 110 outputs the image signals of the main scene 101 and the sub scene 102, any of the image signals of the main scene 101 and the sub scene 102 for each color element in a predetermined display section (1 frame). The process of selecting one image signal is being performed. At that time, the selector 110 does not select all the color elements of one image signal in one display section, and selects one of the color elements from all the image signals. As a result, on the screen of the display device 120, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • the screen of the display device 120 includes the image signals R M and G M on the main scene 101 side and the image signals B S on the sub scene 102 side. RGB will be displayed. It can also be said that a part of the color elements (B in the illustrated example) of the RGB image signal of the main scene 101 is displayed in place of the image signal of the sub scene 102. As a result, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • the image in the above display section displays an image in which some color elements are missing in both the main scene 101 and the sub scene 102 (the image signal B M of the color element B on the main scene 101 side is displayed).
  • the image signals R S and G S of the color elements of the sub-scene 102 color elements R and G are missing). Therefore, an unnatural image is obtained with only one display section.
  • one frame is divided into a plurality of subframes, and the selector 110 selects the image signal of either the main scene 101 or the sub scene 102 for each color element in each subframe. Select and output. That is, the image signal for each color element of each scene is output from the selector 110 (or the display drive device 100) to the display device 120 without synthesizing the drawing results of each scene.
  • One frame is, for example, 60 fps (frame per second).
  • One frame is divided into a plurality of subframes, and the display image is switched for each subframe on the display device 120 side.
  • One frame is shorter than the time resolution of human vision.
  • the observer recognizes the images of a plurality of consecutive subframes in one frame as one combined image. Therefore, the drawing results for each scene can be presented to the observer as a composite one-frame image without actually synthesizing the drawing results. Further, the load of compositing the images of each scene at the time of authoring or writing to the VRAM 130 is reduced.
  • FIG. 2 shows an operation example for simultaneously displaying the image signals of the main scene 101 and the sub-scene 102 in a plurality of continuous subframes in the display drive device 100 shown in FIG.
  • frame T 1 is divided into three consecutive subframes T 1-1 , T 1-2 , and T 1-3 .
  • image signal B S of the remaining B from the image signal of the sub-scene 102 Is selected to simultaneously output the image signals of each of these color elements to the display device 120.
  • the sub-frame T 1-1 on the screen of the display device 120, RGB is displayed consisting of image signal of the main scene 101 R M and G M and the image signal B S of the sub-scene 102 side. That is, in the subframe T 1-1 , the color element B of the RGB image signals of the main scene 101 is displayed in place of the image signal of the sub scene 102. As a result, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • the selector 110 from the image signal of the main scene 101 with selecting an image signal G M and B M of G and B, the sub-scene 102
  • the remaining R image signals R S are selected from the image signals, and the image signals of each of these color elements are simultaneously output to the display device 120.
  • the sub-frame T 1-2 on the screen of the display device 120, RGB is displayed consisting of image signal G M and B M and the image signal R S of the sub-scene 102 side of the main scene 101. That is, in the subframe T 1-2 , the color element R of the RGB image signals of the main scene 101 is displayed in place of the image signal of the sub scene 102. As a result, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • the image signal of only the color element B is displayed in the subframe T 1-1
  • the image of only the color element R is displayed in the subframe T 1-2 . Even if the observer recognizes an image obtained by synthesizing the image signals of two consecutive subframes T 1-1 and T 1-2 , the observer recognizes the sub scene 102 in which the color element G is still missing.
  • the selector 110 with from the image signal of the main scene 101 selects the image signal B M and R M of color element B and R, the remainder from the image signal of the sub-scene 102
  • the image signal G S of the color element G is selected, and the image signal of each of these color elements is output to the display device 120 at the same time.
  • the sub-frame T 1-3 on the screen of the display device 120, RGB is displayed consisting of image signals B M and R M and the image signal G S sub scene 102 side of the main scene 101. That is, in the subframes T 1-3 , the color element G of the RGB image signals of the main scene 101 is displayed in place of the image signals of the sub scene 102. As a result, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • the image signals of all RGB color elements are displayed across three consecutive subframes T 1-1 , T 1-2 , and T 1-3 in the frame T 1 . Will be done. Therefore, the observer recognizes an image of a normal sub-scene 102 including all color elements, which is a composite of the image signals of three consecutive subframes T 1-1 , T 1-2 , and T 1-3. be able to.
  • the display drive device 100 may use a number of consecutive subframes equal to or greater than the number of image signals to be combined so that the observer can recognize a normal image in which all color elements are combined for each image signal. it can.
  • the selector 110 Since all the color elements are displayed in a plurality of consecutive subframes for each image signal of the main scene 101 and the sub scene 102, the observer synthesizes the continuous subframes in his head and all the colors. It can be recognized as a normal one-frame image with all the elements. In order to obtain such an effect, the selector 110 has already selected the color elements of each image signal until all the color elements of the main scene 101 and the sub scene 102 have been output in continuous subframes. Do not select. For example, for the main scene 101, the output of all the color elements is completed in the first two subframes T 1-1 and T 1-2 , but for the sub scene 102, the first two subframes T 1- In 1 and T 1-2 , the color element G has not been output yet. Therefore, in the third subframe T 1-3 , the selector 110 does not select the image signal of the color element G already selected in the main scene 101, but selects the image signal of the color element G in the sub scene 102. To do so.
  • the observer synthesizes and recognizes all the color elements displayed within a time shorter than the visual time resolution. Therefore, as described above, in order for the observer to recognize both the main scene 101 and the sub scene 102 as an image containing all the color elements with the images of a plurality of continuous subframes, the main scene 101 and the sub scene 102 and The time required to display all the color elements in each image signal of the sub-scene 102 needs to be shorter than the time resolution of the observer's vision. Therefore, the selector 110 needs to select all the color elements in each image signal of the main scene 101 and the sub scene 102 with the number of subframes within a time shorter than the visual resolution of the observer.
  • the number of subframes is 3 for displaying all the color elements in each image signal of the main scene 101 and the sub scene 102
  • three consecutive subframes are larger than the visual resolution of the observer. It needs to be settled within a short time.
  • a time-divided color display such as a single-panel DLP (Digital Light Processing) projector that sequentially displays image signals for each color element as a display device 120
  • the display device 120 spans three consecutive subframes. Therefore, the observer can recognize the composite image of the main scene 101 and the sub scene 102.
  • the requirements for a time-division color display applied to the display device 120 are as follows, for example.
  • the image signals of each RGB color element can be drawn in order at least once in one frame.
  • a subframe in which the RGB color elements of each scene are aligned once can be displayed multiple times in one frame.
  • the operation example shown in FIG. 2 is the simplest example of drawing three subframes per frame that satisfy the above requirements (1) and (2).
  • the image signal of each color component of the RGB of the main scene 101 by using the subscripts M, denoted R M, G M, and B M.
  • the image signals of each of the RGB color elements of the sub-scene 102 are expressed as RS , G S , and B S using the subscript S.
  • the nth frame is T n
  • the three subframes obtained by dividing the nth frame are T n-1 , T n-2 , and T n-3 in the order of the time direction.
  • the color elements output from the selector 110 (or displayed in order in time division on the screen of the display device 120) in the i-th subframe obtained by dividing the nth frame are T ni (R) and T ni , respectively. It is expressed as (G) and T ni (B) (however, i is an integer of 1 to 3).
  • the color elements output from the selector 110 in the subframes T 1-1 , T 1-2 , and T 1-3 of the first frame T 1 are as follows. ..
  • the display drive device 100 mixes and outputs the image signals of the color elements of the main scene 101 and the sub scene 102 for each subframe. Further, the selector 110 switches the color element selected from each of the main scene 101 and the sub scene 102 for each subframe. However, in the display drive device 100, the image signals of the main scene 101 and the sub-scene 102 are simply switched and output for each color element in a plurality of continuous subframes, and the main scene 101 and the sub-scene 102 are drawn. No processing is performed to synthesize the results.
  • the display drive device 100 sequentially outputs an image signal for each color element in each subframe.
  • the selector 110 selects one of the main scene 101 and the sub scene 102 for each color element.
  • the display device 120, the frame T 1 will be drawn in a time division image signals of each color element in the following order.
  • the display order of the image signals for each of the above color elements is expressed by the scene types of the main scene 101 and the sub scene 102 as follows.
  • the time-division color display device 120 draws the image signals for each color element in the above order in a time-division manner, so that the observer can see each scene without actually synthesizing the drawing results for each scene. It can be presented as a composite one-frame image.
  • the image signal of two color elements is output from the main scene 101 for each subframe, and the image signal of one color element is output from the sub scene 102.
  • the image signals of the six color elements are output from the main scene 101, and the image signals of the three color elements are output from the sub scene 102. Therefore, simply, the composite ratio of the main scene 101 and the sub scene 102 is simply 2: 1.
  • the combined ratio may be set to 1: 1 by adjusting the brightness.
  • the brightness of the image signal of each color element of the main scene 101 is halved as shown below. Adjust the brightness so that.
  • T 1-1 (R) R M ⁇ 1/2
  • T 1-1 (G) G M ⁇ 1/2
  • T 1-1 (B) B S
  • T 1-2 (R) R S
  • T 1-2 (G) G M ⁇ 1/2
  • T 1-2 (B) B M ⁇ 1/2
  • T 1-3 (R) RM x 1/2
  • the composition ratio can be finely adjusted. Further, if the time division granularity is made finer (that is, if the number of subframes constituting one frame is increased), the composition ratio can be finely adjusted.
  • FIG. 3 shows another operation example of the display drive device 100 shown in FIG. Similarly to FIG. 2, in the operation example shown in FIG. 3, one frame is divided into three subframes, and the image signals of the main scene 101 and the sub scene 102 are simultaneously displayed in the three consecutive subframes. Further, in the operation example shown in FIG. 3, the color elements are assigned to each scene for each subframe in one frame, as in the operation example shown in FIG. 2, in the following combination.
  • an image signal of a color element G of the both main scene 101 at subframe T 1-1 and T 1-2 consecutive is selected.
  • G M the image signal of a color element of the both main scene 101 at subframe T 1-1 and T 1-2 consecutive
  • the selector 110 may not select the image signal of the color element in the subsequent subframes when the scenes of the color elements are common in the continuous subframes.
  • the image signal ( BM ) of the color element B of the scene 101 is commonly selected between the continuous subframes T 1-2 and T 1-3 . Therefore, also in this case, the following subframe T 1-3 the image signal B M may not be transmitted. Alternatively, the selector 110 may not select the image signal of the color element B in the subsequent subframes T 1-3 .
  • the photoreceptor cells include a rod for recognizing light and darkness and a cone for recognizing color.
  • the cones include an L cone for recognizing red (R), an M cone for recognizing green (G), and an S cone for recognizing blue (B).
  • An observer who has all of the L, M, and S cones as the cones of the photoreceptor cells can recognize each of the three primary colors of RGB, and the colors expressed by the three primary colors It can be seen normally.
  • FIG. 4 shows an operation example of outputting each image signal of the main scene 101 and the sub scene 102 in the time-division color display device 120.
  • one frame is divided into two subframes.
  • the display device 120 in the subframes in the first half of each frame, has an image signal that stimulates the L cone of the main scene 101, an image signal that stimulates the M cone, and an image that stimulates the S cone.
  • the signals are displayed in order, and in the latter subframe, the image signal that stimulates the cone of the sub-scene 102, the image signal that stimulates the M cone, and the image signal that stimulates the S cone are displayed in order. There is.
  • the RGB image of the main scene 101 and the RGB image of the sub scene 102 are only displayed alternately for each subframe within one frame, and the observer can display the RGB image of the main scene 101 and the sub scene 101 alternately. It is only possible to observe an image in which the RGB image of the scene 102 is switched at high speed. In other words, it is difficult for the observer to recognize that the RGB image of the main scene 101 and the RGB image of the sub scene 102 are mixed.
  • the image signal that stimulates the L cone, the image signal that stimulates the M cone, and the image signal that stimulates the S cone are all displayed at the same time interval. Will be done. Therefore, the L-cone, M-cone, and S-cone of the observer's photoreceptor cells all receive equal stimuli from each of the main scene 101 and the sub-scene 102 alternately, and the scenes are mixed. It can be said that it is difficult to recognize as if it fits.
  • FIG. 5 shows another operation example of outputting each image signal of the main scene 101 and the sub scene 102 in the time-division color display device 120. Again, it is assumed that one frame is composed of two subframes.
  • the display device 120 operates so as to display an image signal that stimulates the L cone, an image signal that stimulates the M cone, and an image signal that stimulates the S cone in a time-division manner for each subframe of the frame.
  • the image signal that stimulates the L cone of the main scene 101, the image signal that stimulates the M cone, and the image signal that stimulates the S cone are displayed in order.
  • the image signal that stimulates the L cone of the subscene 102, the image signal that stimulates the M cone, and the image signal that stimulates the S cone are displayed in order.
  • the subframes that output the image signals that stimulate the M cones of the main scene 101 and the sub scene 102 are exchanged.
  • the timing at which the sub-scene 102 gives the same stimulus to the M cone of the observer's photoreceptor cells is close, so that the sub-scene 102 gives a large stimulus to the M cone.
  • the subframe T 2-1 the observer mixes each image signal that stimulates the L cone and the S cone of the main scene 101 with the image signal that stimulates the M cone of the sub scene 102. Can be observed.
  • the replacement of the image signals of the main scene 101 and the sub scene 102 is realized by the selection process of the image signal of the selector 110.
  • the subframes that output each image signal that stimulates the L and S cones of the main scene 101 and the sub scene 102 are exchanged.
  • the timing at which the sub-scene 102 gives the same stimulus to the L-cone and S-cone of the observer's photoreceptor cells is close to each other, so that the sub-scene 102 Great stimulation can be given to the L and S cones.
  • the observer mixes each image signal that stimulates the L cone and the S cone of the sub-scene 102 with the image signal that stimulates the M cone of the main scene 101. Can be observed.
  • the observer is made to recognize the combined image of the main scene 101 and the sub scene 102. be able to.
  • FIG. 6 schematically shows an internal configuration example of the display drive device 100 that displays the image signals of the main scene 101 and the sub scene 102 on the time-division color display device 120.
  • the display drive device 100 selects one of the image signals of the main scene 101 and the sub scene 102 for each color element and simultaneously outputs them to the display device 120. Further, in the display drive device 100, not all color elements are selected from the image signals of either the main scene 100 or the sub scene 102 in one subframe, and at least from both the main scene 101 and the sub scene 102. Try to select one color element. As a result, on the screen of the display device 120, an image in which the image signals of the color elements of the main scene 101 and the sub scene 102 are mixed is displayed.
  • FIG. 6 schematically shows an internal configuration example of the display drive device 100 that is mainly specialized in processing the image signal of the color element G.
  • the selector (Sg (direct)) 601 inputs both the image signal G M of the color element G on the main scene 101 side and the image signal G S of the color element G on the sub scene 102 side, and selects one of the signals. First, it is output as a direct signal G (direct) without delay.
  • the delay unit 603 outputs the image signal G (direct) of the color element G of one of the scenes input from the selector 602 with a delay of one subframe section.
  • the selector (Sg (drive)) 604 selects either one of the delay signal G (direct) directly read from the VRAM 130 and the delay signal G (delay) output from the delay unit 603, and drives the display. It is output to the drive unit 605 as an image signal G (drive) for. Then, the display drive signal is output from the drive unit 605 to the display device 120.
  • the selection control unit 605 controls the selection operation of the selector 601, the selector 602, and the selector 604 for each subframe in each frame. Selection control unit 605, if one of the selectors 601 and the selector 602 selects the image signal G M of the main scene 101, as the other selects the image signal G S sub scene 102 side, the selector 601 And the selector 602 are operated.
  • the display drive device 100 has the same configuration as that of FIG. 6 for each color element. It is assumed that However, the selection control unit 605 for each color element operates in cooperation with each other so that only one scene is not delayed output by the image signals of all the color elements. Alternatively, the selectors 601 and 602 and the delay unit 603 are arranged for each color element, and the selection operation of the selectors 601 and 602 of each color element is collectively controlled by the selection control unit 605 common to all the color elements. Good.
  • the delay unit 603 may also serve as an image processing circuit for each color element.
  • the delay time associated with the image processing is used to delay the output of the image signal.
  • the delay unit 603 in this case and a configuration capable of skipping image processing may be provided. For example, when the image signals of the color elements are common in consecutive subframes, the output of the image signals of the color elements to the display device 120 can be omitted (see the above and FIG. 3). Image processing of the image signal in such a subframe is unnecessary.
  • the signals of the color elements R, G, and B are S r , S g , and S b , respectively.
  • the signal when it is directly output from the selector 601 is directed, the signal when it is delayed output via the delay unit 603 is delay, and the signal used for display drive (the signal input to the drive unit 606 in the final stage). ) Will be referred to as drive.
  • subframe T n-1 of the frame T n as follows to assign each color component in the main scene 101 and the sub scene 102.
  • T n-1 (R) RM
  • T n-1 (G) G S
  • T n-1 (B) B S
  • the direct signal, delay signal, and drive signal for each color element are as follows.
  • each color element is assigned to the main scene 101 and the sub scene 102 as follows.
  • T n-2 (R) R s
  • T n-2 (G) G M
  • T n-2 (B) B S
  • the direct signal, delay signal, and drive signal for each color element are as follows.
  • FIG. 7 schematically shows a display drive device 700 that simultaneously displays image signals of a plurality of scenes.
  • the display drive device 700 outputs an image signal to the display device 720 in which each pixel is composed of a plurality of subpixels.
  • each pixel is composed of three sub-pixels including two sub-pixels of each RGB color element.
  • the display drive device 700 reads out the image signals of the main scene 701 and the sub scene 702 developed on the VRAM 730 and outputs them to the display device 720.
  • the main scene 701 and the sub-scene 702 are the same as those described in the first embodiment, and detailed description thereof will be omitted here.
  • the image signal of the main scene 701 is composed of images (image signals) 703 to 705 for each RGB color element.
  • the image signal of the sub-scene 702 is composed of images (image signals) 706 to 708 for each RGB color element.
  • Each image signal of the main scene 701 and the sub scene 702 developed on the VRAM 730 is divided into each RGB color element.
  • the selector 710 in the display drive device 700 has a function of selecting one of the image signals of the main scene 701 and the sub-scene 702 for each sub-pixel of each pixel and outputting the image signal to the display device 720. .. In each pixel, the selector 710 outputs only the image signal of a part of the color elements 703 to 105 of each color element of RGB from the image signal of the main scene 701, while the image signal of the sub scene 702. Outputs only the image signals of the remaining color elements that are not output from the main scene 701.
  • the selector 710 selects the image signals R M and G M of the main scene 701 in each sub-pixel for the color element R and G on the other hand, the sub-pixels for color pixels B selects the image signal B S of the sub-scene 702, and outputs to the display device 720 simultaneously.
  • the sub-pixels for color pixels B selects the image signal B S of the sub-scene 702, and outputs to the display device 720 simultaneously.
  • all the color elements of each scene can be represented by using the total of the color elements of the main scene 701 and the sub scene 702, that is, 6 or more subpixels. ..
  • the selector 710 When the selector 710 outputs the image signals of the main scene 701 and the sub-scene 702, the selector 710 selects one of the image signals of the main scene 701 and the sub-scene 702 for each sub-pixel in each pixel. It is carried out. At that time, the selector 710 does not select only one image signal in all the subpixels in one pixel, and selects all the image signals in one of the subpixels.
  • the allocation of each image signal of the main scene 701 and the sub scene 702 to the subpixel is different for each pixel. That is, the allocation of subpixels changes in the spatial direction. Of course, even for the same pixel, the subpixel allocation may be changed in the time direction (or frame by frame). In any case, the subpixel allocation can be changed in the spatial direction and the temporal direction by the selection operation of the image signal by the selector 710.
  • the composition ratio of the scene is determined based on the ratio of the total number of subpixels assigned to each scene. Subpixel allocation may be fine-tuned depending on the composition ratio of the scene. It is possible to fine-tune the subpixel allocation according to the high resolution of the display device 720 with respect to the resolution of the human visual system. The higher the resolution of the display device 720, the finer the scene composition ratio can be realized.
  • the observer observes the mixed image. Then, when the display device 720 has a resolution sufficiently exceeding the visual resolution of the observer (or a human being), the observer can recognize it as a composite image of the main scene 701 and the sub scene 702.
  • the drawing results for each scene can be presented to the observer as a combined one-frame image without actually synthesizing the drawing results. Further, the load of compositing the images of each scene at the time of authoring or writing to the VRAM 130 is reduced.
  • the pixel configuration shown in FIG. 7 (or the arrangement of subpixels of each color element in the pixel) is only an example, and even if the arrangement of other color elements is used, images of a plurality of scenes can be displayed by the same method. The synthesis process can be realized.
  • the main scene is a display related to the real world such as assistance of traffic conditions
  • the sub scene is a UI display
  • the main scene is more important information.
  • the UI is expected to be displayed in the foreground. For this reason, it is preferable to emphasize and display particularly important information in the main scene so that it is not buried behind the sub scene.
  • the main scene Even if the main scene is not hidden behind the sub scene, if the main scene includes a dark landscape such as at night or in a tunnel, the observer's visibility will be reduced, so important information will be provided. It is preferable to emphasize the display so that it is not buried in the dark.
  • the red component is especially important, such as the warning color of the tail lamp and the red light that should not be overlooked in the traffic light. Therefore, the red component in the main scene needs to be highlighted so that it is not overlaid in the secondary scene.
  • pyramidal cells have a characteristic of high sensitivity to frontal incident but low sensitivity to peripheral incident (Stiles-Crawford effect), it is preferable to highlight the red component located in the peripheral visual field.
  • each color component differs for each observer. For example, elderly people are less sensitive to blue, so it is necessary to highlight the blue component as well. At night, it is preferable to highlight the components in the blue to green range.
  • the observer If the observer has color vision deficiency, it detects an area in the main scene where a color that is difficult to distinguish exists, and highlights it by shaking the brightness or saturation of the color in that area.
  • the main scene can be highlighted by the following procedure, for example.
  • Step 1) Detect the area to be highlighted. Basically, the region of the red component in the main scene is detected. However, areas other than the red component should be detected depending on the attributes or features of the observer, such as the elderly and color blindness.
  • Step 2) Determine the need for highlighting.
  • the area detected in step 1 may always be highlighted. However, since the highlighting changes the field of view in the real world and makes it unnatural, the execution of the highlighting may be controlled as necessary. For example, when the area is overlaid on a sub-scene, the observer recognizes the area, such as when the visibility (of the red component) is reduced due to a dark place such as at night, or when the area is a peripheral vision. When a difficult event occurs, it is determined that highlighting is necessary.
  • Step 3) Perform highlighting.
  • the brightness of the area such as the red component is picked up and emphasized.
  • Color components to be emphasized are added or changed according to the attributes or features of the observer, such as the elderly and color blindness.
  • the area is overlaid on the sub-scene, the area is overlaid on the sub-scene so that it will not be buried.
  • the observer has color vision deficiency, the visibility is not improved only by increasing the brightness, so that the brightness and saturation are fluctuated to make it easier to appeal to the eyes.
  • the technology disclosed in the present specification can be mounted on a mobile device such as an automobile and used, but of course, it can also be applied to various types of information processing devices that display images on a display.
  • the technology disclosed in this specification can also have the following configuration.
  • An information processing device that processes two or more image signals.
  • a division unit that decomposes the image signal for each color element,
  • a selection unit for selecting the color element of the image signal from any one of the color elements of the two or more image signals for each color element.
  • An output unit that outputs the color elements of the image signal for each predetermined area, and Information processing device equipped with.
  • the predetermined area is a subframe obtained by dividing one frame into a plurality of frames in the time direction.
  • the selection unit selectively selects from the color elements of the two or more image signals in each of the subframes.
  • the information processing device according to (2) above.
  • the selection unit selects at least one color element from each of the two or more image signals in one subframe.
  • the number of subframes included in one frame is equal to or greater than the number of image signals.
  • the selection unit selects the color elements of the two or more image signals at least once in the subframe included in the one frame.
  • the selection unit selects all color elements in each of the two or more image signals in a plurality of subframes displayed within a time shorter than the time resolution of the observer's vision.
  • the selection unit does not newly select the image signal by the color in the subsequent subframes.
  • the image signals for each color element selected in each subframe are sequentially output to the time-division color display device.
  • the information processing device according to any one of (2) to (8) above.
  • the selection unit selects the same color element of one image signal in subframes that are close in time.
  • the information processing device according to (2) above.
  • the predetermined area is a subpixel obtained by dividing one pixel into a plurality of pixels.
  • the selection unit selectively selects from the color elements of the two or more image signals for each subpixel in the pixel.
  • the selection unit selects at least one color element from each of the two or more image signals in one pixel.
  • the information processing device according to any one of (11) and (12) above.
  • the number of sub-pixels included in the pixel is equal to or greater than the sum of the color elements of the two or more image signals.
  • the two or more image signals include a main scene and a sub scene.
  • the information processing device according to any one of (1) to (16) above.
  • An information processing method for processing two or more image signals A division step of decomposing the image signal for each color element and A selection step of selecting the color element of the image signal from any one of the color elements of the two or more image signals for each color element, and An output step that outputs the color element of the image signal for each predetermined area, and Information processing method having.
  • a computer program written in a computer-readable format so as to execute processing of two or more image signals on a computer A division unit that decomposes the image signal into color elements, A selection unit that selects the color element of the image signal from any one of the color elements of the two or more image signals for each color element. An output unit that outputs the color elements of the image signal for each predetermined area, A computer program that acts as.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

複数のシーンを低負荷で同時に表示する情報処理装置を提供する。 2以上の画像信号を処理する情報処理装置は、前記画像信号を色要素毎に分解する分割部と、前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部と、所定の領域毎に前記画像信号の色要素を出力する出力部を具備する。前記所定の領域は、1フレームを時間方向で複数に分割したサブフレームである。前記選択部は、各サブフレームのそれぞれにおいて、前記2以上の画像信号の色要素から択一的に選択する。

Description

情報処理装置及び情報処理方法、並びにコンピュータプログラム
 本明細書で開示する技術は、複数のシーンを同時に表示するための処理を実施する情報処理装置及び情報処理方法、並びにコンピュータプログラムに関する。
 例えば車載ヘッドアップディスプレイなどで、複数のシーンをオーバーレイ表示させたいことがある。具体的には、交通状況の補助表示を主シーンとして表示すると同時に、UI(User Interface)を副シーンとして表示させたい場合がある。
 複数のシーンをオーバーレイする方法として、例えば、オーサリング時に複数のシーンを合成して、合成したシーンをVRAM(Video RAM(Random Access Memory))に描画し、ディスプレイに表示出力する方法や、各シーンを描画してそれぞれ一旦中間的なバッファに描画した後、VRAMに描画する際に合成する方法(例えば、特許文献1を参照のこと)などが挙げられる。しかしながら、前者の方法では、オーサリング時に各シーンを合成処理する負荷が大きく、後者の方法でも複数の中間バッファの描画データを合成してVRAMに書き込む際の処理負荷が大きくなることが懸念される。
特開2009-98376号公報
 本明細書で開示する技術の目的は、複数のシーンを低負荷で同時に表示する情報処理装置及び情報処理方法、並びにコンピュータプログラムを提供することにある。
 本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、2以上の画像信号を処理する情報処理装置であって、
 前記画像信号を色要素毎に分解する分割部と、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部と、
 所定の領域毎に前記画像信号の色要素を出力する出力部と、
を具備する情報処理装置である。
 前記所定の領域は、1フレームを時間方向で複数に分割したサブフレームである。前記選択部は、各サブフレームのそれぞれにおいて、前記2以上の画像信号の色要素から択一的に選択する。
 あるいは、前記所定の領域は、1ピクセルを複数に分割したサブピクセルである。前記選択部は、ピクセル内のサブピクセル毎に、前記2以上の画像信号から択一的に選択する。
 また、本明細書で開示する技術の第2の側面は、2以上の画像信号を処理する情報処理方法であって、
 前記画像信号を色要素毎に分解する分割ステップと、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択ステップと、
 所定の領域毎に前記画像信号の色要素を出力する出力ステップと、
を有する情報処理方法である。
 また、本明細書で開示する技術の第3の側面は、2以上の画像信号の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
 前記画像信号を色要素毎に分解する分割部、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部、
 所定の領域毎に前記画像信号の色要素を出力する出力部、
として機能させる、コンピュータプログラムである。
 第3の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、第3の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、第1の側面に係る情報処理装置と同様の作用効果を得ることができる。
 本明細書で開示する技術によれば、情報処理装置及び情報処理方法、並びにコンピュータプログラムを提供することができる。
 なお、本明細書に記載された効果は、あくまでも例示であり、本明細書で開示する技術によりもたらされる効果はこれに限定されるものではない。また、本明細書で開示する技術が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
 本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、表示駆動装置100を概略的に示した図である。 図2は、表示駆動装置100が複数シーンの画像信号を同時表示する手順を示した図である。 図3は、表示駆動装置100の他の動作例を示した図である。 図4は、時分割カラー方式の表示装置120において、主シーン101及び副シーン102の各画像信号を出力する動作例を示した図である。 図5は、時分割カラー方式の表示装置120において、主シーン101及び副シーン102の各画像信号を出力する他の動作例を示した図である。 図6は、表示駆動装置100の内部構成例を示した図である。 図7は、複数シーンの画像信号を同時表示する表示駆動装置700を示した図である。
 以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
 複数のシーンを同時に表示する際に、各シーンの画像を合成する際に大きな処理負荷がかかるという問題がある。そこで、本明細書では、各シーンの画像を合成することなく、各シーンを同時に観察できるように表示する技術について、以下で提案する。
 以下では、説明の簡素化のため、主シーンと副シーンという2種類のシーンを同時に表示する例を中心にして、本明細書で開示する技術を適用した実施形態について説明するが、3種類以上のシーンを同時表示する場合も本明細書で開示する技術を適用可能である。
 また、一般に画像信号は、画素毎にRGBの3つの色要素で構成される。本明細書でも、便宜上、RGBの色要素からなる画像信号を扱う場合の実施形態を中心にして説明する。但し、RGB以外の色空間からなる画像信号を採用する場合であっても、同様に本明細書で開示する技術を適用することができる。
 図1には、本明細書で開示する技術を適用して、複数シーンの画像信号を同時表示する表示駆動装置100を概略的に示している。ここでは、車載ヘッドアップディスプレイを利用して、参照番号101で示す主シーンと、参照番号102で示す副シーンを同時表示する例を示している。表示駆動装置100は、VRAM130上に展開された画像信号を読み出して、表示装置120に出力する。
 ここで、主シーン101の画像信号は例えば交通状況の補助表示であり、副シーン102の画像信号は例えばUIである。但し、いずれの画像信号を主シーン並びに副シーンとするかは特に限定されない。交通状況の補助表示を主シーンに、UIを副シーンにそれぞれ固定してもよいし、重要度に応じて主シーン並びに副シーンとなる画像信号を切り替えるようにしてもよい。また、各画像信号の重要度は、状況(自車の運転状況など)によって動的に変動することも想定される。
 主シーン101並びに副シーン102は、それぞれのオーサリングシステムによって生成され、それぞれ個別にVRAM130上に書き込まれる。オーサリングシステムは、例えば車両制御システムのサブシステムでもよいが、本明細書では詳細な説明を省略する。付言すれば、主シーン101及び副シーン102の各画像信号を生成するシステムは特に限定されない。
 主シーン101の画像信号は、RGBの色要素毎の画(画像信号)103~105からなる。すべての色要素の画像信号103~105を読み出して、表示装置の画面に同時に出力すれば、本来の主シーン101の1フレームが表示されることになる。同様に、副シーン102の画像信号は、RGBの色要素毎の画(画像信号)106~108からなり、すべての色要素の画像信号106~108を読み出して、表示装置の画面に同時に出力すれば、本来の副シーン102の1フレームが表示される。但し、ここで言う「同時に出力」は、複数の色要素の画像信号を時間軸上で完全に同時に出力する場合の他、人間の視覚の時間分解能よりも短い時間内に時分割で出力する場合(後述)も含まれるものとする。
 VRAM130上に展開された主シーン101及び副シーン102の各画像信号は、それぞれRGBの各色要素に分割される。そして、表示駆動装置100内のセレクタ110は、色要素毎に、主シーン101及び副シーン102の各画像信号のいずれかを選択して表示装置120に出力する機能を有している。セレクタ110は、主シーン101の画像信号からは、RGBの各色要素の画像信号103~105のうち一部の色要素の画像信号のみを出力する一方、副シーン102の画像信号からは、主シーン101からは出力しない残りの色要素の画像信号のみを出力するようにする。
 図1に示す例では、セレクタ110は、ある表示区間では、主シーン101の画像信号からはR及びGの画像信号RM及びGMを選択する一方、副シーン102の画像信号からは残りのBの画像信号BSを選択して、これらの各色要素の画像信号を表示装置120に同時に出力する。
 この場合、セレクタ110は、主シーン101及び副シーン102の画像信号を出力する場合において、所定の表示区間(1フレーム)において、色要素毎に主シーン101及び副シーン102の画像信号のうちいずれか1つの画像信号を選択する処理を行っている。その際、セレクタ110は、1つの表示区間で、一方の画像信号のすべての色要素を選択しないようにし、すべての画像信号からいずれかの色要素を選択するようにする。この結果、表示装置120の画面には、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 セレクタ110による各画像信号の色要素選択の結果、当該表示区間では、表示装置120の画面には、主シーン101側の画像信号RM及びGMと副シーン102側の画像信号BSからなるRGBが表示されることになる。主シーン101のRGB画像信号の一部の色要素(図示の例では、B)が副シーン102の画像信号に置き換わって表示されている、ということもできる。この結果、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 但し、上記の表示区間における画像のみでは、主シーン101及び副シーン102ともに一部の色要素が欠けた画像が表示されることになる(主シーン101側の色要素Bの画像信号BMが欠けるとともに、副シーン102色要素R及びGの色要素の画像信号RS及びGSが欠けている)。このため、1つの表示区間のみでは不自然な画像になる。
 そこで、本実施形態では、1フレームを複数のサブフレームに分割して、セレクタ110は、各サブフレームにおいて、色要素毎に主シーン101又は副シーン102のうちいずれか一方の画像信号を択一的に選択して出力する。すなわち、セレクタ110(若しくは、表示駆動装置100)から表示装置120へ、各シーンの描画結果を合成しないまま、各シーンの色要素毎の画像信号が出力される。
 1フレームは、例えば60fps(frame per second)である。1フレームを複数のサブフレームに分割して、表示装置120側ではサブフレーム毎に表示画像を切り替える。1フレームは人間の視覚の時間分解能よりも短い。観察者は、1フレーム内の複数の連続するサブフレームの画像を合成した1枚の画像として認識することになる。したがって、シーン毎の描画結果を実際には合成することなしに、観察者には各シーンを合成した1フレームの画像として提示することができる。また、オーサリング時やVRAM130に書き込み時に各シーンの画像を合成処理する負荷が削減される。
 なお、本実施例では、便宜上、1フレームを3つのサブフレームに分割する例について説明するが、もちろん1フレームを4以上のフレームに分割しても、同様に、観察者は連続する複数のサブフレームの画像を合成した1フレームの画像を認識することができる。
 図2には、図1に示した表示駆動装置100において、複数の連続するサブフレームで主シーン101及び副シーン102の画像信号を同時に表示するための動作例を示している。図2において、フレームT1が、連続する3つのサブフレームT1-1、T1-2、及びT1-3に分割される。
 まず、サブフレームT1-1では、主シーン101の画像信号からはR及びGの画像信号RM及びGMを選択する一方、副シーン102の画像信号からは残りのBの画像信号BSを選択して、これらの各色要素の画像信号を表示装置120に同時に出力する。この結果、サブフレームT1-1では、表示装置120の画面には、主シーン101側の画像信号RM及びGMと副シーン102側の画像信号BSからなるRGBが表示される。すなわち、サブフレームT1-1では、主シーン101のRGB画像信号のうち色要素Bが副シーン102の画像信号に置き換わって表示される。この結果、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 そして、サブフレームT1-1に続くサブフレームT1-2では、セレクタ110は、主シーン101の画像信号からはG及びBの画像信号GM及びBMを選択するとともに、副シーン102の画像信号からは残りのRの画像信号RSを選択して、これらの各色要素の画像信号を表示装置120に同時に出力する。この結果、サブフレームT1-2では、表示装置120の画面には、主シーン101側の画像信号GM及びBMと副シーン102側の画像信号RSからなるRGBが表示される。すなわち、サブフレームT1-2では、主シーン101のRGB画像信号のうち色要素Rが副シーン102の画像信号に置き換わって表示される。この結果、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 主シーン101に関しては、フレームT1内では、連続する2つのサブフレームT1-1とT1-2にまたがって、RGBすべての色要素の画像信号が表示される。したがって、観察者は、連続する2つのサブフレームT1-1とT1-2の画像信号を合成した、すべての色要素を含む正常な主シーン101の画像を認識することができる。
 一方、副シーン102に関しては、サブフレームT1-1では色要素Bのみの画像信号が表示され、サブフレームT1-2では色要素Rのみの画像が表示される。観察者は、連続する2つのサブフレームT1-1とT1-2の画像信号を合成した画像を認識したとしても、色要素Gが未だ欠けた副シーン102を認識することになる。
 さらに続く、サブフレームT1-3では、セレクタ110は、主シーン101の画像信号からは色要素B及びRの画像信号BM及びRMを選択するとともに、副シーン102の画像信号からは残りの色要素Gの画像信号GSを選択して、これらの各色要素の画像信号を表示装置120に同時に出力する。この結果、サブフレームT1-3では、表示装置120の画面には、主シーン101側の画像信号BM及びRMと副シーン102側の画像信号GSからなるRGBが表示される。すなわち、サブフレームT1-3では、主シーン101のRGB画像信号のうち色要素Gが副シーン102の画像信号に置き換わって表示される。この結果、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 ここで、副シーン102に着目すると、フレームT1内の連続する3つのサブフレームT1-1、T1-2、及びT1-3にまたがって、RGBすべての色要素の画像信号が表示される。したがって、観察者は、連続する3つのサブフレームT1-1、T1-2、及びT1-3の画像信号を合成した、すべての色要素を含む正常な副シーン102の画像を認識することができる。
 言い換えれば、表示駆動装置100は、合成したい画像信号の数以上の連続するサブフレームを用いて、観察者が各画像信号についてすべての色要素を合成した正常な画像を認識できるようにすることができる。
 主シーン101及び副シーン102の画像信号毎に、連続する複数のサブフレームですべての色要素を表示することから、観察者は、頭の中で連続するサブフレームを合成して、すべての色要素が揃った正常な1フレームの画像として認識することができる。このような効果を得るために、セレクタ110は、主シーン101及び副シーン102の各画像信号でそれぞれすべての色要素を連続するサブフレームで出力し終えるまで、各画像信号の既に選択した色要素を選択しないようにする。例えば、主シーン101に関しては最初の2つのサブフレームT1-1及びT1-2ですべての色要素の出力が完了しているが、副シーン102に関しては最初の2つのサブフレームT1-1及びT1-2ではまだ色要素Gを出力していない。このため、セレクタ110は、3つ目のサブフレームT1-3では、主シーン101の既に選択した色要素Gの画像信号を選択せず、副シーン102の色要素Gの画像信号を選択するようにする。
 観察者(若しくは、人間)は、視覚の時間分解能より短い時間内に表示されたすべての色要素を合成して認識する。したがって、上述したように、複数の連続するサブフレームの画像を以って主シーン101及び副シーン102ともにすべての色要素を含んだ画像として、観察者に認識させるためには、主シーン101及び副シーン102の各画像信号ですべての色要素を表示するための所要時間を、観察者の視覚の時間分解能よりも短くする必要がある。したがって、セレクタ110は、観察者の視覚の分解能よりも短い時間内となるサブフレーム数で、主シーン101及び副シーン102の各画像信号ですべての色要素を選択する必要がある。
 図2に示す例では、主シーン101及び副シーン102の各画像信号ですべての色要素を表示するためサブフレーム数が3であるから、連続する3サブフレームが観察者の視覚の分解能よりも短い時間内に収まる必要がある。例えば、単板式のDLP(Digital Light Processinig)プロジェクタのような、色要素毎の画像信号を順番に表示する時分割カラー方式のディスプレイを表示装置120として利用することで、連続する3サブフレームにまたがって、主シーン101及び副シーン102の合成画像を観察者に認識させることができる。
 表示装置120に適用される時分割カラー方式のディスプレイの要件は例えば以下の通りである。
(1)高速駆動により、1フレーム内で、RGBの各色要素の画像信号を順番に、少なくとも1回ずつ以上描画できること。
(2)各シーンのRGB色要素を1回ずつそろえたサブフレームを、1フレーム中に複数回表示できること。
 図2に示した動作例は、上記の要件(1)及び(2)を満たす、1フレームにつき3枚のサブフレームを描画する、最もシンプルな事例である。
 ここで、主シーン101のRGBの各色要素の画像信号を、下付き文字Mを使って、RM、GM、BMと表記する。一方、副シーン102のRGBの各色要素の画像信号を、下付き文字Sを使って、RS、GS、BSと表記する。また、n番目のフレームをTnとし、n番目のフレームを分割した3つのサブフレームを時間方向の順にTn-1、Tn-2、Tn-3とする。そして、n番目のフレームを分割したi番目のサブフレームでセレクタ110から出力される(若しくは、表示装置120の画面に時分割で順に表示される)色要素をそれぞれTn-i(R)、Tn-i(G)、Tn-i(B)と表す(但し、iは1~3の整数とする)。図2に示した動作例では、1番目のフレームT1の各サブフレームT1-1、T1-2、T1-3で、セレクタ110から出力される各色要素は、以下の通りとなる。
1-1(R)=RM、T1-1(G)=GM、T1-1(B)=BS
1-2(R)=RS、T1-2(G)=GM、T1-2(B)=BM
1-3(R)=RM、T1-3(G)=GS、T1-3(B)=BM
 表示駆動装置100は、サブフレーム毎に、主シーン101及び副シーン102の色要素の画像信号を混合して出力している。また、セレクタ110は、サブフレーム毎に、主シーン101及び副シーン102の各々から選択する色要素を切り替えている。但し、表示駆動装置100内では、連続する複数のサブフレームで、主シーン101及び副シーン102の画像信号を色要素毎に切り替えて出力しているだけで、主シーン101及び副シーン102の描画結果を合成する処理を行ってはいない。
 時分割カラー方式の表示装置120を用いる場合には、表示駆動装置100は、各サブフレームで、色要素毎の画像信号を順次出力する。その際、セレクタ110は、各色要素で、主シーン101及び副シーン102のうち一方を選択する。図2に示す例では、表示装置120は、フレームT1において、以下の順番で色要素毎の画像信号を時分割で描画することになる。
1-1(R)→T1-1(G)→T1-1(B)→T1-2(R)→T1-2(G)→T1-2(B)→T1-3(R)→T1-3(G)→T1-3(B)
 上記の色要素毎の画像信号の表示順を、主シーン101及び副シーン102のシーン種別で表すと、以下の通りとなる。
M→GM→BS→RS→GM→BM→RM→GS→BM
 時分割カラー方式の表示装置120が上記の順番で色要素毎の画像信号を時分割で描画することで、シーン毎の描画結果を実際には合成することなしに、観察者には各シーンを合成した1フレームの画像として提示することができる。
 ここで、観察者が認識する1フレームの画像内における主シーン101と副シーン102の合成比率について考察してみる。図2に示す動作例では、1フレーム内で、主シーン101の各色要素RM、GM、BMの出現回数が2回であるのに対し、副シーン102の各色要素RS、GS、BSの出現回数は1回である。何故ならば、サブフレーム毎の主シーン101からは2枚の色要素の画像信号が出力され、副シーン102からは1枚の色要素の画像信号が出力されるからである。1フレームでは、主シーン101からは6枚の色要素の画像信号が出力され、副シーン102からは3枚の色要素の画像信号が出力される。したがって、単純には、主シーン101と副シーン102の合成比率は、単純には2:1ということになる。
 主シーン101と副シーン102の合成比率を1:1にするには、フレーム毎の各シーンからの色要素の画像信号の出現回数を一致させればよい。あるいは輝度調整により合成比率を1:1にするようにしてもよい。例えば、1番目のフレームT1の各サブフレームT1-1、T1-2、T1-3において、以下に示すように、主シーン101の各色要素の画像信号の輝度を2分の1とするように輝度調整する。
1-1(R)=RM×1/2、T1-1(G)=GM×1/2、T1-1(B)=BS
1-2(R)=RS、T1-2(G)=GM×1/2、T1-2(B)=BM×1/2
1-3(R)=RM×1/2、T1-3(G)=GS、T103(B)=BM×1/2
 輝度調整をシフトのみの軽いものにし、サブフレーム毎の各シーンへの色要素の割り当てと組み合わせることによって、合成比率を細かく調整することができる。また、時分割の粒度をより細かくすると(すなわち、1フレームを構成するサブフレーム数を増やすと)、合成比率を細かく調整することができる。
 図3には、図1に示した表示駆動装置100の他の動作例を示している。図3に示す動作例も、図2と同様に、1フレームを3つのサブフレームに分割し、連続する3つサブフレームで主シーン101及び副シーン102の画像信号を同時に表示するものである。また、図3に示す動作例における、1フレーム内のサブフレーム毎の各シーンへの色要素の割り当ては、図2に示した動作例と同じく、以下の組み合わせで行われるものとする。
1-1(R)=RM、T1-1(G)=GM、T1-1(B)=BS
1-2(R)=RS、T1-2(G)=GM、T1-2(B)=BM
1-3(R)=RM、T1-3(G)=GS、T103(B)=BM
 この動作例によれば、連続するサブフレームT1-1とT1-2でともに主シーン101の色要素Gの画像信号(GM)が選択されている。このように、連続するサブフレームで色要素の画像信号が共通する場合には、最初のサブフレームT1-1で画像信号GMが既に表示装置120に届いているので、後続のサブフレームT1-2ではその画像信号GMを伝送しないようにしてもよい。あるいは、セレクタ110は、連続するサブフレームで色要素のシーンが共通する場合には、後続のサブフレームではその色要素の画像信号を選択しないようにしてもよい。
 また、図3に示す動作例では、連続するサブフレームT1-2とT1-3間でも、共通してシーン101の色要素Bの画像信号(BM)が選択されている。したがって、この場合も、後続のサブフレームT1-3ではその画像信号BMを伝送しないようにしてもよい。あるいは、セレクタ110は、後続のサブフレームT1-3では色要素Bの画像信号を選択しないようにしてもよい。
 人の目の網膜には、人が物体の形や色を識別するために必要な視細胞が存在している。視細胞は、明暗を認識するための杆体と、色を認識するための錐体とを含む。錐体には、赤(R)を認識するためのL錐体と、緑(G)を認識するためのM錐体と、青(B)を認識するためのS錐体とがある。視細胞の錐体としてL錐体とM錐体とS錐体のすべてを備えている観察者であれば、RGBの3原色をそれぞれ認識することができ、3原色で表現されている色を正常に見ることができる。
 図4には、時分割カラー方式の表示装置120において、主シーン101及び副シーン102の各画像信号を出力する動作例を示している。但し、ここでは1フレームを2つのサブフレームに分割している。
 図4に示す例では、表示装置120は、各フレームの前半のサブフレームでは、主シーン101のL錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号を順に表示し、後半のサブフレームでは、副シーン102の錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号を順に表示するように動作している。
 図4に示す動作例では、1フレーム内で主シーン101のRGB画像と副シーン102のRGB画像がサブフレーム毎に交互に表示されるだけであり、観察者は主シーン101のRGB画像と副シーン102のRGB画像が高速で切り替わる映像を観察することしかできない。言い換えれば、観察者は、主シーン101のRGB画像と副シーン102のRGB画像が混ざり合っているようには認識し難い。
 図4を参照すると、主シーン101と副シーン102の各々で、L錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号はすべて同じ時間間隔で表示される。このため、観察者の視細胞のL錐体、M錐体、及びS錐体はいずれも、主シーン101と副シーン102の各々から均等な刺激を交互に受けるだけであり、各シーンが混じり合ったようには認識し難い、ということができる。
 図5には、時分割カラー方式の表示装置120において、主シーン101及び副シーン102の各画像信号を出力する他の動作例を示している。ここでも、1フレームは2つのサブフレームで構成されるものとする。
 表示装置120は、フレームのサブフレーム毎に、L錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号を時分割で表示するように動作する。1番目のフレームT1内では、前半のサブフレームでは、主シーン101のL錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号を順に表示し、後半のサブフレームでは、副シーン102のL錐体を刺激する画像信号、M錐体を刺激する画像信号、S錐体を刺激する画像信号を順に表示するように動作する。
 続く、2番目のフレームT2内で、主シーン101と副シーン102のM錐体を刺激する画像信号を出力するサブフレームの入れ替えを行っている。この結果、図5中の参照番号501で示すように、副シーン102が観察者の視細胞のM錐体に同じ刺激を与えるタイミングが近接するので、副シーン102がM錐体に大きな刺激を与えることができる。この結果、観察者は、サブフレームT2-1において、主シーン101のL錐体及びS錐体を刺激する各画像信号と、副シーン102のM錐体を刺激する画像信号とを混ぜて観察することができる。なお、主シーン101と副シーン102の画像信号の入れ替えは、セレクタ110の画像信号の選択処理によって実現される。
 また、3番目のフレームT3内で、主シーン101と副シーン102のL錐体及びS錐体を刺激する各画像信号を出力するサブフレームの入れ替えを行っている。この結果、図5中の参照番号502及び503で示すように、副シーン102が観察者の視細胞のL錐体及びS錐体に同じ刺激を与えるタイミングがそれぞれ近接するので、副シーン102がL錐体及びS錐体に大きな刺激を与えることができる。この結果、観察者は、サブフレームT2-1において、副シーン102のL錐体及びS錐体を刺激する各画像信号と、主シーン101のM錐体を刺激する画像信号とを混ぜて観察することができる。
 このように時間方向(若しくは、フレーム毎に)で、同じ画像信号が錐体を刺激する時間間隔に粗密を設けることで、観察者に、主シーン101と副シーン102を合成した画像を認識させることができる。
 図6には、主シーン101及び副シーン102の画像信号を時分割カラー方式の表示装置120に表示させる表示駆動装置100の内部構成例を模式的に示している。
 上述したように、表示駆動装置100は、色要素毎に、主シーン101及び副シーン102の各画像信号のいずれかを選択して、表示装置120に同時出力する。また、表示駆動装置100内では、1つのサブフレームで、主シーン100又は副シーン102のいずれか一方の画像信号からすべての色要素を選択せず、主シーン101及び副シーン102の双方から少なくとも1つの色要素を選択するようにする。この結果、表示装置120の画面には、主シーン101と副シーン102の各々の色要素の画像信号が混ざり合った画像が表示されることになる。
 図6では、主に色要素Gの画像信号の処理に特化した表示駆動装置100の内部構成例を模式的に示している。セレクタ(Sg(direct))601は、主シーン101側の色要素Gの画像信号GM並びに副シーン102側の色要素Gの画像信号GSをともに入力して、いずれか一方の信号を択一的に、遅延のない直接信号G(direct)として出力する。また、セレクタ(Sg(delay))602は、主シーン101側の色要素Gの画像信号GM並びに副シーン102側の色要素Gの画像信号GSをともに入力して、いずれか一方の信号を択一的に遅延部603に出力する。
 遅延部603は、セレクタ602から入力されたいずれか一方のシーンの色要素Gの画像信号G(direct)を、1サブフレーム区間分だけ遅延させて出力する。セレクタ(Sg(drive))604は、VRAM130から直接読み出した遅延のない信号G(direct)と、遅延部603から出力される遅延信号G(delay)のうちいずれか一方を選択して、表示駆動用の画像信号G(drive)として駆動部605に出力する。そして、駆動部605から表示装置120へ、表示駆動信号が出力される。
 選択制御部605は、各フレームにおいてサブフレーム毎に、セレクタ601、セレクタ602、及びセレクタ604の選択動作を制御する。選択制御部605は、セレクタ601及びセレクタ602のうち一方が主シーン101側の画像信号GMを選択した場合には、他方が副シーン102側の画像信号GSを選択するように、セレクタ601及びセレクタ602を動作させる。
 なお、図面の簡素化のため、R及びBの色要素の画像信号を処理するための構成については図示を省略したが、表示駆動装置100は、色要素毎に図6と同様の構成を備えているものとする。但し、一方のシーンのみがすべての色要素の画像信号で遅延出力されないように、色要素毎の選択制御部605は連係動作するものとする。あるいは、セレクタ601及び602と遅延部603は色要素毎に配置され、すべての色要素で共通の選択制御部605によって各色要素のセレクタ601及び602の選択動作を統括的に制御するようにしてもよい。
 また、遅延部603は、色要素毎の画像処理回路を兼用してもよい。この場合、画像処理に伴う遅延時間を利用して、画像信号の出力に遅延を与えるようにする。また、この場合の遅延部603、画像処理をスキップできる構成を備えていてもよい。例えば連続するサブフレームで色要素の画像信号が共通する場合には、その色要素の画像信号の表示装置120への出力を省略することができるが(前述、並びに図3を参照のこと)、このようなサブフレームにおける画像信号の画像処理は不要である。
 続いて、表示駆動装置100の動作について説明する。但し、色要素R、G、及びBの信号をそれぞれSr、Sg、Sbとする。また、セレクタ601から直接出力される場合の信号をdirect、遅延部603を介して遅延出力される場合の信号をdelay、表示駆動に使用される信号(最終段の駆動部606に入力される信号)をdriveと表記することとする。
 フレームTnのサブフレームTn-1で、以下のように各色要素を主シーン101及び副シーン102に割り当てるとする。
n-1(R)=RM、Tn-1(G)=GS、Tn-1(B)=BS
 このとき、表示駆動装置100が主シーン101の画像信号を受信すると(若しくは、VRAM130から読み出すと)、色要素毎のdirect信号、delay信号、及びdrive信号は以下の通りとなる。
r(direct)=RM、Sg(direct)=GM、Sb(direct)=BM
r(delay)=Rs、Sg(delay)=Gs、Sb(delay)=Bs
r(drive)=R(direct)、Sg(drive)=G(delay)、Sb(drive)=B(delay)
 続くフレームTnのサブフレームTn-2で、以下のように各色要素を主シーン101及び副シーン102に割り当てるとする。
n-2(R)=Rs、Tn-2(G)=GM、Tn-2(B)=BS
 このとき、表示駆動装置100が副シーン102の画像信号を受信すると(若しくは、VRAM130から読み出すと)、色要素毎のdirect信号、delay信号、及びdrive信号は以下の通りとなる。
r(direct)=Rs、Sg(direct)=Gs、Sb(direct)=Bs
r(delay)=RM、Sg(delay)=GM、Sb(delay)=BM
r(drive)=R(direct)、Sg(drive)=G(delay)、Sb(drive)=B(direct)
 図7には、複数シーンの画像信号を同時表示する表示駆動装置700を概略的に示している。ここでは、表示駆動装置700は、各ピクセルが複数のサブピクセルからなる表示装置720に画像信号を出力するものとする。図7では、説明の簡素化のため、1ピクセルは、RGBの各色要素のサブピクセルを2つずつ含んだ、3つのサブピクセルで構成されるものとする。
 表示駆動装置700は、VRAM730上に展開された主シーン701及び副シーン702の各画像信号を読み出して、表示装置720に出力する。ここで、主シーン701及び副シーン702は、上記実施例1で説明したものと同様であり、ここでは詳細な説明を省略する。主シーン701の画像信号は、RGBの色要素毎の画(画像信号)703~705からなる。同様に、副シーン702の画像信号は、RGBの色要素毎の画(画像信号)706~708からなる。
 VRAM730上に展開された主シーン701及び副シーン702の各画像信号は、それぞれRGBの各色要素に分割される。そして、表示駆動装置700内のセレクタ710は、各ピクセルのサブピクセル毎に、主シーン701及び副シーン702の各画像信号のいずれかを選択して表示装置720に出力する機能を有している。セレクタ710は、各ピクセルにおいて、主シーン701の画像信号からは、RGBの各色要素の画像信号703~105のうち一部の色要素の画像信号のみを出力する一方、副シーン702の画像信号からは、主シーン701からは出力しない残りの色要素の画像信号のみを出力するようにする。
 図7に示す例では、セレクタ710は、紙面左上端のピクセル内の3つのサブピクセルでは、色要素R及びG用の各サブピクセルには主シーン701の画像信号RM及びGMを選択する一方、色画素B用のサブピクセルには副シーン702の画像信号BSを選択して、表示装置720に同時に出力する。他のピクセルについては詳細な説明を省略するが、主シーン701及び副シーン702の色要素の合計以上、すなわち6以上のサブピクセルを用いて、各シーンのすべての色要素を表現することができる。セレクタ710は、主シーン701及び副シーン702の画像信号を出力する場合において、各ピクセルにおいて、サブピクセル毎に主シーン701及び副シーン702の画像信号のうちいずれか1つの画像信号を選択する処理を行っている。その際、セレクタ710は、1つのピクセル内のすべてのサブピクセルで一方の画像信号のみを選択しないようにし、すべての画像信号をいずれかのサブピクセルに選択するようにする。
 主シーン701及び副シーン702の各画像信号のサブピクセルへの割り当ては、各ピクセルで異なる。すなわち、空間方向でサブピクセルの割り当てが変化している。もちろん、同じピクセルでも、時間方向で(若しくは、フレーム毎に)サブピクセルの割り当てを変化させるようにしてもよい。いずれにせよ、セレクタ710による画像信号の選択動作によって、サブピクセルの割り当てを空間方向並びに時間方向で変化させることができる。また、シーン毎に割り当てられたサブピクセルの総数の比に基づいて、シーンの合成比率が決まる。シーンの合成比率に応じて、サブピクセルの割り当てを微調整してもよい。人間の視覚系の分解能に対する表示装置720の解像度の高さに応じて、サブピクセルの割り当てを微調整することが可能である。表示装置720の解像度が高精細になるほど、細かいシーン合成比率を実現することができる。
 このようにして、ピクセル毎に主シーン701の色要素の画像信号と副シーン702の色要素の画像信号が配置される結果、観察者は混ざり合った画像を観察することになる。そして、表示装置720が観察者(若しくは、人間)の視覚分解能を十分超えるような解像度を有する場合には、観察者は、主シーン701と副シーン702の合成画像として認識することができる。
 本実施例においても、シーン毎の描画結果を実際には合成することなしに、観察者には各シーンを合成した1フレームの画像として提示することができる。また、オーサリング時やVRAM130に書き込み時に各シーンの画像を合成処理する負荷が削減される。なお、図7に示したピクセルの構成(若しくは、ピクセル内の各色要素のサブピクセルの配列)は一例に過ぎず、他の色要素の配列であっても、同様の方法により複数シーンの画像の合成処理を実現することができる。
 各実施例において、主シーンは交通状況の補助など現実世界に関する表示であり、副シーンはUI表示であり、主シーンの方の重要度が高い情報であることを想定している。他方、UIは最前面に表示されることが想定される。このため、主シーンのうち、とりわけ重要な情報は、副シーンの後方に埋没されないように、強調して表示することが好ましい。
 また、主シーンが副シーンの後方に隠れない場合であっても、主シーンが夜間やトンネル内など暗所の風景を含む場合には、観察者の視認性が低下するので、重要な情報が暗闇に埋没しないように、強調して表示することが好ましい。
 主シーン中では、テールランプなどの警告色や、信号機で最も見逃してはいけない赤信号など、赤成分がとりわけ重要ということができる。したがって、主シーン中の赤成分は、副シーンでオーバーレイされないように、強調表示する必要がある。
 夜間は赤い服の認識率が低下するので(桿体細胞は、錐体細胞とともに働き、弱い光でも働くが、色の区別はできない)、明度に応じて赤成分を強調表示することが好ましい。
 また、錐体細胞は、正面入射に感度が高いが周辺入射に感度が低いという特性があるので(Stiles-Crawford効果)、周辺視野に位置する赤成分を強調表示することが好ましい。
 観察者毎に、各色成分の感度が相違するという問題もある。例えば、高齢者は青色の感度が低下するので、青成分についても強調表示する必要が生じる。夜間は、青~緑の範囲の成分を強調表示することが好ましい。
 また、観察者が色覚異常の場合には、主シーン中で区別し難い色が存在する領域を検出し、その領域の色の輝度や彩度を揺るがせるなどして強調表示する。
 主シーンの強調表示は、例えば以下の手順により実施することができる。
ステップ1)強調表示すべき領域を検出する。
 基本的には、主シーン中の赤成分の領域を検出する。但し、高齢者や色覚異常など、観察者の属性若しくは素性によって、赤成分以外の領域も検出するようにする。
ステップ2)強調表示の必要性を判定する。
 ステップ1で検出した領域に対して常に強調表示を実施するようにしてもよい。但し、強調表示することによって現実世界の視野が変化し不自然になることから、必要性に応じて、強調表示の実行を制御するようにしてもよい。例えば、当該領域が副シーンにオーバーレイされる場合、夜間などの暗所のため(赤成分の)視認性が低下したとき、当該領域が周辺視野であるときなど、観察者が当該領域を認識し難い事象が発生したときには、強調表示が必要であると判定する。
ステップ3)強調表示を実行する。
 赤成分など当該領域の輝度を釣り上げて強調する。高齢者や色覚異常など、観察者の属性若しくは素性に応じて、強調すべき色成分は追加又は変更される。また、当該領域が副シーンにオーバーレイされる場合には、当該領域を副シーンの上にオーバーレイして、埋没しないようにする。観察者が色覚異常の場合には、輝度を高くするだけでは視認性は向上しないので、輝度や彩度を揺らがせて、視覚に訴え易くする。
 以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
 本明細書では、主シーンと副シーンという2種類のシーンを同時に表示する実施形態を中心に説明してきたが、3種類以上のシーンを同時表示する場合も本明細書で開示する技術を適用可能である。また、本明細書では、RGBの色要素からなる画像信号を扱う場合の実施形態を中心に説明してきたが、RGB以外の色空間からなる画像信号を採用する場合であっても、同様に本明細書で開示する技術を適用することができる。
 本明細書で開示する技術は、例えば自動車などの移動体装置に搭載して利用することができるが、もちろんディスプレイに画像を表示するさまざまなタイプの情報処理装置にも適用することができる。
 要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
 なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)2以上の画像信号を処理する情報処理装置であって、
 前記画像信号を色要素毎に分解する分割部と、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部と、
 所定の領域毎に前記画像信号の色要素を出力する出力部と、
を具備する情報処理装置。
(2)前記所定の領域は、1フレームを時間方向で複数に分割したサブフレームである、
上記(1)に記載の情報処理装置。
(3)前記選択部は、各サブフレームのそれぞれにおいて、前記2以上の画像信号の色要素から択一的に選択する、
上記(2)に記載の情報処理装置。
(4)前記選択部は、1つのサブフレームにおいて、前記2以上の画像信号夫々から少なくとも1つの色要素を選択する、
上記(2)又は(3)のいずれかに記載の情報処理装置。
(5)1つの前記フレームに含まれるサブフレームの数は画像信号の数以上である、
上記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)前記選択部は、1つの前記フレームに含まれるサブフレームにおいて、前記2以上の画像信号の色要素を少なくとも1回選択する、
上記(2)乃至(5)のいずれかに記載の情報処理装置。
(7)前記選択部は、観察者の視覚の時間分解能よりも短い時間内で表示される複数のサブフレームにおいて、前記2以上の画像信号の各々ですべての色要素を選択する、
上記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)連続するサブフレームで選択される色要素の画像信号が共通する場合には、後続のサブフレームではその画像信号を新たに出力しない、
上記(2)乃至(7)のいずれかに記載の情報処理装置。
(8-1)連続するサブフレームで色要素の画像信号が共通する場合には、前記選択部は、後続のサブフレームではその色がその画像信号を新たに選択しない、
上記(8)に記載の情報処理装置。
(9)各サブフレームで選択した色要素毎の画像信号を、時分割カラー方式の表示装置に順に出力する、
上記(2)乃至(8)のいずれかに記載の情報処理装置。
(10)前記選択部は、1つの画像信号の同じ色要素を時間的に接近したサブフレームで選択する、
上記(2)に記載の情報処理装置。
(11)前記所定の領域は、1ピクセルを複数に分割したサブピクセルである、
上記(1)に記載の情報処理装置。
(12)前記選択部は、ピクセル内のサブピクセル毎に、前記2以上の画像信号の色要素から択一的に選択する、
上記(12)に記載の情報処理装置。
(13)前記選択部は、1つのピクセル内において、前記2以上の画像信号それぞれから少なくとも1つの色要素を選択する、
上記(11)又は(12)のいずれかに記載の情報処理装置。
(14)ピクセルに含まれるサブピクセルの数は前記2以上の画像信号の色要素の合計以上である、
上記(11)乃至(13)のいずれかに記載の情報処理装置。
(15)前記画像信号の一部の色要素を強調表示するように制御する、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(16)観察者の視覚に応じて、前記画像信号の一部の色要素を強調表示するように制御する、
上記(15)に記載の情報処理装置。
(17)前記2以上の画像信号は、主シーンと副シーンを含む、
上記(1)乃至(16)のいずれかに記載の情報処理装置。
(17-1)前記2以上の画像信号は、重要度に応じて前記主シーンと前記副シーンに割り当てられる、
上記(18)に記載の情報処理装置。
(18)2以上の画像信号を処理する情報処理方法であって、
 前記画像信号を色要素毎に分解する分割ステップと、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択ステップと、
 所定の領域毎に前記画像信号の色要素を出力する出力ステップと、
を有する情報処理方法。
(19)2以上の画像信号の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
 前記画像信号を色要素毎に分解する分割部、
 前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部、
 所定の領域毎に前記画像信号の色要素を出力する出力部、
として機能させる、コンピュータプログラム。
 100…表示駆動装置、110…セレクタ
 120…表示装置、130…VRAM
 601…セレクタ(Sg(direct))
 602…セレクタ(Sg(delay))、603…遅延部
 604…セレクタ(Sg(drive))、605…選択制御部
 606…駆動部
 700…表示駆動装置、710…セレクタ
 720…表示装置、730…VRAM

Claims (19)

  1.  2以上の画像信号を処理する情報処理装置であって、
     前記画像信号を色要素毎に分解する分割部と、
     前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部と、
     所定の領域毎に前記画像信号の色要素を出力する出力部と、
    を具備する情報処理装置。
  2.  前記所定の領域は、1フレームを時間方向で複数に分割したサブフレームである、
    請求項1に記載の情報処理装置。
  3.  前記選択部は、各サブフレームのそれぞれにおいて、前記2以上の画像信号の色要素から択一的に選択する、
    請求項2に記載の情報処理装置。
  4.  前記選択部は、1つのサブフレームにおいて、前記2以上の画像信号夫々から少なくとも1つの色要素を選択する、
    請求項2に記載の情報処理装置。
  5.  1つの前記フレームに含まれるサブフレームの数は画像信号の数以上である、
    請求項2に記載の情報処理装置。
  6.  前記選択部は、1つの前記フレームに含まれるサブフレームにおいて、前記2以上の画像信号の色要素を少なくとも1回選択する、
    請求項2に記載の情報処理装置。
  7.  前記選択部は、観察者の視覚の時間分解能よりも短い時間内で表示される複数のサブフレームにおいて、前記2以上の画像信号の各々ですべての色要素を選択する、
    請求項2に記載の情報処理装置。
  8.  連続するサブフレームで選択される色要素の画像信号が共通する場合には、後続のサブフレームではその画像信号を新たに出力しない、
    請求項2に記載の情報処理装置。
  9.  各サブフレームで選択した色要素毎の画像信号を、時分割カラー方式の表示装置に順に出力する、
    請求項2に記載の情報処理装置。
  10.  前記選択部は、1つの画像信号の同じ色要素を時間的に接近したサブフレームで選択する、
    請求項2に記載の情報処理装置。
  11.  前記所定の領域は、1ピクセルを複数に分割したサブピクセルである、
    請求項1に記載の情報処理装置。
  12.  前記選択部は、ピクセル内のサブピクセル毎に、前記2以上の画像信号の色要素から択一的に選択する、
    請求項11に記載の情報処理装置。
  13.  前記選択部は、1つのピクセル内において、前記2以上の画像信号それぞれから少なくとも1つの色要素を選択する、
    請求項11に記載の情報処理装置。
  14.  ピクセルに含まれるサブピクセルの数は前記2以上の画像信号の色要素の合計以上である、
    請求項11に記載の情報処理装置。
  15.  前記画像信号の一部の色要素を強調表示するように制御する、
    請求項1に記載の情報処理装置。
  16.  観察者の視覚に応じて、前記画像信号の一部の色要素を強調表示するように制御する、
    請求項15に記載の情報処理装置。
  17.  前記2以上の画像信号は、主シーンと副シーンを含む、
    請求項1に記載の情報処理装置。
  18.  2以上の画像信号を処理する情報処理方法であって、
     前記画像信号を色要素毎に分解する分割ステップと、
     前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択ステップと、
     所定の領域毎に前記画像信号の色要素を出力する出力ステップと、
    を有する情報処理方法。
  19.  2以上の画像信号の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータプログラムであって、前記コンピュータを、
     前記画像信号を色要素毎に分解する分割部、
     前記色要素毎に前記2以上の画像信号の色要素のうちいずれか1つの前記画像信号の色要素を選択する選択部、
     所定の領域毎に前記画像信号の色要素を出力する出力部、
    として機能させる、コンピュータプログラム。
PCT/JP2020/002857 2019-03-29 2020-01-27 情報処理装置及び情報処理方法、並びにコンピュータプログラム WO2020202746A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/440,851 US20220148486A1 (en) 2019-03-29 2020-01-27 Information processing apparatus and information processing method as well as computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019068140 2019-03-29
JP2019-068140 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020202746A1 true WO2020202746A1 (ja) 2020-10-08

Family

ID=72668098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002857 WO2020202746A1 (ja) 2019-03-29 2020-01-27 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Country Status (2)

Country Link
US (1) US20220148486A1 (ja)
WO (1) WO2020202746A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313343A (ja) * 1998-04-30 1999-11-09 Sharp Corp 立体表示用画像作成回路およびそれを用いた立体画像表示装置
WO2011114647A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 プラズマディスプレイ装置
JP2014216920A (ja) * 2013-04-26 2014-11-17 株式会社ジャパンディスプレイ 表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI348149B (en) * 2007-11-12 2011-09-01 Au Optronics Corp Method for driving field sequential lcd backlight
JP5589544B2 (ja) * 2009-06-17 2014-09-17 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2015087598A1 (ja) * 2013-12-09 2015-06-18 シャープ株式会社 画像表示装置およびその駆動方法
US10699663B2 (en) * 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313343A (ja) * 1998-04-30 1999-11-09 Sharp Corp 立体表示用画像作成回路およびそれを用いた立体画像表示装置
WO2011114647A1 (ja) * 2010-03-18 2011-09-22 パナソニック株式会社 プラズマディスプレイ装置
JP2014216920A (ja) * 2013-04-26 2014-11-17 株式会社ジャパンディスプレイ 表示装置

Also Published As

Publication number Publication date
US20220148486A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP3878030B2 (ja) 画像表示装置及び画像表示方法
JP3766274B2 (ja) 時分割カラー表示装置および表示方法
JP4116330B2 (ja) デジタル・ビデオ・パイプライン内で異なるグラフィックス形式を組み合わせるイメージ・プロセッサおよび画像処理方法
JP5136424B2 (ja) 画像処理装置、方法及びプログラム並びに表示装置
JP2003022061A (ja) 画像表示方法
CN100370321C (zh) 液晶显示装置以及相应的驱动方法
KR20150008712A (ko) 신호 처리 방법, 신호 처리 장치, 및 신호 처리 장치를 포함하는 표시 장치
JP2007271842A (ja) 表示装置
CN104471922A (zh) 显示装置
US20020196369A1 (en) Method and device for displaying at least two images within one combined picture
JPH0990916A (ja) 表示装置
JP2004117431A (ja) カラー表示装置
WO2012157553A1 (ja) 画像表示装置および画像表示方法
JP5827682B2 (ja) 画像表示装置および画像表示方法
WO2020202746A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
KR20130024720A (ko) 크로스토크 보정량 평가 장치 및 크로스토크 보정량 평가 방법
JP2015154420A (ja) 表示装置
JP2004166886A (ja) 遊技機
KR102593453B1 (ko) 가상 현실용 디스플레이 시스템 및 그 구동 방법
EP1104576A1 (en) Increasing color purity in color-sequential liquid crystal display
JP3834322B2 (ja) 画像表示装置及び画像表示方法
JPH06342269A (ja) Led表示装置
WO2013150913A1 (ja) 画像表示装置および画像表示方法
JP3080087B2 (ja) 画像処理方法及びその装置
JP5561081B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20781840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20781840

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP