WO2010150554A1 - 立体視画像表示装置 - Google Patents

立体視画像表示装置 Download PDF

Info

Publication number
WO2010150554A1
WO2010150554A1 PCT/JP2010/004243 JP2010004243W WO2010150554A1 WO 2010150554 A1 WO2010150554 A1 WO 2010150554A1 JP 2010004243 W JP2010004243 W JP 2010004243W WO 2010150554 A1 WO2010150554 A1 WO 2010150554A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
pointer
parallax
stereoscopic image
Prior art date
Application number
PCT/JP2010/004243
Other languages
English (en)
French (fr)
Inventor
松井典弘
山田和範
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/322,268 priority Critical patent/US8687053B2/en
Priority to JP2011519612A priority patent/JP5497758B2/ja
Publication of WO2010150554A1 publication Critical patent/WO2010150554A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Definitions

  • the present invention relates to a stereoscopic image display device that generates a stereoscopic image having parallax from a plurality of images, and particularly relates to improvement in visibility.
  • a right-eye image corresponding to the visual field viewed from the right eye and a left-eye image corresponding to the visual field viewed from the left eye are prepared. There is one that projects the image for the left eye only.
  • a stereoscopic effect can be obtained from the parallax that is the amount of displacement in the horizontal direction between the right-eye image and the left-eye image, and the stereoscopic image display technique is used for a movie or the like that allows a subject to be viewed stereoscopically. With the spread of such technology, it is expected that devices for editing stereoscopic images taken at home will be used in the future.
  • a pointer image may be displayed on the same screen as the stereoscopic image for the purpose of specifying an object in the image or specifying a display area.
  • the pointer image itself is provided with a parallax and is stereoscopically expressed and synthesized as a stereoscopic image so that the object can be pointed more accurately.
  • the display depth of the pointer image is fixed, if the display depth of the object pointed to by the pointer is different from the display depth of the pointer image, the pointer image is doubled when the user focuses on the object. Visible and focused on the pointer creates a visibility problem that the object appears double.
  • Patent Document 1 discloses a technique for correcting the display depth of the pointer image so as to match the display depth of the indicated object.
  • a pointer image to be combined with a right-eye image in accordance with the parallax of a stereoscopic image at a pointing position desired to be pointed by a pointer image that is, a shift amount between a right-eye image and a left-eye image
  • the pointer image to be combined with the left-eye image has a parallax.
  • the display depths of the stereoscopic image and the pointer image at the pointing position are matched to improve the visibility.
  • the user's eyes cannot adapt to a sudden change in parallax, and the focus is deviated from the pointer image, resulting in a problem that visibility is impaired.
  • the pointing position is indicated using a pointing device such as a mouse, but the pointer moves slightly in response to slight hand vibrations that are not intended by the user, so that the pointer moves between subjects with greatly different display depths. May occur. Particularly in such a case, a depth change unintended by the user occurs in the pointer image, so that the visibility problem becomes significant.
  • the difference in the amount of parallax is large because the object on the side of the stereoscopic image displayed as the background of the pointer moves and the parallax changes even when the pointer is stationary Movement may also occur.
  • An object of the present invention is to provide a stereoscopic image display device that improves the visibility of a pointing object such as a pointer image when the pointing position moves between subjects with greatly different display depths on a stereoscopic image. .
  • a stereoscopic image display apparatus includes an image display means for displaying a stereoscopic image composed of a left-eye image and a right-eye image on a display, and a display surface in parallel.
  • a graphical user interface that synthesizes an operation means for receiving a pointing position in an orthogonal coordinate system and a pointer image having a display depth in a direction orthogonal to the display surface with respect to the stereoscopic image displayed on the display at a predetermined drawing rate.
  • the graphical user interface means includes a display depth of the pointer image in the first drawing cycle and a display depth of the stereoscopic image at the pointing position in the second drawing cycle subsequent to the first drawing cycle.
  • the continuous drawing cycle after the second drawing cycle There are, from the display depth of the pointer image of the first drawing cycle until the display depth of the stereoscopic image in a pointing position in the second drawing cycle, to draw the pointer image by changing the display depth in order.
  • the display depth of the pointer image is matched with the display depth of the stereoscopic image at the pointing position in order to make it easy to visually recognize which subject of the stereoscopic image the pointer image points to.
  • this object can be achieved without necessarily matching the display depth of the pointer image and the display depth of the stereoscopic image at the pointing position. For example, even if the drawing is performed at such a display depth that the pointer image is slightly raised in front of the stereoscopic image actually indicated, the position indicated by the pointer image can be sufficiently visually recognized.
  • the display depth of the pointer image is finally changed to the display depth of the stereoscopic image at the pointing position in the second drawing cycle. It is possible to achieve the object of the present invention without strictly matching.
  • the display depth of the stereoscopic image at the pointing position changes due to the configuration described in the means for solving the problem
  • the display depth of the pointer image changes to the display depth of the stereoscopic image over a plurality of drawing cycles. To do. Therefore, even when the difference between the display depth of the pointer image and the display depth of the stereoscopic image at the pointing position is large, the parallax of the pointer image does not change instantaneously.
  • FIG. 1 is a diagram illustrating a hardware configuration of an information processing apparatus including a stereoscopic image display apparatus according to Embodiment 1.
  • FIG. Block diagram showing a configuration of a stereoscopic image display device The figure which showed an example of the stereoscopic vision image display The figure which showed the other example of the stereoscopic vision image display The figure which shows typically the motion of a pointer image when a pointing position moves between the subjects from which a display depth differs greatly in a stereoscopic image.
  • FIG. 7 is a block diagram illustrating a configuration of a stereoscopic image display device according to a second embodiment. The flowchart which showed the flow of the pointer image display process in Embodiment 2
  • FIG. 1 is a diagram illustrating a hardware configuration of an information processing device including the stereoscopic image display device according to the first embodiment.
  • the information processing apparatus 1000 can be used by a user as it is, but may be incorporated in various electric devices.
  • An example of the information processing apparatus 1000 is typically a general-purpose computer such as a PC (Personal Computer).
  • the information processing apparatus 1000 may be an AV device such as a television receiver or an AV playback apparatus, or a communication terminal such as a PDA (Personal Digital Assistance) or a mobile phone.
  • AV device such as a television receiver or an AV playback apparatus
  • a communication terminal such as a PDA (Personal Digital Assistance) or a mobile phone.
  • PDA Personal Digital Assistance
  • the information processing apparatus 1000 includes a CPU (Central Processing Unit) 10, a memory device 20, a communication device 30, an input device 40, a display device 45, a timer circuit 51, and an interrupt controller 55. These devices are connected to each other through a bus line 50. Further, the hard disk device 25 and the reading device 32 can be connected to the bus line 50 as necessary. The hard disk device 25, the reading device 32, the input device 40, and the display device 45 are connected to the bus line 50 through the interfaces 26, 35, 41, and 46, respectively.
  • a CPU Central Processing Unit
  • the CPU 10 may be composed of a single CPU or a plurality of CPUs.
  • An information processing apparatus 1000 in FIG. 1 shows an example having a single CPU 10.
  • the memory device 20 includes a ROM (Read Only Memory) 21 and a RAM (Random Access Memory) 22.
  • the ROM 21 stores computer programs and data that define the operation of the CPU 10.
  • the computer program and data can also be stored in the hard disk device 25.
  • the CPU 10 executes processing defined by the computer program while writing the computer program and data stored in the ROM 21 or the hard disk device 25 to the RAM 22 as necessary.
  • the RAM 22 also functions as a medium for temporarily storing data generated as the CPU 10 executes processing.
  • the memory device 20 includes a non-volatile memory and a storage medium, such as a flash memory, which can be written and can retain stored contents even when the power is turned off.
  • the hard disk device 25 is a device that writes and reads a computer program or data to a built-in hard disk (not shown).
  • the reading device 32 is a device that reads a computer program or data recorded on a recording medium 31 (eg, CD, DVD, memory card, etc.).
  • a recording medium 31 eg, CD, DVD, memory card, etc.
  • the communication device 30 is a device that exchanges a computer program or data between the outside and itself through a communication line 33 such as a telephone line, a network line, wireless communication, infrared communication, and the like.
  • the input device 40 is a device for inputting data or the like by a user operation, and is, for example, a keyboard arranged on a PDA, an input button arranged on a mobile phone, or a detachable mouse and keyboard.
  • the display device 45 is a device that displays data, images and the like on a screen and outputs data and the like by voice, and is, for example, an LCD (Liquid Crystal Display), a cathode ray tube, or a speaker.
  • LCD Liquid Crystal Display
  • cathode ray tube or a speaker.
  • the timer circuit 51 is a device that outputs a timer interrupt signal at a constant cycle.
  • the interrupt controller 55 is a device that relays an interrupt request signal sent from the timer circuit 51, the input device 40, the CPU 10, the communication device 30 that is a network device, the hard disk device 25, the reading device 32, and the like to the CPU 10. Priorities are assigned to interrupt requests from each device.
  • the interrupt controller 55 has a function of arbitrating requests according to priority when interrupts are simultaneously generated from a plurality of devices.
  • the information processing apparatus 1000 is configured as a computer.
  • the computer program can be supplied through a recording medium 31 such as a ROM 21, a hard disk device 25, a flexible disk (not shown), a CD-ROM, or a transmission medium such as an electric communication line 33.
  • a computer program recorded on the recording medium 31 can be read by connecting the reading device 32 to the information processing device 1000.
  • the read computer program can be stored in the RAM 22 or the hard disk device 25.
  • the CPU 10 can execute processing according to the computer program by mounting the ROM 21 in the information processing apparatus 1000.
  • a computer program supplied through a transmission medium such as the telecommunication line 33 is received through the communication device 30 and stored in the RAM 22 or the hard disk device 25, for example.
  • the transmission medium is not limited to a wired transmission medium, and may be a wireless transmission medium.
  • the transmission medium includes not only a communication line but also a relay device that relays the communication line, such as a router.
  • FIG. 2 is a block diagram illustrating a functional configuration of the stereoscopic image display apparatus according to the first embodiment.
  • the stereoscopic image display apparatus includes a storage unit 101, a compression / expansion unit 102, a display unit 103, an operation unit 106, a parallax acquisition unit 108, and a parallax correction unit 109.
  • the storage means 101 is means for temporarily storing the stereoscopic image data 11 when storing or reproducing the stereoscopic image data 11. This can be associated with the memory device 20 of FIG.
  • the stereoscopic image data 11 is data including a left-eye image 12 that is projected only to the left eye of a user who views the stereoscopic image and a right-eye image 13 that is projected only to the right eye.
  • the left-eye image 12 and the right-eye image 13 may be compressed into a specific format, for example, represented by the MPEG format.
  • the compression / decompression unit 102 that functions as an image display unit receives the stereoscopic image data 11 compressed in a specific compression format, decompresses and converts the stereoscopic image data 11 into a format that can be displayed by the display unit 103, and outputs it to the VRAM 105.
  • a compression format of an image a JPEG format, a GIF format, a PNG format, etc. are typical for a still image, and an AVI format, an MPEG format, etc. are typical for a moving image.
  • the left-eye and right-eye MPEG of the stereoscopic image data 11 is used.
  • Each data in the compression format is decoded by the compression / decompression unit 102 which is an MPEG decoder, converted into a left-eye image 12 and a right-eye image 13 in a format that can be output on the screen by the display unit 103, and transferred to the VRAM 105 in units of frames. .
  • the display means 103 includes a display 104 that is a display screen and a VRAM (video random access memory) 105 that stores image information to be output to the display 104. This can be associated with the display device 45 of FIG.
  • the display unit 103 outputs the image information transferred to the VRAM 105 to the display 104.
  • the display means 103 displays the left-eye image 12 and the right-eye image 13 transferred to the VRAM 105 so that the viewer can form a stereoscopic image.
  • a method for forming a three-dimensional image for example, there is a method using a polarizing filter as shown in FIG.
  • the left-eye image 12 and the right-eye image 13 are displayed in parallel in the horizontal direction on the screen of the display 104.
  • Polarization filter 201 is pasted on the area where the image for left eye 12 is displayed, and polarized in the direction where the polarization direction is 90 degrees different from the polarization filter pasted on the image for left eye on the area where the image for right eye 13 is displayed.
  • a filter 202 is pasted.
  • the viewer views using the stereoscopic image browsing glasses 203.
  • the stereoscopic image browsing glasses 203 are obtained by attaching a polarizing filter having the same polarization direction as that of the polarizing filter attached to the screen to each of the left eye and the right eye.
  • the first-view stereoscopic image viewing glasses 203 may further include a lens that refracts so that the left-eye image and the right-eye image are easily imaged.
  • FIG. 4 the right eye image and the left eye image are alternately displayed on the display, and the right eye and the left eye of the stereoscopic image viewing glasses are alternately displayed.
  • the display unit 103 further includes a pointer display unit 107.
  • the pointer display unit 107 constitutes a graphical user interface unit together with the parallax acquisition unit 108 and the parallax correction unit 109, and outputs the pointer image to the display 104 to the VRAM 105 based on the operation content from the operation unit 106. Pointer image information is output.
  • the pointer display unit 107 generates a left-eye pointer image 14 and a right-eye pointer image 15 and uses the same method as the stereoscopic image display described above so that the pointer itself can be imaged as a stereoscopic image by parallax. Forward to.
  • the pointer display unit 107 acquires the parallax corrected by the parallax correction unit 109 and generates the left-eye pointer image 14 and the right-eye pointer image 15 so as to be applied as parallax for displaying the pointer. Details of the parallax correction method for displaying the pointer will also be described later.
  • the operation means 106 is means for inputting an operation to the stereoscopic image editing apparatus 10 from the user. This can be associated with the input device 40 of FIG.
  • the user uses the operation unit 106 to operate the stereoscopic image display device. Enter.
  • the parallax acquisition unit 108 acquires the amount of parallax between the left-eye image 12 and the right-eye image 13 at the position instructed by the operation unit 106 on the stereoscopic image output on the screen. This can be associated with a program stored in the storage device 20 that operates on the CPU 10 of FIG. It can also be implemented as hardware. Details of the parallax acquisition method will be described later.
  • the parallax correction unit 109 corrects the parallax amount acquired by the parallax acquisition unit 108 to the parallax actually used for displaying the pointer image, and notifies the pointer display unit 107 to display the pointer image with the corrected parallax amount.
  • an intermediate parallax between the parallax of the pointer image currently displayed and the parallax of the stereoscopic image acquired from the parallax acquisition unit 108 is calculated, and the parallax obtained by correcting the intermediate parallax is calculated. To do. Details of the method for calculating the intermediate parallax will be described later.
  • Such a function of the parallax correction unit 109 can be associated with a program stored in the storage device 20 that is operated by the CPU 10 in FIG. 1. Alternatively, it can be implemented as hardware.
  • FIG. 5 is a diagram schematically illustrating the movement of the pointer image when the pointing position moves between subjects having different display depths in a stereoscopic image.
  • the stereoscopic image used here is an image formed by the automobile at a position protruding from the display surface.
  • FIG. 6A shows a left-eye image and a right-eye image in which the pointer images at time t0 are combined.
  • a pointer image is drawn at the horizontal coordinate x1 on the front surface of the automobile, and in the left-eye image, the pointer image is drawn at the horizontal coordinate x2 on the front face of the automobile.
  • the parallax Pimg of the front surface of the automobile and the parallax Pobj (t0) of the pointer image in the right-eye image and the left-eye image are both x1-x2, and as a result, the pointer image at the time point t0 is the pointing image. Depending on the position, it is imaged at the same display depth as the front of the car.
  • FIG. 6B shows a left-eye image and a right-eye image obtained by combining the pointer images at time t1.
  • the pointer image is combined with the left-eye image and the right-eye image at the positions of horizontal coordinates x1 'and x2', respectively.
  • the parallax Pobj (t1) of the pointer image is smaller than the parallax x1-x2 of the front surface of the automobile indicated by the pointer image at the time point t0, and larger than the parallax 0 in the background having the same display depth as the display surface.
  • the pointer image at the time point t1 is imaged at a display depth between the display depth of the pointer image at the time point t0 and the display depth of the display surface.
  • FIG. 6C shows a left-eye image and a right-eye image obtained by combining the pointer images at time t3.
  • the pointer image is combined with the left-eye image and the right-eye image at the positions of horizontal coordinates x1 ′′ and x2 ′′, respectively.
  • x1 ′′ and x2 ′′ are the same coordinates, and the parallax Pobj (t3) of the pointer image combined with the left-eye image and the right-eye image is zero.
  • the user can visually recognize the display depth of the pointer image without abruptly changing. It is possible to realize easy pointer image movement.
  • FIG. 8 is a flowchart showing the flow of pointer image display processing in the stereoscopic image display apparatus according to the first embodiment.
  • the pointer image display process shown in this flowchart is executed in a state where a stereoscopic image is displayed on the display.
  • the selected stereoscopic image data is read from the storage means 101 and compressed and decompressed. This is realized by decompressing and converting the stereoscopic image data 11 compressed by the means 102 into a format that can be displayed by the display means 103, and transferring it to the VRAM 105.
  • step S301 each time the drawing timing of the pointer image arrives (step S301: Yes), the drawing cycle of step S302 to step S308 is repeatedly executed.
  • the pointer image drawing timing may be synchronized with the frame rate of the display device, or may be provided once every several frames. Or you may set the drawing period of a pointer image by the time measuring using a timer.
  • steps S302 to 304 the parallax Pimg of the part of the image for left eye 12 and the image for right eye 13 corresponding to the pointing position designated at the time of executing the drawing cycle is calculated.
  • parallax there are various methods for obtaining parallax, but here, a spot having the same feature point is detected in the left-eye image and the right-eye image, the respective feature points are compared, and the horizontal shift is parallaxed. Describe how to get as. Normally, when the user operates the display unit to display a pointer on the stereoscopic image output on the screen via the operation unit 106, for example, the information on the pointing position is obtained from the operation unit 106 for each frame unit. To be notified. Each time the information is notified, the parallax obtaining unit 108 coordinates the part indicated by the pointer on either the left-eye image 12 or the right-eye image 13 decompressed and converted by the compression / decompression unit 102. Is identified.
  • the parallax acquisition unit 108 searches for the part having the same feature point as the image around the specified part from the other image, and acquires the coordinates of the part.
  • a pattern matching method there are a pattern matching method, a template matching method, a DP matching method, and the like as a method for searching for a portion having the same feature point, and any method may be used.
  • the stereoscopic image data 11 itself is a format that includes parallax information for each frame and each pixel in advance, it is possible to more easily acquire the parallax amount at the pointing position. it can.
  • Such a feature point search process is always executed in the parallax acquisition unit 108, and the result of the feature point search executed at the timing when the procedure of step S302 is processed is compared in step S303.
  • the parallax acquisition unit 108 calculates the parallax of the subject at the position indicated by the pointer (step S304). Specifically, when the subject at the pointing position forms an image at a display depth different from that of the display surface, as a result of searching for a feature point in step S302, the left eye image 12 and the right eye image 13 are detected. The relative coordinates of the pointing position are shifted in the horizontal direction.
  • the parallax acquisition unit 108 acquires the amount of deviation (the number of pixels shifted in the horizontal direction) as the parallax Pimg of the subject at the pointer designated position.
  • the process proceeds to step S308, where the pointer display means 107 is the same as the pointer image in the previous cycle.
  • a pointer image is synthesized at the same coordinate position.
  • the parallax correction unit 109 calculates the absolute value of the difference between the parallax Pobj (tn-1) used for drawing the pointer image in the previous cycle and the parallax Pimg. It is determined whether or not the absolute value of Pobj (tn-1) is equal to or smaller than a predetermined threshold value Th1 (step S305). When the absolute value of Pimg-Pobj (tn-1) is equal to or smaller than the predetermined threshold Th1 (step S305: Yes), it is determined that it is not necessary to correct the parallax used for displaying the pointer image itself, and the parallax correcting unit 109 Notifies the pointer display means 107 to that effect.
  • step S308 The processing transitions to step S308, and the pointer display means 107 gives a parallax having the same value as the parallax Pimg between the left-eye pointer image 14 and the right-eye pointer image 15, and the left-eye image 12 and the right-eye image 13. And synthesize. As a result, the display depth of the pointer image matches the display depth of the subject at the pointing position.
  • the threshold value Th1 uses a parallax change amount value that allows the user's eyes to adapt to the parallax change even if the parallax of the pointer image changes in one cycle. A suitable value for the threshold Th1 is determined according to the display size.
  • the parallax correction unit 109 uses the parallax Pobj (tn) used in the current pointer image drawing cycle. ) Is calculated (step S306).
  • the parallax Pobj (tn) calculated by the parallax correction unit 109 is an intermediate parallax between the parallax Pimg of the subject at the current pointing position and the parallax Pobj (tn ⁇ 1) of the pointer image in the previous cycle.
  • the calculation method of the intermediate parallax can be implemented by the following method described using Expression 1, for example.
  • Equation 1 the time point when the parallax of the subject indicated by the change of the pointing position or the change of the stereoscopic image is changed to t0, and Pobj is the parallax of the pointer image at the time point t0.
  • K / T is a constant that determines the amount of change in parallax. If this value is large, the change in parallax becomes faster. More specifically, the constant K is a constant that determines the speed of change, and the variable T can be set to a time required for a change in parallax such as “changes from the initial value Pobj to the end value Pimg in T seconds”. .
  • S is a constant that determines the timing for changing the parallax, and the larger this value, the greater the change in parallax between cycles at an earlier time. Specifically, when the constant S is large, the change in parallax starts to increase at a time close to t0, and the sigmoid curve shown in FIG. 7 becomes gentle. 7 becomes larger, the sigmoid curve shown in FIG. 7 becomes steeper.
  • K and S and the variable T can be set to arbitrary values.
  • the drawing rate for updating the pointer image is 30 fps
  • the parallax correction unit 109 acquires the screen size or screen resolution for displaying the stereoscopic image and the pointer image, and changes the correction start timing of the parallax of the pointer image according to the value.
  • S, and variable T may be set dynamically. For example, on screens where changes in parallax are conspicuous, such as large screens and low resolutions, a large value is set for S and T so as to suppress changes in the parallax of the pointer image, and conversely changes in parallax such as small screens and high resolutions.
  • the visibility can be improved according to the output screen by setting a small value to S or T in order to cancel the suppression of the parallax change of the pointer image.
  • the visibility can be improved according to the output screen.
  • the parallax correction unit 109 that has calculated the parallax Pobj (tn) in step S306 notifies the pointer display unit 107 of the parallax Pobj (tn).
  • the pointer display unit 107 notified of the parallax Pobj (tn) determines coordinates for combining the pointer image with the left-eye image and the right-eye image, and corrects the pointer image. For example, in the case where the parallax Pimg is calculated based on the position indicated by the pointer in the left-eye image 12 in S304, Pobj (tn) is a pixel whose pointer image to be combined with the right-eye image 13 is shifted in the horizontal direction. Number.
  • the position of the left-eye pointer image 14 to be synthesized on the left-eye image 12 is corrected to the coordinates of the feature points of the left-eye image 12 searched in step S302, and on the other hand, synthesized on the right-eye image 13.
  • the position of the right-eye pointer image 15 is corrected to a coordinate position shifted by Pobj (tn) in the horizontal direction from the coordinate position of the left-eye pointer image 14. Thereby, the parallax Pobj (tn) is reflected in the pointer image.
  • the right-eye image 13 has a coordinate position shifted to the right in the horizontal direction from the left-eye image 12, and the value of Pobj (tn) is a negative value. In this case, the coordinate position is shifted to the left in the horizontal direction.
  • the pointer display means 107 synthesizes the left-eye pointer image 14 with the left-eye image 12 on the VRAM, and synthesizes the right-eye pointer image 15 with the right-eye image 13 on the VRAM (step S308). Specifically, when the parallax correction unit 109 performs the coordinate correction in step S307, the pointer display unit 107 converts the corrected left-eye pointer image 14 and the corrected right-eye pointer image 15 into the left-eye image 12. And the image 13 for the right eye. Thereby, the pointer image displayed on the display 104 forms an image with a display depth corresponding to the parallax Pobj (tn).
  • the intermediate parallax is corrected by the correction in the current cycle. It can be applied to a pointer image and displayed.
  • the display depth of the pointer image is smoothly changed from the initial value, and finally the subject is displayed at the pointing position. It is possible to express an image that makes a transition to depth.
  • FIG. 9 is a block diagram illustrating a functional configuration of the stereoscopic image display apparatus according to the second embodiment.
  • the same components as those in FIG. 2 described above are denoted by the same reference numerals, and description thereof is omitted.
  • the stereoscopic image display apparatus is added with a parallax change amount detection unit 112 and a screen information acquisition unit 113 and replaces the parallax correction unit 109 with the parallax correction unit 114 as compared with the configuration illustrated in FIG. 2. It is a configuration.
  • the parallax change amount detection unit 112 acquires the parallax Pimg (tn ⁇ 1) on the stereoscopic image at the position indicated by the pointer calculated by the parallax acquisition unit 108 and holds it until the next processing cycle of the drawing process of the pointer image. . Further, the parallax change amount detection unit 112 compares the value of the parallax Pimg (tn) acquired from the parallax acquisition unit 108 with the held parallax Pimg (tn ⁇ 1) in the next processing cycle.
  • the parallax change amount detection unit 112 When the difference between the compared values is within a preset threshold Th2, the parallax change amount detection unit 112 notifies the parallax correction unit 114 to change the parallax of the pointer image, and outputs the parallax Pimg (tn). To do.
  • the parallax change amount detection unit 112 When the compared value exceeds a preset threshold, the parallax change amount detection unit 112 notifies the parallax correction unit 114 not to change the parallax of the pointer image. Further, the parallax change amount detection unit 112 updates the value to be held to the value of the parallax Pimg (tn) regardless of the comparison result.
  • the screen information acquisition unit 113 acquires screen information including the screen size or the screen resolution in the display unit 103, and outputs the screen information in response to a request from the parallax correction unit 114.
  • the acquisition of the screen information can be realized, for example, by acquiring the device information in the HDMI connection negotiation phase.
  • the parallax correction unit 114 acquires a notification indicating whether or not to change the parallax of the pointer image from the parallax change amount detection unit 112 and the parallax Pimg (n) of the stereoscopic image at the position indicated by the pointer.
  • the parallax correction unit 114 uses the value of the parallax Pimg (n) acquired from the parallax change amount detection unit 112 to actually use the parallax for displaying the pointer image. Correct.
  • the parallax correcting unit 114 When the parallax used for displaying the pointer image is corrected, the parallax correcting unit 114 notifies the pointer display unit 107 to display the pointer image with the corrected parallax.
  • the correction in the parallax correction unit 114 calculates the intermediate parallax between the parallax of the pointer image currently displayed and the parallax of the stereoscopic image calculated by the parallax acquisition unit 108, and the parallax amount obtained by correcting the calculated intermediate parallax. To do.
  • the method for calculating the intermediate parallax is the same as that of the parallax correction unit 109 described in the first embodiment.
  • the pointer display unit sets the same value as the parallax of the pointer image currently used for display as the parallax of the pointer image in the next cycle. 107 is notified.
  • the parallax correction unit 114 changes the degree of correcting the parallax of the pointer image according to the screen size or screen resolution acquired from the screen information acquisition unit 113 when calculating the intermediate parallax used for displaying the pointer image. It has a function. For example, when the screen size is large (for example, a large screen exceeding 32 inches), the amount of change in parallax per cycle is suppressed so that the display depth of the pointer image does not change abruptly. Conversely, when the screen size is small (for example, a small screen of 32 inches or less), the amount of change in parallax per cycle is increased in order to clarify the change in the display depth of the pointer image. Thus, the pointer can be displayed with a change in parallax suitable for the size and screen resolution of the screen to be displayed, and the visibility can be improved.
  • FIG. 10 is a flowchart showing the flow of pointer image display processing in the stereoscopic image display apparatus according to the second embodiment.
  • Step S405 is a process of comparing the difference between the parallax Pimg (tn) in the drawing cycle and the parallax Pimg (tn ⁇ 1) in the previous drawing cycle with the threshold Th2, and step S410 is the parallax change amount detection unit 112. Is a process of updating the parallax Pimg held in step 1 to a value calculated in the current drawing cycle at the end of one drawing cycle.
  • step S405 The parallax change amount detection unit 112 holds the subject parallax Pimg (tn ⁇ 1) at the pointing position calculated in the previous drawing cycle (step S401 to step S410) as described above.
  • step S405 The difference (change amount) between the parallax Pimg (tn) in the current drawing cycle calculated in step S404 and the held parallax Pimg (tn ⁇ 1) in the previous drawing cycle is compared with the threshold Th2.
  • the difference between the parallax Pimg (tn) in the drawing cycle and the parallax Pimg (tn ⁇ 1) in the previous drawing cycle indicates the amount of change in the parallax of the stereoscopic image at the pointing position.
  • the parallax change amount detection unit 112 When the amount of change in parallax is equal to or less than a preset threshold Th2 (below the threshold in step S405), the parallax change amount detection unit 112 notifies the parallax correction unit 114 that the parallax correction processing is performed. The process transitions to step S406. On the other hand, when the parallax change amount exceeds the threshold value Th2 (exceeding the threshold value in step S405), the parallax change amount detection unit 112 notifies the parallax correction unit 114 that the parallax correction processing is not performed.
  • the parallax correction unit 114 uses the same value as the parallax Pobj (tn ⁇ 1) used for the pointer image in the previous drawing cycle as it is as the parallax Pobj (tn) of the pointer image in the current drawing cycle.
  • the pointer image display unit 107 is notified and the process proceeds to step S409.
  • the object pointed to by the pointer may be repeatedly switched for each frame even if the pointing position does not change.
  • the parallax correction processing is not performed.
  • drawing is performed without changing the depth of the pointer for each frame, and flickering of the pointer display can be reduced. It becomes.
  • Such an effect is particularly noticeable when a stereoscopic image that is a moving image has a minute shake due to a camera shake during shooting.
  • System LSI refers to a package in which a bare chip is mounted on a high-density substrate.
  • a system LSI that includes a plurality of bare chips mounted on a high-density substrate and packaged so that the plurality of bare chips have an external structure like one LSI is also included in the system LSI (such a system LSI).
  • LSI is called a multi-chip module.
  • QFP Quad Flood Array
  • PGA Peripheral Component Interconnect Express
  • QFP is a system LSI in which pins are attached to four side surfaces of a package.
  • the PGA is a system LSI in which many pins are attached to the entire bottom surface.
  • pins serve as an interface with other circuits. Since pins in the system LSI have such an interface role, by connecting other circuits to these pins in the system LSI, the system LSI plays a role as the core of the playback device.
  • Such a system LSI can be incorporated into various devices that handle video reproduction, such as TVs, games, personal computers, and 1Seg mobile phones as well as playback devices, and can broaden the application of the present invention.
  • a bus connecting circuit elements, ICs, LSIs, peripheral circuits, an interface with the outside, etc. will be defined.
  • connection lines, power supply lines, ground lines, clock signal lines, and the like will be defined.
  • the circuit diagram is completed while adjusting the operation timing of each component in consideration of the specifications of the LSI and making adjustments such as ensuring the bandwidth required for each component.
  • Mounting design refers to where on the board the parts (circuit elements, ICs, and LSIs) on the circuit diagram created by circuit design are placed, or how the connection lines on the circuit diagram are arranged on the board. This is a board layout creation operation for determining whether to perform wiring.
  • the mounting design consists of automatic placement and automatic wiring.
  • this automatic placement can be realized using a dedicated algorithm called “centroid method”.
  • centroid method a connection line that connects pins of components on a circuit diagram is defined using a metal foil or a via.
  • this wiring process can be realized by using a dedicated algorithm called “maize method” or “line search method”.
  • the mounting design result is converted into CAM data and output to equipment such as an NC machine tool.
  • the NC machine tool performs SoC mounting and SiP mounting based on the CAM data.
  • SoC (System on chip) mounting is a technique for printing a plurality of circuits on one chip.
  • SiP (System in Package) mounting is a technology in which a plurality of chips are made into one package with resin or the like.
  • the integrated circuit generated as described above may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • each playback device may be configured as one chip.
  • the circuit integration is not limited to the above-described SoC mounting and SiP mounting, and may be realized by a dedicated circuit or a general-purpose process. It is conceivable to use an FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI, or a silicon configurable processor that can reconfigure the connection and setting of circuit cells inside the LSI. Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative technology, it is naturally also possible to carry out function block integration using this technology. For example, biotechnology can be applied.
  • FPGA Field Programmable Gate Array
  • the present invention may be an application execution method disclosed by the processing procedure of the flowchart described in each embodiment. Further, it may be a computer program including a program code that causes a computer to operate according to the processing procedure, or may be a digital signal composed of the computer program. Since the control procedure described with reference to the flowcharts in each embodiment and the control procedure using functional components are specifically realized using hardware resources, the technical idea using the laws of nature is used. It can be said to be a creation, but it meets the requirements for “program invention”.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). ), Recorded in a semiconductor memory or the like.
  • a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc).
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • the stereoscopic image display device described in each embodiment may further include an external I / F that acquires external data such as a USB, a network, a camera input, and an external storage medium.
  • the stereoscopic image display device may be configured to acquire the stereoscopic image data 11 via the external I / F and store it in the storage unit 101.
  • the operation means 106 may be any means that can input operation details to the stereoscopic image display device.
  • the operation means 106 is not limited to a keyboard or a mouse, but may be an input device integrated with the display 104, for example, as represented by a touch panel display.
  • the position information for displaying the pointer can be acquired by methods other than those described in each embodiment, and any method may be used as long as the information for specifying the position on the stereoscopic image can be acquired.
  • any method may be used as long as the information for specifying the position on the stereoscopic image can be acquired.
  • there is the following method. When the operation unit 106 provides pointer position information to the display unit 103 and the display unit 103 determines the position where the pointer is actually displayed, the actual pointer display position is displayed from the display unit 103. The method of acquiring may be used.
  • Expression 1 is exemplified as an expression for correcting the parallax so that the parallax of the pointer continuously changes.
  • the calculation method of the intermediate parallax in the parallax correction unit may use methods and formulas other than those described above. it can.
  • Formula 3 may be used for calculating the intermediate parallax.
  • the parallax of the pointer image in the previous cycle is Pobj (tn-1)
  • the parallax of the pointer image used in the current cycle is Pobj (tn)
  • the subject on the stereoscopic image at the position indicated by the current pointer The parallax is denoted as P mg.
  • Pobj (tn) Pobj (tn-1) + [(Pimg-Pobj (tn-1)) / k] Equation 3
  • k is a value that determines the rate of change in parallax.
  • a value that provides a parallax change suitable for the user is set to k.
  • the parentheses [] are Gauss symbols, and indicate “the maximum integer value not exceeding the value in []”. Thereby, the correction parallax Pobj (tn) of the pointer image used in the current drawing cycle can be obtained.
  • the parallax correction of the pointer image described in each embodiment is intended to suppress a sudden change in the display depth of the pointer image, but the screen size for displaying the pointer image is extremely small in the first place. In some cases, even if the parallax change is large, the depth change visually recognized by the user is small, and the merit of the parallax correction of the pointer image is not significant.
  • step S306 in FIG. 8 and step S407 in FIG. 10 is not executed, and the pointing position is set as the parallax Pobj of the pointer image.
  • the pointer image may be drawn using the same value as the parallax Pimg of the subject at.
  • the pointer image may be drawn with a parallax with a display depth slightly in front of the stereoscopic image at the pointing position.
  • the parallax of the pointer image is drawn by shifting the parallax of the pointer image by about 1 pixel in the direction of rising toward the front from the parallax of the stereoscopic image at the pointing position.
  • the amount of deviation provided between the parallax of the pointer image and the parallax of the stereoscopic image at the pointing position may be a range in which it is possible to sufficiently recognize which subject the pointer image points to.
  • a suitable value is determined according to the screen resolution. In other words, even if this deviation is constant, the larger the screen size, the wider the distance between the subject and the pointer.
  • the stereoscopic image display apparatus is useful as an information processing apparatus or AV device having a function of instructing a subject on a stereoscopic image. It can also be applied to applications such as communication terminals such as PDAs and mobile phones.

Abstract

　立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動する場合に、ポインタ画像の視認性を向上させる立体視画像表示装置を提供する。　立体視画像上の被写体の表示深度に合わせてポインタ画像の表示深度を変更する表示装置で、時点ｔ０からｔ１において表示深度の大きく異なる被写体間でポインティング位置が移動する場合に、時点ｔ１におけるポインタ画像を、時点ｔ０におけるポインタ画像の表示深度とｔ１でのポインティング位置であるディスプレイ面の表示深度との間の表示深度で結像するように描画することで、ポインタ画像の視認性を向上させる。

Description

立体視画像表示装置
　本発明は、複数の画像から視差を有する立体視画像を生成する立体視画像表示装置に関し、特に、視認性の改善に関するものである。
　従来の立体視画像表示技術として、右眼から見た視野に相当する右目用画像と、左眼から見た視野に相当する左目用画像とを用意し、右目用画像を右眼のみに、左目用画像を左眼のみに投影するものがある。このような立体視画像表示技術では、右目用画像と左目用画像との水平方向の変位量である視差から立体感を得ることでき、被写体を立体的に見せる映画等に利用される。このような技術の普及により、今後は撮影された立体視画像の編集を行うための機器の家庭での利用も想定される。
　画像の編集では、画像内の対象物の指定や表示領域を指定する等の目的で、立体視画像と同一画面内にポインタ画像を表示することがある。立体視画像内にポインタを表示する場合には、より正確に物体を指し示すことができるよう、ポインタ画像自体にも視差を設けて立体的に表現し、立体視画像として合成することが考えられる。ここで、ポインタ画像の表示深度を固定してしまうと、ポインタが指し示す対象物の表示深度とポインタ画像の表示深度が異なる場合、利用者の焦点を対象物に当てると、ポインタ画像が二重に見え、焦点をポインタに当てると、対象物が二重に見えるという視認性の問題が生じる。そこで、特許文献１には、ポインタ画像の表示深度を、指し示した対象物の表示深度に合わせるよう補正する技術が開示されている。特許文献１に開示の技術によれば、ポインタ画像で指し示したいポインティング位置での立体視画像の視差、すなわち右目用画像と左目用画像のずれ量に合わせて、右目用画像に合成するポインタ画像と左目用画像に合成するポインタ画像とに視差を持たせる。この結果、ポインティング位置における立体視画像とポインタ画像との表示深度が一致し視認性が改善される。
特開２００１－３２６９４７号公報
　ところで、特許文献１に開示の技術では、ユーザが立体視画像上でポインティング位置を移動させる際、視差が大きくことなる複数の被写体間をポインティング位置が移動すると、ポインタ画像の視差も瞬間的に大きく変化することになる。視差が大きく異なる被写体間の移動とは、例えば、立体視画像を見ているユーザから見て、非常に手前に位置するように見える被写体から、遠くに位置するよう見える被写体へポインタが移動する場合などに発生する。
　このような場合、ユーザの目が、視差の急な変化に適応できず、ポインタ画像から焦点が外れてしまい、視認性が損なわれる問題が生じる。ポインティング位置は、マウス等のポインティングデバイスを用いて指示されるが、ユーザが意図しない手のわずかな振動に応じてポインティング位置がわずかに移動することで、表示深度の大きく異なる被写体間でポインタ移動が発生することがある。特にこのような場合、ポインタ画像にユーザが意図しない深度変化が生じるため、視認性の問題が顕著になる。
　また、立体視画像が動画である場合には、ポインタが静止していてもポインタの背景として表示される立体視画像側の対象物が動いて視差が変化することで、視差量の差が大きい移動が発生する場合もある。
　本発明の目的は、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動する場合に、ポインタ画像などの指示オブジェクトの視認性を向上させる立体視画像表示装置を提供することである。
　上記目的を達成するために、本発明に係る立体視画像表示装置は、左目用画像と右目用画像とから構成される立体視画像を、ディスプレイに表示させる画像表示手段と、ディスプレイ面に並行な直交座標系におけるポインティング位置を受け付ける操作手段と、ディスプレイ面に直交する方向に表示深度を持つポインタ画像を、ディスプレイに表示される前記立体視画像に対して、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、当該第１描画サイクルの次の第２描画サイクルでのポインティング位置における前記立体視画像の表示深度とが異なる場合、第２描画サイクル以後の連続した複数描画サイクルにおいて、第１描画サイクルでのポインタ画像の表示深度から第２描画サイクルでのポインティング位置における前記立体視画像の表示深度まで、表示深度を順に変化させてポインタ画像を描画する。
　ここで一般に、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを合わせるのは、ポインタ画像が立体視画像の何れの被写体を指し示すかを視認しやすくするためである。しかし、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを必ずしも厳密に一致させずとも、この目的は達成可能である。例えば、実際に指し示している立体視画像よりもポインタ画像がわずかに手前に浮き出るような表示深度で描画しても、ポインタ画像が指し示す位置は十分に視認できる。
　そのため、グラフィカルユーザインターフェイス手段による第２描画サイクル以後の連続した複数描画サイクルにおけるポインタ画像の描画でも、ポインタ画像の表示深度を最終的に第２描画サイクルでのポインティング位置における立体視画像の表示深度に厳密に一致させずとも、本発明の目的を達成することが可能である。
　課題を解決するための手段に記載の構成によって、ポインティング位置での立体視画像の表示深度が変化した場合に、ポインタ画像の表示深度が複数描画サイクルをかけて、立体視画像の表示深度まで変化する。そのため、ポインタ画像の表示深度と、ポインティング位置での立体視画像の表示深度との差が大きい場合にも、ポインタ画像の視差が瞬間的に大きく変化することがない。
　従って、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動する場合にも、ポインタ画像から焦点を外すことなく注視することができ、立体視画像上に合成されたポインタ画像の視認性が向上する。
実施の形態１に係る立体視画像表示装置を備えた情報処理装置のハードウェア構成を示す図 立体視画像表示装置の構成を示すブロック図 立体視画像表示の一例を示した図 立体視画像表示の他の例を示した図 立体視画像において表示深度の大きく異なる被写体間でポインティング位置が移動する場合のポインタ画像の動きを模式的に示す図 表示深度の大きく異なる被写体間でポインティング位置が移動する場合の右目用画像と左目用画像とにおけるポインタ画像の描画座標を示す図 ポインタ画像の視差の時間変化を示す図 ポインタ画像表示処理の流れを示したフローチャート 実施の形態２に係る立体視画像表示装置の構成を示すブロック図 実施の形態２におけるポインタ画像表示処理の流れを示したフローチャート
　以下、本発明に係る立体視画像表示装置の実施の形態について、図を用いて説明する。
　（実施の形態１）
　図１は、実施の形態１における立体視画像表示装置を備えた情報処理装置ハード構成を示す図である。この情報処理装置１０００は、それ自体としてユーザの使用に供することもできるが、様々な電気機器に組み込まれてもよい。情報処理装置１０００の一例は、代表的にはＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ；パーソナルコンピュータあるいはパソコン）等の汎用のコンピュータである。また、情報処理装置１０００は、テレビ受像機やＡＶ再生装置などのＡＶ機器、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｃｅ）あるいは携帯電話機等の通信端末でもよい。
　情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ；中央演算処理部）１０、メモリ装置２０、通信装置３０、入力装置４０、表示装置４５、タイマ回路５１及び割り込みコントローラ５５を備えている。これらの装置は、バスライン５０を通じて互いに接続されている。また、必要に応じて、バスライン５０には、ハードディスク装置２５及び読み取り装置３２を接続することが可能となっている。ハードディスク装置２５、読み取り装置３２、入力装置４０及び表示装置４５は、それぞれ、インタフェース２６、３５、４１及び４６を通じてバスライン５０に接続される。
　ＣＰＵ１０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。図１の情報処理装置１０００は、単一のＣＰＵ１０を有する例を示している。
　メモリ装置２０は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２１及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２２を備えている。ＲＯＭ２１は、ＣＰＵ１０の動作を規定するコンピュータプログラム及びデータを記憶している。コンピュータプログラム及びデータは、ハードディスク装置２５に記憶させることもできる。ＣＰＵ１０は、ＲＯＭ２１又はハードディスク装置２５が格納するコンピュータプログラム及びデータを、必要に応じてＲＡＭ２２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ２２は、ＣＰＵ１０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。メモリ装置２０は、フラッシュメモリなど、書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリと記憶媒体を含んでいる。
　ハードディスク装置２５は、内蔵する不図示のハードディスクへ、コンピュータプログラム、あるいはデータを書き込み及び読み出す装置である。
　読み取り装置３２は、記録媒体３１（例えばＣＤ、ＤＶＤ、メモリカードなど）に記録されたコンピュータプログラム、あるいはデータを読み取る装置である。
　通信装置３０は、電話回線、ネットワーク線、無線、赤外線通信等の通信回線３３を通じて、外部と自身との間で、コンピュータプログラム、あるいはデータを交換する装置である。
　入力装置４０は、ユーザの操作によりデータ等を入力する装置であり、例えば、ＰＤＡに配列されたキーボード、携帯電話機に配列された入力ボタン、あるいは着脱自在のマウス、キーボードである。
　表示装置４５は、データ、画像等を画面に表示したり、データ等を音声で出力したりする装置であり、例えばＬＣＤ（Ｌｉｇｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ；液晶表示器）、ブラウン管、スピーカである。
　タイマ回路５１は、一定の周期でタイマ割り込み信号を出力する装置である。割り込みコントローラ５５は、タイマ回路５１、入力装置４０、ＣＰＵ１０、ネットワークデバイ
スである通信装置３０、ハードディスク装置２５、読み取り装置３２等から送られる割り込み要求信号を、ＣＰＵ１０へ中継する装置である。各装置からの割り込み要求には優先度が付けられている。割り込みコントローラ５５は、同時に複数の装置から割り込みが発生した場合には、それらの要求を優先度に応じて調停する機能を有している。
　以上のように、情報処理装置１０００は、コンピュータとして構成されている。上記コンピュータプログラムは、ＲＯＭ２１、ハードディスク装置２５、不図示のフレキシブルディスク、ＣＤ－ＲＯＭ等の記録媒体３１を通じて供給することも、電気通信回線３３等の伝送媒体を通じて供給することも可能である。例えば、記録媒体３１（ＣＤ－ＲＯＭ）に記録されたコンピュータプログラムは、読み取り装置３２を情報処理装置１０００へ接続することで、読み出すことができる。また、読み出したコンピュータプログラムを、ＲＡＭ２２あるいはハードディスク装置２５に格納することができる。
　プログラム記録媒体としてＲＯＭ２１からコンピュータプログラムが供給される場合には、当該ＲＯＭ２１を情報処理装置１０００に搭載することにより、ＣＰＵ１０は上記コンピュータプログラムに従った処理を実行可能となる。電気通信回線３３等の伝送媒体を通じて供給されるコンピュータプログラムは、通信装置３０を通じて受信され、例えば、ＲＡＭ２２あるいはハードディスク装置２５に格納される。伝送媒体は、有線の伝送媒体に限られず、無線の伝送媒体であってもよい。また、伝送媒体は通信線路のみでなく、通信線路を中継する中継装置、例えばルータをも含む。
　次に、立体視画像表示装置について説明する。図２は、実施の形態１における立体視画像表示装置の機能構成を示すブロック図である。
　図２において、立体視画像表示装置は、記憶手段１０１と、圧縮伸長手段１０２と、表示手段１０３と、操作手段１０６と、視差取得手段１０８と、視差補正手段１０９とを備えている。
　記憶手段１０１は、立体視画像データ１１を保存、もしくは立体視画像データ１１を再生する際に一時的に記憶する手段である。これは、図１のメモリ装置２０に対応付けることができる。立体視画像データ１１は、立体視画像を視聴するユーザの左眼のみに投影されるための左目用画像１２と、右眼のみに投影されるための右目用画像１３とを含むデータである。左目用画像１２および右目用画像１３は、例えばそれぞれＭＰＥＧ形式に代表されるような特定の形式に圧縮されている場合もある。
　画像表示手段として機能する圧縮伸長手段１０２は、特定の圧縮形式によって圧縮された立体視画像データ１１を受け取り、表示手段１０３で表示可能な形式に伸長変換してＶＲＡＭ１０５へ出力する。画像の圧縮形式には静止画であればＪＰＥＧ形式やＧＩＦ形式、ＰＮＧ形式などが代表的であり、動画であればＡＶＩ形式やＭＰＥＧ形式などが代表的である。例えば、立体視画像データ１１が左目用画像１２、右目用画像１３のそれぞれをＭＰＥＧ形式で圧縮したデータで構成されている場合には、立体視画像データ１１の左眼用と右眼用のＭＰＥＧ圧縮形式のデータそれぞれを、ＭＰＥＧデコーダである圧縮伸長手段１０２によってデコードし、表示手段１０３で画面出力可能な形式の左目用画像１２と右目用画像１３に変換して、ＶＲＡＭ１０５へフレーム単位で転送する。
　表示手段１０３は、表示画面であるディスプレイ１０４と、ディスプレイ１０４に出力する画像情報を格納するＶＲＡＭ（ビデオランダムアクセスメモリ）１０５とを備えている。これは、図１の表示装置４５に対応付けることができる。表示手段１０３は、ＶＲＡＭ１０５に転送された画像情報をディスプレイ１０４へ画面出力する。このとき表示手段１０３は、ＶＲＡＭ１０５に転送された左目用画像１２と右目用画像１３を、視聴者にとって立体画像として結像できるように表示する。立体画像として結像するための方法として、例えば図３に示すような、偏光フィルタを使用する方法がある。偏光フィルタを使用する方法では、ディスプレイ１０４の画面上に左目用画像１２と右目用画像１３を横方向に並列して表示する。左目用画像１２が表示される領域に偏光フィルタ２０１を貼付け、もう一方の右目用画像１３が表示される領域に、左目用画像上に貼り付けた偏光フィルタと偏光方向が９０度異なる向きで偏光フィルタ２０２を貼り付ける。視聴者は、立体視画像閲覧用めがね２０３を利用して見る。立体視画像閲覧用めがね２０３は、画面に貼り付けた偏光フィルタと同じ偏光方向を持つ偏光フィルタを、左眼と右眼それぞれに貼り付けものである。すると、左眼には左目用画像１２のみが、右眼には右目用画像１３のみが見える状態で両画像が結像し、互いの画像の視差によって画像が立体的に見えるようになる。前期立体視画像閲覧用めがね２０３は、さらに左目用画像と右目用画像が結像しやすいように屈折するレンズを持っていてもよい。立体画像として結像するための他の方法としては、図４に示すように、ディスプレイに右目用画像及び左目用画像を交互に表示するとともに、立体視画像閲覧用めがねの右目及び左目を交互に透光、遮光を繰り返す時差分割方式がある。この方式では、ユーザの脳内で目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
　表示手段１０３は、さらに、ポインタ表示手段１０７を備えている。ポインタ表示手段１０７は、視差取得手段１０８、及び視差補正手段１０９と供にグラフィカルユーザインターフェイス手段を構成し、操作手段１０６からの操作内容に基づき、ポインタ画像をディスプレイ１０４へ画面出力するようにＶＲＡＭ１０５へポインタ画像情報を出力する。ポインタ表示手段１０７は、左眼用ポインタ画像１４、右眼用ポインタ画像１５を生成し、前述する立体視画像の表示と同様の方法により、ポインタ自体も視差によって立体画像として結像できるよう、ＶＲＡＭ１０５へ転送する。なお、ポインタ表示手段１０７は、視差補正手段１０９によって補正された視差を取得して、ポインタを表示する視差として適用するよう左眼用ポインタ画像１４と右眼用ポインタ画像１５を生成する。ポインタを表示する視差の補正方法についても、詳細は後述する。
　操作手段１０６は、ユーザから立体視画像編集装置１０に対しての操作を入力するための手段である。これは、図１の入力装置４０に対応付けることができる。表示対象の立体視画像データを選択する際や、ディスプレイ１０４に画面出力された立体視画像に対して指示する際に、ユーザは、操作手段１０６を用いて立体視画像表示装置に対して操作内容を入力する。
　視差取得手段１０８は、画面出力される立体視画像上において、操作手段１０６によって指示された位置における左目用画像１２と右目用画像１３との視差量を取得する。これは、図１のＣＰＵ１０で動作する、記憶装置２０に記憶されたプログラムに対応付けることができる。なお、ハードウェアとして実装することも可能である。視差の取得方法については、詳細を後述する。
　視差補正手段１０９は、視差取得手段１０８によって取得した視差量から、実際にポインタ画像の表示に利用する視差に補正し、補正した視差量でポインタ画像を表示するようポインタ表示手段１０７へ通知する。視差補正手段１０９における視差の補正では、現時点で表示しているポインタ画像の視差と、視差取得手段１０８から取得した立体視画像の視差との中間視差を算出し、この中間視差を補正した視差とする。中間視差の算出方法については、詳細を後述する。このような視差補正手段１０９の機能は、図１のＣＰＵ１０で動作する記憶装置２０に記憶されたプログラムに対応付けることができる。あるいは、ハードウェアとして実装することも可能である。
　（ポインタ画像の表示）
　次に、図５、図６を参照しながら、本発明におけるポインタ画像の動きを説明する。図５は、立体視画像において表示深度の大きく異なる被写体間でポインティング位置が移動する場合のポインタ画像の動きを模式的に示す図である。本図に示すように、ここで用いる立体視画像はディスプレイ面よりも飛び出した位置に自動車が結像する画像である。また、本図において時間は、時点ｔ０、時点ｔ１、時点ｔ２、時点ｔ３の順に遷移する。
　操作手段であるマウスは初期位置Ｍ０に位置しており、この時のポインティング位置は、被写体である自動車の前面に相当する。図６の（ａ）は時点ｔ０におけるポインタ画像が合成された左目用画像及び右目用画像である。左目用画像では、自動車の前面の水平座標ｘ１にポインタ画像が描画され、左目用画像では、自動車の前面の水平座標ｘ２にポインタ画像が描画されている。このように、右目用画像、及び左目用画像における自動車の前面の視差Ｐｉｍｇとポインタ画像の視差Ｐｏｂｊ（ｔ０）とは供にｘ１－ｘ２であり、この結果、時点ｔ０のポインタ画像は、このポインティング位置に応じて、自動車の前面と同じ表示深度で結像される。
　ここで、図５のように時点ｔ１においてマウスが、初期位置Ｍ０から右方向の位置Ｍ１へ移動されると、ポインティング位置は、ディスプレイ面と同じ表示深度の背景上の一点に変化する。図６の（ｂ）は時点ｔ１におけるポインタ画像が合成された左目用画像及び右目用画像である。時点ｔ１では、ポインティング位置の移動に伴って、ポインタ画像が左目用画像及び右目用画像に対して、それぞれ水平座標ｘ１’、ｘ２’の位置に合成される。この時、ポインタ画像の視差Ｐｏｂｊ（ｔ１）は、時点ｔ０でポインタ画像が指し示していた自動車の前面の視差ｘ１－ｘ２よりも小さく、ディスプレイ面と同じ表示深度の背景での視差０よりも大きい。その結果、図５に示すように、時点ｔ１におけるポインタ画像は、時点ｔ０におけるポインタ画像の表示深度とディスプレイ面の表示深度との間の表示深度で結像する。
　その後、マウスが移動されることなくポインティング位置に変化がなければ、図５に示すように、時点２においてポインタ画像の表示深度を更にポインティング位置であるディスプレイ面の表示深度に近づけ、最終的に、時点ｔ３においてポインタ画像の表示深度を、ポインティング位置における立体視画像の表示深度、即ちディスプレイ面の表示深度に一致させる。図６の（ｃ）は時点ｔ３におけるポインタ画像が合成された左目用画像及び右目用画像である。時点ｔ３では、ポインタ画像が左目用画像及び右目用画像に対して、それぞれ水平座標ｘ１’’、ｘ２’’の位置に合成される。ここでｘ１’’、ｘ２’’は同じ座標であり、左目用画像及び右目用画像に合成されたポインタ画像の視差Ｐｏｂｊ（ｔ３）は０である。
　より詳細には、図７に示すような視差の時間変化で、ポインタ画像を左目用画像及び右目用画像に合成することで、ポインタ画像の表示深度が急激に変化することなく、ユーザが視認しやすいポインタ画像の動きを実現することができる。
　次に、図８を参照しながら、本実施の形態１におけるポインタ画像表示処理の流れを説明する。図８は、本実施の形態１にかかる立体視画像表示装置におけるポインタ画像表示処理の流れを示したフローチャートである。
　本フローチャートに示すポインタ画像表示処理は、ディスプレイに立体視画像が表示された状態で実行される。立体視画像の表示は、ユーザが操作手段１０６を介してディスプレイ１０４に出力させたい立体視画像データ１１を選択した場合に、選択された立体視画像データが記憶手段１０１から読み出され、圧縮伸長手段１０２が圧縮された立体視画像データ１１を表示手段１０３で表示可能な形式に伸長変換し、ＶＲＡＭ１０５へ転送することで実現される。
　ポインタ画像表示処理では、先ずポインタ画像の描画タイミングが到来する度に（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２～ステップＳ３０８の描画サイクルが繰り返し実行される。ポインタ画像の描画タイミングとしては、表示装置のフレームレートと同期させてもよいし、数フレーム毎に１度のポインタ画像描画タイミングを設けてもよい。あるいは、タイマを用いた計時によりポインタ画像の描画周期を設定してもよい。
　ステップＳ３０２～３０４では、この描画サイクル実行時に指定されているポインティング位置に対応する左眼用画像１２及び右眼用画像１３の部位の視差Ｐｉｍｇが算出される。
　視差の取得方法としては様々な方法があるが、ここでは左眼用画像と右眼用画像とで同じ特徴点を持つ箇所を検出し、それぞれの特徴点を比較し、水平方向のずれを視差として取得する方法を述べる。通常、ユーザが操作手段１０６を介して、画面に出力されている立体視画像上にポインタを表示するように操作すると、例えばフレーム単位ごとに、操作手段１０６からポインティング位置の情報が視差取得手段１０８へ通知される。視差取得手段１０８は、情報が通知される毎に、圧縮伸長手段１０２によって伸長変換された左眼用画像１２または右眼用画像１３のどちらか一方の画像上において、ポインタが指示する部位の座標を特定する。さらに、視差取得手段１０８は、特定した部位周辺の画像と同じ特徴点を持つ箇所を、もう一方の画像から探索し、その部位の座標を取得する。尚、同じ特徴点を持つ箇所を検索する方法としては、一般的にはパターンマッチング法や、テンプレートマッチング法、ＤＰマッチング法などがあり、いずれの手法を用いてもよい。また、上述した視差取得方法以外にも、立体視画像データ１１そのものが、あらかじめ各フレームおよび各画素単位における視差情報を含むフォーマットであれば、より簡易的にポインティング位置における視差量を取得することができる。
　このような特徴点探索処理が視差取得手段１０８において常時実行されており、ステップＳ３０２の手順が処理されるタイミングで実行された、特徴点探索の結果が、ステップＳ３０３において比較される。左眼用画像１２と右眼用画像１３とで同じ特徴点が検出された場合（ステップＳ３０３：Ｙｅｓ）、視差取得手段１０８は、ポインタが指示する位置における被写体の視差を算出する（ステップＳ３０４）。具体的には、ポインティング位置の被写体がディスプレイ面とは異なる表示深度で結像する場合には、ステップＳ３０２において特徴点を探索した結果、左眼用画像１２と右眼用画像１３とのそれぞれのポインティング位置の相対座標が水平方向にずれている。視差取得手段１０８は、このずれの量（水平方向にずれる画素の数）をポインタの指示位置における被写体の視差Ｐｉｍｇとして取得する。一方、左眼用画像１２と右眼用画像１３とで同じ特徴点が検出されなかった場合（ステップＳ３０３：Ｎｏ）は、ステップＳ３０８に遷移し、ポインタ表示手段１０７が前サイクルでのポインタ画像と同じ座標位置にポインタ画像を合成する。
　ステップＳ３０４において視差Ｐｉｍｇが得られると、次に、視差補正手段１０９において、前サイクルでポインタ画像の描画に用いた視差Ｐｏｂj(ｔｎ－１)と視差Ｐｉｍｇとの差の絶対値が算出され、Ｐｉｍｇ－Ｐｏｂj(ｔｎ－１)の絶対値が所定の閾値Ｔｈ１以下であるか否かが判定される（ステップＳ３０５）。Ｐｉｍｇ－Ｐｏｂj(ｔｎ－１)の絶対値が所定の閾値Ｔｈ１以下である場合（ステップＳ３０５：Ｙｅｓ）は、ポインタ画像自体の表示に用いる視差を補正する必要はないと判断され、視差補正手段１０９は、その旨をポインタ表示手段１０７へ通知する。処理はステップＳ３０８に遷移し、ポインタ表示手段１０７は、左目用ポインタ画像１４と右目用ポインタ画像１５との間に視差Ｐｉｍｇと同じ値の視差を持たせて、左目用画像１２と右目用画像１３とに合成する。この結果、ポインタ画像の表示深度は、ポインティング位置における被写体の表示深度と一致することになる。尚、閾値Ｔｈ１は、ポインタ画像の視差が１サイクルで変化しても、ユーザの目が視差の変化に適応できる程度の視差変化量の値を用いる。このような閾値Ｔｈ１の好適な値は、ディスプレイサイズに応じて定まる。これは、視差Ｐｉｍｇと視差Ｐｏｂj(ｔｎ－１)との差が同じであっても、ディスプレイサイズが小さいものより大きいものの方が、被写体とポインタ画像との表示深度の差が大きく見えるためである。そのため、ディスプレイサイズが大きいほど、閾値Ｔｈ１に小さな値を用いることになる。
　一方、ステップＳ３０５において、Ｐｉｍｇ－Ｐｏｂj(ｔｎ－１)の絶対値が、所定の閾値を超える場合（ステップＳ３０５：Ｎｏ）、視差補正手段１０９は、現在のポインタ画像描画サイクルにおいて用いる視差Ｐｏｂj(ｔｎ)を算出する（ステップＳ３０６）。ここで視差補正手段１０９により算出される視差Ｐｏｂj(ｔｎ)は、現在のポインティング位置における被写体の視差Ｐｉｍｇと、前サイクルにおけるポインタ画像の視差Ｐｏｂj(ｔｎ－１)との中間視差となる。中間視差の算出方法は、例えば、式１を用いて説明する次の方法で実施できる。
Figure JPOXMLDOC01-appb-M000001
 　式１において、ポインティング位置の変化又は立体視画像の変化により指し示される被写体の視差が変化した時点をｔ０とし、Ｐｏｂｊは時点ｔ０におけるポインタ画像の視差である。また、Ｋ／Ｔは、視差の変化量を決める定数であり、この値が大きいと視差の変化が速くなる。より詳細には、定数Ｋが変化の速さを決める定数であり、変数Ｔには「初期値Ｐｏｂｊから終了値ＰｉｍｇまでＴ秒で変化する」といった視差の変化に要する時間を設定することができる。また、Ｓは視差を変化させるタイミングを決める定数であり、この値が大きいほど早い時点でサイクル間の視差の変化が大きくなる。具体的には、定数Ｓが大きいとｔ０に近い時点で視差の変化が大きくなりだし、図７に示すシグモイドカーブがなだらかなものとなるが、定数Ｓが大きいとｔ０に遠い時点で視差の変化が大きくなりだすため、図７に示すシグモイドカーブがより急峻なものとなる。
　尚、定数Ｋ、Ｓ、及び変数Ｔは任意の値を設定することができるが、一例として、Ｋ＝２、Ｓ＝２の場合に、ポインタ画像の表示深度変化がスムーズになり、ポインタ画像を視認しやすい良好な効果が得られる。具体的には、ポインタ画像を更新する描画レートが３０ｆｐｓであり、Ｋ＝２、Ｓ＝２、変数Ｔ＝２、即ち２秒で視差を変化させるとした場合、時点ｔ０でのポインタ画像視差Ｐｏｂjが２０ピクセル、ポインティング位置での被写体の視差Ｐｉｍｇが５０ピクセルであれば、Ｐｏｂｊ（ｔｎ）は、図７に示すグラフのように変化する。
　また、視差補正手段１０９は、立体視画像およびポインタ画像を表示する画面の大きさ、あるいは画面解像度を取得し、その値に応じてポインタ画像の視差の補正開始タイミングを変更するように、定数Ｋ、Ｓ、及び変数Ｔを動的に設定する構成としてもよい。例えば、大画面や低解像度など、視差の変化が目立ちやすい画面においてはポインタ画像の視差変化を抑制するようにＳやＴに大きな値を設定したり、逆に小画面や高解像度など視差の変化が目立ちにくい画面においてはポインタ画像の視差変化の抑制を解除するためにＳやＴに小さなの値を設定したりすることで、出力画面に応じて視認性を向上することができる。ポインタ画像の視差を変化させるときの変化量を、画面の大きさ、あるいは画面解像度によって決定することで、出力画面に応じて視認性を向上することができる。
　ステップＳ３０６において視差Ｐｏｂj(ｔｎ)を算出した視差補正手段１０９は、視差Ｐｏｂj(ｔｎ)をポインタ表示手段１０７へ通知する。視差Ｐｏｂj(ｔｎ)を通知されたポインタ表示手段１０７は、ステップＳ３０７において、左目用画像及び右目用画像にポインタ画像を合成する座標を決定し、ポインタ画像を補正する。例えば、Ｓ３０４で左眼用画像１２におけるポインタが指示する位置を基準に視差Ｐｉｍｇを算出した場合においては、Ｐｏｂｊ（ｔｎ）は、右眼用画像１３に合成するポインタ画像が水平方向にずれる画素の数となる。そこで、左眼用画像１２上に合成する左眼用ポインタ画像１４の位置を、ステップＳ３０２において探索した左眼用画像１２の特徴点の座標に補正し、一方、右眼用画像１３上に合成する右眼用ポインタ画像１５の位置を、左眼用ポインタ画像１４の座標位置よりも水平方向にＰｏｂｊ（ｔｎ）だけずらした座標位置に補正する。これにより、視差Ｐｏｂｊ（ｔｎ）がポインタ画像に反映されることになる。ここでＰｏｂｊ（ｔｎ）の値が正の値であれば右眼用画像１３は左眼用画像１２より水平方向に右へずらした座標位置となり、Ｐｏｂｊ（ｔｎ）の値が負の値であれば水平方向に左へずらした座標位置となる。
　最後に、ポインタ表示手段１０７が、左眼用ポインタ画像１４をＶＲＡＭ上の左目用画像１２に合成し、右眼用ポインタ画像１５をＶＲＡＭ上の右眼用画像１３に合成する（ステップＳ３０８）。具体的には、視差補正手段１０９がステップＳ３０７で座標補正を行なった場合、ポインタ表示手段１０７は、補正した左眼用ポインタ画像１４と、補正した右眼用ポインタ画像１５を、左目用画像１２と右眼用画像１３との合成に用いる。これにより、ディスプレイ１０４へ表示されたポインタ画像は、視差Ｐｏｂｊ（ｔｎ）に応じた表示深度で結像する。
　以上の手順により、前サイクルでのポインタ画像の視差と、今回のサイクルでのポインティング位置における立体視画像上の被写体の視差との差が大きい場合に、補正によりその中間の視差を今回のサイクルにおけるポインタ画像に適用して表示することができる。
　さらに、このようなポインタ画像描画サイクルを、フレーム単位、もしくは一定の時間単位で繰り返し実行すことにより、ポインタ画像の表示深度を初期値から滑らかに変化させて、最終的にポインティング位置における被写体の表示深度まで遷移させる画像表現が可能となる。
　つまり、立体視画像上の表示深度の大きく異なる被写体間でポインティング位置が移動した場合でも、ポインタ画像の表示深度の急激な変化を抑制しながら、ポインタ画像の表示深度を被写体の表示深度まで滑らかに遷移させることができるので、立体視画像に重畳したポインタ画像の視認性を向上することができる。

　（実施の形態２）
　図９は、実施の形態２における立体視画像表示装置の機能構成を示すブロック図である。前述した図２と同じ構成要素は、同じ番号で示し、説明を省略する。
　図９において、立体視画像表示装置は、図２に示す構成と比較して、視差変化量検知手段１１２、及び画面情報取得手段１１３を追加し、視差補正手段１０９を視差補正手段１１４に置換した構成である。
　視差変化量検知手段１１２は、視差取得手段１０８が算出したポインタが指示する位置における立体視画像上の視差Ｐｉｍｇ（ｔｎ－１）を取得し、ポインタ画像の描画処理の次の処理サイクルまで保持する。さらに、視差変化量検知手段１１２は、次の処理サイクルにおいて、視差取得手段１０８から取得する視差Ｐｉｍｇ（ｔｎ）の値と保持している視差Ｐｉｍｇ（ｔｎ－１）とを比較する。比較した値の差があらかじめ設定された閾値Ｔｈ２以内である場合、視差変化量検知手段１１２は、視差補正手段１１４に対してポインタ画像の視差を変更するよう通知し、視差Ｐｉｍｇ（ｔｎ）を出力する。比較した値があらかじめ設定された閾値を超えた場合は、視差変化量検知手段１１２は、視差補正手段１１４に対してポインタ画像の視差を変更しないように通知する。さらに視差変化量検知手段１１２は、比較結果にかかわらず、保持する値を前記視差Ｐｉｍｇ（ｔｎ）の値に更新する。
　画面情報取得手段１１３は、表示手段１０３における画面サイズまたは画面解像度を含む画面情報を取得し、視差補正手段１１４からの要求に応じて前記画面情報を出力する。画面情報の取得は、例えば、ＨＤＭI接続のネゴシエーションフェーズにおける機器情報の取得により実現できる。
　視差補正手段１１４は、視差変化量検知手段１１２からポインタ画像の視差を変更するかしないかを示す通知と、ポインタが指示する位置における立体視画像の視差Ｐｉｍｇ（ｎ）を取得する。視差補正手段１１４は、ポインタ画像の視差を変更する旨の通知を受けると、視差変化量検知手段１１２から取得した視差Ｐｉｍｇ（ｎ）の値を用いて、実際にポインタ画像の表示に利用する視差を補正する。また、ポインタ画像の表示に利用する視差を補正した場合、視差補正手段１１４は、補正した視差でポインタ画像を表示するようにポインタ表示手段１０７へ通知する。視差補正手段１１４における補正は、現時点で表示しているポインタ画像の視差と、視差取得手段１０８が算出した立体視画像の視差との中間視差を算出し、算出した中間視差を補正した視差量とするものである。中間視差の算出方法については、実施の形態１に記載の視差補正手段１０９と同様である。
　また、視差補正手段１１４は、ポインタの視差を変更しない旨の通知を受け取ると、現在表示に用いているポインタ画像の視差と同じ値を、次サイクルのポインタ画像の視差とするよう、ポインタ表示手段１０７へ通知する。
　さらに、視差補正手段１１４は、ポインタ画像の表示に用いる中間視差を算出する際に、画面情報取得手段１１３から取得した画面サイズまたは画面解像度に応じて、ポインタ画像の視差を補正する程度を変更する機能を有する。例えば、画面サイズが大型（例えば３２インチを超える大画面）である場合には、ポインタ画像の表示深度が急激に変化しないように、１サイクルあたりの視差の変化量を抑制する。逆に画面サイズが小型（例えば３２インチ以下の小さな画面）である場合には、ポインタ画像の表示深度の変化をはっきりさせるために、１サイクルあたりの視差の変化量を増加させる。これにより、表示する画面のサイズおよび画面解像度に対して好適な視差の変化で、ポインタを表示することができ、視認性の向上を図ることができる。
　次に、図１０を参照しながら、本実施の形態２におけるポインタ画像表示処理の流れを説明する。図１０は、本実施の形態２に係る立体視画像表示装置でのポインタ画像表示処理の流れを示したフローチャートである。
　本図に示す処理の流れは、実施の形態１で説明した図８の処理の流れと比較して、ステップＳ４０５の処理と、ステップＳ４１０の処理が追加されている点で相違する。以下、実施の形態１におけるポインタ画像表示処理との相異点について説明する。
　ステップＳ４０５は、描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と前描画サイクルでの視差Ｐｉｍｇ（ｔｎ－１）との差を、閾値Ｔｈ２と比較する処理であり、ステップＳ４１０は、視差変化量検知手段１１２で保持している視差Ｐｉｍｇを、１の描画サイクルの最後に現在の描画サイクルで算出した値に更新する処理である。
　ステップＳ４０５の詳細について説明する。視差変化量検知手段１１２は、上述したように前回の描画サイクル（ステップＳ４０１～ステップＳ４１０）のにおいて算出されたポインティング位置での被写体視差Ｐｉｍｇ（ｔｎ－１）を保持しており、ステップＳ４０５では、ステップＳ４０４にて算出された現在の描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と保持している前描画サイクルでの視差Ｐｉｍｇ（ｔｎ－１）との差（変化量）を、閾値Ｔｈ２と比較する。ここで、描画サイクルでの視差Ｐｉｍｇ（ｔｎ）と前描画サイクルでの視差Ｐｉｍｇ（ｔｎ－１）との差は、ポインティング位置での立体視画像の視差の変化量を示すことになる。視差の変化量が、あらかじめ設定された閾値Ｔｈ２以下である場合（ステップＳ４０５で閾値以下）は、視差の補正処理を行うとして、視差変化量検知手段１１２がその旨を視差補正手段１１４へ通知し、処理がステップＳ４０６に遷移する。一方、視差の変化量が、閾値Ｔｈ２をこえる場合（ステップＳ４０５で閾値超過）は、視差の補正処理を行わない旨を視差変化量検知手段１１２が視差補正手段１１４へ通知する。この場合、視差補正手段１１４は、前の描画サイクルでポインタ画像に用いられている視差Ｐｏｂｊ（ｔｎ－１）と同じ値を、そのまま現在の描画サイクルでもポインタ画像の視差Ｐｏｂｊ（ｔｎ）として用いるようポインタ画像表示手段１０７へ通知して、ステップＳ４０９に遷移する。ここで閾値Ｔｈ２は、画面サイズ、画面解像度に応じて決定することが望ましい。例えば、式２を用いることができる。

　Ｔｈ２＝（e/2）/(画面サイズ/水平解像度)  ・・・式２

　式２においてeは、視聴者の目の幅である。
サイズが５０ｉｎｃでフルＨＤ（水平解像度が１９２０ピクセル）の画面を例にとると、
目の幅が一般に６．５ｃｍとして、閾値Ｔｈ２は、６８．１８ピクセルとなる。
　以上の手順により、本実施の形態２におけるポインタ画像表示処理では、前描画サイクルからのポインティング位置における立体視画像上の視差Ｐｉｍｇの変化量が、閾値Ｔｈ２以内である場合、すなわち、ポインティング位置における被写体の表示深度変化が、前サイクルからある程度に抑えられる場合には、実施の形態１におけるポインタ画像表示処理と同様の視差補正処理が実行され、その結果、ポインタ画像の表示深度が滑らかに変化するよう描画される。これに対して、前描画サイクルからの視差Ｐｉｍｇの変化量が閾値Ｔｈ２を超える場合、すなわち、ポインティング位置における被写体の表示深度が、前サイクルから大きく変化する場合には、前サイクルでのポインタ画像の視差Ｐｏｂｊ（ｔｎ-１）と同じ値が、現在の描画サイクルでもそのまま用いられ、その結果、ポインタ画像の表示深度が前サイクルから変化しないように描画される。
　立体視映像が動画である場合、ポインティング位置に変化がなくとも、画像の動きによりポインタが指示するオブジェクトが、フレーム毎に、繰り返し切り替わる場合がある。
上述の処理手順では、繰り返し切り替わるオブジェクトＡとオブジェクトＢの深度に大きな差があり、この差が閾値Ｔｈ２を超える場合は視差補正処理を行わない。これにより、ポインタがオブジェクトＡとオブジェクトＢとをフレーム毎に交互に指し示すような場合に、ポインタの深度をフレーム毎に変化させずに描画することになり、ポインタ表示のちらつきを低減することが可能となる。このような効果は、撮影時の手振れなどにより動画である立体視画像に微細な揺れがある場合に特に顕著なものとなる。

　　(備考)
　以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。

　（システムＬＳＩ化）
　本発明は、図２、及び図９に示す構成を本質的部分とする。立体視画像表示装置のうち、かかる本質的部分を抜き出して、システムＬＳＩとして構成してもよい。
　システムＬＳＩとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも１つのＬＳＩのような外形構造を複数個のベアチップに持たせたものも、システムＬＳＩに含まれる（このようなシステムＬＳＩは、マルチチップモジュールと呼ばれる。）。
　ここでパッケージの種別に着目するとシステムＬＳＩには、ＱＦＰ（クッド　フラッド　アレイ）、ＰＧＡ（ピン　グリッド　アレイ）という種別がある。ＱＦＰは、パッケージの四側面にピンが取り付けられたシステムＬＳＩである。ＰＧＡは、底面全体に、多くのピンが取り付けられたシステムＬＳＩである。
　これらのピンは、他の回路とのインターフェイスとしての役割を担っている。システムＬＳＩにおけるピンには、こうしたインターフェイスの役割が存在するので、システムＬＳＩにおけるこれらのピンに、他の回路を接続することにより、システムＬＳＩは、再生装置の中核としての役割を果たす。
　かかるシステムＬＳＩは、再生装置は勿論のこと、ＴＶやゲーム、パソコン、ワンセグ携帯等、映像再生を扱う様々な機器に組込みが可能であり、本発明の用途を多いに広げることができる。
　具体的な生産手順の詳細は以下のものになる。まず各実施形態に示した構成図を基に、システムＬＳＩとすべき部分の回路図を作成し、回路素子やＩＣ，ＬＳＩを用いて、構成図における構成要素を具現化する。
　そうして、各構成要素を具現化してゆけば、回路素子やＩＣ，ＬＳＩ間を接続するバスやその周辺回路、外部とのインターフェイス等を規定する。更には、接続線、電源ライン、グランドライン、クロック信号線等も規定してゆく。この規定にあたって、ＬＳＩのスペックを考慮して各構成要素の動作タイミングを調整したり、各構成要素に必要なバンド幅を保証する等の調整を加えながら、回路図を完成させてゆく。
　回路図が完成すれば、実装設計を行う。実装設計とは、回路設計によって作成された回路図上の部品（回路素子やＩＣ，ＬＳＩ）を基板上のどこへ配置するか、あるいは、回路図上の接続線を、基板上にどのように配線するかを決定する基板レイアウトの作成作業である。
　ここで実装設計は、自動配置と、自動配線とからなる。
　ＣＡＤ装置を利用する場合、この自動配置は、“重心法”と呼ばれる専用のアルゴリズムを用いて実現することができる。自動配線は、回路図上の部品のピン同士を接続するような接続線を、金属箔やビアを用いて規定する。ＣＡＤ装置を利用する場合、この配線処理は、“メーズ法”“ラインサーチ法”と呼ばれる専用のアルゴリズムを用いて実現することができる。
　こうして実装設計が行われ、基板上のレイアウトが確定すれば、実装設計結果をＣＡＭデータに変換して、ＮＣ工作機械等の設備に出力する。ＮＣ工作機械は、このＣＡＭデータを基に、ＳｏＣ実装やＳｉＰ実装を行う。ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ｃｈｉｐ）実装とは、１チップ上に複数の回路を焼き付ける技術である。ＳｉＰ（Ｓｙｓｔｅｍ　ｉｎ　Ｐａｃｋａｇｅ）実装とは、複数チップを樹脂等で１パッケージにする技術である。以上の過程を経て、本発明に係るシステムＬＳＩは、各実施形態に示した再生装置の内部構成図を基に作ることができる。
　尚、上述のようにして生成される集積回路は、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　さらに、各再生装置の構成要素の一部又は全てを１つのチップとして構成してもよい。集積回路化は、上述したＳｏＣ実装，ＳｉＰ実装に限るものではなく、専用回路又は汎用プロセスで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なシリコンフィギュラブル・プロセッサを利用することが考えられる。更には、半導体技術の進歩又は派生する技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積回路化を行っても良い。例えば、バイオ技術の適用などが可能性としてありうる。
　（プログラム）
　本発明は、各実施の形態で説明したフローチャートの処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。各実施形態においてフローチャートを引用して説明した制御手順や、機能的な構成要素による制御手順は、ハードウェア資源を用いて具体的に実現されていることから、自然法則を利用した技術的思想の創作といえ、“プログラムの発明”としての成立要件を満たす。
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。
　また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送するものとしてもよい。
　また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（外部Ｉ／Ｆ）
　各実施形態で説明した立体視画像表示装置は、さらにＵＳＢやネットワーク、カメラ入力や外部記憶媒体などの外部データを取得する外部Ｉ／Ｆを備えてもよい。立体視画像表示装置は、立体視画像データ１１を外部Ｉ／Ｆを介して取得して、記憶手段１０１へ記憶する構成としてもよい。
　（操作手段）
　操作手段１０６は、立体視画像表示装置に対して操作内容を入力できる手段であればよい。操作手段１０６は、キーボードやマウスに限定されず、例えばタッチパネルディスプレイに代表されるような、ディスプレイ１０４と一体型の入力デバイスであってもよい。
　また、ポインタを表示する位置情報は各実施の形態で説明した方法以外でも取得することができ、立体視画像上の位置を特定できる情報さえ取得できれば、いずれの方法を用いてもよい。操作手段１０６から直接取得するほかに、例えば、次の方法がある。操作手段１０６が表示手段１０３にポインタの位置情報を提供し、表示手段１０３が実際にポインタを表示する位置を決定するような構成とする場合には、表示手段１０３から実際のポインタの表示位置を取得する方法でもよい。
　（ポインタ画像の視差補正）
　実施の形態１においては、ポインタの視差が連続的に変化するよう視差を補正する式として式１を例示したが、視差補正手段における中間視差の算出方法は上述以外の方法および式を用いることもできる。
　例えば、中間視差の算出に式３を用いてもよい。式３では、前サイクルでのポインタ画像の視差をＰｏｂｊ（ｔｎ－１）、現在のサイクルで用いるポインタ画像の視差をＰｏｂｊ（ｔｎ）、現在のポインタが指示する位置における立体視画像上の被写体の視差をＰいｍｇと示す。

　Ｐｏｂｊ（ｔｎ）＝Ｐｏｂｊ（ｔｎ－１）＋［（Ｐｉｍｇ－Ｐｏｂｊ（ｔｎ－１））／ｋ］　　・・・式３

　ｋは視差の変化量の割合を決定する値である。ｋの値が大きいほど、ポインタの視差がポインタの指示する位置における立体視画像上の被写体の視差と一致するまで、より多くのフレーム数を要することとなり、結果としてより時間をかけて変化することになる。ユーザにとって好適な視差変化が得られる値をｋに設定する。カッコ［］はガウス記号であり、「［］内の値を超えない最大の整数値」であることを示す。これにより、現在の描画サイクルで用いるポインタ画像の補正視差Ｐｏｂｊ（ｔｎ）を求めることができる。
　（画面サイズの小さなディスプレイへの適用）
　各実施の形態において説明したポインタ画像の視差補正は、ポインタ画像の表示深度が急激に変化することを抑制することを目的とするものであるが、そもそもポインタ画像を表示する画面サイズが極めて小型である場合には、視差変化が大きくともユーザに視認される深度変化が小さなものとなるため、ポインタ画像の視差補正のメリットも顕著なものではなくなる。
　そこで、画面サイズが極めて小型である場合、例えば、画面サイズが２０ｉｎｃ以下である場合、図８のステップＳ３０６、及び図１０のステップＳ４０７の処理を実行せず、ポインタ画像の視差Ｐｏｂｊとして、ポインティング位置での被写体の視差Ｐｉｍｇと同じ値を用いてポインタ画像を描画するとしてもよい。
　（ポインタ画像と被写体が一致した状態でのポインタ画像表示深度）
　各実施の形態では、ポインタ画像の表示深度と、ポインティング位置における立体視画像の表示深度とを一致させることで、ポインタ画像が立体視画像の何れの被写体を指し示すかを視認しやすくしている。しかし、指し示している立体視画像よりも、ポインタ画像をわずかに手前に浮き出るような表示深度で描画することで、被写体とポインタとの区別を視認しやすくすることができる。
　そこで、被写体とポインタとの区別を視認しやすくする目的で、ポインティング位置での立体視画像よりも表示深度がわずかに手前になる程度の視差で、ポインタ画像を描画してもよい。例えば、ポインタ画像と被写体が一致した状態を表現する場合に、ポインタ画像の視差をポインティング位置における立体視画像の視差よりも、手前に浮き出る方向に１ピクセル程度ずらして描画することで、被写体とポインタとの区別が明瞭になる。このときポインタ画像の視差とポインティング位置における立体視画像の視差との間で設けるズレの大きさは、ポインタ画像が何れの被写体を指し示すかを十分に視認可能な範囲であればよく、画面サイズ、画面解像度に応じて好適な値が定まる。即ち、このズレが一定であっても画面サイズが大きい程、被写体とポインタとの間隔が広く視認される。
　本発明にかかる立体視画像表示装置は、立体視画像上の被写体を指示する機能を有した情報処理装置やＡＶ機器等として有用である。また、ＰＤＡ、携帯電話機などの通信端末等の用途にも応用できる。
　１０　　ＣＰＵ
　２０　　メモリ装置
　２１　　ＲＯＭ
　２２　　ＲＡＭ
　２５　　ハードディスク装置
　２６，３５，４１，４６　　インタフェース
　３０　　通信装置
　３１　　記録媒体
　３２　　読取装置
　３３　　電気通信回線
　４０　　入力装置
　４５　　表示装置
　５０　　バスライン
　５１　　タイマ回路
　５５　　割込コントローラ
　１１　　立体視画像データ
　１２　　左眼用画像
　１３　　右眼用画像
　１４　　左眼用ポインタ画像（左眼用指示オブジェクト画像）
　１５　　左眼用ポインタ画像（左眼用指示オブジェクト画像）
　１６　　立体視表示用ポインタ画像
　１０１　　記憶手段
　１０２　　圧縮／伸長手段
　１０３　　表示手段
　１０４　　ディスプレイ
　１０５　　ＶＲＡＭ
　１０６　　操作手段
　１０７　　ポインタ表示手段
　１０８　　視差取得手段
　１０９，１１４　　視差補正手段
　１１１　　外部Ｉ／Ｆ
　１１２　　視差変化量検知手段
　１１３　　画面情報取得手段
　２０１　　偏光フィルタ
　２０２　　偏光フィルタ２０１と偏光方向が９０度異なる偏光フィルタ
　２０３　　立体視画像閲覧用めがね

Claims (9)

  1. 立体視画像表示装置であって、
    　左目用画像と右目用画像とから構成される立体視画像を、ディスプレイに表示させる画像表示手段と、
    　ディスプレイ面に並行な直交座標系におけるポインティング位置を受け付ける操作手段と、
    　ディスプレイ面に直交する方向に表示深度を持つポインタ画像を、ディスプレイに表示される前記立体視画像に対して、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、
    　グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、当該第１描画サイクルの次の第２描画サイクルでのポインティング位置における前記立体視画像の表示深度とが異なる場合、第２描画サイクル以後の連続した複数描画サイクルにおいて、第１描画サイクルでのポインタ画像の表示深度から第２描画サイクルでのポインティング位置における前記立体視画像の表示深度まで、表示深度を順に変化させてポインタ画像を描画する
    立体視画像表示装置。
  2. グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、第２描画サイクルでのポインティング位置における前記立体視画像の表示深度との中間の表示深度を、第２描画サイクルにおけるポインタ画像の表示深度とする
    　ことを特徴とする請求項１記載の立体視画像表示装置。
  3. 前記表示深度は、左目用画像に合成されたポインタ画像と右目用画像に合成されたポインタ画像との水平方向の変位量である視差により定まる
    　ことを特徴とする請求項２記載の立体視画像表示装置。
  4. 前記グラフィカルユーザインターフェイス手段は、第１描画サイクルで表示される左目用画像に合成されたポインタ画像と右目用画像に合成されたポインタ画像との視差、及び、第２描画サイクルでのポインティング位置における立体視画像の視差を入力とし、第２描画サイクルでのポインタ画像の視差を出力する関数を用いて、第２描画サイクルでポインタ画像を左目用画像と右目用画像とに合成する部位を決定する
    　ことを特徴とする請求項３記載の立体視画像表示装置。
  5. 第１描画サイクルでのポインティング位置における前記立体視画像の表示深度と、第２描画サイクルでのポインティング位置における前記立体視画像の表示深度との差が所定の範囲内である場合、グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、第２描画サイクルでのポインティング位置における前記立体視画像の表示深度との中間の表示深度を、第２描画サイクルにおけるポインタ画像の表示深度とし、
    　前記差が前記所定の範囲を超える場合、前記グラフィカルユーザインターフェイス手段は、第１描画サイクルにおけるポインタ画像の表示深度を、第２描画サイクルにおけるポインタ画像の表示深度とする
    　ことを特徴とする請求項１記載の立体視画像表示装置。
  6. 前記所定の範囲は、前記ディスプレイの大きさ及び画面解像度の少なくとも一方に応じて定まる範囲である
    　ことを特徴とする請求項５記載の立体視画像表示装置。
  7. 前記グラフィカルユーザインターフェイス手段は、第２描画サイクル以後の連続した前記複数描画サイクルのサイクル数を、前記ディスプレイの大きさ及び画面解像度の少なくとも一方に応じて決定する
    　ことを特徴とする請求項１記載の立体視画像表示装置。
  8. 立体視画像表示処理を行う半導体集積回路であって、
    　左目用画像と右目用画像とから構成される立体視画像を、ディスプレイに表示させる画像表示手段と、
    　ディスプレイ面に並行な直交座標系におけるポインティング位置の入力を受け付ける受付手段と、
    　ディスプレイ面に直交する方向に表示深度を持つポインタ画像を、ディスプレイに表示される前記立体視画像に対して、所定の描画レートで合成するグラフィカルユーザインターフェイス手段とを備え、
    　グラフィカルユーザインターフェイス手段は、第１描画サイクルでのポインタ画像の表示深度と、当該第１描画サイクルの次の第２描画サイクルでのポインティング位置における前記立体視画像の表示深度とが異なる場合、第２描画サイクル以後の連続した複数描画サイクルにおいて、第１描画サイクルでのポインタ画像の表示深度から第２描画サイクルでのポインティング位置における前記立体視画像の表示深度まで、表示深度を順に変化させてポインタ画像を描画する
    半導体集積回路。
  9. 立体視画像表示方法であって、
    　左目用画像と右目用画像とから構成される立体視画像を、ディスプレイに表示するためのビデオメモリへ書き込む立体視画像表示ステップと、
    　ディスプレイ面に並行な直交座標系におけるポインティング位置を受け付ける受付ステップと、
    　ディスプレイ面に直交する方向に表示深度を持つポインタ画像を、前記ビデオメモリに書き込まれている立体視画像に対して、所定の描画レートで合成するポインタ画像合成ステップとを含み、
    　ポインタ画像合成ステップでは、第１描画サイクルでのポインタ画像の表示深度と、当該第１描画サイクルの次の第２描画サイクルでのポインティング位置における前記立体視画像の表示深度とが異なる場合、第２描画サイクル以後の連続した複数描画サイクルにおいて、第１描画サイクルでのポインタ画像の表示深度から第２描画サイクルでのポインティング位置における前記立体視画像の表示深度まで、表示深度を順に変化させてポインタ画像を描画する
    立体視画像表示方法。
PCT/JP2010/004243 2009-06-26 2010-06-25 立体視画像表示装置 WO2010150554A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/322,268 US8687053B2 (en) 2009-06-26 2010-06-25 Stereoscopic image display device
JP2011519612A JP5497758B2 (ja) 2009-06-26 2010-06-25 立体視画像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-151948 2009-06-26
JP2009151948 2009-06-26

Publications (1)

Publication Number Publication Date
WO2010150554A1 true WO2010150554A1 (ja) 2010-12-29

Family

ID=43386339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004243 WO2010150554A1 (ja) 2009-06-26 2010-06-25 立体視画像表示装置

Country Status (3)

Country Link
US (1) US8687053B2 (ja)
JP (1) JP5497758B2 (ja)
WO (1) WO2010150554A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095313A (ja) * 2009-11-26 2012-05-17 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
WO2012105427A1 (ja) * 2011-01-31 2012-08-09 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
WO2012169288A1 (ja) * 2011-06-06 2012-12-13 富士フイルム株式会社 画像加工装置、複眼撮像装置、画像加工方法及びプログラム
JP2013017056A (ja) * 2011-07-04 2013-01-24 Toshiba Corp 画像処理装置、画像処理方法及び医用画像診断装置
US20130021332A1 (en) * 2011-07-21 2013-01-24 Sony Corporation Image processing method, image processing device and display device
WO2013047105A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
JP2015053617A (ja) * 2013-09-06 2015-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
WO2015145933A1 (ja) * 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
EP2668787B1 (en) * 2011-01-27 2019-02-27 Microsoft Technology Licensing, LLC Presenting selectors within three-dimensional graphical environments

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5546633B2 (ja) * 2010-06-25 2014-07-09 富士フイルム株式会社 立体画像再生装置、立体画像再生システム及び立体画像再生方法
KR101126110B1 (ko) * 2010-06-28 2012-03-29 (주)펜앤프리 3차원 입체 영상 표시 시스템 및 이를 이용한 3차원 입체 영상 표시 방법
US8767053B2 (en) * 2010-08-26 2014-07-01 Stmicroelectronics, Inc. Method and apparatus for viewing stereoscopic video material simultaneously with multiple participants
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2013017146A (ja) * 2011-07-06 2013-01-24 Sony Corp 表示制御装置、表示制御方法およびプログラム
US9746989B2 (en) * 2011-10-13 2017-08-29 Toshiba Medical Systems Corporation Three-dimensional image processing apparatus
CN103686118A (zh) * 2012-09-19 2014-03-26 珠海扬智电子科技有限公司 影像深度调整方法与装置
JP2018160735A (ja) * 2017-03-22 2018-10-11 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
JP2004194033A (ja) * 2002-12-12 2004-07-08 Canon Inc 立体画像表示システム及び立体ポインタの表示方法
JP2004354540A (ja) * 2003-05-28 2004-12-16 Sanyo Electric Co Ltd 立体映像表示装置及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3971694B2 (ja) * 2002-12-11 2007-09-05 日本電信電話株式会社 オブジェクト表示方法及びその実施装置
WO2004107763A1 (ja) * 2003-05-28 2004-12-09 Sanyo Electric Co., Ltd. 立体映像表示装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置
JP2004194033A (ja) * 2002-12-12 2004-07-08 Canon Inc 立体画像表示システム及び立体ポインタの表示方法
JP2004354540A (ja) * 2003-05-28 2004-12-16 Sanyo Electric Co Ltd 立体映像表示装置及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012095313A (ja) * 2009-11-26 2012-05-17 Canon Inc 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
EP2668787B1 (en) * 2011-01-27 2019-02-27 Microsoft Technology Licensing, LLC Presenting selectors within three-dimensional graphical environments
WO2012105427A1 (ja) * 2011-01-31 2012-08-09 コニカミノルタホールディングス株式会社 画像処理装置、そのプログラム、および画像処理方法
WO2012169288A1 (ja) * 2011-06-06 2012-12-13 富士フイルム株式会社 画像加工装置、複眼撮像装置、画像加工方法及びプログラム
CN103597822A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 图像加工装置、复眼摄像装置、图像加工方法及程序
JP5536283B2 (ja) * 2011-06-06 2014-07-02 富士フイルム株式会社 画像加工装置、複眼撮像装置、画像加工方法及びプログラム
JP2013017056A (ja) * 2011-07-04 2013-01-24 Toshiba Corp 画像処理装置、画像処理方法及び医用画像診断装置
US20130021332A1 (en) * 2011-07-21 2013-01-24 Sony Corporation Image processing method, image processing device and display device
CN103024406A (zh) * 2011-07-21 2013-04-03 索尼公司 图像处理方法、图像处理装置以及显示装置
WO2013047105A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
US9143761B2 (en) 2011-09-29 2015-09-22 Fujifilm Corporation Image processing device, image processing method, recording medium, and imaging device
JP5546690B2 (ja) * 2011-09-29 2014-07-09 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
JP2015053617A (ja) * 2013-09-06 2015-03-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよび記憶媒体
WO2015145933A1 (ja) * 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム及び乗物
JPWO2015145933A1 (ja) * 2014-03-26 2017-04-13 パナソニックＩｐマネジメント株式会社 虚像表示装置、ヘッドアップディスプレイシステム及び乗物

Also Published As

Publication number Publication date
US8687053B2 (en) 2014-04-01
US20120069159A1 (en) 2012-03-22
JPWO2010150554A1 (ja) 2012-12-10
JP5497758B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5497758B2 (ja) 立体視画像表示装置
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
US8682061B2 (en) Stereoscopic image editing apparatus and stereoscopic image editing method
JP6002043B2 (ja) 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体
US9530179B2 (en) Two-dimensional (2D)/three-dimensional (3D) image processing method and system
JPWO2008139730A1 (ja) 表示装置
JP6218787B2 (ja) 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
JP2011090400A (ja) 画像表示装置および方法、並びにプログラム
US20110310099A1 (en) Three-dimensional image processing apparatus and method of controlling the same
US20110157307A1 (en) Image Processing Device, Image Processing Method, and Program
WO2014083752A1 (ja) 別視点画像生成装置および別視点画像生成方法
JP2016063537A (ja) 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
JP2014501086A (ja) 立体画像取得システム及び方法
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
WO2012005005A1 (ja) 端末装置およびｇｕｉ画面生成方法
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
US10771758B2 (en) Immersive viewing using a planar array of cameras
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
US20110157162A1 (en) Image processing device, image processing method, and program
WO2011152039A1 (ja) 立体映像処理装置及び立体映像処理方法
TWI533663B (zh) 立體影像處理裝置及立體影像處理方法
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
TWI806376B (zh) 立體影像生成盒、立體影像顯示方法及立體影像顯示系統
JP2011142410A (ja) 画像処理装置
US20120235992A1 (en) Stereoscopic image processing apparatus and stereoscopic image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10791876

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13322268

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011519612

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10791876

Country of ref document: EP

Kind code of ref document: A1