WO2004107763A1 - 立体映像表示装置及びプログラム - Google Patents

立体映像表示装置及びプログラム Download PDF

Info

Publication number
WO2004107763A1
WO2004107763A1 PCT/JP2004/007184 JP2004007184W WO2004107763A1 WO 2004107763 A1 WO2004107763 A1 WO 2004107763A1 JP 2004007184 W JP2004007184 W JP 2004007184W WO 2004107763 A1 WO2004107763 A1 WO 2004107763A1
Authority
WO
WIPO (PCT)
Prior art keywords
cursor
displayed
stereoscopically
stereoscopic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2004/007184
Other languages
English (en)
French (fr)
Inventor
Ken Mashitani
Goro Hamagishi
Satoshi Takemoto
Takatoshi Yoshikawa
Yoshihiro Hori
Keiji Horiuchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003150089A external-priority patent/JP4222875B2/ja
Priority claimed from JP2003384655A external-priority patent/JP2005151080A/ja
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to US10/558,478 priority Critical patent/US20070182730A1/en
Publication of WO2004107763A1 publication Critical patent/WO2004107763A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Definitions

  • the present invention relates to a stereoscopic video display device and a program.
  • a stereoscopic technique a stereoscopic method using parallax barrier, a stereoscopic method without glasses, a stereoscopic method with glasses using polarized glasses, liquid crystal glasses, and the like are known.
  • Patent Document 1 JP-A-2000-78611
  • Patent Document 2 JP-A-10-174064
  • files include files created by a mail function of a personal computer or a mobile phone, files created by a word processor, and the like. It is desired that the viewer effectively perform stereoscopic vision.
  • a stereoscopic video display device that allows a viewer to perform an effective stereoscopic vision, rather than simply displaying a character in a document in a stereoscopic manner. I do. It is another object of the present invention to provide a stereoscopic image display device and a program which can eliminate a sense of incongruity caused by a cursor or the like which should originally be present behind the stereoscopically displayed object being displayed on the near side. And
  • the stereoscopic video display device of the present invention uses a character image and an object image, and stereoscopically displays at least one of the character image and the object image.
  • a drawing process for display is performed, and the object is superimposed on the front side or the back side of the character to be viewed in a plan view or a stereoscopic view displayed on the display, and the object is stereoscopically viewed or displayed on the display.
  • the object is characterized in that the object is superimposed on the near side of the character to be viewed or the back side of the character and is viewed in a plan view.
  • characters in a document are objects while being viewed in a plan view. It is possible to realize a stereoscopic view that overlaps with the injured character, so that the viewer can perform an effective stereoscopic view.
  • the file to be drawn may include a code specifying a character image and an image of the object.
  • the file to be drawn may include a code specifying a character image and a pictographic code specifying an image of the object.
  • the file may include control information for controlling the stereoscopic display, and may be configured as a text file or a binary file.
  • the stereoscopic image display device may include means for transmitting and Z or receiving the file.
  • the character image and the object image data may be transparently synthesized at a predetermined ratio.
  • the image data of the character and the image data of the object may be developed on separate memory areas and then combined on the drawing memory.
  • the object may be configured to be animated stereoscopically displayed or animated planarly displayed.
  • the object has at least one of information for deforming, disappearing, and moving the object, and generates an image by using one or more of the information to display the object in an animation stereoscopic view or an animation plane view. May be.
  • the object has at least one of dot data obtained by transforming the object, lost dot data, and moved dot data, and the object is displayed in an animation stereoscopic display or an animation planar display by a plurality of dot data forming different images. You may do it.
  • control may be performed such that two or more stereoscopic displays are not simultaneously performed.
  • the animation stereoscopic display may be sequentially executed, and the objects waiting for the animation stereoscopic display may be stereoscopically or planarly viewed in a stationary state.
  • the display may be performed based on information indicating the state of the object.
  • the stereoscopic video display device of the present invention is a stereoscopic video display device that generates a stereoscopic video image, and includes means for drawing a plurality of viewpoint images to stereoscopically display an object, and operation of a pointing device.
  • the cursor or object moves on the screen according to the information.
  • Means for drawing as shown, means for judging the overlap between the object to be displayed three-dimensionally and the cursor or object, and when the overlap is judged, the cursor or object is set to be equal to or more than the object to be displayed three-dimensionally.
  • the stereoscopic image display device performs an enlarged drawing process on an object to be stereoscopically displayed or a cursor to be stereoscopically displayed when the object to be stereoscopically displayed or the cursor to be stereoscopically displayed is stereoscopically viewed toward the near side, and
  • an object to be stereoscopically displayed or a cursor to be stereoscopically displayed may be subjected to a reduced drawing process.
  • the stereoscopic video display device of the present invention is a stereoscopic video display device that generates a stereoscopic video image, and includes means for drawing a plurality of viewpoint images to stereoscopically display an object, and operation of a pointing device.
  • the cursor or the object is configured to perform a drawing process so as to be gradually erased.
  • the stereoscopic video display device of the present invention is a stereoscopic video display device for generating a stereoscopic video image, and includes means for drawing a plurality of viewpoint images for stereoscopically displaying an object, and operation of a pointing device.
  • the stereoscopic video display device of the present invention is a stereoscopic video display device for generating a stereoscopic video image, comprising: means for drawing a plurality of viewpoint images to stereoscopically display an object; Means for drawing the cursor or object on the screen in a moving manner according to the information; Means for judging an overlap with Tato, and means for performing a drawing process on all or a part of the cursor or object using the pixel data of the object to be stereoscopically displayed when the overlap is judged. It is characterized by having.
  • the program of the present invention provides a computer with means for drawing a multi-viewpoint image in order to stereoscopically display the object, and a computer for moving the cursor or the object on the screen according to the operation information of the pointing device.
  • Means for drawing means for judging the overlap between the object to be displayed stereoscopically and the cursor or the object, and, when the overlap is judged, the cursor or the object to be stereoscopically displayed more than the object to be stereoscopically displayed.
  • the program causes the computer to perform an enlarged drawing process on the object to be stereoscopically displayed or the cursor to be stereoscopically displayed when the object to be stereoscopically displayed or the cursor to be stereoscopically displayed is stereoscopically viewed toward the near side.
  • an object to be stereoscopically displayed or a cursor to be stereoscopically displayed may function as a means for performing a reduced drawing process.
  • the program of the present invention provides a computer with means for drawing a multi-viewpoint image for displaying an object in three dimensions, and a computer for moving and displaying a cursor or an object on a screen in accordance with operation information of a pointing device.
  • the computer may perform drawing processing such that the cursor or the object is gradually erased.
  • the program of the present invention includes a computer for displaying an object three-dimensionally.
  • Means for drawing a multi-viewpoint image means for drawing so that a cursor or an object is moved and displayed on a screen in accordance with operation information of a pointing device, and means for judging an overlap between an object displayed three-dimensionally and a cursor or an object.
  • the cursor or the object is made to function as a drawing processing means so that a transparent cursor having only an outline or an outside of the transparent object is displayed as the cursor or the object.
  • the program of the present invention provides a computer for displaying an object three-dimensionally.
  • Means for drawing a multi-viewpoint image means for drawing a cursor or an object so as to be moved and displayed on a screen in accordance with operation information of a pointing device, and judging an overlap between the object displayed three-dimensionally and the cursor or the object. And a means for rendering all or a part of the cursor or the object using the pixel data of the object to be stereoscopically displayed when the overlap is determined.
  • a computer performs an enlargement / rendering process on an object to be stereoscopically displayed when the object to be stereoscopically displayed is stereoscopically viewed from the front, and performs a stereoscopic display when the object is stereoscopically viewed to the rear side. Function as a means for performing a reduced drawing process on an object.
  • Embodiment 1 Hereinafter, an embodiment of the present invention will be described with reference to FIGS. 1 to 11.
  • a personal computer having a communication environment is exemplified.
  • a mobile device such as a mobile phone can be configured as a stereoscopic image display device.
  • FIG. 1 shows an example of the architecture of a personal computer (stereoscopic image display device).
  • the CPU 1 is connected to a north bridge 2 having a system control function and a south bridge 3 having an interface function such as a PCI bus and an ISA bus.
  • a video card 5 is connected to the north bridge 2 via a memory 4 or an AGP (Accelerated Graphics Port).
  • a USB (Universal Serial Bus) interface 6 To the south bridge 3, a USB (Universal Serial Bus) interface 6, a hard disk drive (HDD) 7, a CD-ROM device 8, and the like are connected.
  • USB Universal Serial Bus
  • FIG. 2 shows a general video card 5.
  • the VRAM (video memory) controller 5b controls writing and reading of drawing data to and from the VRAM 5a by an instruction from the CPU 1 via the AGP.
  • the DAC (D / A converter) 5c converts the digital video data from the VRAM controller 5b to an analog video signal, and supplies this video signal to the monitor 12 for a bass computer via the video buffer 5d.
  • video display processing rendering processing
  • stereoscopic video display processing in which a right-eye video and a left-eye video are generated and these are alternately drawn in a vertical stripe shape can be performed.
  • the personal computer has a network connection environment and can receive a file (eg, a document file, mail, an HTML file, an XML file, and the like) from a transmitting device configured as a server or the like on the Internet. . Further, in the personal computer, for example, by providing the monitor 12 with a liquid crystal barrier, it is possible to display both a two-dimensional image and a three-dimensional image. If the stereoscopic video is, for example, a right-eye video and a left-eye video alternately arranged in a vertical stripe, a vertical stripe-shaped light-shielding region is formed in the liquid crystal barrier under the control of the CPU 1.
  • a file eg, a document file, mail, an HTML file, an XML file, and the like
  • the window is displayed by the CPU 1. What is necessary is just to control the size and the formation position of the vertical stripe-shaped light shielding area based on the display coordinates and the size of the partial image portion.
  • a normal barrier barrier stripes are fixedly formed at a predetermined pitch
  • the personal computer is equipped with word processing software, mail software, and the like, and can open a file and display an image on the monitor 12.
  • FIG. 3 (a) shows a text received by mail
  • FIG. 3 (b) shows an image in which the stereoscopic object is a car pictogram.
  • the image (dot data) is, for example, an email received as an attached file.
  • compatibility can be maintained if the attached file is ignored and the screen is displayed using only text data.
  • an image is displayed as an animation, a plurality of images in which the positions of the pictographs of the car are slightly different from each other may be formed, or the control may be performed based on control data for changing the positions of the pictographs of the car. You can do it.
  • the control data may be added to the attached file, or may be held in advance on the receiving side.
  • FIG. 4 schematically shows an image display state on a display through a parallax barrier.
  • the pictograph of a car which is a stereoscopic object, is drawn by superimposing it on the text image. However, for stereoscopic vision, the pictograph of the car is shifted to the original drawing position to the right (pixels in the right direction are shifted) to the left. It is converted into two images with the image shifted (left pixel shifted).
  • FIG. 5 shows an image diagram of stereoscopic vision.
  • the pictogram of the car appears to overlap with the letter (or normal pictogram) of the planar mail text on a different coordinate with respect to the observation axis (Z axis).
  • Z axis observation axis
  • the pictograms of the car appear to be at different positions on the Z axis, unlike the case where the pictograms of the car are displayed in two dimensions, there is no sense of incongruity when they are displayed in a superimposed manner.
  • the pictogram of a car moves in an animation display, for example, the letter “L” cannot be seen at one point in time, but the letter “L” will be seen at the next point, and the text Readable.
  • the R (red) pixel value of the image data of the two-dimensional character is R1
  • the R pixel of the car pictogram image data is R1.
  • FIG. 6 schematically illustrates the principle of the pictograph of a car being viewed stereoscopically.
  • the observer observes the left-shifted car pictogram LP (indicated by the dotted line) with only the right eye R through the parallax barrier, and observes the right-shifted car pictogram RP (indicated by the dotted line) in parallax.
  • the left eye L alone observes through the barrier, and the pictograph of the car is recognized at the position protruding from the display surface (three-dimensional viewing).
  • drawing on the VRAM for example, an image based on text data is developed on another first memory area (on a virtual screen), and a car is drawn on another second memory area (on a virtual screen).
  • File configuration example (1) In this configuration example, as shown in Fig. 8, text data 1 including the character "JKLM” and the pictograph of the car to be displayed over "JKLM" are specified. Text data 2 exists in one file. For example, there are two test data in the format of Tier 1 and Tier 2. Here, if an image is displayed based on only the text data 1, the result is as shown in FIG. 8A. In the text data 2, for example, a character string such as “S! 00 ⁇ ⁇ ” exists. Recognizing this character string (code), reading out the two-dimensional pictogram image data, performing stereoscopic processing, and displaying the image, stereoscopic rendering is performed as shown in FIG. 8 (b).
  • the software that opens the mail file reads the image file of the pictogram based on the character string “S! 00 ⁇ ⁇ ”. Even if there is only one image file of a two-dimensional pictograph of a car, the display position of the pictograph on the device that received the email was changed 3D animation display can be realized by processing and enlargement / reduction processing. Also, "s
  • the description start position of “00 ⁇ ⁇ ” corresponds to the text position of “J” in “JKLM”, and is a value that defines the base display position of the pictograph of the car on the animation image in FIG.
  • Non-stereoscopic devices can display only text text by ignoring text data 2 when text data 1 and text data 2 are received by mail.
  • the description of the text data 2 is, for example, a pictograph of a car, in which ⁇ 00 '' is simply described after a predetermined number of spaces. It can be.
  • Text data 1 and text data 2 may be separated into separate files. That is, text data 1 in which character strings such as “JKLM ⁇ PQR '” are simply arranged as a body file, and “S! 00 ⁇ ⁇ ” or “ ⁇ ” is added after the number of spaces corresponding to the character position of “J”. It is acceptable to simply perform processing to attach text data 2 in which "00" is described as an attached file. When a device that does not support stereoscopic vision receives a text file and an attached file by e-mail, it can display only the text by ignoring the attached file.
  • the drawing process may be performed such that the position of “K” is set as the display reference position of the pictogram.
  • line feed processing may be automatically performed so that “JKLM” is displayed on one line.
  • the pictogram part of the car is created in quadruple size horizontally to fit the four letters of “JKLM”.
  • the quadruple-width information can be given by a description such as “S! 00 ⁇ ⁇ —4”. If the text creation software selects a car pictogram that overlaps the letters "JKLM” among the candidates described above, for text data 1, does the four letters "JKLM" fit on one line?
  • the text creation software describes the text data 2 with a space corresponding to the above-mentioned line feed, such as “S! 00 ⁇ $ _4”.
  • the car pictogram can be displayed in a range corresponding to the four characters "JKLM". realizable.
  • it is not limited to setting the quadruple width in correspondence with the four characters of “JKLM”.
  • set the quadruple size for displaying the three-dimensional animation of the car pictogram You may do so.
  • the text creation software may create the text data 1 in any of the above-described forms (1) to (3).
  • the text creation software may write a description such as “S! 00 ⁇ ⁇ _4” with a space corresponding to any of the above (1) to (3) for the text data 2.
  • the stereoscopic animation display can be performed using a plurality of images prepared in advance. In addition, it has at least one of information for deforming, disappearing, and moving pictograms (objects) of a car. Using one or more of these pieces of information, a plurality of images are generated to animate the object. Stereoscopic display or animation planar display may be used. In addition, the object has at least one of dot data obtained by deforming a car pictogram (object), lost dot data, and moved dot data. It may be displayed or displayed in an animation plane view.
  • FIG. 2 A file having text data 1 and text data 2 is shown.
  • a file in which pictograph codes are arranged in one piece of text data may be used.
  • pictograph codes may be arranged in text data in the format of “JKLM S! 00 -E-4 ⁇ ⁇ ”.
  • Format data (control information) may be stored in a file.
  • the format data may be stored in a character format (text file) or may be stored in a format that is not a character like a word processor (binary file).
  • the start position of a character is represented by the position relative to the end position of the previous character, and the position of the character relative to the character before the pictograph code is represented by a negative value.
  • the area enclosed by a square is the area given to each character, and "K" for "J”, “L” for " For “L” If the character position of "M” is 0, the area of each character is placed in contact with the display (actually, the square is not displayed).
  • the character interval (position on the display of the pictogram) between “M” and “pictogram” is set to one W (M).
  • W (M) is the width of the character area of "M”.
  • “Emoji” is displayed at the position where it overlaps with “M”.
  • the width W (pictogram) of the pictogram is larger than W (M)
  • the result will be as shown in Fig. 10 (a).
  • the position of “N” should be set to 0. If the widths of “N” and “Emoji” are different, position the emoji on the display so that the centers of the two coincide and overlap,- ⁇ W (M) / 2 + W (Emoji) Z2 ⁇ It may be specified as follows.
  • the position on the display of the pictogram may be set to ⁇ W (pictogram).
  • the position of the pictogram on the display may be specified as- ⁇ W (M) + W (L) ⁇ .
  • the position of “0” may be ⁇ W (M) + W (L) -W (pictogram) ⁇ when the size of the pictogram is smaller than W (M) + W (L). If the size of the pictogram is larger than W (M) + W (L), set it to 0.
  • the format data may have more detailed information. With the format data shown in Fig. 11, a full-width "pictograph” moves over "AB, CDEFGHUK LM.”, Which is a range larger than its own width.
  • the character position (W0) is as described above for characters, and indicates the initial position for pictographs. The initial position is used in the sequence (M) described later.
  • the movement start position (W1) indicates the first position where the pictogram moves.
  • the movement end position (W2) indicates the last position where the pictogram moves.
  • the moving speed (S) indicates the number of characters moving per second. It may be defined by the width of movement per second (the same unit as W). If the character width is not equal, this will result in smoother movement.
  • Movement method (N) is defined as “1" reciprocates, "2" moves from left to right, "3" moves from right to left.
  • the sequence (M) defines the order of movement when there are a plurality of moving pictograms.
  • Another pictogram is moving, it stops at the position specified by the character position (W0).
  • the movement of the next pictogram is started after one pictogram has made a single movement, so that it is possible to prevent a plurality of pictograms from moving at the same time and appearing cluttered.
  • Emoji three-dimensionality (Q) is the three-dimensionality at each position of the emoji. Show.
  • the three-dimensionality defines the amount of shift when two-dimensional pictographs for the right eye and the left eye are obtained by performing pixel shifting processing from the two-dimensional pictograph of the profile on the device side that has received the file. Even when pictographs for the right and left eyes have pictograph dot data that has already been combined, the three-dimensionality (Q) may be used when this is once separated into a plurality of pictograph dot data and recombined. it can.
  • a still image may be determined to use the first frame, or a frame to be used may be specified.
  • the frame to be used should be written in the header.
  • the pictogram that is waiting for animated stereoscopic display is displayed in a static state or stereoscopically.
  • the emoticon that is not performing animated stereoscopic display (the ) May be displayed based on information indicating the state of the object (information indicating whether the object is a two-dimensional view or a three-dimensional view).
  • the instruction information and the frame to be used are preferably written in a header, format data, or the like.
  • a pictorial character as an object is superimposed on a character viewed in a plane, and the object is rendered stereoscopically.
  • both the character and the object are stereoscopically viewed at different positions on the Z axis. You may let it.
  • the stereoscopic video display device can be configured as a digital broadcast receiving device that can receive a data broadcast (such as a BML file) and display an image in addition to a personal computer or a portable device having a communication environment and an image display function.
  • FIG. 12 shows an example in which a character such as “ABCDE” is displayed in a stereoscopic manner (appears to jump out). The left-eye image is shifted to the right by a predetermined pixel relative to the right-eye image, and these are combined to form a stereoscopic image.
  • the shift amount of the character portion “ABCDE” is calculated based on, for example, the description of the file, and the left-eye display data and the right-eye display data in FIG. 12 are generated.
  • the description start position of “ABCDE” is described in the file, for example, the X coordinate indicated by ⁇ start x> 100 ⁇ / start x> and the Y indicated by start y> 50 ⁇ / start y> Specified by coordinates.
  • the pixel data forming the left-eye display data and the pixel data forming the right-eye display data are alternately read from the pixel data storage position in the VRAM corresponding to the coordinates (horizontal as a display image). In the direction, pixels for the right eye and pixels for the left eye are alternately changed one pixel at a time, and the writing process is performed.
  • FIG. 13 shows a description example of a file for stereoscopic display of the character string “ABCDE”.
  • the personal computer determines the description part indicating the stereoscopic processing in the description in the file.
  • the part surrounded by 3d> and 3rd> is determined to be the description part indicating the stereoscopic processing.
  • the phase shift amount and the shift direction of the target object are determined based on the description portion indicating the stereoscopic processing.
  • zurasi L X> 8 ⁇ / zurasi L X> and based on this description, the phase shift amount of the left-eye character is determined to be 8 pixels to the right. In this example, the phase shift of the right-eye character is not performed.
  • the personal computer determines the target character, the phase shift amount, and the shift direction according to the meaning of the above description, and performs the process of drawing the right-eye image and the left-eye image. .
  • a mouse driver detects a mouse movement, it transmits the detected content to an API (application programming interface) provided by an OS (operating system). Then, ⁇ S moves the mouse cursor (draws the image), and transmits the mouse position information as a message to the browser (similar to other applications).
  • ⁇ S has multiple cursors are doing. For example, cursors such as "text”, “wait”, “help”, and “hand” are prepared, and a cursor with a desired shape can be specified according to a predetermined event by describing the file.
  • the personal computer determines that the cursor is positioned on the drawing area of “ABCDE”, it adopts, for example, a “hand” cursor, and uses this “hand” cursor.
  • the image drawing process for the right eye and the image drawing for the left eye are performed for the image of (i).
  • the OS prepares a cursor such as “3Dhand”, and the browser requests the OS to display the cursor. "When the cursor of 3Dhadj is specified, the OS executes two drawing processes of the original cursor and the phase shift cursor.
  • the amount of phase shift can be given to ⁇ S from the browser.
  • the phase shift amount of the character for the left eye of the image of the “hand” cursor may be set to the same value as the phase shift amount in “ABCDE”.
  • FIG. 14 schematically shows drawing by the above processing.
  • the procedure of this process is summarized as follows. 1) Generate a 3D cursor image from the cursor image. 2) Draw a composite image of the object. 3) draw a 3D cursor image
  • the processing example here is an example in which the cursor is deleted when the cursor overlaps the display area of the object displayed as “ABCDE”. In this case, rather than hiding the cursor, it gives the impression that the cursor suddenly disappears, so it is advisable to insert an animation process such as gradually reducing the size and disappearing, or gradually disappearing like a cloud. On the other hand, when it appears, it gradually increases and gradually appears from an object like fog.
  • FIGS. 16 (a), (b) and (c) show how the cursor is gradually erased.
  • a similar cursor having a different size is prepared in advance, or enlargement / reduction processing (pixel interpolation / pixel thinning processing) is performed on the figure of the cursor. Then, a process of judging the overlap between the display region of the object and the display region of the cursor, and a process of gradually drawing a small cursor at predetermined time intervals when the overlap is determined.
  • the cursor display processing shown in FIGS. 17 and 18 described above is a strict solution to the sense of incongruity due to the fact that the cursor that should be in the back is displayed as if it were just in front of the area that overlaps the object. This does not mean that the viewer will be visually distracted and the discomfort will be reduced.
  • Characters are enlarged (shrinked) by E / (E + C) times by jumping out, so characters are enlarged and displayed beforehand by (E + C) / E times.
  • pixel pitch information a table in which the pixel pitch can be obtained according to the screen inch size and the screen resolution, for example, the screen inch size and the screen resolution by the user.
  • the pixel pitch (mm) is obtained).
  • FIG. 1 is a diagram showing an embodiment of the present invention, and is a block diagram showing an example of the architecture of a personal computer.
  • FIG. 2 is a diagram illustrating an embodiment of the present invention and is a block diagram illustrating a configuration example of a video card.
  • FIG. 3 is a diagram showing an embodiment of the present invention, wherein FIG. 3 (a) is an explanatory diagram showing text data, and FIG. 3 (b) is an explanatory diagram showing animation image data.
  • FIG. 4 is a view showing an embodiment of the present invention, and is an explanatory view of a display display viewed through a parallax rear panel.
  • FIG. 5 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing a stereoscopic image. is there.
  • FIG. 6 is a view showing an embodiment of the present invention, and is an explanatory view showing a principle of stereoscopic vision.
  • FIG. 7 is a diagram showing an embodiment of the present invention and is an explanatory diagram showing an example of character conversion.
  • FIG. 8 is a diagram showing the embodiment of the present invention and is an explanatory diagram showing text data.
  • FIG. 9 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing an example of the positional relationship between pictographs and plan-view characters.
  • FIG. 10 is a diagram showing an embodiment of the present invention, in which FIG. 10 (a) is an explanatory diagram showing a display example using text data and format data, and FIG. It is explanatory drawing which showed the position and the end position.
  • FIG. 11 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing the correspondence between text data and detailed format data.
  • FIG. 12 is a diagram showing the embodiment of the present invention, and is an explanatory diagram of a stereoscopic drawing process of an object by a personal computer (browser software).
  • FIG. 13 is a diagram showing an embodiment of the present invention and is an explanatory diagram showing a description example of a file.
  • FIG. 14 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing a state in which a cursor protrudes from an object to be stereoscopically displayed and is stereoscopically displayed.
  • FIG. 15 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing a display example of a cursor for an object stereoscopically displayed.
  • FIG. 16 is a view showing an embodiment of the present invention
  • FIGS. 16 (a), (b) and (c) are explanatory views showing display examples of a cursor for an object to be stereoscopically displayed.
  • FIG. 17 is a diagram showing an embodiment of the present invention and is an explanatory diagram showing a display example of a cursor for an object stereoscopically displayed.
  • FIG. 18 is a diagram showing the embodiment of the present invention and is an explanatory diagram showing a display example of a cursor with respect to an object displayed three-dimensionally.
  • FIG. 19 is a diagram showing an embodiment of the present invention, and is an explanatory diagram showing the principle of stereoscopic vision. You.
  • FIG. 20 is a diagram showing an embodiment of the present invention
  • FIGS. 20 (a) and 20 (b) are explanatory diagrams showing a typical cursor display example.
  • 21 is an illustration showing an embodiment of the present invention, and is an explanatory view showing a state in which a cursor that should originally exist on the back side of a three-dimensionally displayed object is displayed on the near side. It is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【目的】 文書中の文字全体を単に立体表示させるのではなく、絵文字等を平面視文字上に重ねて立体視させることができる立体映像表示装置を提供する。【構成】 例えば受信したメールにはテキストコードと絵文字コードが含まれており、テキストコードによる文字画像は平面視処理され、絵文字コードによる絵文字画像は立体視処理される。立体視処理により、観察者は、左シフトされた車の絵文字LP(点線で示す)をパララックスバリア越しに右眼Rのみで観察し、右シフトされた車の絵文字RP(点線で示す)をパララックスバリア越しに左眼Lのみで観察することになり、車の絵文字をディスプレイ面から飛び出た位置に認識する(立体視する)ことになる。すなわち、文書中の文字全体を単に立体表示させるのではなく、絵文字等が平面視文字上に重なって立体視される。

Description

明 細 書
立体映像表示装置及びプログラム
技術分野
[0001] この発明は、立体映像表示装置及びプログラムに関する。
背景技術
[0002] 立体視技術としては、従来よりパララックスバリアを用レ、る眼鏡無し立体視方法、偏光 眼鏡や液晶シャツタ眼鏡などを用いる眼鏡有り立体視方法などが知られている。また 、立体視させる映像についても、実写の映像だけでなぐコンピュータグラフィックスを 用レ、、仮想空間上に配置したオブジェクトを平面に投影して描画処理する 3D描画に よる映像がある。更には、前記描画処理を二視点において行なうことで、右眼映像と 左眼映像を作成することができる。また、 2次元映像信号から抽出された奥行き情報 と 2次元映像信号とに基づいて立体映像を生成する立体映像受信装置及び立体映 像システムが提案されている(特許文献 1参照)。 2次元映像と奥行き情報とからなる 映像ファイルを作成すれば、このファイルを開いたときに、立体映像を生成することが できる。また、二つの映像を 1チャンネルの映像として放送し、受信機側で立体視が 行なえる方法が提案されている(特許文献 2参照)。二つの映像からなる映像ファイル を作成すれば、このファイルを開いたときに、立体映像を生成することができる。 特許文献 1 :特開 2000 - 78611号公報
特許文献 2:特開平 10 - 174064号公報
発明の開示
発明が解決しょうとする課題
[0003] ところで、ファイルにはパーソナルコンピュータや携帯電話のメール機能で作成され たファイル、ワードプロセッサで作成されたファイルなどが有り、このようなファイルに おいて単に文字全体を立体視させるのではなぐより効果的に観者に立体視を行わ せることが望まれる。
[0004] また、例えばウェブブラウザにより HTMLファイルの描画を行っているときに、バナー 広告などのオブジェクト上にマウスカーソルが重なると、カーソルの方がオブジェクト よりも手前側に描画される(上書きされる)。その際、図 20 (a) (b)に示すように、カー ソルの形状が変わることもある。オブジェクトを飛び出させて表示させる場合には、同 じ画像を視点数分用意し、水平方向にずらして立体表示装置の仕様に合うよう表示 する。 2眼パララックスバリア方式では、 2つの画像を用意し、水平方向にずらして、 1 ライン毎に交互に表示する。これにより、文字が 2重に重なったような画像となる。パラ ラックスバリアを配置すると、各々の画像が左右の眼に分離して観察され、オブジェク トが飛び出して見える。
[0005] このような飛び出して表示されているオブジェクトにマウスカーソルが重なった場合、 カーソルが上書きされると違和感が生じる。これは、図 21に示しているように、奥にあ るべきカーソルが、重なった領域のみ前にあるかのように表示されるからである。ォブ ジヱタトは、このようなアプリケーション上のものだけでなぐデスクトップ上のアイコン などが対象となる場合もある。アイコンの場合には、オブジェクト側ではなぐカーソル 側の立場に置き換える状況も考えられる。例えば立体表示されたフォルダやアプリケ ーシヨンのショートカット、ウィンドウにアイコンをドラッグして重ねた場合などに同様の こと力 S起こる。
[0006] この発明は、上記の事情に鑑み、文書中の文字を単に立体表示させるのではなぐ 観者に効果的な立体視を行わせることができる立体映像表示装置を提供することを 目的とする。また、立体表示されたオブジェクトに対して本来はそれよりも奥側に存在 すべきカーソル等が手前側に表示されてしまうことによる違和感を解消できる立体映 像表示装置及びプログラムを提供することを目的とする。
課題を解決するための手段
[0007] この発明の立体映像表示装置は、上記課題を解決するために、文字の画像とォブジ ェタトの画像とを用レ、、前記文字の画像及び前記オブジェクトの画像の少なくとも一 方について立体視表示用の描画処理を施し、ディスプレイ上に表示された平面視又 は立体視される文字の手前側又は文字の奥側に前記オブジェクトが重なって立体視 されるか又はディスプレイ上に表示された立体視される文字の手前側又は文字の奥 側に前記オブジェクトが重なって平面視されるように構成されたことを特徴とする。
[0008] 上記の構成であれば、例えば、文書中の文字は平面視される一方でオブジェクトだ けが文字に重なって立体視されること等が実現され、観者に対して効果的な立体視 を行わせることができる。
[0009] 前記描画対象となるファイルは、文字の画像を特定するコードと前記オブジェクトの 画像とを含んで成るものでもよレヽ。或いは、前記描画対象となるファイルは、文字の画 像を特定するコードと前記オブジェクトの画像を特定する絵文字コードとを含んで成 るものでもよレ、。また、前記ファイルは、前記立体視表示を制御するための制御情報 を含み、テキストファイル又はバイナリファイルとして構成されていてもよい。立体映像 表示装置は、前記ファイルを送信及び Z又は受信する手段を備えてもょレ、。
[0010] 文字の画像とオブジェクトの画像データとを所定割合で透明合成してもよい。文字の 画像データとオブジェクトの画像データとを別メモリ領域上に展開した上で描画メモリ 上に合成してもよい。
[0011] 前記オブジェクトがアニメーション立体視表示又はアニメーション平面視表示される 構成としてもよい。前記オブジェクトを変形させる情報,消失させる情報,及び移動さ せる情報の少なくとも一つを有し、これら情報の一つ以上を用いて複数画像を生成し てオブジェクトをアニメーション立体視表示又はアニメーション平面視表示してもよい 。前記オブジェクトを変形させたドットデータ,消失させたドットデータ,及び移動させ たドットデータの少なくとも一つを有し、互いに異なる画像を成す複数のドットデータ によってオブジェクトをアニメーション立体視表示又はアニメーション平面視表示する ようにしてもよい。
[0012] 前記オブジェクトが複数在る場合にその立体視表示を同時に二つ以上実行しない制 御が行われるようにしてもよい。前記オブジェクトが複数在る場合にそのアニメーショ ン立体視表示が順次に実行され、アニメーション立体視表示待機中のオブジェクトは 静止状態で立体視又は平面視されるようにしてもよい。立体視表示又はアニメーショ ン立体視表示を実行していないオブジェクトについては、当該オブジェクトの状態を 指示する情報に基づレ、て表示が行われるようにしてもょレ、。
[0013] また、この発明の立体映像表示装置は、立体視映像を生成する立体映像表示装置 であって、オブジェクトを立体表示するために複数視点画像を描画する手段と、ボイ ンティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが移動表 示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はオブジェ タトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル又はォ ブジエタトが前記立体表示されるオブジェクト以上に手前側に立体視されるように力 一ソル又はオブジェクトの複数視点画像を描画する手段と、を備えたことを特徴とす る。
[0014] 上記立体映像表示装置は、立体表示されるオブジェクト又は立体表示されるカーソ ルが手前側に立体視されるときには立体表示されるオブジェクト又は立体表示される カーソルを拡大描画処理し、奥側に立体視されるときには、立体表示されるオブジェ タト又は立体表示されるカーソルを縮小描画処理するようになっていてもよい。
[0015] また、この発明の立体映像表示装置は、立体視映像を生成する立体映像表示装置 であって、オブジェクトを立体表示するために複数視点画像を描画する手段と、ボイ ンティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが移動表 示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はオブジェ タトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル又はォ ブジエタトが表示されないように描画処理する手段と、を備えたことを特徴とする。か かる立体映像表示装置において、前記カーソル又はオブジェクトが徐々に消去され るように描画処理するように構成されてレ、てもよレ、。
[0016] また、この発明の立体映像表示装置は、立体視映像を生成する立体映像表示装置 であって、オブジェクトを立体表示するために複数視点画像を描画する手段と、ボイ ンティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが移動表 示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はオブジェ タトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル又はォ ブジェクトとして輪郭線のみの透明カーソル又は透明オブジェクトが表示されるように 描画処理する手段と、を備えたことを特徴とする。
[0017] また、この発明の立体映像表示装置は、立体視映像を生成する立体映像表示装置 であって、オブジェクトを立体表示するために複数視点画像を描画する手段と、ボイ ンティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが移動表 示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はオブジェ タトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル又はォ ブジエタトの全部又は一部を前記立体表示されるオブジェクトの画素データを利用し て描画処理する手段と、を備えたことを特徴とする。
[0018] これらの立体映像表示装置において、立体表示されるオブジェクトが手前側に立体 視されるときには立体表示されるオブジェクトを拡大描画処理し、奥側に立体視され るときには、立体表示されるオブジェクトを縮小描画処理するようになっていてもょレ、
[0019] また、この発明のプログラムは、コンピュータを、オブジェクトを立体表示するために複 数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って画面上 にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表示され るオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重なりが 判断された際に、前記カーソル又はオブジェクトが前記立体表示されるオブジェクト 以上に手前側に立体視されるようにカーソル又はオブジェクトの複数視点画像を描 画する手段として機能たせることを特徴とする。
[0020] 上記プログラムは、コンピュータを、立体表示されるオブジェクト又は立体表示される カーソルが手前側に立体視されるときには立体表示されるオブジェクト又は立体表示 されるカーソルを拡大描画処理し、奥側に立体視されるときには、立体表示されるォ ブジェクト又は立体表示されるカーソルを縮小描画処理する手段として機能させるよ うになつていてもよい。
[0021] また、この発明のプログラムは、コンピュータを、オブジェクトを立体表示するために複 数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って画面上 にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表示され るオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重なりが 判断された際に、前記カーソル又はオブジェクトが表示されないように描画処理する 手段として機能させることを特徴とする。力かるプログラムにおいて、コンピュータを、 前記カーソル又はオブジェクトが徐々に消去されるように描画処理するようにしてもよ レ、。
[0022] また、この発明のプログラムは、コンピュータを、オブジェクトを立体表示するために複 数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って画面上 にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表示され るオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重なりが 判断された際に、前記カーソル又はオブジェクトとして輪郭線のみの透明カーソル又 は透明オブジェ外が表示されるように描画処理する手段として機能させることを特徴 とする。
[0023] また、この発明のプログラムは、コンピュータを、オブジェクトを立体表示するた
めに複数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って 画面上にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表 示されるオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重 なりが判断された際に、前記カーソル又はオブジェクトの全部又は一部を前記立体 表示されるオブジェクトの画素データを利用して描画処理する手段として機能させる ことを特徴とする。
[0024] また、これらのプログラムにおいて、コンピュータを、立体表示されるオブジェクトが手 前側に立体視されるときには立体表示されるオブジェクトを拡大描画処理し、奥側に 立体視されるときには、立体表示されるオブジェクトを縮小描画処理する手段として 機能させるようになってレ、てもよレ、。
発明の効果
[0025] この発明によれば、文書中の文字全体を単に立体表示させるのではなぐ絵文字等 を平面視文字上に重ねて立体視させること等ができるので、観者に効果的な立体視 を行わせることができる。また、立体表示されたオブジェクトに対して本来はそれよりも 奥側に存在すべきカーソルが手前側に表示されてしまうことによる違和感を解消でき る等の効果を奏する。
発明を実施するための最良の形態
[0026] (実施形態 1) 以下、この発明の実施形態を図 1乃至図 11に基づいて説明していく 。なお、以下には通信環境を備えたパーソナルコンピュータを例示する。勿論、携帯 電話などの携帯機器を立体映像表示装置として構成することができる。
[0027] 図 1にパーソナルコンピュータ(立体映像表示装置)のアーキテクチャの一例を示す。 CPU1は、システムコントロール機能を持つノースブリッジ 2と PCIバスや ISAバスなど のインタフェース機能を持つサウスブリッジ 3に接続される。ノースブリッジ 2には、メモ リ 4や、 AGP (Accelerated Graphics Port)を介してビデオカード 5が接続される 。そして、サウスブリッジ 3には、 USB (Universal Serial Bus)インタフェース 6、ハ ードディスクドライブ(HDD) 7、及び CD— ROM装置 8等が接続される。
[0028] 図 2に一般的なビデオカード 5を示す。 VRAM (ビデオメモリ)コントローラ 5bは AGP を介して CPU1からの命令で描画データの VRAM5aへの書き込み.読み込みの制 御を行う。 DAC (D/A変換器) 5cは VRAMコントローラ 5bからのディジタル映像デ ータをアナログ映像信号に変換し、この映像信号をビデオバッファ 5dを介してバソコ ン用モニタ 12に供給する。かかる映像表示処理 (描画処理)において、右眼映像と 左眼映像とを生成し、これらを交互に縦ストライプ状に描画する立体映像表示処理が 行える。
[0029] パーソナルコンピュータは、ネット接続環境を備え、インターネット上のサーバなどとし て構成される送信側装置からファイル (例えば、文書ファイル、メール、 HTMLフアイ ノレ、 XMLファイルなど)を受信することができる。また、パーソナルコンピュータは、例 えば前記モニタ 12に液晶バリアを備えることにより、平面視映像の表示及び立体視 映像の表示の両方が行なえるようになっている。立体視映像が、例えば、右眼映像と 左眼映像とを交互に縦ストライプ状に配置したものであれば、 CPU1の制御により、 液晶バリアにおいて、縦ストライプ状の遮光領域が形成される。また、画面上の一部 領域 (ファイル再生のウィンドウ部分、或いは、メール文書のなかの一部映像部分)に おいて立体視映像を表示することとなるのであれば、前記 CPU1によって前記ウィン ドウや一部映像部分の表示座標及び大きさに基づいて前記縦ストライプ状の遮光領 域の大きさ及び形成位置を制御すればよい。液晶バリアに限らず、通常のバリア (バ リアストライプが所定ピッチで固定的に形成されている)を用いても構わない。また、 パーソナルコンピュータはワードプロセッサソフトウェアやメールソフトなどを搭載して おり、ファイルを開いてモニタ 12に映像を表示することができる。
[0030] 次に、パーソナルコンピュータ(ソフトウェア)によるファイルの立体視処理を図 3乃至 図 11に基づレ、て説明してレ、く。 [0031] 図 3 (a)にはメール受信したテキストを示し、図 3 (b)には立体視オブジェクトが車の絵 文字である画像を示している。画像(ドットデータ)は例えば添付ファイルとしてメール 受信したものである。立体視非対応機器では、上記添付ファイルを無視してテキスト データのみで画面表示を行えば互換性が保てる。また、画像をアニメーション表示す る場合は、車の絵文字の位置が少しずつ異なる複数の画像によつ構成してもよいし、 或いは、車の絵文字の位置等を変化させるための制御データに基づいて行うように してもよレ、。制御データは添付ファイルに付加されていてもよいし、受信側で予め持 つていてもよい。
[0032] 図 4にはパララックスバリア越しのディスプレイ上の画像表示状態を模式的に示して いる。立体視オブジェクトである車の絵文字は、テキストの画像に重ねて描画される が、立体視のために車の絵文字を本来の描画位置に対して右シフト(右方向画素ず らし)した画像と左シフト (左方向画素ずらし)した画像との二枚の画像に変換される。
[0033] 図 5には立体視のイメージ図を示している。車の絵文字は観察軸(Z軸)に対して異な る座標上で平面視メール文の文字(或いは通常の絵文字)と重なって見える。しかし 、上記のごとく車の絵文字は Z軸上の異なる位置にあるように感じられるので、当該車 の絵文字が二次元で表示される場合と異なり、重ねて表示させても違和感はない。ま た、車の絵文字がアニメーション表示で移動する場合には、在る時点では例えば「L」 の文字が見えなくても、次の時点では「L」の文字が見えることになり、テキスト文の判 読が可能である。なお、立体視される車の絵文字越しに平面文字が透けて見えるよう にするには、例えば二次元文字の画像データの R (赤)画素値を R1とし、車の絵文字 の画像データの R画素値を R2とし、 R1の割合 ¾rM%とすると、合成 R画素値を R= ( Rl X M/100 + R2 X (1—M/lOO) )とレ、つた演算で求めて描画すればょレ、。
[0034] 図 6には車の絵文字が立体視される原理を模式的に示している。ここでは、観察者は 、左シフトされた車の絵文字 LP (点線で示す)をパララックスバリア越しに右眼 Rのみ で観察し、右シフトされた車の絵文字 RP (点線で示す)をパララックスバリア越しに左 眼 Lのみで観察することになり、車の絵文字をディスプレイ面から飛び出た位置に認 識する(立体視する)ことになる。 [0035] ここで、 VRAM上への描画において、例えば、別の第 1メモリ領域上(仮想画面上) でテキストデータによる画像を展開し、別の第 2メモリ領域上 (仮想画面上)で車の絵 文字の画像を展開し、これら両画像を合成して VRAMに描画することが考えられる。 かかる処理の場合、文字サイズとは無関係な大きさの絵文字を採用したり、画面全体 を動き回る絵文字の立体視表示を行うのに好都合となる。また、複数の立体絵文字 を表示することとする場合には更に別のメモリ領域上 (仮想画面上)に画像を展開す れは'よレ、。
[0036] 次に、メール等のテキスト文作成で入力された単語に対応させて絵文字をテキスト文 に組み入れる処理について以下に説明していく。
[0037] 例えば、テキスト文作成ソフトウェア上で、入力文字列として「JKLM」と入力し、変換 すると、図 7に示すように、幾つかの候補がディスプレイに表示されることとする。この 候補として、車の二次元絵文字の他、「JKLM」の文字に車の絵文字が重なったもの を存在させる。車の二次元絵文字は、そのコード(番号)が " 1 "であるならば、例えば 、 < image icon = " l " >のごとく記述される。或いは、絵文字開始コード「S!」と絵文 字終了コード「 ·Ε」との間に既存の ASCII文字 2バイト(絵文字コード)を入れることで 表すこととしてもよレ、。車の絵文字コードが 00であれば、「S ! 00 ·Ε」となる。
[0038] 次に、「JKLM」の文字に車の絵文字を重ねる場合のファイル構成例を以下に示す。
[0039] ファイル構成例(1):この構成例では、図 8に示すように、「JKLM」の文字を含むテキ ストデータ 1と、「JKLM」に重ねて表示されるべき車の絵文字を特定するテキストデ ータ 2とが一つのファイルに存在する。例えば、階層 1 ,階層 2といった形式で二つの テストデータが存在する。ここで、仮にテキストデータ 1のみに基づいて画像表示を行 うと、図 8 (a)に示すごとくなる。そして、テキストデータ 2には、例えば、「S ! 00 ·Ε」と いった文字列が存在する。この文字列(コード)を認識して二次元絵文字画像データ を読み出して立体視処理を行い、画像表示を行うと、図 8 (b)に示すごとく立体視描 画が行われる。すなわち、メールファイルを開くソフトウェアは、「S ! 00 ·Ε」の文字列 に基づいて絵文字の画像ファイルを読み出すことになる。車の二次元絵文字の画像 ファイルが一枚であるとしても、メールを受信した機器側での絵文字の表示位置変更 処理や拡大/縮小処理などによって立体アニメーション表示を実現できる。また、「s
! 00 ·Ε」の記述開始位置は「JKLM」の「J」のテキスト位置に対応しており、同図(b) のアニメーション画像上で車の絵文字のベース表示位置を規定する値となる。
[0040] なお、「S! 00 ·Ε」の文字列以外の部分はスペースとする。立体視非対応機器では テキストデータ 1とテキストデータ 2をメール受信したときにはテキストデータ 2を無視 することで、テキスト文のみを表示できる。また、テキストデータ 2は立体視用の絵文字 ファイルであるとの取決めがなされるときには、テキストデータ 2の記述は、例えば車 の絵文字であれば、所定数のスペースの後に単に「00」が記述されたものとすること ができる。
[0041] テキストデータ 1とテキストデータ 2とを分けて別ファイルとしてもよいものである。すな わち、「JKLM〇PQR' 」といった文字列が単に並ぶテキストデータ 1を本文ファイル とし、「J」の文字位置に対応した数のスペース後に「S! 00 ·Ε」、或レ、は、単に「00」 が記述されたテキストデータ 2を添付ファイルとする処理を行っても良レ、。立体視非対 応機器では本文ファイルと添付ファイルをメール受信したときには、添付ファイルを無 視することで、テキスト文のみを表示できることになる。
[0042] また、図 8 (a)に示すごとぐ rjKLMjが 2行に渡る場合、「K」の位置を絵文字の表示 基準位置とするように描画処理を行ってもよい。或いは、「JKLM」が 1行に表示され るように自動的に改行処理を行うようにしてもよい。上記の例では、車の絵文字の部 分は、「JKLM」の 4文字に合わせて水平に 4倍角のサイズで作成している。 4倍角の 情報は、例えば「S! 00 ·Ε— 4」といった記述によって持たせることもできる。文章作 成ソフトウェアは、前述した候補のなかで「JKLM」の文字に車の絵文字を重ねるもの が選択された場合に、テキストデータ 1については、「JKLM」の 4文字が一行内に入 るかどうかを判定し、入らなければ、改行を行ってその行の先頭から「JKLM」の文字 が表示されるようにテキストファイルを作成する。また、文章作成ソフトウェアは、テキ ストデータ 2については前記改行に対応してスペースを入れて「S! 00 ·Ε_4」とレヽっ た記述を行うことになる。
[0043] 上記のごとぐ車の絵文字のアニメーション立体視表示に 4倍角のサイズを与えること で、車の絵文字が「JKLM」の 4文字に対応した範囲内で立体アニメーション表示を 実現できる。一方、「JKLM」の 4文字に対応させて 4倍角を設定することに限定され るものではなぐ例えば「C」の 1文字に対しても車の絵文字の立体アニメーション表 示について 4倍角を設定するようにしてもよい。例えば、図 9に示すように、 (1)「C」の 文字を先頭に含む 4文字の中央で重なるような立体アニメーション表示としてもよいし 、 (2)「C」の文字を中心にした 4文字の中央で重なるよう
な立体アニメーション表示としてもよいし、 (3)「C」の文字に隣接させてスペースを 3 文字揷入するようにしてもよい。文章作成ソフトウェアは、前述した(1)乃至(3)のい ずれかの形態でテキストデータ 1を作成すればよい。また、文章作成ソフトウェアは、 テキストデータ 2については前記(1)乃至(3)のいずれかに対応してスペースを入れ て「S! 00 ·Ε_4」といった記述を行えばよい。
[0044] 前記立体アニメーション表示は予め用意された複数画像により行うことができる。また 、車の絵文字 (オブジェクト)を変形させる情報,消失させる情報,及び移動させる情 報の少なくとも一つを有し、これら情報の一つ以上を用いて複数画像を生成してォブ ジェタトをアニメーション立体視表示又はアニメーション平面視表示してもよレ、。また、 車の絵文字 (オブジェクト)を変形させたドットデータ,消失させたドットデータ,及び 移動させたドットデータの少なくとも一つを有し、互いに異なる画像を成す複数のドッ トデータによってオブジェクトをアニメーション立体視表示又はアニメーション平面視 表示するようにしてもよい。
[0045] ファイル構成例(2) 前述の例では、テキストデータ 1とテキストデータ 2を持つフアイ ル例を示した力 一つのテキストデータ内に絵文字コードを配置するファイルとしても よいものである。例えば、「JKLM S! 00 -E-4 Ν· · ·」といった形式でテキストデー タ内に絵文字コードを配置すればよい。また、書式データ(制御情報)をファイルに持 たせてもよレ、。書式データは文字形式で坦め込んでもよいし (テキストファイル)、或い は、ワードプロセッサのごとぐ文字ではない形式で持たせてもよレ、(バイナリフアイノレ )。この書式データにおいて、例えば、文字の開始位置を前の文字の終了位置に対 する位置で表すこととし、絵文字コードの前の文字に対する文字位置を負の値で表 すこと力 S考えられる。具体的には、図 10 (a) (b)に示すように、四角で囲んだ領域が 各文字に与えられた領域であり、「J」に対する「K」、「Κ」に対する「L」、「L」に対する 「M」の文字位置が 0であれば、表示においては各文字の領域が接触して配置される (実際には四角は表示されなレ、)。
[0046] そして、「M」と「絵文字」の文字間隔 (絵文字の表示上の位置)を一 W (M)とする。 W ( M)は「M」の文字領域の横幅である。すると「絵文字」は「M」と重なった位置に表示 される。この場合、絵文字の幅 W (絵文字)が W (M)よりも大きければ、図 10 (a)に示 すごとくなる。「N」の位置は 0としておけばよい。 「N」と「絵文字」の幅が異なる場合に は、両者のセンターが一致して重なるように、絵文字の表示上の位置を、 -{W (M) /2 +W (絵文字) Z2}のごとく規定してもよい。或いは、絵文字の幅 W (絵文字)が W(M)よりも小さい場合には、絵文字の表示上の位置を- W (絵文字)としてもよい。 一方、絵文字のサイズが大きい場合には、絵文字の表示上の位置を - {W(M) + W ( L) }のごとく規定してもよレ、。この場合において、「0」の位置は、絵文字のサイズが W (M) +W(L)よりも小さいときには、 { W (M) + W (L) -W (絵文字) }とすればよく、絵 文字のサイズが W (M) +W (L)よりも大きいときには、 0とすればよい。
[0047] 書式データには、より詳細な情報を持たせてもよい。図 11に示す書式データを持つ と、全角サイズの「絵文字」が、 自身の幅よりも大きな範囲である「AB、 CDEFGHUK LM。」の上を移動することになる。文字位置 (W0)は、文字に対しては前述の通りで あり、絵文字に対しては初期位置を示す。初期位置は後述のシーケンス (M)で利用 する。移動開始位置 (W1)は、絵文字が移動する最初の位置を示す。移動終了位置 (W2)は、絵文字が移動する最後の位置を示す。移動速度(S)は、 1秒間に移動す る文字数を示す。 1秒間に移動する幅 (Wと同じ単位)で定義してもよい。文字幅が等 幅ではない場合はこの方がスムーズな動きとなる。移動方法 (N)は、 " 1 "が往復運動 、 "2"が左から右へ移動、 "3"が右から左へ移動、のごとく定義される。
[0048] シーケンス (M)は、複数の動く絵文字が在る際に、動く順番を規定する。他の絵文字 が動いているときには、文字位置 (W0)で規定される位置で停止する。すなわち、一 つの絵文字が一通りの動きを行った後に、次の絵文字の動きが開始されることになり 、複数の絵文字が同時的に移動して乱雑に見えてしまうのを防止できる。 M= lの絵 文字が第 1番目に動き、 M = 2の絵文字が第 2番目に動くことになる。 M = 0の絵文 字は常時動くこととしてもよい。絵文字立体度 (Q)は絵文字の各位置での立体度を 示す。立体度がマイナスでは画面奥側に絵文字が見え、プラスでは画面手前側に絵 文字が飛び出て見える。数値はそれが大きい程、奥行き感或いは飛び出し感が大き いものとなる。
[0049] 立体度はファイルを受信した機器側で 夂の二次元絵文字から画素ずらし処理を行 つて右眼用及び左眼用の 2枚の絵文字を得る場合のずらし量を規定することになる。 右眼用及び左眼用の絵文字を合成済みの絵文字ドットデータを有する場合でも、こ れを一旦複数枚の絵文字ドットデータに分離し、再合成する際に前記立体度 (Q)を 用いることができる。立体度(Q)を各文字位置に対応させて決めるのではなぐ絵文 字の移動範囲内で、例えば、 Q = l"奥側から手前に移動"、 Q = 2"手前側から奥側 に移動"、 Q = 3"奥側から手前に移動して再び奥側へ移動の繰り返じ'のごとぐ規 定することもできる。初期位置では平面表示でもよいし、立体表示でもよい。
[0050] アニメーション画像の場合は、静止画は第 1フレームを使用すると決めていてもよいし 、使用するフレームが指定されていてもよレ、。使用するフレームはヘッダ等に書き込 まれているとよい。複数の絵文字が在る場合のアニメーション立体視表示待機中の 絵文字については、静止状態で立体視又は平面視されるが、この場合、アニメーショ ン立体視表示を実行していない絵文字 (待機中の絵文字)については、当該ォブジ ェタトの状態を指示する情報 (平面視であるか立体視であるかを指示する情報)に基 づレヽて表示が行われるようにしてもょレ、。この指示情報や前記使用するフレームは、 ヘッダや書式データ等に書き込まれているとよい。
[0051] なお、上記の例では、平面視される文字上にオブジェクトである絵文字を重ねて立体 視させることとした力 文字とオブジェクトの両方を例えば、 Z軸上の互いに異なる位 置に立体視させてもよい。或いは、平面視されるオブジェクト上に文字を重ねて立体 視させることとしてもよレ、。また、立体映像表示装置は、信環境及び画像表示機能を 備えるパーソナルコンピュータや携帯機器などの他、データ放送 (BMLファイル等) を受信して画像表示できるディジタル放送受信装置としても構成できる。
[0052] (実施例 2) 以下、この発明の第 2実施例の立体映像表示装置及びプログラムを図 1 2乃至図 19に基づいて説明していく。ハードウェアは図 1及び図 2と同様であるので 説明を省略している。 [0053] パーソナルコンピュータ(ブラウザソフトウェア)によるファイルの立体視用描画処理を 図 12及び図 13について説明していく。図 12では、「ABCDE」といった文字が立体 表示される(飛び出して見える)例を示している。左眼用映像を右眼用画像に対して 相対的に所定画素右側にずらし、これらを合成することで、立体視用画像となる。ここ で、「ABCDE」の文字部分のずらし量は例えばファイルの記述に基づいて算出され 、図 12における左眼表示用データ及び右眼表示用データが生成される。「ABCDE 」の記述開始位置は、ファイル内に記述されている、例えば、 < start x> 100< /s tart x>で示される X座標及びく start y > 50 < /start y>で示される Y座標に より特定される。そして、左眼表示用データを構成している画素データ及び右眼表示 用データを構成している画素データを、前記座標に対応する VRAM上の画素デー タ記憶位置から交互に (表示画像として水平方向に右眼用画素と左眼用画素とを 1 画素ずつ交互に)、書き込んでいく処理を行う。
[0054] 図 13は「ABCDE」の文字列の立体視表示のためのファイルの記述例を示している。
パーソナルコンピュータ(ブラウザソフトウェア)は、ファイル内の記述のなかで立体視 用処理を示す記述部分を判断する。図の例ではく 3d〉とく /3d>とで囲まれた部 分が立体視用処理を示す記述部分であると判断することになる。そして、立体視用処 理を示す記述部分に基づいて対象オブジェクトの位相ずらし量及びずらし方向を判 断する。図 13の例では、く zurasi L X> 8 < /zurasi L X>とあり、この記述に 基づいて左眼用文字の位相ずらし量は右側に 8画素であると判断する。なお、この記 述例では、右眼用文字の位相ずらしは行わなレ、。パーソナルコンピュータ(ブラウザ ソフトウェア)は、上記記述の意味するところに従って、対象文字、位相ずらし量、及 びずらし方向を判断し、右眼用画像描画及び左眼用画像描画の処理を行うことにな る。
[0055] ところで、ポインティングデバイス(以下、マウスという)のドライバは、マウスの動きを検 出すると、この検知した内容を OS (オペレーティングシステム)が用意している API ( アプリケーションプログラミングインターフェイス)に伝える。そして、〇Sがマウスカーソ ルを移動させ (描画処理し)、ブラウザ (他のアプリケーションも同様)にメッセージとし てマウス位置情報を伝えるようにしている。また、通常、〇Sは複数のカーソルを用意 している。例えば、「text」「wait」「help」「hand」といったカーソルを用意しており、フ アイルの記述によって所定のイベントに対応して所望の形状のカーソルを指定できる
[0056] パーソナルコンピュータ(CPU,ブラウザ,〇S)は、「ABCDE」の描画領域上にカー ソルが位置すると判断したときには、例えば、「hand」のカーソルを採用し、この「han d」のカーソルの画像について、右眼用画像描画及び左眼用画像描画の処理を行う 。カーソルの描画制御をブラウザが行えないのであれば、〇S側にカーソルの立体描 画の処理を委ねるようにすればよレ、。この場合、 OSは例えば「3Dhand」といった力 一ソルを用意し、ブラウザがこのカーソルでの表示を OSに要請すればよレ、。 「3Dha ndjのカーソルが指定されるとき、 OSは本来のカーソルと位相ずらしカーソルの二つ の描画処理を実行する。位相ずらし量はブラウザから〇Sに与えればよレ、。ここで、 「 ABCDEJの立体視のために、く zurasi L X> 8 < /zurasi L X>とあり、「han d」のカーソルを「ABCDE」よりも更に手前に飛び出させて表示させるのであれば、 例えば、 8 + 1 = 9といった演算を実行し、「hand」のカーソルの画像の左眼用の位相 ずらし量は右側に 9画素であるとして描画処理を実行する。なお、「hand」のカーソル の画像の左眼用文字の位相ずらし量を「ABCDE」における位相ずらし量と同じ値に してもよいものである。
[0057] 上記の処理による描画を模式的に示すと、図 14に示すごとくなる。また、この処理の 手順を整理すると、以下の通りである。 1)カーソル画像から立体カーソル画像を生 成する。 2)オブジェクトの合成画像を描画する。 3)立体カーソル画像を描画する
[0058] 立体カーソル画像を生成する際は、オブジェクトのずらし量と同じ力、、より多くずらせ ばよレ、。急激な移動で違和感が生じるのであれば、徐々にカーソルを手前側に移動 させてもよレ、。例えば、前述の 8 + 1 = 9といった演算を実行して Xの最大値を 9とし、 初期値 x=0とし、 x=x+ lの処理を所定時間の表示の後に実行し、「hand」のカー ソルの左眼用画像の位相ずらし量が右側に X画素であるとした描画処理を所定時間 ずつ実行すればょレ、。オブジェクトとカーソルの奥行き関係は相対的な関係であるの で、カーソルの Z位置を変更しないで、逆にオブジェクト が奥方向に移動するような表示を行っても良レ、。オブジェクトの合成時のずらし方向 を逆にすると、オブジェクトはカーソルより奥に移動する。これについても徐々に移動 してもよい。
[0059] 次に、他の処理例について説明していく。ここでの処理例は、図 15に示すように、 A BCDと表示されたオブジェクト(バナー広告)の表示領域にカーソルが重なると、カー ソルをオブジェクトの下側に位置させる例である。このための具体的処理は、例えば、 オブジェクトの表示領域とカーソルの表示領域との重なりの判断処理、重なりを判定 したときにはカーソルの図形の描画処理の実行後に常に立体視の対象オブジェクト を描画する処理により実現できる。
[0060] 更に、他の処理例について説明していく。ここでの処理例は、「ABCDE」と表示され たオブジェクトの表示領域にカーソルが重なると、カーソルを消去させるようにした例 である。この場合、カーソルが隠れるというよりも、カーソルが突然消える印象を受ける ので、徐々に小さくなつて消える、雲のように少しずつ消えていくなどのアニメーション 処理を間に入れるとよい。逆に現れるときは、徐々に大きくなる、霧のような物体から 少しずつ現れるなどの処理でょレ、。
[0061] 図 16 (a) (b) (c)では、カーソルを徐々に消去させる様子を示している。このための具 体的処理は、予め大きさが異なる相似形のカーソルを準備しておくか又はカーソル の図形に対して拡大/縮小処理(画素補間/画素間引き処理)を行う。そして、ォブ ジェタトの表示領域とカーソルの表示領域との重なりの判断処理、重なったと判断し たときに所定時間間隔で徐々に小さなカーソルを描画する処理を行う。
[0062] し力 ながら、上述した図 15や図 16で説明したカーソルを隠す処理では、オブジェク トの大きさによってはカーソルの位置が分からなくなり不便である。
[0063] 力、かる不都合は、図 17及び図 18に示すように、「ABCDE」と表示されたオブジェクト の表示領域にカーソルが重なったときにカーソルの色や模様をオブジェクトの色ゃ模 様と同じにすることで解消できる。
[0064] このための具体的処理は、(1)オブジェクトの表示領域とカーソルの表示領域との重 なりの判断処理、(2)オブジェクトの合成画像を描画する処理、(3)カーソルを描画 する処理、(4)カーソルにおける重なり部分をオブジェクトの色や模様で塗りつぶす 描画処理からなる。例えば、描画しょうとするカーソルの図形における略中央位置の 縦所定画素 X横所定画素分の既書き込み画像データ(すなわち、既に書き込んだ オブジェクトの一部の画像データ)を取り出してカーソル図形内を埋めつくすように繰 り返して描画する処理を行うことにより、カーソルの色や模様がオブジェクトの色ゃ模 様と略同じになる。図 18に示しているように、重なり領域だけを塗りつぶすことも可能 である。
[0065] 或いは、(1)オブジェクトの表示領域とカーソルの表示領域との重なりの判断処理、(
2)オブジェクトの合成画像から重なり部分の画像を切り出す処理、(3)オブジェクトの 合成画像を描画する処理、(4)カーソルを描画する処理、(5)切り出した画像をカー ソルの重なり部分に描画する処理を行ってもよい。ここで、左から右方向に画像デー タが描画されるとし、描画するカーソルの図形における左側縁から右側縁までの既書 き込み画像データを例えば別のメモリ上に展開する。前記(5)の処理において、前記 メモリ上に展開した画像データをカーソル上に描画することにより、切り出した画像の 貝占り付けが実現される。
[0066] 或いは、(1)オブジェクトの表示領域とカーソルの表示領域との重なりの判断処理、(
2)オブジェクトの合成画像を描画する処理、(3)重なりが判断されたときに透明カー ソル (輪郭線だけの画像データから成るカーソル)を描画する処理を行ってもよい。か 力る処理により、図 18に示したように、重なり領域だけがオブジェクトの色や模様とな る。
[0067] 上記した図 17及び図 18に示したカーソルの表示処理は、奥にあるべきカーソルがォ ブジエタトに重なった領域のみ前にあるかのうように表示されることによる違和感の厳 密な解決策とはならないが、視聴者は視覚的にごま力^れて違和感が軽減されること になる。
[0068] ところで、オブジェクトを飛び出させて立体視させる場合、図 19に示すように、体感ォ ブジェクト幅 Fは本来の文字幅 Dよりも小さくなる。そこで、立体視の対象となる「ABC DE」の文字をブラウザが例えば 2倍の文字サイズに加工する処理を実行する。この 処理の後、右眼用画像と左眼用画像の描画処理 (位相ずらし処理、交互書き込み処 理)を行うことになる。 [0069] 図 19力ら分力、るように、 D : (A + B) =F : B、 C: A=E: Bの関係があり、 F/D = E/ ( E + C)となる。飛出しにより文字が E/ (E + C)倍になる(縮む)ため、予め文字を (E + C) /E倍に拡大して表示する。 Eは 65mm程度の定数である。例えば視差量 C = 65mmに相当する位相ずらし量が設定される場合は、文字が 1 2に縮小されて体 感されるため、予め文字を 2倍にして描画することになる。
[0070] ここで、パーソナルコンピュータ(ブラウザ)は、 自身のモニタ 12の画素ピッチ情報(画 面インチサイズ及び画面解像度によって画素ピッチが得られるテーブルを持ち、例え ば、ユーザによって画面インチサイズ及び画面解像度を入力させることで、画素ピッ チ (mm)が得られる)を保持しておく。パーソナルコンピュータ(ブラウザ)は、位相ず らし量(画素数)に前記画素ピッチを乗算して求めた C (mm)と E = 65mmとにより、 ( E + C) /Eの値を求め、この値に基づいて元来の文字に対する画素補間(拡大処理 )を行う。或いは (E + ZEの値を元来の文字サイズに乗算して得られる大きさを満 たす文字サイズを判断し、この文字サイズの「ABCD」のドットデータを取得して描画 する。このような処理は、立体表示させるカーソルについて適用することもできる。
[0071] なお、以上の例では、立体表示されるオブジェクト上にカーソルが重なる場合を例示 したが、例えばカーソルと共にドラッグされるアイコン等 (オブジェクト)が前記立体表 示されるオブジェクト上に重なるときも、上記アイコン等のオブジェクトについて前記力 一ソルについて行ったのと同様の処理を行うようにしてもょレ、ものである。
図面の簡単な説明
[0072] [図 1]この発明の実施の形態を示す図であって、パーソナルコンピュータのァーキテ クチャ例を示したブロック図である。
[図 2]この発明の実施の形態を示す図であって、ビデオカードの構成例を示したプロ ック図である。
[図 3]この発明の実施の形態を示す図であって、図 3 (a)はテキストデータを示し、図 3 (b)はアニメーション画像データを示した説明図である。
[図 4]この発明の実施の形態を示す図であって、パララックスノくリア越しに見たディス プレイ表示の説明図である。
[図 5]この発明の実施の形態を示す図であって、立体視のイメージを示した説明図で ある。
[図 6]この発明の実施の形態を示す図であって、立体視の原理を示した説明図であ る。
園 7]この発明の実施の形態を示す図であって、文字変換例を示した説明図である。 園 8]この発明の実施の形態を示す図であって、テキストデータを示した説明図であ る。
[図 9]この発明の実施の形態を示す図であって、絵文字と平面視文字の位置関係例 を示した説明図である。
園 10]この発明の実施の形態を示す図であって、図 10 (a)はテキストデータと書式デ ータとによる表示例を示した説明図であり、図 10 (b)は文字における開始位置と終了 位置を示した説明図である。
園 11]この発明の実施の形態を示す図であって、テキストデータと詳細な書式データ との対応関係を示した説明図である。
[図 12]この発明の実施の形態を示す図であって、パーソナルコンピュータ(ブラウザソ フトウェア)によるオブジェクトの立体視用描画処理の説明図である。
園 13]この発明の実施の形態を示す図であって、ファイルの記述例を示した説明図 である。
園 14]この発明の実施の形態を示す図であって、立体表示されるオブジェクトに対し てカーソルがそれよりも飛び出して立体表示される様子を示した説明図である。 園 15]この発明の実施の形態を示す図であって、立体表示されるオブジェクトに対す るカーソルの表示例を示した説明図である。
園 16]この発明の実施の形態を示す図であって、図 16 (a) (b) (c)は立体表示される オブジェクトに対するカーソルの表示例を示した説明図である。
園 17]この発明の実施の形態を示す図であって、立体表示されるオブジェクトに対す るカーソルの表示例を示した説明図である。
園 18]この発明の実施の形態を示す図であって、立体表示されるオブジェクトに対す るカーソルの表示例を示した説明図である。
[図 19]この発明の実施の形態を示す図であって、立体視の原理を示した説明図であ る。
[図 20]この発明の実施の形態を示す図であって、図 20 (a) (b)は一般的なカーソル 表示例を示した説明図である。
園 21]この発明の実施の形態を示す図であって、立体表示されたオブジェクトに対し て本来はそれよりも奥側に存在すべきカーソルが手前側に表示されてしまう様子を示 した説明図である。

Claims

請求の範囲
[1] 文字の画像とオブジェクトの画像とを用レ、、前記文字の画像及び前記オブジェクトの 画像の少なくとも一方について立体視表示用の描画処理を施し、ディスプレイ上に 表示された平面視又は立体視される文字の手前側又は文字の奥側に前記オブジェ タトが重なって立体視されるか又はディスプレイ上に表示された立体視される文字の 手前側又は文字の奥側に前記オブジェクトが重なって平面視されるように構成された ことを特徴とする立体映像表示装置。
[2] 請求項 1に記載の立体映像表示装置において、前記描画対象となるファイルは、文 字の画像を特定するコードと前記オブジェクトの画像とを含んで成ることを特徴とする 立体映像表示装置。
[3] 請求項 1に記載の立体映像表示装置において、前記描画対象となるファイルは、文 字の画像を特定するコードと前記オブジェクトの画像を特定する絵文字コードとを含 んで成ることを特徴とする立体映像表示装置。
[4] 請求項 2又は請求項 3に記載の立体映像表示装置において、前記ファイルは、前記 立体視表示を制御するための制御情報を含み、テキストファイル又はバイナリフアイ ノレとして構成されていることを特徴とする立体映像表示装置。
[5] 請求項 2乃至請求項 4のいずれかに記載の立体映像表示装置において、前記フアイ ルを送信及び Z又は受信する手段を備えたことを特徴とする立体映像表示装置。
[6] 請求項 1乃至請求項 5のいずれかに記載の立体映像表示装置において、文字の画 像とオブジェクトの画像データとを所定割合で透明合成することを特徴とする立体映 像表示装置。
[7] 請求項 1乃至請求項 6のいずれかに記載の立体映像表示装置において、文字の画 像データとオブジェクトの画像データとを別メモリ領域上に展開した上で描画メモリ上 に合成することを特徴とする立体映像表示装置。
[8] 請求項 1乃至請求項 7のいずれかに記載の立体映像表示装置において、前記ォブ ジェタトがアニメーション立体視表示又はアニメーション平面視表示されることを特徴 とする立体映像表示装置。
[9] 請求項 8に記載の立体映像表示装置において、前記オブジェクトを変形させる情報 ,消失させる情報,及び移動させる情報の少なくとも一つを有し、これら情報の一つ 以上を用いて複数画像を生成してオブジェクトをアニメーション立体視表示又はァニ メーシヨン平面視表示することを特徴とする立体映像表示装置。
[10] 請求項 8に記載の立体映像表示装置において、前記オブジェクトを変形させたドット データ,消失させたドットデータ,及び移動させたドットデータの少なくとも一つを有し 、互いに異なる画像を成す複数のドッ
トデータによってオブジェクトをアニメーション立体視表示又はアニメーション平面視 表示することを特徴とする立体映像表示装置。
[11] 請求項 1乃至請求項 10のいずれかに記載の立体映像表示装置において、前記ォブ ジェタトが複数在る場合にその立体視表示を同時に二つ以上実行しない制御が行わ れることを特徴とする立体映像表示装置。
[12] 請求項 8乃至請求項 10のいずれかに記載の立体映像表示装置において、前記ォブ ジェタトが複数在る場合にそのアニメーション立体視表示が順次に実行され、アニメ ーシヨン立体視表示待機中のオブジェクトは静止状態で立体視又は平面視されるよ うに構成されたことを特徴とする立体映像表示装置。
[13] 請求項 11又は請求項 12に記載の立体映像表示装置において、立体視表示又はァ 二メーシヨン立体視表示を実行していないオブジェクトについては、当該オブジェクト の状態を指示する情報に基づいて表示が行われるように構成されたことを特徴とする 立体映像表示装置。
[14] 立体視映像を生成する立体映像表示装置であって、オブジェクトを立体表示するた めに複数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って 画面上にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表 示されるオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重 なりが判断された際に、前記カーソル又はオブジェクトが前記立体表示されるォブジ ェクト以上に手前側に立体視されるようにカーソル又はオブジェクトの複数視点画像 を描画する手段と、を備えたことを特徴とする立体映像表示装置。
[15] 請求項 14に記載の立体映像表示装置において、立体表示されるオブジェクト又は 立体表示されるカーソルが手前側に立体視されるときには立体表示されるオブジェク ト又は立体表示されるカーソルを拡大描画処理し、奥側に立体視されるときには、立 体表示されるオブジェクト又は立体表示されるカーソルを縮小描画処理することを特 徴とする立体映像表示装置。
[16] 立体視映像を生成する立体映像表示装置であって、オブジェクトを立体表示するた めに複数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って 画面上にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表 示されるオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重 なりが判断された際に、前記カーソル又はオブジェクトが表示されないように描画処 理する手段と、を備えたことを特徴とする立体映像表示装置。
[17] 請求項 16に記載の立体映像表示装置において、前記カーソル又はオブジェクトが 徐々に消去されるように描画処理することを特徴とする立体映像表示装置。
[18] 立体視映像を生成する立体映像表示装置であって、オブジェクトを立体表示するた めに複数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って 画面上にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表 示されるオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重 なりが判断された際に、前記カーソル又はオブジェクトとして輪郭線のみの透明カー ソル又は透明オブジェクトが表示されるように描画処理する手段と、を備えたことを特 徴とする立体映像表示装置。
[19] 立体視映像を生成する立体映像表示装置であって、オブジェクトを立体表示するた めに複数視点画像を描画する手段と、ポインティングデバイスの操作情報に従って 画面上にカーソル又はオブジェクトが移動表示されるように描画する手段と、立体表 示されるオブジェクトとカーソル又はオブジェクトとの重なりを判断する手段と、前記重 なりが判断された際に、前記カーソル又はオブジェクトの全部又は一部を前記立体 表示されるオブジェ外の画素データを利用して描画処理する手段と、を備えたことを 特徴とする立体映像表示装置。
[20] 請求項 16乃至請求項 19のいずれかに記載の立体映像表示装置において、立体表 示されるオブジェクトが手前側に立体視されるときには立体表示されるオブジェクトを 拡大描画処理し、奥側に立体視されるときには、立体表示されるオブジェクトを縮小 描画処理することを特徴とする立体映像表示装置。
[21] コンピュータを、オブジェ外を立体表示するために複数視点画像を描画する手段と 、ポインティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが 移動表示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はォ ブジエタトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル 又はオブジェクトが前記立体表示されるオブジェクト以上に手前側に立体視されるよ うにカーソル又はオブジェクトの複数視点画像を描画する手段として機能たせるため のプログラム。
[22] 請求項 21に記載のプログラムにおいて、コンピュータを、立体表示されるオブジェクト 又は立体表示されるカーソルが手前側に立体視されるときには立体表示されるォブ ジェタト又は立体表示されるカーソルを拡大描画処理し、奥側に立体視されるときに は、立体表示されるオブジェクト又は立体表示されるカーソルを縮小描画処理する手 段として機能させるプログラム。
[23] コンピュータを、オブジェ外を立体表示するために複数視点画像を描画する手段と 、ポインティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが 移動表示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はォ ブジエタトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル 又はオブジェクトが表示されないように描画処理する手段として機能させるためのプ ログラム。
[24] 請求項 23に記載のプログラムにおいて、コンピュータを、前記カーソル又はオブジェ タトが徐々に消去されるように描画処理する手段として機能させるためのプログラム。
[25] コンピュータを、オブジェ外を立体表示するために複数視点画像を描画する手段と 、ポインティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが 移動表示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はォ ブジエタトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル 又はオブジェクトとして輪郭線のみの透明カーソル又は透明オブジェクトが表示され るように描画処理する手段として機能させるためのプログラム。
[26] コンピュータを、オブジェ外を立体表示するために複数視点画像を描画する手段と 、ポインティングデバイスの操作情報に従って画面上にカーソル又はオブジェクトが 移動表示されるように描画する手段と、立体表示されるオブジェクトとカーソル又はォ ブジエタトとの重なりを判断する手段と、前記重なりが判断された際に、前記カーソル 又はオブジェクトの全部又は一部を前記立体表示されるオブジェクトの画素データを 利用して描画処理する手段として機能させるためのプログラム。
請求項 23乃至請求項 26のいずれかに記載のプログラムにおいて、コンピュータを、 立体表示されるオブジェクトが手前側に立体視されるときには立体表示されるォブジ ェクトを拡大描画処理し、奥側に立体視されるときには、立体表示されるオブジェクト を縮小描画処理する手段として機能させるプログラム。
PCT/JP2004/007184 2003-05-28 2004-05-26 立体映像表示装置及びプログラム Ceased WO2004107763A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/558,478 US20070182730A1 (en) 2003-05-28 2004-05-26 Stereoscopic image display apparatus and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003-150089 2003-05-28
JP2003150089A JP4222875B2 (ja) 2003-05-28 2003-05-28 立体映像表示装置及びプログラム
JP2003-384655 2003-11-14
JP2003384655A JP2005151080A (ja) 2003-11-14 2003-11-14 立体映像表示装置

Publications (1)

Publication Number Publication Date
WO2004107763A1 true WO2004107763A1 (ja) 2004-12-09

Family

ID=33492425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/007184 Ceased WO2004107763A1 (ja) 2003-05-28 2004-05-26 立体映像表示装置及びプログラム

Country Status (2)

Country Link
US (1) US20070182730A1 (ja)
WO (1) WO2004107763A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8339444B2 (en) * 2007-04-09 2012-12-25 3M Innovative Properties Company Autostereoscopic liquid crystal display apparatus
JP4657313B2 (ja) 2008-03-05 2011-03-23 富士フイルム株式会社 立体画像表示装置および方法並びにプログラム
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
US9122064B2 (en) * 2008-11-26 2015-09-01 Nec Corporation Display device, terminal device, and display method
CN104811685B (zh) * 2008-12-18 2017-04-12 Lg电子株式会社 3d图像信号处理方法和用于实现该方法的图像显示器
DE102009004820A1 (de) * 2009-01-13 2010-07-15 Adp Gauselmann Gmbh Verfahren zur Darstellung von virtuellen 3-D-Objekten mit einer in einem münzbetätigten Unterhaltungsautomaten angeordneten matrixbasierenden Anzeigeeinheit
JP4719929B2 (ja) * 2009-03-31 2011-07-06 Necカシオモバイルコミュニケーションズ株式会社 表示装置、および、プログラム
JP5510700B2 (ja) * 2009-04-03 2014-06-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US9524700B2 (en) * 2009-05-14 2016-12-20 Pure Depth Limited Method and system for displaying images of various formats on a single display
US8687053B2 (en) * 2009-06-26 2014-04-01 Panasonic Corporation Stereoscopic image display device
KR20110053159A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 비디오 부가 재생 정보의 3차원 재생을 위한 멀티미디어 스트림 생성 방법과 그 장치, 및 수신 방법과 그 장치
JP4876182B2 (ja) * 2009-11-26 2012-02-15 キヤノン株式会社 立体映像表示装置およびカーソル表示方法、プログラム、記憶媒体
KR20130062907A (ko) * 2010-04-20 2013-06-13 엔트로픽 커뮤니케이션즈, 인크. 3차원 디스플레이에 사용자 인터페이스를 디스플레이하기 위한 시스템 및 방법
US9746989B2 (en) * 2011-10-13 2017-08-29 Toshiba Medical Systems Corporation Three-dimensional image processing apparatus
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918798A (ja) * 1995-07-03 1997-01-17 Sanyo Electric Co Ltd 文字処理機能付き映像表示装置
JPH09171378A (ja) * 1995-12-20 1997-06-30 Sharp Corp 情報処理装置
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
GB9800397D0 (en) * 1998-01-09 1998-03-04 Philips Electronics Nv Virtual environment viewpoint control
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
AU2001263075A1 (en) * 2000-05-12 2001-11-26 Thomson Licensing S.A. Apparatus and method for improved device interoperability
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918798A (ja) * 1995-07-03 1997-01-17 Sanyo Electric Co Ltd 文字処理機能付き映像表示装置
JPH09171378A (ja) * 1995-12-20 1997-06-30 Sharp Corp 情報処理装置
JPH11143677A (ja) * 1997-11-05 1999-05-28 Virtuality Kk ポインタ装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2001326947A (ja) * 2000-05-12 2001-11-22 Sony Corp 立体画像表示装置

Also Published As

Publication number Publication date
US20070182730A1 (en) 2007-08-09

Similar Documents

Publication Publication Date Title
JP7688762B2 (ja) 表示端末および仮想オブジェクト表示方法
WO2004107763A1 (ja) 立体映像表示装置及びプログラム
EP3646284B1 (en) Screen sharing for display in vr
JP4222875B2 (ja) 立体映像表示装置及びプログラム
JP4883774B2 (ja) 情報処理装置及びその制御方法、プログラム
KR101691034B1 (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 시 부가정보 합성 장치 및 방법
KR101690034B1 (ko) 3차원 그래픽 기반 단말기에서 객체 렌더링 장치 및 방법
EP1742489B1 (en) Image display device and graphic processor for stereoscopic display of 3D graphic objects
WO2004107764A1 (ja) 画像表示装置及びプログラム
TW200901085A (en) Stereo graphics system and processing method and storage medium
US8531448B2 (en) Stereoscopic image display apparatus, text data processing apparatus, program, and storing medium
JP2005109568A (ja) 映像表示装置及びプログラム
KR20190048360A (ko) 영상 처리 방법 및 장치
CN1795683B (zh) 立体视频显示装置、文本数据处理装置、程序及存储介质
EP4723044A1 (en) Multi-person collaboration method for three-dimensional content, and device
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JP2001331245A (ja) 立体視映像表示装置、及び情報記憶媒体
JP5045308B2 (ja) 画像表示制御プログラム及び画像表示制御装置
JP5328852B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
JP6442619B2 (ja) 情報処理装置
JPH06301794A (ja) 3次元画像生成表示装置
JP2005151080A (ja) 立体映像表示装置
JP2001092579A (ja) 情報表示装置
JP5875327B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 10558478

Country of ref document: US

Ref document number: 2007182730

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10558478

Country of ref document: US