WO2007001055A1 - ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体 - Google Patents

ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2007001055A1
WO2007001055A1 PCT/JP2006/313023 JP2006313023W WO2007001055A1 WO 2007001055 A1 WO2007001055 A1 WO 2007001055A1 JP 2006313023 W JP2006313023 W JP 2006313023W WO 2007001055 A1 WO2007001055 A1 WO 2007001055A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereo
information
unit
images
Prior art date
Application number
PCT/JP2006/313023
Other languages
English (en)
French (fr)
Inventor
Hidehiko Sekizawa
Ken Mashitani
Hideaki Yoshida
Tadashi Uchiumi
Original Assignee
Sony Corporation
Sanyo Electric Co., Ltd.
Olympus Imaging Corporation
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation, Sanyo Electric Co., Ltd., Olympus Imaging Corporation, Sharp Kabushiki Kaisha filed Critical Sony Corporation
Priority to CN2006800238935A priority Critical patent/CN101218832B/zh
Priority to EP06767640A priority patent/EP1906677A4/en
Priority to US11/922,901 priority patent/US8358329B2/en
Publication of WO2007001055A1 publication Critical patent/WO2007001055A1/ja
Priority to KR1020087002277A priority patent/KR101265875B1/ko

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • Stereo image playback apparatus and playback method Stereo image playback program, stereo image playback program, and recording medium recording program
  • the present invention relates to a stereo image processing apparatus and method for processing a stereo image, a stereo image playback apparatus and method for stereoscopically reproducing a stereo image, and a stereo image sheet on which a stereo image is printed.
  • the present invention relates to a stereo image processing program, a stereo image reproduction program, and a recording medium readable by a computer on which the program is recorded.
  • a method of recognizing a planar image as a stereoscopic image using binocular parallax, and methods using the naked eye include a parallel method, an intersection method, and the like.
  • the parallel method as shown in Fig. 1, the right image 114R of the two left and right images (hereinafter referred to as "stereo images") 114R and 114L each having an appropriate parallax is displayed with the right eye E.
  • the intersection method uses the left eye E for the right image 114R,
  • Patent Document 1 Japanese Patent Laid-Open No. 5-30538
  • the position force once imaged is moved in the horizontal direction by a distance equivalent to the distance between human eyes, and the same from that position. Take a picture of the subject again, use two cameras, etc. It is possible to obtain two images that become Leo images.
  • stereoscopic display control such as the number of horizontal viewpoints (number of images) and the amount of horizontal shift, in addition to the identification information indicating that it is a stereo image and the left and right identification information
  • stereoscopic display on the playback device will not be possible.
  • the image of the printed material can be read by the scanner and the electronic data of the image can be obtained.
  • the image data read in can not be displayed stereoscopically.
  • the present invention has been proposed in view of the circumstances as described above, and its technical problem is that it is possible to perform stereoscopic reproduction of an image without depending on file header information, and it is broken or lost.
  • Stereo image processing apparatus and method capable of restoring header information for stereoscopic display, stereo image reproduction apparatus and method for stereoscopic reproduction of stereo image, and stereo image sheet on which stereo image is printed
  • a further object is to provide a stereo image processing program, a stereo image playback program, and a computer-readable recording medium on which the program is recorded.
  • a stereo image processing apparatus to which the present invention is applied is an image input unit that inputs a plurality of images constituting a stereo image as a main image, and a stereoscopic display control for a plurality of main images input by an image input unit.
  • Code part for signing stereo information of an image into an image And an image composition unit that synthesizes the plurality of main images input by the image input unit and the encoded image obtained by the encoding unit by dividing the region.
  • This stereo image processing apparatus can perform stereoscopic reproduction of an image without relying on header information.
  • the header information of the file is broken or lost, the header information can be restored even if the information is added to the composite image and the visible information of the stereo information is used.
  • the image composition unit synthesizes padding data indicating whether a plurality of main images are stereo images of a parallel method or an intersection method by dividing a region into the plurality of main images.
  • the apparatus further includes an aspect ratio adjustment input unit for inputting an aspect adjustment ratio, and the image composition unit is configured so that the vertical and horizontal sizes of the composite image become the aspect adjustment ratio input by the aspect ratio adjustment input unit. You may comprise so that the size of the padding data combined with several image data may be varied.
  • the stereo image processing apparatus to which the present invention is applied includes an encoding unit that compresses and encodes an image combined by the image combining unit, and a combined image that is compression-encoded by the encoding unit for stereoscopic display control. And a multiplexing unit for creating a file by adding the stereo information as header information.
  • the plurality of main images can be images for the right eye and the left eye, or an image obtained by capturing a single subject with a plurality of viewpoints.
  • a stereo image reproduction device as another embodiment of the present invention can convert a stereo image.
  • a composite image input unit for inputting a composite image in which a plurality of constituent main images and an encoded image of stereo information for stereoscopic display control for the plurality of main images are divided into regions, and a composite image
  • a separation unit that separates a plurality of main images and encoded images from the composite image input by the input unit, a decoding unit that decodes stereo information from the encoded images separated by the separation unit, and a decoding unit
  • an image conversion unit that performs processing for stereoscopic display on a plurality of main images separated by the separation unit based on the decoded stereo information.
  • this stereo image reproducing device it is possible to perform stereoscopic reproduction of an image regardless of header information.
  • a plurality of main images constituting a stereo image and an encoded image of stereo information for stereoscopic display control for the plurality of main images have regions. They are arranged separately.
  • This stereo image sheet is read by a scanner, and the code information using the stereo symbol visible symbols is separated from the read image and decoded, so that the stereoscopic reproduction of the image can be performed without using the header information. It can be carried out.
  • FIG. 1 is a diagram showing a parallel method for recognizing a planar image as a stereoscopic image.
  • FIG. 2 is a diagram showing an intersection method for recognizing a planar image as a stereoscopic image.
  • FIG. 3 is a block diagram showing an embodiment of a stereo image processing apparatus according to the present invention.
  • FIG. 4 is a diagram showing a configuration of an image file input to the stereo image processing apparatus shown in FIG.
  • FIG. 5 is a diagram showing an example of a composite image when the image is a parallel stereo image. is there.
  • FIG. 6 is a diagram showing an example of a composite image when the image is a cross-method stereo image.
  • FIG. 7 is a diagram showing another example of a composite image.
  • FIG. 8 is a diagram showing the structure of a stereo image file output from the stereo image processing apparatus shown in FIG. 3.
  • FIG. 9 is a block diagram showing an embodiment of a stereo image reproducing device according to the present invention.
  • FIG. 10 is a block diagram showing a stereo image reproducing device using an image capturing device.
  • FIG. 11 is a block diagram showing a stereo image processing apparatus that can recover header information.
  • FIG. 12 is a diagram showing a form in which one subject is imaged by a plurality of digital still cameras arranged side by side in the front, rear, left, and right directions.
  • FIG. 13 is a block diagram showing another embodiment of the stereo image processing apparatus according to the present invention.
  • FIG. 14 is a diagram showing an example of a composite image when the image generated by the stereo image processing apparatus shown in FIG. 13 is a parallel stereo image.
  • FIG. 15 is a diagram showing an example of a composite image generated by the stereo image processing apparatus shown in FIG. 13 when the image is a cross method stereo image.
  • a stereo image processing apparatus 100 to which the present invention is applied includes an image input unit 1, an aspect ratio adjustment input unit 2, a stereo (adapter) information input unit 3, and a data separation output unit 4.
  • the image input unit 1 is a stereo image for the right-eye and left-eye image information (main image).
  • For right eye and left eye with stereo information for stereoscopic display control added as header information, such as identification information indicating left / right identification information, number of horizontal viewpoints (number of images), horizontal shift amount, etc. Is a means for inputting the image files 12R and 12L.
  • the data separation output unit 4 is a means for separating the header information from the right eye and left eye image files 12R and 12L input by the image input unit 1 and outputting them to the stereo information generation unit 5. is there.
  • the stereo (adapter) information input unit 3 includes stereo information other than the contents included in the header information of the input image files 12R and 12L for the right eye and left eye, and at least the input image files 12R and 12L. This is a means for inputting the parallel method Z cross method identification information, etc., which indicates whether the image of the parallel method or the cross method is a stereo image.
  • the stereo information generation unit 5 and the stereo information encoding unit 6 and the data multiplexing unit 10 This is a means for generating stereo information to be output to the.
  • the stereo information encoding unit 6 is a means for encoding the stereo information output from the stereo information generating unit 5 into an image that can be discriminated by image analysis such as a one-dimensional barcode or a two-dimensional barcode. Further, the parallel method Z cross method identification information in the stereo information is passed through the stereo information encoding unit 6 and passed to the padding data generation unit 7. The padding data generation unit 7 generates padding data to be combined with the image data bodies for the right eye and the left eye based on the parallel method Z intersection method identification information output from the stereo information encoding unit 6. This is a means for outputting to the image composition unit 8 together with the sign information image of the stereo information output from the stereo information encoding unit 6.
  • the padding data is data that fills an empty area that is formed when the right-eye and left-eye main images are arranged side by side in a two-dimensional space having a predetermined aspect adjustment ratio.
  • This padding data expresses parallel method Z cross method identification information by visual features such as colors and patterns that can be identified at a glance by humans.
  • a sign information image of stereo information is arranged at a predetermined position of the padding data.
  • This stereo image sign image is similar to the representation of parallel method Z-cross method identification information. If it can encode all the stereo information necessary for stereoscopic display control, such as a bar code that does not need to be discriminable immediately, it can be used. Therefore, it is possible to use characters such as numbers and symbols for the sign of the stereo information.
  • the aspect ratio adjustment input unit 2 is a means for inputting the aspect adjustment ratio of the composite image of the main image and padding data. This aspect adjustment ratio is input according to the aspect ratio of the printing paper used, for example.
  • the image compositing unit 8 includes the main images for the right eye and the left eye input from the image input unit 1, and the stereo image encoded image and padding data output from the padding data generation unit 7. To generate one image data having an aspect adjustment ratio input from the aspect ratio adjustment input unit 2.
  • the image encoding unit 9 is means for compressing and encoding the synthesized image output from the image synthesizing unit 8 by a predetermined method such as the PEG method.
  • the data multiplexing unit 10 is means for multiplexing the composite image compressed and encoded by the image encoding unit 9 and the stereo information output from the stereo information generation unit 5.
  • stereo information is added as header information of the image file.
  • the recording medium writing unit 11 is means for writing the image file generated by the data multiplexing unit 10 to a writable or rewritable nonvolatile recording medium such as an EEPROM.
  • the right eye and left eye image files 12R and 12L are identified as stereo images, left and right identification information, the number of horizontal viewpoints (number of images), and the amount of horizontal shift, respectively.
  • image information 12R, 12L in which stereo information for stereoscopic display control or the like is added to main images 14R, 14L as header information 13R, 13L is input.
  • the stereo (adapter) information input unit 3 determines whether the image file to be input is a parallel image or a cross method stereo image. Information is input and set in the stereo information generation unit 5.
  • the aspect ratio adjustment input section 2 a key that matches the aspect ratio of the printing paper to be used is used. Input the aspect adjustment ratio and set it in the image composition unit 8 as the aspect adjustment ratio for image composition.
  • the image input unit 1 inputs the right eye and left eye image files 12R and 12L, and the main image 14R, While 14L is passed to the image composition unit 8, the data separation output unit 4 separates and extracts the header information 13R and 13L of the image files 12R and 12L and outputs them to the stereo information generation unit 5.
  • the stereo information generation unit 5 acquires the header information 13R and 13L of the image files 12R and 12L from the data separation output unit 4, the header information 13R and 13L and the stereo (adapter) information input unit 3 have already been obtained.
  • the stereo information to be output to the stereo information encoding unit 6 and the data multiplexing unit 10 is generated from the stereo information (at least the parallel method Z-crossing method identification information) that is set by the input, and output to each.
  • the stereo information encoding unit 6 encodes the stereo information output from the stereo information generating unit 5 into an image such as a one-dimensional barcode or a two-dimensional barcode, and the stereo information encoding unit 6 The image is output to the padding data generation unit 7 together with the parallel method Z intersection method identification information in the stereo image output from the stereo information generation unit 5.
  • the padding data generation unit 7 generates padding data corresponding to the parallel method Z-crossing method identification information output from the stereo information encoding unit 6, and the generated padding data is received from the stereo information encoding unit 6. It is output to the image composition unit 8 together with the encoded stereo information image.
  • FIG. 5 and 6 show examples of the composite images 20 and 30 generated by the image composition unit 8, and FIG. 5 shows the composite images 20 and 6 when the main images 14R and 14L are parallel stereo images. Shows the composite image 30 when the main images 14R and 14L are stereo images of the intersection method. As described above, in the parallel method and the intersection method, the main images 14R and 14L are aligned in the horizontal direction. And the order is reversed.
  • padding data 15 and 16 which are visible parallel method Z cross method identification information are arranged above and below the left and right main images 14R and 14L.
  • the vertical and horizontal sizes of the composite images 20 and 30 are determined by the aspect adjustment ratio input from the aspect ratio adjustment input unit 2. That is, in FIG. 5, the length of the long side of each of the main images 14R and 14L arranged side by side (in this example, the horizontal length) is the horizontal length X of the composite image 20, and From the length X and the aspect adjustment ratio, the vertical length Y of the composite image 20 is determined.
  • the image composition unit 8 synthesizes the left and right main images 14R and 14L by variably adjusting the size of the padding data so that the vertical and horizontal sizes of the composite image become the aspect adjustment ratio specified in advance.
  • the vertical positions of the main images 14R and 14L in the composite images 20 and 30 are system-specific.
  • the main images 14R and 14L are determined to be arranged at approximately the middle position in the vertical direction. Yes. Therefore, in this example, in the synthesized images 20 and 30, areas of padding data 15 and 16 are secured above and below the main images 14R and 14L.
  • such an arrangement in which the areas of the padding data 15 and 16 are secured above and below the main images 14R and 14L is merely an example. It may be possible to reserve the padding data area only on the top or bottom of each main image 14R, 14L.
  • a one-dimensional bar code that is the encoded information image 17 of stereo information is arranged in the area of the padding data 16 below the composite images 20 and 30.
  • the stereo image 17 of this stereo information may be arranged in the upper padding data 15 region or in the upper and lower regions.
  • a plurality of encoded information images 17 of stereo information may be arranged in one padding data 15 or 16 area.
  • the padding data 15 and 16 that are visible parallel method Z-crossing method identification information are arranged on the left and right of the main images 14R and 14L, and the sign of the stereo information is placed in one of the padding data 16 areas. ⁇ Image 17 is placed.
  • the synthesized image obtained by the image synthesizing unit 8 is compressed and encoded by the image encoding unit 9 by a predetermined method such as the JPEG method, and is sent to the data multiplexing unit 10.
  • the compressed and encoded composite image and the header information including the contents of the stereo information from the stereo information generating unit 5 are multiplexed to create a stereo image file.
  • the structure of the stereo image file 40 is shown in FIG. As shown in FIG. 8, the stereo image file 40 is composed of a compression-encoded composite image 18, header information 19, SOI 41 indicating the beginning of the file 40, EOI 42 indicating the end of the file 40, and the like.
  • the created stereo image file 40 is recorded on the recording medium by the recording medium writing unit 11.
  • the stereo image file 40 in which the stereo information and the parallel method Z-crossing method identification information are added to the composite image can be created.
  • the stereoscopic reproduction of the image can be performed without depending on the header information of the stereo image file 40.
  • Sarasako reads a composite image from a stereo image sheet, which is a printed product of the composite image, and reads the composite image with a scanner, and decodes the encoded image and padding data of the stereo information contained in the image to perform stereoscopic reproduction of the image. You can.
  • stereo information and parallel method Z-crossing method identification information are added to the composite image, even if the header information of the stereo image file 40 is broken or lost, the stereo information added to the composite image is lost. It is also possible to recover the header information with respect to the sign of the information.
  • a playback device capable of decoding the composite image encoded with the compression image of the stereo image file 40 is connected to the network.
  • the stereo image file 40 is read via a detachable recording medium.
  • the composite image 20 or the composite image 30 of the main images 14R, 14L for the right eye and the left eye and the padding data 15, 16 is reproduced.
  • the observer uses the parallel images of the main images 14R and 14L for the right eye and the left eye based on the visual characteristics such as the color and pattern of the displayed padding data 15 and 16. It is possible to discriminate at a glance whether the image is a cross-method stereo image.
  • the composite image of the main image and padding data recorded on the recording medium has an aspect ratio determined according to the aspect ratio of the print paper used, so the entire composite image fits perfectly within the print paper. Can be printed to fit. Furthermore, from the visual characteristics of the padding data area on the stereo image sheet, which is a product obtained by printing the entire composite image on this printing paper, the observer can cross-stereo the stereo image on this stereo image sheet. It is possible to determine at a glance whether it is observed by observation or parallel observation.
  • the stereo image reproducing apparatus 200 includes a recording medium reading unit 51, a data separating unit 52, an image decoding unit 53, an image separating unit 54, a padding data decoding unit 55, and an image conversion.
  • a unit 56 and a stereoscopic display unit 57 are provided.
  • the recording medium reading unit 51 is means for reading a stereo image file 40 from a removable recording medium.
  • the data separation unit 52 is a means for separating and extracting the main image, that is, the compression-coded composite image 18 shown in FIG. 8, from the stereo image file 40 read from the recording medium.
  • the image decoding unit 53 is a means for decoding and decompressing the compression-coded composite image 18 separated and extracted by the data separation unit 52.
  • the image separation unit 54 separates the left and right main images from the stereo information sign image and padding data from the decoded and decompressed composite image, and sends the left and right main images to the image conversion unit 56.
  • the encoded image and the padding data are respectively distributed to the padding data decoding unit 55.
  • the padding data decoding unit 55 discriminates the stereo information code image and padding data by color discrimination or pattern recognition, etc., decodes the stereo information code image and restores the original stereo information, It is a means of restoring parallel method Z-crossing method identification information from padding data. Based on the restored stereo information and parallel method Z-crossing method identification information, the image conversion unit 56 performs arithmetic processing for stereoscopic display on the left and right main images, and the result is displayed as a stereoscopic display unit 57. It is a means to output to.
  • the stereoscopic display unit 57 is means for stereoscopically displaying an image.
  • the playback device is capable of stereoscopic playback of images based on the header information of the stereo image file 40.
  • the stereo information in the composite image is not related to the header information.
  • the encoded image and the padding data are decoded, and the image is reproduced stereoscopically based on the decoded information.
  • the recording medium reading unit 51 reads a detachable recording medium force stereo image file 40.
  • the data separation unit 52 separates and extracts the main image, that is, the compression-encoded composite image 18 shown in FIG. And decrypted.
  • the image separation unit 54 separates the left and right main images and the padding data including the encoded image of the stereo information from the decoded and decompressed composite image, and the left and right main images are separated from the image conversion unit 56. Is output.
  • the encoded image and the padding data of the stereo information are output to the padding data decoding unit 55, and the original stereo information and the parallel method Z cross method identification information are restored.
  • the image conversion unit 56 performs arithmetic processing for stereoscopic display on the left and right main images based on the restored stereo information and the parallel method Z-crossing method identification information, and the result is displayed in the stereoscopic display. Displayed in part 57.
  • the stereo image reproducing device 200 of the present embodiment it is possible to perform stereoscopic reproduction of an image regardless of the header information of the stereo image file 40.
  • the recording medium reading unit 51 is configured to read the stereo image file 40 from a detachable recording medium, but instead of the recording medium reading unit 51, a scanner or the like is used. A configuration using an image capturing device may be used.
  • a stereo image reproduction device 300 using this image capturing device is configured as shown in FIG. 10, and includes an image capturing unit 61 that captures a composite image from a stereo image sheet that is a printed material of the composite image.
  • the combined image force captured by the image capturing unit 61 is also encoded by the image separation unit 62 that separates the left and right main images from the stereo information encoded image and padding data.
  • Decoding unit 63 decoding unit 63, restored stereo information and parallel method Z-crossing method identification information
  • a stereoscopic display unit 65 for stereoscopically displaying the image.
  • the image converting unit 64 executes a processing for stereoscopic display on the left and right main images.
  • the stereo image reproducing device 300 having such a configuration, it is possible to perform stereoscopic reproduction of an image from a printed product of a composite image.
  • shiftX; 15Zl024 that is, a description method of horizontally shifting 15 pixels out of 1024 pixels is adopted.
  • a stereo image processing apparatus for recovering the header information of a stereo image file from the sign information image of the stereo information added to the synthesized image will be described.
  • the stereo image processing apparatus 400 includes a recording medium reading unit 71 that reads a stereo image file 40 from a detachable recording medium, and a recording medium force.
  • a data separation unit 72 that separates and extracts the encoded composite image
  • an image decoding unit 73 that decodes and decompresses the compressed and encoded composite image separated and extracted by the data separation unit 72, and a composite image that has been decoded and decompressed From the left and right main images, the stereo image encoded image and padding data are separated from the left and right main images, and the stereo information encoded image and padding data are discriminated by color discrimination and pattern recognition, respectively.
  • the stereo image is decoded and the original stereo information is restored.
  • the padding data decoding unit 75 that generates the header information by restoring the information, the compressed and encoded composite image separated and extracted by the data separation unit 72, and the header information restored by the padding data decoding unit 75
  • the stereo image processing apparatus 400 having such a configuration, it is possible to restore the header information of the stereo image file from the encoded image of the stereo information added to the composite image.
  • the two image data for the right eye and the left eye are combined with the padding data.
  • each image file includes a plurality of digital still cameras 81 (0, 0) 81 (3, According to 2), stereo information for stereoscopic display control is added as header information to each main image obtained by simultaneous imaging.
  • FIG. 13 is a block diagram showing the overall configuration of the stereo image processing apparatus 500 of this embodiment.
  • the stereo image processing apparatus 500 includes an image input unit 91, an aspect ratio adjustment input unit 92, a stereo (adapter) information input unit 93, a data separation output unit 94, A stereo information generation unit 95, a stereo information encoding unit 96, a padding data generation unit 97, an image synthesis unit 98, an image encoding unit 99, a data multiplexing unit 101, and a recording medium writing unit 102 are provided. ing.
  • the image input unit 91 recognizes that each main image obtained by simultaneous imaging with a plurality of digital still cameras 81 (0, 0) 81 (3, 2) is a stereo image.
  • the data separation output unit 94 separates header information from the plurality of image files 82 (0, 0), 82 (0, 1), ..., 82 (3, 2) input by the image input unit 91. This is a means for outputting to the stereo information generating unit 95.
  • the stereo (adapter) information input unit 93 includes stereo information other than the content included in the input image files 82 (0, 0), 82 (0, 1), ..., 82 (3, 2), at least, Parallel image indicating whether the input image files 82 (0, 0), 82 (0, 1), ..., 82 (3, 2) are stereo images of the parallel method or the cross method It is a means for inputting the identification information of the law crossing method.
  • the stereo information generation unit 95 is connected to the stereo (adapter) information input unit 93. This is a means for generating stereo information to be output to the stereo information encoding unit 96 and the data multiplexing unit 101 based on the information and the header information output from the data separation output unit 94.
  • the stereo information encoding unit 96 is means for encoding the stereo information output from the stereo information generating unit 95 into an image such as a one-dimensional barcode or a two-dimensional barcode. Further, the parallel Z cross method identification information in the stereo information is passed through the stereo information encoding unit 96 and passed to the padding data generating unit 7.
  • the padding data generation unit 97 generates padding data to be combined with the main images for the right eye and the left eye based on the parallel method Z-crossing method identification information output from the stereo information encoding unit 96, and generates stereo data. This is means for outputting the stereo information encoded image output from the information encoding unit 96 to the image synthesis unit 98.
  • the aspect ratio adjustment input unit 92 is a means for inputting the aspect adjustment ratio of the combined image of the stereo image to be output and the padding data. This aspect adjustment ratio is input in accordance with, for example, the aspect ratio of the printing paper used.
  • the image synthesis unit 98 receives the right-eye and left-eye image data input from the image input unit 91 and the stereo information encoded image and padding data output from the padding data generation unit 97. This is a means for combining and generating one composite image having the aspect adjustment ratio input from the aspect ratio adjustment input unit 92.
  • the image encoding unit 99 is means for compressing and encoding the synthesized image obtained by the image synthesizing unit 98 by a predetermined method such as the PEG method.
  • the data multiplexing unit 101 is a means for multiplexing the composite image compressed and encoded by the image encoding unit 99 and the stereo auxiliary information output from the stereo information generating unit 95.
  • the stereo attached information is added as header information of the image file.
  • the recording medium writing unit 102 is means for writing the image file generated by the data multiplexing unit 101 to a writable or rewritable nonvolatile recording medium (for example, EEPROM).
  • a writable or rewritable nonvolatile recording medium for example, EEPROM
  • the header information includes stereo information for stereoscopic display control, such as identification information indicating that it is an image, viewpoint (camera) position identification information, number of horizontal viewpoints (number of images), and horizontal shift amount.
  • stereo information indicating that it is an image
  • viewpoint (camera) position identification information indicating that it is an image
  • number of horizontal viewpoints number of images
  • horizontal shift amount indicating that each added compound eye image file is input.
  • the stereo (adapter) information input unit 93 determines whether the image file to be input is a parallel image or a cross method stereo image. Information is input and set in the stereo information generation unit 95.
  • an aspect ratio adjustment ratio that matches the aspect ratio of the printing paper to be used is input from the aspect ratio adjustment input section 92 and set in the image composition section 98 as an aspect adjustment ratio for image composition.
  • a plurality of image files 82 (0, 0), 82 (0, 1), 82, (3, 2) in the image input unit 91 And pass the main image in each image file 8 2 (0, 0), 82 (0, 1), 82, 82 (3, 2) to the image composition unit 98, while The header information is separated and extracted and output to the stereo information generation unit 95.
  • stereo information generation unit 95 obtains the header information of each image file 82 (0, 0), 82 (0, 1), 82, (3, 2) from the data separation output unit 94, these headers Stereo information encoding unit 96 and data multiplexing unit from information and stereo information (at least parallel method Z-crossing method identification information) already set by input from stereo (adapter) information input unit 93! Stereo information to be output to 101 is generated and output to each.
  • the stereo information output from the stereo information generating unit 95 is encoded into an image such as a one-dimensional barcode or a two-dimensional barcode, and the encoded information image of the stereo information is Then, it is output to the padding data generation unit 97 together with the parallel method Z-crossing method identification information in the stereo image output from the stereo information generation unit 95.
  • the padding data generation unit 97 generates padding data corresponding to the parallel method Z-crossing method identification information output from the stereo information encoding unit 96, and the generated padding data is transmitted to the stereo information encoding unit 96. Then, it is output to the image composition unit 98 together with the encoded stereo information image.
  • the image composition unit 98 synthesizes a plurality of main images passed from the image input unit 91 and the padding data and padding data of the stereo information from the padding data generation unit 7. Thus, one composite image having the aspect adjustment ratio set by the input from the aspect ratio adjustment input unit 92 is generated.
  • FIG. 14 and 15 show examples of synthesized images 83 and 84 generated by the image synthesizing unit 98.
  • FIG. 14 shows the main images 85 (0, 0), 85 (0, 1),.
  • Fig. 15 shows main images 85 (0, 0), 85 (0, 1), ..., 85 (3, 2).
  • a composite image 84 in the case of a cross-method stereo image is shown and shown.
  • the horizontal order of the main images 85 (0, 0), 85 (0, 1),..., 85 (3, 2) is reversed.
  • the vertical positional relationship is common.
  • padding data 86 and 87 are arranged above and below each main image 85 (0, 0), 85 (0, 1),..., 85 (3, 2).
  • the vertical and horizontal sizes of the composite images 83 and 84 are determined according to the aspect adjustment ratio input from the aspect ratio adjustment input unit 92. Specifically, in FIG. 14, the length of the long side (in this example, the length in the horizontal direction) of the combined main image 85 is set as the horizontal length X of the composite image 83, and the composite image 83 The vertical length Y of the composite image 83 is determined from the horizontal length X and the aspect ratio. That is, the image composition unit 98 adjusts the size of the padding data so that the vertical and horizontal sizes of the composite image 83 become the aspect adjustment ratios specified in advance, and synthesizes the integrated main image 85. .
  • the vertical position of the combined main image 85 in the composite images 83 and 84 is system-specific, and in this example, the integrated main image 85 is arranged at a substantially middle position in the vertical direction. It is decided to do so. Therefore, in this example, in the synthesized images 83 and 84, areas of padding data 86 and 87 are secured above and below the integrated main image 85. However, the arrangement in which the areas of the padding data 86 and 87 are secured above and below the integrated main image 85 is just an example. You may want to reserve the padding data area only on the top or bottom of the integrated main image 85.
  • a one-dimensional bar code that is the encoded image 88 of stereo information is arranged in the area of the padding data 87 below the composite images 83 and 84.
  • the stereo image 88 of this stereo information may be placed in the upper padding data 86 area.
  • Each may be arranged below.
  • a plurality of encoded information images 88 of stereo information may be arranged in a single padding data 86 or 87 area.
  • the composite image obtained by the image composition unit 98 as described above is compressed and encoded by the image encoding unit 99 using a predetermined method such as the JPEG method and sent to the data multiplexing unit 101, where
  • the compression-coded composite image and the header information including the contents of the stereo attached information from the stereo information generation unit 95 are multiplexed, and a stereo image file is created.
  • the created stereo image file is recorded on the recording medium by the recording medium writing unit 102.
  • the stereo image processing apparatus 500 of this embodiment it is possible to create a stereo image file in which stereo information and parallel method Z-crossing method identification information are added to a composite image.
  • the stereoscopic reproduction of the image can be performed regardless of the header information of the stereo image file.
  • a stereoscopic image is reproduced by reading the synthesized image from a stereo image sheet, which is a printed product of the synthesized image, with a scanner, and decoding the encoded image and padding data of the stereo information present therein. You can.
  • stereo information and parallel method Z-crossing method identification information are added to the composite image, even if the header information of the stereo image file is broken or lost, the code of the stereo information added to the composite image ⁇ Image power can also restore header information.
  • the compression image of the stereo image file is decoded.
  • a stereo image file can be loaded into a compatible playback device via a network or a removable recording medium. As a result, as shown in FIG. 14 or FIG. 15, a composite image 83 or composite image 84 of a plurality of main images 85 and padding data 86 and 87 is reproduced.
  • the observer is a force, cross-method stereo image in which the main images 85 are parallel stereo images, based on the visual characteristics such as colors and patterns of the displayed padding data 86, 87. Can be determined at a glance. Therefore, it is possible to immediately try stereoscopic observation by an appropriate observation method, and it is possible to eliminate an extra burden on the observer.
  • the composite image of the main image and padding data recorded on the recording medium is not used. Since the aspect ratio is determined according to the aspect ratio of the printing paper to be printed, the entire composite image can be printed so that it fits within the printing paper. Furthermore, from the visual characteristics of the padding data area on the stereo image sheet, which is the product of printing the entire composite image on this printing paper, the observer can cross-process the stereo image on this stereo image sheet. It is possible to discriminate at a glance whether it is observed with the parallel method or with the parallel method.
  • the padding data has the meaning as the parallel method Z cross method identification information.
  • the padding data is intended only to fill the empty space that can be created when the right-eye and left-eye main images are arranged side by side in a two-dimensional space having a predetermined aspect adjustment ratio.
  • a configuration may be adopted in which a sign information image of stereo information is arranged in the data area.
  • the stereo image processing functions of the stereo image processing apparatuses 100, 400, and 500 shown in the above-described embodiment are the functions of the stereo image playback apparatuses 200 and 300 for the stereo image playback function of a computer such as a PC. It may be provided as a program for this purpose.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　本発明は、ファイルのヘッダ情報に依拠することなく画像の立体視再生を行い、壊れたり消失した立体視表示のためのヘッダ情報を復旧させることのできるステレオ画像処理装置であり、ステレオ画像を構成する複数の主画像を入力する画像入力部（１）と、入力された複数の主画像に対する立体視表示制御のためのステレオ情報をバーコードのような画像に符号化するステレオ情報エンコード部（６）と、入力された複数の主画像と、ステレオ情報の符号化画像とを領域を区分して合成する画像合成部（８）とを具備する。

Description

明 細 書
ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログ ラム及びプログラムを記録した記録媒体
技術分野
[0001] 本発明は、ステレオ画像を処理するステレオ画像処理装置及びその方法、ステレ ォ画像を立体視再生するステレオ画像再生装置及びその方法に関し、さらには、ス テレオ画像が印刷されたステレオ画像シート、ステレオ画像処理用プログラム、ステレ ォ画像再生用プログラム、このプログラムを記録したコンピュータにより読み取り可能 とした記録媒体に関する。
本出願は、日本国において 2005年 6月 29日に出願された日本特許出願番号 200 5— 189434を基礎として優先権を主張するものであり、この出願は参照することによ り、本出願に援用される。
背景技術
[0002] 従来、両眼の視差を利用して平面画像を立体画像として認識させる方法であって、 裸眼による方法として、平行法、交差法などがある。平行法は、図 1に示すように、そ れぞれ適当な視差をもつ左右 2つの画像 (以下「ステレオ画像」と呼ぶ。） 114R, 11 4Lのうちの右側の画像 114Rを右眼 Eで、左側の画像 114Lを左眼 Eで観察する
R L
方法である。また、交差法は、図 2に示すように、右側の画像 114Rを左眼 Eで、左
し 側の画像 114Lを右眼 Eで観察する方法である。
R
このようなステレオ画像を撮像する方法には、人間の目の間隔と同等の距離を置い て 2つのレンズ及び撮像素子を左右に並べて配置し、これら 2つの撮像系で左右の 画像を平行法又は交差法にて同時に撮像する方法などがあり、このような仕組みを 採用したデジタルスチルカメラに関する技術が特開平 5— 30538号公報 (特許文献 1)において開示されている。
また、このように複数の撮像系を用いたカメラを用いなくても、一度撮像を行った位 置力 カメラを水平方向に人間の目の間隔と同等の距離だけ移動させ、その位置か ら同じ被写体をもう一度撮像したり、複数のカメラを 2台用いることなどによって、ステ レオ画像となる 2つの画像を得ることが可能である。
上述の特許文献 1には、左右それぞれの画像データに個別に、ステレオ画像であ るという情報や、左右の識別情報などをヘッダ情報として記録しておくことで、記録再 生装置や伝送装置などでの処理時に、左右の画像データが 1つの画像取扱単位と して扱われるようにして、誤って左右の画像データのうち 1つが消去したり、伝送したり される不具合を防止することなどが記載されて 、る。
発明の開示
発明が解決しょうとする課題
ところで、左右それぞれの画像データのファイルのヘッダ情報として、ステレオ画像 であることを示す識別情報や左右の識別情報の他、水平視点数 (画像数)、水平シフ ト量などの、立体視表示制御のためのステレオ情報を付加しておくことにより、各画像 ファイルを立体視表示が可能な再生機器にて、そのヘッダ情報に基づ 、てステレオ 画像の立体視表示を行うことが可能となる。
し力しながら、ファイルのヘッダ情報が壊れたり消失してしまった場合、再生機器で の立体視表示ができなくなってしまう。例えば、ステレオ画像を印刷物の形態で受け 渡した場合、その印刷物の画像をスキャナで読み込み、その画像の電子データを得 ることができても、この時点でヘッダ情報は喪失しているので、スキャナで読み込んだ 画像データ力も立体視表示を行うことができなくなってしまう。
本発明は、上述のような事情に鑑みて提案されたものであって、その技術課題は、 ファイルのヘッダ情報に依存することなく画像の立体視再生を行うことを可能となし、 壊れたり消失した立体視表示のためのヘッダ情報を復旧させることのできるステレオ 画像処理装置及びその方法、ステレオ画像を立体視再生するステレオ画像再生装 置及びその方法、並びに、ステレオ画像が印刷されたステレオ画像シート、さらには 、ステレオ画像処理用プログラム、ステレオ画像再生用プログラム及びこのプログラム を記録したコンピュータにより読み取り可能な記録媒体を提供することにある。
本発明が適用されたステレオ画像処理装置は、ステレオ画像を構成する複数の画 像を主画像として入力する画像入力部と、画像入力手段により入力された複数の主 画像に対する立体視表示制御のためのステレオ情報を画像に符号ィ匕する符号ィ匕部 と、画像入力部により入力された複数の主画像と、符号化部により得られた符号化画 像とを領域を区分して合成する画像合成部とを備える。
このステレオ画像処理装置は、ヘッダ情報に依拠することなく画像の立体視再生を 行うことができる。また、ファイルのヘッダ情報が壊れたり消失してしまっても、合成画 像に付加されて 、るステレオ情報の可視的なシンボルを用いた符号ィ匕情報力もへッ ダ情報を復旧することができる。ここで、画像合成部は、複数の主画像が平行法又は 交差法のどちらかのステレオ画像であるかを示すパディングデータを、複数の主画像 に対して領域を区分して合成するものであってもよ 、。
これにより、観察者が裸眼でステレオ画像を立体視する際に、パディングデータの 視覚的な特徴により、ステレオ画像の適切な観察方法を一目で判別することができる 本発明が適用されたステレオ画像処理装置において、さらに、アスペクト調整比を 入力するアスペクト比調整入力部をさらに具備し、画像合成部は、合成画像の縦横 のサイズがアスペクト比調整入力部により入力されたアスペクト調整比となるように、 複数の画像データに合成するパディングデータのサイズを可変するように構成しても よい。
この発明によれば、合成画像の全体を印字用紙内にぴったり収まるように印刷する ことができる。
さらに、本発明適用されたステレオ画像処理装置は、画像合成部により合成された 画像を圧縮符号化する符号化部と、符号化部により圧縮符号化された合成画像に、 立体視表示制御のためのステレオ情報をヘッダ情報として付加してファイルを作成 する多重化部とをさらに具備するものであってもよ 、。
これにより、ヘッダ情報によらずに画像の立体視再生が可能なステレオ画像のファ ィルを作成することができ、このファイルを記録媒体に記録して、立体視表示が可能 な外部の機器に伝送したりすることができる。
複数の主画像は、右眼用と左眼用の画像、あるいは、 1つの被写体を複数の視点 力 捕らえた画像とすることができる。
また、本発明の他の実施の形態としてのステレオ画像再生装置は、ステレオ画像を 構成する複数の主画像と、複数の主画像に対する立体視表示制御のためのステレ ォ情報の符号化画像とが領域を区分して合成された合成画像を入力する合成画像 入力部と、合成画像入力手段により入力された合成画像から複数の主画像と符号化 画像とを分離する分離部と、この分離部により分離された符号化画像からステレオ情 報を復号する復号部と、この復号部によって復号されたステレオ情報に基づいて、分 離部により分離された複数の主画像に対して立体視表示のための処理を行う画像変 換部とを具備する。
このステレオ画像再生装置によれば、ヘッダ情報によらずに画像の立体視再生を 行うことができる。
本発明のさらに他の実施の形態としてのステレオ画像シートは、ステレオ画像を構 成する複数の主画像と、複数の主画像に対する立体視表示制御のためのステレオ 情報の符号化画像とが領域を区分して配置されている。
このステレオ画像シートをスキャナで読み込み、読み込んだ画像からステレオ情報 の可視的なシンボルを用いた符号ィ匕情報を分離して復号することによって、ヘッダ情 報によらずに、画像の立体視再生を行うことができる。
上述したように、本発明を採用することにより、ファイルのヘッダ情報に依拠すること なく画像の立体視再生を行うことができるとともに、壊れたり消失した立体視表示のた めのヘッダ情報を復旧することができる。
本発明のさらに他の目的、本発明によって得られる具体的な利点は、以下におい て図面を参照して説明される実施の形態から一層明らかにされるであろう。
図面の簡単な説明
[図 1]図 1は、平面画像を立体画像として認識させる平行法を示す図である。
[図 2]図 2は、平面画像を立体画像として認識させる交差法を示す図である。
[図 3]図 3は、本発明に係るステレオ画像処理装置の一実施の形態を示すブロック図 である。
[図 4]図 4は、図 3に示すステレオ画像処理装置に入力される画像ファイルの構成を 示す図である。
[図 5]図 5は、画像が平行法のステレオ画像である場合の合成画像の例を示す図で ある。
[図 6]図 6は、画像が交差法のステレオ画像である場合の合成画像の例を示す図で ある。
[図 7]図 7は、合成画像の他の例を示す図である。
[図 8]図 8は、図 3に示すステレオ画像処理装置より出力されるステレオ画像のフアイ ルの構成を示す図である。
[図 9]図 9は、本発明に係るステレオ画像再生装置の一実施の形態を示すブロック図 である。
[図 10]図 10は、画像取込装置を用いたステレオ画像再生装置を示すブロック図であ る。
[図 11]図 11は、ヘッダ情報を復旧可能なステレオ画像処理装置を示すブロック図で ある。
[図 12]図 12は、 1つの被写体を前後左右に並べて配置された複数のデジタルスチル カメラで撮像する形態を示す図である。
[図 13]図 13は、本発明に係るステレオ画像処理装置の他の実施の形態を示すブロッ ク図である。
[図 14]図 14は、図 13に示すステレオ画像処理装置にて生成される画像が平行法の ステレオ画像である場合の合成画像の例を示す図である。
[図 15]図 15は、図 13に示すステレオ画像処理装置にて生成される、画像が交差法 のステレオ画像である場合の合成画像の例を示す図である。
発明を実施するための最良の形態
以下、本発明を実施するための最良の形態を図面を参照して説明する。
本発明が適用されたステレオ画像処理装置 100は、図 3に示すように、画像入力部 1と、アスペクト比調整入力部 2と、ステレオ (アダプタ)情報入力部 3と、データ分離出 力部 4と、ステレオ情報生成部 5と、ステレオ情報エンコード部 6と、パディングデータ 生成部 7と、画像合成部 8と、画像エンコード部 9と、データ多重化部 10と、記録媒体 書込部 11とを備えている。
画像入力部 1は、右眼用と左眼用の画像情報 (主画像）にそれぞれ、ステレオ画像 であることを示す識別情報、左右の識別情報、水平視点数 (画像数)、水平シフト量 などの、立体視表示制御のためのステレオ情報がヘッダ情報として付加された右眼 用と左眼用の各画像ファイル 12R, 12Lを入力する手段である。
データ分離出力部 4は、画像入力部 1にて入力された右眼用と左眼用の各画像フ アイル 12R, 12Lからヘッダ情報を分離してステレオ情報生成部 5に出力するための 手段である。
ステレオ (アダプタ)情報入力部 3は、入力された右眼用と左眼用の各画像ファイル 12R, 12Lのヘッダ情報に含まれる内容以外のステレオ情報、少なくとも、入力され た各画像ファイル 12R, 12Lの画像が平行法と交差法のどちらのステレオ画像である かを示す平行法 Z交差法識別情報などを入力するための手段である。
ステレオ情報生成部 5は、ステレオ (アダプタ）情報入力部 3より入力されたステレオ 情報とデータ分離出力部 4より出力されたヘッダ情報に基づいて、ステレオ情報ェン コード部 6及びデータ多重化部 10に出力するステレオ情報を生成するための手段で ある。
ステレオ情報エンコード部 6は、ステレオ情報生成部 5より出力されたステレオ情報 を一次元バーコード、二次元バーコードなどの画像解析によって判別可能な画像に 符号ィ匕するための手段である。また、ステレオ情報の中の平行法 Z交差法識別情報 は、ステレオ情報エンコード部 6をスルーしてパディングデータ生成部 7へ渡される。 パディングデータ生成部 7は、ステレオ情報エンコード部 6より出力された平行法 Z 交差法識別情報に基づいて、右眼用と左眼用の各画像データ本体と合成されるパ デイングデータを生成して、ステレオ情報エンコード部 6より出力されたステレオ情報 の符号ィ匕画像とともに画像合成部 8に出力する手段である。
ここで、パディングデータとは、所定のアスペクト調整比をもつ二次元空間内に右眼 用と左眼用の各主画像を左右に並べて配置した場合にできる空き領域を埋めるデー タである。このパディングデータは、平行法 Z交差法識別情報を、例えば人間が一目 で識別することのできる色や模様などの視覚的特徴によって表現したものである。こ のパディングデータの所定の位置に、ステレオ情報の符号ィ匕画像が配置される。この ステレオ情報の符号ィ匕画像は、平行法 Z交差法識別情報の表現のように、人間によ つて即座に判別され得るようなものである必要はなぐバーコードなどのように、立体 視表示制御のために必要なすべてのステレオ情報を符号ィ匕できるものであればょ ヽ 。したがって、このステレオ情報の符号ィ匕には数字や記号などの文字を用いることも 可能である。
アスペクト比調整入力部 2は、主画像とパディングデータとの合成画像のアスペクト 調整比を入力するための手段である。このアスペクト調整比は、例えば使用される印 字用紙の縦横比に合わせて入力される。
画像合成部 8は、画像入力部 1より入力された右眼用と左眼用の各主画像と、パデ イングデータ生成部 7より出力された、ステレオ情報の符号ィ匕画像及びパディングデ 一タとを合成して、アスペクト比調整入力部 2より入力されたアスペクト調整比をもつ 1 つの画像データを生成する手段である。
画像エンコード部 9は、画像合成部 8より出力された合成画像を、例え〖 PEG方式 などの所定の方式で圧縮符号化する手段である。
データ多重化部 10は、画像エンコード部 9によって圧縮符号化された合成画像とス テレオ情報生成部 5より出力されたステレオ情報とを多重化する手段である。ここで、 ステレオ情報は画像ファイルのヘッダ情報として付加される。
記録媒体書込部 11は、データ多重化部 10によって生成された画像ファイルを、書 込可能又は書き換え可能な不揮発性の記録媒体、例えば EEPROMなどに書き込 む手段である。
次に、このステレオ画像処理装置 100の動作を説明する。
右眼用と左眼用の画像ファイル 12R, 12Lとして、図 4に示すように、それぞれステ レオ画像であることを示す識別情報、左右の識別情報、水平視点数 (画像数)、水平 シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情報 13R, 13L として主画像 14R, 14Lに付加された画像ファイル 12R, 12Lを入力する場合を考え る。この場合には、画像ファイルの入力前に、ステレオ (アダプタ）情報入力部 3より、 これから入力される画像ファイルが平行法と交差法のいずれのステレオ画像であるか を示す平行法 Z交差法識別情報を入力して、ステレオ情報生成部 5に設定しておく 。一方、アスペクト比調整入力部 2からは、使用する印刷用紙の縦横比に合わせたァ スぺタト調整比を入力して、画像合成部 8に画像合成用のアスペクト調整比として設 定しておく。
ステレオ情報生成部 5及び画像合成部 8の設定完了後、画像入力部 1にて右眼用 と左眼用の各画像ファイル 12R, 12Lを入力し、各画像ファイル 12R, 12Lにおける 主画像 14R, 14Lを画像合成部 8へ渡す一方、データ分離出力部 4にて、各画像フ アイル 12R, 12Lのヘッダ情報 13R, 13Lを分離抽出してステレオ情報生成部 5へ出 力する。
ステレオ情報生成部 5は、データ分離出力部 4より各画像ファイル 12R, 12Lのへッ ダ情報 13R, 13Lを取得すると、このヘッダ情報 13R, 13Lと、既にステレオ (ァダプ タ)情報入力部 3からの入力によって設定されて!、るステレオ情報 (少なくとも平行法 Z交差法識別情報）とからステレオ情報エンコード部 6及びデータ多重化部 10に出 力するステレオ情報を生成し、それぞれに出力する。
この後、ステレオ情報エンコード部 6にて、ステレオ情報生成部 5より出力されたステ レオ情報が一次元バーコード、二次元バーコードなどの画像に符号ィヒされ、このステ レオ情報の符号ィ匕画像は、ステレオ情報生成部 5から出力されたステレオ画像の中 の平行法 Z交差法識別情報とともにパディングデータ生成部 7に出力される。
次に、パディングデータ生成部 7にて、ステレオ情報エンコード部 6より出力された 平行法 Z交差法識別情報に対応するパディングデータの生成が行われ、生成され たパディングデータはステレオ情報エンコード部 6より出力されたステレオ情報の符 号化画像とともに画像合成部 8に出力される。
次に、画像合成部 8では、画像入力部 1より渡された右眼用と左眼用の各主画像 1 4R, 14Lと、パディングデータ生成部 7からのパディングデータ及びステレオ情報の 符号化画像とが合成されて、アスペクト比調整入力部 2からの入力により設定された アスペクト調整比をもつ 1つの合成画像が生成される。
図 5及び図 6は、画像合成部 8によって生成された合成画像 20, 30の例を示し、図 5は各主画像 14R, 14Lが平行法のステレオ画像である場合の合成画像 20、図 6は 各主画像 14R, 14Lが交差法のステレオ画像である場合の合成画像 30をそれぞれ 示している。このように平行法と交差法とでは、各主画像 14R, 14Lの水平方向の並 び順が逆になる。
本例では、左右の主画像 14R, 14Lの上下に、可視的な平行法 Z交差法識別情 報であるパディングデータ 15, 16が配置されている。この合成画像 20, 30の縦横の サイズはアスペクト比調整入力部 2より入力されたアスペクト調整比によって決められ ている。すなわち、図 5において、左右に並べた各主画像 14R, 14Lの長辺の長さ（ この例では横の長さ）を合成画像 20の横の長さ Xとし、この合成画像 20の横の長さ X とアスペクト調整比とから、合成画像 20の縦の長さ Yを決定する。すなわち、画像合 成部 8は、合成画像の縦横のサイズが、予め指定されたアスペクト調整比となるように 、パディングデータのサイズを可変調整して、左右の主画像 14R, 14Lに合成する。 合成画像 20, 30における各主画像 14R, 14Lの鉛直方向の位置はシステム固有 とされ、この例では、鉛直方向のほぼ中間の位置に各主画像 14R, 14Lが配置され るように決められている。したがって、本例では、合成画像 20, 30において、各主画 像 14R, 14Lの上下にパディングデータ 15, 16の領域が確保されることになる。ただ し、このように各主画像 14R, 14Lの上下にパディングデータ 15, 16の領域を確保し た配置は一例にすぎない。各主画像 14R, 14Lの上、若しくは下の一方にだけパデ イングデータの領域を確保するようにしてもょ 、。
また、本例では、合成画像 20, 30の下のパディングデータ 16の領域に、ステレオ 情報の符号ィ匕画像 17である一次元バーコードが配置されている。もちろん、このステ レオ情報の符号ィ匕画像 17は、上のパディングデータ 15の領域に配置してもよぐ上 下にそれぞれ配置してもよい。さらには、ステレオ情報の符号ィ匕画像 17は、 1つのパ デイングデータ 15又は 16の領域に複数配置してもよい。
また、図 7に示すように、左右に並んだ主画像 14R, 14Lが全体として縦長である 場合には、各主画像 14R, 14Lの長辺は縦の辺となり、この縦の辺の長さを合成画 像 20aの縦の長さ Yとして、この合成画像 20aの縦の長さ Yとアスペクト調整比とから 、合成画像 20aの横の長さ Xを決定する。したがって、この場合には、主画像 14R, 1 4Lの左右に可視的な平行法 Z交差法識別情報であるパディングデータ 15, 16が 配置され、その一方のパディングデータ 16の領域にステレオ情報の符号ィ匕画像 17 が配置される。 上述のように画像合成部 8によって得られた合成画像は、画像エンコード部 9によつ て、例え «JPEG方式などの所定の方式で圧縮符号ィ匕されてデータ多重化部 10に 送られ、ここで、圧縮符号化された合成画像と、ステレオ情報生成部 5からのステレオ 情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが作成される 。このステレオ画像のファイル 40の構成を、図 8に示す。ステレオ画像のファイル 40 は、図 8に示すように、圧縮符号化された合成画像 18、ヘッダ情報 19、ファイル 40の 先頭を示す SOI41、ファイル 40の最後を示す EOI42などで構成される。作成された ステレオ画像のファイル 40は記録媒体書込部 11によって記録媒体に記録される。 以上、この実施形態のステレオ画像処理装置 100によれば、合成画像にステレオ 情報及び平行法 Z交差法識別情報を付加したステレオ画像のファイル 40を作成す ることができる。これにより、ステレオ画像のファイル 40のヘッダ情報によらずに画像 の立体視再生を行うことができる。さら〖こは、合成画像の印刷物であるステレオ画像 シートからスキャナでその合成画像を読み込み、その中に存在するステレオ情報の 符号化画像及びパディングデータを復号することによって画像の立体視再生を行うこ とができる。また、合成画像にステレオ情報及び平行法 Z交差法識別情報が付加さ れて 、るので、ステレオ画像のファイル 40のヘッダ情報が壊れたり消失してしまって も、合成画像に付加されているステレオ情報の符号ィ匕画像力もヘッダ情報を復旧す ることがでさる。
また、ステレオ画像のファイル 40に格納されて ヽるステレオ画像を裸眼にて観察す る際には、ステレオ画像のファイル 40の圧縮符号ィ匕された合成画像の復号が可能な 再生機器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のフアイ ル 40を読み込ませる。これにより、図 5又は図 6に示したように、右眼用と左眼用の各 主画像 14R, 14Lとパディングデータ 15, 16との合成画像 20又は合成画像 30が再 現される。この際、観察者は、表示されているパディングデータ 15, 16の色やパター ンなどの視覚的な特徴から、右眼用と左眼用の各主画像 14R, 14Lが平行法のステ レオ画像である力、交差法のステレオ画像であるかを一目で判別することができる。し たがって、即座に適切な観察方法による立体視観察を試みることができ、観察者の 余計な負担を排除することができる。 また、記録媒体に記録された主画像とパディングデータとの合成画像は、使用され る印字用紙の縦横比に合わせてアスペクト比が決められているので、合成画像の全 体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用紙 に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデ一 タ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像を 交差法で観察すればょ ヽか、平行法で観察すればょ ヽかを一目で判別することがで きる。
次に、上述のステレオ画像処理装置 100によって作成されたステレオ画像のフアイ ル 40に格納されているステレオ画像を立体視再生する再生装置について説明する。 このステレオ画像再生装置 200は、図 9に示すように、記録媒体読込部 51と、デー タ分離部 52と、画像デコード部 53と、画像分離部 54と、パディングデータデコード部 55と、画像変換部 56と、立体視表示部 57とを備えている。
ここで、記録媒体読込部 51は、着脱自在な記録媒体からステレオ画像のファイル 4 0を読み込む手段である。データ分離部 52は、記録媒体力 読み込まれたステレオ 画像のファイル 40から主画像すなわち図 8に示した圧縮符号ィ匕された合成画像 18 を分離抽出する手段である。画像デコード部 53は、データ分離部 52によって分離抽 出された圧縮符号化された合成画像 18を復号解凍する手段である。画像分離部 54 は、復号解凍された合成画像から、左右の主画像と、ステレオ情報の符号ィ匕画像及 びパディングデータとを分離して、左右の主画像を画像変換部 56へ、ステレオ情報 の符号化画像及びパディングデータをパディングデータデコード部 55へそれぞれ振 り分ける手段である。パディングデータデコード部 55は、色判別やパターン認識など により、ステレオ情報の符号ィ匕画像とパディングデータをそれぞれ判別し、ステレオ 情報の符号ィ匕画像を復号して元のステレオ情報を復元するとともに、パディングデ一 タから平行法 Z交差法識別情報を復元する手段である。画像変換部 56は、復元さ れたステレオ情報及び平行法 Z交差法識別情報に基づき、左右の主画像に対して 立体視表示のための演算処理を実行し、その結果を立体視表示部 57に出力する手 段である。立体視表示部 57は、画像を立体視表示する手段である。
次に、このステレオ画像再生装置 200の動作を説明する。 通常、再生装置では、ステレオ画像のファイル 40のヘッダ情報に基づき画像の立 体視再生が行われる力 このステレオ画像再生装置 200では、ヘッダ情報によらず に、合成画像の中の、ステレオ情報の符号ィ匕画像とパディングデータを復号して、こ れらの復号情報に基づき画像の立体視再生を行う。
まず、記録媒体読込部 51にて、着脱自在な記録媒体力 ステレオ画像のファイル 4 0を読み込む。次に、データ分離部 52にて、記録媒体力も読み込まれたステレオ画 像のファイル 40から主画像すなわち図 8に示した圧縮符号ィ匕された合成画像 18が 分離抽出され、画像デコード部 53にて復号解凍される。
続いて、画像分離部 54にて、復号解凍された合成画像から、左右の主画像と、ス テレオ情報の符号化画像を含むパディングデータとが分離され、左右の主画像は画 像変換部 56へ出力される。また、ステレオ情報の符号ィ匕画像とパディングデータは パディングデータデコード部 55へ出力され、元のステレオ情報と平行法 Z交差法識 別情報が復元される。そして、画像変換部 56では、復元されたステレオ情報及び平 行法 Z交差法識別情報に基づき、左右の主画像に対して立体視表示のための演算 処理が行われ、その結果が立体視表示部 57にて表示される。
このように、本実施形態のステレオ画像再生装置 200によれば、ステレオ画像のフ アイル 40のヘッダ情報によらずに画像の立体視再生を行うことができる。
また、上述のステレオ画像再生装置 200では、記録媒体読込部 51にて、着脱自在 な記録媒体からステレオ画像のファイル 40を読み込むように構成したが、記録媒体 読込部 51に代えて、スキャナなどの画像取込装置を用いた構成としてもよい。
この画像取込装置を用いたステレオ画像再生装置 300は、図 10に示すように構成 されたものであって、合成画像の印刷物であるステレオ画像シートからその合成画像 を取り込む画像取込部 61と、画像取込部 61にて取り込まれた合成画像力も左右の 主画像とステレオ情報の符号化画像及びパディングデータとを分離する画像分離部 62と、色判別やパターン認識などにより、ステレオ情報の符号ィ匕画像とパディングデ ータをそれぞれ判別し、ステレオ情報の符号化画像を復号して元のステレオ情報を 復元するとともに、パディングデータカゝら平行法 Z交差法識別情報を復元するパディ ングデータデコード部 63と、復元されたステレオ情報及び平行法 Z交差法識別情報 に基づき、左右の主画像に対して立体視表示のための演算処理を実行する画像変 換部 64と、画像を立体視表示する立体視表示部 65とを備える。
このような構成を有するステレオ画像再生装置 300により、合成画像の印刷物から 画像の立体視再生を行うことができる。
ところで、ステレオ情報における水平シフト量の記述に関して、この実施形態では、 "shiftX; 15Zl024"すなわち、 1024画素中の 15画素分を水平シフトさせる、という 記述方法を採っている。これにより、印刷された合成画像を画像取込部にて本来の 解像度とは異なる解像度で取り込んだとして、両解像度の比と水平シフト量の記述か ら、適切な水平シフト量を算出することができ、良好な立体視再生を実現できる。 次に、合成画像に付加されているステレオ情報の符号ィ匕画像から、ステレオ画像フ アイルのヘッダ情報を復旧するステレオ画像処理装置について説明する。
このステレオ画像処理装置 400は、図 11に示すように、着脱自在な記録媒体から ステレオ画像のファイル 40を読み込む記録媒体読込部 71、記録媒体力 読み込ま れたステレオ画像のファイル 40から主画像すなわち圧縮符号ィ匕された合成画像を分 離抽出するデータ分離部 72と、データ分離部 72によって分離抽出された圧縮符号 化された合成画像を復号解凍する画像デコード部 73と、復号解凍された合成画像 から、左右の主画像と、ステレオ情報の符号化画像及びパディングデータとを分離す る画像分離部 74と、色判別やパターン認識などにより、ステレオ情報の符号ィ匕画像と パディングデータをそれぞれ判別し、ステレオ情報の符号ィ匕画像を復号して元のス テレオ情報を復元するとともに、パディングデータカゝら平行法 Z交差法識別情報を復 元してヘッダ情報を生成するパディングデータデコード部 75と、データ分離部 72に よって分離抽出された圧縮符号化された合成画像とパディングデータデコード部 75 にて復元されたヘッダ情報とを多重化してステレオ情報の画像ファイルを作成するデ ータ多重化部 76と、データ多重化部 76により作成されたステレオ情報の画像フアイ ルを着脱自在な記録媒体に書き込む記録媒体書込部 77とを備えて 、る。
このような構成を有するステレオ画像処理装置 400によって、合成画像に付加され ているステレオ情報の符号ィ匕画像から、ステレオ画像ファイルのヘッダ情報を復旧す ることがでさる。 以上の実施形態では、右眼用と左眼用の 2つの画像データをパディングデータと合 成するものとしたが、 3つ以上の視点 (複眼)の画像データと、ステレオ情報の符号ィ匕 画像及びパディングデータとを合成するようにしてもょ 、。
ここで、各々の画像ファイルは、例えば、図 12に示すように、 1つの被写体 80を、前 後左右に並べて配置された複数のデジタルスチルカメラ 81 (0, 0) · · ·81 (3, 2)によ つて同時に撮像して得られた各々の主画像に、立体視表示制御のためのステレオ情 報をヘッダ情報として付加したものである。
図 13は、この実施形態のステレオ画像処理装置 500の全体的な構成を示すブロッ ク図である。
このステレオ画像処理装置 500は、図 13に示すように、画像入力部 91と、ァスぺク ト比調整入力部 92と、ステレオ (アダプタ)情報入力部 93と、データ分離出力部 94と 、ステレオ情報生成部 95と、ステレオ情報エンコード部 96と、パディングデータ生成 部 97と、画像合成部 98と、画像エンコード部 99と、データ多重化部 101と、記録媒 体書込部 102とを備えている。
画像入力部 91は、複数のデジタルスチルカメラ 81 (0, 0) · · ·81 (3, 2)によって同 時に撮像して得られた各々の主画像にそれぞれ、ステレオ画像であることを示す識 別情報、視点 (カメラ)の位置の識別情報、水平視点数 (画像数)、水平シフト量など の、立体視表示制御のためのステレオ情報がヘッダ情報として付加された複数の画 像ファイル 82(0, 0), 82(0, 1), ···, 82(3, 2)を入力するための手段である。 データ分離出力部 94は、画像入力部 91にて入力された複数の画像ファイル 82(0 , 0), 82(0, 1), ···, 82(3, 2)からヘッダ情報を分離してステレオ情報生成部 95 に出力するための手段である。
ステレオ (アダプタ)情報入力部 93は、入力された画像ファイル 82(0, 0), 82(0, 1), ···, 82(3, 2)に含まれる内容以外のステレオ情報、少なくとも、入力された各 画像ファイル 82(0, 0), 82(0, 1), ···, 82(3, 2)の画像が平行法と交差法のどち らのステレオ画像であるかを示す平行法 Ζ交差法識別情報などを入力するための手 段である。
ステレオ情報生成部 95は、ステレオ (アダプタ）情報入力部 93より入力されたステレ ォ情報とデータ分離出力部 94より出力されたヘッダ情報に基づいて、ステレオ情報 エンコード部 96及びデータ多重化部 101に出力するステレオ情報を生成するための 手段である。
ステレオ情報エンコード部 96は、ステレオ情報生成部 95より出力されたステレオ情 報を一次元バーコード、二次元バーコードなどの画像に符号化するための手段であ る。また、ステレオ情報の中の平行法 Z交差法識別情報は、ステレオ情報エンコード 部 96をスルーしてパディングデータ生成部 7へ渡される。
パディングデータ生成部 97は、ステレオ情報エンコード部 96より出力された平行法 Z交差法識別情報に基づいて、右眼用と左眼用の各主画像と合成されるパディング データを生成して、ステレオ情報エンコード部 96より出力されたステレオ情報の符号 化画像とともに画像合成部 98に出力する手段である。
アスペクト比調整入力部 92は、出力するステレオ画像とパディングデータとの合成 画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、例 えば使用される印字用紙の縦横比に合わせて入力される。
画像合成部 98は、画像入力部 91より入力された右眼用と左眼用の各画像データ と、パディングデータ生成部 97より出力された、ステレオ情報の符号ィ匕画像及びパデ イングデータとを合成して、アスペクト比調整入力部 92より入力されたアスペクト調整 比をもつ 1つの合成画像を生成する手段である。
画像エンコード部 99は、画像合成部 98で得られた合成画像を例え〖 PEG方式な どの所定の方式で圧縮符号ィ匕する手段である。
データ多重化部 101は、画像エンコード部 99によって圧縮符号化された合成画像 とステレオ情報生成部 95より出力されたステレオ付属情報とを多重化する手段であ る。ここで、ステレオ付属情報は画像ファイルのヘッダ情報として付加される。
記録媒体書込部 102は、データ多重化部 101によって生成された画像ファイルを、 書込可能又は書換可能な不揮発性の記録媒体 (例えば EEPROMなど）に書き込む 手段である。
次に、このステレオ画像処理装置 500の動作を説明する。
複数の画像ファイル 82 (0, 0) , 82 (0, 1) , · · · , 82 (3, 2)として、それぞれステレ ォ画像であることを示す識別情報、視点 (カメラ)の位置の識別情報、水平視点数 (画 像数）、水平シフト量などの、立体視表示制御などのためのステレオ情報がヘッダ情 報として付加された複眼の各画像ファイルを入力する場合を考える。この場合には、 画像ファイルの入力前に、ステレオ (アダプタ）情報入力部 93より、これから入力され る画像ファイルが平行法と交差法のどちらのステレオ画像であるかを示す平行法 Z 交差法識別情報を入力して、ステレオ情報生成部 95に設定しておく。一方、ァスぺ タト比調整入力部 92からは、使用する印刷用紙の縦横比に合わせたアスペクト調整 比を入力して、画像合成部 98に画像合成用のアスペクト調整比として設定しておく。 ステレオ情報生成部 95及び画像合成部 98の設定完了後、画像入力部 91にて複 数の画像ファイル 82 (0, 0) , 82 (0, 1) , · · · , 82 (3, 2)を入力し、各画像ファイル 8 2 (0, 0) , 82 (0, 1) , · · · , 82 (3, 2)における主画像を画像合成部 98へ渡す一方、 データ分離出力部 94にてヘッダ情報を分離抽出してステレオ情報生成部 95へ出力 する。
ステレオ情報生成部 95は、データ分離出力部 94より各画像ファイル 82 (0, 0) , 82 (0, 1) , · · · , 82 (3, 2)のヘッダ情報を取得すると、これらのヘッダ情報と、既にステ レオ (アダプタ）情報入力部 93からの入力によって設定されて!、るステレオ情報 (少 なくとも平行法 Z交差法識別情報)とからステレオ情報エンコード部 96及びデータ多 重化部 101に出力するステレオ情報を生成し、それぞれに出力する。
この後、ステレオ情報エンコード部 96にて、ステレオ情報生成部 95より出力された ステレオ情報が一次元バーコード、二次元バーコードなどの画像に符号ィヒされ、この ステレオ情報の符号ィ匕画像は、ステレオ情報生成部 95から出力されたステレオ画像 の中の平行法 Z交差法識別情報とともにパディングデータ生成部 97に出力される。 次に、パディングデータ生成部 97にて、ステレオ情報エンコード部 96より出力され た平行法 Z交差法識別情報に対応するパディングデータの生成が行われ、生成さ れたパディングデータはステレオ情報エンコード部 96より出力されたステレオ情報の 符号化画像とともに画像合成部 98に出力される。
次に、画像合成部 98では、画像入力部 91より渡された複数の主画像と、パディン グデータ生成部 7からのパディングデータ及びステレオ情報の符号ィ匕画像とが合成 されて、アスペクト比調整入力部 92からの入力により設定されたアスペクト調整比をも つ 1つの合成画像が生成される。
図 14及び図 15は、画像合成部 98によって生成された合成画像 83, 84の例を示し 、図 14は各主画像 85(0, 0), 85(0, 1), ···, 85(3, 2)が平行法のステレオ画像 である場合の合成画像 83、図 15は各主画像 85(0, 0), 85(0, 1), ···, 85(3, 2) が交差法のステレオ画像である場合の合成画像 84をそれぞれ示して 、る。このよう に平行法と交差法とでは、各主画像 85(0, 0), 85(0, 1), ···, 85(3, 2)の水平方 向の並び順が逆になる。ただし、上下の位置関係は共通である。
本例では、各主画像 85(0, 0), 85(0, 1), ···, 85(3, 2)の上下にパディングデ ータ 86, 87が配置されている。各主画像 85(0, 0), 85(0, 1), ···, 85(3, 2)はそ れぞれ水平方向の端どうし、鉛直方向の端どうしが互いに接するように一体ィ匕して配 置される。この合成画像 83, 84の縦横のサイズはアスペクト比調整入力部 92より入 力されたアスペクト調整比に従って決められる。具体的には、図 14において、一体ィ匕 された主画像 85の長辺の長さ（この例では水平方向の長さ）を合成画像 83の横の長 さ Xとし、さらにこの合成画像 83の横の長さ Xとアスペクト調整比とから合成画像 83の 縦の長さ Yを決定する。すなわち、画像合成部 98は、合成画像 83の縦横のサイズが 、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調 整して、一体化された主画像 85に合成する。
合成画像 83, 84における一体ィ匕された主画像 85の鉛直方向の位置はシステム固 有とされ、この例では、鉛直方向のほぼ中間の位置に、一体化された主画像 85が配 置されるように決められている。したがって、本例では、合成画像 83, 84において、 一体ィ匕された主画像 85の上下にパディングデータ 86, 87の領域が確保されることに なる。ただし、このように一体化された主画像 85の上下にパディングデータ 86, 87の 領域を確保した配置は一例にすぎない。一体化された主画像 85の上、若しくは下の 一方にだけパディングデータの領域を確保するようにしてもょ 、。
また、本例では、合成画像 83, 84の下のパディングデータ 87の領域に、ステレオ 情報の符号ィ匕画像 88である一次元バーコードが配置されている。もちろん、このステ レオ情報の符号ィ匕画像 88は、上のパディングデータ 86の領域に配置してもよぐ上 下にそれぞれ配置してもよい。さらには、ステレオ情報の符号ィ匕画像 88は、 1つのパ デイングデータ 86又は 87の領域に複数配置してもよい。
上述のように画像合成部 98によって得られた合成画像は、画像エンコード部 99に よって、例え «JPEG方式などの所定の方式で圧縮符号ィ匕されてデータ多重化部 10 1に送られ、ここで、圧縮符号化された合成画像と、ステレオ情報生成部 95からのス テレオ付属情報の内容を含むヘッダ情報とが多重化され、ステレオ画像のファイルが 作成される。作成されたステレオ画像のファイルは記録媒体書込部 102によって記録 媒体に記録される。
以上、この実施形態のステレオ画像処理装置 500によれば、合成画像にステレオ 情報及び平行法 Z交差法識別情報を付加したステレオ画像のファイルを作成するこ とができる。これにより、ステレオ画像のファイルのヘッダ情報によらずに画像の立体 視再生を行うことができる。さらには、合成画像の印刷物であるステレオ画像シートか らスキャナでその合成画像を読み込み、その中に存在するステレオ情報の符号化画 像及びパディングデータを復号することによって画像の立体視再生を行うことができ る。また、合成画像にステレオ情報及び平行法 Z交差法識別情報が付加されている ので、ステレオ画像のファイルのヘッダ情報が壊れたり消失してしまっても、合成画像 に付加されているステレオ情報の符号ィ匕画像力もヘッダ情報を復旧することができる また、ステレオ画像のファイルに格納されて ヽるステレオ画像を裸眼にて観察する 際には、ステレオ画像ファイルの圧縮符号ィ匕された合成画像の復号が可能な再生機 器に、ネットワークや着脱自在な記録媒体などを介してステレオ画像のファイルを読 み込ませる。これにより、図 14又は図 15に示したように、複数の主画像 85とパディン グデータ 86, 87との合成画像 83又は合成画像 84が再現される。この際、観察者は 、表示されているパディングデータ 86, 87の色やパターンなどの視覚的な特徴から、 複数の主画像 85が平行法のステレオ画像である力、交差法のステレオ画像であるか を一目で判別することができる。したがって、即座に適切な観察方法による立体視観 察を試みることができ、観察者の余計な負担を排除することができる。
さらに、記録媒体に記録された主画像とパディングデータとの合成画像は、使用さ れる印字用紙の縦横比に合わせてアスペクト比が決められているので、合成画像の 全体を印字用紙内にぴったり収まるように印刷することができる。さらに、この印字用 紙に合成画像の全体を印刷した成果物であるステレオ画像シート上のパディングデ ータ領域の視覚的な特徴から、観察者は、このステレオ画像シート上のステレオ画像 を交差法で観察すればょ ヽか、平行法で観察すればょ ヽかを一目で判別することが できる。
なお、本発明において、パディングデータに平行法 Z交差法識別情報としての意 味を持たせることは必須ではない。すなわち、パディングデータは、所定のアスペクト 調整比をもつ二次元空間内に右眼用と左眼用の各主画像を左右に並べて配置した 場合にできる空き領域を埋めることのみを目的とし、このパディングデータの領域にス テレオ情報の符号ィ匕画像を配置した構成を採用してもよい。
上述の実施形態で示したステレオ画像処理装置 100, 400, 500のステレオ画像 処理のための機能は、ステレオ画像再生装置 200, 300のステレオ画像再生のため の機能は、 PCなどのコンピュータを機能させるためのプログラムとして提供されるよう にしてもよい。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく
、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその 同等のものを行うことができることは当業者にとって明らかである。

Claims

請求の範囲
[1] 1.ステレオ画像を構成する複数の画像を主画像として入力する画像入力手段と、 前記画像入力手段により入力された前記複数の主画像に対する立体視表示制御 のためのステレオ情報を画像に符号化する符号化手段と、
前記画像入力手段により入力された前記複数の主画像と、前記符号化手段により 得られた符号化画像とを領域を区分して合成する画像合成手段と
を具備することを特徴とするステレオ画像処理装置。
[2] 2.前記符号ィ匕画像がバーコードであることを特徴とする請求の範囲第 1項記載のス テレオ画像処理装置。
[3] 3.前記画像合成手段は、前記複数の主画像が平行法又は交差法のどちらかのステ レオ画像であるかを示すパディングデータを、前記複数の主画像に対して領域を区 分して合成することを特徴とする請求の範囲第 1項記載のステレオ画像処理装置。
[4] 4.アスペクト調整比を入力するアスペクト比調整入力手段をさらに具備し、
前記画像合成手段は、合成画像の縦横のサイズが前記アスペクト比調整入力手段 により入力されたアスペクト調整比となるように前記パディングデータのサイズを可変 することを特徴とする請求の範囲第 3項記載のステレオ画像処理装置。
[5] 5.前記画像合成手段により合成された画像を圧縮符号化する符号化手段と、 前記符号化手段により圧縮符号化された合成画像に、立体視表示制御のためのス テレオ情報をヘッダ情報として付加してファイルを作成する多重化手段と
をさらに具備することを特徴とする請求の範囲第 1項記載のステレオ画像処理装置
[6] 6.前記画像入力手段により入力された前記複数の主画像が右眼用と左眼用の画像 であることを特徴とする請求の範囲第 1項記載のステレオ画像処理装置。
[7] 7.前記画像入力手段により入力された前記複数の主画像が 1つの被写体を複数の 視点から捕らえた画像であることを特徴とする請求の範囲第 1項記載のステレオ画像 処理装置。
[8] 8.画像入力手段により、ステレオ画像を構成する複数の画像を主画像として入力す るステップと、 符号ィヒ手段により、前記画像入力手段により入力された複数の主画像に対する立 体視表示制御のためのステレオ情報を画像に符号ィ匕するステップと、
画像合成手段により、前記画像入力手段により入力された複数の主画像と、前記 符号化手段により得られた符号化画像とを領域を区分して合成するステップと を具備することを特徴とするステレオ画像処理方法。
[9] 9.ステレオ画像を構成する複数の主画像と、前記複数の主画像に対する立体視表 示制御のためのステレオ情報の符号ィ匕画像とが領域を区分して合成された合成画 像を入力する合成画像入力手段と、
前記合成画像入力手段により入力された前記合成画像から前記複数の主画像と 前記符号化画像とを分離する分離手段と、
前記分離手段により分離された前記符号ィヒ画像からステレオ情報を復号する復号手 段と、前記復号手段によって復号された前記ステレオ情報に基づいて、前記分離手 段により分離された複数の主画像に対して立体視表示のための処理を行う画像変換 手段と
を具備することを特徴とするステレオ画像再生装置。
[10] 10.合成画像入力手段により、ステレオ画像を構成する複数の主画像と、前記複数 の主画像に対する立体視表示制御のためのステレオ情報の符号ィ匕画像とが領域を 区分して合成された合成画像を入力するステップと、
分離手段により、前記入力された合成画像力 前記複数の主画像と前記符号ィ匕画 像とを分離するステップと、
復号手段により、前記分離された前記符号化画像からステレオ情報を復号するステ ップと、
画像変換手段により、前記復号された前記ステレオ情報に基づいて、前記分離手 段により分離された複数の主画像に対して立体視表示のための処理を行うステップと を具備することを特徴とするステレオ画像再生方法。
[11] 11.ステレオ画像を構成する複数の主画像と、前記複数の主画像に対する立体視 表示制御のためのステレオ情報の符号ィ匕画像とが領域を区分して配置されているこ とを特徴とするステレオ画像シート。
[12] 12.コンピュータを
ステレオ画像を構成する複数の画像を主画像として入力する画像入力手段と、 前記画像入力手段により入力された前記複数の主画像に対する立体視表示制御 のためのステレオ情報を画像に符号化する符号化手段と、
前記画像入力手段により入力された前記複数の主画像と、前記符号化手段により 得られた符号ィ匕画像とを領域を区分して合成する画像合成手段として機能させること を特徴とするコンピュータにより読取可能とされたステレオ画像処理用プログラム。
[13] 13.コンピュータを、
ステレオ画像を構成する複数の主画像と、前記複数の主画像に対する立体視表示 制御のためのステレオ情報の符号ィ匕画像とが領域を区分して合成された合成画像を 入力する合成画像入力手段と、
前記合成画像入力手段により入力された前記合成画像から前記複数の主画像と 前記符号化画像とを分離する分離手段と、
前記分離手段により分離された前記符号ィヒ画像からステレオ情報を復号する復号手 段と、前記復号手段によって復号された前記ステレオ情報に基づいて、前記分離手 段により分離された複数の主画像に対して立体視表示のための処理を行う画像変換 手段として機能させることを特徴とするコンピュータにより読取可能とされたステレオ 画像再生用プログラム。
[14] 14.ステレオ画像を構成する複数の主画像と、前記複数の主画像に対する立体視 表示制御のためのステレオ情報の符号ィ匕画像とが領域を区分して合成された合成 画像を含む構造化画像情報が記録されていることを特徴とするコンピュータ読込可 能な記録媒体。
PCT/JP2006/313023 2005-06-29 2006-06-29 ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体 WO2007001055A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2006800238935A CN101218832B (zh) 2005-06-29 2006-06-29 立体图像再现设备、立体图像再现方法、立体图像再现程序以及记录该程序的记录介质
EP06767640A EP1906677A4 (en) 2005-06-29 2006-06-29 STEREOSCOPIC IMAGE RECORDING DEVICE AND METHOD, STEREOSCOPIC IMAGE PROGRAM AND RECORDING MEDIUM ON WHICH THE PROGRAM IS RECORDED
US11/922,901 US8358329B2 (en) 2005-06-29 2006-06-29 Stereo image reproducing apparatus, stereo image reproduction method, stereo image reproduction program, and recording medium having such program recorded therein
KR1020087002277A KR101265875B1 (ko) 2005-06-29 2008-01-28 스테레오 화상 처리 장치 및 처리 방법, 스테레오 화상 재생 장치 및 재생 방법, 스테레오 화상 시트 및 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-189434 2005-06-29
JP2005189434A JP4665166B2 (ja) 2005-06-29 2005-06-29 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム

Publications (1)

Publication Number Publication Date
WO2007001055A1 true WO2007001055A1 (ja) 2007-01-04

Family

ID=37595300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313023 WO2007001055A1 (ja) 2005-06-29 2006-06-29 ステレオ画像再生装置及び再生方法、並びにステレオ画像再生用プログラム及びプログラムを記録した記録媒体

Country Status (6)

Country Link
US (1) US8358329B2 (ja)
EP (1) EP1906677A4 (ja)
JP (1) JP4665166B2 (ja)
KR (1) KR101265875B1 (ja)
CN (1) CN101218832B (ja)
WO (1) WO2007001055A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8647648B2 (en) 2009-04-02 2014-02-11 Colgate-Palmolive Company Color changing consumer products

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4665167B2 (ja) * 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
JP4687279B2 (ja) * 2005-06-29 2011-05-25 ソニー株式会社 画像再生装置、画像再生方法、および画像再生用プログラム
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
IT1393713B1 (it) * 2008-10-21 2012-05-08 S I R I Société Internationale De Rech Ind S A Sistema per codificare e decodificare immagini stereoscopiche
JP4915457B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
CN101937168B (zh) * 2009-07-02 2012-02-08 深圳市掌网立体时代视讯技术有限公司 一种光学立体成像装置及立体摄像方法
IT1397789B1 (it) * 2010-01-22 2013-01-24 Sisvel Technology Srl Metodo per il trasporto di dati informativi e/o applicativi all'interno di un flusso video digitale e relativi dispositivi per la generazione e la fruizione di tale flusso video.
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
CN105939469A (zh) * 2010-09-03 2016-09-14 索尼公司 编码装置和编码方法以及解码装置和解码方法
US20120113093A1 (en) * 2010-11-09 2012-05-10 Sharp Laboratories Of America, Inc. Modification of perceived depth by stereo image synthesis
JP5800569B2 (ja) * 2011-05-13 2015-10-28 任天堂株式会社 情報処理システム、情報処理方法、情報処理プログラム
KR101286358B1 (ko) * 2011-08-11 2013-07-15 엘지전자 주식회사 영상표시방법 및 장치
KR20130026756A (ko) * 2011-09-06 2013-03-14 현대모비스 주식회사 자가 진단 영상 패턴을 이용한 차량용 카메라 진단 장치 및 방법
US20130108167A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US20130108157A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
WO2015143547A1 (en) * 2014-03-25 2015-10-01 6115187 CANADA INC. d/b/a IMMERVISION, INC. Automated definition of system behavior or user experience by recording, sharing, and processing information associated with wide-angle image
EP3175616A1 (en) * 2014-07-31 2017-06-07 Seiko Epson Corporation Display device, control method for display device, and program
US10049495B2 (en) * 2015-01-14 2018-08-14 Hashplay Inc. System and method for providing virtual reality content
US11252391B2 (en) * 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
JP6991830B2 (ja) * 2017-10-25 2022-01-13 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
JP2004343549A (ja) 2003-05-16 2004-12-02 Sharp Corp 画像記録装置および画像記録方法
JP2005252989A (ja) * 2004-03-08 2005-09-15 Kazunari Era 立体視化パラメータ記憶媒体、立体視化パラメータ埋込装置、立体視画像再生装置、立体視化パラメータ埋込プログラム、立体視画像再生プログラム、及びビデオコンテンツデータの流通方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3081675B2 (ja) * 1991-07-24 2000-08-28 オリンパス光学工業株式会社 画像記録装置および画像再生装置
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US5956737A (en) * 1996-09-09 1999-09-21 Design Intelligence, Inc. Design engine for fitting content to a medium
US6222947B1 (en) * 1997-02-19 2001-04-24 Canon Kabushiki Kaisha Image editing apparatus and method and medium on which programs are recorded
JP3748169B2 (ja) 1998-07-28 2006-02-22 富士写真フイルム株式会社 画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体
US6631205B1 (en) * 1999-01-13 2003-10-07 Canon Kabushiki Kaisha Stereoscopic imaging in a portable document format
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
WO2001097531A2 (en) * 2000-06-12 2001-12-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP3515738B2 (ja) 2000-06-30 2004-04-05 日本電信電話株式会社 コンテンツ情報再構築システムおよびコンテンツ情報再構築用プログラム記録媒体
JP3841630B2 (ja) * 2000-08-29 2006-11-01 オリンパス株式会社 画像取り扱い装置
US6833927B2 (en) * 2001-01-23 2004-12-21 Xerox Corporation Method and apparatus for automatically detecting a paper user interface
US7822969B2 (en) * 2001-04-16 2010-10-26 Digimarc Corporation Watermark systems and methods
JP4240867B2 (ja) 2001-09-28 2009-03-18 富士フイルム株式会社 電子アルバム編集装置
JP2003244727A (ja) * 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置
JPWO2003092304A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
EP1519582A4 (en) * 2002-06-28 2007-01-31 Sharp Kk Image data delivery system, image data sending device therefor and image data receiving device therefor
US7804995B2 (en) * 2002-07-02 2010-09-28 Reald Inc. Stereoscopic format converter
JP4225768B2 (ja) * 2002-07-31 2009-02-18 シャープ株式会社 立体画像データ処理装置および立体画像データ処理用プログラム
JP2004088420A (ja) 2002-08-27 2004-03-18 Seiko Epson Corp 複写装置、デジタルカメラおよび印刷システム
JP2004173085A (ja) 2002-11-21 2004-06-17 Canon Inc 画像処理装置および画像処理方法
US20050041120A1 (en) * 2003-08-18 2005-02-24 Miller Casey Lee System and method for retrieving audio information from a captured image
JP2005065187A (ja) 2003-08-20 2005-03-10 Noritsu Koki Co Ltd フィルムスキャニングシステム
JP4393161B2 (ja) * 2003-11-20 2010-01-06 キヤノン株式会社 画像処理装置及び画像処理方法
US20050149399A1 (en) * 2003-12-18 2005-07-07 Fuji Photo Film Co., Ltd. Service server and service method
US7791640B2 (en) * 2004-01-23 2010-09-07 Olympus Corporation Electronic camera and image generating apparatus generating stereo image
JP4665166B2 (ja) 2005-06-29 2011-04-06 ソニー株式会社 ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
RU2377623C2 (ru) * 2007-04-20 2009-12-27 Василий Александрович ЕЖОВ Способ наблюдения стереоизображений с полным разрешением для каждого ракурса и устройство для его реализации

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160143A (ja) * 1995-12-12 1997-06-20 Nikon Corp ステレオカメラ
WO2003092305A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
JP2004343549A (ja) 2003-05-16 2004-12-02 Sharp Corp 画像記録装置および画像記録方法
JP2005252989A (ja) * 2004-03-08 2005-09-15 Kazunari Era 立体視化パラメータ記憶媒体、立体視化パラメータ埋込装置、立体視画像再生装置、立体視化パラメータ埋込プログラム、立体視画像再生プログラム、及びビデオコンテンツデータの流通方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8647648B2 (en) 2009-04-02 2014-02-11 Colgate-Palmolive Company Color changing consumer products

Also Published As

Publication number Publication date
KR101265875B1 (ko) 2013-05-20
JP2007013373A (ja) 2007-01-18
JP4665166B2 (ja) 2011-04-06
US8358329B2 (en) 2013-01-22
KR20080028461A (ko) 2008-03-31
CN101218832A (zh) 2008-07-09
EP1906677A4 (en) 2009-09-02
EP1906677A1 (en) 2008-04-02
US20090091612A1 (en) 2009-04-09
CN101218832B (zh) 2011-03-30

Similar Documents

Publication Publication Date Title
JP4665166B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
JP4630150B2 (ja) 立体画像記録装置及びプログラム
JP4665167B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびステレオ画像処理用プログラム
KR100894531B1 (ko) 입체시화 파라미터 삽입 장치, 입체시 화상 재생 장치, 및 기록 매체
JP4490074B2 (ja) 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP5127633B2 (ja) コンテンツ再生装置および方法
JP4181446B2 (ja) 立体画像表示装置
KR20110045029A (ko) 영상 부호화 장치, 영상 부호화 방법, 영상 재생 장치, 영상 재생 방법, 영상 기록 매체, 및 영상 데이터 스트림
JP4529556B2 (ja) 立体視用の画像ファイルを生成する電子機器、３次元画像データを生成する電子機器、画像ファイル生成方法、３次元画像データ生成方法および画像ファイルのファイル構造
JP2005184377A (ja) 画像変換装置及びそれを用いた画像記録装置
US20110193937A1 (en) Image processing apparatus and method, and image producing apparatus, method and program
JP4133683B2 (ja) 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法
JP4104895B2 (ja) 立体画像符号化装置および立体画像復号装置
JP4173684B2 (ja) 立体画像作成装置
JP2004336492A (ja) 画像処理装置および画像処理方法
JP4668602B2 (ja) 立体視画像生成装置および方法並びにプログラム
JP2005130312A (ja) 立体視画像処理装置，コンピュータプログラム，および視差補正方法
JP2006129463A (ja) 立体視化パラメータ記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680023893.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11922901

Country of ref document: US

Ref document number: 2006767640

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087002277

Country of ref document: KR