WO2012117706A1 - 映像処理装置、映像処理方法、プログラム - Google Patents

映像処理装置、映像処理方法、プログラム Download PDF

Info

Publication number
WO2012117706A1
WO2012117706A1 PCT/JP2012/001259 JP2012001259W WO2012117706A1 WO 2012117706 A1 WO2012117706 A1 WO 2012117706A1 JP 2012001259 W JP2012001259 W JP 2012001259W WO 2012117706 A1 WO2012117706 A1 WO 2012117706A1
Authority
WO
WIPO (PCT)
Prior art keywords
offset amount
parallax
view data
calculated
video processing
Prior art date
Application number
PCT/JP2012/001259
Other languages
English (en)
French (fr)
Inventor
伸輔 緒方
本坂　錦一
宮崎　秋弘
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013502186A priority Critical patent/JP5852093B2/ja
Priority to US13/700,543 priority patent/US20130071013A1/en
Publication of WO2012117706A1 publication Critical patent/WO2012117706A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereoscopic video processing technique, and more particularly to a technique for calculating a parallax of a stereoscopic video.
  • the parallax is an offset amount (shift amount) of the horizontal coordinate position between corresponding pixels in the set of the left-eye image and the right-eye image, and presents a corresponding parallax image to both eyes. Stereoscopic view can be realized.
  • the composition technique for stereoscopic video is a technique for superimposing objects such as graphics, symbols, characters, and the like on the left-eye image data and the right-eye image data so as to have an offset amount. Thereby, various additional information can be provided stereoscopically to the stereoscopic video.
  • the object since the object is superimposed in the depth direction, it is necessary to consider the offset amount of the region on the stereoscopic video image where the object is superimposed. For example, if the offset amount of the area where the object is superimposed on the stereoscopic video is larger than the offset amount of the object, the projection amount of the original stereoscopic video is larger than the object, and the object is embedded in the original stereoscopic video portion. Observed to appear. As a result, the superimposed object cannot be fully recognized.
  • Patent Document 1 calculates an offset amount of a region in which an object on a stereoscopic video is superimposed, and determines an offset amount larger than the maximum offset amount in the region as an object offset amount. Techniques to do this are disclosed. Further, in Patent Document 2, when a plurality of two-dimensional objects are given an offset amount and displayed stereoscopically, it is determined whether or not the objects given the offset amount overlap each other. A technique for adjusting an offset amount or the like is disclosed.
  • Patent Document 2 determines whether or not objects to which offset amounts are given overlap each other when giving offset amounts to a plurality of two-dimensional objects and stereoscopically displaying them, and the value of the offset amount is unknown. It cannot be applied when an object is stereoscopically superimposed on a stereoscopic video image.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a video processing apparatus capable of calculating an offset amount between corresponding pixels in a set of image data constituting a stereoscopic video with high speed and accuracy. To do.
  • a video processing apparatus is a video processing apparatus that calculates an offset amount of a horizontal coordinate position between corresponding pixels in a set of main view data and subview data constituting a stereoscopic video.
  • the extraction range is narrowed down to an area in the main view data where the offset amount is to be calculated, and a region near the outside of the area where the offset amount is to be calculated, and a predetermined number of features are determined from pixels located in the extraction range.
  • a feature point extraction unit that extracts points; a first offset amount calculation unit that calculates an offset amount of each feature point by performing a corresponding point search for each feature point with respect to the subview data; and each calculated feature Based on the offset amount of the point, the first offset amount for calculating the offset amount of the pixels constituting the region where the offset amount of the main view data is to be calculated Characterized in that it comprises an offset amount calculating section.
  • the amount of calculation becomes enormous.
  • the feature points extracted from the region where the offset amount (parallax) between the corresponding pixels in the set of the main view data and the sub view data constituting the stereoscopic video is to be calculated and the pixels located near the outside thereof Since the search is performed and the offset amount of the pixels other than the feature points is calculated based on the offset amount of the feature points calculated by the corresponding point search, the calculation amount required for calculating the offset amount can be greatly reduced. As a result, it is possible to superimpose an object having an appropriate stereoscopic effect on the stereoscopic image at high speed (in real time).
  • the corresponding point search is performed only on the feature point and the offset amount of the pixels other than the feature point is calculated based on the offset amount of the feature point, the value of the offset amount can be calculated with high accuracy.
  • the present invention extracts feature points from pixels located in the vicinity of the outside in addition to the region where the offset amount is to be calculated, even if there are not enough feature points in the region where the offset amount is to be calculated.
  • the value of the offset amount can be calculated with high accuracy.
  • FIG. 2 is a block diagram illustrating an example of a configuration of a video processing device 100.
  • FIG. 4 is a schematic diagram showing a data structure of timing information 201.
  • FIG. 3 is a schematic diagram showing a data structure of a drawing request queue 106.
  • FIG. 3 is a diagram illustrating an example of an internal configuration of a video processing unit 107.
  • FIG. 6 is a schematic diagram showing a data structure of object parallax information 501.
  • FIG. It is a figure for demonstrating the production
  • FIG. It is a figure which shows the stereoscopic vision of the stereoscopic vision image after the superimposition process by the video processing apparatus 100.
  • FIG. 3 is a diagram illustrating an example of an internal configuration of a disparity information generation unit 402.
  • FIG. 4 is a schematic diagram showing a data structure of search information 1001.
  • FIG. It is a figure for demonstrating a division area.
  • 6 is a diagram illustrating an example of data of divided area information 1002.
  • FIG. It is a figure which shows the example of data of the feature point information 1003.
  • FIG. 10 is a diagram for describing feature point extraction for an area 1501; It is a figure which shows the feature point extraction with respect to the division
  • FIG. 10 is a diagram for describing feature point extraction for an area 1501; It is a figure which shows the feature point extraction with respect to the division
  • FIG. 11 is a block diagram illustrating an example of a configuration of a video processing device 2400.
  • 6 is a schematic diagram illustrating a data structure of a drawing request queue 2402.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a video processing unit 2403. It is a figure which shows the superimposition of the object by the video processing apparatus 2400. FIG. It is a figure for demonstrating the production
  • FIG. 10 is a flowchart showing the operation of a video processing unit 2403. It is a figure which shows the stereoscopic vision of the stereoscopic vision image after the superimposition process by the video processing apparatus 2400.
  • FIG. FIG. 10 is a block diagram illustrating an example of an internal configuration of a video processing unit 3100 according to a third embodiment. It is a figure which shows the case where it stores as image data which expressed the depth with the brightness
  • FIG. 10 is a flowchart showing an operation of depth information conversion processing of the video processing unit 3100.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a video processing device 3400 according to a fourth embodiment.
  • 3 is a block diagram illustrating an example of an internal configuration of a video processing unit 3402.
  • FIG. It is a figure which shows the positional relationship of an imaging camera and a to-be-photographed object. It is a figure which shows the relationship between parallax and an actual distance.
  • Embodiment 1 >> ⁇ 1.1 Overview>
  • the video processing apparatus is an apparatus that calculates a parallax in a region on a stereoscopic video on which an object is superimposed, determines a parallax amount of the object based on the calculated parallax, and superimposes the object.
  • the parallax is an offset amount (deviation amount) of a horizontal coordinate position between corresponding pixels in a set of a left-eye image and a right-eye image.
  • the video processing device extracts feature points suitable for parallax calculation from pixels that form a region on a stereoscopic video image on which objects such as graphics, symbols, and characters are superimposed, and pixels that are located near the outside thereof.
  • the parallax of the extracted feature points is calculated, and the parallax of all the pixels constituting the region on the stereoscopic video image on which the object is superimposed is calculated based on the parallax of the feature points.
  • the parallax of the object is determined in consideration of the parallax of the region where the object is superimposed, and the superimposition process is performed.
  • the parallax of the region where the object is superimposed can be calculated at high speed and with high accuracy, and an object having an appropriate stereoscopic effect can be superimposed on the stereoscopic video at high speed (in real time).
  • the first embodiment will be described with reference to the drawings.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the video processing apparatus 100.
  • the video processing apparatus 100 includes an operation unit 101, a video acquisition unit 102, a left-eye image / right-eye image storage unit 103, a control unit 104, an object drawing request unit 105, and a drawing request queue storage unit 106.
  • a video processing unit 107 and an output unit 108 are described.
  • the operation unit 101 is for performing an operation input to the video processing apparatus 100, and includes, for example, a touch panel, a keyboard, a mouse, and other controllers.
  • the user designates the contents of object data such as graphics, symbols and characters to be superimposed on the stereoscopic video, the position to be superimposed, and the like.
  • the video acquisition unit 102 acquires a stereoscopic video composed of a set of a left-eye video (main view data) and a right-eye video (sub-view data).
  • the stereoscopic video acquired by the video acquisition unit 102 is a stereoscopic video captured in real time by an imaging device connected to the video processing device 100, as shown in FIG.
  • the left-eye image / right-eye image storage unit 103 stores the stereoscopic video acquired by the video acquisition unit 102 as uncompressed picture data (left-eye image, right-eye image).
  • the picture data stored in the left-eye image / right-eye image storage unit 103 is a target of object superimposition processing.
  • the control unit 104 controls the operation of the video processing apparatus 100. In particular, based on the timing information stored in the control unit 104, the timing for performing the superimposition process is controlled.
  • FIG. 2 is a schematic diagram showing the data structure of the timing information 201. As shown in FIG. As shown in FIG. 2, the timing information 201 includes an image acquisition interval 202 and an end flag 203.
  • the image acquisition interval 202 indicates an interval at which a drive event is issued to the object drawing request unit 105.
  • the video processing apparatus 100 performs superimposition processing at each interval. For example, when the value of the image acquisition interval 202 is 3000 and the counter cycle of the control unit is 90 KHz, the control unit 105 issues a drive event to the object drawing request unit 105 at an interval of 1/30 seconds.
  • the end flag 203 indicates whether or not to end the operation of the video processing apparatus 100.
  • the initial value of the end flag 203 when the video processing apparatus 100 is activated is FALSE.
  • the control unit 104 rewrites the end flag 203 to TRUE and stops issuing the drive event.
  • the object drawing request unit 105 is configured to specify a figure, a symbol, a character, or the like for which the superimposition processing is performed based on designation of the content of the object data such as a figure, a symbol, or a character to be superimposed on the stereoscopic video, or a position to be superimposed by the operation unit 101.
  • a drawing request queue 106 indicating information related to the object is generated. The drawing request queue 106 is generated for each drive event issued by the control unit 104.
  • FIG. 3 is a schematic diagram showing the data structure of the drawing request queue 106. As shown in the figure, the drawing request queue 106 includes an object number 301, area information 302, and image data 303.
  • the object number 301 indicates the number of objects to be superposed.
  • the area information 302 is information indicating an area where each object in the left-eye image constituting the main view data is superimposed, and stores, for example, the coordinates of each vertex of the object. Further, the rectangular coordinates of the rectangular object and the center coordinates and radius of the circular object may be stored. Furthermore, a bitmap indicating the overlapping area of the object may be stored.
  • the data example of the area information 302 has been described above, but any data structure that can indicate the overlapping area of the object may be used, and the present invention is not limited to this.
  • Image data 303 indicates image data of each object. This image data 303 is superimposed on the left-eye image and the right-eye image.
  • the video processing unit 107 superimposes an object based on the drawing request queue 106 on the left-eye image and the right-eye image stored in the left-eye image / right-eye image storage unit 103.
  • feature points suitable for calculation of parallax are extracted from the pixels constituting the region on the stereoscopic video image on which the object is superimposed and the pixels located near the outside thereof.
  • the parallax of the extracted feature points is calculated by searching for corresponding points, and the parallax of all the pixels constituting the region on the stereoscopic video image on which the object is superimposed is calculated based on the calculated parallax of the feature points.
  • the parallax of the object is determined in consideration of the parallax of the region where the object is superimposed, and the superimposition process is performed.
  • the detailed internal configuration of the video processing unit 108 and its description will be described in section ⁇ 1.3>.
  • the output unit 109 outputs the stereoscopic video image that is superimposed by the video processing unit 108. As illustrated in FIG. 1, the output unit 109 outputs a stereoscopic video image that is superimposed on a display, for example. Alternatively, a stereoscopic video image that is superimposed on the network may be transmitted. Alternatively, the superimposed stereoscopic video may be transmitted through an antenna. In addition, the stereoscopic image that has been subjected to the superimposition process may be written in the recording device.
  • the recording device is, for example, a hard disk drive, an optical disk such as a BD, a DVD, or a semiconductor memory device such as an SD memory card.
  • FIG. 4 is a block diagram illustrating an example of the internal configuration of the video processing unit 107.
  • the video processing unit 107 includes a parallax mask generation unit 401, a parallax information generation unit 402, an object parallax determination unit 403, an object image generation unit 404, and a synthesis unit 405. Each component will be described below.
  • the parallax mask generation unit 401 generates a parallax mask indicating a region of the image for the left eye whose parallax is to be calculated based on the region information 302 included in the drawing request queue 106 generated by the object drawing request unit 105.
  • the parallax mask is a binary bitmap, and takes a value of 1 in a region where objects are superimposed and 0 in other regions.
  • the parallax information generation unit 402 calculates the parallax of the pixels in the area indicated by the parallax mask generated by the parallax mask generation unit 401. Specifically, first, feature points suitable for parallax calculation are extracted from the pixels constituting the region on the stereoscopic video image on which the object is superimposed and the pixels located near the outside thereof. Next, the parallax of the extracted feature points is calculated by searching for corresponding points. Then, based on the calculated parallax of the feature point, an expression indicating the parallax distribution of the superimposition region is derived to calculate pixels in the superimposition region excluding the feature point.
  • the detailed internal configuration of the parallax information generation unit 402 and its description will be described in section ⁇ 1.4>.
  • the object parallax determination unit 403 determines the amount of parallax to be given to the object to be superimposed on the stereoscopic video. Specifically, first, the region of the image for the left eye on which each object is superimposed is identified based on the drawing request queue 106, and the maximum parallax of the pixels in the region is determined based on the parallax information generated by the parallax information generation unit 402. To detect. Then, the detected maximum parallax amount is set as the parallax amount of the object to be superimposed. Here, the object parallax determination unit 403 stores the parallax amount determined for each object as object parallax information.
  • FIG. 5 is a schematic diagram showing a data structure of the object parallax information 501. As shown in FIG. As shown in the figure, the object parallax information 501 stores the parallax 502 for each object stored in the drawing request queue 106.
  • the object image generation unit 404 generates a left-eye object image to be superimposed on the left-eye image and a right-eye object image to be superimposed on the right-eye image.
  • FIG. 6 is a diagram for explaining generation of an object image. As shown in the figure, the object image generation unit 404 generates a left-eye object image 610 based on the area information 302 stored in the drawing request queue 106. Then, based on the object parallax information 501 determined by the object parallax determination unit 403, the object 620 is shifted leftward by the parallax amount 601 to generate the right-eye object image 630.
  • the synthesizing unit 405 performs object superimposition processing on each of the left-eye image and the right-eye image, and synthesizes the left-eye image and the right-eye image in a side-by-side format.
  • FIG. 7 is a diagram for explaining the superimposition processing by the synthesis unit 405.
  • the composition unit 405 generates a left-eye composite image 720 by superimposing a left-eye object 610 on the left-eye image 710.
  • the synthesizing unit 405 superimposes the right-eye object 630 on the right-eye image 740 to generate a right-eye synthesized image 750.
  • the synthesizing unit 405 arranges the left-eye synthesized image 720 by reducing it to the left half (730) of the entire image, and arranges the right-eye synthesized image 750 by reducing it to the right half (760) of the entire image.
  • FIG. 8 is a diagram showing a stereoscopic view of the stereoscopic video image after the superimposition processing. As shown in the figure, when the stereoscopic image generated by the combining unit 405 is observed with 3D glasses, the object indicated by the oblique lines is observed to be positioned before the face portion positioned in the overlapping region.
  • FIG. 9 is a block diagram illustrating an internal configuration of the parallax information generation unit 402.
  • the parallax information generation unit 402 includes a feature point extraction unit 901, a first parallax calculation unit 902, a second parallax calculation unit 903, and a parallax map storage unit 904. Each component will be described below.
  • the feature point extraction unit 901 extracts feature points from the region indicated by the parallax mask and the region near the outside thereof. Information such as the coordinate position of the extracted feature point is stored as search information. In the following, the detailed contents will be described by dividing them into “feature point extraction”, “search information”, and “feature point extraction region”.
  • a feature point is a pixel suitable for corresponding point search in the calculation of parallax.
  • the feature point extraction unit 901 extracts edges (locations where brightness changes sharply) or intersections of edges as feature points. Edge detection is performed by obtaining the luminance difference (first derivative) between pixels and calculating the edge strength from the difference. Further, feature points may be extracted by other edge detection methods. A region where feature points are extracted will be described later. This completes the description of feature point extraction. Next, search information will be described.
  • the search information is information indicating the coordinate position, parallax, and the like of the extracted feature points.
  • FIG. 10 is a schematic diagram showing the data structure of search information 1001.
  • the search information 1001 includes divided area information 1002, feature point information 1003, and sampling point information 1004.
  • the divided area information 1002 is information regarding feature points included in each divided area obtained by dividing the left-eye image.
  • the feature point information 1003 is information indicating the coordinates of the feature points, parallax, and the like.
  • the sampling point information 1004 is information relating to feature points (sampling points) used in the parallax calculation in the second parallax calculation unit 903.
  • the feature point extraction unit 901 updates the search information 1001 every time a feature point is extracted and the parallax of the feature point is calculated.
  • the divided area information 1002 is information regarding feature points for each divided area.
  • the feature point extraction unit 901 divides the left-eye image into M ⁇ N and searches for feature points in units of divided areas as shown in FIG. The information about the feature points is stored for each divided area.
  • FIG. 12 is a diagram illustrating an example of data of the divided region information 1002.
  • the divided region information 1002 includes, for each divided region, a divided region number 1201, a flag 1202 indicating whether or not a feature point has been searched, a leading index 1203 of an array storing feature points, and a divided region. Includes the number of feature points 1204 included.
  • the divided area number 1201 corresponds to the identifier 1101 of each divided area shown in FIG.
  • the flag 1202 indicating whether or not the feature point has been searched is TRUE when the feature point is extracted in the target divided region, and FALSE when the feature point is not extracted.
  • the index 1203 stores the first index ( ⁇ 0) of a feature point information array corresponding to feature point information 1003 described later when a feature point whose parallax is calculated by the feature point extraction unit 901 exists in the target divided region. To do. On the other hand, when there is no feature point for which the parallax has been calculated in the target divided region, the index 1203 takes “ ⁇ 1”.
  • the feature point number 1204 indicates the number of feature points included in the divided area. This completes the description of the divided region information 1002. Next, the feature point information 1003 will be described.
  • FIG. 13 is a diagram illustrating an example of data of the feature point information 1003.
  • the feature point information 1003 includes a feature point index 1301, feature point coordinates 1302, and feature point parallax 1303.
  • the index 1301 corresponds to the index 1203 in FIG.
  • Coordinates 1302 indicate the coordinates of each feature point in the image for the left eye.
  • the parallax 1303 is a parallax value between the feature point in the left-eye image and the corresponding point in the right-eye image.
  • the index in the division information 1002 and the index in the feature point information 1003 are in a correspondence relationship, and by referring to the value of the index, the coordinates and parallax of the feature points included in the division area can be specified.
  • the feature points included in the divided area (0, 1) are index “0” and “1”. It turns out that it is a feature point.
  • the coordinates of the feature points included in the divided area (0, 1) are (70, 20) (80, 30). It can be seen that the parallax is “4” and “2”. This completes the description of the feature point information 1003.
  • the sampling point information 1004 will be described.
  • Sampling point information 1004 is information for identifying a feature point (sampling point) used for determining a parallax estimation formula by the second parallax calculation unit 903 among the feature points included in the feature point information 1003.
  • FIG. 14 is a diagram showing the data structure of the sampling point information 1004. As shown in this figure, the sampling point information 1004 includes a sampling point number 1401 and a feature point index 1402 corresponding to each sampling point.
  • the sampling point number 1401 indicates the number of sampling points.
  • the feature point index 1402 indicates the index number of the feature point corresponding to each sampling point.
  • the index numbers of the feature points correspond to the indexes included in the divided region information 1001 and the feature point information 1002, and the coordinates and the parallax of the sampling points can be specified by referring to the feature point information 1002.
  • the above is the description of the sampling point information 1004. Next, use of the search information 1001 will be described.
  • the feature point extraction unit 901 When performing feature point search, the feature point extraction unit 901 first refers to the divided region information 1002 to determine whether or not the divided region to be searched has already been searched for feature points. If the feature point search has already been performed, the feature point coordinates and parallax information are obtained with reference to the feature point information 1003 specified by the index 1203 of the division information 1002. If the feature point search has not been completed, edge detection is performed on the divided region to be searched, and the feature point is specified. Then, the parallax of the extracted feature point is calculated. As described above, the coordinates of feature points searched in the past, parallax information, and the like are stored as the search information 1001 and used for feature point extraction, so that the process of searching for overlapping feature points can be omitted.
  • the feature point extraction unit 901 is suitable for calculating parallax from pixels in the left eye image region (superimposed region) indicated by the parallax mask and pixels constituting a partial region of the left eye image located near the outside thereof. Extract feature points. Specifically, the left-eye image is divided into four using an orthogonal axis centering on a target pixel (a pixel in which parallax has not been detected) in the overlapping region, and feature points are extracted for each divided quadrant. In feature point extraction for each divided quadrant, feature point extraction is first performed on a divided region including the target pixel.
  • the divided areas refer to areas obtained by dividing the left-eye image shown in FIG. 10 by M ⁇ N.
  • FIG. 15 is a diagram illustrating an example of the region of the left-eye image indicated by the parallax mask.
  • the areas 1501, 1502, and 1503 enclosed by dotted lines are overlapping areas.
  • the feature point extraction unit 901 extracts feature points suitable for the calculation of parallax from the pixels in the overlap region and the pixels constituting the partial region of the image for the left eye located near the outside.
  • extraction of feature points for the region 1501 will be described with reference to the drawings.
  • FIG. 16 is a diagram for explaining feature point extraction for the region 1501.
  • 1601 is a pixel for which parallax has not yet been calculated
  • 1602 is a divided region including a pixel 1601 for which parallax has not been detected
  • 1610, 1620, 1630, and 1640 are images for the left eye that have orthogonal axes centered on a pixel 1601 for which parallax has not been detected.
  • Each quadrant divided into four is shown.
  • the feature point extraction unit 901 extracts a certain amount of feature points for each of the divided quadrants 1610, 1620, 1630, and 1640, or expands the search target until there are no divided regions to be searched, and the feature points are extracted. Perform extraction.
  • FIG. 17 is a diagram showing feature point extraction for the divided quadrant 1630.
  • the feature point extraction unit 901 first extracts feature points for a divided region 1602 (shaded portion in the drawing) in the divided quadrant 1630. In the search for feature points in such a region, the feature point extraction unit 901 extracts feature points 1701 and 1702. In this case, since a certain amount of feature points (two in this example) are extracted, the search target is not expanded and the extraction of the feature points for the divided quadrant 1630 is terminated. Next, feature point extraction for the divided quadrant 1640 will be described.
  • FIG. 18 is a diagram showing feature point extraction for the divided quadrant 1640.
  • the feature point extraction unit 901 first extracts feature points for the divided region 1602 (shaded portion in the drawing) in the divided quadrant 1640. Since feature points cannot be extracted by searching for feature points in such a region, the feature point extraction unit 901 expands the search region. In the expansion of the search area, the adjacent divided area is set as the next search target.
  • FIG. 18 (b) is a diagram showing the extraction of feature points for the area where the search area has been expanded.
  • the shaded area in the figure indicates the target area where the search area has been expanded.
  • the feature point extraction unit 901 extracts feature points 1801. In this case, since a certain amount of feature points is not extracted, the feature point extraction unit 901 further expands the search area.
  • FIG. 18 (c) is a diagram showing extraction of feature points for a region obtained by further extending the search region.
  • a hatched portion in the figure indicates a target area where the search area is further expanded.
  • the feature point extraction unit 901 extracts feature points 1802. In this case, since a certain amount of feature points are extracted, the feature point extraction unit 901 ends the extraction of feature points for the divided quadrant 1640 without further expanding the search target. Similarly, for the divided quadrants 1610 and 1620, the feature point extraction unit 901 extracts a feature point by extracting a certain amount of feature points or expanding the search target until there is no divided region to be searched. .
  • feature points are extracted not only from the pixels in the superimposition region but also from pixels located in the vicinity of the outside, and when a predetermined amount of feature points is not extracted, the search range is expanded to calculate the parallax of the superimposition region. Necessary feature points can be extracted, and a parallax value can be calculated with high accuracy. Further, by dividing the left-eye image into four and extracting feature points for each divided quadrant, the feature points can be extracted without bias. Here, that there is no bias means that feature points are not extracted in a concentrated manner in some areas. Since feature points can be extracted without bias, a more appropriate expression can be derived in deriving an expression indicating a parallax distribution of an overlapping region, which will be described later. The above is the description of the feature point extraction unit 901. Next, the first parallax calculation unit 902 will be described.
  • the first parallax calculation unit 902 calculates the parallax of the feature points extracted by the feature point extraction unit 901.
  • the calculated parallax is stored as feature point information 1003.
  • FIG. 19 is a diagram illustrating calculation of parallax of feature points.
  • the first parallax calculation unit 902 detects pixels (corresponding points) corresponding to the feature points of the extracted left-eye image from the right-eye image, and the distance (number of pixels) between the corresponding pixels. Is the parallax of the feature points.
  • the search for the corresponding point is performed by calculating a correlation value based on a luminance value or the like for each pixel and detecting a pixel having the highest correlation value.
  • the second parallax calculation unit 903 calculates pixels in the superimposed region excluding the feature points by deriving an expression indicating the parallax distribution of the superimposed region based on the parallax of the feature points calculated by the first parallax calculation unit 902. .
  • the detailed contents will be described in detail by dividing them into “parallax calculation method” and “area where parallax is calculated”.
  • the second parallax calculation unit 903 determines a formula (parallax calculation formula) indicating the parallax distribution of the superimposed region from the coordinates of the sampling points 1 to N and the parallax obtained by referring to the sampling point information 1004, and uses the formula for each pixel.
  • the parallax is calculated by applying to the above.
  • the second parallax calculation unit 903 substitutes the coordinates of pixels excluding feature points among pixels in a region to which the parallax calculation formula is applied, for the parallax calculation formula.
  • the area to which the parallax calculation formula is applied will be described later.
  • the parallax of the pixel excluding the feature point among the pixels in the region to which the parallax calculation formula is applied can be obtained.
  • the parallax in the region indicated by the parallax mask can be calculated. This completes the description of the parallax calculation method.
  • a region where parallax is calculated will be described.
  • FIG. 20 is a diagram illustrating a region where parallax is calculated. This figure corresponds to FIG. 16, FIG. 17, and FIG. 18 describing the region where feature points are extracted.
  • the shaded area in the figure is an area to which the parallax calculation formula is applied.
  • the area to which the parallax calculation formula is applied is determined as follows.
  • the left side of the region to which the parallax calculation formula is applied is determined to be equal to the x coordinate of the sampling point located on the right side among the sampling points located on the left side of the pixel 1601 where no parallax is detected.
  • the right side of the region to which the parallax calculation formula is applied is determined to be equal to the x coordinate of the sampling point located on the leftmost side among the sampling points located on the right side of the pixel 1601 where no parallax is detected.
  • the upper side of the region to which the parallax calculation formula is applied is determined to be equal to the y coordinate of the sampling point located on the lowermost side among the sampling points located on the upper side of the pixel 1601 where no parallax is detected.
  • the second parallax calculation unit 903 applies the parallax calculation formula to all the pixels constituting the region to which the parallax calculation formula determined as described above is applied, and calculates the parallax.
  • the parallax map storage unit 904 stores the parallax values of the feature points in the superimposed region calculated by the first parallax calculation unit 902 and the parallax values of pixel points other than the feature points in the superimposed region calculated by the second parallax calculation unit 903. Store.
  • the parallax map stored in the parallax map storage unit 904 is used by the object parallax determination unit 403 to determine the amount of parallax to be given to the object.
  • FIG. 21 is a flowchart showing the operation of the video processing apparatus 100.
  • the control unit 104 first wakes up the timer (step S2101).
  • the control unit 104 issues a drive event to the object drawing request unit 105 (step S2103).
  • the object drawing request unit 105 updates the drawing request queue 106 (step S2104).
  • the video processing unit 107 performs video processing such as feature point extraction processing, parallax calculation processing, and superimposition processing based on the drawing request queue 106 (step S2105). Details of the processing in step S2105 will be described in section ⁇ 1.5.2>.
  • step S2105 when the end flag 203 of the timing information 201 is “TRUE” (step S2106, YES), the control unit 104 ends the operation of the video processing apparatus 100. If the end flag is not TRUE (step S2106, NO), the process returns to step S2102. This completes the description of the overall operation of the video processing apparatus 100. Next, details of the video processing in step S2105 will be described.
  • FIG. 22 is a flowchart showing details of the video processing (step S2105).
  • the parallax information generation unit 402 calculates the parallax between the left-eye image and the right-eye image in the region where the object is superimposed (step S2201). Details of the parallax calculation processing in step S2201 will be described in section ⁇ 1.5.3>.
  • the object parallax determination unit 403 determines the parallax to be given to the object based on the parallax in the overlapping region calculated in step S2201 (step S2202). Specifically, the maximum parallax included in the pixels in the overlapping area is detected, and the detected maximum parallax is set as the parallax to be given to the object. The determined object parallax is stored as object parallax information 501.
  • step S2202 the object image generation unit 403 generates an object image based on the object parallax determined in step S2202 (step S2203).
  • the synthesizing unit 405 superimposes the left-eye object image on the left-eye image and the right-eye object image on the right-eye image (step S2204). This completes the description of the details of the video processing. Next, details of the parallax calculation processing in step S2201 will be described.
  • FIG. 23 is a flowchart showing the operation of the parallax calculation process (step S2201).
  • the parallax mask generation unit 401 generates a parallax mask (step S2301). Specifically, the parallax mask generation unit 401 creates a binary bitmap in which the area where the object is superimposed is 1 and the other areas are 0.
  • the parallax information generation unit 402 searches for a pixel in which parallax is not detected in a region where the object indicated by the parallax mask is superimposed (step S2302).
  • the parallax information generation unit 402 ends the parallax calculation process.
  • the parallax information generation unit 402 initializes the sampling point information 1004 (step S2303).
  • the feature point extraction unit 901 extracts feature points from the region where the object of the image for the left eye is superimposed and the pixels located in the vicinity of the outside (step S2304).
  • the search target area is a divided area that includes pixels in which parallax is not detected, which is first detected in the process of step S2302. When a search target expansion process is performed in the process of step S2308, which will be described later, the expanded area is a search target.
  • the first parallax calculation unit 902 calculates the parallax of the extracted feature point (step S2305).
  • the feature point extraction unit 901 and the first parallax calculation unit 902 update the search information 1001 based on the calculated feature point coordinates and parallax information (step S2306).
  • the feature point extraction unit 901 determines whether or not a predetermined number of feature points has been extracted (step S2307).
  • the feature point extraction unit 901 extends the search target to a divided region close to the already searched region (step S2308).
  • the processes in steps S2304 to S2308 are performed for each divided quadrant.
  • the second parallax calculation unit 903 specifies a region for calculating the parallax based on the sampling points extracted in the processes of S2304 to S2308 (step S2309).
  • the identification of the region for calculating the parallax has already been described in section ⁇ 1.4.3.2>.
  • the second parallax calculation unit 903 calculates the parallax within the area specified in step S2309 (step S2310).
  • a parallax calculation formula is derived from the coordinates of the sampling points and the parallax, and the parallax of the pixel excluding the feature point among the pixels in the region is calculated using the parallax calculation formula.
  • the second parallax calculation unit 903 updates the parallax map 904 based on the parallax calculated in step S2310 (step S2311). After step S2311, the process returns to step S2302, and when there is a pixel whose parallax has not been detected (step S2302, YES), the processing from step S2303 is performed again. If there is no parallax-undetected pixel (step S2302, NO), the parallax calculation process ends.
  • the above is the description of the operation of the video processing apparatus 100.
  • feature points are extracted from the pixels in the overlap region and pixels located in the vicinity of the overlap region, the disparity of the overlap region is calculated based on the extracted disparity of the feature points, and the calculated overlap Since the object superimposition process is performed based on the parallax of the region, it is possible to superimpose an object having an appropriate stereoscopic effect on the stereoscopic video at high speed (in real time).
  • the video processing apparatus according to the second embodiment calculates the parallax in the region on the stereoscopic video image on which the object is superimposed. Different. The video processing apparatus according to the second embodiment superimposes an object with a predetermined parallax amount, and compares the parallax amount of the object with the parallax of the region where the object is superimposed. Then, the object is not superimposed on the region where the parallax is larger than the parallax amount of the object.
  • the original stereoscopic video is displayed so as to protrude from the object, and the object can be prevented from being buried in the original stereoscopic video portion, and the viewer can observe the stereoscopic video and the superimposed object without a sense of incongruity. be able to.
  • FIG. 24 is a block diagram showing an example of the configuration of the video processing apparatus 2400. Note that portions that are the same as those of the configuration of the video processing device 100 according to Embodiment 1 shown in FIG. 1 are denoted by the same reference numerals, description thereof is omitted, and different portions are described.
  • the video processing device 2400 includes an operation unit 101, a video acquisition unit 102, a left-eye image / right-eye image storage unit 103, a control unit 104, an object drawing request unit 2401, a drawing request queue 2402, a video.
  • the processing unit 2403 and the output unit 108 are included.
  • the object drawing request unit 2401 generates a drawing request queue 2402 including information related to objects such as graphics, symbols, and characters to be subjected to superimposition processing, and the amount of parallax to be given to the objects, according to the drive event issued by the control unit 104. It differs from the object drawing request unit 105 and the drawing request queue 106 according to the first embodiment in that a parallax amount to be given to an object is given in advance.
  • FIG. 25 is a schematic diagram showing the data structure of the drawing request queue 2402.
  • the drawing request queue 2402 includes the number of objects 2501, area information / parallax 2502, and image data 2503.
  • the object number 2501 indicates the number of objects to be superposed.
  • the area information / parallax 2502 is information indicating an area in which each object is superimposed in the left-eye image constituting the main view data and the parallax thereof.
  • Image data 2503 indicates image data of each object. This image data 2503 is superimposed on the left-eye image and the right-eye image.
  • FIG. 26 is a block diagram illustrating an example of the internal configuration of the video processing unit 2403.
  • the same parts as those of the configuration of the video processing unit 107 according to the first embodiment shown in FIG. 4 are denoted by the same reference numerals, description thereof will be omitted, and different parts will be described.
  • the video processing unit 2403 includes a parallax mask generation unit 401, a parallax information generation unit 2601, an object drawing area determination unit 2602, an object image generation unit 2603, and a synthesis unit 405.
  • the parallax information generation unit 2601 will be described. Whereas the disparity information generating unit according to the first embodiment calculates the disparity based on the disparity calculation formula for the pixel points other than the feature points, the disparity information generating unit 2601 according to the present embodiment
  • the feature point is that the parallax is calculated using the parallax calculation formula.
  • the reason why the parallax is calculated by the parallax calculation formula for all the pixels including the feature point in the region indicated by the parallax mask will be described with reference to the drawings.
  • FIG. 27 is a diagram illustrating the superimposition of objects by the video processing device 2400.
  • the horizontal axis represents the x coordinate of the pixel point, and the vertical axis represents the parallax of the pixel point.
  • the hatched circle indicates the parallax of the feature point, and the other circles indicate the parallax of the pixel calculated by the parallax calculation formula.
  • the parallax calculation formula is also applied to the feature points, and the object is superimposed using the calculation result, so that the object is superimposed as shown in FIG.
  • the parallax calculation formula is not applied to the feature point and the object is superimposed, the object is superimposed as shown in FIG.
  • the object is superimposed as shown in FIG.
  • the object is not superimposed on several pixels of the feature point portion, and a phenomenon such as dot dropping occurs.
  • parallax is calculated using a parallax calculation formula for all pixels including feature points in the region indicated by the parallax mask, and object superimposition is performed based on the parallax value. I do.
  • the above is the description of the parallax information generation unit 2601. Next, the object drawing area determination unit 2602 will be described.
  • the object drawing area determination unit 2602 determines an area for drawing an object in the superimposition process. Specifically, the object drawing area determination unit 2602 firstly sets the parallax value to be given to the object stored in the drawing request queue 2402 and the area indicated by the parallax mask of the left-eye image calculated by the parallax information generation unit 2601. Compare the parallax. Then, the object drawing area determination unit 2602 sets only the area where the parallax of the left-eye image is smaller than the parallax of the object among the areas indicated by the parallax mask as the object drawing area. An area where the parallax of the left-eye image is larger than the parallax of the object is not set as an object drawing area. This completes the description of the object drawing area determination unit 2602. Next, the object image generation unit 2603 will be described.
  • the object image generation unit 2603 generates an object image based on the region for drawing the object determined by the object drawing region determination unit 2602.
  • FIG. 28 is a diagram for explaining generation of an object image.
  • a region indicated by a dotted line indicates a region where the parallax of the left-eye image is larger than the parallax of the object.
  • the object image generation unit 2603 is based on the object drawing area determined by the object drawing area determination unit 2602, and the parallax of the left-eye image is the object parallax in the area indicated by the drawing request queue 2402.
  • the left-eye object 2820 is drawn for a smaller area.
  • the object image generation unit 2603 generates the right-eye object image 2830 by shifting the object 2820 leftward by the parallax value 2801 stored in the drawing request queue 2402.
  • FIG. 30 is a diagram showing a stereoscopic view of a stereoscopic video image after the superimposition process.
  • the original stereoscopic video is displayed so as to pop out from the object. Can be prevented from being buried in the original stereoscopic video image portion, and the viewer can observe the stereoscopic video image and the superimposed object without a sense of incongruity.
  • FIG. 29 is a flowchart showing the video processing operation of the video processing apparatus 2400. The same parts as those in the video processing operation according to Embodiment 1 shown in FIG.
  • the parallax information generation unit 2601 calculates the parallax between the left-eye image and the right-eye image in the region where the object is superimposed (step S2901). As described above, the parallax information generation unit 2601 calculates the parallax using the parallax calculation formula for all the pixels including the feature points.
  • the object drawing area determination unit 2602 compares the parallax value assigned to the object stored in the drawing request queue 2402 with the parallax of the area indicated by the parallax mask of the left-eye image calculated by the parallax information generation unit 2601. Then, an area for drawing the object in the superimposition process is determined (step S2902).
  • the object image generation unit 2603 generates a left-eye object image and a right-eye object image based on the drawing area determined in step S2902 and the parallax value stored in the drawing request queue 2402 (step S2903).
  • the synthesizing unit 405 superimposes the left-eye object image on the left-eye image and the right-eye object image on the right-eye image (step S2204).
  • the above is the description of the operation of the video processing device 2400.
  • feature points are extracted from the pixels in the superimposition region and pixels located in the vicinity of the superimpose region, and the parallax of the superimposition region is calculated based on the parallax of the extracted feature points.
  • the superimposition area having a parallax larger than the parallax of the object since the object superimposition processing is not performed, the original stereoscopic video is projected out of the object and displayed, and the object is buried in the original stereoscopic video portion. Can be prevented.
  • the video processing device calculates the parallax in the region on the stereoscopic video image on which the object is superimposed. It differs in that it is converted into depth information indicating the position in the depth direction in the three-dimensional display. Thereby, the video processing apparatus according to the present embodiment can generate depth information indicating the position in the depth direction in the three-dimensional display from the combination of the image data of the left-eye image and the right-eye image.
  • the video processing apparatus differs from the video processing apparatus 100 according to the first embodiment shown in FIG. 1 in the configuration of the video processing unit.
  • Regarding configurations other than the video processing unit 107 that is, the operation unit 101, video acquisition unit 102, left-eye image / right-eye image storage unit 103, control unit 104, object drawing request unit 105, drawing request queue 106, and output unit 108 The same configuration.
  • a video processing unit different from the video processing device 100 will be described.
  • FIG. 31 is a block diagram illustrating an example of an internal configuration of the video processing unit 3100 according to the third embodiment.
  • the video processing unit 3100 includes a parallax mask generation unit 401, a parallax information generation unit 402, a depth information conversion unit 3101, a depth information storage unit 3102, an object parallax determination unit 3103, an object image generation unit 404, and a synthesis unit. 405 is configured.
  • the parallax information generation unit 402 includes a feature point extraction unit 901, a first parallax calculation unit 902, a second parallax calculation unit 903, and a parallax map storage unit 904.
  • the depth information conversion unit 3101 has a function of converting parallax into depth information.
  • the depth information storage unit 3102 has a function of storing depth information generated by the depth information conversion unit 3101.
  • the depth information is information indicating the position in the depth direction in the three-dimensional display of each subject reflected in the image data.
  • the position in the depth direction of the subject in the three-dimensional display becomes closer to the front.
  • the position in the depth direction in the three-dimensional display of the subject becomes deeper. That is, a proportional relationship is established between the parallax and the distance in the depth direction.
  • the depth information conversion unit 3101 stores the parallax value stored in the parallax map 904 in the depth information storage unit 3102 as depth information.
  • the depth information conversion unit 3101 does not store the parallax value stored in the parallax map 904 as depth information in the depth information storage unit 3102 but scales and shifts the parallax value stored in the parallax map 904.
  • the obtained value may be stored in the depth information storage unit 3102 as depth information.
  • the depth information conversion unit 3101 scales and shifts the parallax value using, for example, the following mathematical formula.
  • Depth information parallax amount x ⁇ + ⁇
  • the depth information calculated in this way is stored in the depth information 3102 in association with each pixel of the image data.
  • it may be stored as image data in which the depth is expressed by luminance.
  • the color is expressed in white as it is located in the front and black in the color as it is located in the back.
  • the object parallax determination unit 3103 detects the maximum parallax of the pixels in the region where the object is superimposed, and sets the detected maximum parallax as the parallax amount of the object to be superimposed. At this time, the object parallax determination unit 3103 generates a parallax value from the depth information stored in the depth information storage unit 3102, and determines the parallax of the object to be superimposed using the generated parallax value.
  • the object parallax determination unit 3103 is stored in the depth information storage unit 3102.
  • the depth information value is directly used as the parallax value to determine the parallax of the object to be superimposed.
  • the object parallax determination unit 3103 performs scaling and / or shifting.
  • Parallax amount (depth information ⁇ ) / ⁇
  • the object parallax determination unit 3103 may determine the parallax of the object to be superimposed using the parallax value stored in the parallax map storage unit 904, as with the video processing device 100 according to the first embodiment. .
  • FIG. 33 is a flowchart showing the operation of the depth information conversion processing of the video processing unit 3100.
  • the depth information conversion unit 3101 acquires the parallax stored in the parallax map 904 (step S3301).
  • the depth information conversion unit 3101 scales and / or shifts the acquired amount of parallax (step S3302).
  • the depth information conversion unit 3101 stores the value calculated by scaling and / or shifting the parallax amount as depth information in the depth information storage unit 3102 (step S3303).
  • step S3302 The value obtained by scaling and / or shifting the parallax amount is not stored in the depth information storage unit 3102 as depth information, but the parallax amount stored in the parallax map 904 is directly stored in the depth information storage unit 3102 as depth information. If so, the process shown in step S3302 above is not performed. The above is the description of the operation of the video processing unit 3100.
  • depth information indicating the position in the depth direction in the three-dimensional display can be generated from the combination of the image data of the left-eye image and the right-eye image. it can. Moreover, since the depth information is generated from the parallax calculated at high speed and with high accuracy by the parallax information generation unit 402, depth information indicating the position in the depth direction in the three-dimensional display can be generated with high speed and accuracy.
  • the video processing device uses a combination of image data of the left-eye image and the right-eye image to indicate the depth direction position in the three-dimensional display. Information is generated, but the content of depth information to be generated is different.
  • the video processing apparatus generates an actual distance in the depth direction from the image data capturing position to the subject reflected in the image data from the combination of the image data of the left-eye image and the right-eye image.
  • FIG. 34 is a block diagram illustrating an example of a configuration of a video processing device 3400 according to the fourth embodiment.
  • the video processing device 3400 includes an operation unit 101, a video acquisition unit 102, a left-eye image / right-eye image storage unit 103, an imaging parameter storage unit 3401, a control unit 104, an object drawing request unit 105, The drawing request queue 106, the image processing unit 3402, and the output unit 108 are included.
  • the imaging parameter storage unit 3401 has a function of storing parameter information related to the imaging camera for the left-eye image and the right-eye image.
  • the imaging parameter includes, for example, information on the angle of view of the imaging camera, the resolution of the image captured by the imaging camera, and the baseline length that is the linear distance from the imaging camera for the left-eye image to the imaging camera for the right-eye image. Including. Note that information on the focal length and frame size of the imaging camera may be included instead of the angle of view of the imaging camera.
  • imaging parameters are multiplexed as attached information to the stereoscopic video acquired by the video acquisition unit 102, for example, and can be obtained by demultiplexing the acquired stereoscopic video. Further, these imaging parameters may be given by an input from the apparatus user or the like. Further, these imaging parameters may be given from an external input.
  • the video processing unit 3402 calculates the parallax for the set of the left-eye image and the right-eye image stored in the left-eye image / right-eye image storage unit 103. Then, the video processing unit 3402 uses the imaging parameters stored in the imaging parameter storage unit 3401 to convert the calculated parallax into an actual distance in the depth direction from the imaging position of the image data to the subject reflected in the image data. .
  • FIG. 35 is a block diagram illustrating an example of an internal configuration of the video processing unit 3402.
  • the video processing unit 3402 includes a parallax mask generation unit 401, a parallax information generation unit 402, a depth information conversion unit 3501, a depth information storage unit 3502, an object parallax determination unit 3503, an object image generation unit 404, A composition unit 405 is included.
  • the parallax information generation unit 402 includes a feature point extraction unit 901, a first parallax calculation unit 902, a second parallax calculation unit 903, and a parallax map storage unit 904.
  • the depth information conversion unit 3501 has a function of converting parallax into depth information. Further, the depth information storage unit 3502 has a function of storing depth information generated by the depth information conversion unit 3501.
  • the depth information conversion unit 3501 uses the imaging parameters to convert the parallax into an actual distance from the imaging position to the subject, and uses the converted actual distance information as depth information in the depth information storage unit 3502. Store.
  • FIG. 36 is a diagram illustrating the positional relationship between the imaging camera and the subject.
  • d is the actual distance in the depth direction from the imaging position to the subject
  • ⁇ is the horizontal angle of view (angle from the left end to the right end of the frame)
  • L is the base length (from the imaging camera for the left-eye image to the right-eye image).
  • Width real indicates the actual distance from the optical axis to the subject.
  • FIG. 37 is a diagram showing the relationship between parallax and actual distance.
  • w indicates the width (number of pixels) of the image for the left eye and the image for the right eye.
  • the actual distance between the subject located at the end of the frame and the subject located at the center of the frame is tan ( ⁇ / 2) ⁇ d. Therefore, the number of pixels per unit actual distance is w / 2 tan ( ⁇ / 2) ⁇ d.
  • the number of pixels from the center of the left-eye image to the subject is width real ⁇ w / 2 tan ( ⁇ / 2) ⁇ d.
  • the number of pixels from the center of the right-eye image to the subject is (L-width real ) ⁇ w / 2 tan ( ⁇ / 2) ⁇ d.
  • the actual distance d in the depth direction from the imaging position to the subject is expressed by the following equation using the parallax DP.
  • the depth information conversion unit 3501 acquires imaging parameters from the imaging parameter storage unit 3401, acquires parallax information from the parallax map storage unit 904, and uses the relationship shown in the above equation to calculate the depth from the imaging position to the subject. Calculate the actual distance in the vertical direction.
  • the imaging parameter storage unit 3401 stores information on the focal length and frame size of the imaging camera instead of the angle of view of the imaging camera as imaging parameters
  • information on the focal length and frame size of the imaging camera Is used to calculate the actual distance in the depth direction from the imaging position to the subject. Specifically, the value of the angle of view of the imaging camera is calculated from information on the focal length and frame size of the imaging camera. Then, using the calculated field angle value, the actual distance in the depth direction from the imaging position to the subject is calculated from the relational expression shown in Equation 3 above.
  • the object parallax determination unit 3503 detects the maximum parallax of the pixels in the region where the object is superimposed, and sets the detected maximum parallax as the parallax amount of the object to be superimposed. At this time, the object parallax determination unit 3503 generates a parallax value from the depth information stored in the depth information storage unit 3502, and determines the parallax of the object to be superimposed using the generated parallax value.
  • the object parallax determination unit 3503 can generate the parallax from the depth information using the relational expression between the parallax DP shown in Equation 2 and the actual distance d in the depth direction from the imaging position to the subject. it can.
  • the object parallax determination unit 3503 may determine the parallax of the object to be superimposed using the parallax value stored in the parallax map storage unit 904, as in the video processing device 100 according to the first embodiment. .
  • FIG. 38 is a flowchart showing the operation of the depth information conversion processing of the video processing device 3400.
  • the depth information conversion unit 3501 acquires the parallax stored in the parallax map 904 (step S3301).
  • the depth information conversion unit 3501 acquires the imaging parameters of the horizontal angle of view, resolution, and baseline length stored in the imaging parameter storage unit 3401 (step S3801).
  • the depth information conversion unit 3501 converts the parallax into an actual distance in the depth direction from the imaging position of the image data to the subject reflected in the image data using the imaging parameters (step S3802). This conversion process is performed for all the pixels constituting the image data.
  • the depth information conversion unit 3501 stores the value of the actual distance in the depth direction from the imaging position of the image data calculated from the parallax value to the subject reflected in the image data as depth information in the depth information storage unit 3502 ( Step S3803).
  • the above is the description of the operation of the video processing device 3400.
  • the depth direction from the image data combination of the image for the left eye and the image for the right eye to the subject reflected in the image data from the image data capture position Real distances can be generated. Also, since the actual distance in the depth direction from the imaging position of the image data to the subject reflected in the image data is calculated using the parallax calculated at high speed and with high accuracy by the parallax information generation unit 402, the image data can be acquired with high speed and accuracy. It is possible to calculate the actual distance in the depth direction from the imaging position to the subject reflected in the image data.
  • Embodiment 5 The video processing apparatus according to the fifth embodiment is similar to the video processing apparatus according to the fourth embodiment, from the set of data of the left-eye image and the right-eye image to the subject reflected in the image data from the imaging position of the image data.
  • the actual distance in the depth direction is calculated, but differs in that the actual distance is calculated in consideration of the plane shift amount applied to the left-eye image and the right-eye image.
  • the plane shift is to change the sense of depth of the stereoscopic image by shifting the coordinates of the pixels in the line unit in the plane memory in the left direction or the right direction.
  • the parallax between the left-eye image and the right-eye image captured by the left and right imaging cameras may increase depending on the imaging conditions and the position of the subject to be imaged. It is known that a stereoscopic image having an excessively large parallax may cause visual fatigue, discomfort, stereoscopic sickness and the like of a viewer. Parallax can be reduced by performing a plane shift on such a set of left-eye and right-eye images having large parallax.
  • FIG. 39 is a diagram for explaining the plane shift.
  • An area surrounded by a solid line indicates an area photographed by the imaging camera, and an area surrounded by a dotted line indicates an area actually recorded as image data.
  • the right-eye image is plane-shifted by S in the right direction with respect to the set of the left-eye image and the right-eye image having large parallax.
  • the parallax between the image for the left eye and the image for the right eye after the plane shift is reduced, and the stereoscopic image is easy to see for the viewer.
  • the following relational expression holds between the parallax DP ′ after the plane shift and the parallax DP before the plane shift.
  • the parallax value stored in the parallax map storage unit 904 is not the parallax DP between subjects in the actually captured image data, but the plane. This is the parallax DP ′ between the subjects in the image data after the shift.
  • the depth information conversion unit calculates the parallax DP using the plane shift amount S, and calculates the actual distance in the depth direction from the imaging position to the subject.
  • the actual distance d in the depth direction from the imaging position to the subject is expressed by the following equation using the parallax DP ′ and the plane shift amount S.
  • the actual distance in the depth direction from the imaging position to the subject is calculated from the parallax using the imaging parameters of the angle of view, the resolution, and the baseline length.
  • the angle of view, the resolution In addition to the baseline length, an imaging parameter for the plane shift amount is required.
  • the imaging parameter of the plane shift amount is multiplexed as attached information to the stereoscopic video acquired by the video acquisition unit 102, for example, and can be obtained by demultiplexing the acquired stereoscopic video. Further, the imaging parameter of the plane shift amount may be given by an input from the apparatus user or the like. Further, the imaging parameter of the plane shift amount may be given from an external input.
  • the acquired plane shift amount is stored in the imaging parameter storage unit.
  • FIG. 40 is a flowchart showing the operation of the actual distance calculation processing according to the present embodiment.
  • the depth information conversion unit 3501 acquires the parallax stored in the parallax map 904 (step S3301).
  • the depth information conversion unit 3501 acquires the imaging parameters of the horizontal angle of view, the resolution, the base line length, and the plane shift amount stored in the imaging parameter storage unit 3401 (step S4001).
  • the depth information conversion unit 3501 uses the horizontal viewing angle, resolution, baseline length, and plane shift imaging parameters to calculate the parallax from the imaging position of the image data to the subject reflected in the image data in the depth direction. (Step S4002). Specifically, the actual distance in the depth direction to the subject shown in the image data is calculated using the relational expression shown in Equation 4. This conversion process is performed for all the pixels constituting the image data.
  • the depth information conversion unit 3501 stores the value of the actual distance in the depth direction from the imaging position of the image data calculated from the parallax value to the subject reflected in the image data as depth information in the depth information storage unit 3502 ( Step S4003). This completes the description of the operation of the video processing apparatus according to the present embodiment.
  • the actual distance in the depth direction from the imaging position to the subject is calculated from the combination of the image data of the left-eye image and the right-eye image subjected to plane shift. Can be calculated.
  • the actual distance in the depth direction from the imaging position to the subject is calculated using the parallax calculated at high speed and with high accuracy by the parallax information generation unit 402
  • the depth direction from the imaging position to the subject is high-speed and accurate. The actual distance can be calculated.
  • the present invention may be an application execution method disclosed by the processing procedure described in each embodiment. Further, the present invention may be a computer program including program code that causes a computer to operate according to the processing procedure.
  • the present invention may be configured as an IC, LSI, or other integrated circuit package that performs application execution control.
  • FIG. 41 shows an example in which the video processing apparatus according to the present invention is implemented using an LSI.
  • the LSI 4100 includes, for example, a CPU 4101 (Central Processing Unit: Central Processing Unit), a DSP 4102 (Digital Signal Processor: Digital Signal Processor), an ENC / DEC 4103 (Encoder / Decoder: Encoder / Decoder), and a VIF 4104 ( Video Interface: Video Interface, PERI4105 (Peripheral Interface: Peripheral Interface), NIF 4106 (Network Interface: Network Interface), MIF4107 (Memory Interface: Memory Interface), RAM / ROM 4108 (Random Access Memory / Read Only Memory: Random Access Memory / Read (Only Memory).
  • a CPU 4101 Central Processing Unit
  • DSP 4102 Digital Signal Processor: Digital Signal Processor
  • ENC / DEC 4103 Encoder / Dec
  • the processing procedure described in each embodiment is stored in the RAM / ROM 4108 as a program code.
  • the program code stored in the RAM / ROM 4108 is read through the MIF 4107 and executed by the CPU 4101 or the DSP 4102. Thereby, the function of the video processing apparatus described in each embodiment can be realized.
  • the VIF 4104 is connected to an imaging device such as Camera (L) 4113 and Camera (R) 4114 and a display device such as LCD 4112 (Liquid Crystal Display), and acquires or outputs a stereoscopic video.
  • the ENC / DEC 4103 performs encoding / decoding of the acquired or generated stereoscopic video.
  • the PERI 4105 is connected to a recording device such as an HDD 4110 (Hard Disk Drive) or an operation device such as a Touch Panel 4111 and controls these peripheral devices.
  • the NIF 4106 is connected to the MODEM 4109 and the like, and connects to an external network.
  • This package is incorporated into various devices and used for use, whereby each device realizes each function as shown in each embodiment.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied to such technology.
  • LSI LSI
  • IC system LSI
  • super LSI ultra LSI depending on the degree of integration
  • the stereoscopic video to be processed is a two-view video composed of a combination of a left-eye video and a right-eye video. It may be a multi-viewpoint image obtained by capturing an image of the object scene. Similar video processing can be performed for three or more multi-view images.
  • the stereoscopic video acquired by the video acquisition unit 102 is a stereoscopic video captured in real time by an imaging device connected to the video processing device 100.
  • a stereoscopic image captured in real time at a remote location may be acquired through a network.
  • the stereoscopic video recorded in the server may be acquired through a network.
  • a stereoscopic video recorded on a recording device outside or inside the video processing device 100 may be used.
  • the recording device is, for example, a hard disk drive, an optical disk such as a BD, a DVD, or a semiconductor memory device such as an SD memory card.
  • the region to which the parallax calculation formula is applied is the region indicated by the hatched portion in FIG. 15, but this is a region that can be specified from the sampling point. Good.
  • the coordinates of the center point of the sampling point group may be the average value of the coordinates of the sampling points, and the area within a specific distance from the center point may be the area to which the parallax calculation formula is applied. Further, as the specific distance, a value proportional to the variance value of the sampling points may be used.
  • the feature point index 902 of the sampling point information 504 is a fixed length array, but this may be a variable length array. However, a structure other than an array such as a list structure may be used.
  • the maximum parallax of the pixels in the region where the object is superimposed is set as the parallax amount of the object, but the offset value defined in advance is the maximum parallax amount of the pixels in the region where the object is superimposed
  • the amount of parallax of the object may be added.
  • the coordinates of the region where the object specified in the drawing request queue is superimposed are those in the left-eye image, and the feature points are extracted from the left-eye image.
  • the coordinates of the region where the object specified in the drawing request queue is superimposed may be that of the right-eye image, and feature points may be extracted from the right-eye image.
  • the parameters of the parallax estimation model expressed by Equation 1 are used. Although it is determined by the least square method and the parallax calculation formula is derived, the present invention is not limited to this method.
  • the parallax estimation model parameters may be calculated by a least square method or a weighted least square method for lower-order or higher-order expressions. Other estimation models may be used.
  • a plurality of estimation models may be prepared, and a suitable estimation model may be selected according to the type of stereoscopic video to be superimposed.
  • the object drawing request unit specifies the contents of object data such as graphics, symbols, and characters to be superimposed on the stereoscopic video by the operation unit, the position to be superimposed, and the like.
  • the drawing request queue may be generated based on the acquired event by acquiring an event from an application of an external apparatus that accepts a user operation input through a network or the like.
  • feature points should be extracted from the pixels constituting the region where the parallax should be calculated and pixels located in the vicinity of the outside, and the parallax should be calculated using the extracted feature points Since the parallax of all the pixels constituting the area is calculated, it is beneficial to calculate the parallax of the area where the parallax in the stereoscopic video should be calculated with high speed and accuracy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　特徴点抽出部９０１は、視差を算出すべき領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。第１視差算出部９０２は、抽出した特徴点の視差を対応点探索により算出する。第２視差算出部９０３は、第１視差算出部９０２で算出した特徴点の視差に基づき、視差を算出すべき領域を構成する全画素の視差を算出する。

Description

映像処理装置、映像処理方法、プログラム
　本発明は、立体視映像処理技術に関し、特に立体視映像の視差を算出する技術に関する。
　近年、視差画像を用いた立体視映像処理技術が注目を集めており、様々な研究が行われている。ここで、視差とは、左目用画像および右目用画像の組みにおける対応画素間の水平座標位置のオフセット量（ずれ量）であり、両眼に対してそれぞれに対応する視差画像を提示することで、立体視を実現することができる。
　立体視映像処理技術の一つに、立体視映像に対して合成処理を行う技術がある。立体視映像に対する合成技術とは、図形、記号、文字等のオブジェクトを左目用の画像データと右目用の画像データのそれぞれにオフセット量を有するように重畳する技術である。これにより、立体視映像に様々な付加情報を立体的に付与することができる。
　上記技術においては、深さ方向にオブジェクトを重畳するので、オブジェクトを重畳する立体視映像上の領域のオフセット量を考慮する必要がある。例えば、立体視映像上のオブジェクトを重畳する領域のオフセット量が、オブジェクトが有するオフセット量より大きい場合、オブジェクトよりも元の立体視映像の飛び出し量が大きく、オブジェクトが元の立体視映像部分にめり込んでいるように観察される。その結果、重畳したオブジェクトを十分に認識することができない。
　かかる状況を回避するため、特許文献１には、立体視映像上のオブジェクトを重畳する領域のオフセット量を算出し、その領域内のオフセット量の最大値より大きいオフセット量をオブジェクトのオフセット量として決定する技術が開示されている。また特許文献２には、複数の二次元オブジェクトにオフセット量を与え立体的に表示する際において、オフセット量を与えたオブジェクト同士が重なるか否かを判定し、重なる場合はオブジェクトの位置、サイズ、オフセット量等を調整する技術が開示されている。
特開２０１０－８６２２８号公報 特開２００５－１２２５０１号公報
　特許文献１に開示される技術は、オブジェクトを重畳する立体視映像上の領域のオフセット量を考慮してオブジェクトを重畳するために、オブジェクトを重畳する左目用画像データと右目用画像データの領域を構成する全画素間の対応点探索を行う。対応点探索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することにより行う。このような処理を立体視映像上のオブジェクトを重畳する領域を構成する全画素に対して行う場合、その演算量は膨大となる。つまり、オブジェクトの重畳処理においてオフセット量を算出すべき領域のオフセット量の算出に時間がかかり、立体視映像に対してリアルタイムにオブジェクトを重畳することができない。また、オブジェクトを重畳する左目用画像データと右目用画像データの領域内には、輝度の明暗がはっきりしておらず、対応点探索を正確に行うことが難しい画素も多く存在する。特許文献１に開示される技術では、対応点探索を正確に行うことが難しい画素に対しても対応点探索を行うため、誤った対応点を検出し、正しいオフセット量を算出できない場合がある。
　また、特許文献２は、複数の二次元オブジェクトにオフセット量を与え立体的に表示する際において、オフセット量を与えたオブジェクト同士が重なるか否かを判定するものであり、オフセット量の値が不知である立体視映像上にオブジェクトを立体的に重畳する場合に適用することができない。
　本発明は上記事情に鑑みなされたものであり、立体視映像を構成する画像データの組みにおける対応画素間のオフセット量を高速かつ精度よく算出することができる映像処理装置を提供することを目的とする。
　上記目的を達成するため、本発明にかかる映像処理装置は、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理装置であって、メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出部と、サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出部と、算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出部とを備えることを特徴とする。
　立体視映像上の全画素に対して対応点探索を行った場合、その演算量は膨大となる。本発明では、立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間のオフセット量（視差）を算出すべき領域およびその外部近傍に位置する画素から抽出した特徴点のみに対応点探索を行い、対応点探索により算出した特徴点のオフセット量に基づき特徴点以外の画素のオフセット量を算出するので、オフセット量算出に要する演算量を大幅に削減することができる。その結果立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することが可能となる。
　また、オフセット量を算出すべき領域内の輝度変化が少ない領域については、誤った対応点を検出し、正しいオフセット量の値を算出できない場合がある。本発明では、特徴点のみに対応点探索を行い、特徴点のオフセット量に基づき特徴点以外の画素のオフセット量を算出するので、精度よくオフセット量の値を算出することができる。
　さらに本発明は、オフセット量を算出すべき領域に加え、その外部近傍に位置する画素から特徴点を抽出するので、オフセット量を算出すべき領域内に特徴点が十分にない場合であっても、精度よくオフセット量の値を算出することができる。
映像処理装置１００の構成の一例を示すブロック図である。 タイミング情報２０１のデータ構造を示す模式図である。 描画要求キュー１０６のデータ構造を示す模式図である。 映像処理部１０７の内部構成の一例を示す図である。 オブジェクト視差情報５０１のデータ構造を示す模式図である。 オブジェクト画像の生成を説明するための図である。 合成部４０５による重畳処理を説明するための図である。 映像処理装置１００による重畳処理後の立体視映像の立体視を示す図である。 視差情報生成部４０２の内部構成の一例を示す図である。 探索情報１００１のデータ構造を示す摸式図である。 分割領域を説明するための図である。 分割領域情報１００２のデータ例を示す図である。 特徴点情報１００３のデータ例を示す図である。 サンプリング点情報１００４のデータ構造を示す図である。 視差マスクで示される左目用画像の領域の一例を示す図である。 領域１５０１に対する特徴点の抽出を説明するための図である。 分割象限１６３０に対する特徴点抽出を示す図である。 分割象限１６４０に対する特徴点抽出を示す図である。 特徴点の視差の算出を示す図である。 視差の算出を行う領域を示す図である。 映像処理装置１００の動作を示すフロー図である。 映像処理の動作を示すフロー図である。 視差算出処理の動作を示すフロー図である。 映像処理装置２４００の構成の一例を示すブロック図である。 描画要求キュー２４０２のデータ構造を示す模式図である。 映像処理部２４０３の構成の一例を示すブロック図である。 映像処理装置２４００によるオブジェクトの重畳を示す図である。 オブジェクト画像の生成を説明するための図である。 映像処理部２４０３の動作を示すフロー図である。 映像処理装置２４００による重畳処理後の立体視映像の立体視を示す図である。 実施の形態３にかかる映像処理部３１００の内部構成の一例を示すブロック図である。 奥行きを輝度で表現した画像データとして格納した場合を示す図である。 映像処理部３１００の深度情報変換処理の動作を示すフロー図である。 実施の形態４にかかる映像処理装置３４００の構成の一例を示すブロック図である。 映像処理部３４０２の内部構成の一例を示すブロック図である。 撮像カメラと被写体の位置関係を示す図である。 視差と実距離との関係を示す図である。 映像処理装置３４００の深度情報変換処理の動作を示すフロー図である。 プレーンシフトを説明するための図である。 本実施の形態５にかかる実距離算出処理の動作を示すフロー図である。 本発明にかかる映像処理装置を、ＬＳＩを用いて具現化した例を示す図である。
　以下、本発明の実施の形態について、図面を参照にしながら説明する。
　≪実施の形態１≫
　＜１．１　概要＞
　実施の形態１に係る映像処理装置は、オブジェクトを重畳する立体視映像上の領域における視差を算出し、その算出した視差に基づきオブジェクトの視差量を決定し、オブジェクトを重畳する装置である。ここで、視差とは、左目用画像および右目用画像の組みにおける対応画素間の水平座標位置のオフセット量（ずれ量）である。
　映像処理装置はまず、図形、記号、文字等のオブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を算出し、特徴点の視差に基づき、オブジェクトを重畳する立体視映像上の領域を構成する全画素の視差を算出する。そしてそのオブジェクトを重畳する領域の視差を考慮してオブジェクトの視差を決定し、重畳処理を行う。これにより、オブジェクトを重畳する領域の視差を高速かつ精度よく算出することができ、立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することが可能となる。以下その実施の形態１について、図面を参照しながら説明する。
　＜１．２　映像処理装置１００の構成＞
　まず実施の形態１に係る映像処理装置１００の構成について説明する。図１は映像処理装置１００の構成の一例を示すブロック図である。図１に示されるように、映像処理装置１００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー格納部１０６、映像処理部１０７、出力部１０８を含んで構成される。以下、各構成部について説明する。
　＜１．２．１　操作部１０１＞
　操作部１０１は、映像処理装置１００に操作入力を行うためのものであり、例えば、タッチパネル、キーボード、マウス、その他のコントローラ等からなる。ユーザは、立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容、重畳する位置等を指定する。
　＜１．２．２　映像取得部１０２＞
　映像取得部１０２は、左目用映像（メインビューデータ）と右目用映像（サブビューデータ）の組みからなる立体視映像を取得する。ここで映像取得部１０２が取得する立体視映像は、図１に示されるように、映像処理装置１００に接続された撮像装置によりリアルタイムに撮像された立体視映像である。
　＜１．２．３　左目用画像・右目用画像格納部１０３＞
　左目用画像・右目用画像格納部１０３は、映像取得部１０２で取得した立体視映像を、非圧縮のピクチャデータ（左目用画像、右目用画像）として格納する。左目用画像・右目用画像格納部１０３に格納されたピクチャデータがオブジェクトの重畳処理の対象となる。
　＜１．２．４　制御部１０４＞
　制御部１０４は、映像処理装置１００の動作の制御を行う。特に、制御部１０４の内部に格納されたタイミング情報に基づき、重畳処理を行うタイミングの制御を行う。
　図２は、タイミング情報２０１のデータ構造を示す模式図である。図２に示されるように、タイミング情報２０１は、画像取得間隔２０２と終了フラグ２０３を含む。
　画像取得間隔２０２は、オブジェクト描画要求部１０５に対して駆動イベントを発行する間隔を示す。映像処理装置１００はかかる間隔毎に重畳処理を行う。例えば、画像取得間隔２０２の値が３０００、制御部のカウンタ周期が９０ＫＨｚの場合、制御部１０５は、１／３０秒の間隔でオブジェクト描画要求部１０５に対して駆動イベントを発行する。
　終了フラグ２０３は、映像処理装置１００の動作を終了するか否かを示す。映像処理装置１００が起動する際の終了フラグ２０３の初期値は、ＦＡＬＳＥである。操作部１０１等により映像処理装置１００の終了操作が行われた場合、制御部１０４は終了フラグ２０３をＴＲＵＥに書き換え、駆動イベントの発行を停止する。
　＜１．２．５　オブジェクト描画要求部１０５、描画要求キュー格納部１０６＞
　オブジェクト描画要求部１０５は、操作部１０１による、立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容や重畳する位置等の指定に基づき、重畳処理を行う図形、記号、文字等のオブジェクトに関する情報を示す描画要求キュー１０６を生成する。この描画要求キュー１０６の生成は、制御部１０４が発行する駆動イベント毎に行う。
　図３は、描画要求キュー１０６のデータ構造を示す模式図である。本図に示されるように、描画要求キュー１０６は、オブジェクト数３０１と領域情報３０２と画像データ３０３を含む。
　オブジェクト数３０１は、重畳処理を行うオブジェクトの数を示す。
　領域情報３０２は、メインビューデータを構成する左目用画像における各オブジェクトを重畳する領域を示す情報であり、例えば、オブジェクトの各頂点の座標を格納する。また、四角形オブジェクトの矩形座標や円形オブジェクトの中心座標および半径を格納してもよい。さらには、オブジェクトの重畳領域を示すビットマップを格納してもよい。以上、領域情報３０２のデータ例を示したが、オブジェクトの重畳領域を示すことができるデータ構造であればよく、これに限定されない。
　画像データ３０３は、各オブジェクトの画像データを示す。この画像データ３０３が左目用画像、右目用画像に重畳される。
　＜１．２．６　映像処理部１０７＞
　映像処理部１０７は、左目用画像・右目用画像格納部１０３に格納された左目用画像、右目用画像に対して、描画要求キュー１０６に基づくオブジェクトを重畳する。その際、まず、オブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を対応点探索により算出し、算出した特徴点の視差に基づき、オブジェクトを重畳する立体視映像上の領域を構成する全画素の視差を算出する。そして、そのオブジェクトを重畳する領域の視差を考慮してオブジェクトの視差を決定し、重畳処理を行う。映像処理部１０８の詳細な内部構成、およびその説明は＜１．３＞節で行う。
　＜１．２．７　出力部１０９＞
　出力部１０９は、映像処理部１０８で重畳処理された立体視映像を出力する。出力部１０９は、図１に示されるように、例えば、ディスプレイに重畳処理された立体視映像を出力する。また、ネットワーク上に重畳処理された立体視映像を送信してもよい。また、重畳処理された立体視映像をアンテナを通じて送信してもよい。また、重畳処理された立体視映像を記録装置に書き込んでもよい。ここで記録装置は、例えばハードディスクドライブ、ＢＤ、ＤＶＤ等の光ディスク、またはＳＤメモリカード等の半導体メモリ装置である。
　以上が映像処理装置１００の構成の説明である。続いて、映像処理装置１００の映像処理部１０７について説明する。
　＜１．３　映像処理部１０７の構成＞
　図４は映像処理部１０７の内部構成の一例を示すブロック図である。本図に示されるとおり映像処理部１０７は、視差マスク生成部４０１、視差情報生成部４０２、オブジェクト視差決定部４０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。以下各構成部について説明する。
　＜１．３．１　視差マスク生成部４０１＞
　視差マスク生成部４０１は、オブジェクト描画要求部１０５で生成された描画要求キュー１０６に含まれる領域情報３０２に基づき、視差を算出すべき左目用画像の領域を示す視差マスクを生成する。視差マスクは、２値のビットマップであり、オブジェクトを重畳する領域においては１、その他の領域においては０の値をとる。
　＜１．３．２　視差情報生成部４０２＞
　視差情報生成部４０２は、視差マスク生成部４０１で生成された視差マスクで示される領域内の画素の視差を算出する。具体的には、まず、オブジェクトを重畳する立体視映像上の領域を構成する画素、およびその外部近傍に位置する画素から視差の算出に適した特徴点を抽出する。次に抽出した特徴点の視差を対応点探索により算出する。そして算出した特徴点の視差に基づき、重畳領域の視差分布を示す式を導出することにより、特徴点を除く重畳領域内の画素を算出する。この視差情報生成部４０２の詳細な内部構成、およびその説明は＜１．４＞節で行う。
　＜１．３．３　オブジェクト視差決定部４０３＞
　オブジェクト視差決定部４０３は、立体視映像に重畳するオブジェクトに与える視差量を決定する。具体的には、まず、描画要求キュー１０６に基づき各オブジェクトを重畳する左目用画像の領域を特定し、視差情報生成部４０２が生成した視差情報に基づき、その領域内の画素が有する最大視差を検出する。そして、検出した最大視差量を重畳するオブジェクトの視差量とする。ここで、オブジェクト視差決定部４０３は、オブジェクト毎に決定した視差量をオブジェクト視差情報として記憶する。
　図５は、オブジェクト視差情報５０１のデータ構造を示す模式図である。本図に示されるように、オブジェクト視差情報５０１は描画要求キュー１０６に格納されているオブジェクト毎に視差５０２を格納する。
　＜１．３．４　オブジェクト画像生成部４０４＞
　オブジェクト画像生成部４０４は、左目用画像に重畳する左目用オブジェクト画像、右目用画像に重畳する右目用オブジェクト画像を生成する。図６は、オブジェクト画像の生成を説明するための図である。本図に示されるように、オブジェクト画像生成部４０４は、描画要求キュー１０６に格納されている領域情報３０２に基づき左目用オブジェクト画像６１０を生成する。そして、オブジェクト視差決定部４０３で決定したオブジェクト視差情報５０１に基づき、視差量６０１だけオブジェクト６２０を左方向にずらして右目用オブジェクト画像６３０を生成する。
　＜１．３．５　合成部４０５＞
　合成部４０５は、左目用画像、右目用画像のそれぞれにオブジェクトの重畳処理を行い、サイドバイサイド形式で左目用画像と右目用画像を合成する。
　図７は、合成部４０５による重畳処理を説明するための図である。本図に示されるように、合成部４０５は、左目用画像７１０に対して左目用オブジェクト６１０を重畳し、左目用合成画像７２０を生成する。また、合成部４０５は、右目用画像７４０に対して右目用オブジェクト６３０を重畳し、右目用合成画像７５０を生成する。そして、合成部４０５は、左目用合成画像７２０を画像全体の左半分（７３０）に縮小して配置し、右目用合成画像７５０を画像全体の右半分（７６０）に縮小して配置する。
　図８は、重畳処理後の立体視映像の立体視を示す図である。本図に示されるとおり、合成部４０５で生成された立体視映像を３Ｄメガネで観察すると、斜線で示したオブジェクトが重畳領域に位置する顔部分よりも前に位置するように観察される。
　なお、左目用合成画像と右目用合成画像をサイドバイサイド方式で合成する例を示したが、偶数ライン・奇数ラインそれぞれに左目用合成画像・右目用合成画像が配置されるインターレース方式や、奇数フレーム・偶数フレームそれぞれに左目用合成画像・右目用合成画像が割り当てられるフレームシーケンシャル方式といった、サイドバイサイド方式以外の方式で合成してもよい。
　以上が映像処理部１０７の構成の説明である。続いて、映像処理部１０７の視差情報生成部４０２について説明する。
　＜１．４　視差情報生成部４０２の構成＞
　図９は視差情報生成部４０２の内部構成を示すブロック図である。本図に示されるとおり、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。以下各構成部について説明する。
　＜１．４．１　特徴点抽出部９０１＞
　特徴点抽出部９０１は、視差マスクで示される領域およびその外部近傍の領域から特徴点の抽出を行う。抽出した特徴点の座標位置等の情報は探索情報として記憶する。以下では、その詳細な内容について、「特徴点の抽出」、「探索情報」、「特徴点の抽出を行う領域」に項目分けして説明する。
　＜１．４．１．１　特徴点の抽出＞
　特徴点とは、視差の算出における対応点探索に適した画素をいう。特徴点抽出部９０１では、エッジ（輝度が鋭敏に変化している箇所）、またはエッジの交点箇所を特徴点として抽出する。エッジの検出は、画素間の輝度の差分（一次微分）を求め、その差分からエッジ強度を算出することにより行う。また、その他のエッジ検出方法により特徴点を抽出してもよい。特徴点の抽出を行う領域については後述する。以上が特徴点の抽出についての説明である。続いて探索情報について説明する。
　＜１．４．１．２　探索情報＞
　探索情報は、抽出した特徴点の座標位置・視差等を示す情報である。図１０は探索情報１００１のデータ構造を示す摸式図である。本図に示される通り、探索情報１００１は分割領域情報１００２、特徴点情報１００３、サンプリング点情報１００４からなる。分割領域情報１００２は、左目用画像を分割した各分割領域に含まれる特徴点に関する情報である。特徴点情報１００３は、特徴点の座標、視差等を示す情報である。サンプリング点情報１００４は、第２視差算出部９０３での視差算出において用いる特徴点（サンプリング点）に関する情報である。特徴点抽出部９０１は、特徴点を抽出しその特徴点の視差を算出する毎に探索情報１００１を更新する。
　まず、分割領域情報１００２について説明する。分割領域情報１００２は、分割領域毎の特徴点に関する情報である。＜１．４．１．３＞節で詳しく述べるが、特徴点抽出部９０１は図１１に示されるように左目用画像をＭ×Ｎ分割し、分割領域単位で特徴点の探索を行うことため、分割領域毎に特徴点に関する情報を記憶する。
　図１２は、分割領域情報１００２のデータ例を示す図である。本図に示されるとおり、分割領域情報１００２は各分割領域に対して、分割領域番号１２０１、特徴点探索済みか否かを示すフラグ１２０２、特徴点を格納した配列の先頭インデックス１２０３、および分割領域に含まれる特徴点数１２０４を含む。分割領域番号１２０１は、図１１に示す各分割領域の識別子１１０１に対応する。特徴点探索済みか否かを示すフラグ１２０２は、対象の分割領域において特徴点の抽出を行った場合はＴＲＵＥ、特徴点の抽出を行っていない場合ＦＡＬＳＥをとる。インデックス１２０３は、対象の分割領域内に特徴点抽出部９０１により視差算出された特徴点が存在する場合、後述する特徴点情報１００３に対応する特徴点情報配列の先頭のインデックス（≧０）を格納する。一方、対象の分割領域内に視差算出済みの特徴点が存在しない場合、インデックス１２０３は“－１”をとる。特徴点数１２０４は、分割領域に含まれる特徴点の数を示す。以上が分割領域情報１００２についての説明である。続いて特徴点情報１００３について説明する。
　図１３は、特徴点情報１００３のデータ例を示す図である。本図に示されるように、特徴点情報１００３は、特徴点のインデックス１３０１、特徴点の座標１３０２、および特徴点の視差１３０３を含む。インデックス１３０１は、図１２のインデックス１２０３に対応する。座標１３０２は、各特徴点の左目用画像における座標を示す。視差１３０３は、左目用画像における特徴点と右目用画像における対応点間の視差の値である。
　分割情報１００２におけるインデックスと特徴点情報１００３におけるインデックスは対応関係にあり、そのインデックスの値を参照することにより、分割領域に含まれる特徴点の座標や視差を特定することができる。例えば図１２において、分割領域（０，１）はインデックス“０”、特徴点数“２”であることから、分割領域（０，１）に含まれる特徴点はインデックス“０”と“１”の特徴点であることがわかる。そして、そのインデックスの値を図１３に示される特徴点情報１００３で参照することで、分割領域（０，１）に含まれる特徴点の座標は、（７０，２０）（８０，３０）であり、その視差は“４”、“２”であることがわかる。以上が特徴点情報１００３についての説明である。続いてサンプリング点情報１００４について説明する。
　サンプリング点情報１００４は、特徴点情報１００３に含まれる特徴点のうち、第２視差演算部９０３による視差の推定式の決定に用いる特徴点（サンプリング点）を特定するための情報である。図１４は、サンプリング点情報１００４のデータ構造を示す図である。本図に示されるように、サンプリング点情報１００４は、サンプリング点数１４０１と各サンプリング点に対応する特徴点インデックス１４０２を含む。サンプリング点数１４０１は、サンプリング点の数を示す。特徴点インデックス１４０２は、各サンプリング点に対応する特徴点のインデックス番号を示す。この特徴点のインデックス番号は、分割領域情報１００１、特徴点情報１００２に含まれるインデックスに対応し、特徴点情報１００２を参照することにより、サンプリング点の座標、視差を特定することができる。以上がサンプリング点情報１００４についての説明である。続いて探索情報１００１の利用について説明する。
　特徴点抽出部９０１は、特徴点探索の際、まず分割領域情報１００２を参照して、探索を行う分割領域が既に特徴点探索済みか否かを判定する。既に特徴点探索済みの場合、分割情報１００２のインデックス１２０３により特定される特徴点情報１００３を参照して、特徴点の座標、視差の情報を得る。特徴点探索済みでない場合は、探索を行う分割領域に対してエッジ検出を行い、特徴点を特定する。そして抽出した特徴点の視差を算出する。このように、過去に探索した特徴点の座標、視差の情報等を探索情報１００１として記憶し、特徴点抽出の際利用することで、重複する特徴点の探索処理を省くことができる。
　以上が探索情報１００１についての説明である。続いて特徴点の抽出を行う領域について説明する。
　＜１．４．１．３　特徴点の抽出を行う領域＞
　特徴点抽出部９０１は、視差マスクで示される左目用画像の領域（重畳領域）内の画素およびその外部近傍に位置する左目用画像の一部の領域を構成する画素から視差の算出に適した特徴点を抽出する。具体的には重畳領域内の対象画素（視差未検出の画素）を中心に直交軸を用いて、左目用画像を四分割し、分割象限毎に特徴点抽出を行う。分割象限毎の特徴点抽出においては、まず対象画素を含む分割領域に対して特徴点抽出が行われる。ここで分割領域は図１０に示される左目用画像をＭ×Ｎ分割した各領域をいう。分割領域において一定量の特徴点が抽出できた分割象限については、それ以上の領域を特徴点抽出の対象としない。一定量の特徴点が抽出されない分割象限については、探索対象を近接の分割領域まで拡張する。そして一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象の拡張を行う。以下図を用いて、特徴点の抽出を行う領域についてさらに詳細に説明する。
　図１５は、視差マスクで示される左目用画像の領域の一例を示す図である。本図に示す例では、点線で囲む１５０１、１５０２、１５０３の各領域が重畳領域である。特徴点抽出部９０１は、かかる重畳領域内の画素およびその外部近傍に位置する左目用画像の一部の領域を構成する画素から視差の算出に適した特徴点を抽出する。以下では領域１５０１に対する特徴点の抽出について図を用いて説明する。
　図１６は、領域１５０１に対する特徴点の抽出を説明するための図である。１６０１は未だ視差が算出されていない画素、１６０２は、視差未検出の画素１６０１を含む分割領域、１６１０、１６２０、１６３０、１６４０は、左目用画像を視差未検出の画素１６０１を中心に直交軸を用いて四分割した各分割象限を示す。特徴点抽出部９０１は、分割象限１６１０、１６２０、１６３０、１６４０のそれぞれに対して、一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象を拡張して特徴点の抽出を行う。
　図１７は、分割象限１６３０に対する特徴点抽出を示す図である。本図に示されるように、特徴点抽出部９０１は、まず分割象限１６３０内の分割領域１６０２（図中の斜線部）に対して特徴点の抽出を行う。かかる領域における特徴点の探索において、特徴点抽出部９０１は、特徴点１７０１、１７０２を抽出する。この場合、一定量の特徴点（この例では２個）を抽出したので、探索対象の拡張を行わず、分割象限１６３０に対する特徴点の抽出を終了する。次に、分割象限１６４０に対する特徴点の抽出を説明する。
　図１８は、分割象限１６４０に対する特徴点抽出を示す図である。図１８（ａ）に示すとおり、特徴点抽出部９０１は、まず分割象限１６４０内の分割領域１６０２（図中の斜線部）に対して特徴点の抽出を行う。かかる領域における特徴点の探索では特徴点を抽出できないので、特徴点抽出部９０１は、探索領域を拡張する。探索領域の拡張では、近接する分割領域を次の探索対象とする。
　１８（ｂ）は、探索領域の拡張を行った領域に対する特徴点の抽出を示す図である。図中の斜線部は、探索領域の拡張を行った対象領域を示す。かかる領域の特徴点の探索において、特徴点抽出部９０１は、特徴点１８０１を抽出する。この場合、一定量の特徴点を抽出しないので、特徴点抽出部９０１は、更に探索領域を拡張する。
　図１８（ｃ）探索領域の更なる拡張を行った領域に対する特徴点の抽出を示す図である。図中の斜線部は、探索領域の更なる拡張を行った対象領域を示す。かかる領域の特徴点の探索において、特徴点抽出部９０１は、特徴点１８０２を抽出する。この場合、特徴点１８０１、１８０２の一定量の特徴点を抽出したので、特徴点抽出部９０１は、これ以上の探索対象の拡張を行わず、分割象限１６４０に対する特徴点の抽出を終了する。分割象限１６１０、１６２０に対しても同様に、特徴点抽出部９０１は、一定量の特徴点を抽出するか、探索対象となる分割領域がなくなるまで探索対象を拡張して特徴点の抽出を行う。
　このように重畳領域の画素だけでなくその外部近傍に位置する画素から特徴点を抽出し、所定量の特徴点が抽出されない場合は探索範囲を広げることにより、重畳領域の視差を算出するのに必要な特徴点を抽出することができ、精度よく視差の値を算出することができる。また左目用画像を四分割し分割象限毎に特徴点抽出を行うことにより、特徴点を偏りなく抽出できる。ここで偏りがないとは、一部の領域に集中して特徴点が抽出されることがないことを意味する。特徴点を偏りなく抽出できるので、後述する重畳領域の視差分布を示す式の導出において、より適切な式を導出することができる。以上が特徴点抽出部９０１の説明である。続いて第１視差算出部９０２について説明する。
　＜１．４．２　第１視差算出部９０２＞
　第１視差算出部９０２は、特徴点抽出部９０１で抽出した特徴点の視差を算出する。算出した視差は、特徴点情報１００３として記憶する。図１９は、特徴点の視差の算出を示す図である。本図に示されるように、第１視差算出部９０２は、抽出した左目用画像の特徴点に対応する画素（対応点）を右目用画像から検出し、対応する画素間の距離（ピクセル数）を特徴点の視差とする。対応点の探索は、各画素に対して輝度値等に基づく相関値を算出し、その相関値が最も高い画素を検出することにより行う。一般に輝度変化が少ない画素に対しては、誤った対応点を検出する場合も多いが、特徴点は輝度が鋭敏に変化しているエッジ箇所等であるので、精度よく対応点を検出することができる。以上が第１視差算出部９０２の説明である。続いて第２視差算出部９０３について説明する。
　＜１．４．３　第２視差算出部９０３＞
　第２視差算出部９０３は、第１視差算出部９０２で算出した特徴点の視差に基づき、重畳領域の視差分布を示す式を導出することにより、特徴点を除く重畳領域内の画素を算出する。以下では、その詳細な内容について、「視差算出方法」、「視差の算出を行う領域」に項目分けして、具体的に説明する。
　＜１．４．３．１　視差算出方法＞
　第２視差算出部９０３は、サンプリング点情報１００４を参照して得られるサンプリング点１～Ｎの座標および視差から重畳領域の視差分布を示す式（視差算出式）を決定し、その式を各画素に適用することにより視差の算出を行う。
　以下に、視差推定モデルの一例を示す。
Figure JPOXMLDOC01-appb-M000001
　第２視差算出部９０３は、上記の視差の推定モデルのパラメータｐを、サンプリング点ｉ（ｉ＝１～Ｎ）の座標（ｘ［ｉ］，ｙ［ｉ］）、視差量Ｄ［ｉ］から最小二乗法により決定する。すなわち、第２視差算出部９０３は、Ｄ［ｉ］－Ｄ（ｘ［ｉ］，ｙ［ｉ］）の二乗の総和が最小となるパラメータｐを算出する。これにより、重畳領域の視差分布を示す視差算出式が定まる。次に、第２視差算出部９０３は、視差算出式に対して、視差算出式を適用する領域内の画素のうち特徴点を除く画素の座標を代入する。視差算出式を適用する領域については後述する。これにより視差算出式を適用する領域内の画素のうち特徴点を除く画素の視差を求めることができる。上述した特徴点の抽出、視差算出式の決定、視差算出式の適用の処理を繰り返すことにより、視差マスクで示される領域内の視差を算出することができる。以上が視差算出方法についての説明である。続いて、視差の算出を行う領域について説明する。
　＜１．４．３．２　視差の算出を行う領域＞
　図２０は、視差の算出を行う領域を示す図である。本図は、特徴点の抽出を行う領域を説明した図１６、図１７、図１８に対応する。ここで図中の斜線部の領域が視差算出式を適用する領域である。視差算出式を適用する領域は以下のように定める。
　すなわち、視差算出式を適用する領域の左辺は、視差未検出の画素１６０１より左側に位置するサンプリング点のうち、最も右側に位置するサンプリング点のｘ座標と等しくなるように定める。また、視差算出式を適用する領域の右辺は、視差未検出の画素１６０１より右側に位置するサンプリング点のうち、最も左側に位置するサンプリング点のｘ座標と等しくなるように定める。また、視差算出式を適用する領域の上辺は、視差未検出の画素１６０１より上側に位置するサンプリング点のうち、最も下側に位置するサンプリング点のｙ座標と等しくなるように定める。また、視差算出式を適用する領域の下辺は、視差未検出の画素１６０１より下側に位置するサンプリング点のうち、最も上側に位置するサンプリング点のｙ座標と等しくなるように定める。上記のように定めた視差算出式を適用する領域を構成する全画素に対して、第２視差算出部９０３は視差算出式を適用し、視差を算出する。
　＜１．４．４　視差マップ格納部９０４＞
　視差マップ格納部９０４は、第１視差算出部９０２で算出した重畳領域内の特徴点の視差、および第２視差算出部９０３で算出した重畳領域内の特徴点以外の画素点の視差の値を格納する。視差マップ格納部９０４に格納された視差マップは、オブジェクト視差決定部４０３によるオブジェクトに与える視差量の決定に用いられる。
　以上が映像処理装置１００の構成についての説明である。続いて、上記構成を備える映像処理装置１００の動作について説明する。
　＜１．５　動作＞
　＜１．５．１　全体動作＞
　まず映像処理装置１００の全体動作について説明する。図２１は、映像処理装置１００の動作を示すフロー図である。
　本図に示されるように、制御部１０４はまず、タイマーを起床させる（ステップＳ２１０１）。タイミング情報２０１の画像取得間隔２０２に示される時間が経過した場合（ステップＳ２１０２，ＹＥＳ）、制御部１０４はオブジェクト描画要求部１０５に駆動イベントを発行する（ステップＳ２１０３）。制御部１０４が発行した駆動イベントを受け、オブジェクト描画要求部１０５は、描画要求キュー１０６を更新する（ステップＳ２１０４）。そして映像処理部１０７は、描画要求キュー１０６に基づき、特徴点抽出処理、視差算出処理、重畳処理等の映像処理を行う（ステップＳ２１０５）。ステップＳ２１０５の処理の詳細は＜１．５．２＞節で述べる。
　ステップＳ２１０５の処理後、タイミング情報２０１の終了フラグ２０３が“ＴＲＵＥ”の場合（ステップＳ２１０６，ＹＥＳ）、制御部１０４は映像処理装置１００の動作を終了させる。終了フラグがＴＲＵＥでない場合（ステップＳ２１０６，ＮＯ）、ステップＳ２１０２の処理に戻る。以上が映像処理装置１００の全体動作についての説明である。続いてステップＳ２１０５の映像処理の詳細を説明する。
　＜１．５．２　映像処理（ステップＳ２１０５）＞
　図２２は、映像処理（ステップＳ２１０５）の詳細を示すフロー図である。本図に示されるように、まず視差情報生成部４０２はオブジェクトを重畳する領域の左目用画像、右目用画像間の視差を算出する（ステップＳ２２０１）。ステップＳ２２０１の視差算出処理の詳細は＜１．５．３＞節で述べる。
　次にオブジェクト視差決定部４０３は、ステップＳ２２０１で算出された重畳領域内の視差に基づき、オブジェクトに付与する視差を決定する（ステップＳ２２０２）。具体的には、重畳領域内の画素が有する最大視差を検出し、検出した最大視差をオブジェクトに付与する視差とする。決定したオブジェクト視差は、オブジェクト視差情報５０１として記憶する。
　ステップＳ２２０２の後、オブジェクト画像生成部４０３は、ステップＳ２２０２で決定したオブジェクト視差に基づき、オブジェクト画像を生成する（ステップＳ２２０３）。そして合成部４０５は、左目用画像に対して左目用オブジェクト画像を、右目用画像に右目用オブジェクト画像を重畳する（ステップＳ２２０４）。以上が映像処理の詳細についての説明である。続いてステップＳ２２０１の視差算出処理の詳細を説明する。
　＜１．５．３　視差算出処理（ステップＳ２２０１）＞
　図２３は、視差算出処理（ステップＳ２２０１）の動作を示すフロー図である。本図に示されるように、まず、視差マスク生成部４０１は、視差マスクを生成する（ステップＳ２３０１）。具体的には、視差マスク生成部４０１は、オブジェクトを重畳する領域を１、その他の領域を０とする２値のビットマップを作製する。次に、視差情報生成部４０２は、視差マスクで示されるオブジェクトを重畳する領域内における視差未検出の画素を探索する（ステップＳ２３０２）。
　視差未検出の画素がない場合（ステップＳ２３０２，ＹＥＳ）、視差情報生成部４０２は、視差算出処理を終了する。視差未検出の画素を検出した場合（ステップＳ２３０２，ＮＯ）、視差情報生成部４０２は、サンプリング点情報１００４を初期化する（ステップＳ２３０３）。そして、特徴点抽出部９０１は、左目用画像のオブジェクトを重畳する領域およびその外部近傍に位置する画素から特徴点を抽出する（ステップＳ２３０４）。探索の対象となる領域は、第１にステップＳ２３０２の処理で検出した視差未検出の画素を含む分割領域である。後述するステップＳ２３０８の処理で探索対象の拡張処理が行われた場合は、拡張した領域が探索の対象となる。
　特徴点抽出後、第１視差算出部９０２は、抽出した特徴点の視差を算出する（ステップＳ２３０５）。特徴点抽出部９０１、第１視差算出部９０２は、算出した特徴点の座標、視差の情報に基づき、探索情報１００１の更新を行う（ステップＳ２３０６）。そして、特徴点抽出部９０１は、所定数の特徴点が抽出されたか否かを判定する（ステップＳ２３０７）。
　所定数の特徴点が抽出されない場合（ステップＳ２３０７，ＮＯ）、特徴点抽出部９０１は、探索対象を既に探索済みの領域に近接の分割領域まで拡張する（ステップＳ２３０８）。以上のステップＳ２３０４～Ｓ２３０８の処理を、各分割象限について行う。
　次に、第２視差算出部９０３は、上記のＳ２３０４～Ｓ２３０８の処理で抽出されたサンプリング点に基づき視差を算出する領域を特定する（ステップＳ２３０９）。視差を算出する領域の特定については、既に、＜１．４．３．２＞節で説明した。そして、第２視差算出部９０３は、ステップＳ２３０９で特定した領域内の視差を算出する（ステップＳ２３１０）。具体的には、サンプリング点の座標および視差から視差算出式を導出し、その視差算出式を用いて当該領域内の画素のうち、特徴点を除く画素の視差を算出する。
　第２視差算出部９０３は、ステップＳ２３１０で算出した視差に基づき、視差マップ９０４を更新する（ステップＳ２３１１）。ステップＳ２３１１の後、ステップＳ２３０２に戻り、視差未検出の画素がある場合（ステップＳ２３０２，ＹＥＳ）、ステップＳ２３０３以降の処理を再度行う。視差未検出の画素がない場合（ステップＳ２３０２，ＮＯ）、視差算出処理を終える。以上が、映像処理装置１００の動作についての説明である。
　以上のように本実施形態によれば、重畳領域内の画素およびその外部近傍に位置する画素から特徴点を抽出し、抽出した特徴点の視差に基づき重畳領域の視差を算出し、算出した重畳領域の視差に基づきオブジェクトの重畳処理を行うので、立体視映像に対して適切な立体感を有するオブジェクトを高速に（リアルタイムに）重畳することができる。
　≪実施の形態２≫
　＜２．１　概要＞
　実施の形態２に係る映像処理装置は、実施の形態１に係る映像処理装置１００と同様に、オブジェクトを重畳する立体視映像上の領域における視差を算出するものであるが、オブジェクトの重畳方法が異なる。実施の形態２に係る映像処理装置は、視差量が予め定まっているオブジェクトを重畳するものであり、オブジェクトの視差量と、オブジェクトを重畳する領域の視差を比較する。そして、オブジェクトの視差量よりも視差が大きい領域については、オブジェクトを重畳しないようにする。これにより、元の立体視映像がオブジェクトよりも飛び出して表示されオブジェクトが元の立体視映像部分に埋没することを防ぐことができ、視聴者は違和感なく立体視映像および重畳されたオブジェクトを観察することができる。
　＜２．２　構成＞
　まず実施の形態２に係る映像処理装置２４００の構成について説明する。図２４は映像処理装置２４００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１に係る映像処理装置１００の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。図２４に示されるように、映像処理装置２４００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部２４０１、描画要求キュー２４０２、映像処理部２４０３、出力部１０８を含んで構成される。
　＜２．２．１　オブジェクト描画要求部２４０１、描画要求キュー２４０２＞
　オブジェクト描画要求部２４０１は、制御部１０４が発行する駆動イベントに従い、重畳処理を行う図形、記号、文字等のオブジェクトに関する情報およびオブジェクトに付与する視差量を含む描画要求キュー２４０２を生成する。オブジェクトに付与する視差量が予め与えられる点において、実施の形態１にかかるオブジェクト描画要求部１０５、描画要求キュー１０６と異なる。
　図２５は、描画要求キュー２４０２のデータ構造を示す模式図である。本図に示されるように、描画要求キュー２４０２は、オブジェクト数２５０１と領域情報・視差２５０２と画像データ２５０３を含む。オブジェクト数２５０１は、重畳処理を行うオブジェクトの数を示す。領域情報・視差２５０２は、メインビューデータを構成する左目用画像における各オブジェクトを重畳する領域およびその視差を示す情報である。画像データ２５０３は、各オブジェクトの画像データを示す。この画像データ２５０３が左目用画像、右目用画像に重畳される。
　＜２．２．２　映像処理部２４０３＞
　図２６は、映像処理部２４０３の内部構成の一例を示すブロック図である。図４に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるとおり映像処理部２４０３は、視差マスク生成部４０１、視差情報生成部２６０１、オブジェクト描画領域決定部２６０２、オブジェクト画像生成部２６０３、合成部４０５を含んで構成される。
　まず視差情報生成部２６０１について説明する。実施の形態１にかかる視差情報生成部が、特徴点以外の画素点に対して視差算出式による視差の算出を行っていたのに対して、本実施の形態にかかる視差情報生成部２６０１は、特徴点に対しても視差算出式による視差の算出を行う点が異なる。以下では、視差マスクで示される領域中の、特徴点を含む全ての画素に対して視差算出式による視差の算出を行う理由を、図を用いて説明する。
　図２７は、映像処理装置２４００によるオブジェクトの重畳を示す図である。横軸は画素点のｘ座標、縦軸は画素点の視差を示す。また斜線円は特徴点の視差、その他の円は視差算出式で算出した画素の視差を示す。
　ここで、本実施の形態では特徴点に対しても視差算出式を適用し、その算出結果を用いてオブジェクトを重畳するので、図２７（ａ）に示されるようにオブジェクトが重畳される。一方、特徴点に対して視差算出式を適用せず、オブジェクトを重畳した場合、図２７（ｂ）に示されるようにオブジェクトが重畳される。本図に示されるように、視差算出式によって算出された視差の値と、特徴点における画素の対応付けにより算出された視差の値とが、乖離してある特徴点だけが飛び出しているような場合、その特徴点部分の数画素においてオブジェクトが重畳されず、ドット落ちのような現象が発生する。本実施の形態では、かかる事態を回避するため、視差マスクで示される領域中の特徴点を含む全ての画素に対して視差算出式による視差の算出を行い、その視差の値に基づきオブジェクトの重畳を行う。以上が視差情報生成部２６０１についての説明である。続いて、オブジェクト描画領域決定部２６０２について説明する。
　オブジェクト描画領域決定部２６０２は、重畳処理においてオブジェクトを描画する領域を決定する。具体的には、オブジェクト描画領域決定部２６０２は、まず、描画要求キュー２４０２に格納されるオブジェクトに付与する視差の値と視差情報生成部２６０１算出された左目用画像の視差マスクで示される領域の視差を比較する。そして、オブジェクト描画領域決定部２６０２は、視差マスクで示される領域のうち、左目用画像の視差がオブジェクトの視差よりも小さい領域のみをオブジェクト描画領域とする。左目用画像の視差がオブジェクトの視差よりも大きい領域については、オブジェクト描画領域としない。以上がオブジェクト描画領域決定部２６０２についての説明である。続いて、オブジェクト画像生成部２６０３について説明する。
　オブジェクト画像生成部２６０３は、オブジェクト描画領域決定部２６０２により決定されたオブジェクトを描画する領域に基づきオブジェクト画像を生成する。
　図２８は、オブジェクト画像の生成を説明するための図である。点線で示される領域は、左目用画像の視差がオブジェクトの視差よりも大きい領域を示す。本図に示されるように、オブジェクト画像生成部２６０３は、オブジェクト描画領域決定部２６０２が決定したオブジェクト描画領域に基づき、描画要求キュー２４０２で示される領域のうち、左目用画像の視差がオブジェクトの視差よりも小さい領域について左目用オブジェクト２８２０を描画する。
　また、オブジェクト画像生成部２６０３は、描画要求キュー２４０２に格納される視差の値２８０１だけオブジェクト２８２０を左方向にずらして右目用オブジェクト画像２８３０を生成する。
　図３０は、重畳処理後の立体視映像の立体視を示す図である。本図に示されるように、予め設定されたオブジェクトに付与する視差量よりも大きい視差量を有する領域については、オブジェクトは重畳されないので、元の立体視映像がオブジェクトよりも飛び出して表示され、オブジェクトが元の立体視映像部分に埋没することを防ぐことができ、視聴者は違和感なく立体視映像および重畳されたオブジェクトを観察することができる。
　以上が映像処理装置２４００の構成についての説明である。続いて、上記構成を備える映像処理装置２４００の動作について説明する。
　＜２．３　動作＞
　実施の形態１における映像処理装置１００と異なる映像処理について説明する。図２９は、映像処理装置２４００の映像処理の動作を示すフロー図である。図２２に示す実施の形態１に係る映像処理の動作と同じ部分については、同符号を付す。
　まず、視差情報生成部２６０１は、オブジェクトを重畳する領域の左目用画像、右目用画像間の視差を算出する（ステップＳ２９０１）。前述の通り、視差情報生成部２６０１は、特徴点を含む全ての画素に対して視差算出式による視差の算出を行う。
　次に、オブジェクト描画領域決定部２６０２は、描画要求キュー２４０２に格納されるオブジェクトに付与する視差の値と視差情報生成部２６０１で算出された左目用画像の視差マスクで示される領域の視差を比較して、重畳処理においてオブジェクトを描画する領域を決定する（ステップＳ２９０２）。
　そして、オブジェクト画像生成部２６０３は、ステップＳ２９０２で決定した描画領域および描画要求キュー２４０２に格納される視差の値に基づき、左目用オブジェクト画像および右目用オブジェクト画像を生成する（ステップＳ２９０３）。
　合成部４０５は、左目用画像に対して左目用オブジェクト画像を、右目用画像に右目用オブジェクト画像を重畳する（ステップＳ２２０４）。以上が映像処理装置２４００の動作についての説明である。
　以上のように本実施形態によれば、重畳領域内の画素およびその外部近傍に位置する画素から特徴点を抽出し、抽出した特徴点の視差に基づき重畳領域の視差を算出し、予め与えられたオブジェクトの視差よりも大きい視差を有する重畳領域については、オブジェクトの重畳処理を行わないので、元の立体視映像がオブジェクトよりも飛び出して表示されオブジェクトが元の立体視映像部分に埋没することを防ぐことができる。
　≪実施の形態３≫
　＜３．１　概要＞
　実施の形態３にかかる映像処理装置は、実施の形態１にかかる映像処理装置１００と同様に、オブジェクトを重畳する立体視映像上の領域における視差を算出するものであるが、算出した視差を、三次元表示における深さ方向の位置を示す深度情報に変換する点において異なる。これにより、本実施の形態にかかる映像処理装置は、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成することができる。
　＜３．２　構成＞
　実施の形態３にかかる映像処理装置は、図１に示す実施の形態１にかかる映像処理装置１００に対して、映像処理部の構成が異なる。映像処理部１０７以外の構成、すなわち、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー１０６、出力部１０８については、同じ構成である。以下では、映像処理装置１００とは異なる映像処理部について説明する。
　図３１は、実施の形態３にかかる映像処理部３１００の内部構成の一例を示すブロック図である。図４、図９に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるとおり映像処理部３１００は、視差マスク生成部４０１、視差情報生成部４０２、深度情報変換部３１０１、深度情報格納部３１０２、オブジェクト視差決定部３１０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。また、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。
　＜３．２．１　深度情報変換部３１０１、深度情報格納部３１０２＞
　深度情報変換部３１０１は、視差を深度情報に変換する機能を有する。また、深度情報格納部３１０２は、深度情報変換部３１０１により生成された深度情報を格納する機能を有する。
　ここで、深度情報とは、画像データに映る各被写体の三次元表示における深さ方向の位置を示す情報である。立体視画像においては、視差の値が大きくなるにつれ、被写体の三次元表示における深さ方向の位置は手前になる。また、視差の値が小さくなるにつれ、被写体の三次元表示における深さ方向の位置は奥になる。すなわち、視差と深さ方向の距離との間には比例関係が成り立つ。
　このため、深度情報変換部３１０１は、視差マップ９０４に格納された視差の値を、深度情報として、深度情報格納部３１０２に格納する。
　また、深度情報変換部３１０１は、視差マップ９０４に格納された視差の値をそのまま深度情報として深度情報格納部３１０２に格納するのではなく、視差マップ９０４に格納された視差の値をスケーリング及びシフトした値を、深度情報として、深度情報格納部３１０２に格納してもよい。
　深度情報変換部３１０１は、例えば、以下に示す数式を用いて、視差の値をスケーリング及びシフトする。
　　深度情報＝視差量×α＋β
　ここで、スケーリングの重みパラメータα、シフトの重みパラメータβの値は、任意の設定値である。例えば、α＝２５５／（最大視差量－最小視差量）、β＝０としてもよい。また、映像処理装置の使用者によりα、βの各値が入力されるものであってもよい。
　また、スケーリング（重みパラメータを乗ずる）、シフト（重みパラメータを加える）の両方を行うのではなく、スケーリングまたはシフトの何れか一方のみを行うとしてもよい。
　このように算出した深度情報は、画像データの各画素と関連づけて、深度情報３１０２に格納する。例えば、図３２に示すような、奥行きを輝度で表現した画像データとして格納してもよい。本図に示す例では、前方に位置するほど色が白、後方に位置するほど色が黒で表される。
　＜３．２．２　オブジェクト視差決定部３１０３＞
　オブジェクト視差決定部３１０３は、オブジェクトを重畳する領域内の画素が有する最大視差を検出し、検出した最大視差を重畳するオブジェクトの視差量とする。この際、オブジェクト視差決定部３１０３は、深度情報格納部３１０２に格納された深度情報から視差の値を生成し、生成した視差の値を用いて、重畳するオブジェクトの視差を決定する。
　深度情報格納部３１０２に格納された深度情報が、視差マップ９０４に格納された視差の値をそのまま深度情報として格納したものである場合、オブジェクト視差決定部３１０３は、深度情報格納部３１０２に格納された深度情報の値をそのまま視差の値として用いて、重畳するオブジェクトの視差を決定する。
　また、深度情報格納部３１０２に格納された深度情報が、視差マップ９０４に格納された視差の値をスケーリング及び／又はシフトしたものである場合、オブジェクト視差決定部３１０３は、スケーリング及び／又はシフトに用いた演算と逆の演算を行うことにより、深度情報から視差の値を生成する。例えば、＜３．２．１＞節で述べた“深度情報＝視差量×α＋β”の数式を用いてスケーリング及びシフトした場合、以下の数式を用いることにより、深度情報から視差の値を生成することができる。
　　視差量＝（深度情報－β）／α
　なお、オブジェクト視差決定部３１０３は、実施の形態１にかかる映像処理装置１００と同様に、視差マップ格納部９０４に格納された視差の値を用いて、重畳するオブジェクトの視差を決定してもよい。
　以上が映像処理部３１００の構成についての説明である。続いて、上記構成を備える映像処理部３１００の動作について説明する。
　＜３．３　動作＞
　実施の形態１における映像処理装置１００と異なる深度情報変換処理について説明する。図３３は、映像処理部３１００の深度情報変換処理の動作を示すフロー図である。
　本図に示されるように、深度情報変換部３１０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。
　次に、深度情報変換部３１０１は、取得した視差量をスケーリング及び／又はシフトする（ステップＳ３３０２）。ここでは、例えば、＜３．２．１＞節で述べた“深度情報＝視差量×α＋β”数式を用いてスケーリング及び／又はシフトする。
　そして、深度情報変換部３１０１は、視差量をスケーリング及び／又はシフトすることにより算出された値を、深度情報として深度情報格納部３１０２に格納する（ステップＳ３３０３）。
　なお、視差量をスケーリング及び／又はシフトした値を、深度情報として深度情報格納部３１０２に格納するのではなく、視差マップ９０４に格納された視差量をそのまま深度情報として深度情報格納部３１０２に格納する場合、上記のステップＳ３３０２に示される処理は行わない。以上が、映像処理部３１００の動作についての説明である。
　以上のように、本実施の形態にかかる映像処理装置によれば、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差から深度情報を生成するため、高速かつ精度よく、三次元表示における深さ方向の位置を示す深度情報を生成することができる。
　≪実施の形態４≫
　＜４．１　概要＞
　実施の形態４にかかる映像処理装置は、実施の形態３にかかる映像処理装置と同様に、左目用画像および右目用画像の画像データの組みから、三次元表示における深さ方向の位置を示す深度情報を生成するものであるが、生成する深度情報の内容が異なる。本実施の形態にかかる映像処理装置は、左目用画像および右目用画像の画像データの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を生成する。
　＜４．２　構成＞
　図３４は、実施の形態４にかかる映像処理装置３４００の構成の一例を示すブロック図である。図１に示す実施の形態１にかかる映像処理装置１００の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるように、映像処理装置３４００は、操作部１０１、映像取得部１０２、左目用画像・右目用画像格納部１０３、撮像パラメータ格納部３４０１、制御部１０４、オブジェクト描画要求部１０５、描画要求キュー１０６、映像処理部３４０２、出力部１０８を含んで構成される。
　＜４．２，１　撮像パラメータ格納部３４０１＞
　撮像パラメータ格納部３４０１は、左目用画像・右目用画像の撮像カメラに関するパラメータ情報を格納する機能を有する。ここで、撮像パラメータとは、例えば、撮像カメラの画角、撮像カメラにより撮影された画像の解像度、左目用画像の撮像カメラから右目用画像の撮像カメラまでの直線距離である基線長の情報を含む。なお、撮像カメラの画角にかえて、撮像カメラの焦点距離とフレームサイズの情報を含むとしてもよい。
　これらの撮像パラメータは、例えば、映像取得部１０２で取得した立体視映像に付属情報として多重化されており、この取得した立体視映像を多重分離することで得られる。また、これらの撮像パラメータは、装置使用者等の入力により与えられるものであってもよい。また、これらの撮像パラメータは、外部入力から与えられるものであってもよい。
　＜４．２．２　映像処理部３４０２＞
　映像処理部３４０２は、左目用画像・右目用画像格納部１０３に格納された左目用画像・右目用画像の組みに対する視差を算出する。そして、映像処理部３４０２は、撮像パラメータ格納部３４０１に格納された撮像パラメータを用いて、算出した視差を、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する。
　図３５は、映像処理部３４０２の内部構成の一例を示すブロック図である。図４、図９に示す実施の形態１にかかる映像処理部１０７の構成と同じ部分については、同符号を付して説明を省略し、異なる部分について説明する。本図に示されるように、映像処理部３４０２は、視差マスク生成部４０１、視差情報生成部４０２、深度情報変換部３５０１、深度情報格納部３５０２、オブジェクト視差決定部３５０３、オブジェクト画像生成部４０４、合成部４０５を含んで構成される。また、視差情報生成部４０２は、特徴点抽出部９０１、第１視差算出部９０２、第２視差算出部９０３、視差マップ格納部９０４を含んで構成される。
　＜４．２．２．１　深度情報変換部３５０１、深度情報格納部３５０２＞
　深度情報変換部３５０１は、視差を深度情報に変換する機能を有する。また、深度情報格納部３５０２は、深度情報変換部３５０１により生成された深度情報を格納する機能を有する。
　本実施の形態では、深度情報変換部３５０１は、撮像パラメータを用いて、視差を撮像位置から被写体までの実距離に変換し、変換した実距離の情報を深度情報として、深度情報格納部３５０２に格納する。
　図３６は、撮像カメラと被写体の位置関係を示す図である。ここでは、左右のカメラの光軸を平行にして被写体を撮影する、いわゆる平行法の場合を考える。本図において、ｄは撮像位置から被写体までの深さ方向の実距離、θは水平画角（フレームの左端から右端までの角度）、Ｌは基線長（左目用画像の撮像カメラから右目用画像の撮像カメラまでの直線距離）、ｗｉｄｔｈrealは光軸から被写体までの実距離を示す。
　また、図３７は、視差と実距離との関係を示す図である。本図において、ｗは左目用画像・右目用画像の幅（ピクセル数）を示す。
　ここで、図３６を参照するに、フレームの端に位置する被写体とフレーム中央に位置する被写体との間の実距離は、ｔａｎ（θ／２）・ｄとなる。よって、単位実距離あたりの画素数は、ｗ／２ｔａｎ（θ／２）・ｄとなる。
　このことから、図３７に示されるように、左目用画像の中央から被写体までの画素数は、ｗｉｄｔｈreal・ｗ／２ｔａｎ（θ／２）・ｄとなる。また同様に、右目用画像の中央から被写体までの画素数は、（Ｌ－ｗｉｄｔｈreal）・ｗ／２ｔａｎ（θ／２）・ｄとなる。従って、左目用画像と右目用画像の組みに対する視差ＤＰは、以下の数式のように表される。
Figure JPOXMLDOC01-appb-M000002
　また、撮像位置から被写体までの深さ方向の実距離ｄは、視差ＤＰを用いて以下の数式のように表される。
Figure JPOXMLDOC01-appb-M000003
　上記数式における水平画角θ、基線長Ｌ、画像のピクセル幅ｗの情報は、撮像パラメータとして撮像パラメータ格納部３４０１に格納されている。深度情報変換部３５０１は、撮像パラメータ格納部３４０１から撮像パラメータを取得し、視差マップ格納部９０４から視差の情報を取得し、上記の数式に示される関係を用いて、撮像位置から被写体までの深さ方向の実距離を算出する。
　なお、撮像パラメータ格納部３４０１が、撮像パラメータとして、撮像カメラの画角の代わりに撮像カメラの焦点距離とフレームサイズの情報を格納している場合には、撮像カメラの焦点距離とフレームサイズの情報を用いて、撮像位置から被写体までの深さ方向の実距離を算出する。具体的には、撮像カメラの焦点距離とフレームサイズの情報から、撮像カメラの画角の値を算出する。そして、算出された画角の値を用いて、上記の数３に示す関係式から、撮像位置から被写体までの深さ方向の実距離を算出する。
　＜４．２．２．２　オブジェクト視差決定部３５０３＞
　オブジェクト視差決定部３５０３は、オブジェクトを重畳する領域内の画素が有する最大視差を検出し、検出した最大視差を重畳するオブジェクトの視差量とする。この際、オブジェクト視差決定部３５０３は、深度情報格納部３５０２に格納された深度情報から視差の値を生成し、生成した視差の値を用いて、重畳するオブジェクトの視差を決定する。
　具体的には、オブジェクト視差決定部３５０３は、数２に示した視差ＤＰと撮像位置から被写体までの深さ方向の実距離ｄとの関係式を用いて、深度情報から視差を生成することができる。
　なお、オブジェクト視差決定部３５０３は、実施の形態１にかかる映像処理装置１００と同様に、視差マップ格納部９０４に格納された視差の値を用いて、重畳するオブジェクトの視差を決定してもよい。
　＜４．３　動作＞
　実施の形態１における映像処理装置１００と異なる深度情報変換処理について説明する。図３８は、映像処理装置３４００の深度情報変換処理の動作を示すフロー図である。
　本図に示されるように、深度情報変換部３５０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。
　次に、深度情報変換部３５０１は、撮像パラメータ格納部３４０１に格納された水平画角、解像度、基線長の撮像パラメータを取得する（ステップＳ３８０１）。
　次に、深度情報変換部３５０１は、撮像パラメータを用いて、視差を画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する（ステップＳ３８０２）。この変換処理は、画像データを構成する全ての画素に対して行う。
　そして、深度情報変換部３５０１は、視差の値から算出した画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離の値を、深度情報として深度情報格納部３５０２に格納する（ステップＳ３８０３）。以上が、映像処理装置３４００の動作についての説明である。
　以上のように、本実施の形態にかかる映像処理装置３４００によれば、左目用画像および右目用画像の画像データの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を生成することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差を用いて、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出するため、高速かつ精度よく、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出することができる。
　≪実施の形態５≫
　実施の形態５にかかる映像処理装置は、実施の形態４にかかる映像処理装置と同様に、左目用画像および右目用画像のデータの組みから、画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離を算出するものであるが、左目用画像および右目用画像に施されたプレーンシフト量を考慮して実距離を算出する点において異なる。
　まず、プレーンシフトについて説明する。プレーンシフトとは、プレーンメモリにおけるライン単位の画素の座標を、左方向または右方向にシフトさせることで、立体視画像の奥行き感を変化させるものである。
　左右の撮像カメラで撮影された左目用画像および右目用画像は、その撮影条件や撮像する被写体の位置によっては、視差が大きくなる場合がある。過度に大きな視差を有する立体視画像は、視聴者の視覚疲労、不快感、立体視酔い等を引き起こす可能性があることが知られている。このような、大きな視差を有する左目用画像、右目用画像の組みに対して、プレーンシフトを行うことにより、視差を低減することができる。
　図３９は、プレーンシフトを説明するための図である。実線で囲われた領域は撮像カメラにより撮影された領域を示し、点線で囲われた領域は実際に画像データとして記録する領域を示す。
　本図に示す例では、大きな視差を有する左目用画像、右目用画像の組みに対して、右目用画像を右方向にＳだけプレーンシフトしている。これにより、プレーンシフト後の左目用画像、右目用画像の視差が低減され、視聴者にとって見やすい立体視画像となっている。ここで、プレーンシフト後の視差ＤＰ´とプレーンシフト前の視差ＤＰとの間には、以下に示す関係式が成り立つ。
　　ＤＰ＝ＤＰ´－Ｓ
　このように、左目用画像、右目用画像がプレーンシフトされている場合、視差マップ格納部９０４に格納される視差の値は、実際に撮影された画像データにおける被写体間の視差ＤＰではなく、プレーンシフト後の画像データにおける被写体間の視差ＤＰ´となる。
　しかし、撮像位置から被写体までの深さ方向の実距離を算出するためには、実際に撮影された画像データにおける被写体の位置関係を示す視差ＤＰが必要となる。このため、本実施の形態にかかる深度情報変換部では、プレーンシフト量Ｓを用いて視差ＤＰを算出し、撮像位置から被写体までの深さ方向の実距離を算出する。
　ここで、撮像位置から被写体までの深さ方向の実距離ｄは、視差ＤＰ´とプレーンシフト量Ｓを用いて以下の数式のように表される。
Figure JPOXMLDOC01-appb-M000004
　実施の形態４では、画角、解像度、基線長の撮像パラメータを用いて、視差から、撮像位置から被写体までの深さ方向の実距離を算出したが、本実施の形態では、画角、解像度、基線長に加え、プレーンシフト量の撮像パラメータが必要となる。
　プレーンシフト量の撮像パラメータは、例えば、映像取得部１０２で取得した立体視映像に付属情報として多重化されており、この取得した立体視映像を多重分離することで得られる。また、プレーンシフト量の撮像パラメータは、装置使用者等の入力により与えられるものであってもよい。また、プレーンシフト量の撮像パラメータは、外部入力から与えられるものであってもよい。取得したプレーンシフト量は撮像パラメータ格納部に格納する。
　次に、本実施の形態にかかる映像処理装置の実距離算出処理について説明する。図４０は、本実施の形態にかかる実距離算出処理の動作を示すフロー図である。
　本図に示されるように、深度情報変換部３５０１は、視差マップ９０４に格納された視差を取得する（ステップＳ３３０１）。
　次に、深度情報変換部３５０１は、撮像パラメータ格納部３４０１に格納された水平画角、解像度、基線長、プレーンシフト量の撮像パラメータを取得する（ステップＳ４００１）。
　次に、深度情報変換部３５０１は、水平画角、解像度、基線長、プレーンシフト量の撮像パラメータを用いて、視差を画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離に変換する（ステップＳ４００２）。具体的には、数４に示した関係式を用いて、画像データに映る被写体までの深さ方向の実距離を算出する。この変換処理は、画像データを構成する全ての画素に対して行う。
　そして、深度情報変換部３５０１は、視差の値から算出した画像データの撮像位置から画像データに映る被写体までの深さ方向の実距離の値を、深度情報として深度情報格納部３５０２に格納する（ステップＳ４００３）。以上が、本実施の形態にかかる映像処理装置の動作についての説明である。
　以上のように、本実施の形態にかかる映像処理装置によれば、プレーンシフトを施した左目用画像および右目用画像の画像データの組みから、撮像位置から被写体までの深さ方向の実距離を算出することができる。また、視差情報生成部４０２により高速かつ精度よく算出した視差を用いて、撮像位置から被写体までの深さ方向の実距離を算出するため、高速かつ精度よく、撮像位置から被写体までの深さ方向の実距離を算出することができる。
　≪補足≫
　なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
　（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
　（ｂ）本発明は、アプリケーション実行制御を行うＩＣ、ＬＳＩ、その他の集積回路のパッケージとして構成されるものとしてもよい。図４１は、本発明にかかる映像処理装置を、ＬＳＩを用いて具現化した例を示す。本図に示されるように、ＬＳＩ４１００は、例えば、ＣＰＵ４１０１（中央処理装置：Central Processing Unit）、ＤＳＰ４１０２（デジタル信号プロセッサ：Digital Signal Processor）、ＥＮＣ／ＤＥＣ４１０３（エンコーダ／デコーダ：Encoder/Decoder）、ＶＩＦ４１０４（ビデオインターフェイス：Video Interface）、ＰＥＲＩ４１０５（周辺機器インターフェイス：Peripheral Interface）、ＮＩＦ４１０６（ネットワークインターフェイス：Network Interface）、ＭＩＦ４１０７（メモリインターフェイス：Memory Interface）、ＲＡＭ／ＲＯＭ４１０８（ランダムアクセスメモリ／読み出し専用メモリ：Random Access Memory/Read Only Memory）を含んで構成される。
　各実施の形態で説明した処理手順は、プログラムコードとしてＲＡＭ／ＲＯＭ４１０８に格納される。そして、ＲＡＭ／ＲＯＭ４１０８に格納されたプログラムコードは、ＭＩＦ４１０７を介して読み出され、ＣＰＵ４１０１またはＤＳＰ４１０２で実行される。これにより、各実施の形態で説明した映像処理装置の機能を実現することができる。
　また、ＶＩＦ４１０４は、Camera（Ｌ）４１１３、Camera（Ｒ）４１１４等の撮像装置や、ＬＣＤ４１１２（液晶ディスプレイ：Liquid Crystal Display）等の表示装置と接続され、立体視映像の取得または出力を行う。また、ＥＮＣ／ＤＥＣ４１０３は、取得または生成した立体視映像のエンコード・デコードを行う。また、ＰＥＲＩ４１０５は、ＨＤＤ４１１０（ハードディスクドライブ：Hard Disk Drive）等の記録装置や、Ｔｏｕｃｈ　Ｐａｎｅｌ４１１１等の操作装置と接続され、これらの周辺機器の制御を行う。また、ＮＩＦ４１０６は、ＭＯＤＥＭ４１０９等と接続され、外部ネットワークとの接続を行う。
　このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
　なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　（ｃ）実施の形態１、２、３、４、５において、処理の対象となる立体視映像は、左目用映像と右目用映像の組みからなる２視点映像であったが、３以上の視点から被写界を撮像して得られた多視点映像であってもよい。３以上の多視点映像に対しても、同様の映像処理を行うことができる。
　（ｄ）実施の形態１、２、３、４、５において、映像取得部１０２が取得する立体視映像は、映像処理装置１００に接続された撮像装置によりリアルタイムに撮像された立体視映像であるとしたが、遠隔地でリアルタイムに撮像された立体視映像をネットワークを通じて取得するものであってもよい。また、サーバ内に記録された立体視映像をネットワークを通じて取得するものであってもよい。また、テレビ放送等をアンテナを通じて取得するものであってもよい。また、映像処理装置１００の外部または内部の記録装置に記録された立体視映像であってもよい。ここで記録装置は、例えばハードディスクドライブ、ＢＤ、ＤＶＤ等の光ディスク、またはＳＤメモリカード等の半導体メモリ装置である。
　（ｅ）実施の形態１、２、３、４、５では、視差算出式を適用する領域を図１５の斜線部で示される領域としているが、これはサンプリング点から特定可能な領域であればよい。例えば、サンプリング点群の中心点の座標をサンプリング点の座標の平均値とし、当該中心点から特定の距離内の領域を、視差算出式を適用する領域としてもよい。また、当該特定の距離として、サンプリング点の分散値に比例した値を用いてもよい。
　（ｆ）実施の形態１、２、３、４、５では、図９に示すように、サンプリング点情報５０４の特徴点インデックス９０２を固定長の配列とするが、これは可変長の配列でもよいし、リスト構造のような配列以外の構造としてもよい。
　（ｇ）実施の形態１では、オブジェクトを重畳する領域内の画素が有する最大視差をオブジェクトの視差量としたが、オブジェクトを重畳する領域内の画素が有する最大視差量に予め定義されたオフセット値を加えたものをオブジェクトの視差量としてもよい。
　（ｈ）実施の形態１、２、３、４、５では、描画要求キューで指定されるオブジェクトを重畳する領域の座標は左目用画像におけるものであり、左目用画像から特徴点を抽出したが、描画要求キューで指定されるオブジェクトを重畳する領域の座標が右目用画像のものであり、右目用画像から特徴点を抽出するものであってもよい。
　（ｉ）実施の形態１、２、３、４、５では、特徴点の視差に基づき重畳領域内の特徴点以外の画素の視差を求めるにあたり、数１に示される視差の推定モデルのパラメータを最小二乗法により決定し、視差算出式を導出したが、この手法に限定されるものではない。例えば、低次またはより高次の式に対する最小二乗法や、重み付き最小二乗法により視差の推定モデルのパラメータを算出してもよい。またその他の推定モデルを用いてもよい。
　さらに複数の推定モデルを用意しておき、重畳処理を行う立体視映像の種別に応じて、適した推定モデルを選択してもよい。
　（ｊ）実施の形態１、２、３、４、５では、オブジェクト描画要求部は、操作部による立体視映像に重畳する図形、記号、文字等のオブジェクトデータの内容、重畳する位置等の指定に基づき描画要求キューを生成するとしたが、ユーザの操作入力を受け付ける外部装置のアプリケーションからネットワーク等を通じてイベントを取得し、取得したイベントに基づき描画要求キューを生成してもよい。
　合成処理後の立体視映像を上記の外部装置に送信することで、ネットワークを通じた合成処理の対話型処理が可能となる。
　（ｋ）上記の実施の形態及び上記の変形例をそれぞれ組み合わせるとしてもよい。
　本発明に係る映像処理装置によれば、視差を算出すべき領域を構成する画素、およびその外部近傍に位置する画素から特徴点を抽出し、その抽出した特徴点を用いて視差を算出すべき領域を構成する全画素の視差を算出するので、立体視映像中の視差を算出すべき領域の視差を高速かつ精度よく算出することができ有益である。
　１００　映像処理装置
　１０１　操作部
　１０２　映像取得部
　１０３　左目用画像・右目用画像格納部
　１０４　制御部
　１０５　オブジェクト描画要求部
　１０６　描画要求キュー
　１０７　映像処理部
　１０８　出力部
　４０１　視差マスク生成部
　４０２　視差情報生成部
　４０３　オブジェクト視差決定部
　４０４　オブジェクト画像生成部
　４０５　合成部
　９０１　特徴点抽出部
　９０２　第１視差算出部
　９０３　第２視差算出部
　９０４　視差マップ格納部
　２４００　映像処理装置
　２４０１　オブジェクト描画要求部
　２４０２　描画要求キュー
　２４０３　映像処理部
　２６０１　視差情報生成部
　２６０２　オブジェクト描画領域決定部
　２６０３　オブジェクト画像生成部
　３１００　映像処理部
　３１０１　深度情報変換部
　３１０２　深度情報格納部
　３１０３　オブジェクト視差決定部
　３４００　映像処理装置
　３４０１　撮像パラメータ格納部
　３４０２　映像処理部
　３５０１　深度情報変換部
　３５０２　深度情報格納部
　３５０３　オブジェクト視差決定部
　４１００　ＬＳＩ
　４１０１　ＣＰＵ
　４１０２　ＤＳＰ
　４１０３　ＥＮＣ／ＤＥＣ
　４１０４　ＶＩＦ
　４１０５　ＰＥＲＩ
　４１０６　ＮＩＦ
　４１０７　ＭＩＦ
　４１０８　ＲＡＭ／ＲＯＭ
　４１０９　ＭＯＤＥＭ
　４１１０　ＨＤＤ
　４１１１　Ｔｏｕｃｈ　Ｐａｎｅｌ
　４１１２　ＬＣＤ
　４１１３　Ｃａｍｅｒａ（Ｌ）
　４１１４　Ｃａｍｅｒａ（Ｒ）

Claims (17)

  1. 　立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理装置であって、
    　メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出部と、
    　サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出部と、
    　算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出部と
    　を備えることを特徴とする映像処理装置。
  2. 　前記特徴点抽出部は、
    　予め決められた数の特徴点が発見されない場合、
    　抽出済みの領域に近接する所定領域を抽出範囲として新たに選択し、選択した抽出範囲から特徴点を抽出する処理を予め決められた数の特徴点が発見されるまで繰り返す
    　ことを特徴とする請求項１に記載の映像処理装置。
  3. 　前記特徴点抽出部は、
    　前記メインビューデータのオフセット量を算出すべき領域内の対象画素を中心としてメインビューデータを分割し、
    　抽出範囲を前記メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に絞り込んで、前記抽出範囲に位置する画素から特徴点を抽出する処理を分割象限毎に行い、
    　分割象限において予め決められた数の特徴点が発見されない場合、
    　抽出済みの領域に近接する所定領域を抽出範囲として新たに選択し、選択した抽出範囲から特徴点を抽出する処理を当該分割象限に予め決められた数の特徴点が発見されるまで繰り返す
    　ことを特徴とする請求項１に記載の映像処理装置。
  4. 　前記第２オフセット量算出部は、
    　算出された特徴点のオフセット量を用いて、メインビューデータのオフセット量を算出すべき領域のオフセット量分布を示す式を導出することにより、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する
    　ことを特徴とする請求項１に記載の映像処理装置。
  5. 　前記映像処理装置はさらに、
    　オフセット量を算出すべき領域を示すマスクを生成するマスク生成部を備えることを特徴とする請求項１に記載の映像処理装置。
  6. 　前記オフセット量を算出すべき領域は、メインビューデータのうち合成処理を行う合成領域であり、
    　前記映像処理装置はさらに、
    　前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量に基づき、メインビューデータおよびサブビューデータのそれぞれに合成画像を合成する合成部を備えることを特徴とする請求項１に記載の映像処理装置。
  7. 　前記合成部は、
    　前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量のうち最大のオフセット量を合成画像に付与し、メインビューデータおよびサブビューデータに合成することを特徴とする請求項６に記載の映像処理装置。
  8. 　前記合成部は、
    　前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたメインビューデータの合成領域を構成する画素のオフセット量と予め設定された合成画像のオフセット量とを比較し、
    　合成画像のオフセット量よりも大きいオフセット量を有するメインビューデータの画素からなる領域およびそれに対応するサブビューデータの領域については、合成画像を合成しないことを特徴とする請求項６に記載の映像処理装置。
  9. 　前記映像処理装置はさらに、
    　前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、三次元表示における深さ方向の位置を示す深度情報に変換する深度情報変換部を備える
    　ことを特徴とする請求項１に記載の映像処理装置。
  10. 　前記深度情報変換部は、前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量をスケーリング及びシフトのいずれか一方又は両方を行う
    　ことを特徴とする請求項９に記載の映像処理装置。
  11. 　前記深度情報は、撮像位置から被写体までの深さ方向の実距離である
    　ことを特徴とする請求項９に記載の映像処理装置。
  12. 　前記深度情報変換部は、メインビューデータの撮像カメラおよびサブビューデータの撮像カメラの撮像パラメータを用いて、前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、前記実距離に変換する
    　ことを特徴とする請求項１１に記載の映像処理装置。
  13. 　前記撮像パラメータは、メインビューデータの撮像カメラとサブビューデータの撮像カメラの画角、メインビューデータの撮像カメラとサブビューデータの撮像カメラの解像度、およびメインビューデータの撮像カメラからサブビューデータの撮像カメラまでの基線長を含む
    　ことを特徴とする請求項１２に記載の映像処理装置。
  14. 　前記撮像パラメータは、メインビューデータの撮像カメラとサブビューデータの撮像カメラの焦点距離、メインビューデータの撮像カメラとサブビューデータの撮像カメラのフレームサイズ、メインビューデータの撮像カメラとサブビューデータの撮像カメラの解像度、およびメインビューデータの撮像カメラからサブビューデータの撮像カメラまでの基線長を含む
    　ことを特徴とする請求項１２に記載の映像処理装置。
  15. 　前記深度情報変換部は、メインビューデータおよびサブビューデータがプレーンシフトされたビューデータである場合、
    　前記第１オフセット量算出部または前記第２オフセット量算出部で算出されたオフセット量を、プレーンシフトされる前のメインビューデータおよびサブビューデータの組みに対する対応画素間のオフセット量に変換し、変換後の前記オフセット量に基づき、前記実距離を算出する
    　ことを特徴とする請求項１１に記載の映像処理装置。
  16. 　立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する映像処理方法であって、
    　メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出ステップと、
    　サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出ステップと、
    　算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出ステップと
    　を備えることを特徴とする映像処理方法。
  17. 　立体視映像を構成するメインビューデータおよびサブビューデータの組みにおける対応画素間の水平座標位置のオフセット量を算出する処理をコンピュータに実行させるプログラムであって、
    　メインビューデータのうちオフセット量を算出すべき領域、および前記オフセット量を算出すべき領域の外部近傍の領域に抽出範囲を絞り込んで、前記抽出範囲に位置する画素から予め決められた数の特徴点を抽出する特徴点抽出ステップと、
    　サブビューデータに対して、前記各特徴点の対応点探索を行うことにより各特徴点のオフセット量を算出する第１オフセット量算出ステップと、
    　算出された各特徴点のオフセット量に基づき、メインビューデータのオフセット量を算出すべき領域を構成する画素のオフセット量を算出する第２オフセット量算出ステップと
    　をコンピュータに実行させるプログラム。
PCT/JP2012/001259 2011-03-01 2012-02-23 映像処理装置、映像処理方法、プログラム WO2012117706A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013502186A JP5852093B2 (ja) 2011-03-01 2012-02-23 映像処理装置、映像処理方法、プログラム
US13/700,543 US20130071013A1 (en) 2011-03-01 2012-02-23 Video processing device, video processing method, program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011044081 2011-03-01
JP2011-044081 2011-03-01

Publications (1)

Publication Number Publication Date
WO2012117706A1 true WO2012117706A1 (ja) 2012-09-07

Family

ID=46757651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001259 WO2012117706A1 (ja) 2011-03-01 2012-02-23 映像処理装置、映像処理方法、プログラム

Country Status (3)

Country Link
US (1) US20130071013A1 (ja)
JP (1) JP5852093B2 (ja)
WO (1) WO2012117706A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793576A (zh) * 2018-12-10 2019-05-24 湖北得康科技有限公司 一种智能可视装置及可视手术器械
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
JP6967816B1 (ja) * 2021-05-07 2021-11-17 シンメトリー・ディメンションズ・インク 情報処理装置、及び、情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143472B1 (ko) * 2013-07-26 2020-08-12 삼성전자주식회사 다시점 영상 처리 장치 및 그 영상 처리 방법
JP6565188B2 (ja) * 2014-02-28 2019-08-28 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
WO2019039799A1 (ko) * 2017-08-20 2019-02-28 네이버 주식회사 시각적 입력의 처리
CN109752951B (zh) * 2017-11-03 2022-02-08 腾讯科技（深圳）有限公司 控制系统的处理方法、装置、存储介质和电子装置
CN111429338B (zh) * 2020-03-18 2023-08-01 百度在线网络技术（北京）有限公司 用于处理视频的方法、装置、设备和计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005122501A (ja) * 2003-10-17 2005-05-12 Sharp Corp 表示データ編集装置、表示装置、表示データ編集方法、プログラム及び記録媒体
JP2006121329A (ja) * 2004-10-20 2006-05-11 Fuji Xerox Co Ltd 画像合成装置、画像合成方法、画像合成プログラムおよび記録媒体
JP2006325165A (ja) * 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
WO2010010709A1 (ja) * 2008-07-24 2010-01-28 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
JP2010086228A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2998791B2 (ja) * 1996-10-31 2000-01-11 日本電気株式会社 三次元構造推定装置
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005122501A (ja) * 2003-10-17 2005-05-12 Sharp Corp 表示データ編集装置、表示装置、表示データ編集方法、プログラム及び記録媒体
JP2006121329A (ja) * 2004-10-20 2006-05-11 Fuji Xerox Co Ltd 画像合成装置、画像合成方法、画像合成プログラムおよび記録媒体
JP2006325165A (ja) * 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
WO2010010709A1 (ja) * 2008-07-24 2010-01-28 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
JP2010086228A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793576A (zh) * 2018-12-10 2019-05-24 湖北得康科技有限公司 一种智能可视装置及可视手术器械
CN109793576B (zh) * 2018-12-10 2021-09-28 湖北得康科技有限公司 一种智能可视装置及可视手术器械
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
JP6967816B1 (ja) * 2021-05-07 2021-11-17 シンメトリー・ディメンションズ・インク 情報処理装置、及び、情報処理方法
JP2022172833A (ja) * 2021-05-07 2022-11-17 シンメトリー・ディメンションズ・インク 情報処理装置、及び、情報処理方法

Also Published As

Publication number Publication date
US20130071013A1 (en) 2013-03-21
JP5852093B2 (ja) 2016-02-03
JPWO2012117706A1 (ja) 2014-07-07

Similar Documents

Publication Publication Date Title
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
CN107430782B (zh) 用于利用深度信息的全视差压缩光场合成的方法
CN103900583B (zh) 用于即时定位与地图构建的设备和方法
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
US20120242795A1 (en) Digital 3d camera using periodic illumination
KR101334187B1 (ko) 다시점 렌더링 장치 및 방법
EP2757789A1 (en) Image processing system, image processing method, and image processing program
CN101729920B (zh) 一种自由视角立体视频显示方法
Jung et al. Reconstruction of three-dimensional occluded object using optical flow and triangular mesh reconstruction in integral imaging
JPWO2011033673A1 (ja) 画像処理装置
US9681119B2 (en) Image encoding method and image encoding apparatus
WO2012094076A1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
JP2009175866A (ja) 立体像生成装置、その方法およびそのプログラム
TW202014993A (zh) 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
JP4819834B2 (ja) 立体映像処理装置及び立体映像処理方法
CN106170086A (zh) 绘制三维图像的方法及其装置、系统
JP6128748B2 (ja) 画像処理装置及び方法
JP3988879B2 (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
Angot et al. A 2D to 3D video and image conversion technique based on a bilateral filter
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
Xie et al. Depth-tunable three-dimensional display with interactive light field control
JP2008153805A (ja) 立体映像表示装置及び２次元画像の立体映像化方法
De Sorbier et al. Augmented reality for 3D TV using depth camera input

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2013502186

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12752428

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13700543

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12752428

Country of ref document: EP

Kind code of ref document: A1