WO2011129361A1 - 画像処理システム、画像処理方法、およびプログラム - Google Patents

画像処理システム、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2011129361A1
WO2011129361A1 PCT/JP2011/059160 JP2011059160W WO2011129361A1 WO 2011129361 A1 WO2011129361 A1 WO 2011129361A1 JP 2011059160 W JP2011059160 W JP 2011059160W WO 2011129361 A1 WO2011129361 A1 WO 2011129361A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
processing system
frames
unit
image processing
Prior art date
Application number
PCT/JP2011/059160
Other languages
English (en)
French (fr)
Inventor
墨友　博則
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to US13/639,919 priority Critical patent/US8923639B2/en
Priority to EP11768882A priority patent/EP2560369A1/en
Priority to JP2012510667A priority patent/JP5299567B2/ja
Publication of WO2011129361A1 publication Critical patent/WO2011129361A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to an image processing technique related to detection of corresponding points.
  • a stereo image having a moving image mode has a large amount of data
  • MPEG Motion Picture Experts Group
  • extension processing can be considered.
  • problems such as a longer corresponding point detection time due to an increase in the amount of computation required for the decompression process occur.
  • the present invention has been made in view of the above problems, and an object thereof is to provide a technique for reducing the amount of calculation related to detection of corresponding points for a compressed moving image.
  • an image processing system includes a first frame having a reference frame and a prediction frame in which each pixel is indicated by motion information based on another frame.
  • An acquisition unit that acquires a second compressed moving image, and each set of frames between the first compressed moving image and the second compressed moving image is included in the second compressed moving image.
  • a calculation unit that performs detection processing for detecting corresponding points corresponding to the reference points of one frame included in the first compressed moving image from the frame. In the image processing system, the calculation unit performs the detection process on the set of the prediction frames using motion information indicating the set of the prediction frames.
  • An image processing system is the image processing system according to the first aspect, wherein the calculation unit performs the detection processing on a set of the prediction frames as a set of the reference frames. This is performed based on the detection result of the detection process for the image and the motion information indicating the set of the prediction frames.
  • An image processing system is the image processing system according to the second aspect, wherein a single reference point included in one prediction frame in the detection process related to a set of the prediction frames.
  • a calculation unit that calculates an evaluation value related to the similarity with the one reference point, and a comparison between the evaluation value and a preset threshold value
  • a determination unit for determining reliability related to the one corresponding point.
  • An image processing system is the image processing system according to the first aspect, wherein the calculation unit is configured to detect the set of the reference frames and the detection process for the set of the reference frames.
  • a first temporary corresponding point corresponding to one reference point included in one prediction frame is obtained from the other prediction frame on the basis of the detection result of the first frame and the motion information indicating the set of the prediction frames.
  • 1 detection unit comparing the region including the one reference point in the one prediction frame with the region including the one temporary corresponding point in the other prediction frame, from the other prediction frame And a second detection unit that detects one corresponding point corresponding to one reference point.
  • An image processing system is the image processing system according to the first aspect, wherein the calculation unit is configured to detect the set of the prediction frames with respect to the set of reference frames.
  • a first temporary corresponding point corresponding to one reference point included in one prediction frame is obtained from the other prediction frame on the basis of the detection result of the first frame and the motion information indicating the set of the prediction frames.
  • a second detection unit that detects one corresponding point corresponding to the one reference point from the other post-expansion frame with reference to a region including the one temporary corresponding point in the frame.
  • An image processing system is the image processing system according to any one of the first to fifth aspects, wherein each reference frame includes a compression process for deleting information related to a frequency in a predetermined band.
  • the frame is subjected to a calculation using the phase-only correlation method while performing weighting for reducing the frequency component of the predetermined band from the remaining band for the predetermined band, thereby targeting a set of frames.
  • the detection process is performed.
  • An image processing system is the image processing system according to any one of the first to fifth aspects, wherein each of the reference frames is subjected to compression processing in units of a predetermined size block.
  • the calculation unit sets a first area including one reference point for the first frame of the first compressed moving image according to the block, and sets the second frame of the second compressed moving image.
  • the second region is set according to the block, and the calculation using the phase-only correlation method for the first region and the second region is performed.
  • the detection process for a pair with a frame is performed.
  • An image processing system is the image processing system according to any one of the first to seventh aspects, wherein the calculation unit is configured to perform the above-described processing for the set of the reference frame and the prediction frame.
  • the detection process is performed after frame conversion is performed so as to match the format of one of the reference frame and the predicted frame.
  • An image processing system is the image processing system according to the eighth aspect, wherein the arithmetic unit expands the prediction frame for the set of the reference frame and the prediction frame. The detection processing for the reference frame and the predicted frame after expansion is performed.
  • An image processing system is the image processing system according to the first aspect, wherein the set of prediction frames includes a first prediction frame and a second prediction frame, and the calculation unit includes: By comparing the motion information related to the reference region including one reference point in the first prediction frame and the motion information related to the comparison region including one temporary corresponding point in the second prediction frame, One corresponding point corresponding to the one reference point is detected from two prediction frames.
  • An image processing system is the image processing system according to the tenth aspect, wherein the motion information related to the reference region includes a one-dimensional one-dimensional distribution of motion information related to one direction and the A two-dimensional other reference distribution of motion information in another direction different from the one direction, and the motion information in the comparison area is a two-dimensional one comparison distribution of motion information in the one direction.
  • a two-dimensional other comparison distribution of motion information in the other direction, and the calculation unit includes voxel information including the one reference distribution and the other reference distribution, and the one comparison distribution and the other comparison distribution. The one corresponding point corresponding to the one reference point is detected from the second prediction frame by comparison with the included voxel information.
  • An image processing system is the image processing system according to any one of the first to eleventh aspects, wherein the first moving image is obtained by a first series of imaging for a subject.
  • a second compression unit that generates the second compressed moving image by applying a compression process to the second moving image.
  • An image processing system is the image processing system according to any one of the first to seventh aspects, and generates the first compressed moving image by performing compression processing on the first moving image.
  • a first compression unit that performs the compression process on the second moving image
  • a second compression unit that generates the second compressed moving image by performing a compression process on the second moving image.
  • Each set of frames between the image and the second moving image operates so as to be any one of the set of the reference frame and the set of the prediction frames.
  • the image processing method obtains first and second compressed moving images each having (a) a reference frame and a prediction frame in which each pixel is indicated by motion information based on another frame. And (b) for each set of frames between the first compressed video and the second compressed video, from one frame included in the second compressed video, the first Performing a detection process of detecting corresponding points corresponding to each reference point of one frame included in one compressed moving image.
  • the detection process for the set of the prediction frames is performed using motion information indicating the set of the prediction frames.
  • the program according to the fifteenth aspect is executed by a control unit included in the image processing system, thereby causing the image processing system to function as the image processing system according to any one of the first to thirteenth aspects.
  • the image processing system can reduce the amount of calculation related to detection of corresponding points for a compressed moving image.
  • the amount of calculation required for detecting corresponding points related to the prediction frame is reduced.
  • the corresponding points are easily detected by using the temporary corresponding points, the corresponding points are detected while maintaining the detection accuracy of the corresponding points. The amount of calculation related to is reduced.
  • the amount of calculation related to detection of corresponding points is reduced by reducing unnecessary calculations.
  • the image processing system it is possible to detect corresponding points for different sets of frames while suppressing an increase in the amount of calculation.
  • the calculation amount for detecting the corresponding points is reduced.
  • the amount of calculation related to detection of corresponding points for a compressed moving image is reduced by any of the image processing method according to the fourteenth aspect and the program according to the fifteenth aspect.
  • FIG. 1 is a diagram illustrating an outline of an information processing system according to each embodiment and a third modification.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing system according to the first and second embodiments.
  • FIG. 3 is a diagram illustrating an aspect of the first and second compressed moving images.
  • FIG. 4 is a diagram for explaining the principle of corresponding point detection processing according to the first embodiment.
  • FIG. 5 is a schematic view illustrating the form of each frame.
  • FIG. 6 is a schematic view illustrating the form of each first reduced frame.
  • FIG. 7 is a schematic view illustrating the form of each second reduced frame.
  • FIG. 8 is a schematic view illustrating the form of each third reduced frame.
  • FIG. 9 is a schematic diagram illustrating a setting mode of reference points for each frame.
  • FIG. 9 is a schematic diagram illustrating a setting mode of reference points for each frame.
  • FIG. 10 is a diagram illustrating a setting example of the reference point and the processing target point in the third reduced frame.
  • FIG. 11 is a schematic diagram illustrating an example of setting a window for the third reduced frame.
  • FIG. 12 is a schematic diagram illustrating an example of setting a window for the second reduced frame.
  • FIG. 13 is a schematic diagram illustrating an example of setting a window for the first reduced frame.
  • FIG. 14 is a schematic diagram illustrating a setting example of a window for the first reduced frame.
  • FIG. 15 is a schematic diagram showing a window setting example for each frame.
  • FIG. 16 is a schematic diagram showing a window setting example for each frame.
  • FIG. 17 is a diagram illustrating a functional configuration related to the I detection process using the POC method.
  • FIG. 18 is a diagram illustrating a distribution of POC values.
  • FIG. 19 is a diagram for explaining the principle of the P detection process.
  • FIG. 20 is a diagram for explaining the principle of the P detection process.
  • FIG. 21 is a diagram illustrating a functional configuration related to the P detection process using the POC method.
  • FIG. 22 is a flowchart illustrating an operation flow of the information processing system.
  • FIG. 23 is a flowchart showing an operation flow of the information processing system.
  • FIG. 24 is a flowchart showing an operation flow of the information processing system.
  • FIG. 25 is a diagram illustrating a functional configuration of the information processing system according to the second embodiment.
  • FIG. 26 is a diagram for explaining the compression mode and the detection process according to the second embodiment.
  • FIG. 27 is a flowchart illustrating an operation flow of the information processing system.
  • FIG. 28 is a flowchart illustrating an operation flow of the information processing system.
  • FIG. 29 is a diagram for explaining the principle of the P detection processing according to the third embodiment.
  • FIG. 30 is a diagram for explaining the principle of the P detection processing according to the third embodiment.
  • FIG. 31 is a diagram illustrating a functional configuration of an information processing system according to the fourth embodiment.
  • FIG. 32 is a diagram for explaining a reliability determination method according to the fourth embodiment.
  • FIG. 33 is a flowchart showing an operation flow of the information processing system.
  • FIG. 34 is a diagram illustrating a functional configuration of an information processing system according to the fifth embodiment.
  • FIG. 35 is a diagram for explaining the principle of P detection processing according to the fifth embodiment.
  • FIG. 36 is a flowchart showing an operation flow of the information processing system.
  • FIG. 37 is a diagram illustrating a distribution of weighting coefficients according to the first modification.
  • FIG. 38 is a diagram illustrating a distribution of weighting coefficients according to the first modification.
  • FIG. 39 is a schematic diagram illustrating a window setting example according to the second modification.
  • FIG. 40 is a schematic diagram illustrating a window setting example according to the second modification.
  • FIG. 41 is a diagram illustrating a functional configuration of an information processing system according to the third modification.
  • FIG. 42 is a flowchart showing an operation flow of the information processing system.
  • FIG. 43 is a diagram for explaining the principle of corresponding point detection processing according to the fourth modification.
  • FIG. 44 is a diagram for explaining the principle of corresponding point detection processing according to the fourth modification.
  • FIG. 1 is a diagram showing a schematic configuration of an information processing system 1 according to the first embodiment of the present invention.
  • the information processing system 1 includes a stereo camera 2, communication lines 3a and 3b, and an information processing device 4.
  • the stereo camera 2 and the information processing apparatus 4 are connected via communication lines 3a and 3b so that various signals can be transmitted and received.
  • the stereo camera 2 includes first and second cameras 2a and 2b.
  • Each of the cameras 2a and 2b has a configuration of a digital camera having an image sensor such as a CCD, for example, and receives the light from the subject and converts the luminance information distribution related to the subject by photoelectric conversion to the image data ( Image acquisition is also performed.
  • Each camera 2a, 2b captures a temporal change in the subject by performing imaging (also referred to as a series of imaging) a predetermined number of times (for example, 60 times) every predetermined time (for example, 1 second). (Also referred to as a moving image).
  • first and second cameras 2a and 2b are arranged apart from each other in a predetermined direction, and sequentially perform processing of imaging the same subject from different viewpoints at the same timing in the same period.
  • Each set of images captured at the same timing by the first and second cameras 2a and 2b is a so-called stereo image.
  • the first camera 2a generates a compressed moving image (also referred to as a first compressed moving image) Ma by performing moving image compression on the moving image (also referred to as a first moving image) obtained by imaging, and this first compression.
  • the moving image Ma is transmitted to the information processing device 4 via the communication line 3a.
  • the second camera 2b performs moving image compression on a moving image (also referred to as a second moving image) obtained by imaging to generate a compressed moving image (also referred to as a second compressed moving image) Mb, and this second compressed moving image.
  • Mb is transmitted to the information processing apparatus 4 via the communication line 3b.
  • the moving image compression it is possible to adopt, for example, those complying with various standards such as so-called MPEG4. In the following, it is assumed that moving image compression according to MPEG4 is employed.
  • the first and second compressed moving images Ma and Mb both have N images (N is a natural number of 2 or more) images (also referred to as frames).
  • N is a natural number of 2 or more images (also referred to as frames).
  • data indicating each frame and each frame itself are collectively referred to as a frame.
  • the coordinates of pixels capturing the same subject portion are the same in the Y direction.
  • the communication lines 3a and 3b may be wired lines using cables that can transmit and receive various signals, or may be wireless lines using wireless communication or the like.
  • the information processing apparatus 4 is configured by a personal computer (personal computer), for example, and includes an operation unit 401, a display unit 402, an interface (I / F) unit 403, a storage unit 404, an input / output unit 405, and a control unit 406. .
  • a personal computer personal computer
  • the operation unit 401 includes, for example, a mouse and a keyboard.
  • the display unit 402 includes, for example, a liquid crystal display.
  • the I / F unit 403 receives a signal from the stereo camera 2 and transmits a signal to the stereo camera 2.
  • the storage unit 404 includes, for example, a hard disk and stores various data, a program PG, and the like.
  • the input / output unit 405 includes a disk drive to which a storage medium 9 such as an optical disk can be mounted. The input / output unit 405 reads information from the storage medium 9 and outputs the information to the control unit 406 and stores data output from the control unit 406. Write to medium 9.
  • the control unit 406 includes a CPU 406a that functions as a processor and a memory 406b that temporarily stores data, and comprehensively controls each unit of the information processing apparatus 4.
  • various functions, various information processing, and the like are realized by reading and executing the program PG in the storage unit 404.
  • the information processing apparatus 4 functions as an image processing apparatus and the information processing system 1 functions as an image processing system under the control of the control unit 406 according to the program PG.
  • FIG. 2 is a diagram illustrating a functional configuration of the information processing system 1.
  • the first camera 2a includes an imaging unit 21a, a compression unit 22a, and a transmission unit 23a
  • the second camera 2b includes an imaging unit 21b, a compression unit 22b, and a transmission unit 23b.
  • the imaging unit 21a and the imaging unit 21b have the same configuration
  • the compression unit 22a and the compression unit 22b have the same configuration
  • the transmission unit 23a and the transmission unit 23b have the same configuration. Therefore, for the purpose of avoiding repeated description, the imaging unit 21a, the compression unit 22a, and the transmission unit 23a will be mainly described.
  • the imaging unit 21a includes an imaging element and a signal processing unit.
  • the image pickup device includes, for example, a CCD
  • the signal processing unit includes, for example, a CDS circuit, an AGC circuit, and an A / D conversion circuit.
  • the analog signal output from the image sensor is sequentially subjected to noise reduction processing by the CDS circuit, level adjustment processing by the AGC circuit, and conversion to a digital signal by the A / D conversion circuit.
  • the imaging unit 21a obtains a first moving image including a plurality of frames indicated by digital signals by a series of imaging (also referred to as a first series of imaging).
  • the imaging unit 21b performs imaging while synchronizing with the imaging unit 21a. Specifically, the imaging unit 21b digitally performs a series of imaging (also referred to as a second series of imaging) on the same subject as the first series of imaging at the same timing as the first series of imaging. A second moving image including a plurality of frames indicated by the signal is obtained.
  • the imaging timing in the imaging units 21a and 21b may be controlled according to a signal from the control unit 406, for example.
  • the compression unit 22a performs moving image compression on the first moving image to generate the first compressed moving image Ma. Specifically, the compression unit 22a performs moving picture compression according to MPEG4 including various processes such as discrete cosine transform (DCT) and quantization. In DCT and quantization, data compression processing is performed while an image area (also referred to as a block) of a predetermined size is used as one processing unit, and information relating to a frequency in a predetermined band (mainly a high frequency band) is deleted.
  • the Each block having a predetermined size may be a square image region or the like having a predetermined number (8 or 16) of pixels on one side. Note that, similarly to the compression process 22a, the compression unit 22b performs moving image compression on the second moving image to generate the second compressed moving image Mb.
  • one or more frames of a plurality of frames included in a moving image are set as reference frames (also referred to as reference frames or I-pictures), and other frames than the reference frames are based on the reference frames.
  • a predicted frame in which each pixel is indicated by the motion information (also referred to as a predicted frame).
  • the motion information relating to each pixel is the change in the coordinates of the pixel that captures each part of the subject between the i-1th frame (i is a natural number equal to or less than N) and the ith frame constituting the moving image. Indicating each pixel of the i-th frame.
  • the reference frame has a pixel value (such as a luminance value) for each pixel
  • the prediction frame has motion information corresponding to each pixel.
  • the positions of the pixels constituting each frame are indicated by coordinates (X coordinate value and Y coordinate value) relating to two orthogonal XY axes, and a change in coordinates corresponding to motion information is represented by X What is necessary is just to express with the format of the motion vector shown by the value of a coordinate, and the value of a Y coordinate. That is, the motion information includes motion information in the X direction and motion information in the Y direction.
  • the predicted frame is a frame in which each pixel is indicated by motion information obtained from a comparison between the i-th frame and the (i ⁇ 1) -th frame (also called a P picture). Or a frame (also referred to as a B picture) in which each pixel is indicated by motion information obtained from a comparison between the i-th frame and the (i ⁇ 1) -th and i + 1-th frames. Also good.
  • the prediction frame is a P picture.
  • FIG. 3 is a diagram illustrating an aspect of the first and second compressed moving images Ma and Mb.
  • the i-th frame constituting the first compressed moving image Ma is described as a frame Mai related to imaging at the time Ti
  • the i-th frame constituting the second compressed moving image Mb relates to imaging at the time Ti. It is described as a frame Mbi.
  • the first compressed moving image Ma has N frames Ma1 to MaN.
  • the first, fifth, and ninth frames Ma1, Ma5, and Ma9 are I pictures, and the second to fourth, sixth to eighth, and tenth frames Ma2 to Ma4, Ma6 to Ma8, Ma10, and MaN are included.
  • the second compressed moving image Mb has N frames Mb1 to MbN.
  • the third and seventh frames Mb3 and Mb7 are I pictures, and 1, 2, 4 to 6, 8 to 10, and the Nth frames Mb1, Mb2, Mb4 to Mb6, Mb8 to Mb10, MaN , P picture.
  • each pixel is indicated by motion information based on the immediately preceding I picture. Also, in the P picture immediately after the P picture, each pixel is indicated by motion information based on the I picture because the pixel is indicated by motion information based on the immediately preceding P picture. Yes. It should be noted that all P pictures may have their pixels directly indicated by motion information based on the I picture.
  • the transmitting unit 23a transmits the first compressed moving image Ma to the information processing device 4.
  • the transmission unit 23 b transmits the second compressed moving image Mb to the information processing device 4.
  • the information processing apparatus 4 as an image processing apparatus includes receiving units 41 a and 41 b and a calculation unit 42.
  • the receiving units 41a and 41b are realized by an I / F unit 403 as an acquiring unit.
  • the receiving unit 41a acquires the first compressed moving image Ma by receiving the first compressed moving image Ma output from the first camera 2a.
  • the receiving unit 41b acquires the second compressed moving image Mb by receiving the second compressed moving image Mb output from the second camera 2b.
  • the calculation unit 42 is realized by the program PG being executed by the control unit 406, and includes an expansion unit 421, a search unit 422, and a distance measurement unit 423 as a functional configuration.
  • the decompression unit 421 decompresses the P pictures included in the first and second compressed moving images Ma and Mb as necessary, and after decompression, has pixel value information for each pixel as in the I picture.
  • a P picture (also referred to as a D picture) is generated and output to the search unit 422.
  • a D picture having the same form as an I picture corresponds to a reference frame. Further, the decompression unit 421 outputs the I picture and the P picture that does not require decompression to the search unit 422 as they are.
  • the first set of frames Ma1, Mb1, the third set of frames Ma3, Mb3, the fifth set of frames Ma5, Mb5, and 7 The ninth set of frames Ma7 and Mb7 and the ninth set of frames Ma9 and Mb9 are a set of an I picture and a P picture, respectively.
  • the expansion unit 421 expands the P pictures Mb1, Ma3, Mb5, Ma7, and Mb9 to generate D pictures Md1, Md3, Md5, Md7, and Md9.
  • the first and second compressed moving images Ma and Mb may include a frame that is a pair of I pictures.
  • the first and second compressed moving images Ma and Mb become the first and second compressed moving images Maa and Mbb by converting some P pictures into D pictures by the decompression unit 421.
  • each frame included in the first compressed moving image Maa is also referred to as “one frame”
  • each frame included in the second compressed moving image Mbb is also referred to as “the other frame”.
  • the search unit 422 detects a correspondence relationship between the first compressed moving image Maa and the second compressed moving image Mbb for pixels that capture the same portion of the subject for each set of frames related to imaging at the same time. To do.
  • detection reference points also referred to as reference points
  • the second compressed moving image Mbb is set for each reference point.
  • a process (also referred to as a detection process) is performed in which a point corresponding to the reference point (also referred to as a corresponding point) is detected from the other frame included in.
  • This detection process includes a detection process for a pair of I pictures and a pair of an I picture and a D picture (also referred to as an I detection process), and a detection process for a pair of P pictures (P detection process). Is also included). That is, in the calculation unit 42, if the target of the corresponding point detection process is a pair of an I picture and a P picture, the decompression unit 421 decompresses the P picture into a D picture, and then creates the I picture and the D picture. I detection processing for the above is performed. If the target of the corresponding point detection process is a pair of P pictures, the P detection process is performed without decompressing the P picture.
  • a set of frames whose resolution is reduced to a predetermined number (for example, three) based on each set of frames is generated.
  • the relationship between the reference point and the corresponding point, which captures the same part of the subject, is detected in order from the set of frames with the lowest.
  • the detection result for a set of frames whose resolution is one step lower is used for the next detection for a set of frames whose resolution is one step higher.
  • FIG. 5 is a schematic view illustrating the form of each frame included in the first and second compressed moving images Maa and Mbb.
  • a large number of pixels are arranged in a matrix.
  • a first predetermined number (here, 480) of pixels are arranged in the vertical direction (Y direction)
  • a second predetermined number (here, 640) of pixels are arranged in the horizontal direction (X direction).
  • the upper left position is the origin
  • the position in the horizontal direction of each pixel constituting each frame is indicated by the X coordinate
  • the position in the vertical direction is indicated by the Y coordinate.
  • each pixel in each frame, the position of each pixel is indicated by coordinates (X, Y). For example, if one pixel is shifted in the right direction (X direction), the value of the X coordinate increases by one, and the downward direction (Y direction). If the pixel is shifted by one pixel, the value of the Y coordinate increases by one.
  • FIG. 6 is a diagram illustrating a form of a frame (also referred to as a first reduced frame) generated by reducing the resolution of each frame by one step.
  • One-step resolution reduction is performed by, for example, 1 out of a plurality of vertical pixel columns (also referred to as vertical lines) and a plurality of horizontal pixel rows (also referred to as horizontal lines) constituting each frame. This is realized by thinning out vertical lines every other column and horizontal lines every other row.
  • the first reduced frame has a configuration in which 240 pixels in the vertical direction and 320 pixels in the horizontal direction are arranged in a matrix.
  • a first reduced frame (also referred to as a first reduced frame) Ma1 S1 is generated from one frame Ma1
  • a first reduced frame (also referred to as the other first reduced frame) Md1 S1 is generated from the other frame Md1. Is done. Further, while the first reduction after frame Ma2 S1 whereas the frame Ma2 is generated, the other first after the reduction frame Mb2 S1 is generated from the other frame Mb2.
  • FIG. 7 is a diagram illustrating a form of a frame (also referred to as a second reduced frame) generated by reducing the resolution of each frame by two stages.
  • a frame also referred to as a second reduced frame
  • two-stage resolution reduction is performed by thinning out every other vertical line and every other horizontal line among the plurality of vertical lines and horizontal lines constituting each first reduced frame. It is realized by being.
  • the second reduced frame has a configuration in which 120 pixels in the vertical direction and 160 pixels in the horizontal direction are arranged in a matrix.
  • a second reduced frame (also referred to as a second reduced frame) Ma1 S2 is generated from one frame Ma1
  • a second reduced frame (the other second reduced frame) Md1 S2 is generated from the other frame Md1. Is done.
  • the frame Ma2 second reduced after frame Ma2 S2 is generated, and the other second reduction after frame Mb2 S2 is generated from the other frame Mb2.
  • FIG. 8 is a diagram illustrating a form of a frame (also referred to as a third reduced frame) generated by reducing the resolution of each frame by three stages.
  • the three-stage resolution reduction can be achieved by, for example, thinning out every other vertical line and every other horizontal line among a plurality of vertical lines and horizontal lines constituting each second reduced frame. It is realized by being.
  • the third reduced frame has a configuration in which 60 pixels in the vertical direction and 80 pixels in the horizontal direction are arranged in a matrix.
  • a third reduced frame (also referred to as a third reduced frame) Ma1 S3 is generated from one frame Ma1
  • a third reduced frame (also referred to as the third reduced frame) Md1 S3 is generated from the other frame Md1. Is done. Also, whereas the third reduction after frame Ma2 S3 whereas a frame Ma2 is generated, and the other third reduction after frame Mb2 S3 is generated from the other frame Mb2.
  • a point (also referred to as a reference point) Sp1 which is a reference for detecting a corresponding point, is set for one frame.
  • the upper left pixel of one frame is the starting point, and as shown by the arrow in FIG. 9, the reference point Sp1 is shifted by one pixel from the left end to the right end along one horizontal line with respect to the one frame.
  • the reference point Sp1 is shifted one pixel at a time from the left end to the right end along the one horizontal line (+ Y side). The operations set in order are repeated. Further, here, every time a corresponding point corresponding to one reference point Sp1 is detected on the other frame, the next reference point Sp1 is set.
  • the initial parallax serving as a reference for detecting corresponding points for a set of third reduced frames is temporarily set.
  • the initial parallax is set to, for example, zero.
  • the point (reference point) Sp1 S3 corresponding to the reference point Sp1 is set to the third reduced frame (for example, frames Ma1 S3 and Ma2 S3 ).
  • the other third reduction rear frame e.g., frame Md1 S3, Mb2 S3
  • the predetermined initial parallax is a shift amount of the X coordinate between the position of the reference point Sp1 S3 on the one third reduced frame and the position of the processing target point Pp1 S3 on the other third reduced frame.
  • one third reduced frame for example, one third reduced frame Ma1 S3 , Ma2 S3
  • other third reduction rear frame e.g., the other third reduction after frame Md1 S3, Mb2 S3 window including around the target point Pp1 S3 in Wb S3 is set.
  • the reference region Wa S3 and the comparison region Wb S3 are regions having the same size and the same shape (here, squares), and are configured, for example, by arranging 17 pixels in the vertical direction and the horizontal direction, respectively.
  • C3 A phase-only correlation method (POC method) described later is used to calculate the correlation between the reference region Wa S3 and the comparison region Wb S3, and the corresponding point is detected on the third reduced frame.
  • POC method phase-only correlation method
  • a reference parallax (reference parallax) is temporarily set for detection of corresponding points for a set of second reduced frames.
  • This reference parallax is set based on the detection result in the step (C3). Specifically, this reference parallax is obtained by calculating the X coordinate between the position of the reference point Sp1 S3 in the third reduced frame and the position of the corresponding point in the other third reduced frame detected in step (C3). Corresponds to the amount of deviation.
  • the reference point Sp1 S2 corresponding to the reference point Sp1 is set to the second reduced frame (for example, frames Ma1 S2 and Ma2 S2 ).
  • the other second reduction rear frame e.g., frame Md1 S2, Mb2 S2
  • the target point Pp1 S2 corresponding to the detected corresponding points in step (C3) is set.
  • (C5) as illustrated in Figure 12 (also referred to as the reference area) includes a window around a reference point Sp1 S2 while in the second after the reduction frame (e.g. while the second reduction after frame Ma1 S2, Ma2 S2) Wa S2 Is set. Further, (also referred to as comparative region) while the second reduction rear frame (e.g., while the second reduction after frame Md1 S2, Mb2 S2) window including around the target point Pp1 S2 in Wb S2 is set. Note that the reference area Wa S2 and the comparison area Wb S2 have the same shape and the same size as the reference area Wa S3 and the comparison area Wb S3 .
  • the POC method is used to calculate the correlation between the reference area Wa S2 and the comparison area Wb S2, and the corresponding points are detected on the second reduced frame.
  • a reference parallax is temporarily set for a set of first reduced frames.
  • This reference parallax is set based on the detection result in the step (C6). Specifically, this reference parallax is obtained by calculating the X coordinate between the position of the reference point Sp1 S2 on the one second reduced frame and the position of the corresponding point on the other second reduced frame detected in step (C6). Corresponds to the amount of deviation.
  • the reference point Sp1 S1 corresponding to the reference point Sp1 is set to the first reduced frame (for example, frames Ma1 S1 and Ma2 S1 ).
  • the processing target point Pp1 S1 corresponding to the corresponding point detected in the step (C6) is set in the other first reduced frame (for example, the frames Md1 S1 and Mb2 S1 ).
  • a window (also referred to as a reference area) Wa S1 that includes the reference point Sp1 S1 as the center in one first reduced frame (for example, one first reduced frame Ma1 S1 , Ma2 S1 ). Is set.
  • the reference area Wa S1 and the comparison area Wb S1 are areas having the same shape and the same size as the reference areas Wa S2 and Wa S3 and the comparison areas Wb S2 and Wb S3 .
  • the POC method is used to calculate the correlation between the reference area Wa S1 and the comparison area Wb S1, and the corresponding point is detected on the first reduced frame.
  • a reference parallax is temporarily set for a set of frames.
  • This reference parallax is set based on the detection result in the step (C9). Specifically, this reference parallax is obtained by calculating the X coordinate between the position of the reference point Sp1 S2 in the first reduced frame and the position of the corresponding point in the other first reduced frame detected in step (C9). Corresponds to the amount of deviation.
  • the reference point Sp1 is set to one frame (for example, frames Ma1 and Ma2).
  • the processing target point Pp1 corresponding to the corresponding point detected in the step (C9) is set in the other frame (for example, the frames Md1 and Mb2).
  • a window (also referred to as a reference region) Wa including the reference point Sp1 as a center is set in one frame (for example, one frame Ma1, Ma2).
  • a window (also referred to as a comparison area) Wb including the processing target point Pp1 as a center is set in the other frame (for example, the other frame Md1, Mb2).
  • the reference region Wa and the comparison region Wb are regions having the same shape and the same size as the reference regions Wa S1 , Wa S2 , Wa S3 and the comparison regions Wb S1 , Wb S2 , Wb S3 .
  • the distance measurement unit 423 calculates the parallax ⁇ d obtained from the coordinates of the reference point detected by the search unit 422 and the corresponding point using the principle of triangulation for each reference point for each set of frames. Based on this, the distance D from the stereo camera 2 (that is, the viewpoint) to the subject is derived.
  • the separation distance B and the focal distance f are uniquely set by design.
  • Information on the distance D related to each reference point derived by the distance measuring unit 423 is output from the calculation unit 42 and stored in the storage unit 404 or the like.
  • the corresponding point detection method using the POC method executed by the search unit 422 includes a detection method related to the I detection process and a detection method related to the P detection process.
  • FIG. 17 is a diagram for specifically explaining a corresponding point detection method using the POC method according to the I detection process.
  • a method for detecting corresponding points between one frame and the other frame will be described as an example.
  • a window (reference area) Wa setting process T1a for one frame and a window (comparison area) Wb setting process T1b for the other frame are performed.
  • image areas corresponding to the reference area Wa and the comparison area Wb are expressed by the following equation (1).
  • N 1 and N 2 are substituted for the subscript P of W in the proviso of Equation 2 , and 1 and 2 are substituted for the subscript s of k.
  • a synthesis process T4 using an arithmetic expression expressed by the following expression 4 is performed, and a two-dimensional inverse Fourier transform process T5 using an arithmetic expression expressed by the following expression 5 is performed. Done. Thereby, the correlation calculation between the images is performed, and the result (POC value) is output.
  • the POC value at a location with high correlation in the window (N 1 ⁇ N 2 ) is large, and the position corresponding to the peak Jc of the POC value in the comparison region Wb on the frame is On the other hand, it corresponds to the corresponding point on the other frame corresponding to the center point (reference point) Sp1 of the reference area Wa on the frame. Therefore, by detecting the peak Jc of the POC value, the corresponding point on the other frame corresponding to the reference point Sp1 on the one frame is detected.
  • the amplitude component of the image is removed, and the correlation calculation is performed using only the phase component of the image. Is detected with high accuracy.
  • the P picture has, for each pixel, motion information in the X direction (also referred to as motion information X) and motion information in the Y direction (also referred to as motion information Y). That is, the P picture has a distribution of motion information X and a distribution of motion information Y. Therefore, as shown in FIG. 19, the reference area Wa set in the P picture has a two-dimensional distribution (also referred to as X distribution or one reference distribution) of motion information X related to the reference area Wa, And a two-dimensional distribution (also referred to as Y distribution or the other reference distribution) of motion information Y related to the reference area Wa. Accordingly, as shown in FIG.
  • data relating to the reference region Wa can be handled as a rectangular parallelepiped image region (also referred to as voxel information) Vxa formed by stacking the X distribution Wau and the Y distribution Wav.
  • Vxa rectangular parallelepiped image region
  • the direction in which the X distribution Wau and the Y distribution Wav are stacked is the L direction perpendicular to the XY plane.
  • the comparison area Wb set in the P picture is compared with the two-dimensional distribution (also referred to as X distribution or one comparison distribution) Wbu of the motion information X related to the comparison area Wb.
  • a two-dimensional distribution also referred to as Y distribution or other comparison distribution
  • the data related to the comparison region Wb can be handled as a rectangular parallelepiped image region (also referred to as voxel information) Vxb formed by stacking the X distribution Wbu and the Y distribution Wbv in the L direction. It is.
  • FIG. 21 is a diagram for specifically explaining how to obtain the distribution of POC values in the P detection process.
  • voxel information Vxa and the voxel information Vxb a predetermined number N 1 pixels are arranged along the X direction, a predetermined number N 2 pixels are arranged along the Y direction, and a predetermined number along the L direction. It is treated as a rectangular parallelepiped image region (voxel information) in which N 3 (here, two) pixels are arranged. These voxel information are expressed by the following equation (6).
  • N 1 , N 2 , and N 3 are substituted for the subscript P of W in the proviso of Equation 7 above, and 1 , 2 , and 3 are substituted for the subscript s of k.
  • normalization processing TV3a and TV3b for removing the amplitude component of the image is obtained using an arithmetic expression expressed by the following equation (8). Done.
  • the size of the windows (reference area and comparison area) (N 1 and N 2 ) is set smaller in the P detection process than in the I detection process. For example, N 2 may be halved.
  • One set of the first reduced frame and the other first reduced frame, one set of the second reduced frame and the other second reduced frame, and one third reduced frame and the other third reduced frame can be realized by the same method as the detection of the corresponding points according to the pair of the one frame and the other frame described above.
  • the data related to the reference region Wa S1 can be handled as voxel information Vxa S1 of a rectangular parallelepiped in which the X distribution Wau S1 and the Y distribution Wav S1 are stacked in the L direction, and the data related to the comparison region Wb S1 is also X
  • the distribution Wbu S1 and the Y distribution Wbv S1 can be handled as voxel information Vxb S1 of a rectangular parallelepiped stacked in the L direction.
  • the data related to the reference area Wa S2 can be handled as voxel information Vxa S2 of a rectangular parallelepiped in which the X distribution Wau S2 and the Y distribution Wav S2 are stacked in the L direction, and the data related to the comparison area Wb S2 is also X
  • the distribution Wbu S2 and the Y distribution Wbv S2 can be handled as voxel information Vxb S2 of a rectangular parallelepiped stacked in the L direction.
  • the data related to the reference region Wa S3 can be handled as voxel information Vxa S3 of a rectangular parallelepiped in which the X distribution Wau S3 and the Y distribution Wav S3 are stacked in the L direction, and the data related to the comparison region Wb S3 is also X
  • the distribution Wbu S3 and the Y distribution Wbv S3 can be handled as voxel information Vxb S3 of a rectangular parallelepiped stacked in the L direction.
  • step S1 the first and second moving images are acquired by imaging by the imaging units 21a and 21b.
  • step S2 the compression units 22a and 22b perform moving image compression on the first and second moving images to generate the first and second compressed moving images Ma and Mb, which are output to the transmission units 23a and 23b.
  • step S3 the first and second compressed moving images Ma and Mb are transmitted to the information processing apparatus 4 by the transmission units 23a and 23b.
  • step S4 the first and second compressed moving images Ma and Mb are received by the receiving units 41a and 41b and output to the decompressing unit 421.
  • step S5 the decompression unit 421 decompresses the P pictures included in the first and second compressed moving images Ma and Mb as necessary to generate a D picture.
  • step S5 the first and second compressed moving images Maa and Mbb are generated by performing the operation flow shown in FIG.
  • step S51 a numerical value i indicating the order of a set of frames to be processed among the first and second compressed moving images Ma and Mb is set to 1.
  • step S52 the i-th set of frames of the first and second compressed moving images Ma and Mb is set as a processing target.
  • step S53 it is determined whether or not the i-th set of frames is an I-picture set. If the i-th set of frames is not a set of I pictures, the process proceeds to step S54. If the i-th set of frames is a set of I pictures, the process proceeds to step S55.
  • step S54 it is determined whether or not the i-th set of frames is a set of P pictures. If the i-th set of frames is a P picture set, the process proceeds to step S55. If the i-th set of frames is not a P picture set, the process proceeds to step S56.
  • step S55 expansion of the i-th set of frames is prohibited.
  • the i-th set of frames is output to the search unit 422 as it is without the i-th set of frames being expanded at all by the expansion unit 421.
  • step S56 the P picture included in the i-th set of frames is expanded.
  • step S57 it is determined whether or not the numerical value i is N.
  • N indicates the number of frames constituting each of the first and second compressed moving images Ma and Mb.
  • the process proceeds to step S58, the numerical value i is incremented by 1, and the process proceeds to step S52.
  • the numerical value i is N, the operation flow ends.
  • step S6 of FIG. 22 the search unit 422 detects corresponding points.
  • step S6 the operation flow shown in FIG. 24 is performed.
  • step S61 a numerical value i indicating the order of a set of frames to be processed among the first and second compressed moving images Maa and Mbb is set to 1.
  • step S62 a set of i-th frames of the first and second compressed moving images Maa and Mbb is set as a processing target.
  • step S63 it is determined whether or not the i-th set of frames is a set of I pictures or a set of I pictures and D pictures. If the i-th frame set is an I picture set or an I picture and D picture set, the process proceeds to step S64. If the i-th frame set is not an I picture set or an I picture and D picture set, the process proceeds to step S65. move on.
  • step S64 an I detection process is performed.
  • step S65 P detection processing is performed.
  • step S66 it is determined whether or not the numerical value i is N.
  • N indicates the number of frames constituting each of the first and second compressed moving images Maa and Mbb. If the numerical value i is not N, the process proceeds to step S67, where the numerical value i is incremented by 1, and the process proceeds to step S62. On the other hand, if the numerical value i is N, the operation flow ends.
  • the distance measurement unit 423 determines the set of frames included in the first and second compressed moving images Maa and Mbb from the subject to the subject based on the corresponding points detected in step S6. A distance D is derived.
  • FIG. 25 is a diagram illustrating a functional configuration of the information processing system 1A.
  • the stereo camera 2 is changed to a stereo camera 2A in which video compression in the compression units 22a and 22b is synchronized, and the calculation unit 42 is expanded.
  • the part 421 is removed, and the search part 422 is changed to a calculation part 42A replaced with the search part 422A.
  • the compression units 22a and 22b are configured so that each set of frames between the first moving image and the second moving image is a set of either one set of I pictures or a set of P pictures.
  • the first and second compressed moving images Ma and Ma are generated by operating so that Note that the synchronized moving image compression operation in the compression units 22a and 22b can be realized by a control unit or a control unit 406 built in the stereo camera 2A.
  • FIG. 26 illustrates the first and second compressed moving images Ma and Mb generated by the stereo camera 2A.
  • a set of frames every four frames such as a first set of frames Ma1, Mb1, a fifth set of frames Ma5, Mb5, and a ninth set of frames Ma9, Mb9 is a set of I pictures.
  • each set of remaining frames is a set of P pictures.
  • each set of frames is a set of I pictures or a set of P pictures. For this reason, the computing unit 42A does not need to expand the P picture.
  • the functions of the calculation unit 42A (specifically, the search unit 422A and the distance measurement unit 423) are realized by the control unit 406 executing the program PGA stored in the storage unit 404.
  • the detection process performed by the search unit 422A includes an I detection process and a P detection process.
  • the operation flow shown in FIG. 27 is the operation flow in the information processing system 1 according to the first embodiment shown in FIG. 22, in which the process of step S2 is replaced with step S2A, and the process of step S5 is removed. , Step S6 is replaced with Step S6A. However, in step S4, the first and second compressed moving images Ma and Mb are output from the receivers 41a and 41b to the search unit 422A.
  • step SA2 the first and second moving images are compressed by the compression units 22a and 22b to generate the first and second compressed moving images Ma and Mb, which are output to the transmission units 23a and 23b.
  • each set of frames included in the first and second compressed moving images Ma and Mb is a set of I pictures or a set of P pictures.
  • step SA6 the search unit 422A performs corresponding point detection processing.
  • step SA6 the operation flow shown in FIG. 28 is performed.
  • step SA61 a numerical value i indicating the order of a set of frames to be processed among the first and second compressed moving images Ma and Mb is set to 1.
  • step SA62 a set of i-th frames of the first and second compressed moving images Ma and Mb is set as a processing target.
  • step SA63 it is determined whether or not the set of the i-th frame is a set of I pictures. If the i-th set of frames is a set of I pictures, the process proceeds to step SA64. If the set of i-th frames is not a set of I pictures, the process proceeds to step SA65.
  • step SA64 I detection processing is performed.
  • step SA65 P detection processing is performed.
  • step SA66 it is determined whether or not the numerical value i is N.
  • N indicates the number of frames constituting the first and second compressed moving images Ma and Mb, respectively. If the numerical value i is not N, the process proceeds to step SA67, where the numerical value i is incremented by 1, and the process proceeds to step SA62. On the other hand, if the numerical value i is N, the operation flow ends.
  • the information processing system 1B is based on the information processing system 1 according to the first embodiment, and the calculation unit 42 is changed to a calculation unit 42B in which the search unit 422 is replaced with the search unit 422B. It has been done. Note that the functions of the calculation unit 42B (specifically, the expansion unit 421, the search unit 422B, and the distance measurement unit 423) are realized by the program PGB stored in the storage unit 404 being executed by the control unit 406.
  • the calculation unit 42B specifically, the expansion unit 421, the search unit 422B, and the distance measurement unit 423
  • the P detection processing for a set of P pictures is performed by detecting the detection result of the I detection processing for a set of I pictures or a set of I pictures and D pictures, and a set of P pictures. This is performed based on motion information included in the picture. In other words, for the pair of P pictures, the reference point and the corresponding point corresponding to the reference point are indirectly obtained based on the detection result of the I detection process and the motion information.
  • FIG. 29 and 30 are diagrams for explaining the principle of the P detection process according to this embodiment.
  • FIG. 29 shows an example of the detection result of the I detection process.
  • a corresponding point Pd1 X coordinate is Xd1, Y coordinate is Yd1 corresponding to the reference point Pa1 (X coordinate is Xa1, Y coordinate is Ya1) is shown. Yes.
  • the search unit 422B searches for the first compressed video Maa based on motion information included in the P picture Ma2, which is the next frame of the I picture Ma1, out of the P pictures Ma2.
  • a reference point Pa2 corresponding to the reference point Pa1 is derived. For example, if the motion information of the reference point Pa2 has the form of a motion vector indicated by the X coordinate value ua and the Y coordinate value va, the X coordinate value of the reference point Pa2 is the value of the reference point Pa1.
  • the X coordinate value Xa1 is added to the X coordinate value ua of the motion information to obtain Xa1 + ua
  • the Y coordinate value of the reference point Pa2 is the Y coordinate value Ya1 of the reference point Pa1
  • the Y coordinate value va of the motion information is The added Ya1 + va.
  • the search unit 422B determines, for the second compressed moving image Mbb, D among the P pictures Mb2 based on the motion information included in the P picture Mb2, which is the next frame of the D picture Md1.
  • a corresponding point Pb2 corresponding to the corresponding point Pd1 of the picture Md1 is derived. For example, if the motion information of the corresponding point Pb2 has the form of a motion vector indicated by the X coordinate value ub and the Y coordinate value vb, the X coordinate value of the corresponding point Pb2 is the value of the corresponding point Pd1.
  • the X coordinate value Xd1 is added to the X coordinate value ub of the motion information to obtain Xd1 + ub, the Y coordinate value of the corresponding point Pb2 is Yd, the Y coordinate value Yd1 of the corresponding point Pd1 is the Y coordinate value vb of the motion information.
  • the calculation unit 42 performs P detection processing related to the set of P pictures of the next frame. This is performed based on the detection result of the P detection process for the pair of pictures and the motion information included in the pair of P pictures in the next frame.
  • the P detection processing related to each pair of P pictures is performed as a set of I pictures and an I picture and a D picture. Based on the detection result of the I detection process for the most immediately preceding pair and the motion information from the most immediately preceding set to the set of P pictures that are the targets of the P detection process. Done. That is, the P detection process for each set of P pictures is performed by detecting the detection result of the I detection process for a set of I pictures or a set of I pictures and D pictures, and motion information included in the P pictures. Based on.
  • step S65 step S6 shown in FIG. 22 is replaced with step SB6 in which the content of the corresponding point detection process is changed.
  • This operation flow is realized by the control unit 406 reading and executing the program PGB in the storage unit 404.
  • corresponding points are detected for a set of P pictures based on the result of the I detection process and the motion information of the P picture. For this reason, the amount of computation required for the P detection process is significantly reduced, and the amount of computation required for detecting the corresponding points related to the P picture is greatly reduced.
  • FIG. 31 is a diagram illustrating a functional configuration of the information processing system 1C.
  • a calculation unit 42B is added with an evaluation value calculation unit 424 and a reliability determination unit 425, and a distance measurement unit 423 performs distance measurement.
  • the operation unit 42C is replaced with the unit 423C.
  • the evaluation value calculation unit 424 is a value for evaluating the similarity between the reference point and the corresponding point with respect to the set of the reference point and the corresponding point obtained for the set of P pictures in the P detection process in the search unit 422B. (Also called evaluation value) is calculated.
  • the degree of similarity is the degree of matching and indicates the high possibility of capturing the same subject portion.
  • the evaluation value includes an area R1 including a reference point as a center in one P picture (also referred to as one evaluation area) and a corresponding point as a center in the other P picture.
  • the value indicating the correlation related to the corresponding point may be used.
  • a value indicating this correlation may be obtained from a distribution of POC values calculated by a process using the POC method similar to the P detection process, for example.
  • the one evaluation region R1 and the other evaluation region R2 may be regions having the same size and the same shape (here, squares).
  • the reliability determination unit 425 compares the evaluation value calculated by the evaluation value calculation unit 424 with the preset threshold value, and the reliability related to the set of the reference point and the corresponding point that is the target of the evaluation value calculation. Determine.
  • the reliability indicates a certainty as a corresponding point with respect to the reference point. For example, if the evaluation value is greater than or equal to the threshold value, it is determined that the reliability of the pair of the reference point and the corresponding point is high, and if the evaluation value is less than the threshold value, the reliability of the pair of the reference point and the corresponding point is determined. A mode in which it is determined that the property is low is conceivable.
  • the threshold may be stored in advance in the storage unit 404, for example.
  • the distance measuring unit 423C derives the distance D from the stereo camera 2 to the subject based on the parallax ⁇ d obtained from the coordinates of the reference point and the corresponding point according to the determination result by the reliability determining unit 425. Specifically, for example, the distance D is not obtained for each pair of the reference point and the corresponding point determined as having low reliability by the reliability determination unit 425, and the reliability is determined by the reliability determination unit 425. For each set of reference points and corresponding points determined to be high, a mode in which the distance D is obtained can be considered. Thereby, reduction of the amount of calculation and ensuring of the calculation accuracy of distance D are realized.
  • the method for deriving the distance D may be the same as the method for deriving by the distance measuring unit 423 according to the first to third embodiments, for example.
  • FIG. 33 is a flowchart showing an operation flow in the information processing system 1C. This operation flow is realized by the control unit 406 reading and executing the program PGC in the storage unit 404. In this operation flow, first, the same processing as steps S1 to S5 and SB6 according to the third embodiment shown in FIG. 22 is performed, and then the processing of steps SC61, SC62, and SC7 is sequentially performed.
  • step SC61 the evaluation value calculation unit 424 calculates an evaluation value for each set of reference points and corresponding points obtained in the P detection process in step SB6.
  • step SC62 the reliability determination unit 425 compares the evaluation value calculated in step SC61 with the threshold value for each pair of the reference point and the corresponding point obtained in the P detection process of step SB6, and determines the reliability. Is determined.
  • step SC7 the distance D from the stereo camera 2 to the subject is determined for each pair of the reference point and the corresponding point obtained by the P detection process in step SB6 by the distance measuring unit 423C according to the determination result in step SC62. Derived. For example, the distance D is not derived for each pair of reference points and corresponding points whose reliability is less than the threshold, and the distance D is derived for each pair of reference points and corresponding points whose reliability is equal to or greater than the threshold.
  • the reliability is determined for each set of the reference point and the corresponding point obtained by the P detection process. For this reason, it is possible to take measures for corresponding points with low reliability.
  • a reference point and a corresponding point corresponding to this reference point are indirectly obtained based on the detection result of I detection processing and motion information. It was.
  • the corresponding points obtained indirectly are set as temporary corresponding points (also referred to as temporary corresponding points), and the temporary corresponding points are set as processing target points.
  • Corresponding point detection processing for a set of P pictures is performed. By such a P detection process having two steps, a decrease in the detection accuracy of corresponding points is suppressed, and the amount of calculation related to the detection of corresponding points is reduced.
  • differences from the information processing system 1D according to the third embodiment in the information processing system 1D according to the fifth embodiment will be described.
  • FIG. 34 is a diagram illustrating a functional configuration of the information processing system 1D.
  • the information processing system 1D is based on the information processing system 1B according to the third embodiment, and the calculation unit 42B is changed to a calculation unit 42D in which the search unit 422B is replaced with the search unit 422D.
  • the search unit 422D includes an I detection unit 4221D, a temporary detection unit 4222D, and a P detection unit 4223D.
  • the I detection unit 4221D performs the same process as the I detection process according to the third embodiment.
  • the provisional detection unit 4222D as the first detection unit performs the same processing as the P detection processing according to the third embodiment on the other corresponding point corresponding to the reference point included in one P picture for the set of P pictures. From the P picture. That is, the detection result of the I detection process for a set of P pictures, the set of I pictures or the set of I pictures and D pictures, and the motion information included in the set of P pictures Based on the above, a temporary corresponding point corresponding to each reference point on one P picture is obtained from the other P picture.
  • the P detection unit 4223D as the second detection unit targets a set of P pictures and includes a region including a reference point included in one P picture (also referred to as a reference region) and the other P picture.
  • the corresponding point corresponding to the reference point of one P picture is detected from the other P picture by comparison with a region including the temporary corresponding point (also referred to as a comparison region).
  • a reference region W1 including a reference point (eg, reference point Pa2) as a center is set in one P picture (eg, P picture Ma2), and the other A comparison area W2 including a temporary corresponding point (for example, the temporary corresponding point Pb2) as a center is set in the P picture (for example, the P picture Mb2).
  • the distribution of correlation values between the reference area W1 and the comparison area W2 by the same method as the method for obtaining the distribution of correlation values between the reference area Wa and the comparison area Wb in the P detection process according to the first embodiment.
  • a point corresponding to the maximum correlation value in the distribution is detected as a corresponding point.
  • step SB65 (FIG. 24) of the operation flow according to the third embodiment is replaced with step SD65 in which the operation flow shown in FIG. 36 is executed, and accordingly step SB6 is performed.
  • step SD65 (FIG. 22) is replaced with step SD6 in which the processing content is changed.
  • This operation flow is realized by the control unit 406 reading and executing the program PGD in the storage unit 404.
  • step SD65 different from the operation flow according to the third embodiment will be described.
  • step SD65 the processes of steps SD651 and SD652 shown in FIG. 36 are sequentially performed.
  • step SD651 the provisional detection unit 4222D detects a corresponding point corresponding to the reference point included in one P picture from the other P picture for the set of P pictures.
  • step SD652 the P detection unit 4223D causes a reference region including the reference point included in one P picture as a center, and the provisional corresponding point included in the other P picture detected in step SD651.
  • the corresponding point corresponding to the reference point of one P picture is detected from the other P picture.
  • the weighting coefficient set for each frequency is multiplied by the value after the synthesis process T4.
  • a mode in which processing for limiting a component of a predetermined frequency also referred to as band limitation processing
  • this weighting coefficient a weighting coefficient distributed in a rectangular shape that completely cuts a high frequency component as shown in FIG. 37 may be adopted, or a Gaussian shape as shown in FIG. A distributed weighting factor may be employed.
  • the frequency neglected in the band limiting process may be set in accordance with the frequency information deleted by the moving image compression executed by the compression units 22a and 22b. That is, the frequency neglected in the band limiting process may be set according to the compression rate in moving image compression.
  • the band control process As described above, it is possible to reduce the amount of calculation related to the frequency of the predetermined band in the I detection process. For this reason, the amount of calculation related to detection of corresponding points is reduced by reducing unnecessary calculations. Then, by reducing the influence of so-called aliasing and the like, the detection accuracy of corresponding points in the I detection process can be improved.
  • the P detection process the same operation and effect as the I detection process can be obtained if the same band limiting process as the I detection process is performed.
  • 39 and 40 are diagrams illustrating examples of how the reference area Wa and the comparison area Wb are set according to the block. 39 and 40, each square area surrounded by a broken line corresponds to a block in each frame. As shown in FIG. 39, if the reference area Wa and the comparison area Wb are set so as to match the area corresponding to one block, the reference area Wa and the comparison area Wb do not straddle the boundary line between the blocks. . For this reason, the fall of the detection accuracy of a corresponding point is suppressed notably. However, since the center point of the reference area Wa is set as a reference point, the reference points are set in order at discrete positions in each frame.
  • the reference area Wa and the comparison area Wb are set so as to match an area corresponding to a block group composed of a plurality of (for example, four) blocks. For example, the boundary line between the blocks included in the reference area Wa and the comparison area Wb is reduced. For this reason, the fall of the detection accuracy of a corresponding point is suppressed.
  • the reference areas Wa S1 since the area corresponding to one block is small, as shown in FIG. 40, the reference areas Wa S1 .
  • a mode in which Wa S3 and comparison regions Wb S1 to Wb S3 are set is preferable. That is, the outer edge of the block may be matched with the outer edges of the reference area Wa and the comparison area Wb.
  • the reference points are set discretely, and the processing target point is slightly off from the center. There is a tendency that comparison areas Wb, Wb S1 to Wb S3 are included.
  • a temporary corresponding point is obtained indirectly based on motion information, and this temporary corresponding point is set as a processing target point, and corresponding points for a set of P pictures.
  • the present invention is not limited to this.
  • a P picture set is expanded into a D picture set, and the temporary corresponding point is set as a reference for the D picture set.
  • Corresponding points may be detected in the same manner.
  • a complicated process of generating a multi-step resolution frame and detecting a corresponding point is not required for a set of D pictures, and the corresponding point detection accuracy is maintained. That is, by the P detection process having the two-stage process, the calculation amount related to the detection of the corresponding point is reduced while the decrease in the detection accuracy of the corresponding point is suppressed.
  • the difference between the information processing system 1E according to the third modification and the information processing system 1D according to the fifth embodiment will be described.
  • FIG. 41 is a diagram illustrating a functional configuration of the information processing system 1E.
  • the information processing system 1E is based on the information processing system 1D according to the fifth embodiment, and the calculation unit 42D is changed to a calculation unit 42E in which the search unit 422D is replaced with the search unit 422E and an expansion unit 426E is added. It has been done.
  • the search unit 422E is obtained by replacing the P detection unit 4223D with the I detection unit 4223E based on the search unit 422D according to the fifth embodiment.
  • the decompression unit 426E decompresses one P picture of the set of P pictures to generate a decompressed frame (that is, D picture), and decompresses the other P picture to decompress the decompressed frame (that is, D picture) ) Is generated.
  • the I detection unit 4223E as the second detection unit targets a set of D pictures, and includes an area including a reference point included in one D picture (also referred to as a reference area) and the other D picture. Corresponding points corresponding to the reference point of one D picture are detected from the other D picture by comparison with a region (also referred to as a comparison region) that includes temporary corresponding points (that is, processing reference points). Specifically, the correlation value between the reference region and the comparison region is calculated by a method similar to the method in which the correlation value distribution between the reference region Wa and the comparison region Wb is obtained in the I detection process according to the first embodiment. It is conceivable that a distribution is obtained and a point corresponding to the maximum correlation value in the distribution is detected as a corresponding point.
  • step SD65 (FIG. 24) is replaced with step SE65 in which the operation flow shown in FIG. 42 is executed.
  • Step SD6 (FIG. 22) is replaced with Step SE6 in which the processing content is changed.
  • This operation flow is realized by the control unit 406 reading and executing the program PGE in the storage unit 404.
  • step SE65 different from the operation flow according to the fifth embodiment will be described.
  • step SE65 the processing of steps SE651 to SE653 shown in FIG. 42 is performed in order.
  • step SE651 similarly to step SD651 according to the fifth embodiment, the provisional detection unit 4222D targets the set of P pictures, and the corresponding point corresponding to the reference point included in one P picture is the other. Detected from P picture.
  • step SE652 the expansion unit 426E expands one P picture of a set of P pictures to generate one D picture, and expands the other P picture to generate the other D picture. The Thereby, a set of D pictures is generated.
  • step SE653 the I detection unit 4223E targets the set of D pictures generated in step SE652, the reference region including the reference point on one D picture, and the other detected in step SE651. Corresponding points corresponding to the reference point of one D picture are detected from the other D picture by comparison with a comparison region including a temporary corresponding point (that is, a processing reference point) on the D picture.
  • a set of an I picture and a P picture is converted into a D picture by expanding the P picture, and then an I detection is performed on the set of the I picture and the D picture.
  • the I detection may be performed on the set of P pictures after the I picture is converted into a P picture by moving image compression. That is, if the data format of the frame is converted by the decompression unit 421 so that the pair of the I picture and the P picture is matched with the data format of one of the I picture and the P picture. good. According to this, it is possible to detect corresponding points even for sets of frames having different forms.
  • 43 and 44 are diagrams illustrating an aspect in which each frame of the second compressed moving image Ma is converted as necessary so as to match the data format of each frame of the first compressed moving image Ma.
  • the first compressed moving image Ma is left as it is. It is treated as one compressed moving image Maa, and for the second compressed moving image Mb, the data format of the first, third, and ninth frames Mb1, Mb3, and Mb9 is converted to generate the second compressed moving image Mbb.
  • the P picture is expanded and converted into D pictures Md1 and Md9.
  • the I picture is compressed to generate a frame (also referred to as E picture) Me3 indicated by the motion information in the same manner as the P picture.
  • the P detection process may be performed for the set of the P picture Ma3 and the E picture Me3.
  • the previous P picture Mb2 is expanded into a D picture, and each picture is indicated by motion information obtained from the comparison between the D picture and the I picture Mb3. It suffices if Me3 is generated.
  • the processing according to this modified example has a small proportion of I pictures in a large number of frames constituting each compressed video, It is preferably employed when the frequency of generation is low.
  • the distance D is not obtained for each pair of the reference point and the corresponding point determined to be low in reliability by the reliability determination unit 425.
  • the present invention is not limited to this.
  • other processing may be performed according to the determination result by the reliability determination unit 425.
  • the distance measurement unit 423C adds a flag indicating that the reliability is low with respect to the distance D obtained for each pair of the reference point and the corresponding point determined to be low in reliability. And the like.
  • the search unit 422B changes the set of reference points and corresponding points into a set of reference points and processing target points.
  • the corresponding point detection process may be performed.
  • a reference area Wa including the reference point as a center in one P picture and a process target point as a center are included in the other P picture.
  • one and the other P picture are expanded into a set of D pictures, and this set of D pictures is targeted.
  • Corresponding points may be detected by performing I detection processing.
  • the P picture is adopted as the prediction frame, but the present invention is not limited to this.
  • any one of a P picture and a B picture may be adopted as the prediction frame.
  • the distance D from the stereo camera 2 to the subject is obtained, but the present invention is not limited to this.
  • an image of the subject that is predicted to be obtained if captured from a viewpoint different from the viewpoint of the stereo camera 2 is generated in a pseudo manner May be.
  • the I detection process uses the POC method, but is not limited to this.
  • a so-called SAD method may be used.
  • the SAD method is adopted for the I detection process, the corresponding point is detected while the temporary corresponding point is used as a reference in the I detection process for a set of D pictures.
  • each combination of a reference point and a corresponding point is detected for a stereo moving image.
  • Such a detection result may be stored in the storage unit 404 in a multi-view video coding (MVC) format.
  • MVC multi-view video coding
  • an image related to one viewpoint is set as a base image, and an image related to another viewpoint is expressed by disparity information with respect to the base image.
  • Each image is subjected to compression by motion compensation.
  • the corresponding point corresponding to the reference point is detected between two compressed moving images such as the first and second compressed moving images.
  • a corresponding point corresponding to the reference point may be detected among three or more compressed moving images. That is, a corresponding point corresponding to the reference point may be detected among a plurality of compressed moving images.
  • the first and second compression units 22a and 22b exist separately.
  • the present invention is not limited to this, and a single compression unit may be used.
  • the I detection process is performed on the set of I pictures and the set of I pictures and D pictures.
  • the present invention is not limited to this. For example, if a P picture occupies a large proportion in each compressed video, one or more sets of P pictures are expanded into D picture sets, and an I detection process is performed on each D picture set. Also good.
  • Information processing system 4 Information processing device 21a, 21b Imaging unit 22a, 22b Compression unit 23a, 23b Transmission unit 41a, 41b Reception unit 42, 42A to 42E Calculation unit 404 Storage unit 406 Control unit 421, 426E Expansion unit 422, 422A, 422B, 422D, 422E Search unit 424 Evaluation value calculation unit 425 Reliability determination unit 4221D, 4223E I detection unit 4222D Temporary detection unit 4223D P detection unit PG, PGA to PGE program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　圧縮された動画像を対象とした対応点の検出に係る演算量を低減することを目的とする。この目的を達成するために、基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像が取得される。また、第１圧縮動画像と第２圧縮動画像との間におけるフレームの各組を対象として、第２圧縮動画像に含まれている一のフレームから、第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理が行われる。そして、一組の予測フレームを対象とした検出処理が、該一組の予測フレームを示す動き情報を用いて行われる。

Description

画像処理システム、画像処理方法、およびプログラム
　本発明は、対応点の検出に係る画像処理技術に関する。
　従来から、ステレオカメラによって同じ被写体を異なる視点から撮影して得たステレオ画像が対象とされて、被写体の同じ部分が捉えられた画素が検出される処理（対応点検出処理とも言う）が知られている。そして、被写体の経時的な変化を捉えた各ステレオ画像が対象とされて対応点検出を行う技術も知られている（例えば、特許文献１等）。
特開２００４－３０１６０７号公報
　ところで、動画的な態様を有するステレオ画像については、データ量が大きいため、データの送信や保存等を考慮すると、ＭＰＥＧ(Moving Picture Experts Group)等の方式によって動画圧縮が施されることが好ましい。そして、この動画圧縮が施される場合、伸長処理によって動画的な態様を有するステレオ画像が復元された上で対応点検出が行われる態様が考えられる。しかしながら、伸長処理に要する演算量の増大に因る対応点検出の長時間化等といった不具合が生じる。
　本発明は、上記課題に鑑みてなされたものであり、圧縮された動画像を対象とした対応点の検出に係る演算量を低減する技術を提供することを目的とする。
　上記課題を解決するために、第１の態様に係る画像処理システムは、基準フレームと、他のフレームを基準とした動き情報によって各画素が示されている予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する取得部と、前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う演算部と、を備える。そして、該画像処理システムでは、前記演算部が、一組の前記予測フレームを対象とした前記検出処理を、該一組の前記予測フレームを示す動き情報を用いて行う。
　第２の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームを対象とした前記検出処理を、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて行う。
　第３の態様に係る画像処理システムは、第２の態様に係る画像処理システムであって、一組の前記予測フレームに係る前記検出処理において一方の予測フレームに含まれている一の基準点に対して他方の予測フレームから検出される一の対応点について、該一の基準点との類似度に係る評価値を算出する算出部と、前記評価値と予め設定されている閾値との比較によって前記一の対応点に係る信頼性を判定する判定部と、を更に備える。
　第４の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、前記一方の予測フレームにおいて前記一の基準点を包含する領域と、前記他方の予測フレームにおいて前記一の仮対応点を包含する領域との比較によって、前記他方の予測フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、を有する。
　第５の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記演算部が、一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、前記一方の予測フレームを伸長して一方の伸長後フレームを生成するとともに、前記他方の予測フレームを伸長して他方の伸長後フレームを生成する伸長部と、前記他方の伸長後フレームにおいて前記一の仮対応点を包含する領域を基準として、前記他方の伸長後フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、を有する。
　第６の態様に係る画像処理システムは、第１から第５の何れか１つの態様に係る画像処理システムであって、各前記基準フレームが、所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームであり、前記演算部が、前記所定帯域について残余の帯域よりも周波数成分を低減する重み付けを行いつつ位相限定相関法を用いた演算を行うことで、一組のフレームを対象とした前記検出処理を行う。
　第７の態様に係る画像処理システムは、第１から第５の何れか１つの態様に係る画像処理システムであって、各前記基準フレームが、所定サイズのブロック単位で圧縮処理が施されたフレームであり、前記演算部が、前記第１圧縮動画像の第１フレームに対して一の基準点を包含する第１領域を前記ブロックに合わせて設定し、前記第２圧縮動画像の第２フレームに対して第２領域を前記ブロックに合わせて設定し、前記第１領域と前記第２領域とを対象とした位相限定相関法を用いた演算を行うことで、前記第１フレームと前記第２フレームとの組を対象とした前記検出処理を行う。
　第８の態様に係る画像処理システムは、第１から第７の何れか１つの態様に係る画像処理システムであって、前記演算部が、前記基準フレームと前記予測フレームとの組については、前記基準フレームおよび前記予測フレームのうちの何れか一方のフレームの形式に合わせるようにフレームの変換を行った上で、前記検出処理を行う。
　第９の態様に係る画像処理システムは、第８の態様に係る画像処理システムであって、前記演算部が、前記基準フレームと前記予測フレームとの組については、前記予測フレームを伸長した上で、前記基準フレームと伸長後の前記予測フレームとを対象とした前記検出処理を行う。
　第１０の態様に係る画像処理システムは、第１の態様に係る画像処理システムであって、前記一組の予測フレームが、第１予測フレームと第２予測フレームとを含み、前記演算部が、前記第１予測フレームにおいて一の基準点を包含する基準領域に係る前記動き情報と、前記第２予測フレームにおいて一の仮対応点を包含する比較領域に係る前記動き情報との比較によって、前記第２予測フレームから前記一の基準点に対応する一の対応点を検出する。
　第１１の態様に係る画像処理システムは、第１０の態様に係る画像処理システムであって、前記基準領域に係る前記動き情報が、一方向に係る動き情報の２次元的な一方基準分布と前記一方向とは異なる他方向に係る動き情報の２次元的な他方基準分布とを有し、前記比較領域に係る前記動き情報が、前記一方向に係る動き情報の２次元的な一方比較分布と前記他方向に係る動き情報の２次元的な他方比較分布とを有し、前記演算部が、前記一方基準分布および前記他方基準分布を含むボクセル情報と、前記一方比較分布および前記他方比較分布を含むボクセル情報との比較によって、前記第２予測フレームから前記一の基準点に対応する前記一の対応点を検出する。
　第１２の態様に係る画像処理システムは、第１から第１１の何れか１つの態様に係る画像処理システムであって、被写体を対象とした第１の一連の撮像によって第１動画像を得る第１撮像部と、前記第１の一連の撮像と同一のタイミングにおける前記被写体を対象とした第２の一連の撮像によって第２動画像を得る第２撮像部と、前記第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、前記第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、を更に備える。
　第１３の態様に係る画像処理システムは、第１から第７の何れか１つの態様に係る画像処理システムであって、第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、を更に備え、前記第１および第２圧縮部が、第１動画像と第２動画像との間における各組のフレームが、一組の前記基準フレームおよび一組の前記予測フレームのうちの何れか一方の組となるように動作することを特徴とする。
　第１４の態様に係る画像処理方法は、(a)基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する工程と、(b)前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う工程と、を備える。そして、該画像処理方法では、前記(b)工程において、一組の前記予測フレームを対象とした前記検出処理が、該一組の前記予測フレームを示す動き情報を用いて行われる。
　第１５の態様に係るプログラムは、画像処理システムに含まれる制御部において実行されることにより、前記画像処理システムを、第１から第１３の何れか１つの態様に係る画像処理システムとして機能させる。
　第１から第１３の何れの態様に係る画像処理システムによっても、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。
　特に、第２の態様に係る画像処理システムによれば、予測フレームに係る対応点の検出に要する演算量が低減される。
　また、第３の態様に係る画像処理システムによれば、信頼性が低い対応点について、様々な対応を講ずることが可能となる。
　また、第４および第５の何れの態様に係る画像処理システムによっても、仮対応点を用いることで対応点が容易に検出されるため、対応点の検出精度が維持されつつ、対応点の検出に係る演算量が低減される。
　また、第６の態様に係る画像処理システムによれば、不要な演算の削減によって、対応点の検出に係る演算量が低減される。
　また、第７の態様に係る画像処理システムによれば、対応点の検出に係る精度の低下が抑制される。
　また、第８の態様に係る画像処理システムによれば、異なる形態のフレームの組についても対応点の検出が可能となる。
　また、第９の態様に係る画像処理システムによれば、演算量の増大が抑制されつつ異なる形態のフレームの組についても対応点の検出が可能となる。
　また、第１３の態様に係る画像処理システムによれば、フレームの形態を整合させる演算が削減されるため、対応点の検出に係る演算量が低減される。
　また、第１４の態様に係る画像処理方法および第１５の態様に係るプログラムの何れによっても、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。
図１は、各実施形態および第３変形例に係る情報処理システムの概略を示す図である。 図２は、第１および第２実施形態に係る情報処理システムの機能的な構成を示す図である。 図３は、第１および第２圧縮動画像の一態様を例示する図である。 図４は、第１実施形態に係る対応点の検出処理の原理を説明するための図である。 図５は、各フレームの形態を例示する模式図である。 図６は、各第１縮小後フレームの形態を例示する模式図である。 図７は、各第２縮小後フレームの形態を例示する模式図である。 図８は、各第３縮小後フレームの形態を例示する模式図である。 図９は、各フレームに対する基準点の設定態様を例示する模式図である。 図１０は、第３縮小後フレームにおける基準点と処理対象点の設定例を示す図である。 図１１は、第３縮小後フレームに対するウインドウの設定例を示す模式図である。 図１２は、第２縮小後フレームに対するウインドウの設定例を示す模式図である。 図１３は、第１縮小後フレームに対するウインドウの設定例を示す模式図である。 図１４は、第１縮小後フレームに対するウインドウの設定例を示す模式図である。 図１５は、各フレームに対するウインドウの設定例を示す模式図である。 図１６は、各フレームに対するウインドウの設定例を示す模式図である。 図１７は、ＰＯＣ法を用いたＩ検出処理に係る機能的な構成を例示する図である。 図１８は、ＰＯＣ値の分布を例示する図である。 図１９は、Ｐ検出処理の原理を説明するための図である。 図２０は、Ｐ検出処理の原理を説明するための図である。 図２１は、ＰＯＣ法を用いたＰ検出処理に係る機能的な構成を例示する図である。 図２２は、情報処理システムの動作フローを示すフローチャートである。 図２３は、情報処理システムの動作フローを示すフローチャートである。 図２４は、情報処理システムの動作フローを示すフローチャートである。 図２５は、第２実施形態に係る情報処理システムの機能的な構成を示す図である。 図２６は、第２実施形態に係る圧縮態様および検出処理を説明するための図である。 図２７は、情報処理システムの動作フローを示すフローチャートである。 図２８は、情報処理システムの動作フローを示すフローチャートである。 図２９は、第３実施形態に係るＰ検出処理の原理を説明するための図である。 図３０は、第３実施形態に係るＰ検出処理の原理を説明するための図である。 図３１は、第４実施形態に係る情報処理システムの機能的な構成を示す図である。 図３２は、第４実施形態に係る信頼性の判定方法を説明するための図である。 図３３は、情報処理システムの動作フローを示すフローチャートである。 図３４は、第５実施形態に係る情報処理システムの機能的な構成を示す図である。 図３５は、第５実施形態に係るＰ検出処理の原理を説明するための図である。 図３６は、情報処理システムの動作フローを示すフローチャートである。 図３７は、第１変形例に係る重み付け係数の分布を例示する図である。 図３８は、第１変形例に係る重み付け係数の分布を例示する図である。 図３９は、第２変形例に係るウインドウの設定例を示す模式図である。 図４０は、第２変形例に係るウインドウの設定例を示す模式図である。 図４１は、第３変形例に係る情報処理システムの機能的な構成を示す図である。 図４２は、情報処理システムの動作フローを示すフローチャートである。 図４３は、第４変形例に係る対応点の検出処理の原理を説明するための図である。 図４４は、第４変形例に係る対応点の検出処理の原理を説明するための図である。
　以下、各実施形態を図面に基づいてそれぞれ説明する。なお、図面においては同様な構成および機能を有する部分には同一符号が付され、重複説明が省略される。
　＜(1)第１実施形態＞
　　＜(1-1)画像処理システムの概要＞
　図１は、本発明の第１実施形態に係る情報処理システム１の概略構成を示す図である。
　情報処理システム１は、ステレオカメラ２と、通信回線３ａ，３ｂと、情報処理装置４とを備えている。ステレオカメラ２と情報処理装置４とは、通信回線３ａ，３ｂを介して各種信号の送受信が可能に接続されている。
　ステレオカメラ２は、第１および第２カメラ２ａ，２ｂを備えている。各カメラ２ａ，２ｂは、例えば、ＣＣＤ等の撮像素子を有するデジタルカメラの構成を有し、被写体からの光を受光しつつ光電変換によって被写体に係る輝度情報の分布をこの被写体に係る画像データ（画像とも言う）として取得する撮像を行う。また、各カメラ２ａ，２ｂは、所定時間（例えば１秒）毎に所定回数（例えば６０回）の撮像（一連の撮像とも言う）を行うことで被写体の経時的な変化を捉えた動画像データ（動画像とも言う）を取得する。
　また、第１および第２カメラ２ａ，２ｂは、所定方向に離隔して配置され、同時期において同じタイミングで同じ被写体を異なる視点から撮像する処理を順次に行う。第１および第２カメラ２ａ，２ｂによって同じタイミングで撮像される各組の画像は、いわゆるステレオ画像となる。
　また、第１カメラ２ａは、撮像で得られた動画像（第１動画像とも言う）に動画圧縮を施して圧縮動画像（第１圧縮動画像とも言う）Ｍａを生成し、この第１圧縮動画像Ｍａを通信回線３ａを介して情報処理装置４に送信する。第２カメラ２ｂは、撮像で得られた動画像（第２動画像とも言う）に動画圧縮を施して圧縮動画像（第２圧縮動画像とも言う）Ｍｂを生成し、この第２圧縮動画像Ｍｂを通信回線３ｂを介して情報処理装置４に送信する。なお、動画圧縮としては、例えば、所謂ＭＰＥＧ４等の各種規格に従ったものが採用可能であり、以下では、ＭＰＥＧ４に従った動画圧縮が採用されているものとする。
　また、第１および第２圧縮動画像Ｍａ，Ｍｂは、ともにＮ枚（Ｎは２以上の自然数）の画像（フレームとも言う）を有する。以下、各フレームを示すデータおよび各フレームそのものがフレームと総称される。また、説明の簡略化のために、第１および第２カメラ２ａ，２ｂによって同じタイミングで得られた一組のフレームについては、同じ被写体の部分を捉えた画素の座標がＹ方向には同一で且つＸ方向に異なるように、第１および第２カメラ２ａ，２ｂが設定されているものとして説明する。
　通信回線３ａ，３ｂは、各種信号の送受信が可能なケーブル等を用いた有線回線であっても良いし、無線通信等を用いた無線回線であっても良い。
　情報処理装置４は、例えばパーソナルコンピュータ（パソコン）で構成され、操作部４０１、表示部４０２、インターフェース(Ｉ／Ｆ)部４０３、記憶部４０４、入出力部４０５、および制御部４０６を備えている。
　操作部４０１は、例えば、マウスやキーボード等を有している。表示部４０２は、例えば、液晶ディスプレイ等を有している。Ｉ／Ｆ部４０３は、ステレオカメラ２からの信号の受信およびステレオカメラ２への信号の送信を行う。記憶部４０４は、例えばハードディスク等を有し、各種のデータおよびプログラムＰＧ等を記憶する。入出力部４０５は、光ディスク等の記憶媒体９の装着が可能なディスクドライブを有しており、記憶媒体９から情報を読み取って制御部４０６に出力し、制御部４０６から出力されるデータを記憶媒体９に書き込む。
　制御部４０６は、プロセッサーとして働くＣＰＵ４０６ａと、データを一時的に記憶するメモリ４０６ｂとを有し、情報処理装置４の各部を統括的に制御する。制御部４０６では、記憶部４０４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。ここでは、プログラムＰＧに応じた制御部４０６の制御によって、情報処理装置４が画像処理装置として機能し、情報処理システム１が画像処理システムとして機能する。
　　＜(1-2)画像処理システムの機能的な構成＞
　図２は、情報処理システム１の機能的な構成を示す図である。
　　　＜(1-2-1)ステレオカメラの機能的な構成＞
　第１カメラ２ａは、撮像部２１ａと圧縮部２２ａと送信部２３ａとを備え、第２カメラ２ｂは、撮像部２１ｂと圧縮部２２ｂと送信部２３ｂとを備える。ここでは、撮像部２１ａと撮像部２１ｂとが同様な構成を有し、圧縮部２２ａと圧縮部２２ｂとが同様な構成を有し、送信部２３ａと送信部２３ｂとが同様な構成を有しているため、説明の重複を避ける目的で、撮像部２１ａと圧縮部２２ａと送信部２３ａとについて主に説明する。
　撮像部２１ａは、撮像素子と信号処理部とを備えている。撮像素子は、例えばＣＣＤ等を有し、信号処理部は、例えばＣＤＳ回路とＡＧＣ回路とＡ／Ｄ変換回路とを有している。撮像素子から出力されるアナログ信号には、ＣＤＳ回路によるノイズ低減処理と、ＡＧＣ回路によるレベル調整処理と、Ａ／Ｄ変換回路によるデジタル信号への変換とが順に施される。
　これらの機能によって、撮像部２１ａは、一連の撮像（第１の一連の撮像とも言う）によってデジタル信号で示された複数のフレームを含む第１動画像を得る。また、撮像部２１ｂは、撮像部２１ａと同期しつつ撮像を行う。具体的には、撮像部２１ｂは、第１の一連の撮像と同一のタイミングにおいて、第１の一連の撮像と同じ被写体を対象とした一連の撮像（第２の一連の撮像とも言う）によってデジタル信号で示された複数のフレームを含む第２動画像を得る。撮像部２１ａ，２１ｂにおける撮像のタイミングは、例えば、制御部４０６からの信号に応じて制御されれば良い。
　圧縮部２２ａは、第１動画像に動画圧縮を施して第１圧縮動画像Ｍａを生成する。具体的には、圧縮部２２ａでは、離散コサイン変換（ＤＣＴ）や量子化等の各種処理が含まれるＭＰＥＧ４に従った動画圧縮が行われる。なお、ＤＣＴや量子化では、所定サイズの画像領域（ブロックとも言う）が一つの処理単位とされつつデータの圧縮処理が行われ、所定帯域（主に高周波帯域）の周波数に係る情報が削除される。所定サイズの各ブロックは、一辺が所定数（８または１６個）の画素からなる正方形の画像領域等であれば良い。なお、圧縮部２２ｂは、圧縮処理２２ａと同様に、第２動画像に動画圧縮を施して第２圧縮動画像Ｍｂを生成する。
　この動画圧縮では、動画像に含まれる複数のフレームのうちの１以上のフレームが基準のフレーム（基準フレームともＩピクチャとも言う）とされ、基準フレーム以外の他のフレームが、基準フレームを基準とした動き情報によって各画素が示されている予測のフレーム（予測フレームとも言う）となる。各画素に係る動き情報は、動画像を構成するｉ－１番目（ｉは上記Ｎ以下の自然数）のフレームとｉ番目のフレームとの間において、被写体の各部分を捉えた画素の座標の変化を示す情報であり、ｉ番目のフレームの各画素を示す。換言すれば、基準フレームは画素毎に画素値（輝度値等）を有し、予測フレームは各画素に対応する動き情報を有している。
　本実施形態では、各フレームを構成する画素の位置が、直交するＸＹの２軸に係る座標（Ｘ座標の値とＹ座標の値）で示され、動き情報に相当する座標の変化は、Ｘ座標の値とＹ座標の値とで示される動きベクトルの形式で表現されれば良い。つまり、動き情報には、Ｘ方向の動き情報とＹ方向の動き情報とが含まれる。
　なお、ｉ番目のフレームが予測フレームであれば、予測フレームは、ｉ番目のフレームとｉ－１番目のフレームとの比較から得られた動き情報で各画素が示されているフレーム（Ｐピクチャとも言う）であっても良いし、ｉ番目のフレームとｉ－１番目およびｉ＋１番目のフレームとの比較から得られた動き情報で各画素が示されているフレーム（Ｂピクチャとも言う）であっても良い。以下、予測フレームがＰピクチャである場合を例にとって説明する。
　図３は、第１および第２圧縮動画像Ｍａ，Ｍｂの一態様を例示する図である。図３では、第１圧縮動画像Ｍａを構成するｉ番目のフレームが時刻Ｔｉの撮像に係るフレームＭａｉと記載され、第２圧縮動画像Ｍｂを構成するｉ番目のフレームが時刻Ｔｉの撮像に係るフレームＭｂｉと記載されている。
　図３で示されるように、第１圧縮動画像Ｍａは、Ｎ枚のフレームＭａ１～ＭａＮを有している。そして、１，５，９番目の各フレームＭａ１，Ｍａ５，Ｍａ９が、Ｉピクチャであり、２～４，６～８，１０，Ｎ番目の各フレームＭａ２～Ｍａ４，Ｍａ６～Ｍａ８，Ｍａ１０，ＭａＮが、Ｐピクチャである。また、第２圧縮動画像Ｍｂは、Ｎ枚のフレームＭｂ１～ＭｂＮを有している。そして、３，７番目の各フレームＭｂ３，Ｍｂ７が、Ｉピクチャであり、１，２，４～６，８～１０，Ｎ番目の各フレームＭｂ１，Ｍｂ２，Ｍｂ４～Ｍｂ６，Ｍｂ８～Ｍｂ１０，ＭａＮが、Ｐピクチャである。
　ここでは、図３の矢印で示されるように、Ｉピクチャの直後のＰピクチャは、直前のＩピクチャを基準とした動き情報によって各画素が示されている。また、Ｐピクチャの直後のＰピクチャは、直前のＰピクチャを基準とした動き情報によって各画素が示されていることで、間接的にＩピクチャを基準とした動き情報によって各画素が示されている。なお、全てのＰピクチャが、Ｉピクチャを基準とした動き情報によって直接的に各画素が示されていても良い。
　送信部２３ａは、第１圧縮動画像Ｍａを情報処理装置４に対して送信する。また、送信部２３ｂは、第２圧縮動画像Ｍｂを情報処理装置４に対して送信する。
　　　＜(1-2-2)画像処理装置の機能的な構成＞
　図２で示されるように、画像処理装置としての情報処理装置４は、受信部４１ａ，４１ｂと演算部４２とを備えている。
　受信部４１ａ，４１ｂは、取得部としてのＩ／Ｆ部４０３によって実現される。受信部４１ａは、第１カメラ２ａから出力される第１圧縮動画像Ｍａを受信することで第１圧縮動画像Ｍａを取得する。受信部４１ｂは、第２カメラ２ｂから出力される第２圧縮動画像Ｍｂを受信することで第２圧縮動画像Ｍｂを取得する。
　演算部４２は、制御部４０６でプログラムＰＧが実行されることで実現され、機能的な構成として伸長部４２１と探索部４２２と測距部４２３とを備えている。
　伸長部４２１は、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれているＰピクチャを必要に応じて伸長することで、Ｉピクチャと同様に画素毎に画素値の情報を有する伸長後のＰピクチャ（Ｄピクチャとも言う）を生成して、探索部４２２に出力する。なお、Ｉピクチャと同様な形態を有するＤピクチャは、基準フレームに相当する。また、伸長部４２１は、Ｉピクチャと伸長を要さないＰピクチャとをそのまま探索部４２２に出力する。
　具体的には、図３で示されるように、１番目の一組のフレームＭａ１，Ｍｂ１と、３番目の一組のフレームＭａ３，Ｍｂ３と、５番目の一組のフレームＭａ５，Ｍｂ５と、７番目の一組のフレームＭａ７，Ｍｂ７と、９番目の一組のフレームＭａ９，Ｍｂ９とが、それぞれＩピクチャとＰピクチャとの組である。これらの各組のフレームについては、図４で示されるように、伸長部４２１によってＰピクチャＭｂ１，Ｍａ３，Ｍｂ５，Ｍａ７，Ｍｂ９が伸長されてＤピクチャＭｄ１，Ｍｄ３，Ｍｄ５，Ｍｄ７，Ｍｄ９が生成されることで、ＩピクチャとＤピクチャとの組とされる。なお、第１および第２圧縮動画像Ｍａ，ＭｂにはＩピクチャどうしの組となるフレームが含まれていても良い。
　上述したように、伸長部４２１によって一部のＰピクチャがＤピクチャに変換されることで、第１および第２圧縮動画像Ｍａ，Ｍｂが、第１および第２圧縮動画像Ｍａａ，Ｍｂｂとなる。以下、第１圧縮動画像Ｍａａに含まれる各フレームを「一方フレーム」とも言い、第２圧縮動画像Ｍｂｂに含まれる各フレームを「他方フレーム」とも言う。
　探索部４２２は、第１圧縮動画像Ｍａａと第２圧縮動画像Ｍｂｂとの間で、同時刻の撮像に係る各組のフレームを対象として、被写体の同じ部分を捉えた画素の対応関係を検出する。探索部４２２では、第１圧縮動画像Ｍａａに含まれている一方フレームに対して検出の基準となる点（基準点とも言う）が順次に設定され、基準点毎に、第２圧縮動画像Ｍｂｂに含まれている他方フレームから基準点に対応する点（対応点とも言う）が検出される処理（検出処理とも言う）が行われる。
　この検出処理には、Ｉピクチャどうしの組およびＩピクチャとＤピクチャとの組を対象とした検出処理（Ｉ検出処理とも言う）と、Ｐピクチャどうしの組を対象とした検出処理（Ｐ検出処理とも言う）とが含まれる。つまり、演算部４２では、対応点の検出処理の対象がＩピクチャとＰピクチャとの組であれば、伸長部４２１によってＰピクチャが伸長されてＤピクチャとされた上で、ＩピクチャとＤピクチャとを対象としたＩ検出処理が行われる。また、対応点の検出処理の対象がＰピクチャどうしの組であれば、Ｐピクチャの伸長等が行われずにＰ検出処理が行われる。
　本実施形態では、Ｉ検出処理およびＰ検出処理の何れの処理においても、各組のフレームをベースとして解像度が所定数（例えば、３つ）の段階に低減されたフレームの組が生成され、解像度が低いフレームの組から順に被写体の同じ部分を捉えた基準点と対応点との関係が検出される。このとき、解像度が相対的に１段階低いフレームの組を対象とした検出結果が、解像度が相対的に１段階高いフレームの組を対象とした次段の検出に利用される。
　ここで、一組のフレームを対象とした検出処理における、［Ａ］複数段階の解像度に係るフレームの組の生成、［Ｂ］基準点の設定、および［Ｃ］各基準点に対応する対応点の検出、について順に説明する。
　［Ａ］複数段階の解像度に係るフレームの組の生成：
　図５は、第１および第２圧縮動画像Ｍａａ，Ｍｂｂに含まれている各フレームの形態を例示する模式図である。各フレームでは、多数の画素がマトリックス状に配列されている。具体的には、縦方向（Ｙ方向）に第１所定数（ここでは４８０個）の画素が配列され、横方向（Ｘ方向）に第２所定数（ここでは６４０個）の画素が配列されている。各フレームでは左上の位置が原点とされ、各フレームを構成する各画素の横方向における位置がＸ座標で示され、縦方向における位置がＹ座標で示されている。つまり、各フレームでは、各画素の位置が座標（Ｘ，Ｙ）で示され、例えば、右方向（Ｘ方向）に１画素ずれるとＸ座標の値が１つ増加し、下方向（Ｙ方向）に１画素ずれるとＹ座標の値が１つ増加する。
　図６は、各フレームの解像度が１段階低減されて生成されるフレーム（第１縮小後フレームとも言う）の形態を例示する図である。１段階の解像度の低減は、例えば、各フレームを構成している複数の縦方向の画素の列（垂直ラインとも言う）および複数の横方向の画素の行（水平ラインとも言う）のうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第１縮小後フレームが、縦方向に２４０個および横方向に３２０個の画素がマトリックス状に配列された構成を有している。
　例えば、一方フレームＭａ１から第１縮小後フレーム（一方第１縮小後フレームとも言う）Ｍａ１S1が生成され、他方フレームＭｄ１から第１縮小後フレーム（他方第１縮小後フレームとも言う）Ｍｄ１S1が生成される。また、一方フレームＭａ２から一方第１縮小後フレームＭａ２S1が生成され、他方フレームＭｂ２から他方第１縮小後フレームＭｂ２S1が生成される。
　図７は、各フレームの解像度が２段階低減されて生成されるフレーム（第２縮小後フレームとも言う）の形態を例示する図である。２段階の解像度の低減は、例えば、各第１縮小後フレームを構成している複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第２縮小後フレームが、縦方向に１２０個および横方向に１６０個の画素がマトリックス状に配列された構成を有している。
　例えば、一方フレームＭａ１から第２縮小後フレーム（一方第２縮小後フレームとも言う）Ｍａ１S2が生成され、他方フレームＭｄ１から第２縮小後フレーム（他方第２縮小後フレームとも言う）Ｍｄ１S2が生成される。また、一方フレームＭａ２から一方第２縮小後フレームＭａ２S2が生成され、他方フレームＭｂ２から他方第２縮小後フレームＭｂ２S2が生成される。
　図８は、各フレームの解像度が３段階低減されて生成されるフレーム（第３縮小後フレームとも言う）の形態を例示する図である。３段階の解像度の低減は、例えば、各第２縮小後フレームを構成している複数の垂直ラインおよび複数の水平ラインのうち、１列おきの垂直ラインおよび１行おきの水平ラインがそれぞれ間引かれることで実現される。ここでは、第３縮小後フレームが、縦方向に６０個および横方向に８０個の画素がマトリックス状に配列された構成を有している。
　例えば、一方フレームＭａ１から第３縮小後フレーム（一方第３縮小後フレームとも言う）Ｍａ１S3が生成され、他方フレームＭｄ１から第３縮小後フレーム（他方第３縮小後フレームとも言う）Ｍｄ１S3が生成される。また、一方フレームＭａ２から一方第３縮小後フレームＭａ２S3が生成され、他方フレームＭｂ２から他方第３縮小後フレームＭｂ２S3が生成される。
　［Ｂ］基準点の設定：
　図９で示されるように、一方フレームに対して、対応点の検出の基準となる点（基準点とも言う）Ｓｐ１が設定される。ここでは、一方フレームの左上端の画素が始点とされ、図９の矢印で示されるように、一方フレームに対して、１つの水平ラインに沿って基準点Ｓｐ１が左端から右端にかけて１画素ずつずらされながら順に設定され、１つの水平ラインに沿った基準点Ｓｐ１の設定が完了すると、１つ下側（＋Ｙ側）の水平ラインに沿って基準点Ｓｐ１が左端から右端にかけて１画素ずつずらされながら順に設定される動作が繰り返される。また、ここでは、１つの基準点Ｓｐ１に対応する対応点が、他方フレーム上で検出される度に、次の基準点Ｓｐ１が設定される。
　［Ｃ］各基準点に対応する対応点の検出：
　各基準点Ｓｐ１に対応する対応点の検出では、次の工程（C1）～（C12）が行われる。
　（C1）一組の第３縮小後フレームを対象とした対応点の検出の基準となる初期視差が仮に設定される。初期視差は、例えば零等に設定される。詳細には、図１０で示されるように、基準点Ｓｐ１に対応する点（基準点）Ｓｐ１S3が、一方第３縮小後フレーム（例えばフレームＭａ１S3，Ｍａ２S3）に設定される。また、他方第３縮小後フレーム（例えばフレームＭｄ１S3，Ｍｂ２S3）に、演算処理の対象となる点（処理対象点とも言う）Ｐｐ１S3が設定される。所定の初期視差は、一方第３縮小後フレームにおける基準点Ｓｐ１S3の位置と、他方第３縮小後フレームにおける処理対象点Ｐｐ１S3の位置との間におけるＸ座標のずれ量である。
　（C2）図１１で示されるように、一方第３縮小後フレーム（例えば一方第３縮小後フレームＭａ１S3，Ｍａ２S3）において基準点Ｓｐ１S3を中心として包含するウインドウ（基準領域とも言う）ＷａS3が設定される。また、他方第３縮小後フレーム（例えば他方第３縮小後フレームＭｄ１S3，Ｍｂ２S3）において処理対象点Ｐｐ１S3を中心として包含するウインドウ（比較領域とも言う）ＷｂS3が設定される。なお、基準領域ＷａS3および比較領域ＷｂS3は、同一サイズで且つ同一形状（ここでは、正方形）の領域であり、例えば、縦方向および横方向にそれぞれ１７画素が配列されて構成されている。
　（C3）後述する位相限定相関法（ＰＯＣ法）が用いられて、基準領域ＷａS3と比較領域ＷｂS3との相関が算出されて、他方第３縮小後フレーム上で対応点が検出される。
　（C4）一組の第２縮小後フレームを対象とした対応点の検出において基準となる視差（基準視差）が仮に設定される。この基準視差は、工程(C3)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第３縮小後フレームにおける基準点Ｓｐ１S3の位置と、工程(C3)において検出された他方第３縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１２で示されるように、基準点Ｓｐ１に対応する基準点Ｓｐ１S2が、一方第２縮小後フレーム（例えばフレームＭａ１S2，Ｍａ２S2）に設定される。また、他方第２縮小後フレーム（例えばフレームＭｄ１S2，Ｍｂ２S2）に、工程(C3)において検出された対応点に対応する処理対象点Ｐｐ１S2が設定される。
　（C5）図１２で示されるように、一方第２縮小後フレーム（例えば一方第２縮小後フレームＭａ１S2，Ｍａ２S2）において基準点Ｓｐ１S2を中心として包含するウインドウ（基準領域とも言う）ＷａS2が設定される。また、他方第２縮小後フレーム（例えば他方第２縮小後フレームＭｄ１S2，Ｍｂ２S2）において処理対象点Ｐｐ１S2を中心として包含するウインドウ（比較領域とも言う）ＷｂS2が設定される。なお、基準領域ＷａS2および比較領域ＷｂS2は、基準領域ＷａS3および比較領域ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
　（C6）ＰＯＣ法が用いられて、基準領域ＷａS2と比較領域ＷｂS2との相関が算出されて、他方第２縮小後フレーム上で対応点が検出される。
　（C7）一組の第１縮小後フレームに対して基準視差が仮に設定される。この基準視差は、工程(C6)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第２縮小後フレームにおける基準点Ｓｐ１S2の位置と、工程(C6)において検出された他方第２縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１３で示されるように、基準点Ｓｐ１に対応する基準点Ｓｐ１S1が、一方第１縮小後フレーム（例えばフレームＭａ１S1，Ｍａ２S1）に設定される。また、図１４で示されるように、他方第１縮小後フレーム（例えばフレームＭｄ１S1，Ｍｂ２S1）に、工程(C6)において検出された対応点に対応する処理対象点Ｐｐ１S1が設定される。
　（C8）図１３で示されるように、一方第１縮小後フレーム（例えば一方第１縮小後フレームＭａ１S1，Ｍａ２S1）において基準点Ｓｐ１S1を中心として包含するウインドウ（基準領域とも言う）ＷａS1が設定される。また、図１４で示されるように、他方第１縮小後フレーム（例えば他方第１縮小後フレームＭｄ１S1，Ｍｂ２S1）において処理対象点Ｐｐ１S1を中心として包含するウインドウ（比較領域とも言う）ＷｂS1が設定される。なお、基準領域ＷａS1および比較領域ＷｂS1は、基準領域ＷａS2，ＷａS3および比較領域ＷｂS2，ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
　（C9）ＰＯＣ法が用いられて、基準領域ＷａS1と比較領域ＷｂS1との相関が算出されて、他方第１縮小後フレーム上で対応点が検出される。
　（C10）一組のフレームに対して基準視差が仮に設定される。この基準視差は、工程(C9)における検出結果に基づいて設定される。詳細には、この基準視差は、一方第１縮小後フレームにおける基準点Ｓｐ１S2の位置と、工程(C9)において検出された他方第１縮小後フレームにおける対応点の位置との間におけるＸ座標のずれ量に対応する。具体的には、図１５で示されるように、基準点Ｓｐ１が、一方フレーム（例えばフレームＭａ１，Ｍａ２）に設定される。また、図１６で示されるように、他方フレーム（例えばフレームＭｄ１，Ｍｂ２）に、工程(C9)において検出された対応点に対応する処理対象点Ｐｐ１が設定される。
　（C11）図１５で示されるように、一方フレーム（例えば一方フレームＭａ１，Ｍａ２）において基準点Ｓｐ１を中心として包含するウインドウ（基準領域とも言う）Ｗａが設定される。また、他方フレーム（例えば他方フレームＭｄ１，Ｍｂ２）において処理対象点Ｐｐ１を中心として包含するウインドウ（比較領域とも言う）Ｗｂが設定される。なお、基準領域Ｗａおよび比較領域Ｗｂは、基準領域ＷａS1，ＷａS2，ＷａS3および比較領域ＷｂS1，ＷｂS2，ＷｂS3と同一の形状で且つ同一のサイズの領域とされる。
　（C12）ＰＯＣ法が用いられて、基準領域Ｗａと比較領域Ｗｂとの相関が算出されて、他方フレーム上で対応点が検出される。
　図２に戻って、測距部４２３は、各組のフレームについて、基準点毎に、三角測量の原理を用いて、探索部４２２によって検出された基準点と対応点の座標から求まる視差Δｄに基づき、ステレオカメラ２（すなわち視点）から被写体までの距離Ｄを導出する。ここでは、距離Ｄと、第１および第２カメラ２ａ，２ｂの光軸の離隔距離Ｂと、ステレオカメラ２のレンズの焦点距離ｆと、視差Δｄとが、Ｄ＝ｆ×Ｂ／Δｄの関係を有することが利用され、離隔距離Ｂと焦点距離ｆは、設計によって一義的に設定される。測距部４２３で導出される各基準点に係る距離Ｄの情報は、演算部４２から出力され、記憶部４０４等に記憶される。
　　＜(1-3)ＰＯＣ法を用いた対応点の検出方法＞
　探索部４２２で実行されるＰＯＣ法を用いた対応点の検出方法には、Ｉ検出処理に係る検出方法と、Ｐ検出処理に係る検出方法とが含まれる。
　　　＜(1-3-1)Ｉ検出処理に係るＰＯＣ法を用いた対応点の検出方法＞
　図１７は、Ｉ検出処理に係るＰＯＣ法を用いた対応点の検出方法を具体的に説明するための図である。ここでは、一方フレームと他方フレームとの間における対応点の検出方法を例に挙げて説明する。
　まず、一方フレームに対するウインドウ（基準領域）Ｗａの設定処理Ｔ１ａと、他方フレームに対するウインドウ（比較領域）Ｗｂの設定処理Ｔ１ｂとが行われる。このとき、基準領域Ｗａおよび比較領域Ｗｂにそれぞれ相当する画像領域が、次の数１で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、上記数１におけるｆ(ｎ1,ｎ2)は、一方フレーム上の基準領域Ｗａを示し、上記数１におけるｇ(ｎ1,ｎ2)は、他方フレーム上の比較領域Ｗｂを示す。また、Ｎ1およびＮ2は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１と設定されている。
　次に、一方フレームおよび他方フレームの基準領域Ｗａおよび比較領域Ｗｂに相当する各画像領域に対し、次の数２で示される演算式を用いた２次元のフーリエ変換処理Ｔ２ａ、Ｔ２ｂが行われる。
Figure JPOXMLDOC01-appb-M000002
　なお、上記の数２のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
　このようなフーリエ変換処理Ｔ２ａ、Ｔ２ｂが施された各画像領域に対しては、次の数３で示される演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ３ａ、Ｔ３ｂがそれぞれ行われる。
Figure JPOXMLDOC01-appb-M000003
　規格化処理Ｔ３ａ、Ｔ３ｂが完了すると、次の数４で示される演算式を用いた合成処理Ｔ４が行われるとともに、下記数５で示される演算式を用いた２次元の逆フーリエ変換処理Ｔ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　以上の処理により、図１８で示されるように、基準領域Ｗａと比較領域Ｗｂとの相関を示す演算結果（ＰＯＣ値の分布）が得られる。
　図１８においては、ウインドウ（Ｎ1×Ｎ2）内で相関が高い箇所のＰＯＣ値が大きくなっており、他方フレーム上の比較領域Ｗｂ内のうち、ＰＯＣ値のピークＪｃに対応する位置が、一方フレーム上の基準領域Ｗａの中心点（基準点）Ｓｐ１に対応した他方フレーム上の対応点に相当する。このため、ＰＯＣ値のピークＪｃが検出されることで、一方フレーム上の基準点Ｓｐ１に対応した他方フレーム上の対応点が検出される。
　このようなＰＯＣ法を用いた対応点の検出処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制され、対応点が精度良く検出される。
　　　＜(1-3-2)Ｐ検出処理に係るＰＯＣ法を用いた対応点の検出方法＞
　Ｐ検出処理では、一組のＰピクチャに含まれる動き情報が用いられて、基準点に対応する対応点が検出される。以下、具体的に説明する。
　Ｐピクチャは、画素毎に、Ｘ方向の動き情報（動き情報Ｘとも言う）とＹ方向の動き情報（動き情報Ｙとも言う）とを有する。つまり、Ｐピクチャは、動き情報Ｘの分布と、動き情報Ｙの分布とを有する。このため、Ｐピクチャに設定された基準領域Ｗａは、図１９で示されるように、基準領域Ｗａに係る動き情報Ｘの２次元的な分布（Ｘ分布とも、一方基準分布とも言う）Ｗａｕと、基準領域Ｗａに係る動き情報Ｙの２次元的な分布（Ｙ分布とも、他方基準分布とも言う）Ｗａｖとを有する。従って、図１９で示されるように、基準領域Ｗａに係るデータは、Ｘ分布ＷａｕとＹ分布Ｗａｖとが積層されて形成される直方体の画像領域（ボクセル情報とも言う）Ｖｘａとして取り扱い可能である。なお、ここでは、Ｘ分布ＷａｕとＹ分布Ｗａｖとが積層される方向がＸＹ平面に垂直なＬ方向であるものする。
　また、Ｐピクチャに設定された比較領域Ｗｂは、図２０で示されるように、比較領域Ｗｂに係る動き情報Ｘの２次元的な分布（Ｘ分布とも、一方比較分布とも言う）Ｗｂｕと、比較領域Ｗｂに係る動き情報Ｙの２次元的な分布（Ｙ分布とも、他方比較分布とも言う）Ｗｂｖとを有する。従って、図２０で示されるように、比較領域Ｗｂに係るデータは、Ｘ分布ＷｂｕとＹ分布ＷｂｖとがＬ方向に積層されて形成される直方体の画像領域（ボクセル情報とも言う）Ｖｘｂとして取り扱い可能である。
　そして、ボクセル情報Ｖｘａとボクセル情報Ｖｘｂとの相関を示すＰＯＣ値の分布が求められ、ＰＯＣ値が最大となる点がＸＹ平面上に投影された点の座標が、対応点として検出される。
　図２１は、Ｐ検出処理におけるＰＯＣ値の分布の求め方を具体的に説明するための図である。
　ここでは、ボクセル情報Ｖｘａおよびボクセル情報Ｖｘｂは、それぞれＸ方向に沿って所定数Ｎ1の画素が配列され、Ｙ方向に沿って所定数Ｎ2の画素が配列され、Ｌ方向に沿って所定数Ｎ3（ここでは２つ）の画素が配列される直方体の画像領域（ボクセル情報）として取り扱われる。これらのボクセル情報は、次の数６で表される。
Figure JPOXMLDOC01-appb-M000006
　上記の数６におけるｆ(ｎ1,ｎ2,ｎ3)は、ボクセル情報Ｖｘａを示し、上記の数６におけるｇ(ｎ1,ｎ2,ｎ3)は、ボクセル情報Ｖｘｂに係る画像領域を示す。また、Ｎ1、Ｎ2、Ｎ3は、例えばＮ1＝２Ｍ1＋１、Ｎ2＝２Ｍ2＋１、Ｎ3＝２Ｍ3＋１と設定されている。
　そして、まず、ボクセル情報Ｖｘａおよびボクセル情報Ｖｘｂに対して、次の数７で示される演算式を用いた３次元のフーリエ変換処理ＴＶ２ａ，ＴＶ２ｂが行われる。
Figure JPOXMLDOC01-appb-M000007
　なお、上記の数７のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2、Ｎ3が代入され、またｋの添字ｓには、１、２、３が代入される。
　このようなフーリエ変換処理ＴＶ２ａ，ＴＶ２ｂが施された各画像領域に対しては、次の数８で示される演算式を用いて、画像の振幅成分を除去するための規格化処理ＴＶ３ａ，ＴＶ３ｂが行われる。
Figure JPOXMLDOC01-appb-M000008
　規格化処理ＴＶ３ａ，ＴＶ３ｂが完了すると、次の数９で示される演算式を用いた合成処理ＴＶ４が行われるとともに、数１０で示される演算式を用いた３次元の逆フーリエ変換処理ＴＶ５が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値の分布）が出力される。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　このようにして、ＰＯＣ値の分布が求められるが、ボクセル情報Ｖｘａとボクセル情報ＶｘｂとからＰＯＣ値の分布が求められる演算は、Ｉ検出処理においてＰＯＣ値の分布が求められる演算よりも、演算量が増加してしまう。このため、演算量の増加を抑制する観点から、Ｐ検出処理ではＩ検出処理よりもウインドウ（基準領域および比較領域）のサイズ（上記Ｎ1、Ｎ2）が小さく設定されることが好ましい。例えば、Ｎ2を半分にすれば良い。
　なお、一方第１縮小後フレームと他方第１縮小後フレームとの組、一方第２縮小後フレームと他方第２縮小後フレームとの組、および一方第３縮小後フレームと他方第３縮小後フレームとの組、の何れの組に係る対応点の検出についても、上述した一方フレームと他方フレームとの組に係る対応点の検出と同様な方法で実現可能である。
　例えば、基準領域ＷａS1に係るデータも、Ｘ分布ＷａｕS1とＹ分布ＷａｖS1とがＬ方向に積層された直方体のボクセル情報ＶｘａS1として取り扱い可能であり、比較領域ＷｂS1に係るデータも、Ｘ分布ＷｂｕS1とＹ分布ＷｂｖS1とがＬ方向に積層された直方体のボクセル情報ＶｘｂS1として取り扱い可能である。また、基準領域ＷａS2に係るデータも、Ｘ分布ＷａｕS2とＹ分布ＷａｖS2とがＬ方向に積層された直方体のボクセル情報ＶｘａS2として取り扱い可能であり、比較領域ＷｂS2に係るデータも、Ｘ分布ＷｂｕS2とＹ分布ＷｂｖS2とがＬ方向に積層された直方体のボクセル情報ＶｘｂS2として取り扱い可能である。更に、基準領域ＷａS3に係るデータも、Ｘ分布ＷａｕS3とＹ分布ＷａｖS3とがＬ方向に積層された直方体のボクセル情報ＶｘａS3として取り扱い可能であり、比較領域ＷｂS3に係るデータも、Ｘ分布ＷｂｕS3とＹ分布ＷｂｖS3とがＬ方向に積層された直方体のボクセル情報ＶｘｂS3として取り扱い可能である。
　　＜(1-4)情報処理システムの動作＞
　図２２から図２４は、情報処理システム１における動作フローを示すフローチャートである。本動作フローは、制御部４０６がプログラムＰＧを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部４０１からの指示に応じて開始されて、図２２のステップＳ１に進む。
　ステップＳ１では、撮像部２１ａ，２１ｂによる撮像によって、第１および第２動画像が取得される。
　ステップＳ２では、圧縮部２２ａ，２２ｂによって、第１および第２動画像に動画圧縮が施されることで第１および第２圧縮動画像Ｍａ，Ｍｂが生成され、送信部２３ａ，２３ｂに出力される。
　ステップＳ３では、送信部２３ａ，２３ｂによって、第１および第２圧縮動画像Ｍａ，Ｍｂが、情報処理装置４に対して送信される。
　ステップＳ４では、受信部４１ａ，４１ｂによって、第１および第２圧縮動画像Ｍａ，Ｍｂが受信され、伸長部４２１に出力される。
　ステップＳ５では、伸長部４２１によって、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれるＰピクチャが必要に応じて伸長されてＤピクチャが生成される。このステップＳ５では、図２３で示される動作フローが行われることで、第１および第２圧縮動画像Ｍａａ，Ｍｂｂが生成される。
　ステップＳ５１では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
　ステップＳ５２では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちのｉ番目の一組のフレームが処理の対象として設定される。
　ステップＳ５３では、ｉ番目の一組のフレームがＩピクチャの組であるか否かが判定される。ここで、ｉ番目の一組のフレームがＩピクチャの組でなければステップＳ５４に進み、Ｉピクチャの組であればステップＳ５５に進む。
　ステップＳ５４では、ｉ番目の一組のフレームがＰピクチャの組か否か判定される。ここで、ｉ番目の一組のフレームがＰピクチャの組であればステップＳ５５に進み、Ｐピクチャの組でなければステップＳ５６に進む。
　ステップＳ５５では、ｉ番目の一組のフレームに対する伸長が禁止される。すなわち、伸長部４２１によって、ｉ番目の一組のフレームが全く伸長されることなく、このｉ番目の一組のフレームが、そのまま探索部４２２に対して出力される。
　ステップＳ５６では、ｉ番目の一組のフレームに含まれるＰピクチャが伸長される。
　ステップＳ５７では、数値ｉがＮであるか否かが判定される。なお、Ｎは、第１および第２圧縮動画像Ｍａ，Ｍｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳ５８に進んで数値ｉが１つ増加されてステップＳ５２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
　次に、図２２のステップＳ６では、探索部４２２によって、対応点の検出が行われる。このステップＳ６では、図２４で示される動作フローが行われる。
　ステップＳ６１では、第１および第２圧縮動画像Ｍａａ，Ｍｂｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
　ステップＳ６２では、第１および第２圧縮動画像Ｍａａ，Ｍｂｂのうちのｉ番目のフレームの組が処理の対象として設定される。
　ステップＳ６３では、ｉ番目のフレームの組が、Ｉピクチャの組であるかまたはＩピクチャとＤピクチャとの組であるか否かが判定される。ここで、ｉ番目のフレームの組がＩピクチャの組またはＩピクチャとＤピクチャとの組であればステップＳ６４に進み、Ｉピクチャの組でもＩピクチャとＤピクチャとの組でもなければステップＳ６５に進む。
　ステップＳ６４では、Ｉ検出処理が行われる。
　ステップＳ６５では、Ｐ検出処理が行われる。
　ステップＳ６６では、数値ｉがＮであるか否かが判定される。Ｎは、第１および第２圧縮動画像Ｍａａ，Ｍｂｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳ６７に進んで数値ｉが１つ増加されてステップＳ６２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
　次に、図２２のステップＳ７では、測距部４２３によって、ステップＳ６で検出された対応点に基づき、第１および第２圧縮動画像Ｍａａ，Ｍｂｂに含まれる各組のフレームについて、被写体までの距離Ｄが導出される。
　　＜(1-5)第１実施形態のまとめ＞
　以上のように、第１実施形態に係る情報処理システム１では、Ｐピクチャどうしの組についてはＰピクチャが伸長されずにＰ検出処理が行われる。このため、圧縮された動画像を対象とした対応点の検出に係る演算量が低減される。また、ＩピクチャとＰピクチャとの組に含まれたＰピクチャが伸長されることでＤピクチャとされてＩ検出処理が行われる。このため、演算量の増大が抑制されつつ異なる形態のフレームの組についても対応点の検出が可能となる。
　＜(2)第２実施形態＞
　第１実施形態に係る情報処理システム１では、ＩピクチャとＰピクチャとの組については、Ｐピクチャが伸長されてＤピクチャとされた上で、Ｉ検出処理が行われた。これに対して、第２実施形態に係る情報処理システム１Ａでは、ＩピクチャとＰピクチャとの組が生じない動画圧縮が行われる。これにより、フレームの形態を整合させる演算が削減され、対応点の検出に係る演算量が低減される。以下、第２実施形態に係る情報処理システム１Ａのうち、上記第１実施形態に係る情報処理システム１と異なる点について説明する。
　　＜(2-1)情報処理システムの機能的な構成＞
　図２５は、情報処理システム１Ａの機能的な構成を示す図である。
　情報処理システム１Ａは、上記第１実施形態に係る情報処理システム１をベースとして、ステレオカメラ２が、圧縮部２２ａ，２２ｂにおける動画圧縮が同期するステレオカメラ２Ａに変更され、演算部４２が、伸長部４２１が取り除かれ且つ探索部４２２が探索部４２２Ａに置換された演算部４２Ａに変更されたものである。
　ステレオカメラ２Ａでは、圧縮部２２ａ，２２ｂが、第１動画像と第２動画像との間における各組のフレームが、Ｉピクチャどうしの組およびＰピクチャどうしの組のうちの何れか一方の組となるように動作することで、第１および第２圧縮動画像Ｍａ，Ｍａを生成する。なお、圧縮部２２ａ，２２ｂにおける同期した動画圧縮の動作は、ステレオカメラ２Ａに内蔵されている制御部や制御部４０６による制御等によって実現可能である。
　図２６は、ステレオカメラ２Ａで生成される第１および第２圧縮動画像Ｍａ，Ｍｂが例示されている。ここでは、１番目の一組のフレームＭａ１，Ｍｂ１、５番目の一組のフレームＭａ５，Ｍｂ５、および９番目の一組のフレームＭａ９，Ｍｂ９といった４フレーム置きのフレームの組がＩピクチャの組であり、残余のフレームの各組がＰピクチャの組である。
　このように、フレームの各組が、Ｉピクチャどうしの組またはＰピクチャどうしの組となっている。このため、演算部４２Ａでは、Ｐピクチャの伸長が不要である。
　演算部４２Ａの機能（具体的には、探索部４２２Ａおよび測距部４２３）は、記憶部４０４内に格納されているプログラムＰＧＡが制御部４０６で実行されることで実現される。そして、探索部４２２Ａで行われる検出処理には、Ｉ検出処理とＰ検出処理とが含まれる。
　　＜(2-2)情報処理システムの動作＞
　図２７および図２８は、情報処理システム１Ａにおける動作フローを示すフローチャートである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＡを読み込んで実行することで実現される。なお、本動作フローは、例えば、操作部４０１からの指示に応じて開始されて、図２７のステップＳ１に進む。
　図２７で示される動作フローは、図２２で示された上記第１実施形態に係る情報処理システム１における動作フローのうち、ステップＳ２の処理がステップＳ２Ａに置換され、ステップＳ５の処理が取り除かれ、ステップＳ６の処理がステップＳ６Ａに置換されたものである。但し、ステップＳ４では、受信部４１ａ，４１ｂから第１および第２圧縮動画像Ｍａ，Ｍｂが探索部４２２Ａに出力される。
　ステップＳＡ２では、圧縮部２２ａ，２２ｂによって、第１および第２動画像に対して動画圧縮が施されて、第１および第２圧縮動画像Ｍａ，Ｍｂが生成され、送信部２３ａ，２３ｂに出力される。ここでは、第１および第２圧縮動画像Ｍａ，Ｍｂに含まれるフレームの各組が、Ｉピクチャどうしの組またはＰピクチャどうしの組となる。
　ステップＳＡ６では、探索部４２２Ａによって、対応点の検出処理が行われる。このステップＳＡ６では、図２８で示される動作フローが行われる。
　ステップＳＡ６１では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちの処理の対象となるフレームの組の順番を示す数値ｉが１に設定される。
　ステップＳＡ６２では、第１および第２圧縮動画像Ｍａ，Ｍｂのうちのｉ番目のフレームの組が処理の対象として設定される。
　ステップＳＡ６３では、ｉ番目のフレームの組がＩピクチャどうしの組であるか否かが判定される。ここで、ｉ番目のフレームの組がＩピクチャどうしの組であればステップＳＡ６４に進み、Ｉピクチャどうしの組でなければステップＳＡ６５に進む。
　ステップＳＡ６４では、Ｉ検出処理が行われる。
　ステップＳＡ６５では、Ｐ検出処理が行われる。
　ステップＳＡ６６では、数値ｉがＮであるか否かが判定される。Ｎは、第１および第２圧縮動画像Ｍａ，Ｍｂをそれぞれ構成するフレームの数を示す。ここで、数値ｉがＮでなければステップＳＡ６７に進んで数値ｉが１つ増加されてステップＳＡ６２に進む。一方、数値ｉがＮであれば本動作フローが終了される。
　　＜(2-3)第２実施形態のまとめ＞
　以上のように、第２実施形態に係る情報処理システム１Ａでは、第１および第２動画像に対する動画圧縮の同期によって、Ｐピクチャの伸長が不要となる。このため、フレームの形態を整合させる演算が削減され、対応点の検出に係る演算量が低減される。
　＜(3)第３実施形態＞
　第１および第２実施形態に係る情報処理システム１，１Ａでは、Ｐピクチャの組については、一方のＰピクチャの動き情報と他方のＰピクチャの動き情報との間における相関に基づいて対応点が検出された。これに対して、第３実施形態に係る情報処理システム１Ｂでは、Ｉ検出処理の結果とＰピクチャが有する動き情報とに基づき、Ｐピクチャの組について対応点が検出される。つまり、Ｐ検出処理の内容が異なる。これにより、Ｐ検出処理に必要な演算量が顕著に削減され、Ｐピクチャに係る対応点の検出に要する演算量が大幅に低減される。以下、第３実施形態に係る情報処理システム１Ｂのうち、第１実施形態に係る情報処理システム１と異なる点について説明する。
　情報処理システム１Ｂは、図２で示されるように、上記第１実施形態に係る情報処理システム１をベースとして、演算部４２が、探索部４２２が探索部４２２Ｂに置換された演算部４２Ｂに変更されたものである。なお、演算部４２Ｂの機能（具体的には、伸長部４２１と探索部４２２Ｂと測距部４２３）は、記憶部４０４内に格納されるプログラムＰＧＢが制御部４０６で実行されることで実現される。
　探索部４２２Ｂでは、一組のＰピクチャを対象としたＰ検出処理が、Ｉピクチャどうしの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、一組のＰピクチャに含まれる動き情報とに基づいて行われる。換言すれば、Ｐピクチャどうしの組については、Ｉ検出処理の検出結果と動き情報とに基づいて、基準点と当該基準点に対応する対応点とが間接的に求められる。
　図２９および図３０は、本実施形態に係るＰ検出処理の原理を説明するための図である。図２９では、Ｉ検出処理の検出結果の一例が示されている。ここでは、ＩピクチャＭａ１とＤピクチャＭｄ１との組について、基準点Ｐａ１（Ｘ座標がＸａ１、Ｙ座標がＹａ１）に対応する対応点Ｐｄ１（Ｘ座標がＸｄ１、Ｙ座標がＹｄ１）が示されている。
　図３０で示されるように、探索部４２２Ｂでは、第１圧縮動画像Ｍａａについて、ＩピクチャＭａ１の次のフレームであるＰピクチャＭａ２に含まれる動き情報に基づき、ＰピクチャＭａ２のうち、ＩピクチャＭａ１の基準点Ｐａ１に対応する基準点Ｐａ２が導出される。例えば、基準点Ｐａ２の動き情報が、Ｘ座標の値ｕａとＹ座標の値ｖａとで示される動きベクトルの形式を有していれば、基準点Ｐａ２のＸ座標の値が、基準点Ｐａ１のＸ座標の値Ｘａ１に動き情報のＸ座標の値ｕａが加えられたＸａ１＋ｕａとなり、基準点Ｐａ２のＹ座標の値が、基準点Ｐａ１のＹ座標の値Ｙａ１に動き情報のＹ座標の値ｖａが加えられたＹａ１＋ｖａとなる。
　また、図３０で示されるように、探索部４２２Ｂでは、第２圧縮動画像Ｍｂｂについて、ＤピクチャＭｄ１の次のフレームであるＰピクチャＭｂ２に含まれる動き情報に基づき、ＰピクチャＭｂ２のうち、ＤピクチャＭｄ１の対応点Ｐｄ１に対応する対応点Ｐｂ２が導出される。例えば、対応点Ｐｂ２の動き情報が、Ｘ座標の値ｕｂとＹ座標の値ｖｂとで示される動きベクトルの形式を有していれば、対応点Ｐｂ２のＸ座標の値が、対応点Ｐｄ１のＸ座標の値Ｘｄ１に動き情報のＸ座標の値ｕｂが加えられたＸｄ１＋ｕｂとなり、対応点Ｐｂ２のＹ座標の値が、対応点Ｐｄ１のＹ座標の値Ｙｄ１に動き情報のＹ座標の値ｖｂが加えられたＹｄ１＋ｖｂとなる。
　なお、演算部４２では、或るＰピクチャどうしの組の次のフレームの組がＰピクチャどうしの組である場合、次のフレームのＰピクチャどうしの組に係るＰ検出処理が、その或るＰピクチャどうしの組を対象としたＰ検出処理の検出結果と、次のフレームのＰピクチャどうしの組に含まれる動き情報とに基づいて行われる。
　つまり、第１圧縮動画像Ｍａａと第２圧縮動画像ＭｂｂとにおいてＰピクチャどうしの組が連続する場合、Ｐピクチャどうしの各組に係るＰ検出処理が、Ｉピクチャの組およびＩピクチャとＤピクチャとの組のうちの最も直前の組を対象としたＩ検出処理の検出結果と、この最も直前の組からＰ検出処理の対象である一組のＰピクチャに至るまでの動き情報とに基づいて行われる。すなわち、Ｐピクチャの各組を対象としたＰ検出処理が、Ｉピクチャの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、Ｐピクチャに含まれる動き情報とに基づいて行われる。
　なお、本実施形態に係る情報処理システム１Ｂの動作フローは、上記第１実施形態に係る情報処理システム１の動作フローをベースとして、図２４のステップＳ６５が、Ｐ検出処理の内容が変更されたステップＳＢ６５に置換され、それに伴って、図２２で示されるステップＳ６が、対応点の検出処理の内容が変更されたステップＳＢ６に置換されたものである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＢを読み込んで実行することで実現される。
　以上のように、第３実施形態に係る情報処理システム１Ｂでは、Ｉ検出処理の結果とＰピクチャが有する動き情報とに基づいて、Ｐピクチャの組について対応点が検出される。このため、Ｐ検出処理に必要な演算量が顕著に削減され、Ｐピクチャに係る対応点の検出に要する演算量が大幅に低減される。
　＜(4)第４実施形態＞
　第３実施形態に係る情報処理システム１Ｂでは、Ｐピクチャの組については、Ｉ検出処理の検出結果と動き情報とに基づいて、基準点とこの基準点に対応する対応点とが間接的に求められた。これに対して、第４実施形態に係る情報処理システム１Ｃでは、間接的に求められた基準点と対応点とについて、その対応関係の信頼性が判定される。これにより、信頼性が低い対応点について、対応を講ずることが可能となる。以下、第４実施形態に係る情報処理システム１Ｃのうち、第３実施形態に係る情報処理システム１Ｂと異なる点について説明する。
　　＜(4-1)情報処理システムの機能的な構成＞
　図３１は、情報処理システム１Ｃの機能的な構成を示す図である。
　情報処理システム１Ｃは、上記第３実施形態に係る情報処理システム１Ｂをベースとして、演算部４２Ｂが、評価値算出部４２４と信頼性判定部４２５とが追加されるとともに測距部４２３が測距部４２３Ｃに置換された演算部４２Ｃに変更されたものである。
　評価値算出部４２４は、探索部４２２ＢにおけるＰ検出処理でＰピクチャの組について求められた基準点と対応点との組について、基準点と対応点との間における類似度を評価するための値（評価値とも言う）を算出する。類似度は、一致している度合いであり、同じ被写体の部分を捉えている可能性の高さを示す。
　この評価値は、例えば、図３２で示されるように、一方のＰピクチャにおいて基準点を中心として包含する領域（一方評価領域とも言う）Ｒ１と、他方のＰピクチャにおいて対応点を中心として包含する領域（他方評価領域とも言う）Ｒ２との相関を示す分布のうち、対応点に係る相関を示す値であれば良い。この相関を示す値は、例えば、Ｐ検出処理と同様なＰＯＣ法を用いた処理によって算出されたＰＯＣ値の分布から求められれば良い。なお、一方評価領域Ｒ１および他方評価領域Ｒ２は、同一サイズで且つ同一形状（ここでは、正方形）の領域であれば良い。
　信頼性判定部４２５は、評価値算出部４２４によって算出された評価値と、予め設定された閾値との比較によって、評価値の算出対象となった基準点と対応点との組に係る信頼性を判定する。信頼性は、基準点に対する対応点としての確からしさを示す。例えば、評価値が閾値以上であれば、基準点と対応点との組に係る信頼性が高いものと判定され、評価値が閾値未満であれば、基準点と対応点との組に係る信頼性が低いものと判定されるような態様が考えられる。閾値は、例えば、記憶部４０４に予め記憶されていれば良い。
　測距部４２３Ｃは、信頼性判定部４２５による判定結果に応じて、基準点と対応点の座標から求まる視差Δｄに基づき、ステレオカメラ２から被写体までの距離Ｄを導出する。具体的には、例えば、信頼性判定部４２５によって信頼性が低いものと判定された基準点と対応点との各組については、距離Ｄが求められず、信頼性判定部４２５によって信頼性が高いものと判定された基準点と対応点との各組については、距離Ｄが求められるような態様が考えられる。これにより、演算量の低減と、距離Ｄの算出精度の確保とが実現される。なお、距離Ｄの導出方法は、例えば、上記第１～３実施形態に係る測距部４２３における導出方法と同様なものであれば良い。
　　＜(4-2)情報処理システムの動作＞
　図３３は、情報処理システム１Ｃにおける動作フローを示すフローチャートである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＣを読み込んで実行することで実現される。本動作フローでは、まず、図２２で示された上記第３実施形態に係るステップＳ１～Ｓ５，ＳＢ６と同様な処理が行われ、その後、ステップＳＣ６１，ＳＣ６２，ＳＣ７の処理が順に行われる。
　ステップＳＣ６１では、評価値算出部４２４によって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、評価値が算出される。
　ステップＳＣ６２では、信頼性判定部４２５によって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、ステップＳＣ６１で算出された評価値と閾値とが比較されて、信頼性が判定される。
　ステップＳＣ７では、測距部４２３Ｃによって、ステップＳＢ６のＰ検出処理で求められた基準点と対応点との各組について、ステップＳＣ６２における判定結果に応じて、ステレオカメラ２から被写体までの距離Ｄが導出される。例えば、信頼性が閾値未満の基準点と対応点との各組については、距離Ｄが導出されず、信頼性が閾値以上の基準点と対応点との各組については、距離Ｄが導出される。
　　＜(4-3)第４実施形態のまとめ＞
　以上のように、第４実施形態に係る情報処理システム１Ｃでは、Ｐ検出処理で求められた基準点と対応点との各組について、信頼性が判定される。このため、信頼性が低い対応点について、対応を講ずることが可能となる。
　＜(5)第５実施形態＞
　第３実施形態に係る情報処理システム１Ｂでは、Ｐピクチャの組については、Ｉ検出処理の検出結果と動き情報とに基づき、基準点とこの基準点に対応する対応点とが間接的に求められた。これに対して、第５実施形態に係る情報処理システム１Ｄでは、間接的に求められた対応点が仮の対応点（仮対応点とも言う）とされ、この仮対応点を処理対象点として、Ｐピクチャの組を対象とした対応点の検出処理が行われる。このような２段階の処理を有するＰ検出処理により、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。以下、第５実施形態に係る情報処理システム１Ｄのうち、第３実施形態に係る情報処理システム１Ｂと異なる点について説明する。
　　＜(5-1)情報処理システムの機能的な構成＞
　図３４は、情報処理システム１Ｄの機能的な構成を示す図である。
　情報処理システム１Ｄは、上記第３実施形態に係る情報処理システム１Ｂをベースとして、演算部４２Ｂが、探索部４２２Ｂが探索部４２２Ｄに置換された演算部４２Ｄに変更されたものである。
　探索部４２２Ｄは、Ｉ検出部４２２１Ｄと仮検出部４２２２ＤとＰ検出部４２２３Ｄとを備える。
　Ｉ検出部４２２１Ｄは、上記第３実施形態に係るＩ検出処理と同様な処理を行う。
　第１検出部としての仮検出部４２２２Ｄは、上記第３実施形態に係るＰ検出処理と同様な処理によって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点に対応する対応点を他方のＰピクチャから求める。つまり、一組のＰピクチャが対象とされて、Ｉピクチャの組またはＩピクチャとＤピクチャとの組が対象とされたＩ検出処理の検出結果と、この一組のＰピクチャに含まれる動き情報とに基づいて、一方のＰピクチャ上の各基準点に対応する仮対応点が他方のＰピクチャから求められる。
　第２検出部としてのＰ検出部４２２３Ｄは、一組のＰピクチャが対象とされて、一方のＰピクチャに含まれる基準点を包含する領域（基準領域とも言う）と、他方のＰピクチャに含まれる仮対応点を包含する領域（比較領域とも言う）との比較によって、一方のＰピクチャの基準点に対応する対応点を他方のＰピクチャから検出する。
　具体的には、例えば、図３５で示されるように、一方のＰピクチャ（例えば、ＰピクチャＭａ２）に基準点（例えば、基準点Ｐａ２）を中心として包含する基準領域Ｗ１が設定され、他方のＰピクチャ（例えば、ＰピクチャＭｂ２）に仮対応点（例えば、仮対応点Ｐｂ２）を中心として包含する比較領域Ｗ２が設定される。そして、上記第１実施形態に係るＰ検出処理で基準領域Ｗａと比較領域Ｗｂとの相関値の分布が求められた方法と同様な方法によって、基準領域Ｗ１と比較領域Ｗ２との相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される。
　　＜(5-2)情報処理システムの動作＞
　情報処理システム１Ｄにおける動作フローは、上記第３実施形態に係る動作フローのステップＳＢ６５（図２４）が、図３６で示される動作フローが実行されるステップＳＤ６５に置換され、それに伴って、ステップＳＢ６（図２２）が、処理内容が変更されたステップＳＤ６に置換されたものとなる。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＤを読み込んで実行することで実現される。以下では、上記第３実施形態に係る動作フローと異なるステップＳＤ６５について説明する。
　動作フローが、ステップＳＤ６５に移行すると、図３６で示されるステップＳＤ６５１，ＳＤ６５２の処理が順に行われる。
　ステップＳＤ６５１では、仮検出部４２２２Ｄによって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点に対応する対応点が他方のＰピクチャから検出される。
　ステップＳＤ６５２では、Ｐ検出部４２２３Ｄによって、Ｐピクチャの組について、一方のＰピクチャに含まれる基準点を中心に包含する基準領域と、ステップＳＤ６５１において検出された他方のＰピクチャに含まれる仮対応点を包含する比較領域との比較によって、一方のＰピクチャの基準点に対応する対応点が他方のＰピクチャから検出される。
　　＜(5-3)第５実施形態のまとめ＞
　以上のように、第５実施形態に係る情報処理システム１Ｄでは、Ｐ検出処理において、Ｉ検出処理と動き情報とから求められる仮対応点が用いられることで、多段階の解像度のフレーム間における対応点の検出が行われずとも、対応点が容易に検出される。このため、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。
　＜(6)変形例＞
　なお、本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。以下、第１～５変形例について順に説明した後に、その他の変形例について説明する。
　　＜(6-1)第１変形例＞
　圧縮部２２ａ，２２ｂで実行される動画圧縮では、上述したように、所定帯域（主に高周波帯域）の周波数に係る情報が削除される。つまり、各Ｉピクチャは、所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームである。このため、第１～５実施形態に係る演算部４２，４２Ａ～４２Ｄで実行されるＩ検出処理において、所定帯域を軽視したＰＯＣ法を用いた演算が行われても良い。ここで、所定帯域を軽視したＰＯＣ法を用いた演算では、所定帯域について、残余の帯域よりも周波数成分が低減されるような重み付けが行われる。
　例えば、ＰＯＣ法において、合成処理Ｔ４が行われた後であって２次元の逆フーリエ変換処理Ｔ５が行われる前に、周波数毎に設定された重み付け係数が合成処理Ｔ４後の値に乗じられることで、所定の周波数の成分が制限される処理（帯域制限処理とも言う）が施される態様が考えられる。この重み付け係数としては、図３７で示されるような高周波に係る成分を完全にカットする矩形形状に分布する重み付け係数が採用されても良いし、図３８で示されるようなガウシアン（Gaussian）形状に分布する重み付け係数が採用されても良い。この帯域制限処理によって、高周波成分に関して発生する所謂エイリアシングの影響等が低減される。
　なお、帯域制限処理で軽視される周波数は、圧縮部２２ａ，２２ｂで実行される動画圧縮で削除される周波数の情報に応じて設定されれば良い。すなわち、帯域制限処理で軽視される周波数は、動画圧縮における圧縮率に応じて設定されれば良い。
　以上のような帯域制御処理が行われることで、Ｉ検出処理において所定帯域の周波数に係る演算量を低減させることも可能となる。このため、不要な演算の削減によって、対応点の検出に係る演算量が低減される。そして、所謂エイリアシングの影響等が低減されることで、Ｉ検出処理における対応点の検出精度の向上が図られる。なお、Ｐ検出処理についても、上記Ｉ検出処理と同様な帯域制限処理が行われれば、上記Ｉ検出処理と同様な作用および効果が得られる。
　　＜(6-2)第２変形例＞
　圧縮部２２ａ，２２ｂで実行される動画圧縮では、上述したように、ＤＣＴや量子化が所定サイズのブロック単位で行われる。このため、動画圧縮後の各フレームには、所謂ブロックノイズが存在する。そこで、ブロックノイズの影響による対応点の検出精度の低下が抑制される観点から言えば、Ｉ検出処理およびＰ検出処理において各フレームに対して設定される基準領域Ｗａおよび比較領域Ｗｂは、ブロックに合わせた領域として設定されることが好ましい。
　図３９および図４０は、ブロックに合わせた基準領域Ｗａおよび比較領域Ｗｂの設定態様を例示する図である。図３９および図４０では、破線で囲まれた正方形の各領域が、各フレームにおけるブロックに相当する。図３９で示されるように、１つのブロックに相当する領域に合致するように基準領域Ｗａおよび比較領域Ｗｂが設定されれば、基準領域Ｗａおよび比較領域Ｗｂがブロックどうしの境界線を跨がない。このため、対応点の検出精度の低下が顕著に抑制される。但し、基準領域Ｗａの中心点が基準点とされるため、各フレームの離散的な位置に基準点が順に設定される。
　ところで、各ブロックのサイズが小さな場合、図４０で示されるように、複数（例えば４つ）のブロックからなるブロック群に相当する領域に合致するように基準領域Ｗａおよび比較領域Ｗｂが設定されれば、基準領域Ｗａおよび比較領域Ｗｂに含まれるブロック間の境界線が少なくなる。このため、対応点の検出精度の低下が抑制される。
　特に、複数段階で解像度が低下されたフレームの組については、１つのブロックに相当する領域が小さいため、図４０で示されるように、ブロック群に相当する各領域に合わせて基準領域ＷａS1～ＷａS3および比較領域ＷｂS1～ＷｂS3が設定される態様が好適である。すなわち、ブロックの外縁と、基準領域Ｗａおよび比較領域Ｗｂの外縁とが合致するようにすれば良い。
　なお、ブロックに合わせて、基準領域Ｗａ，ＷａS1～ＷａS3および比較領域Ｗｂ，ＷｂS1～ＷｂS3が設定される態様では、基準点が離散的に設定され、処理対象点を中心から少し外れた点として包含する比較領域Ｗｂ，ＷｂS1～ＷｂS3が設定される傾向にある。
　しかしながら、図４０で示されるようなブロック群に相当する領域に合わせて基準領域Ｗａ，ＷａS1～ＷａS3および比較領域Ｗｂ，ＷｂS1～ＷｂS3が設定される態様であれば、ブロックの中心以外の位置に基準点を設定すること、および比較領域Ｗｂ，ＷｂS1～ＷｂS3の中心のより近くに処理対象点を存在させることが可能となる。
　　＜(6-3)第３変形例＞
　上記第５実施形態に係る情報処理システム１Ｄでは、動き情報に基づいて間接的に仮対応点が求められ、この仮対応点が処理対象点とされて、Ｐピクチャの組を対象とした対応点の検出処理が行われたが、これに限られない。
　例えば、動き情報が用いられて間接的に仮対応点が求められた際に、Ｐピクチャの組が伸長されてＤピクチャの組とされ、このＤピクチャの組を対象として、仮対応点が基準とされつつ対応点が検出されても良い。このような態様では、Ｄピクチャの組について、多段階の解像度のフレームを生成して対応点を検出するような煩雑な処理が不要となるとともに、対応点の検出精度が維持される。すなわち、この２段階の処理を有するＰ検出処理により、対応点の検出精度の低下が抑制されつつ、対応点の検出に係る演算量が低減される。以下、第３変形例に係る情報処理システム１Ｅのうち、第５実施形態に係る情報処理システム１Ｄと異なる点について説明する。
　図４１は、情報処理システム１Ｅの機能的な構成を示す図である。
　情報処理システム１Ｅは、上記第５実施形態に係る情報処理システム１Ｄをベースとして、演算部４２Ｄが、探索部４２２Ｄが探索部４２２Ｅに置換されるとともに伸長部４２６Ｅが追加された演算部４２Ｅに変更されたものである。そして、探索部４２２Ｅは、上記第５実施形態に係る探索部４２２ＤをベースとしてＰ検出部４２２３ＤがＩ検出部４２２３Ｅに置換されたものである。
　伸長部４２６Ｅは、Ｐピクチャの組のうちの一方のＰピクチャを伸長して伸長後のフレーム（すなわちＤピクチャ）を生成するとともに、他方のＰピクチャを伸長して伸長後のフレーム（すなわちＤピクチャ）を生成する。
　第２検出部としてのＩ検出部４２２３Ｅは、一組のＤピクチャが対象とされ、一方のＤピクチャに含まれる基準点を包含する領域（基準領域とも言う）と、他方のＤピクチャに含まれる仮対応点（つまり処理基準点）を包含する領域（比較領域とも言う）との比較によって、一方のＤピクチャの基準点に対応する対応点を他方のＤピクチャから検出する。具体的には、上記第１実施形態に係るＩ検出処理で基準領域Ｗａと比較領域Ｗｂとの相関値の分布が求められた方法と同様な方法によって、基準領域と比較領域との相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される態様が考えられる。
　情報処理システム１Ｅにおける動作フローは、上記第５実施形態に係る動作フローをベースとして、ステップＳＤ６５（図２４）が、図４２で示される動作フローが実行されるステップＳＥ６５に置換され、それに伴って、ステップＳＤ６（図２２）が、処理内容が変更されたステップＳＥ６に置換されたものである。本動作フローは、制御部４０６が記憶部４０４内のプログラムＰＧＥを読み込んで実行することで実現される。以下では、上記第５実施形態に係る動作フローと異なるステップＳＥ６５について説明する。
　本動作フローが、ステップＳＥ６５に移行すると、図４２で示されるステップＳＥ６５１～ＳＥ６５３の処理が順に行われる。
　ステップＳＥ６５１では、上記第５実施形態に係るステップＳＤ６５１と同様に、仮検出部４２２２Ｄによって、Ｐピクチャの組が対象とされて、一方のＰピクチャに含まれる基準点に対応する対応点が他方のＰピクチャから検出される。
　ステップＳＥ６５２では、伸長部４２６Ｅにより、一組のＰピクチャのうちの一方のＰピクチャが伸長されて一方のＤピクチャが生成されるとともに、他方のＰピクチャが伸長されて他方のＤピクチャが生成される。これにより、一組のＤピクチャが生成される。
　ステップＳＥ６５３では、Ｉ検出部４２２３Ｅにより、ステップＳＥ６５２で生成された一組のＤピクチャが対象とされて、一方のＤピクチャ上の基準点を包含する基準領域と、ステップＳＥ６５１において検出された他方のＤピクチャ上の仮対応点（つまり処理基準点）を包含する比較領域との比較によって、一方のＤピクチャの基準点に対応する対応点が他方のＤピクチャから検出される。
　　＜(6-4)第４変形例＞
　上記第１～５実施形態では、ＩピクチャとＰピクチャとの組については、Ｐピクチャが伸長されることでＤピクチャとされた上で、ＩピクチャとＤピクチャとの組を対象としたＩ検出処理が行われたが、これに限られない。例えば、ＩピクチャとＰピクチャとの組について、Ｉピクチャが動画圧縮によってＰピクチャに変換された上で、Ｐピクチャの組を対象としたＰ検出処理が行われても良い。すなわち、伸長部４２１によって、ＩピクチャとＰピクチャとの組については、ＩピクチャおよびＰピクチャのうちの何れか一方のピクチャのデータ形式に合わせられるように、フレームのデータ形式の変換が行われれば良い。これによれば、異なる形態のフレームの組についても対応点の検出が可能となる。
　図４３および図４４は、第１圧縮動画像Ｍａの各フレームのデータ形式に合わせるように、第２圧縮動画像Ｍａの各フレームが必要に応じて変換される一態様を示す図である。
　図４３で示されるように、１，３，９番目のフレームの組が、ＩピクチャとＰピクチャの組である場合に、図４４で示されるように、第１圧縮動画像Ｍａはそのままで第１圧縮動画像Ｍａａとして扱われ、第２圧縮動画像Ｍｂについては、１，３，９番目のフレームＭｂ１，Ｍｂ３，Ｍｂ９のデータ形式が変換されて、第２圧縮動画像Ｍｂｂが生成される。具体的には、１，９番目のフレームＭｂ１，Ｍｂ９については、Ｐピクチャが伸長されてＤピクチャＭｄ１，Ｍｄ９に変換される。一方、３番目のフレームＭｂ３については、Ｉピクチャが圧縮されてＰピクチャと同様に動き情報によって示されるフレーム（Ｅピクチャとも言う）Ｍｅ３が生成される。この場合、ＰピクチャＭａ３とＥピクチャＭｅ３との組については、Ｐ検出処理が行われれば良い。
　なお、ＥピクチャＭｅ３については、例えば、１つ前のＰピクチャＭｂ２が伸長されてＤピクチャとされ、このＤピクチャとＩピクチャＭｂ３との比較から得られた動き情報で各画素が示されるＥピクチャＭｅ３が生成されれば良い。但し、Ｅピクチャの生成に要する演算量の増加の影響を考えれば、本変形例に係る処理は、例えば、各圧縮動画像を構成する多数のフレームにおいてＩピクチャが占める割合が少なく、Ｅピクチャが生成される頻度が少ない場合等に採用されることが好ましい。
　　＜(6-5)その他の変形例＞
　◎例えば、上記第４実施形態では、信頼性判定部４２５によって信頼性が低いものと判定された基準点と対応点との各組については距離Ｄが求められなかったが、これに限られない。例えば、信頼性判定部４２５による判定結果に応じて、その他の処理が行われても良い。その他の処理としては、例えば、測距部４２３Ｃが、信頼性が低いものと判定された基準点と対応点との各組について求めた距離Ｄに対して信頼度が低い旨を示すフラグを付する処理等が挙げられる。
　また、信頼性が低いものと判定された基準点と対応点との各組については、探索部４２２Ｂによって、基準点と対応点との組が、基準点と処理対象点の組とされて更なる対応点の検出処理が行われても良い。更なる対応点の検出処理としては、例えば、Ｐ検出処理と同様な方法で、一方のＰピクチャにおいて基準点を中心として包含する基準領域Ｗａと他方のＰピクチャにおいて処理対象点を中心として包含する比較領域Ｗｂとの相関値の分布が求められ、該分布において相関値の最大値に対応する点が対応点として検出される処理が挙げられる。
　また、信頼性が低いものと判定された基準点と対応点との各組について、一方および他方のＰピクチャが伸長されてＤピクチャの組とされ、この一組のＤピクチャが対象とされたＩ検出処理が行われることで対応点が検出されても良い。
　以上のように、対応点に係る信頼性が判定されれば、信頼性が低い対応点について、様々な対応を講ずることが可能となる。
　◎上記第１～５実施形態および第１～４変形例では、予測フレームとしてＰピクチャが採用されたが、これに限られない。例えば、予測フレームとしてＰピクチャおよびＢピクチャのうちの何れが採用されても良い。
　◎上記第１～５実施形態および第１～４変形例では、ステレオカメラ２から被写体までの距離Ｄが求められたが、これに限られない。例えば、ステレオ画像の各画素に係る距離Ｄと各画素の輝度情報とに基づいて、ステレオカメラ２の視点とは異なる視点から撮像したならば得られると予測される被写体の画像が擬似的に生成されても良い。
　◎上記第１～５実施形態および第３，４変形例では、Ｉ検出処理がＰＯＣ法を用いたものであったが、これに限られない。例えば、所謂ＳＡＤ法を用いたものであっても良い。なお、第３変形例では、Ｉ検出処理にＳＡＤ法が採用されれば、Ｄピクチャの組を対象としたＩ検出処理において、仮対応点が基準とされつつ対応点が検出される。
　◎上記第１～５実施形態および第１～４変形例では、ステレオの動画像について、基準点と対応点との各組合せが検出される。このような検出結果が、多視点映像符号化（ＭＶＣ：Multiview Video Coding）の形式で記憶部４０４に記憶されても良い。これにより、得られる情報の汎用性が高まる。なお、ＭＶＣは、ＩＴＵ－Ｔ勧告Ｈ．２６４やＩＳＯ／ＩＥＣ標準ＭＰＥＧ４ ＡＶＣ（正式名称：ＩＳＯ／ＩＥＣ　１４４９６－１０）のＡｎｎｅｘ Ｈとして発行されているものである。このＭＶＣでは、１つの視点に係る画像がベースの画像とされ、他の視点に係る画像が、ベースの画像に対する視差情報によって表現される。そして、各画像は、動き補償による圧縮が施されたものとなる。
　◎上記第１～５実施形態および第１～４変形例では、第１および第２圧縮動画像といった２つの圧縮動画像の間で基準点に対応する対応点が検出されたが、これに限られない。例えば、３以上の圧縮動画像の間で基準点に対応する対応点が検出されても良い。すなわち、複数の圧縮動画像の間で基準点に対応する対応点が検出されても良い。
　◎上記第１～５実施形態および第１～４変形例では、第１および第２圧縮部２２ａ，２２ｂが別々に存在したが、これに限られず、１つの圧縮部であっても良い。
　◎上記第１～５実施形態および第１～４変形例では、Ｉピクチャの組およびＩピクチャとＤピクチャとの組を対象としたＩ検出処理が行われたが、これに限られない。例えば、各圧縮動画像においてＰピクチャが占める割合が多ければ、１組以上のＰピクチャが伸長されてＤピクチャの組とされ、Ｄピクチャの各組が対象とされたＩ検出処理が行われても良い。
　◎なお、上記各実施形態および各変形例をそれぞれ構成する全部または一部は、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
　１，１Ａ～１Ｅ　情報処理システム
　４　情報処理装置
　２１ａ，２１ｂ　撮像部
　２２ａ，２２ｂ　圧縮部
　２３ａ，２３ｂ　送信部
　４１ａ，４１ｂ　受信部
　４２，４２Ａ～４２Ｅ　演算部
　４０４　記憶部
　４０６　制御部
　４２１，４２６Ｅ　伸長部
　４２２，４２２Ａ，４２２Ｂ，４２２Ｄ，４２２Ｅ　探索部
　４２４　評価値算出部
　４２５　信頼性判定部
　４２２１Ｄ，４２２３Ｅ　Ｉ検出部
　４２２２Ｄ　仮検出部
　４２２３Ｄ　Ｐ検出部
　ＰＧ，ＰＧＡ～ＰＧＥ　プログラム

Claims (15)

  1. 　基準フレームと、他のフレームを基準とした動き情報によって各画素が示されている予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する取得部と、
    　前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う演算部と、を備え、
    　前記演算部が、
    　一組の前記予測フレームを対象とした前記検出処理を、該一組の前記予測フレームを示す動き情報を用いて行うことを特徴とする画像処理システム。
  2. 　請求項１に記載の画像処理システムであって、
    　前記演算部が、
    　一組の前記予測フレームを対象とした前記検出処理を、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて行うことを特徴とする画像処理システム。
  3. 　請求項２に記載の画像処理システムであって、
    　一組の前記予測フレームに係る前記検出処理において一方の予測フレームに含まれている一の基準点に対して他方の予測フレームから検出される一の対応点について、該一の基準点との類似度に係る評価値を算出する算出部と、
    　前記評価値と予め設定されている閾値との比較によって前記一の対応点に係る信頼性を判定する判定部と、
    を更に備えることを特徴とする画像処理システム。
  4. 　請求項１に記載の画像処理システムであって、
    　前記演算部が、
    　一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、
    　前記一方の予測フレームにおいて前記一の基準点を包含する領域と、前記他方の予測フレームにおいて前記一の仮対応点を包含する領域との比較によって、前記他方の予測フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、
    を有することを特徴とする画像処理システム。
  5. 　請求項１に記載の画像処理システムであって、
    　前記演算部が、
    　一組の前記予測フレームについて、一組の前記基準フレームを対象とした前記検出処理による検出結果と、該一組の前記予測フレームを示す動き情報とに基づいて、一方の予測フレームに含まれている一の基準点に対応する一の仮対応点を他方の予測フレームから求める第１検出部と、
    　前記一方の予測フレームを伸長して一方の伸長後フレームを生成するとともに、前記他方の予測フレームを伸長して他方の伸長後フレームを生成する伸長部と、
    　前記他方の伸長後フレームにおいて前記一の仮対応点を包含する領域を基準として、前記他方の伸長後フレームから前記一の基準点に対応する一の対応点を検出する第２検出部と、
    を有することを特徴とする画像処理システム。
  6. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理システムであって、
    　各前記基準フレームが、
    　所定帯域の周波数に係る情報を削除する圧縮処理が施されたフレームであり、
    　前記演算部が、
    　前記所定帯域について残余の帯域よりも周波数成分を低減する重み付けを行いつつ位相限定相関法を用いた演算を行うことで、一組のフレームを対象とした前記検出処理を行うことを特徴とする画像処理システム。
  7. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理システムであって、
    　各前記基準フレームが、
    　所定サイズのブロック単位で圧縮処理が施されたフレームであり、
    　前記演算部が、
    　前記第１圧縮動画像の第１フレームに対して一の基準点を包含する第１領域を前記ブロックに合わせて設定し、前記第２圧縮動画像の第２フレームに対して第２領域を前記ブロックに合わせて設定し、前記第１領域と前記第２領域とを対象とした位相限定相関法を用いた演算を行うことで、前記第１フレームと前記第２フレームとの組を対象とした前記検出処理を行うことを特徴とする画像処理システム。
  8. 　請求項１から請求項７の何れか１つの請求項に記載の画像処理システムであって、
    　前記演算部が、
    　前記基準フレームと前記予測フレームとの組については、前記基準フレームおよび前記予測フレームのうちの何れか一方のフレームの形式に合わせるようにフレームの変換を行った上で、前記検出処理を行うことを特徴とする画像処理システム。
  9. 　請求項８に記載の画像処理システムであって、
    　前記演算部が、
    　前記基準フレームと前記予測フレームとの組については、前記予測フレームを伸長した上で、前記基準フレームと伸長後の前記予測フレームとを対象とした前記検出処理を行うことを特徴とする画像処理システム。
  10. 　請求項１に記載の画像処理システムであって、
    　前記一組の予測フレームが、
    　第１予測フレームと第２予測フレームとを含み、
    　前記演算部が、
    　前記第１予測フレームにおいて一の基準点を包含する基準領域に係る前記動き情報と、前記第２予測フレームにおいて一の仮対応点を包含する比較領域に係る前記動き情報との比較によって、前記第２予測フレームから前記一の基準点に対応する一の対応点を検出することを特徴とする画像処理システム。
  11. 　請求項１０に記載の画像処理システムであって、
    　前記基準領域に係る前記動き情報が、
    　一方向に係る動き情報の２次元的な一方基準分布と前記一方向とは異なる他方向に係る動き情報の２次元的な他方基準分布とを有し、
    　前記比較領域に係る前記動き情報が、
    　前記一方向に係る動き情報の２次元的な一方比較分布と前記他方向に係る動き情報の２次元的な他方比較分布とを有し、
    　前記演算部が、
    　前記一方基準分布および前記他方基準分布を含むボクセル情報と、前記一方比較分布および前記他方比較分布を含むボクセル情報との比較によって、前記第２予測フレームから前記一の基準点に対応する前記一の対応点を検出することを特徴とする画像処理システム。
  12. 　請求項１から請求項１１の何れか１つの請求項に記載の画像処理システムであって、
    　被写体を対象とした第１の一連の撮像によって第１動画像を得る第１撮像部と、
    　前記第１の一連の撮像と同一のタイミングにおける前記被写体を対象とした第２の一連の撮像によって第２動画像を得る第２撮像部と、
    　前記第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、
    　前記第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、
    を更に備えることを特徴とする画像処理システム。
  13. 　請求項１から請求項７の何れか１つの請求項に記載の画像処理システムであって、
    　第１動画像に圧縮処理を施すことで前記第１圧縮動画像を生成する第１圧縮部と、
    　第２動画像に圧縮処理を施すことで前記第２圧縮動画像を生成する第２圧縮部と、
    を更に備え、
    　前記第１および第２圧縮部が、
    　第１動画像と第２動画像との間における各組のフレームが、一組の前記基準フレームおよび一組の前記予測フレームのうちの何れか一方の組となるように動作することを特徴とすることを特徴とする画像処理システム。
  14. 　(a)基準フレームと、他のフレームを基準とした動き情報によって各画素が示される予測フレームと、をそれぞれ有する第１および第２圧縮動画像を取得する工程と、
    　(b)前記第１圧縮動画像と前記第２圧縮動画像との間におけるフレームの各組を対象として、前記第２圧縮動画像に含まれている一のフレームから、前記第１圧縮動画像に含まれている一のフレームの各基準点に対応する対応点をそれぞれ検出する検出処理を行う工程と、を備え、
    　前記(b)工程において、
    　一組の前記予測フレームを対象とした前記検出処理が、該一組の前記予測フレームを示す動き情報を用いて行われることを特徴とする画像処理方法。
  15. 　画像処理システムに含まれる制御部において実行されることにより、前記画像処理システムを、請求項１から請求項１３の何れか１つの請求項に記載の画像処理システムとして機能させるプログラム。
PCT/JP2011/059160 2010-04-15 2011-04-13 画像処理システム、画像処理方法、およびプログラム WO2011129361A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/639,919 US8923639B2 (en) 2010-04-15 2011-04-13 Image processing system, image processing method, and program
EP11768882A EP2560369A1 (en) 2010-04-15 2011-04-13 Image processing system, image processing method, and program
JP2012510667A JP5299567B2 (ja) 2010-04-15 2011-04-13 画像処理システム、画像処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010093958 2010-04-15
JP2010-093958 2010-04-15

Publications (1)

Publication Number Publication Date
WO2011129361A1 true WO2011129361A1 (ja) 2011-10-20

Family

ID=44798732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059160 WO2011129361A1 (ja) 2010-04-15 2011-04-13 画像処理システム、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US8923639B2 (ja)
EP (1) EP2560369A1 (ja)
JP (1) JP5299567B2 (ja)
WO (1) WO2011129361A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534736B (zh) * 2016-03-30 2020-04-28 华为技术有限公司 终端的图像配准方法、装置和终端
CN106331730B (zh) * 2016-08-22 2020-03-06 上海交通大学 H.264视频同量化因子双重压缩检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325924A (ja) * 1994-06-02 1995-12-12 Canon Inc 複眼撮像装置
JP2004301607A (ja) 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2006284372A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 画像処理装置及び画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350952A (ja) * 1993-06-08 1994-12-22 Hitachi Ltd 圧縮動画像記録方法及び記録装置
US5592225A (en) * 1993-09-30 1997-01-07 Matsushita Electric Industrial Co., Ltd. Device and method for controlling coding
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
WO2003026315A1 (en) * 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US7274825B1 (en) * 2003-03-31 2007-09-25 Hewlett-Packard Development Company, L.P. Image matching using pixel-depth reduction before image comparison
JP2010028221A (ja) * 2008-07-15 2010-02-04 Sony Corp 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325924A (ja) * 1994-06-02 1995-12-12 Canon Inc 複眼撮像装置
JP2004301607A (ja) 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2006284372A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKANORI SENO: "3D Kanren no MPEG Hyojunka Doko", IMAGE LAB, vol. 18, no. 2, 1 February 2007 (2007-02-01), pages 14, XP008161817 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5110235B1 (ja) * 2011-06-27 2012-12-26 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
WO2013001885A1 (ja) * 2011-06-27 2013-01-03 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
US9042655B2 (en) 2011-06-27 2015-05-26 Konica Minolta, Inc. Image processing apparatus, image processing method, and non-transitory computer readable recording medium

Also Published As

Publication number Publication date
EP2560369A1 (en) 2013-02-20
JPWO2011129361A1 (ja) 2013-07-18
JP5299567B2 (ja) 2013-09-25
US20130039595A1 (en) 2013-02-14
US8923639B2 (en) 2014-12-30

Similar Documents

Publication Publication Date Title
US9230333B2 (en) Method and apparatus for image processing
KR101210625B1 (ko) 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
US9076267B2 (en) Image coding device, integrated circuit thereof, and image coding method
US8786711B2 (en) Image quality evaluation system, and apparatus, method and program used for the evaluation system
JP6127202B2 (ja) 信号処理方法および装置
US20210377507A1 (en) Method and apparatus for processing data for three-dimensional image
JP2011129998A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
US20150172715A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
EP3007448A1 (en) Disparity data encoding apparatus and method of controlling the same for
WO2009098741A1 (ja) 撮像装置、集積回路及び撮像方法
JPWO2019198501A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像伝送システム
JP5299567B2 (ja) 画像処理システム、画像処理方法、およびプログラム
JP2019114842A5 (ja)
CN112352264A (zh) 图像处理装置和图像处理方法
JP6622575B2 (ja) 制御装置、制御方法、およびプログラム
US9076189B2 (en) Coding apparatus and method for encoding image data
JP2016163169A5 (ja)
WO2015023318A2 (en) Depth image compression and decompression utilizing depth and amplitude data
KR20090065214A (ko) 스테레오 비전 시스템 및 이의 영상 처리 방법
JP5769248B2 (ja) ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム
JP6090305B2 (ja) 決定装置、決定プログラムおよび決定方法
JP2019207464A (ja) 位相差検出器及び画像処理装置、並びにプログラム
JP2018207356A (ja) 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法
JP6127399B2 (ja) ステレオカメラ装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11768882

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012510667

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13639919

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011768882

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011768882

Country of ref document: EP