WO2013108310A1 - 立体画像検査装置、立体画像処理装置、および立体画像検査方法 - Google Patents

立体画像検査装置、立体画像処理装置、および立体画像検査方法 Download PDF

Info

Publication number
WO2013108310A1
WO2013108310A1 PCT/JP2012/006084 JP2012006084W WO2013108310A1 WO 2013108310 A1 WO2013108310 A1 WO 2013108310A1 JP 2012006084 W JP2012006084 W JP 2012006084W WO 2013108310 A1 WO2013108310 A1 WO 2013108310A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stereoscopic image
depth
area
occlusion
Prior art date
Application number
PCT/JP2012/006084
Other languages
English (en)
French (fr)
Inventor
松本　健太郎
裕樹 小林
悠樹 丸山
康伸 小倉
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013519657A priority Critical patent/JP5493055B2/ja
Priority to US13/904,511 priority patent/US9883162B2/en
Publication of WO2013108310A1 publication Critical patent/WO2013108310A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to a stereoscopic image inspection apparatus that inspects a stereoscopic image and a stereoscopic image processing apparatus that corrects a stereoscopic image using the inspection result.
  • Patent Document 1 describes a method for specifying an occlusion portion or the like when acquiring depth information and the like by comparing images captured by a plurality of cameras or the like as stereoscopic images.
  • the present disclosure provides a stereoscopic image inspection apparatus that determines a case where a stereoscopic image or a part thereof is horizontally reversed.
  • a stereoscopic image inspection apparatus includes a depth acquisition unit that acquires depth information of a stereoscopic image, an occlusion detection unit that detects an occlusion area from at least one of a left-eye image and a right-eye image of the stereoscopic image, The image continuity between the detected occlusion area and the adjacent area adjacent to the occlusion area is evaluated, and the first area to which the occlusion area belongs is determined from the adjacent areas based on the evaluated image continuity, A determination unit configured to determine whether or not there is a depth contradiction of the stereoscopic image based on the depth position of the first region included in the depth information.
  • the occlusion region is an image range common to both the left-eye image and the right-eye image, depending on the positional relationship between the object and the left and right viewpoints. Means an area that is shown but not shown in the other image.
  • the left-eye image and the right-eye image of the stereoscopic image are interchanged, and the stereoscopic image is “reversed horizontally” or the left-right image of the stereoscopic image is “reversed”. Is expressed.
  • the stereoscopic image inspection apparatus can detect a stereoscopic image or a part thereof when the left and right are reversed.
  • the figure which shows the function structural example of the video processing part in the structure of FIG. Diagram for explaining occlusion in a stereoscopic image The figure which shows the function structural example of the test
  • region Flowchart showing inspection processing in the embodiment
  • region The figure which shows the example of the stereo image containing additional information
  • the displayed stereoscopic image is reversed in depth, and is very difficult for the viewer to see. This is because the image for the left eye is viewed with the right eye and the image for the right eye is viewed with the left eye, resulting in an unnatural depth of the entire image.
  • subtitles that are superimposed on a stereoscopic image by an editing process or a display device may be inserted in a reversed manner between the left-eye image and the right-eye image.
  • the stereoscopic image in which the caption is inserted becomes an image in which a sense of inconsistency is partly felt and becomes a stereoscopic image that is very difficult to see.
  • FIG. 1 shows a display device 100 capable of displaying a stereoscopic image as an example of a stereoscopic image processing device.
  • 1 includes an HDMI unit 101, a BD unit 102, a tuner unit 103, an MPEG decoder 104, an analog input unit 105, an analog / digital conversion unit (A / D converter) 106, and video processing.
  • a unit 107, a CPU 108, a RAM 109, a ROM 110, and a display panel 111 are provided.
  • the HDMI unit 101 is an input interface through which a video signal or the like is input from the outside of the display device 100 via an HDMI cable or the like.
  • the BD unit 102 reads a video signal from a recording medium on which a video such as a Blu-ray disc is recorded.
  • the tuner unit 103 receives and demodulates a broadcast signal distributed from a broadcast station or a cable television station, extracts a desired video signal, and outputs it.
  • the analog input unit 105 is an interface that receives an image from the outside of the display device 100 as an analog signal. Note that all of the HDMI unit 101, the BD unit 102, the tuner unit 103, and the analog input unit 105 are not necessarily required, and other input means may be provided.
  • the MPEG decoder 104 decodes the encoded video signal input from the BD unit 102, the tuner unit 103, or the like.
  • the A / D converter 106 converts the analog video signal input from the analog input unit 105 into a digital signal.
  • the video processing unit 107 performs various processes on the video signal input from the HDMI unit 101, the MPEG decoder 104, the A / D converter 106, and the like. Specific processing contents will be described later.
  • the CPU 108 controls the entire display device 100, and in particular, issues various control instructions to the video processing unit 107 to execute suitable video signal processing.
  • the RAM 109 is a storage area used as a primary storage location for various variables when the CPU 108 executes a program or the like.
  • the ROM 110 is a storage area for holding programs and the like necessary for the CPU 108 to operate.
  • the display panel 111 displays the video signal processed by the video processing unit 107 to a user or the like.
  • a plasma display panel (PDP), a liquid crystal display panel (LCD), or the like can be used as the display panel 111.
  • FIG. 2 is a diagram showing a functional configuration inside the video processing unit 107.
  • the video processing unit 107 includes an inspection unit 201, a correction unit 202, and a 3D image quality improvement processing unit 203.
  • the inspection unit 201 determines whether there is a depth contradiction in the input stereoscopic image.
  • the correction unit 202 uses the determination result of the inspection unit 201 to correct and output the stereoscopic image based on the inspection result when there is a depth contradiction in the stereoscopic image. Specific processing contents of the inspection unit 201 and the correction unit 202 will be described later.
  • the 3D image quality improvement processing unit 203 performs image quality improvement processing on the stereoscopic image to be displayed.
  • Examples of the high image quality processing include noise removal processing, crosstalk cancellation processing, contour enhancement processing, and color correction processing. Since the processing content of the 3D image quality enhancement processing unit 203 is the same as the conventional one, detailed description thereof is omitted here.
  • FIG. 3 is a diagram for explaining occlusion in a stereoscopic image.
  • FIG. 3A shows an example of the positional relationship between the camera and the object at the time of shooting a stereoscopic image, and shows a case when viewed from above.
  • the left-eye image capturing camera CAL and the right-eye image capturing camera CAR capture the subject SB existing in front of the background BG.
  • the subject SB is a main object of the stereoscopic image and has a certain size in the left-right direction (parallel to the direction connecting the cameras CAL and CAR). However, the dimensions in the front-rear direction are short and sufficiently small from the shooting distance.
  • FIG. 3B shows an image taken by the left-eye image capturing camera CAL
  • FIG. 3C shows an image taken by the right-eye image capturing camera CAR
  • a region OCL is a region that can be captured only by the left-eye image capturing camera CAL
  • an area OCR is an area that can be imaged by only the right-eye image capturing camera CAR.
  • occlusion an area where such a phenomenon occurs is called an “occlusion area (shielding area)”.
  • occlusion area shielding area
  • the presence or absence of a depth contradiction in a stereoscopic image is determined using an occlusion area in the stereoscopic image.
  • FIG. 4 is a block diagram of the inspection unit 201 in the video processing unit 107 of FIG.
  • the inspection unit 201 includes a depth acquisition unit 401, an occlusion detection unit 402, an edge detection unit 403, and a determination unit 404.
  • the depth acquisition unit 401 acquires depth information of the input stereoscopic image and outputs it to the determination unit 404.
  • the depth information indicates the depth position (parallax information) for each region of the stereoscopic image.
  • a stereoscopic image is usually given parallax in the left-right direction, and the depth position of the area is specified from the size of the left-right shift of each area. For this reason, the depth position can generally be acquired from the correspondence for each region of the left and right images. For example, a region (specific region) in the right-eye image corresponding to a certain region (reference region) in the left-eye image is specified.
  • the depth position of the reference area can be determined based on the position of the reference area in the left-eye image and the position of the specific area in the right-eye image.
  • the depth acquisition unit 401 quantifies the depth position (depth) of the subject in each area. Which depth position is used as a reference in the digitization is arbitrary. Then, the depth acquisition unit 401 outputs depth information representing the depth value of the entire image to the determination unit 404. For example, if the acquired depth position is set as a smaller value toward the front and a larger value toward the back, and the smaller value is displayed as a black color and a larger value as a white color on the entire screen, the depth position can be visually grasped. A depth image can be obtained.
  • the method introduced here is one method for acquiring the depth position of the stereoscopic image, and does not limit the method for acquiring the depth position.
  • the depth information may be used as it is.
  • the occlusion detection unit 402 detects an occlusion area from the left and right images, and outputs information for specifying the detected occlusion area to the determination unit 404.
  • the detection is performed by the following method, for example.
  • the specific area of the image for the right eye corresponding to the reference area in the image for the left eye is searched for, as in the method for acquiring the depth position described above. At this time, there is an area where the corresponding specific area cannot be found.
  • the leftmost region E1 and region OCL In the example of FIG. 3B, the leftmost region E1 and region OCL.
  • the region E1 is excluded because it is known in advance from the viewpoint position of the left and right images that it is not included in the range of the right-eye image.
  • the region OCL is a portion that is commonly included in the range of the left and right images, but is not found in the right-eye image and appears only in the left-eye image.
  • Such an area is specified as the occlusion area of the image for the left eye.
  • the occlusion area of the right-eye image can be specified by searching for a specific area of the left-eye image corresponding to the reference area in the right-eye image.
  • the detection of the occlusion area is not limited to the method described above, and other methods may be used.
  • an area where a depth position is not detected may be determined as an occlusion area from the depth information.
  • the process of searching for a specific area in the other image corresponding to the reference area in one image is common to detection of the depth position and detection of the occlusion area. For this reason, the detection of the depth position and the detection of the occlusion area may be performed together.
  • the edge detection unit 403 extracts an edge (contour) in the stereoscopic image from the input stereoscopic image. Edge extraction can be realized using a conventional method such as DCT or Sobel filter. The edge detection unit 403 outputs the detected edge (contour) information of the stereoscopic image to the determination unit 404.
  • the determination unit 404 determines the depth in the stereoscopic image based on the depth information sent from the depth acquisition unit 401, the information for specifying the occlusion area sent from the occlusion detection unit 402, and the edge information sent from the edge detection unit 403. Determine if there is a conflict.
  • the determination unit 404 evaluates image continuity between the detected occlusion area and an adjacent area adjacent to the occlusion area based on the edge information, and identifies an area to which the occlusion area belongs from the adjacent areas. . Then, based on the depth position of this area included in the depth information, it is determined whether or not there is a depth contradiction in the stereoscopic image.
  • the edge strength (contour strength) at the boundary between the occlusion region OCL and the subject SB is larger than the edge strength at the boundary between the occlusion region OCL and the background BG.
  • the occlusion area OCL is normally included on the background side, and thus the image is a continuous area, while the subject SB and the background BG are different, and the occlusion area OCL and the subject SB Because they have different depth positions. For this reason, the boundary between the occlusion region OCL and the subject SB (foreground side) is discontinuous, and the edge strength is relatively increased.
  • FIG. 5 is an enlarged view around the occlusion area in the image of FIG.
  • An example of processing performed by the determination unit 404 will be specifically described with reference to FIG.
  • the adjacent areas A1 to A4 are adjacent to the upper, left, lower and right of the occlusion area OCL, respectively.
  • the determination unit 404 determines whether there is a relatively large edge near the boundary between the occlusion region OCL and the adjacent regions A1 to A4 based on the edge information.
  • it can be seen that a large edge is generated near the boundary with the adjacent region A4 on the right side.
  • the edge strength is smaller than a predetermined value.
  • the determination unit 404 determines that the occlusion area OCL does not belong to the adjacent area A4 but belongs to the other adjacent areas A1 to A3.
  • the depth position of the occlusion area OCL is determined to be close to the depth positions of the adjacent areas A1 to A3 and different from the depth position of the adjacent area A4.
  • the image continuity is evaluated for the occlusion region OCL and the region adjacent to the upper, lower, left, and right. For example, in view of the principle of occurrence of occlusion, the image continuity with the region adjacent to the left and right direction is considered. You can just evaluate However, it can be said that it is preferable in terms of determination accuracy to evaluate the image continuity in a larger range around the occlusion area including the vertical direction.
  • the determination unit 404 reads the depth positions of the adjacent areas A1 to A4 from the depth information. For example, when the depth position of the adjacent areas A1 to A3 to which the occlusion area OCL belongs is on the background side and the depth position of the adjacent area A4 to which the occlusion area OCL does not belong is on the foreground side, there is no depth contradiction, and the stereoscopic image Is determined to be normal. On the other hand, when the depth positions of the adjacent areas A1 to A3 to which the occlusion area OCL belongs are on the foreground side and the depth position of the adjacent area A4 to which the occlusion area OCL does not belong to the background side, there is a depth contradiction and the stereoscopic image is normal.
  • the viewer perceives a stereoscopic image in which the subject SB is embedded in the background BG.
  • the left-eye image and the right-eye image of the stereoscopic image are interchanged.
  • the depth position is compared between the adjacent area to which the occlusion area belongs and the adjacent area to which the occlusion area does not belong, thereby determining whether there is a depth contradiction.
  • the adjacent area to which the occlusion area belongs is usually close to the background, so the depth position of the adjacent area to which the occlusion area belongs is compared with a predetermined threshold value to determine whether there is a depth contradiction. Also good.
  • the processing of the determination unit 404 may be executed for one of the left-eye image and the right-eye image, or may be executed for both. When both are executed, for example, when it is determined that the left and right images have a depth contradiction, the reliability of the determination result is further increased by determining that the stereoscopic image is not normal. When the process is performed for one of the left-eye image and the right-eye image, the load of the determination process can be further reduced. In addition, when performing about either one of the image for left eyes, and the image for right eyes, the occlusion detection part 402 should just detect an occlusion area
  • FIG. 6 is a flowchart showing the flow of the above processing. 6 may be realized as a program executed by the CPU 108 instead of the video processing unit 107 in FIG.
  • Step S11 Depth information related to the depth position of the input stereoscopic image is acquired.
  • Step S12 The occlusion area of the input stereoscopic image is detected.
  • Step S13 Edges are detected from the left and right images of the input stereoscopic image. Note that steps S11 to S13 need not be performed in this order, and may be performed in different orders or in parallel.
  • Step S14 Based on the depth information, the occlusion area information, and the edge information, the area to which the occlusion area belongs is specified, and based on the depth position of the area, the presence or absence of a depth inconsistency in the stereoscopic image is determined.
  • the correction unit 202 corrects the stereoscopic image based on the depth contradiction determination information output from the inspection unit 201. For example, when the inspection unit 201 determines that the stereoscopic image has a depth contradiction, the correction unit 202 switches the left-eye image and the right-eye image of the stereoscopic image. Accordingly, it is possible to correct and output a stereoscopic image in which the left and right images are mistakenly replaced by detecting a depth contradiction by the inspection unit 201.
  • the depth information of the stereoscopic image is acquired, and the occlusion area is detected from at least one of the left and right images of the stereoscopic image. Then, using the edge information, the image continuity between the occlusion area and its adjacent area is evaluated, and the area to which the occlusion area belongs is specified. Based on the depth position of the specified area, the presence or absence of a depth contradiction in the stereoscopic image is determined.
  • this inversion can be automatically detected from the depth inconsistency of the stereoscopic image.
  • the left and right images are inverted and then the subsequent processing is performed, so that even if the stereoscopic image is erroneously inverted horizontally, it can be displayed appropriately for the viewer. It becomes.
  • the evaluation of image continuity between the occlusion area and the adjacent area is performed using the edge information.
  • image continuity can be evaluated using other information.
  • luminance information, color distribution information, image frequency components, and the like may be used. Alternatively, a combination of these may be used.
  • FIG. 7 is a diagram showing a configuration of the inspection unit 201 in this case.
  • the difference from FIG. 4 is that a luminance calculation unit 703 is provided instead of the edge detection unit 403, and a determination unit 704 is provided instead of the determination unit 404.
  • the luminance calculation unit 703 calculates the luminance of the occlusion area detected by the occlusion detection unit 402 and the area adjacent to the occlusion area. Specifically, for example, average luminance, maximum luminance, minimum luminance, luminance width, and the like of the occlusion area and adjacent areas are calculated. The calculated value is output to the determination unit 704 as luminance information.
  • the determination unit 704 uses the luminance information output from the luminance calculation unit 703 to evaluate the image continuity between the occlusion area and the adjacent area.
  • FIG. 8 is an enlarged view around the occlusion area in the image of FIG. An example of processing performed by the determination unit 704 will be specifically described with reference to FIG.
  • the average luminance is shown in parentheses for the occlusion area OCL and the adjacent areas A1 to A4.
  • the average luminance of the occlusion region OCL is 230
  • the average luminance of the adjacent regions A1 to A3 is 255
  • the average luminance of the adjacent region A4 is 120.
  • the determination unit 704 determines that the occlusion area OCL has a high consecutive name with the adjacent areas A1 to A3 and a low continuity with the adjacent area A4.
  • the depth position of the adjacent regions A1 to A4 may be used to determine the presence or absence of depth inconsistency in the stereoscopic image.
  • the correction unit 202 replaces the left-eye image and the right-eye image of the stereoscopic image when the inspection unit 201 determines that there is a depth contradiction in the stereoscopic image.
  • the processing of the unit 202 is not limited to this.
  • the correction unit 202 may insert warning information in the stereoscopic image when it is determined that there is a depth contradiction in the stereoscopic image. That is, the viewer may be notified that the left and right sides of the stereoscopic image are reversed using OSD (On Screen Display) or the like without correcting the stereoscopic image. In this case, in response to an explicit operation from the viewer, a process of switching the left and right images of the stereoscopic image may be performed. Thereby, it is possible to prevent the display device 100 from arbitrarily switching the left and right images with respect to a test stereoscopic image in which the left and right images are intentionally reversed.
  • OSD On Screen Display
  • the correction unit 202 may output only one of the left-eye image and the right-eye image of the stereoscopic image when it is determined that there is a depth contradiction in the stereoscopic image. That is, when the left and right sides of the stereoscopic image are reversed, the display of the stereoscopic image may be stopped and the image may be displayed by the conventional 2D method. In this case, the viewer can view the conventional 2D video without uncomfortable viewing the stereoscopic video. Even in this case, the OSD or the like may be used to notify that the left and right of the stereoscopic video are reversed.
  • the stereoscopic image may include additional information 901 such as subtitles in addition to the subject at the time of shooting.
  • additional information 901 corresponds to information inserted in a video at the stage of video editing after capturing a stereoscopic image, for example, subtitles or Closed Caption.
  • the captured and displayed stereoscopic image is normal, only the display of the additional information 901 such as subtitles is reversed left and right, and there may be a depth contradiction.
  • the stereoscopic image is divided into predetermined regions, and the processing of the inspection unit 201 and the correction unit 202 described in the first embodiment is performed for each region. Then, for example, the left and right images are exchanged only for the area having the depth contradiction.
  • the processing described in Embodiment 1 may be performed only in the portion.
  • the correction unit 202 displays the portion of the additional information 901 in a specific color, and the video of the portion has a depth contradiction. You may notify a viewer that it has.
  • the correction unit 202 may unify the display of the portion of the additional information 901 into one of the left and right images. Thereby, at least the said part becomes the same display as 2D image, and discomfort can be eliminated.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the stereoscopic image processing device according to the present disclosure is realized as the display device 100 capable of displaying a 3D image
  • the stereoscopic image processing apparatus according to the present disclosure may be realized as a recording / reproducing apparatus that records / reproduces a stereoscopic image.
  • any stereoscopic image processing apparatus that includes the inspection unit 201 and the correction unit 202 as described above and corrects and outputs a depth inconsistency in a given stereoscopic image may be used.
  • This stereoscopic image processing apparatus can output a normal stereoscopic image even if a given stereoscopic image is horizontally reversed.
  • the contents of the present disclosure can also be realized as, for example, a stereoscopic image inspection apparatus that includes the inspection unit 201 described above and outputs an inspection result indicating whether or not a given stereoscopic image has a depth contradiction. is there. If this stereoscopic image inspection apparatus is used, it can be easily determined whether or not the stereoscopic image is normal.
  • the stereoscopic image processing apparatus according to the present disclosure is realized by combining the stereoscopic image inspection apparatus and the correction unit 202 described above.
  • the method described in the first and second embodiments can be realized as a program processed by the CPU 108 or the like.
  • the entity of the video processing unit 107 shown in FIG. 1 is realized as a program and executed on the CPU 108.
  • the method described in the first and second embodiments may be realized by a hardware configuration such as a PLD (Plogrammable Logic Device) or an integrated circuit (IC).
  • a hardware configuration such as a PLD (Plogrammable Logic Device) or an integrated circuit (IC).
  • PLD Plogrammable Logic Device
  • IC integrated circuit
  • the present disclosure is applicable to a stereoscopic image processing apparatus and a stereoscopic image inspection apparatus that detect left-right inversion of a stereoscopic image. Specifically, the present disclosure is applicable to a TV apparatus that displays a stereoscopic image, a recording / reproducing apparatus that records / reproduces a stereoscopic image, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　立体画像あるいはその一部が左右反転している場合を判定する立体画像検査装置を提供する。奥行き取得部（４０１）は、立体画像の奥行き情報を取得する。オクルージョン検出部（４０２）は、立体画像のオクルージョン領域を検出する。判定部（４０４）は、オクルージョン領域とこれに隣接する隣接領域との画像連続性を評価し、評価した画像連続性に基づいて、隣接領域の中からオクルージョン領域が属する第１領域を特定し、奥行き情報に含まれた第１領域の奥行き位置を基にして、立体画像の奥行き矛盾の有無を判定する。

Description

立体画像検査装置、立体画像処理装置、および立体画像検査方法
　本開示は、立体画像を検査する立体画像検査装置、および、その検査結果を用いて立体画像を補正する立体画像処理装置に関する。
　特許文献１には、立体画像として複数のカメラ等で撮影された画像を比較して奥行き情報等を取得する際に、オクルージョン部分等を特定する方法について記載されている。
特開平３－３０８０号公報
　本開示は、立体画像、あるいはその一部が、左右反転している場合を判定する立体画像検査装置を提供する。
　本開示における立体画像検査装置は、立体画像の奥行き情報を取得する奥行き取得部と、立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出するオクルージョン検出部と、検出されたオクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、評価した画像連続性に基づいて、隣接領域の中からオクルージョン領域が属する第１領域を特定し、奥行き情報に含まれた第１領域の奥行き位置を基にして、立体画像の奥行き矛盾の有無を判定する判定部とを備えている。
　ここで、オクルージョン領域とは、左眼用画像と右眼用画像とに共通する画像範囲において、対象物と左右視点との位置関係によって、左眼用画像と右眼用画像の一方の画像には映し出されているが、他方の画像には映し出されていない領域のことをいう。
　なお、本開示では、立体画像の左眼用画像と右眼用画像とが入れ替わっていることを、立体画像が「左右反転」している、あるいは、立体画像の左右画像が「反転」している、と表現している。
　本開示における立体画像検査装置は、立体画像、あるいはその一部が、左右反転している場合に、これを検出することができる。
立体画像処理装置の一例としての、表示装置の機能構成例を示す図 図１の構成における映像処理部の機能構成例を示す図 立体画像におけるオクルージョンを説明するための図 図２の映像処理部における検査部の機能構成例を示す図 オクルージョン領域と隣接領域との画像連続性の評価方法を説明するための図 実施形態における検査処理を示すフローチャート 図２の映像処理部における検査部の他の機能構成例を示す図 オクルージョン領域と隣接領域との画像連続性の評価方法の他の例を説明するための図 追加情報を含む立体画像の例を示す図
　立体画像信号において左眼用画像と右眼用画像とが誤って入れ替わってしまった場合、表示された立体画像は、奥行きが反転して、視聴者には非常に見づらいものになる。これは、左眼用画像が右眼で視聴され、右眼用画像が左眼で視聴されるため、画像全体の奥行きが不自然なものになるからである。
　また、立体画像に編集過程や表示装置で重畳させる字幕が、左眼用画像と右眼用画像とで反転して挿入される場合がある。このような場合、字幕が挿入された立体画像は、部分的に、奥行き感に矛盾が感じられる画像となり、非常に見づらい立体画像となる。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　［１－１．基本構成］
　図１は立体画像処理装置の一例としての、立体画像を表示可能な表示装置１００である。図１の表示装置１００は、ＨＤＭＩ部１０１と、ＢＤ部１０２と、チューナ部１０３と、ＭＰＥＧデコーダ１０４と、アナログ入力部１０５と、アナログ／デジタル変換部（Ａ／Ｄコンバータ）１０６と、映像処理部１０７と、ＣＰＵ１０８と、ＲＡＭ１０９と、ＲＯＭ１１０と、表示パネル１１１と、を備える。
　ＨＤＭＩ部１０１は、表示装置１００の外部からＨＤＭＩケーブル等で映像信号等が入力される入力インタフェースである。ＢＤ部１０２は、Ｂｌｕ－ｒａｙディスク等の映像が記録された記録媒体から映像信号を読み出す。チューナ部１０３は、放送局やケーブルテレビ局から配信された放送信号を受信、復調し所望の映像信号を抽出して出力する。アナログ入力部１０５は、表示装置１００の外部からの映像をアナログ信号で受信するインタフェースである。なお、ＨＤＭＩ部１０１、ＢＤ部１０２、チューナ部１０３およびアナログ入力部１０５は、必ずしもその全てが必要ではなく、また、他の入力手段を設けてもかまわない。
　ＭＰＥＧデコーダ１０４は、ＢＤ部１０２やチューナ部１０３等から入力された符号化された映像信号を復号する。Ａ／Ｄコンバータ１０６は、アナログ入力部１０５から入力されたアナログ映像信号をデジタル信号に変換する。
　映像処理部１０７は、ＨＤＭＩ部１０１、ＭＰＥＧデコーダ１０４、Ａ／Ｄコンバータ１０６等から入力された映像信号に、各種の処理を行う。具体的な処理内容等については、後述する。
　ＣＰＵ１０８は、表示装置１００全体を制御するものであり、特に、映像処理部１０７へ各種の制御指示を出し、好適な映像信号処理を実行させる。ＲＡＭ１０９は、ＣＰＵ１０８がプログラム等を実行する際の各種変数の一次保持の場所等として使用される記憶領域である。ＲＯＭ１１０は、ＣＰＵ１０８が動作するために必要なプログラム等を保持しておく記憶領域である。
　表示パネル１１１は、映像処理部１０７で処理された映像信号を、利用者等に表示する。表示パネル１１１は、具体的にはプラズマ表示パネル（ＰＤＰ）や、液晶表示パネル（ＬＣＤ）等を用いることが可能である。
　図２は映像処理部１０７内部の機能構成を示した図である。図２では、映像処理部１０７は、検査部２０１と、補正部２０２と、３Ｄ高画質化処理部２０３と、を有する。
　検査部２０１は、入力された立体画像における奥行き矛盾の有無を判定する。補正部２０２は、検査部２０１による判定結果を用いて、立体画像に奥行き矛盾があるときは、検査結果に基づいて立体画像を補正して出力する。検査部２０１および補正部２０２の具体的な処理内容については後述する。
　３Ｄ高画質化処理部２０３は、表示する立体画像に対して高画質化処理を行う。高画質化処理として、例えばノイズ除去処理、クロストークキャンセル処理、輪郭強調処理、色補正処理等がある。この３Ｄ高画質化処理部２０３の処理内容は従来と同様であるため、ここでは詳細な説明を省略する。
　［１－２．検査部の構成および動作］
　図３は立体画像におけるオクルージョンを説明するための図である。図３（ａ）は立体画像の撮影時におけるカメラと対象物の位置関係の例であり、上方向から見た場合を示している。図３（ａ）では、左眼用画像撮影カメラＣＡＬと右眼用画像撮影カメラＣＡＲが、背景ＢＧの前に存在する被写体ＳＢを撮影している。被写体ＳＢは立体画像の主対象物であり、左右方向（カメラＣＡＬ，ＣＡＲを結ぶ方向と平行）にある程度の寸法を有している。ただし、前後方向の寸法は短く、撮影距離からすると十分小さいものとする。
　図３（ｂ）は左眼用画像撮影カメラＣＡＬで撮影した画像、図３（ｃ）は右眼用画像撮影カメラＣＡＲで撮影した画像である。図３（ｂ）において、領域ＯＣＬは左眼用画像撮影カメラＣＡＬのみで撮影できた領域である。図３（ｃ）において、領域ＯＣＲは同様に右眼用画像撮影カメラＣＡＲのみで撮影できた領域である。これらの領域ＯＣＬ，ＯＣＲは、両方の撮影カメラＣＡＬ，ＣＡＲの撮影範囲内に入っているものの、カメラＣＡＬ，ＣＡＲと被写体ＳＢとの位置関係によって、被写体ＳＢに隠れてしまい、一方のカメラに映らなくなってしまっている部分である。このような現象を「オクルージョン」といい、このような現象が生じている領域を「オクルージョン領域（遮蔽領域）」という。なお、図３（ｂ）の領域Ｅ１、および図３（ｃ）の領域Ｅ２は、オクルージョン領域ではなく、単に、他方のカメラの撮影範囲に含まれていない領域である。
　本開示では、立体画像におけるオクルージョン領域を利用して、立体画像の奥行き矛盾の有無を判定する。
　図４は図２の映像処理部１０７における検査部２０１のブロック図である。検査部２０１は、奥行き取得部４０１と、オクルージョン検出部４０２と、エッジ検出部４０３と、判定部４０４と、を有する。
　奥行き取得部４０１は、入力された立体画像の奥行き情報を取得し、判定部４０４に出力する。奥行き情報は、立体画像の領域毎の奥行き位置（視差の情報）を示すものである。立体画像は通常、左右方向に視差が与えられており、各領域の左右ずれの大きさから、その領域の奥行き位置が特定される。このため、奥行き位置は一般に、左右画像の領域ごとの対応関係から取得することができる。例えば、左眼用画像内のある領域（基準領域）に対応する、右眼用画像内の領域（特定領域）を特定する。そして、基準領域の左眼用画像内での位置と、特定領域の右眼用画像内での位置とに基づいて、基準領域の奥行き位置を決定することができる。
　奥行き取得部４０１は、各領域の被写体の奥行き位置（深度）を数値化する。この数値化の際にどの奥行き位置を基準とするかは任意である。そして奥行き取得部４０１は、画像全体の奥行き値を表す奥行き情報を判定部４０４に出力する。なお、例えば取得した奥行き位置を、手前ほど小さい値、奥ほど大きい値として設定し、小さい値ほど黒い色、大きい値ほど白い色、として画面全体で表示すれば、奥行き位置を視覚的に把握できる奥行き画像を得ることができる。
　なお、ここで紹介した方法は、立体画像が有する奥行き位置を取得する１つの方法であり、奥行き位置の取得方法を限定するものではない。例えば、立体画像とともに奥行き情報が送られてくる場合は、その奥行き情報をそのまま利用してもかまわない。
　オクルージョン検出部４０２は、左右画像から、オクルージョン領域を検出し、検出したオクルージョン領域を特定する情報を判定部４０４に出力する。ここでの検出は、例えば次のような方法で行う。左眼用画像のオクルージョン領域を検出する場合、上述した奥行き位置を取得する方法と同様に、左眼用画像内の基準領域に対応する、右眼用画像の特定領域を探索する。この際、対応する特定領域が見つからない領域がある。図３（ｂ）の例では、左端の領域Ｅ１や領域ＯＣＬである。そして、領域Ｅ１については、左右画像の視点の位置から、右眼用画像の範囲に含まれていないことが予め分かるので、除外される。一方、領域ＯＣＬは、左右画像の範囲に共通に含まれているが、右眼用画像内には見つからず、左眼用画像のみに出現する部分である。このような領域を左眼用画像のオクルージョン領域として特定する。右眼用画像のオクルージョン領域についても、同様に、右眼用画像内の基準領域に対応する、左眼用画像の特定領域を探索することによって特定できる。
　なお、オクルージョン領域の検出は、上述した方法に限定されるものではなく、他の方法を用いてもかまわない。例えば、立体画像とともに奥行き情報が送られてくる場合は、その奥行き情報から、奥行き位置が検出されていない領域をオクルージョン領域と判断してもよい。また、上述した方法では、一方の画像内の基準領域に対応する、他方の画像内の特定領域を探索する処理は、奥行き位置の検出とオクルージョン領域の検出とで共通している。このため、奥行き位置の検出とオクルージョン領域の検出とを併せて行ってもかまわない。
　エッジ検出部４０３は、入力される立体画像から当該立体画像内のエッジ（輪郭）を抽出する。エッジの抽出は、従来方法のＤＣＴやソーベルフィルタ等を用いて実現できる。エッジ検出部４０３は、検出した立体画像のエッジ（輪郭）情報を判定部４０４へ出力する。
　判定部４０４は、奥行き取得部４０１から送られた奥行き情報、オクルージョン検出部４０２から送られたオクルージョン領域を特定する情報、およびエッジ検出部４０３から送られたエッジ情報に基づいて、立体画像における奥行き矛盾の有無を判定する。判定部４０４は、エッジ情報を基にして、検出されたオクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、隣接領域の中から、オクルージョン領域が属する領域を特定する。そして、奥行き情報に含まれた、この領域の奥行き位置を基にして、立体画像に奥行き矛盾があるか否かを判定する。
　図３（ｂ）の例では、オクルージョン領域ＯＣＬと被写体ＳＢとの境界のエッジ強度（輪郭の強さ）が、オクルージョン領域ＯＣＬと背景ＢＧとの境界のエッジ強度よりも大きくなる。これは、オクルージョン領域ＯＣＬは通常、背景側に含まれているため、画像でも連続した領域となるのに対して、被写体ＳＢと背景ＢＧとは対象が異なっており、オクルージョン領域ＯＣＬと被写体ＳＢとは異なる奥行き位置を有しているからである。このため、オクルージョン領域ＯＣＬと被写体ＳＢ（前景側）との境界は不連続となり、エッジ強度が相対的に大きくなる。
　図５は図３（ｂ）の画像におけるオクルージョン領域周辺を拡大した図である。図５を用いて、判定部４０４の処理の例を具体的に説明する。オクルージョン領域ＯＣＬに隣接する領域として、隣接領域Ａ１～Ａ４がある。隣接領域Ａ１～Ａ４はそれぞれ、オクルージョン領域ＯＣＬの上、左、下および右に隣接している。判定部４０４は、オクルージョン領域ＯＣＬと隣接領域Ａ１～Ａ４との境界付近において比較的大きいエッジが存在するか否かを、エッジ情報を基にして判断する。ここでは、右側の隣接領域Ａ４との境界付近で大きなエッジが生じていることが分かる。これは、上述したとおり、オクルージョン領域ＯＣＬの右に、オクルージョン領域ＯＣＬよりも奥行き位置が手前（前景側）にある被写体ＳＢが存在するためである。一方、オクルージョン領域ＯＣＬと隣接領域Ａ１～Ａ３との境界付近では、エッジ強度が所定値よりも小さい。
　この結果から、判定部４０４は、オクルージョン領域ＯＣＬは、隣接領域Ａ４には属さず、他の隣接領域Ａ１～Ａ３に属するものと判定する。そして、オクルージョン領域ＯＣＬの奥行き位置は、隣接領域Ａ１～Ａ３の奥行き位置と近く、隣接領域Ａ４の奥行き位置とは異なるものと判定する。なお、ここでは、オクルージョン領域ＯＣＬと上下左右に隣接する領域とについて、画像連続性を評価するものとしたが、例えば、オクルージョンの発生原理を鑑みれば、左右方向に隣接する領域との画像連続性を評価するだけでもかまわない。ただし、上下方向を含め、オクルージョン領域の周囲をより大きな範囲で画像連続性を評価する方が、判定精度の面で好ましいといえる。
　そして、判定部４０４は、奥行き情報から、各隣接領域Ａ１～Ａ４の奥行き位置を読み出す。そして、例えば、オクルージョン領域ＯＣＬが属する隣接領域Ａ１～Ａ３の奥行き位置が背景側にあり、オクルージョン領域ＯＣＬが属さない隣接領域Ａ４の奥行き位置が前景側にあるときは、奥行き矛盾はなく、立体画像は正常である、と判定する。一方、オクルージョン領域ＯＣＬが属する隣接領域Ａ１～Ａ３の奥行き位置が前景側にあり、オクルージョン領域ＯＣＬが属さない隣接領域Ａ４の奥行き位置が背景側にあるときは、奥行き矛盾があり、立体画像は正常ではない、と判定する。この場合は、視聴者には、被写体ＳＢが背景ＢＧにめり込んだような立体画像が知覚される。このような場合には、立体画像の左眼用画像と右眼用画像が入れ替わっていると推定される。
　なお、上の説明では、オクルージョン領域が属する隣接領域とオクルージョン領域が属さない隣接領域とで奥行き位置を比較することによって、奥行き矛盾の有無を判定している。ただしこの他にも例えば、オクルージョン領域が属する隣接領域は通常は背景に近いので、オクルージョン領域が属する隣接領域の奥行き位置を所定のしきい値と比較することによって、奥行き矛盾の有無を判定してもよい。
　なお、判定部４０４の処理は、左眼用画像と右眼用画像のいずれか一方について実行してもよいし、両方について実行してもかまわない。両方について実行する場合は、例えば左右画像で奥行き矛盾と判定された場合に立体画像は正常ではないと判定することによって、判定結果の信頼度はより高まる。左眼用画像と右眼用画像の一方について実行する場合は、判定処理の負荷をより軽減できる。なお、左眼用画像と右眼用画像のいずれか一方について実行する場合は、オクルージョン検出部４０２はその一方の画像についてオクルージョン領域を検出すればよい。
　以上説明したような処理の結果、検査部２０１から、奥行き矛盾判定情報が出力される。図６は上記の処理の流れを示すフローチャートである。なお、図６に示す処理は、図１の映像処理部１０７の代わりに、ＣＰＵ１０８が実行するプログラムとして実現されてもよい。
　（ステップＳ１１）入力された立体画像の奥行き位置に関する奥行き情報を取得する。
　（ステップＳ１２）入力された立体画像のオクルージョン領域を検出する。
　（ステップＳ１３）入力された立体画像の左右画像からエッジを検出する。なお、ステップＳ１１～Ｓ１３は、この順序で行う必要はなく、異なる順序で行ってもよいし、並行して行ってもよい。
　（ステップＳ１４）奥行き情報、オクルージョン領域情報、およびエッジ情報に基づいて、オクルージョン領域が属する領域を特定し、その領域の奥行き位置に基づいて、立体画像の奥行き矛盾の有無を判定する。
　［１－３．補正部の動作］
　補正部２０２は、検査部２０１から出力された奥行き矛盾判定情報に基づいて、立体画像を補正する。例えば、補正部２０２は、検査部２０１によって立体画像に奥行き矛盾があると判定されたときは、立体画像の左眼用画像と右眼用画像とを入れ替える。これにより、誤って左右画像が入れ替わってしまっている立体画像を、検査部２０１によって奥行き矛盾を検出することによって、補正して出力することが可能となる。
　［１－４．効果］
　以上のように本実施形態では、立体画像の奥行き情報を取得し、立体画像の左右画像の少なくともいずれか一方から、オクルージョン領域を検出する。そして、エッジ情報を用いて、オクルージョン領域とその隣接領域との画像連続性を評価し、オクルージョン領域が属する領域を特定する。この特定した領域の奥行き位置を基にして、立体画像の奥行き矛盾の有無を判定する。
　これにより、入力された立体画像の左右画像が反転していた場合であっても、立体画像の奥行き矛盾から、この反転を自動的に検出することができる。そして、奥行き矛盾を有する立体画像については、例えば左右画像を反転してから、後段の処理を行うことによって、誤って左右反転していた立体画像であっても、視聴者に好適な表示が可能となる。
　（変形例１）
　上述した実施形態では、オクルージョン領域と隣接領域との画像連続性の評価を、エッジ情報を用いて行うものとした。ただし、画像連続性の評価は、他の情報を用いても可能である。例えば、輝度情報、色分布情報、画像の周波数成分などを用いてもよい。あるいは、これらの組み合わせを用いてもよい。
　ここでは、輝度情報を用いて、オクルージョン領域と隣接領域との画像連続性を評価する方法を説明する。図７はこの場合の検査部２０１の構成を示す図である。図４との相違は、エッジ検出部４０３の代わりに輝度算出部７０３を、判定部４０４の代わりに判定部７０４を、備えている点である。
　輝度算出部７０３は、オクルージョン検出部４０２によって検出されたオクルージョン領域と、このオクルージョン領域に隣接する領域の輝度を算出する。具体的には例えば、オクルージョン領域や隣接領域の、平均輝度、最大輝度、最小輝度、輝度幅等を算出するる。算出した値は、輝度情報として判定部７０４に出力される。
　判定部７０４は、輝度算出部７０３から出力された輝度情報を用いて、オクルージョン領域と隣接領域との画像連続性を評価する。図８は図３（ｂ）の画像におけるオクルージョン領域周辺を拡大した図である。図８を用いて、判定部７０４の処理の例を具体的に説明する。
　図８では、オクルージョン領域ＯＣＬと隣接領域Ａ１～Ａ４について、括弧内に平均輝度を示している。オクルージョン領域ＯＣＬの平均輝度は２３０、隣接領域Ａ１～Ａ３の平均輝度は２５５、隣接領域Ａ４の平均輝度は１２０である。判定部７０４は、平均輝度から、オクルージョン領域ＯＣＬは、隣接領域Ａ１～Ａ３と連続姓が高く、隣接領域Ａ４とは連続性が低いと判断する。それ以降は、上述した方法と同様に、隣接領域Ａ１～Ａ４の奥行き位置を用いて、立体画像の奥行き矛盾の有無を判定すればよい。
　被写体と背景との色合いや被写体の形状等に起因して画像上でエッジが見えにくい場合であっても、輝度を用いれば、オクルージョン領域周辺の画像連続性をより正確に判断できる可能性がある。このため例えば、エッジと輝度を組み合わせて画像連続性を評価すれば、評価精度はより一層向上する。
　（変形例２）
　上述した実施形態では、補正部２０２は、検査部２０１によって立体画像に奥行き矛盾があると判定されたときは、立体画像の左眼用画像と右眼用画像とを入れ替えるものとしたが、補正部２０２の処理はこれに限定されるものではない。
　例えば補正部２０２は、立体画像に奥行き矛盾があると判定されたとき、立体画像に警告情報を挿入してもよい。すなわち、立体画像を補正しないで、ＯＳＤ（On Screen Display）等を用いて、立体画像の左右が反転していることを視聴者に通知するようにしてもよい。この場合、視聴者からの明示的な操作を受けて、立体画像の左右画像を入れ替える処理を行うようにしてもよい。これにより、意図的に左右画像を反転させたような試験的立体画像について、表示装置１００が勝手に左右画像を入れ替えることを防ぐことができる。
　さらに、別の方法として、補正部２０２は、立体画像に奥行き矛盾があると判定されたとき、立体画像の左眼用画像と右眼用画像のいずれか一方のみを出力してもよい。すなわち、立体画像の左右が反転しているとき、立体画像の表示を中止し、従来の２Ｄ方式で画像を表示するようにしてもよい。この場合には、視聴者は不快に立体映像を視聴することなく、従来通りの２Ｄ映像を視聴することができる。この場合でも、ＯＳＤ等を用いて立体映像の左右が反転していることを通知してもよい。
　（実施の形態２）
　本実施の形態では、実施の形態１と相違する部分を中心に説明する。実施の形態１と実質的に同様の部分については、重複説明を省略する場合がある。
　例えば図９に示すように、立体画像には、撮影時の被写体以外に、字幕等の追加情報９０１が含まれている場合がある。このような追加情報９０１には、立体画像を撮影後に映像編集等の段階で映像に挿入された情報、例えば字幕や、Ｃｌｏｓｅｄ　Ｃａｐｔｉｏｎなどが該当する。そして、撮影され表示された立体画像は正常であるものの、字幕等の追加情報９０１の表示のみが左右反転しており、奥行き矛盾を有している場合がある。このような場合に対処するために、本実施の形態では、立体画像を所定の領域に分割し、実施形態１で説明した検査部２０１および補正部２０２の処理を、当該領域ごとについて行う。そして例えば、奥行き矛盾を有する領域についてのみ、左右画像の入れ替えを行う。
　なお、追加情報９０１の表示位置が予め特定されている場合は、当該部分のみにおいて、実施の形態１で説明した処理を行ってもよい。
　また、追加情報９０１の部分のみが左右反転しており、立体画像そのものは正常である場合、補正部２０２は、追加情報９０１の部分を特定の色で表示し、当該部分の映像が奥行き矛盾を有していることを視聴者に通知してもよい。また別の方法として、補正部２０２は、追加情報９０１の部分の表示を、左右画像のいずれか一方の表示に統一してもよい。これにより、少なくとも当該部分は２Ｄ画像と同じ表示になり、違和感を解消することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
　実施の形態１，２では、本開示に係る立体画像処理装置を、３Ｄ画像を表示可能な表示装置１００として実現する場合を例にとって説明したが、本開示はこれに限定されない。例えば、本開示に係る立体画像処理装置を、立体画像を記録・再生する記録再生装置として実現してもよい。すなわち、上述したような検査部２０１および補正部２０２を備え、与えられた立体画像に奥行き矛盾があるときは、これを補正して出力する立体画像処理装置であればよい。この立体画像処理装置は、与えられた立体画像が左右反転したものであっても、正常な立体画像を出力することができる。
　また、本開示の内容は、例えば、上述した検査部２０１を備え、与えられた立体画像が奥行き矛盾を有しているか否かの検査結果を出力する立体画像検査装置として実現することも可能である。この立体画像検査装置を用いれば、立体画像が正常であるか否かを容易に判別できる。そして、この立体画像検査装置と、上述した補正部２０２とを組み合わせることによって、本開示の立体画像処理装置が実現される。
　さらに、実施の形態１，２で説明した方法を、ＣＰＵ１０８などで処理するプログラムとして実現することもできる。この場合には、図１で示した映像処理部１０７の実体がプログラムとして実現され、ＣＰＵ１０８上で実行される。
　また、実施の形態１，２で説明した方法を、ＰＬＤ（Plogrammable Logic Device）や集積回路（ＩＣ）などハードウェア構成によって実現するものであってもよい。この場合は、ソフトウェアプログラムと比較して、処理を比較的短時間で実現できる場合が多い。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、立体画像の左右反転を検出する立体画像処理装置や立体画像検査装置に適応可能である。具体的には、立体画像を表示するＴＶ装置、立体画像を記録・再生等する記録再生装置などに、本開示は適用可能である。
１０７　映像処理部
２０１　検査部
２０２　補正部
４０１　奥行き取得部
４０２　オクルージョン検出部
４０３　エッジ検出部
４０４　判定部
７０３　輝度算出部
７０４　判定部

Claims (8)

  1. 　立体画像の奥行き情報を取得する奥行き取得部と、
    　前記立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出するオクルージョン検出部と、
    　検出された前記オクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、評価した画像連続性に基づいて、前記隣接領域の中から前記オクルージョン領域が属する第１領域を特定し、前記奥行き情報に含まれた前記第１領域の奥行き位置を基にして、前記立体画像の奥行き矛盾の有無を判定する判定部とを備えた
    ことを特徴とする立体画像検査装置。
  2. 　請求項１記載の立体画像検査装置において、
    　前記オクルージョン領域と前記隣接領域との画像連続性を、前記立体画像の輪郭情報、輝度情報、色分布情報、および、周波数成分のうち少なくともいずれか１つを用いて、評価する
    ことを特徴とする立体画像検査装置。
  3. 　請求項１記載の立体画像検査装置において、
    　前記判定部は、前記第１領域の奥行き位置が、前記隣接領域の中の前記オクルージョン領域が属さない領域である第２領域の奥行き位置よりも前景側にあるとき、前記立体画像の左眼用画像および右眼用画像が入れ替わっていると判定する
    ことを特徴とする立体画像検査装置。
  4. 　請求項１記載の立体画像検査装置と、
    　前記判定部による判定結果に基づいて、前記立体画像を補正する補正部とを備えた
    ことを特徴とする立体画像処理装置。
  5. 　請求項４記載の立体画像処理装置において、
    　前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像の左眼用画像と右眼用画像とを入れ替える
    ことを特徴とする立体画像処理装置。
  6. 　請求項４記載の立体画像処理装置において、
    　前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像に警告情報を挿入する
    ことを特徴とする立体画像処理装置。
  7. 　請求項４記載の立体画像処理装置において、
    　前記補正部は、前記判定部が、前記立体画像に奥行き矛盾があると判定したとき、前記立体画像の左眼用画像および右眼用画像のいずれか一方のみを出力する
    ことを特徴とする立体画像処理装置。
  8. 　立体画像の奥行き情報を取得し、
    　前記立体画像の左眼用画像および右眼用画像の少なくともいずれか一方から、オクルージョン領域を検出し、
    　検出した前記オクルージョン領域と、当該オクルージョン領域に隣接する隣接領域との画像連続性を評価し、
    　評価した画像連続性に基づいて、前記隣接領域の中から、前記オクルージョン領域が属する第１領域を特定し、
    　前記奥行き情報に含まれた前記第１領域の奥行き位置を基にして、前記立体画像の奥行き矛盾の有無を判定する
    ことを特徴とする立体画像検査方法。
PCT/JP2012/006084 2012-01-18 2012-09-25 立体画像検査装置、立体画像処理装置、および立体画像検査方法 WO2013108310A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013519657A JP5493055B2 (ja) 2012-01-18 2012-09-25 立体画像検査装置、立体画像処理装置、および立体画像検査方法
US13/904,511 US9883162B2 (en) 2012-01-18 2013-05-29 Stereoscopic image inspection device, stereoscopic image processing device, and stereoscopic image inspection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-007624 2012-01-18
JP2012007624 2012-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/904,511 Continuation US9883162B2 (en) 2012-01-18 2013-05-29 Stereoscopic image inspection device, stereoscopic image processing device, and stereoscopic image inspection method

Publications (1)

Publication Number Publication Date
WO2013108310A1 true WO2013108310A1 (ja) 2013-07-25

Family

ID=48798769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/006084 WO2013108310A1 (ja) 2012-01-18 2012-09-25 立体画像検査装置、立体画像処理装置、および立体画像検査方法

Country Status (3)

Country Link
US (1) US9883162B2 (ja)
JP (1) JP5493055B2 (ja)
WO (1) WO2013108310A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134922A (ja) * 2015-01-22 2016-07-25 深▲セン▼超多▲維▼光▲電▼子有限公司 立体画像シュードスコピック処理方法及び表示装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150271471A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JPH1023311A (ja) * 1996-07-05 1998-01-23 Canon Inc 画像情報入力方法及び装置
JP2010068121A (ja) * 2008-09-09 2010-03-25 Sony Corp 画像データ解析装置、および画像データ解析方法、並びにプログラム
JP2011139339A (ja) * 2009-12-28 2011-07-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2011211551A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 画像処理装置および画像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033080A (ja) 1989-05-31 1991-01-09 Fujitsu Ltd 画像の構造化による対応付け前処理方式
US5764871A (en) 1993-10-21 1998-06-09 Eastman Kodak Company Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields
US6445363B1 (en) * 1999-02-12 2002-09-03 Canon Kabushiki Kaisha Head-mounted display apparatus
KR100519782B1 (ko) 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
KR100888459B1 (ko) * 2007-03-14 2009-03-19 전자부품연구원 피사체의 깊이 정보 검출 방법 및 시스템
US20080278633A1 (en) 2007-05-09 2008-11-13 Mikhail Tsoupko-Sitnikov Image processing method and image processing apparatus
US8384769B1 (en) 2007-05-23 2013-02-26 Kwangwoon University Research Institute For Industry Cooperation 3D image display method and system thereof
JP5024962B2 (ja) 2008-07-11 2012-09-12 日本電信電話株式会社 多視点距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
US8482654B2 (en) 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
US8684531B2 (en) 2009-12-28 2014-04-01 Vision3D Technologies, Llc Stereoscopic display device projecting parallax image and adjusting amount of parallax
JP4991890B2 (ja) * 2010-03-01 2012-08-01 株式会社東芝 補間フレーム生成装置及び方法
KR20120076029A (ko) * 2010-12-29 2012-07-09 삼성전자주식회사 3차원 영상 데이터 처리 방법 및 이를 수행하는 표시 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927969A (ja) * 1995-05-08 1997-01-28 Matsushita Electric Ind Co Ltd 複数画像の中間像生成方法及び視差推定方法および装置
JPH1023311A (ja) * 1996-07-05 1998-01-23 Canon Inc 画像情報入力方法及び装置
JP2010068121A (ja) * 2008-09-09 2010-03-25 Sony Corp 画像データ解析装置、および画像データ解析方法、並びにプログラム
JP2011139339A (ja) * 2009-12-28 2011-07-14 Sanyo Electric Co Ltd 立体画像表示装置
JP2011211551A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016134922A (ja) * 2015-01-22 2016-07-25 深▲セン▼超多▲維▼光▲電▼子有限公司 立体画像シュードスコピック処理方法及び表示装置
US9743063B2 (en) 2015-01-22 2017-08-22 Superd Co. Ltd. Method and apparatus for processing three-dimensional (3D) pseudoscopic images

Also Published As

Publication number Publication date
US20130258061A1 (en) 2013-10-03
US9883162B2 (en) 2018-01-30
JPWO2013108310A1 (ja) 2015-05-11
JP5493055B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5575891B2 (ja) 自動三次元ビデオフォーマット変換方法及びその装置
TWI542191B (zh) 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品
EP2745269B1 (en) Depth map processing
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
US20120314028A1 (en) 3d video format detection
TWI483612B (zh) Converting the video plane is a perspective view of the video system
US8817020B2 (en) Image processing apparatus and image processing method thereof
CN110268712B (zh) 用于处理图像属性图的方法和装置
US20120218256A1 (en) Recommended depth value for overlaying a graphics object on three-dimensional video
US8558875B2 (en) Video signal processing device
US20130076872A1 (en) System and Method of Detecting and Correcting an Improper Rendering Condition in Stereoscopic Images
US20120038744A1 (en) Automatic 3d content detection
KR20140029689A (ko) 영상 처리 시스템에서 움직임 추정 장치 및 방법
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
US9111352B2 (en) Automated detection and correction of stereoscopic edge violations
JP5493055B2 (ja) 立体画像検査装置、立体画像処理装置、および立体画像検査方法
WO2012120880A1 (ja) 立体画像出力装置及び立体画像出力方法
JP5647741B2 (ja) 画像信号処理装置および画像信号処理方法
WO2014025295A1 (en) 2d/3d image format detection
Knee Getting machines to watch 3d for you
Delis et al. Automatic 3d defects identification in stereoscopic videos
KR20140069266A (ko) 디스패리티 맵을 필터링하기 위한 방법 및 디바이스
US20140085413A1 (en) Image signal processing device and image signal processing method
Liu et al. Efficient automatic detection of 3D video artifacts
RU2431939C1 (ru) Способ выявления двумерного экранного меню на стерео видеопоследовательности

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013519657

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12865719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12865719

Country of ref document: EP

Kind code of ref document: A1