WO2013035442A1 - 立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体 - Google Patents

立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2013035442A1
WO2013035442A1 PCT/JP2012/068328 JP2012068328W WO2013035442A1 WO 2013035442 A1 WO2013035442 A1 WO 2013035442A1 JP 2012068328 W JP2012068328 W JP 2012068328W WO 2013035442 A1 WO2013035442 A1 WO 2013035442A1
Authority
WO
WIPO (PCT)
Prior art keywords
adjustment amount
stereoscopic image
image processing
unit
repeated pattern
Prior art date
Application number
PCT/JP2012/068328
Other languages
English (en)
French (fr)
Inventor
幹生 瀬戸
久雄 熊井
永雄 服部
郁子 椿
山本　健一郎
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2013035442A1 publication Critical patent/WO2013035442A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to a stereoscopic image information processing apparatus, a stereoscopic image information processing method, a program for causing a computer to execute the stereoscopic image information processing method, and a recording medium on which the program is recorded.
  • a stereoscopic image display system is an example of a system that uses this binocular parallax mechanism.
  • stereoscopic vision is realized (representing depth) by presenting (only) images corresponding to the left and right to each eye.
  • the binocular parallax is a shift between corresponding points in the left and right images of the stereoscopic image.
  • the stereoscopic image is displayed behind the display surface, and as the corresponding point shifts in the inversion direction of the eyeball, the stereoscopic image is displayed in front of the display surface. It will be.
  • Such a state is, for example, when displaying on a display that is larger than the display size assumed when a stereoscopic image was captured, or when shooting with a stereo camera having a base length longer than the interpupillary distance. Can occur.
  • Patent Documents 1 and 2 are disclosed as examples of the prior art.
  • Patent Document 1 even if the same stereoscopic image is used, the parallax of the displayed image changes due to changes in the screen size (display size), resolution, and the like, so that the image becomes difficult to view stereoscopically and easily fatigued.
  • the size of the image display unit (window) and the parallax between the left and right images are calculated, and the maximum value or the minimum value is calculated.
  • the maximum value or the minimum value is calculated.
  • binocular parallax is automatically adjusted according to the screen size, making it easy to observe and enabling more natural stereoscopic viewing.
  • Patent Document 2 when crosstalk occurs, a double image is visually recognized in pixels where the left and right images do not match, and not only cannot be perceived as a stereoscopic image, but also a headache or the like occurs.
  • a means for solving the problem of the possibility According to the invention of Patent Document 3, a difference in luminance value between left and right images whose parallax amount is changed by a predetermined adjustment amount is calculated, an optimal adjustment amount is determined from an adjustment amount that minimizes the calculation amount, and based on that By adjusting the amount of parallax between the left and right images, a stereoscopic image with reduced crosstalk is displayed.
  • Patent No. 2848291 3D TV device Patent application title JP-A-2010-200193 Image processing apparatus, image processing method, program, and stereoscopic image display apparatus
  • the parallax amount of the stereoscopic image can be adjusted.
  • a repeated pattern for example, a pattern with repeated patterns such as a checkerboard or a houndstooth pattern
  • matching can be obtained at different positions of the same pattern (difference value).
  • the amount of parallax may be erroneously estimated.
  • the present invention has been made in view of the above problems, and an object thereof is to detect a repetitive pattern in a stereoscopic image and appropriately correct the adjustment amount of the parallax amount.
  • a viewpoint image difference calculation unit that calculates a difference between the viewpoint images of the stereoscopic image
  • an adjustment amount calculation unit that calculates an adjustment amount based on the calculation result
  • An adjustment unit that adjusts a characteristic difference between viewpoint images of a stereoscopic image
  • a repeated pattern information detection unit that detects information about a repeated pattern from the stereoscopic image
  • an adjustment amount correction that corrects the adjustment amount based on the repeated pattern information
  • an external input data acquisition unit that acquires user input may be provided, and the adjustment amount correction unit may correct the adjustment amount based on the repeated pattern information and the external input data.
  • the information on the repetitive pattern includes one or both of the presence / absence of the repetitive pattern and the strength of the repetitive pattern.
  • the adjustment amount correction unit corrects the adjustment amount based on one or both of information regarding the repetitive pattern and user input.
  • the repetitive pattern presence / absence determining unit obtains a correlation value related to the shift amount while shifting the entire same viewpoint image, and determines the presence / absence of a repetitive pattern based on the correlation value.
  • the repetitive pattern presence / absence determining means obtains a correlation value related to a deviation amount by matching a target pixel of the same viewpoint image with a pixel arbitrarily deviated from the target pixel, and based on the correlation value, the presence or absence of a repetitive pattern. It is characterized by making a judgment.
  • the adjustment amount correction means may set the adjusted amount after correction to zero.
  • the adjustment amount correction means may smooth the adjustment amount after correction toward zero.
  • the adjustment amount correction means may use the adjustment amount after correction as the adjustment amount of the previous frame as the adjustment amount of the previous frame.
  • the adjustment amount correction means may be an adjustment amount predicted based on the adjustment amounts of the past several frames.
  • the adjustment amount correction means includes correction method selection means, and selects the correction means based on the repetitive pattern information.
  • the adjustment amount correction means includes correction method selection means, and selects the correction means based on data relating to the adjustment amount correction method from the external input data acquisition unit.
  • a stereoscopic image processing apparatus comprising: means for detecting one or both of information on presence / absence of a repeated pattern and information on the intensity of the repeated pattern and outputting the repeated pattern information from the stereoscopic image.
  • the repetitive pattern information is one or both of the information regarding the presence / absence of a repetitive pattern and the strength of the repetitive pattern in a one-viewpoint image of a stereoscopic image.
  • the repetitive pattern information is one or both of the information regarding the presence / absence of a repetitive pattern and the strength of the repetitive pattern in a multi-viewpoint image of a stereoscopic image.
  • the repetitive pattern information is repetitive pattern information determined by a combination of one or both of presence / absence of a repetitive pattern and information on the strength of a repetitive pattern in a three-viewpoint image among stereoscopic images.
  • a viewpoint image difference calculation step of calculating a difference between the viewpoint images of the stereoscopic image, an adjustment amount calculation step of calculating an adjustment amount based on the calculation result, and the adjustment amount An adjustment step for adjusting a characteristic difference between viewpoint images of a stereoscopic image, a repeated pattern information detection step for detecting information on a repeated pattern from the stereoscopic image, and an adjustment amount for correcting the adjustment amount based on the repeated pattern information And a correcting step.
  • a stereoscopic image processing method is provided.
  • the present invention provides a viewpoint image difference calculation step that calculates a difference between viewpoint images of a stereoscopic image, an adjustment amount calculation step that calculates an adjustment amount based on the calculation result, and a stereoscopic image based on the adjustment amount.
  • An adjustment step for adjusting a characteristic difference between viewpoint images a repeated pattern information detection step for detecting information on a repeated pattern from a stereoscopic image, an external input data acquisition step for acquiring user input, the repeated pattern information, and the An adjustment amount correcting step for correcting the adjustment amount based on external input data.
  • the information on the repetitive pattern is characterized by the presence or absence of a repetitive pattern and / or the strength of the repetitive pattern.
  • the adjustment amount correction step is characterized in that the adjustment amount is corrected based on either or both of information regarding the repetitive pattern and user input.
  • the present invention includes a stereoscopic image processing comprising: a step of detecting one or both of information regarding the presence or absence of a repeated pattern and the intensity of the repeated pattern from a stereoscopic image; and a step of outputting the detected repeated pattern information. Is the method.
  • the present invention may be a program for causing a computer to execute the stereoscopic image processing method according to any one of the above, or a computer-readable recording medium for recording the program. .
  • a stereoscopic image display device including the stereoscopic image processing device according to any one of the above and a display device that displays the processed stereoscopic image may be used.
  • the present invention by detecting a repeated pattern and correcting the amount of parallax adjustment in the parallax adjustment process, it is possible to suppress or alleviate erroneous parallax adjustment caused by erroneous estimation of the amount of parallax due to the repeated pattern. Can do.
  • FIG. 1 shows the example of 1 structure of the stereo image information processing apparatus by the 1st Embodiment of this invention. It is a flowchart figure which shows an example of the whole process of the stereo image process in this Embodiment. It is a functional block diagram which shows the detailed structural example of the repeating pattern presence determination part 1.04. It is a figure which shows the mode of the process in an image correlation calculating part. It is a flowchart figure which shows the flow of a process in an image correlation calculating part. It is a figure which shows the example of a pattern of an image correlation value. It is a figure which shows an example of a flag value. It is a figure which shows the detailed structural example of an adjustment amount correction
  • the definition of “pattern” is “a picture or shape applied as a decoration. Also, a pattern (Sanseido Ojirin) seen on the surface of an object”.
  • the “repetitive pattern” is defined as a repetition of the above pattern. Examples include checkerboard patterns, checkerboards (repetition of square patterns), stripes (repetition of stripes), polka dot patterns, and the like. However, it is not necessarily limited to the pattern that appears periodically.
  • ⁇ As a criterion for determining whether or not the pattern is a repeating pattern, it is determined that a pattern that satisfies the above definition requirements is a repeating pattern.
  • FIG. 1 is a diagram illustrating a configuration example of a stereoscopic image information processing apparatus according to the first embodiment of the present invention.
  • the image processing apparatus 1.00 in the present embodiment determines a viewpoint image difference calculation unit 1.01, an adjustment amount calculation unit 1.02, an adjustment unit 1.03, and the presence or absence of a repetitive pattern in stereoscopic image data. And a repetitive pattern presence / absence determination unit 1.04 and an adjustment amount correction unit 1.05 for correcting the adjustment amount obtained from the adjustment amount calculation unit 1.02 based on the determination result.
  • stereoscopic image data is input, and adjusted stereoscopic image data is output.
  • FIG. 2 is a flowchart showing an example of the entire stereoscopic image processing in the present embodiment.
  • the repetitive pattern presence / absence determining unit 1.04 receives stereoscopic image data and detects the presence or absence of a repetitive pattern. If it is determined in step S2.02 that there is no “repeated pattern” (No in S2.02), the adjustment amount data received from the adjustment amount calculation unit 1.02 is sent to the adjustment unit 1.03 as it is (step S2). .03). If it is determined in step S2.02 that “there is a repeated pattern” (Yes in S2.02), the adjustment amount correction unit 1.05 sets the adjustment amount data to 0, and the adjustment unit 1.03 stores the adjustment amount data. Send (step S2.04).
  • FIG. 3 is a functional block diagram illustrating a detailed configuration example of the repeated pattern presence / absence determining unit 1.04.
  • the repeated pattern presence / absence determining unit 1.04 includes an image converting unit 3.01, an image correlation calculating unit 3.02, and a determining unit 3.03.
  • the image conversion unit 3.01 receives the stereoscopic image data, converts it into an image format for processing by the subsequent image correlation calculation unit 3.02, and sends the converted image data to the image correlation calculation unit 3.02.
  • the image format to be converted includes, for example, an RGB image, a luminance image, an edge image, a feature point image, and an image obtained by performing filter processing such as smoothing or enlargement / reduction processing on the above image.
  • the image correlation calculation unit 3.02 calculates an image correlation value Corr (s) based on the converted image data received from the image conversion unit 3.01.
  • the image correlation value Corr (s) can be obtained from one viewpoint image of a stereoscopic image.
  • the target pixel L (x, y) in the L image is matched with the pixel L (x ⁇ s, y) shifted by s pixels from the target pixel (step S5.01).
  • peripheral pixels may be used for matching evaluation as shown in FIG.
  • an evaluation function used for block matching such as SAD (Sum of Absolute Difference) may be used.
  • SAD evaluation formula for the block size of (2n + 1) ⁇ (2m + 1) is as follows.
  • the evaluation value SAD (x, y; s) is an evaluation value at the pixel position (x, y) when the shift amount is s.
  • step S5.02 when SAD (x, y; s) is equal to or less than a predetermined threshold (S5.02 Yes), step S5.03 is executed. On the other hand, when SAD (x, y; s) exceeds a predetermined threshold (No in S5.02), step S5.03 is skipped.
  • step S5.03 the image correlation value Corr (s) is counted by +1.
  • step S5.04 the above processing is performed for all the pixels in the processing target region, and in step S5.05, the image correlation value Corr (s) at the shift amount s is calculated (see the lower diagram of FIG. 4). ).
  • the above processing is calculated up to the Nth pixel in the maximum search range. Further, as the shift amount increases, the area where matching can be evaluated decreases. Therefore, normalization may be performed by dividing the image correlation value Corr (s) by the number of pixels in the region to be matched (for example, screen width ⁇ s).
  • the repeated pattern can be detected by a simple process without identifying the position in the image of the repeated pattern.
  • Determination unit 3.03 determines the presence or absence of a repetitive pattern based on the image correlation value received from image correlation calculation unit 3.02.
  • FIG. 6 shows an example of the image correlation value.
  • FIG. 6A shows an example of image correlation when there is no repeating pattern
  • FIG. 6B shows an example of image correlation when there is a repeating pattern.
  • characteristic peaks tend to occur periodically.
  • the determination unit 3.03 determines whether or not there is a repetitive pattern by capturing (detecting) this periodic peak.
  • This periodic peak is detected by, for example, threshold processing.
  • a threshold value that can determine the presence or absence of a peak is set.
  • a threshold setting method a fixed value or a representative value such as an average value, a maximum value, or a minimum value of count numbers may be obtained, and the threshold value may be dynamically set based on a combination thereof. If there is a peak exceeding the threshold value, the determination unit 3.03 sends a repetitive pattern determination flag to the adjustment amount correction unit 1.05 as “repetitive pattern present”. On the other hand, when the peak does not exist, the determination unit 3.03 sends a repetitive pattern determination flag to the adjustment amount correction unit 1.05 as “no repetitive pattern”.
  • the adjustment amount correction unit 1.05 includes an adjustment amount smoothing unit 8.01, a previous adjustment value holding buffer 8.02, and a correction unit 8.03.
  • the adjustment amount smoothing unit 8.01 smoothes the adjustment amount data received from the adjustment amount calculation unit 1.02. Smoothing is performed, for example, by an IIR (Infinite Impulse Response) filter. An example of smoothing by the IIR filter is shown below.
  • IIR Infinite Impulse Response
  • AD_s is the smoothed adjustment amount
  • AD_cur is the adjustment amount acquired from the adjustment amount calculation unit 1.02 in the current frame
  • AD_pre is the adjustment amount after smoothing in the previous frame (pre-adjustment value holding buffer 8.02). Is the smoothing parameter.
  • the adjustment amount smoothing unit 8.01 sends the smoothed adjustment amount data to the correction unit 8.03.
  • the correction unit 8.03 receives the smoothed adjustment amount data from the adjustment amount smoothing unit 8.01 and the repeated pattern determination flag from the repeated pattern presence / absence determination unit 1.04, and corrects the adjustment amount data.
  • AD AD_s
  • the adjustment unit 1.03 adjusts and outputs the parallax of the stereoscopic image based on the adjustment amount data received from the adjustment amount correction unit 1.05.
  • step S10.01 the matching candidate storage buffer that stores the low matching evaluation cost shown in FIG. 9 is initialized.
  • the matching candidate storage buffer holds a matching evaluation value (calculated by equation (3) described later), a ranking number of the matching evaluation value, and three pieces of information on the matching position.
  • the matching method is the same as in the first embodiment, and for example, an evaluation function used for block matching such as SAD may be used.
  • the evaluation value SAD (x, y; O + s) is an evaluation value at the search position s.
  • step S10.03 when SAD (x, y; O + s) is equal to or smaller than a predetermined threshold (S10.03 Yes), step S10.04 is executed. On the other hand, when SAD (x, y; O + s) exceeds a predetermined threshold (S10.03 No), step S10.04 is skipped.
  • step S10.04 comparison / update with the value stored in the matching candidate storage buffer is performed. A comparison is made with the matching evaluation value of the matching candidate storage buffer. If the evaluation value obtained in step S10.02 is smaller, the buffer with the lower rank number is updated, and the rank numbers are rearranged.
  • step S10.05 the end of the search range s is determined.
  • step S10.06 is executed.
  • step S10.06 the image correlation value Corr (O + s) is counted by +1 based on the matching position information stored in the matching candidate storage buffer.
  • Corr (0) is counted by +1.
  • the image correlation value Corr (O + s) at the search position s is calculated by performing the above processing on all the pixels in the processing target area.
  • the adjustment amount correction unit 1.05 has a configuration as shown in FIG.
  • the adjustment amount smoothing unit 8.01 smoothes the adjustment amount data received from the adjustment amount calculation unit 1.02. Smoothing is performed, for example, by an IIR filter (equation (2)) as in the first embodiment.
  • the correction unit 8.03 receives the adjustment amount data received from the adjustment amount calculation unit 1.02, the post-smoothing adjustment amount from the adjustment amount smoothing unit 8.01, and the repeated pattern determination from the repeated pattern presence / absence determination unit 1.04. The adjustment amount is corrected based on the flag.
  • the repeated pattern determination flag is “no repeated pattern”
  • the repetitive pattern determination flag is “with repetitive pattern” correction is performed according to equation (4).
  • the adjustment amount smoothing unit 8.01 sends the corrected adjustment amount data AD obtained by the above correction processing to the adjustment unit 1.03, and updates the value of the pre-adjustment value holding buffer 8.02.
  • the adjustment amount does not change discontinuously to 0, but can be changed continuously toward the adjustment amount 0.
  • the adjustment amount correction unit 1.05 has a configuration as shown in FIG.
  • the adjustment amount smoothing unit 8.01 receives the adjustment amount data from the adjustment amount calculation unit 1.02, and smoothes the adjustment amount. Smoothing is performed by, for example, smoothing using an IIR filter (formula (2)) as in the first embodiment.
  • the correction unit 8.03 reads the adjustment value of the previous frame from the previous adjustment value holding buffer 8.02, and corrects it by holding the previous value. (Equation (5)).
  • AD_pre is an adjustment amount after smoothing in the previous frame (data is received from the previous adjustment value holding buffer 8.02).
  • the correction unit 8.03 sends the post-correction adjustment amount data obtained by the above smoothing process to the adjustment unit 1.03, and updates the value of the pre-adjustment value holding buffer 8.02.
  • the adjustment amount can be maintained even when a repeated pattern is detected.
  • the adjustment amount correction unit 1.05 has a configuration as shown in FIG.
  • the adjustment amount smoothing unit 8.01 receives the adjustment amount data from the adjustment amount calculation unit 1.02, and smoothes the adjustment amount. Smoothing is performed, for example, by an IIR filter (equation (2)) as in the first embodiment.
  • the repeated pattern determination flag is “with repeated pattern”
  • correction is performed by, for example, linear prediction. In this correction method, the pre-adjustment value is held using a size N queue (buffer array), and the post-correction adjustment values of the past N frames are held.
  • AD_pre_i is an adjustment amount after correction in the i-th past frame (data is received from the previous adjustment value holding queue 12.01).
  • ⁇ _i is a smoothing parameter for the i-th past frame.
  • the correction unit 8.03 sends the post-correction adjustment amount data obtained by the above smoothing process to the adjustment unit 1.03, and updates the value of the pre-adjustment value holding queue 12.01.
  • the image processing apparatus 1.00 in this selection method includes a repeated pattern information detection unit 13.01 instead of the repeated pattern presence / absence determination unit 1.04.
  • the repeated pattern information detection unit 13.01 includes an image conversion unit 3.01, an image correlation calculation unit 3.02, and a repeated pattern information determination unit 14.01.
  • the operations of the image conversion unit 3.01 and the image correlation calculation unit 3.02 are the same as those in the first embodiment.
  • the repeated pattern information determination unit 14.01 detects the presence or absence of a repeated pattern based on the image correlation value received from the image correlation calculation unit 3.02 as in the determination unit 3.03 in FIG. Further, the repeated pattern information determination unit 14.01 determines the strength of the repeated pattern and outputs the result.
  • the intensity of the repetitive pattern changes to the image correlation value when there is a repetitive pattern in the stereoscopic image, such as the peak period of the image correlation value and the count number (the sharpness of the peak). It is calculated based on the value that can be observed by the occurrence of.
  • the repetitive pattern strength may be a quantitative value as it is, but “None (0)”, “Weak (1)”, “Medium (2)”, “Strong (3)”, etc. Thus, the value may be rounded in several steps.
  • the adjustment amount correction unit 1.05 in the present embodiment includes an adjustment amount smoothing unit 8.01, a correction unit 8.02, a previous adjustment value holding queue 12.01, and a correction method selection unit 15. .01.
  • the correction method selection unit 15.01 receives the repeated pattern determination flag and the repeated pattern intensity data from the repeated pattern information detection unit 13.01, determines a correction method based on these data, and corrects the correction method information to the correction unit 8. Send to .02.
  • the correction unit 8.02 corrects the adjustment amount by the correction methods described in the first to fifth embodiments based on the correction method information received from the correction method selection unit.
  • FIG. 16 is a diagram illustrating the correspondence between the repeated pattern intensity and the correction method.
  • the correction method selection unit 15.01 changes the values of the smoothing parameters ⁇ and ⁇ _i in the adjustment amount smoothing unit 8.01 and the correction unit 8.02 based on the repeated pattern strength data, thereby repeating the repeated pattern strength. It is also possible to use a correction method that adaptively changes the adjustment amount according to the above.
  • the image processing apparatus 1.00 has an external input data acquisition unit 17.01 in addition to the configuration of FIG.
  • the external input data is, for example, input information (correction method selection data, smoothing parameters, etc.) from the viewer through a user interface (remote control, keyboard, etc.).
  • the external input data acquisition unit 17.01 sends data related to the adjustment amount correction method (correction method selection data, smoothing parameters, etc.) of the external input data to the correction method selection unit 15.01.
  • the correction method selection unit 15.01 includes the repeated pattern determination flag and the repeated pattern intensity data from the repeated pattern information detection unit 13.01. Data relating to the adjustment amount correction method from the external input data acquisition unit 17.01 is received, a correction method is determined based on these data, and correction method information is sent to the correction unit 8.02.
  • the input correction method selection data can select not only the correction method described in the first to fifth embodiments, but also the method described in the sixth embodiment as the “automatic mode”. it can.
  • a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed.
  • the “computer system” here includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” means a storage device such as a flexible disk, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case is also used to hold a program for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system.
  • the present invention can also be used for stereoscopic display of a television receiver, a form phone, a smartphone, and the like.
  • the present invention can be used for a stereoscopic image generating apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

立体画像の各視点画像間の相違を演算する視点画像差演算部と、前記演算結果を基に調整量を演算する調整量演算部と、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部とを備えることを特徴とした立体画像処理装置。

Description

立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体
　本発明は、立体画像情報処理装置、立体画像情報処理方法、立体画像情報処理方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体に関する。
　我々は空間に配置された物体の奥行きを知覚する際、左右眼に投影される像の位置のずれ、すなわち両眼視差をひとつの手がかりとして利用している。
　この両眼視差の仕組みを利用したシステムの例として、立体画像表示システムがあげられる。立体画像表示システムにおいては、左右それぞれに対応した画像をそれぞれの眼に（のみ）提示することにより立体視を実現する（奥行きを表現する）。
　このとき、両眼視差とは、立体画像の左右画像における各々の対応点のズレのことである。この対応点が、眼球の外転方向にずれるほど、表示面よりも後方に立体画像が表示されることとなり、眼球の内転方向にずれるほど、表示面よりも前方に立体画像が表示されることとなる。
　この両眼視差が非常に大きい場合には、視聴者に対して、視覚的に大きな負担を強いることとなる。たとえば、外転方向へのズレの場合、無限遠を見ているときの視差、すなわち瞳孔間距離、を超えた視差が提示された場合、現実には起こりにくい状態となり、立体視不能もしくは外斜視に近い状態となる。同様に、内転方向へのズレの場合、極度な寄り目となり、立体視不能もしくは内斜視に近い状態となる。さらに、視差が大きくなるほど輻輳（右眼の光軸と左眼の光軸の交差）距離と眼の焦点調節距離との乖離が大きくなり、不自然な立体映像となると言われている。
　このような状態は、例えば、立体画像を撮影した時に想定していたディスプレイサイズよりもサイズが大きなディスプレイで表示した場合や瞳孔間距離よりも基線長の長いステレオカメラで撮影を行った場合などに生じうる。
　そのため、撮影環境や表示環境、コンテンツなどに応じて視差を調整する機能が必要である。また、コンテンツごと、シーンごとに最適な調整量が異なる等の理由から、その都度調整量を視聴者が手動で指定するのは現実的ではないため、自動で調整できることが望ましい。先行技術の一例として、特許文献１乃至特許文献２が開示されている。
　特許文献１においては、同一の立体画像であっても、画面サイズ（表示サイズ）、解像度などが変わることにより、表示される画像の視差が変化するため、立体視しにくく疲れやすい画像となるという課題を解決するための手段についての記載がある。特許文献１の発明によれば、まず、画像表示部（ウィンドウ）のサイズと左右画像の視差を計算し、その最大値または最小値を計算する。前記視差と観察者の視距離と解像度から両眼視差の大きさを計算し、それが両眼融合範囲内に入るように左右画像を水平に平行移動することにより、同一の立体画像であっても、画面サイズに応じて自動的に両眼視差を調整し、観察し易く、より自然な立体視を可能とする。
　特許文献２においては、クロストークが発生している場合、左右画像の一致していない画素において、２重像が視認されることとなり、立体画像として知覚することができないだけでなく、頭痛等生じる可能性があるという課題を解決するための手段についての記載がある。特許文献３の発明によれば、所定の調整量によって視差量を変更した左右画像間の輝度値の差分を演算し、前記演算量が最小となる調整量から最適調整量を決定し、それに基づき左右画像の視差量を調整することにより、クロストークをより低減した立体画像を表示させる。
特許第２８４８２９１号　立体ＴＶ装置 特開２０１０－２００２１３　画像処理装置、画像処理方法、プログラム、および立体画像表示装置
　上記の各特許文献の方法によれば、立体画像の視差量を調整することができる。しかしながら、立体画像中に繰り返し模様（例えば、チェッカーボードや千鳥格子などのように、柄が繰り返された模様）が写りこんだ場合に、同じ模様の異なる位置でマッチングが取れてしまう（差分値が小さくなる）ことにより視差量の推定を誤ることがある。
　左右画像の視差量の推定を誤ると適切に視差を調整できず、立体画像の品質を劣化させてしまう可能性がある。
　本発明は、以上の課題に鑑みてなされたものであり、立体画像中の繰り返し模様を検出し、視差量の調整量を適切に補正することを目的とする。
　本発明の一観点によれば、立体画像の各視点画像間の相違を演算する視点画像差演算部と、前記演算結果を基に調整量を演算する調整量演算部と、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部と、を備えることを特徴とした立体画像処理装置が提供される。
　さらに、ユーザの入力を取得する外部入力データ取得部を有し、前記調整量補正部は、前記繰り返し模様情報と前記外部入力データとに基づき、前記調整量を補正するようにしても良い。
　前記繰り返し模様に関する情報は、繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方を含むことを特徴とする。
　前記調整量補正部は、前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする。
　前記繰り返し模様有無判断部が、同一視点画像全体をずらしながら、ずらし量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする。
　前記繰り返し模様有無判断手段が、同一視点画像の注目画素と注目画素から任意にずれた画素とのマッチングを行うことで、ずれ量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする。
　前記調整量補正手段が、補正後の調整量を０にするようにしても良い。
　前記調整量補正手段が、補正後の調整量を０に向けて平滑化するようにしても良い。
　前記調整量補正手段が、補正後の調整量を、前のフレームの調整量を現フレームの調整量とするようにしても良い。
　前記調整量補正手段が、過去数フレームの調整量に基づき予測された調整量としても良い。
　前記調整量補正手段は、補正方法選択手段を有し、前記繰り返し模様情報に基づいて補正手段を選択することを特徴とする。
　前記調整量補正手段は、補正方法選択手段を有し、前記外部入力データ取得部からの調整量補正方法に係わるデータに基づいて補正手段を選択することを特徴とする。
　また、本発明は、立体画像処理装置において、立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出し、繰り返し模様情報を出力する手段を備えることを特徴とする立体画像処理装置である。
　前記繰り返し模様情報が、立体画像のうち１視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることが好ましい。
　前記繰り返し模様情報が、立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることが好ましい。
　前記繰り返し模様情報が、立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方による組み合わせによって判断された繰り返し模様情報であることを特徴とする。
　本発明の他の観点によれば、立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、前記演算結果を基に調整量を演算する調整量演算ステップと、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法が提供される。
　また、本発明は、立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、前記演算結果を基に調整量を演算する調整量演算ステップと、前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、ユーザの入力を取得する外部入力データ取得ステップと、前記繰り返し模様情報および前記外部入力データに基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法である。
　前記繰り返し模様に関する情報は、繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方であることを特徴とする。
　前記調整量補正ステップは、前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする。
　本発明は、立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出ステップと、検出された前記繰り返し模様情報を出力するステップとを備えることを特徴とする立体画像処理方法である。
　また、本発明は、コンピュータに、上記のいずれか１項に記載の立体画像処理方法を実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
　また、上記のいずれか１に記載の立体画像処理装置と、処理された立体画像を表示する表示装置とを有することを特徴とする立体画像表示装置であっても良い。
　本明細書は本願の優先権の基礎である日本国特許出願２０１１－１９４３２９号の明細書および／または図面に記載される内容を包含する。
　本発明によれば、繰り返し模様を検出し、視差調整処理における視差調整量を補正することにより、繰り返し模様による視差量の誤推定に起因する誤った視差調整がなされることを抑制・緩和することができる。
本発明の第１の実施の形態による立体画像情報処理装置の一構成例を示す図である。 本実施の形態における立体画像処理の全体の処理の一例を示すフローチャート図である。 繰り返し模様有無判定部１．０４の詳細な構成例を示す機能ブロック図である。 画像相関演算部における処理の様子を示す図である。 画像相関演算部における処理の流れを示すフローチャート図である。 画像相関値のパターン例を示す図である。 フラグ値の一例を示す図である。 調整量補正部の詳細な構成例を示す図である。 本発明の第２の実施の形態の画像相関部の処理の様子を示す図である。 本発明の第２の実施の形態の画像相関部の処理の流れを示すフローチャート図である。 本発明の第３の実施の形態による調整量補正部の詳細な構成例を示す図である。 本発明の第５の実施の形態による調整量補正部の詳細な構成例を示す図である。 本発明の第６の実施の形態による立体画像情報処理装置の一構成例を示す図である。 本発明の第６の実施の形態による繰り返し模様情報検出部の一構成例を示す図である。 本明の第６の実施の形態における調整量補正部の一構成例を示す図である。 本明の第６の実施の形態における繰り返し模様強度と補正方法との対応を示す図である。 本発明の第７の実施の形態による立体画像情報処理装置の一構成例を示す図である。 本発明の第７の実施の形態による調整量補正部の一構成例を示す図である。
　本明細書において、「繰り返し模様」のうち、「模様」の定義として、「装飾として施す絵や形。また、ものの表面にみられる図柄（三省堂　大辞林）」である。そして、「繰り返し模様」は、上記の模様が繰り返したものと定義する。その一例として、市松模様、チェッカーボード（四角模様が繰り返す）、ストライプ（縞が繰り返す）、水玉模様などが挙げられる。但し、必ずしも周期的にパターンが現れるものに限定されない。
　繰り返し模様であるか否かの、判断基準としては、上記の定義の要件を満たすものは、繰り返し模様であると判断する。
　以下、本発明に係わる実施の形態を、図面を参照して説明する。
（第１の実施の形態）
　図１は、本発明の第１の実施の形態による立体画像情報処理装置の一構成例を示す図である。本実施の形態における画像処理装置１．００は、視点画像差演算部１．０１と、調整量演算部１．０２と、調整部１．０３と、立体画像データ中の繰り返し模様の有無を判断する繰り返し模様有無判断部１．０４と、その判断結果を基に調整量演算部１．０２から得られた調整量を補正する調整量補正部１．０５と、を有して構成される。この画像処理装置１．００において、立体画像データを入力とし、調整後の立体画像データが出力される。
　図２は、本実施の形態における立体画像処理の全体の処理の一例を示すフローチャート図である。ステップＳ２．０１において、繰り返し模様有無判断部１．０４は、立体画像データを受け取り、繰り返し模様の有無を検出する。ステップＳ２．０２において、「繰り返し模様なし」と判定された場合は（Ｓ２．０２でＮｏ）、調整量演算部１．０２から受け取った調整量データをそのまま調整部１．０３に送る（ステップＳ２．０３）。ステップＳ２．０２において、「繰り返し模様あり」と判定された場合は（Ｓ２．０２でＹｅｓ）、調整量補正部１．０５は調整量データを０として、調整部１．０３に調整量データを送る（ステップＳ２．０４）。
　次に、繰り返し模様有無判断部１．０４における具体的な動作について図３を用いて説明する。図３は、繰り返し模様有無判断部１．０４の詳細な構成例を示す機能ブロック図である。図３に示すように、繰り返し模様有無判断部１．０４は、画像変換部３．０１と、画像相関演算部３．０２と、判定部３．０３と、を有して構成されている。
　画像変換部３．０１は、立体画像データを受け取り、後段の画像相関演算部３．０２で処理するための画像形式に変換し、画像相関演算部３．０２に変換後画像データを送る。変換する画像形式は、例えば、ＲＧＢ画像、輝度画像、エッジ画像、特徴点画像および、以上の画像に対し、平滑化などのフィルタ処理や拡大・縮小処理を施したものを含む。
　画像相関演算部３．０２は、画像変換部３．０１から受け取った変換後画像データを基に、画像相関値Ｃｏｒｒ（ｓ）を計算する。画像相関値Ｃｏｒｒ（ｓ）は、立体画像の１つ視点画像から求めることができる。
　図４および図５にその処理の一例を示す。まずＬ画像中の注目画素Ｌ（ｘ，ｙ）と注目画素とｓ画素ずれた画素Ｌ（ｘ－ｓ，ｙ）とのマッチングを行う（ステップＳ５．０１）。このとき、図４に示すように、周辺画素をマッチング評価に用いても良い。マッチング評価は、例えば、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）などのブロックマッチングに用いられる評価関数を用いてよい。（２ｎ＋１）×（２ｍ＋１）のブロックサイズにおけるＳＡＤの評価式は、次のようになる。
Figure JPOXMLDOC01-appb-M000001
　ここで、評価値ＳＡＤ（ｘ，ｙ；ｓ）は、ずらし量ｓのときの画素位置（ｘ，ｙ）における評価値である。ステップＳ５．０２において、ＳＡＤ（ｘ，ｙ；ｓ）が所定の閾値以下である場合（Ｓ５．０２Ｙｅｓ），ステップＳ５．０３が実行される。一方、ＳＡＤ（ｘ，ｙ；ｓ）が所定の閾値を越える場合（Ｓ５．０２Ｎｏ）、ステップＳ５．０３をスキップする。ステップＳ５．０３において、画像相関値Ｃｏｒｒ（ｓ）は+１カウントされる。ステップＳ５．０４において、以上の処理を処理対象領域内の全ての画素に対して行い、ステップＳ５．０５において、ずらし量ｓにおける画像相関値Ｃｏｒｒ（ｓ）が算出される（図４の下図参照）。
　以上の処理を、最大探索範囲のＮ画素目まで算出する。また、ずらし量が大きくなるにつれて、マッチングの評価が可能な領域が減る。そこで、画像相関値Ｃｏｒｒ（ｓ）をマッチングの対象となる領域の画素数（例えば、画面幅－ｓ）で割ることにより正規化しても良い。
　上記の説明では、Ｌ画像とＬ画像でのマッチングの例を示したが、Ｒ画像とＲ画像でのマッチングでも良いし、Ｌ画像とＬ画像、Ｒ画像とＲ画像の両方でマッチングを行い、それぞれの画像相関値Ｃｏｒｒ＿Ｌ（ｓ）およびＣｏｒｒ＿Ｒ（ｓ）を判定部３．０３に送っても良い。
　以上の方法によれば、繰り返し模様の画像中の位置を同定せずに、簡易な処理によって繰り返し模様を検出することができる。
　判断部３．０３は、画像相関演算部３．０２から受け取った画像相関値を基に繰り返し模様の有無を判断する。図６に画像相関値の例を示す。図６（ａ）は、繰り返し模様がない場合の画像相関の例であり、図６（ｂ）は繰り返し模様がある場合の画像相関の一例であり、繰り返し模様がない場合に比べ、繰り返し模様がある場合には、周期的に特徴的なピークが生じやすい。判断部３．０３は、この周期的なピークを捉える（検出する）ことにより、繰り返し模様の有無の判断を行う。
　この周期的なピークは、例えば、閾値処理にすることにより検出する。例えば、ピークの有無を判別できるような閾値を設定する。閾値の設定方法は、固定値もしくは、カウント数の平均値や最大値、最小値などの代表値を求め、それらの組み合わせから閾値を動的に設定するようにしても良い。もし閾値を越えるピークが存在した場合、判断部３．０３は、「繰り返し模様あり」として、繰り返し模様判定フラグを調整量補正部１．０５に送る。一方、ピークが存在しなかった場合、判断部３．０３は、「繰り返し模様なし」として、繰り返し模様判定フラグを調整量補正部１．０５に送る。
　ここで、画像相関演算部３．０２から、Ｌ画像の繰り返し模様検出の相関値Ｃｏｒｒ＿Ｌ（ｓ）とＲ画像の繰り返し模様検出の相関値Ｃｏｒｒ＿Ｒ（ｓ）の両方が与えられた場合には、図７の表に示すように、それぞれの繰り返し模様の有無の判定を行い、それぞれの判定結果を基に、繰り返し模様判定フラグを「繰り返し模様あり」もしくは「繰り返し模様なし」に設定するようにしてもよい。図７においては、フラグ値１乃至３を「繰り返し模様あり」、フラグ値０を「繰り返し模様なし」としているが、フラグ値３のみを「繰り返し模様あり」、フラグ値０乃至２を「繰り返し模様なし」としてもよく、組み合わせに限定はされない。
　次に、調整量補正部１．０５における具体的な動作について図８を用いて説明する。図８に示すように、調整量補正部１．０５は、調整量平滑化部８．０１と、前調整値保持バッファ８．０２と、補正部８．０３と、を有している。
　調整量平滑化部８．０１は、調整量演算部１．０２から受け取った調整量データを平滑化する。平滑化は例えばＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタによる平滑化を行う。ＩＩＲフィルタによる平滑化の例を以下に示す。
Figure JPOXMLDOC01-appb-M000002
　ここで、ＡＤ＿ｓは平滑化された調整量、ＡＤ＿ｃｕｒは現フレームにおいて調整量演算部１．０２から取得した調整量、ＡＤ＿ｐｒｅは前フレームにおける平滑化後の調整量（前調整値保持バッファ８．０２からデータを受け取る）、αは平滑化パラメータである。
　平滑化処理を行うことにより、調整量演算部１．０１で算出された調整量の画像フレーム間の揺らぎを緩和することができる。
　調整量平滑化部８．０１は、平滑化した調整量データを補正部８．０３に送る。
　補正部８．０３は、調整量平滑化部８．０１からの平滑化した調整量データと繰り返し模様有無判断部１．０４からの繰り返し模様判定フラグを受け取り、調整量データを補正する。
　補正部８．０３は、繰り返し模様判断フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データＡＤ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様有無判定フラグが「繰り返し模様あり」であった場合、補正後調整量をＡＤ＝０として、調整量データを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
　調整部１．０３は、調整量補正部１．０５から受け取った調整量データに基づき、立体画像の視差を調整し、出力する。
　以上の構成により、繰り返し模様を検出することができ、視差調整処理における視差の調整量を補正することにより、繰り返し模様に起因する誤った視差調整がなされることを抑制・緩和することができる。
（第２の実施の形態）
　次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、画像相関演算部３．０２で繰り返し模様を検出する別の例を示す。
　第２の実施の形態における画像相関演算部３．０２の動作を、図９および図１０を用いて説明する。ステップＳ１０．０１において、図９に示すマッチング評価コストの小さいものを格納するマッチング候補格納バッファの初期化を行う。マッチング候補格納バッファは、マッチング評価値（後述の式（３）で算出される）およびマッチング評価値の順位番号、さらにマッチング位置の３つの情報を保持する。初期化は、マッチング評価値（ＳＡＤ）＝無限（とりうる最大値）とし、マッチング位置（Ｏ＋ｓ）＝０として格納される。ステップＳ１０．０２において、Ｌ画像中の注目画素Ｌ（ｘ，ｙ）と注目画素とＯ（オフセット）＋ｓ（探索位置、ｓ＝０，・・・，Ｎ）画素ずれた画素Ｌ（ｘ＋Ｏ＋ｓ，ｙ）とのマッチングを行う。マッチング手法に関しては、実施の形態１と同様であり、例えば、ＳＡＤなどのブロックマッチングに用いられる評価関数を用いてよい。
Figure JPOXMLDOC01-appb-M000003
　ここで、評価値ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）は、探索位置ｓにおける評価値である。ステップＳ１０．０３において、ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）が所定の閾値以下である場合（Ｓ１０．０３Ｙｅｓ）、ステップＳ１０．０４が実行される。一方、ＳＡＤ（ｘ，ｙ；Ｏ＋ｓ）が所定の閾値を越えた場合（Ｓ１０．０３Ｎｏ）、ステップＳ１０．０４はスキップされる。ステップＳ１０．０４において、マッチング候補格納バッファに格納された値との比較・更新が行われる。マッチング候補格納バッファのマッチング評価値と比較を行い、ステップＳ１０．０２で求めた評価値の方が小さい値であった場合に、順位番号の低いバッファを更新し、順位番号の並べ替えを行う。ステップＳ１０．０５において、探索範囲ｓの終了判定を行い、探索が終了したらステップＳ１０．０６を実行する。ステップＳ１０．０６において、マッチング候補格納バッファに格納されているマッチング位置情報に基づき、画像相関値Ｃｏｒｒ（Ｏ＋ｓ）は＋１カウントされる。ここで、マッチングする画素がマッチング制限数よりも少なかった場合（繰り返し模様がなかった場合）、Ｃｏｒｒ（０）が＋１カウントされる。以上の処理を処理対象領域内の全ての画素に対して行うことで、探索位置ｓにおける画像相関値Ｃｏｒｒ（Ｏ＋ｓ）が算出される。
　以上の方法によれば、繰り返し模様の画像中の位置を同定せずに、簡易な処理によって繰り返し模様を検出することができ、更に、マッチングしうる画素数を制限することで、ピーク位置以外でのマッチングの可能性を減らすことにより、画像相関値Ｃｏｒｒ（ｓ）に対し、図９に示すような先鋭なピークを得ることができる。
（第３の実施の形態）
　第３の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、調整量演算部１．０２からの調整値を０とし平滑化処理する方法について説明する。
　本実施の形態において、調整量補正部１．０５は、図１１のような構成となる。
　調整量平滑化部８．０１は、調整量演算部１．０２から受け取った調整量データを平滑化する。平滑化は例えば、実施の形態１と同様にＩＩＲフィルタによる平滑化（（２）式）を行う。補正部８．０３は、調整量演算部１．０２から受け取った調整量データと調整量平滑化部８．０１からの平滑化後調整量と繰り返し模様有無判断部１．０４からの繰り返し模様判定フラグを基に、調整量の補正を行う。繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、（４）式によって補正を行う。
Figure JPOXMLDOC01-appb-M000004
　これは、すなわち（２）式におけるＡＤ＿ｃｕｒの項を相殺し、調整量演算部１．０２からの調整値を０とし平滑化処理した値と同値となる。調整量平滑化部８．０１は以上の補正処理によって得られた補正後調整量データＡＤを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
　以上の構成にすることによって、調整量が０に不連続に変化するのではなく、調整量０に向かって連続的に変化させることができる。
（第４の実施の形態）
　本発明の第４の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、前フレームにおける調整値を使用する（前フレーム値ホールド）方法について説明する。
　本実施の形態においても、調整量補正部１．０５は、図１１のような構成となる。
　調整量平滑化部８．０１は、調整量演算部１．０２からの調整量データを受け取り、調整量の平滑化を行う。平滑化は例えば、実施の形態１と同様にＩＩＲフィルタによる平滑化（（２）式））を行う。補正部８．０３は、繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、補正部８．０３は前調整値保持バッファ８．０２から、前フレームの調整値を読み込み、前値をホールドすることで補正を行う（（５）式）。
Figure JPOXMLDOC01-appb-M000005
　ここで、ＡＤ＿ｐｒｅは、前フレームにおける平滑化後の調整量（前調整値保持バッファ８．０２からデータを受け取る）である。補正部８．０３は以上の平滑化処理によって得られた補正後調整量データを調整部１．０３に送り、前調整値保持バッファ８．０２の値を更新する。
　以上の構成にすることによって、繰り返し模様が検出された場合においても調整量を保持することができる。
（第５の実施の形態）
　本発明の第５の実施の形態では、調整量補正部１．０５における調整量の補正方法の別の例として、過去数フレームの値から予測した調整値にする方法について説明する。
　本実施の形態において、調整量補正部１．０５は図１２のような構成となる。
　調整量平滑化部８．０１は、調整量演算部１．０２からの調整量データを受け取り、調整量の平滑化を行う。平滑化は例えば、実施の形態１と同様にＩＩＲフィルタによる平滑化（（２）式）を行う。補正部８．０３は、繰り返し模様判定フラグが「繰り返し模様なし」であった場合、調整量平滑化部８．０１から受け取った平滑化した調整量データＡＤ＿ｓを、補正後調整量データ（ＡＤ＝ＡＤ＿ｓ）として調整部１．０３に送り、前調整値保持キュー１２．０１の値を更新（プッシュ）する。一方、繰り返し模様判定フラグが「繰り返し模様あり」であった場合、例えば線形予測により、補正を行う。本補正方法においては、前調整値の保持はサイズＮのキュー（バッファアレイ）を用い、過去Ｎフレームの補正後調整値を保持する。
Figure JPOXMLDOC01-appb-M000006
　ここで、ＡＤ＿ｐｒｅ＿ｉはｉ番目の過去フレームにおける補正後調整量（前調整値保持キュー１２．０１からデータを受け取る）である。α＿ｉは、ｉ番目の過去フレームに対する平滑化パラメータである。補正部８．０３は、以上の平滑化処理によって得られた補正後調整量データを調整部１．０３に送り、前調整値保持キュー１２．０１の値を更新する。キューのサイズＮ＝１であった場合には、本補正方法は、第３の実施の形態の補正方法と同等の処理となる。
（第６の実施の形態）
　上記第１から第５までの実施の形態において、いくつかの調整量の補正方法について示した。第６の実施の形態においては、これらの調整量の補正方法の選択方法について説明する。
　調整量の選択方法について、例えば、繰り返し模様の強度を利用する方法が考えられる。本選択方法における画像処理装置１．００は、図１３に示すように、繰り返し模様有無判断部１．０４に代わり、繰り返し模様情報検出部１３．０１を有する。繰り返し模様情報検出部１３．０１は、図１４に示すように、画像変換部３．０１と画像相関演算部３．０２と繰り返し模様情報判定部１４．０１からなる。
　画像変換部３．０１および画像相関演算部３．０２の動作は、第１の実施の形態と同様である。繰り返し模様情報判定部１４．０１は、画像相関演算部３．０２から受け取った画像相関値を基に、図３における判定部３．０３と同様に繰り返し模様の有無を検出する。更に、繰り返し模様情報判定部１４．０１は、繰り返し模様の強度を判定し、その結果を出力する。ここで、繰り返し模様の強度は、例えば、画像相関値のピークの周期やそのカウント数（ピークの先鋭具合）などのように、立体画像中に繰り返し模様があった場合に、画像相関値に変化が生じることにより観測できる値を基に算出される。また、繰り返し模様の有無の検出処理から、閾値を越えたピークの数やそのずらし量のデータを受け取り、それらの情報を基に強度データを算出するようにしても良いし、例えば、各視点画像の繰り返し模様の有無の判定において、「繰り返し模様あり」であった視点画像の数を繰り返し模様強度として利用しても良い。繰り返し模様強度は、前述のように定量的な値をそのまま用いても良いが、「なし（０）」、「弱（１）」、「中（２）」、「強（３）」などのように数段階に値を丸めても良い。
　本実施の形態における調整量補正部１．０５は、図１５に示すように、調整量平滑化部８．０１と補正部８．０２と前調整値保持キュー１２．０１と補正方法選択部１５．０１と、を有している。補正方法選択部１５．０１は、繰り返し模様情報検出部１３．０１から、繰り返し模様判定フラグおよび繰り返し模様強度データを受け取り、これらのデータに基づき、補正方法を決定し、補正方法情報を補正部８．０２に送る。補正部８．０２は、補正方法選択部から受け取った補正方法情報を基に、第１～第５までの実施の形態に記載の補正方法によって、調整量を補正する。補正方法選択部１５．０１における補正方法の決定方法は、例えば、繰り返し強度データと補正方法のテーブルを用意しておき、その対応関係に基づいて、補正方法を決定するようにする（図１６参照）。図１６は、繰り返し模様強度と補正方法との対応を示す図であり、例えば、繰り返し模様強度が強い場合には、０に向けて平滑化する。また、補正方法選択部１５．０１は、繰り返し模様強度データに基づき、調整量平滑化部８．０１および補正部８．０２における平滑化パラメータαおよびα＿ｉの値を変更させることによって、繰り返し模様強度に応じて調整量を適応的に変化させる補正方法としても良い。
　以上の構成によって、繰り返し模様強度に応じて、自動的に補正方法が選択される。
（第７の実施の形態）
　本発明の第７の実施の形態においては、これらの調整量の補正方法の選択方法の別の例として、外部入力データに基づく選択方法について説明する。
　図１７に示すように、本実施の形態における画像処理装置１．００は、図１３の構成に加え、外部入力データ取得部１７．０１を有する。ここで外部入力データは、例えば、ユーザインタフェース（リモコン、キーボードなど）による視聴者からの入力情報（補正方法選択データ、平滑化パラメータなど）である。外部入力データ取得部１７．０１は、外部入力データのうち、調整量補正方法に係わるデータ（補正方法選択データ、平滑化パラメータなど）を補正方法選択部１５．０１に送る。
　図１８に示すように、本実施の形態における調整量補正部１．０５において、補正方法選択部１５．０１は、繰り返し模様情報検出部１３．０１からの繰り返し模様判定フラグおよび繰り返し模様強度データと外部入力データ取得部１７．０１からの調整量補正方法に係わるデータを受け取り、これらのデータに基づき、補正方法を決定し、補正方法情報を補正部８．０２に送る。ここで、入力される補正方法選択データは、実施の形態１乃至実施の形態５に記載の補正方法を選択できるだけでなく、「自動モード」として実施の形態６に記載の方法を選択することもできる。
　以上の構成によって、ユーザの好みに応じた補正方法を選択することができる。立体画像中の繰り返し模様を検出し、視差量の調整量を適切に補正することが可能になる。
　また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　本発明は、テレビジョン受信装置、形態電話、スマートフォンなどの立体表示にも利用できる。
　本発明は、立体画像生成装置に利用可能である。
１．００　画像処理装置
１．０１　視点画像差演算部
１．０２　調整量演算部
１．０３　調整部
１．０４　繰り返し模様有無判断部
１．０５　調整量補正部
３．０１　画像変換部
３．０２　画像相関演算部
３．０３　判定部
　本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims (26)

  1. 　立体画像の各視点画像間の相違を演算する視点画像差演算部と、
    　前記演算結果を基に調整量を演算する調整量演算部と、
    　前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整部と、
    　立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出部と、
    　前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正部と
    を備えることを特徴とした立体画像処理装置。
  2. 　さらに、ユーザの入力を取得する外部入力データ取得部を有し、
    　前記調整量補正部は、前記繰り返し模様情報と前記外部入力データとに基づき、前記調整量を補正することを特徴とする請求項１に記載の立体画像処理装置。
  3. 　前記調整量補正部は、
    　前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする請求項２に記載の立体画像処理装置。
  4. 　前記繰り返し模様に関する情報は、
    　繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方を含むことを特徴とする請求項１から３までのいずれか１項に記載の立体画像処理装置。
  5. 　前記繰り返し模様情報検出部は、同一視点画像全体をずらしながら、ずらし量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする、
    請求項１又は２に記載の立体画像処理装置。
  6. 　前記繰り返し模様情報検出部は、同一視点画像の注目画素と注目画素から任意にずれた画素とのマッチングを行うことで、ずれ量に関する相関値を求め、当該の相関値に基づき繰り返し模様の有無の判断を行うことを特徴とする、
    請求項１又は２に記載の立体画像処理装置。
  7. 　前記調整量補正手段が、補正後の調整量を０にすることを特徴とする、
    請求項１から６までのいずれか１項に記載の立体画像処理装置。
  8. 　前記調整量補正手段が、補正後の調整量を０に向けて平滑化することを特徴とする、
    請求項１から６までのいずれか１項に記載の立体画像処理装置。
  9. 　前記調整量補正手段が、補正後の調整量を、前のフレームの調整量を現フレームの調整量とすることを特徴とする、
    請求項１から６までのいずれか１項に記載の立体画像処理装置。
  10. 　前記調整量補正手段が、過去数フレームの調整量に基づき予測された調整量とすることを特徴とする、
    請求項１から６までのいずれか１項に記載の立体画像処理装置。
  11. 　前記調整量補正手段は、補正方法選択手段を有し、前記繰り返し模様情報に基づいて補正手段を選択することを特徴とする、請求項１から１０までのいずれか１項に記載の立体画像処理装置。
  12. 　前記調整量補正手段は、補正方法選択手段を有し、
    　前記外部入力データ取得部からの調整量補正方法に係わるデータに基づいて補正手段を選択することを特徴とする、請求項２から１０までのいずれか１項に記載の立体画像処理装置。
  13. 　立体画像処理装置において、
    　立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出し、繰り返し模様情報を出力する手段
    を備えることを特徴とする立体画像処理装置。
  14. 　前記繰り返し模様情報を、立体画像の視差を調整するための視差調整量を補正する視差調整量補正手段に出力することを特徴とする請求項１３に記載の立体画像処理装置。
  15. 　前記繰り返し模様情報が、
    　立体画像のうち１視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることを特徴とする
    請求項１３又は１４に記載の立体画像処理装置。
  16. 　前記繰り返し模様情報が、
    　立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方であることを特徴とする
    請求項１３又は１４に記載の立体画像処理装置。
  17. 　前記繰り返し模様情報が、
    　立体画像のうち複数視点の画像における繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方による組み合わせによって判断された繰り返し模様情報であることを特徴とする請求項１３又は１４に記載の立体画像処理装置。
  18. 　立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、
    　前記演算結果を基に調整量を演算する調整量演算ステップと、
    　前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、
    　立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、
    　前記繰り返し模様情報に基づき、前記調整量を補正する調整量補正ステップ
    を備えることを特徴とする立体画像処理方法。
  19. 　立体画像の各視点画像間の相違を演算する視点画像差演算ステップと、
    　前記演算結果を基に調整量を演算する調整量演算ステップと、
    　前記調整量に基づき立体画像の視点画像間の特性差の調整を行う調整ステップと、
    　立体画像から繰り返し模様に関する情報を検出する繰り返し模様情報検出ステップと、
    　ユーザの入力を取得する外部入力データ取得ステップと、
    　前記繰り返し模様情報および前記外部入力データに基づき、前記調整量を補正する調整量補正ステップとを備えることを特徴とする立体画像処理方法。
  20. 　前記調整量補正ステップは、
    　前記繰り返し模様に関する情報およびユーザの入力のいずれか、もしくは両方に基づき、前記調整量を補正することを特徴とする、
    請求項１８又は１９に記載の立体画像処理方法。
  21. 　前記繰り返し模様に関する情報は、
    繰り返し模様の有無および繰り返し模様の強度のいずれか、もしくは両方であることを特徴とする、
    請求項１８から２０までのいずれか１項に記載の立体画像処理方法。
  22. 　立体画像から繰り返し模様の有無および繰り返し模様の強度に関する情報のいずれかもしくは両方を検出する検出ステップと、
    　検出された前記繰り返し模様情報を出力するステップと
    を備えることを特徴とする立体画像処理方法。
  23. 　前記繰り返し模様情報を、立体画像の視差を調整するための視差調整量を補正する視差調整量補正手段に出力することを特徴とする請求項２２に記載の立体画像処理方法。
  24. 　コンピュータに、請求項１８から２３までのいずれか１項に記載の立体画像処理方法を実行させるためのプログラム。
  25. 　請求項２４に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。
  26. 　請求項１から１７までのいずれか１項に記載の立体画像処理装置と、
    　処理された立体画像を表示する表示装置と
    を有することを特徴とする立体画像表示装置。
PCT/JP2012/068328 2011-09-06 2012-07-19 立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体 WO2013035442A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011194329A JP2013055619A (ja) 2011-09-06 2011-09-06 立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体
JP2011-194329 2011-09-06

Publications (1)

Publication Number Publication Date
WO2013035442A1 true WO2013035442A1 (ja) 2013-03-14

Family

ID=47831894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068328 WO2013035442A1 (ja) 2011-09-06 2012-07-19 立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体

Country Status (2)

Country Link
JP (1) JP2013055619A (ja)
WO (1) WO2013035442A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148031A1 (ja) * 2013-03-19 2014-09-25 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体ｔｖ装置
JPH11252592A (ja) * 1998-03-02 1999-09-17 Nippon Hoso Kyokai <Nhk> 映像検査装置、方法および記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09121370A (ja) * 1995-08-24 1997-05-06 Matsushita Electric Ind Co Ltd 立体ｔｖ装置
JPH11252592A (ja) * 1998-03-02 1999-09-17 Nippon Hoso Kyokai <Nhk> 映像検査装置、方法および記録媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148031A1 (ja) * 2013-03-19 2014-09-25 パナソニック株式会社 画像生成装置、撮像装置および画像生成方法
JPWO2014148031A1 (ja) * 2013-03-19 2017-02-16 パナソニックＩｐマネジメント株式会社 画像生成装置、撮像装置および画像生成方法

Also Published As

Publication number Publication date
JP2013055619A (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8116557B2 (en) 3D image processing apparatus and method
EP2618584B1 (en) Stereoscopic video creation device and stereoscopic video creation method
JP5575778B2 (ja) 信号に含まれる視差情報を処理する方法
JP4562457B2 (ja) 画像処理装置及び画像処理方法
US20140333739A1 (en) 3d image display device and method
TWI493505B (zh) 影像處理方法以及影像處理裝置
TWI556624B (zh) 影像顯示方法以及影像顯示裝置
JP2013005259A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Jung et al. Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort
JP2013527646A (ja) 立体映像エラー改善方法及び装置
US20110181593A1 (en) Image processing apparatus, 3d display apparatus, and image processing method
US9088774B2 (en) Image processing apparatus, image processing method and program
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
JP5501458B2 (ja) 立体画像表示装置、立体撮像装置、及び方法
EP2421269A2 (en) Method and apparatus for adjusting 3D video images
JP2013535120A (ja) 立体的フレームのためのオートフォーカスポイントに基づくオート・コンバージェンスのための方法及び装置
WO2013035442A1 (ja) 立体画像情報処理装置、立体画像情報処理方法、立体画像処理プログラムおよびプログラムを記録した記録媒体
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
JP2011176823A (ja) 画像処理装置、立体表示装置及び画像処理方法
WO2018008269A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6042732B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JP2014230251A (ja) 画像処理装置、および画像処理方法
JP2015125493A (ja) 画像生成方法、画像生成装置及び画像生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12830207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12830207

Country of ref document: EP

Kind code of ref document: A1