WO2010035492A1 - 立体画像処理装置および立体画像処理装置のノイズ低減方法 - Google Patents

立体画像処理装置および立体画像処理装置のノイズ低減方法 Download PDF

Info

Publication number
WO2010035492A1
WO2010035492A1 PCT/JP2009/004918 JP2009004918W WO2010035492A1 WO 2010035492 A1 WO2010035492 A1 WO 2010035492A1 JP 2009004918 W JP2009004918 W JP 2009004918W WO 2010035492 A1 WO2010035492 A1 WO 2010035492A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
parallax
parallax adjustment
eye
noise reduction
Prior art date
Application number
PCT/JP2009/004918
Other languages
English (en)
French (fr)
Inventor
藤濤伸敏
澁谷竜一
寺井晴子
森野英樹
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/119,971 priority Critical patent/US20110169824A1/en
Priority to JP2010530739A priority patent/JP5170249B2/ja
Publication of WO2010035492A1 publication Critical patent/WO2010035492A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame

Definitions

  • the present invention relates to a stereoscopic image processing apparatus that reduces noise in a stereoscopic video signal and a noise reduction method for the stereoscopic image processing apparatus.
  • a noise reduction device mainly for random noise in a two-dimensional image has a frame memory, takes a frame difference between an input signal level and an output signal level, A cyclic noise reduction device that subtracts K times the difference is known (Patent Document 1).
  • the frame difference becomes large for a video signal having a large change before and after the frame, such as a scene change, and it may not be possible to realize accurate noise reduction.
  • the stereoscopic image processing apparatus includes a first input terminal for inputting a left-eye signal of a stereoscopic video signal, a second input terminal for inputting a right-eye signal, a first input terminal, and a first input terminal.
  • a first parallax adjustment unit that adjusts parallax between the left-eye signal and the right-eye signal input from the two input terminals and shifts the video position; and a parallax adjustment left-eye signal and parallax adjustment right eye that are output from the first parallax adjustment unit Receiving the parallax adjustment information output from the noise reduction unit and the first parallax adjustment unit for reducing the noise of the signal for use, and the parallax of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal reduced in noise by the noise reduction unit
  • a second parallax adjustment unit that adjusts and shifts a video position, and the noise reduction unit includes a difference in signal level between the parallax adjustment left-eye signal and the parallax adjustment right-eye signal from which parallax is eliminated by the first parallax adjustment unit From noise Calculating a bell, and wherein reducing the noise in the stereoscopic video signal respectively subtracting the noise level from the signal level of the left-eye
  • the left-eye video signal and the right-eye video signal are input at the same timing in the time axis direction, and are not easily affected by a scene change or the like. Thereby, noise can be effectively reduced.
  • the noise reduction method for the stereoscopic image processing apparatus of the present invention is obtained by the first parallax adjustment step and the first parallax adjustment step of adjusting the parallax between the left-eye signal and the right-eye signal of the stereoscopic video signal and shifting the video position.
  • the noise reduction amount setting step for setting the noise reduction amount using the parallax adjustment left-eye signal and the parallax adjustment right-eye signal, and the noise reduction of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal based on the noise reduction amount
  • the parallax adjustment information obtained in the noise reduction step and the first parallax adjustment step is received, the parallax of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal noise-reduced in the noise reduction step is adjusted, and the video position is shifted
  • a second parallax adjustment step, and the noise reduction step is for the parallax adjustment left eye without the parallax obtained in the first parallax adjustment step.
  • the noise level is calculated from the signal level difference between the signal and the parallax adjustment right-eye signal, and the noise level is subtracted from the signal level of the left-eye signal and the right-eye signal to reduce noise in the stereoscopic video signal. To do.
  • FIG. 1 is a block diagram of a portion related to noise reduction of a stereoscopic image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a conventional noise reduction apparatus.
  • FIG. 3 is a block diagram of a correction unit that corrects the parallax amount of the stereoscopic image processing apparatus according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a target pixel and peripheral pixels in the embodiment of the present invention.
  • FIG. 5 is a diagram showing correction coefficients of the stereoscopic image processing apparatus according to the embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the noise reduction operation of the stereoscopic image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram of a portion related to noise reduction of a stereoscopic image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a conventional noise reduction apparatus.
  • FIG. 3 is a block diagram of a correction
  • FIG. 7A is a diagram showing an example of a left-eye image or a right-eye image of a stereoscopic video including a pop-out area in the embodiment of the present invention.
  • FIG. 7B is a diagram showing the relationship between the horizontal position of the screen and the projection amount (parallax) of the stereoscopic video in the embodiment of the present invention.
  • FIG. 7C is a diagram showing the relationship between the horizontal position of the screen and the coefficient K1 in the embodiment of the present invention.
  • FIG. 8 is a flowchart showing a noise reduction procedure of the stereoscopic image processing apparatus according to the embodiment of the present invention.
  • FIG. 1 shows an example of a block diagram of a portion related to noise reduction of a stereoscopic image processing apparatus according to an embodiment of the present invention.
  • This apparatus assumes that stereoscopic video is input in two systems for the left eye and the right eye.
  • two video signals of a left-eye signal and a right-eye signal are input to an input terminal 1 that is a first input terminal and an input terminal 2 that is a second input terminal, respectively.
  • the parallax adjustment unit 101 that is a first parallax adjustment unit that adjusts the parallax between the left-eye signal and the right-eye signal, the parallax adjustment left-eye signal and the parallax adjustment right-eye signal that are output from the parallax adjustment unit 101 and that have been adjusted.
  • the noise reduction unit 109 that reduces noise, the parallax adjustment left-eye signal and the parallax adjustment right-eye signal that are reduced in noise by the noise reduction unit 109 are input, and the parallax adjustment left-eye signal and the parallax adjustment right-eye signal are input.
  • the parallax adjustment unit 108 is a second parallax adjustment unit that adjusts the parallax.
  • the noise reduction unit 109 is connected to the subtraction units 102 and 103 that perform subtraction processing, the multiplication units 104 and 105 that are connected to the subtraction unit and multiply the input signal by a predetermined coefficient, and output from the parallax adjustment unit 101. It comprises subtractors 106 and 107 that perform a subtraction process using the signals and signals from the multipliers 104 and 105 described above as inputs, and subtractors 106 and 107. Each configuration will be specifically described below.
  • the parallax adjustment unit 101 which is the first parallax adjustment unit will be described.
  • the parallax adjustment unit 101 in order to align the video positions of the left eye signal and the right eye signal, the position shift between the right eye signal and the left eye signal due to parallax is reduced, and when there is no noise, The signal difference is made as close as possible to zero.
  • FIG. 3 is a block diagram of a correction unit that corrects the parallax amount of the stereoscopic image processing apparatus according to the present embodiment.
  • the line memory 301 and the line memory 302 store the input left eye signal and right eye signal signal data, respectively.
  • R (2),..., R (n) (where n represents the number of pixels in one line)
  • the calculation unit 303 is used to determine the amount of displacement (parallax) between the right-eye signal and the left-eye signal.
  • the minimum p is calculated in the following formula for calculating the correlation Sp. This p means the amount of displacement (pixel).
  • the parallax can be adjusted by using the line memories 304 and 305 to shift the horizontal position of the right eye signal by p pixels with respect to the left eye signal.
  • the parallax adjustment unit 101 described above is an example, and for example, calculating the correlation Sp using a plurality of line memories 301 and 302 may be considered.
  • the difference between the parallax adjustment left-eye signal and the parallax adjustment right-eye signal is calculated by the subtraction unit 102 and the subtraction unit 103, respectively, and the coefficient (K factor) calculated by the multiplication unit 104 and the multiplication unit 105 by a predetermined unit.
  • Noise is reduced by multiplying K1 and K2 by the difference and subtracting them by the subtracting units 106 and 107.
  • the parallax adjusting unit 108 restores the positions.
  • the noise component can be extracted by calculating the difference. Further, noise can be reduced by multiplying the difference, that is, the noise level by K1 and K2, respectively, and subtracting them from the signal levels of the left eye signal and the right eye signal.
  • FIG. 4 is a diagram showing a target pixel and peripheral pixels in the present embodiment.
  • the coefficient K1 in the pixel of interest Vl (x, y) of the pixel for the left eye the following equation is used as an example of the correlation Svl with the eight surrounding pixels of the pixel of interest Vl (x, y) shown in FIG. Calculate from
  • FIG. 5 is a diagram illustrating correction coefficients of the stereoscopic image processing apparatus according to the present embodiment.
  • K2 is calculated for the right-eye pixel. As described above, for pixels that are highly likely to be noise, it is possible to effectively reduce noise by increasing the values of K1 and K2.
  • not only the correlation in the spatial direction but also a separate frame memory may be prepared and the correlation in the time direction may be used.
  • the parallax adjustment unit 101 performs processing on each of the left-eye signal and the right-eye signal.
  • the parallax adjustment unit 101 may perform processing only on the left-eye signal or on the right-eye signal.
  • the configuration of FIG. 1 is an example.
  • the configuration can be realized by subtracting the subtracting units 102 and 103 and replacing the subtracting unit 107 with an adding unit.
  • the noise reduction operation of the stereoscopic image processing apparatus in the present embodiment will be described in detail with reference to FIG. If the left-eye image 601 and the right-eye image 602 including noise are input, the parallax adjustment is performed by the parallax adjustment unit 101 in FIG. 1, and the left-eye image and the right-eye image are aligned. 603 and right-eye image 604 are obtained. Further, difference images 605 and 606 are obtained by the subtracting units 102 and 103, respectively, and the coefficient K1 and the coefficient K2 obtained by the above-described correlation calculation with the surrounding pixels and the lookup table conversion are converted into the difference image 605 and the difference image 606, respectively. A difference image 607 and a difference image 608 are obtained by multiplying them respectively.
  • the parallax adjustment unit 108 returns the original parallax state to obtain the right-eye image 611.
  • the coefficient K1 calculation method described above calculates the correlation Svl with the surrounding eight pixels of the target pixel Vl (x, y), and when the correlation is low (Sv1 is large), the target pixel Vl (x, y). ) Is determined to be highly likely to be noise, and the value of the coefficient K1 is increased to increase the amount of noise reduction. However, if the correlation is not correctly determined, there may be a sense of discomfort due to the noise reduction processing.
  • the amount of projection of this image can be calculated from the parallax between the left and right eyes. That is, in FIG. 1, since the parallax between the left-eye signal input from the input terminal 1 and the right-eye signal input from the input terminal 2 is calculated by the parallax adjustment unit 101, the above-described parallax is calculated based on the calculated parallax.
  • the coefficient K1 is determined.
  • FIG. 3 shows a method of calculating the parallax for each line
  • the amount of popping out for each pixel can be estimated by calculating the parallax for each pixel
  • noise reduction is performed for each video area according to the size of the parallax.
  • the amount that is, the value of the coefficient K1 of the multiplier 105 can be controlled.
  • FIG. 7 is a diagram illustrating an example in which the value of the coefficient K1 is changed by parallax in the stereoscopic image processing apparatus according to the present embodiment.
  • 7A is a diagram illustrating an example of a left-eye image or a right-eye image of a stereoscopic video including a pop-up area
  • FIG. 7B is a diagram illustrating a relationship between a horizontal position of the screen and a pop-up amount (parallax) of the stereoscopic video
  • FIG. FIG. 4 is a diagram showing the relationship between the horizontal position of the screen and the coefficient K1.
  • the coefficient K1 is changed as shown in FIG. 7C. That is, in the video area 702 (front surface) where noise is conspicuous and the amount K1 is increased, the value of K1 is increased to increase the noise reduction amount. Conversely, in the background region 703 where noise is not noticeable, the value K1 is decreased to reduce the noise amount. Is decreasing. Thereby, efficient noise reduction is possible.
  • FIG. 8 is a flowchart illustrating a noise reduction procedure of the stereoscopic image processing apparatus.
  • the parallax adjustment unit 101 performs first parallax adjustment for adjusting the parallax of the left-eye signal and the right-eye signal of the stereoscopic video signal and shifting the video position (step S101).
  • a noise reduction amount is set using the parallax adjustment left-eye signal and the parallax adjustment right-eye signal obtained in step S101 (step S102).
  • the noise reduction amount is calculated by calculating the spatial or temporal correlation of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal. If the correlation is large, the noise reduction amount is set. If the correlation is small, the noise reduction amount may be set large. Alternatively, when the parallax amount of the left-eye signal and the right-eye signal obtained in step S101 is large, the noise reduction amount may be set large, and when the parallax amount is small, the noise reduction amount may be set small. .
  • the noise of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal is reduced based on the noise reduction amount obtained in step S102 (step S103). That is, the noise level is calculated from the signal level difference between the parallax-adjusted left-eye signal and the parallax-adjusted right-eye signal obtained in step S101 without the parallax, and the noise level is calculated from the signal levels of the left-eye signal and the right-eye signal, respectively. Is subtracted to reduce noise in the stereoscopic video signal.
  • step S101 the parallax adjustment information obtained in step S101 is received, and the parallax of the parallax adjustment left-eye signal and the parallax adjustment right-eye signal whose noise has been reduced in step S103 is adjusted to accompany the parallax even when the video position is shifted.
  • a left eye signal and a right eye signal are obtained (step S104).
  • the correlation between the target pixel and surrounding pixels is calculated, and it is determined whether the target pixel is noise or not to control the noise reduction amount.
  • the amount of noise reduction is controlled according to the amount of projection (parallax) of the video area.
  • the present invention relates to a stereoscopic image processing apparatus that reduces noise in a stereoscopic video signal, and is useful for removing noise in a stereoscopic video in which two systems for the left eye and the right eye are transmitted in parallel.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Picture Signal Circuits (AREA)

Abstract

 第1の視差調整部の出力の視差調整右目用信号、視差調整左目用信号のそれぞれの相関性または第1の視差調整部で算出された視差に基づいて、第1の乗算部、第2の乗算部において掛け合わせる係数K1、K2の値を制御する。これにより、フレームメモリを用いず、かつ、シーンチェンジの影響を受けずに、立体映像信号のノイズを効率よく低減する立体画像処理装置を提供する。

Description

立体画像処理装置および立体画像処理装置のノイズ低減方法
 本発明は、立体映像信号中のノイズを低減する立体画像処理装置および立体画像処理装置のノイズ低減方法に関するものである。
 一般に、2次元映像中のランダムノイズを主に対象としたノイズ低減装置は、図2に示すように、フレームメモリを持ち合わせ、入力信号レベルと出力信号レベルのフレーム差分をとり、入力信号レベルからフレーム差分のK倍を差し引くという巡回ノイズ低減装置が知られている(特許文献1)。
 ところが、この装置で立体映像信号として、左目用と右目用の2系統が並列に伝送される信号に対応しようとすると、左目用、右目用、それぞれについてノイズ低減装置が必要となり、特に、ノイズ低減を行う際に必要となるフレーム数の増加が見込まれる。
 また、立体映像信号に限らず、この種の装置では、シーンチェンジなどのフレームの前後で変化の大きい映像信号に対しては、フレーム差分が大きくなり、精度良いノイズ低減が実現できないことがある。
 つまり、従来の巡回型ノイズ低減装置では、立体映像信号に対応しようとすると、フレーム数の増加が見込まれる。また、シーンチェンジなどにフレーム差分が大きくなる場合では、精度良いノイズ低減が実現できないという課題があった。
特許第3611773号公報
 本発明の立体画像処理装置は、立体映像信号の左目用信号を入力するための第1の入力端子と、右目用信号を入力するための第2の入力端子と、第1の入力端子および第2の入力端子から入力された左目用信号および右目信号の視差を調整し映像位置をずらす第1の視差調整部と、第1の視差調整部から出力された視差調整左目用信号および視差調整右目用信号のノイズを低減するノイズ低減部と、第1の視差調整部から出力される視差調整情報を受け取り、ノイズ低減部によりノイズ低減された視差調整左目用信号および視差調整右目用信号の視差を調整し映像位置をずらす第2の視差調整部と、を備え、ノイズ低減部は、第1の視差調整部による視差をなくした視差調整左目用信号と視差調整右目用信号との信号レベルの差からノイズレベルを算出し、左目用信号と右目用信号の信号レベルからそれぞれノイズレベルを差し引いて立体映像信号中のノイズを低減させることを特徴とする。
 このような構成により、左目用と右目用の2系統が並列に伝送される立体映像中のノイズ除去は、フレームメモリを用いず実現可能である。また、左目用と右目用の映像信号は、時間軸方向に同じタイミングで入力されるため、シーンチェンジなどの影響は受けにくい。これにより、効果的にノイズ低減を行うことが可能となる。
 本発明の立体画像処理装置のノイズ低減方法は、立体映像信号の左目用信号および右目用信号の視差を調整し映像位置をずらす第1の視差調整ステップと、第1の視差調整ステップで得られた視差調整左目用信号および視差調整右目用信号を用いてノイズ低減量を設定するノイズ低減量設定ステップと、ノイズ低減量に基づいて、視差調整左目用信号および視差調整右目用信号のノイズを低減するノイズ低減ステップと、第1の視差調整ステップで得られた視差調整情報を受け取り、ノイズ低減ステップにおいてノイズ低減された視差調整左目用信号および視差調整右目用信号の視差を調整し映像位置をずらす第2の視差調整ステップと、を備え、ノイズ低減ステップは、第1の視差調整ステップで得られた視差をなくした視差調整左目用信号と視差調整右目用信号との信号レベルの差からノイズレベルを算出し、左目用信号と右目用信号の信号レベルからそれぞれノイズレベルを差し引いて立体映像信号中のノイズを低減させることを特徴とする。
図1は本発明の実施に形態における立体画像処理装置のノイズ低減に係わる部分のブロック図である。 図2は従来のノイズ低減装置のブロック図である。 図3は本発明の実施に形態における立体画像処理装置の視差量を補正する補正部のブロック図である。 図4は本発明の実施に形態における注目画素と周辺画素を示す図である。 図5は本発明の実施に形態における立体画像処理装置の補正係数を示す図である。 図6は本発明の実施に形態における立体画像処理装置のノイズ低減の動作を説明するための図である。 図7Aは本発明の実施の形態における飛び出し領域を含む立体映像の左目用画像または右目用画像の例を示した図である。 図7Bは本発明の実施の形態における画面の水平位置と立体映像の飛び出し量(視差)の関係を示した図である。 図7Cは本発明の実施の形態における画面の水平位置と係数K1の関係を示した図である。 図8は本発明の実施の形態における立体画像処理装置のノイズ低減の手順を示すフローチャートである。
 本発明の実施の形態について図面を用いて説明する。
 (実施の形態)
 図1に本発明の実施の形態における立体画像処理装置のノイズ低減に係わる部分のブロック図の一例を示す。この装置は、立体映像が左目用、右目用の2系統で入力されることを想定とする。本実施の形態における立体画像処理装置は、左目用信号と右目用信号の2つの映像信号をそれぞれ第1の入力端子である入力端子1と第2の入力端子である入力端子2の入力として、左目用信号と右目用信号の視差を調整する第1の視差調整部である視差調整部101と、視差調整部101から出力された視差の調整された視差調整左目用信号と視差調整右目用信号を入力とし、ノイズを低減するノイズ低減部109と、ノイズ低減部109でノイズが低減された視差調整左目用信号と視差調整右目用信号を入力とし、視差調整左目用信号と視差調整右目用信号の視差を調整する第2の視差調整部である視差調整部108とにより構成されている。またノイズ低減部109は、減算処理を行う減算部102、103と、減算部に接続され、入力された信号に所定の係数を乗算する乗算部104、105と、視差調整部101から出力された信号及び上述した乗算部104、105からの信号を入力として減算処理を行う減算部106、107と、減算部106、107とから構成されている。以下各構成について具体的に説明する。
 まず、第1の視差調整部である視差調整部101について説明する。視差調整部101にて、左目用信号と右目用信号の映像位置を合わせるために、視差による右目用信号と左目信号との位置ずれを減少させ、ノイズがない場合に左目用と右目用との信号差分が0に限りなく近くなるようにする。
 位置ずれを減少させる具体的な構成について図3を用いて説明する。図3は、本実施の形態における立体画像処理装置の視差量を補正する補正部のブロック図である。ラインメモリ301とラインメモリ302に、入力された左目用信号と右目用信号の信号データをそれぞれ格納する。左目用信号の格納された信号データを画面位置の左からL(1),L(2),…,L(n)、右目用信号の格納された信号データを画面位置の右からR(1),R(2),…,R(n)とすると(nは1ラインの画素数を表す)、右目用信号と左目用信号との位置ずれ量(視差)を求めるため、演算部303にて下記の相関性Spを求める式において最小となるpを算出する。このpは、上記位置ずれ量(画素)を意味する。
 Sp = Σ|L(i) - R(i+p)| (i=0,1,…,n; p=-i,-i+1,…,n-i)
 ラインメモリ304、305を用い、左目用信号に対して右目用信号の水平方向の位置をp画素ずらすことにより、視差調整が可能である。なお、上記で述べた視差調整部101は一例であり、例えば、ラインメモリ301、302を複数用いて相関性Spを算出することなどが考えられる。
 次に、減算部102、103、106、107及び乗算部104、105の構成について説明する。視差調整左目用信号と、視差調整右目用信号について、それぞれ減算部102と減算部103で差分を算出し、乗算部104と乗算部105にて、所定の手段で算出された係数(Kファクター)K1,K2を上記差分に掛け合わせ、減算部106、107にて差し引くことにより、ノイズ低減を行う。ただし、減算部106,107の出力信号は、それぞれ視差調整部101の処理により位置が本来の立体映像の位置よりずれているため、視差調整部108にて位置を元に戻す。
 ここで撮像系などに生じたランダムノイズは、左目用信号と右目用信号に相関がないため、差分を算出することによりノイズ成分を抽出することが可能となる。また、この差分、すなわちノイズレベルをそれぞれK1,K2倍し、左目用信号と右目用信号の信号レベルからそれぞれ差し引くことでノイズ低減が可能となる。
 なお、この係数K1とK2は、処理画素ごとに変更可能であり、算出する方法の一例を以下に示す。図4は、本実施の形態における注目画素と周辺画素を示す図である。まず、左目用画素の注目画素Vl(x,y)における係数K1を算出するために、図4に示す注目画素Vl(x,y)の周囲8画素との相関性Svlを例として以下の式から算出する。
 Svl = Σ|Vl(x,y)-Vl(x+s,y+t)| (s=1,-1 t=1,-1)
 相関性がないと(Svlが大きいと)、注目画素Vl(x,y)はノイズである可能性が高いため、例えば図5に示すようなルックアップテーブル変換を用いてK1を算出する。図5は、本実施の形態における立体画像処理装置の補正係数を示す図である。また、同様にして、右目用画素についてK2を算出する。以上により、ノイズである可能性が高い画素については、K1およびK2の値を大きくすることで、効果的にノイズを低減することが可能となる。
 また、さらにノイズ低減の精度をあげるには、上記空間方向の相関性のみならず、別途フレームメモリを用意し、時間方向の相関性を用いても良い。
 なお、図1では視差調整部101は左目用信号、右目用信号それぞれに対して処理を行ったが、例えば左目用信号のみ、または、右目用信号のみに対して処理を行ってもよい。また、図1の構成は一例であり、例えば減算部102、103を一つにし、減算部107を加算部に替えても実現は可能である。
 次に、本実施の形態における立体画像処理装置のノイズ低減動作について、図6を用いて詳細に説明する。左目用画像601とノイズが含まれた右目用画像602が入力されたとすると、図1の視差調整部101で視差調整が行われ、左目用画像と右目用画像の位置が合わさった、左目用画像603および右目用画像604がそれぞれ得られる。さらに、減算部102、103でそれぞれ差分画像605,606が得られ、前述の周囲画素との相関性算出とルックアップテーブル変換により求められた係数K1と係数K2を差分画像605と差分画像606にそれぞれ乗じて差分画像607と差分画像608が得られる。その際、画素位置612における左目用画像603の画素と周囲画素との相関性は大きいため(Svlが小さいため)ノイズの可能性が低く、K1は小さい値をとる。逆に、画素位置613における右目用画像604の画素と周囲画素は相関性が小さいため(Sv1が大きいため)、K2は大きい値をとる。したがって、差分画像607と差分画像608はノイズ成分を抽出した画像となり、左目用画像603,右目用画像604からそれぞれ差し引くことで、ノイズを低減した左目用画像610と右目用画像609が得られる。なお、右目用画像609については、視差を調整した状態であるため、視差調整部108にて元の視差状態に戻し、右目用画像611を得る。
 次に、乗算部104と乗算部105の係数K1、K2の算出方法の他の例について説明する。以下、係数K1について説明するが、係数K2についても同様である。上述した係数K1の算出方法は、注目画素Vl(x,y)の周囲8画素との相関性Svlを算出し、相関性が低い(Sv1が大きい)場合には、注目画素Vl(x,y)はノイズである可能性が高いと判断して、係数K1の値を大きくして、ノイズ低減量を大きくしている。しかしながら、相関性の判断が正しく行われなかった場合には、ノイズ低減処理により返って違和感のある映像になる場合もある。
 ところで、立体映像の場合、背景よりも画面の前面に飛び出した映像領域に視聴者の視線は集中し、ノイズがより目立つことになる。そこで、この飛び出した映像領域に対してノイズの低減量を大きくし、ノイズがあまり目立たない背景領域ではノイズ低減量を小さくすることでより効率的なノイズ低減が可能となる。この映像の飛び出し量は、左右両眼の視差により計算することができる。すなわち、図1において、入力端子1から入力される左目用信号と入力端子2から入力される右目用信号との視差が視差調整部101において算出されるので、この算出された視差を元に上記係数K1を決定する。図3ではライン毎に視差を計算する方法を示したが、画素毎に視差を計算することにより、画素毎の飛び出し量が推定できるので、視差の大きさに応じて、映像領域毎にノイズ低減量、すなわち乗算部105の係数K1の値を制御することができる。
 図7は、本実施の形態における立体画像処理装置において視差により係数K1の値を変える例を示した図である。図7Aは、飛び出し領域を含む立体映像の左目用画像または右目用画像の例を示した図、図7Bは画面の水平位置と立体映像の飛び出し量(視差)の関係を示した図、図7Cは画面の水平位置と係数K1の関係を示した図である。
 図7Aにおいて画面701の映像領域702が背景領域703の前面に飛び出しているとすると、画面701の所定のライン703での映像の飛び出し量の変化は図7Bに示すようになる。そこで、係数K1を図7Cのように変化させる。すなわち、ノイズが目立つ飛び出し量の大きい映像領域702(前面)ではK1の値を大きくしてノイズ低減量を増加させ、逆にノイズが目立たない背景領域703ではK1の値を小さくしてノイズ低減量を減少させている。これにより、効率的なノイズの低減が可能となる。
 次に、本実施の形態における立体画像処理装置のノイズ低減方法について説明する。図8は、立体画像処理装置のノイズ低減の手順を示すフローチャートである。図8において、まず視差調整部101において立体映像信号の左目用信号および右目信号の視差を調整し映像位置をずらす第1の視差調整を行う(ステップS101)。次にステップS101で得られた視差調整左目用信号および視差調整右目用信号を用いてノイズ低減量を設定する(ステップS102)。このノイズ低減量の設定は、前述したように、例えば視差調整左目用信号、視差調整右目用信号の空間方向または時間方向の相関性を算出し、相関性が大きい場合には、ノイズ低減量を小さくし設定し、相関性が小さい場合にはノイズ低減量を大きく設定してもよい。または、ステップS101で得られた左目用信号および右目用信号の視差量が大きい場合には、ノイズ低減量を大きく設定し、視差量が小さい場合には、ノイズ低減量を小さく設定してもよい。
 次に、ステップS102で得られたノイズ低減量に基づいて、視差調整左目用信号および視差調整右目用信号のノイズを低減する(ステップS103)。すなわち、ステップS101で得られた視差をなくした視差調整左目用信号と視差調整右目用信号との信号レベルの差からノイズレベルを算出し、左目用信号と右目用信号の信号レベルからそれぞれノイズレベルを差し引いて立体映像信号中のノイズを低減させる。最後に、ステップS101で得られた視差調整情報を受け取り、ステップS103でノイズ低減された視差調整左目用信号および視差調整右目用信号の視差を調整し映像位置をずらしてもとの視差を伴った左目用信号と右目用信号を得る(ステップS104)。
 以上説明したように、本実施の形態によれば、注目画素の周囲画素との相関性を算出して、注目画素がノイズか否かを判定してノイズ低減量を制御する。また、それに加えて、映像領域の飛び出し量(視差)に応じてもノイズ低減量を制御する。これにより、立体画像処理装置のノイズ低減効果を高めることができる。
 本発明は、立体映像信号中のノイズを低減する立体画像処理装置に関するものであり、左目用と右目用の2系統が並列に伝送される立体映像中のノイズ除去に有用である。
 1  第1の入力端子
 2  第2の入力端子
 101  視差調整部(第1の視差調整部)
 102  減算部(第3の減算部)
 103  減算部(第1の減算部)
 104  乗算部(第2の乗算部)
 105  乗算部(第1の乗算部)
 106  減算部(第4の減算部)
 107  減算部(第2の減算部)
 108  視差調整部(第2の視差調整部)
 109  ノイズ低減部
 301,302,304,305  ラインメモリ
 303  演算部
 601,603,610  左目用画像
 602,604,609,611  右目用画像
 605,606,607,608  差分画像
 612,613  画素位置
 701  画面
 702  映像領域
 703  背景領域
 704  ライン

Claims (9)

  1. 立体映像信号の左目用信号を入力するための第1の入力端子と、
    右目用信号を入力するための第2の入力端子と、
    前記第1の入力端子および第2の入力端子から入力された左目用信号および右目信号の視差を調整し映像位置をずらす第1の視差調整部と、
    前記第1の視差調整部から出力された視差調整左目用信号および視差調整右目用信号のノイズを低減するノイズ低減部と、
    前記第1の視差調整部から出力される視差調整情報を受け取り、前記ノイズ低減部によりノイズ低減された前記視差調整左目用信号および前記視差調整右目用信号の視差を調整し映像位置をずらす第2の視差調整部と、を備え、
    前記ノイズ低減部は、前記第1の視差調整部による視差をなくした前記視差調整左目用信号と前記視差調整右目用信号との信号レベルの差からノイズレベルを算出し、前記左目用信号と前記右目用信号の信号レベルからそれぞれ前記ノイズレベルを差し引いて立体映像信号中のノイズを低減させることを特徴とする立体画像処理装置。
  2. 前記ノイズ低減部は、前記視差調整左目用信号、前記視差調整右目用信号の空間方向または時間方向の相関性を算出し、前記相関性が大きい場合には、ノイズ低減量を小さくし、前記相関性が小さい場合にはノイズ低減量を大きくすることを特徴とする請求項1に記載の立体画像処理装置。
  3. 前記ノイズ低減部は、前記第1の視差調整部により算出される前記左目用信号および前記右目用信号の視差量が大きい場合には、ノイズ低減量を大きくし、前記視差量が小さい場合には、ノイズ低減量を小さくすることを特徴とする請求項1に記載の立体画像処理装置。
  4. 前記ノイズ低減部は、
    前記第1の視差調整部から出力された視差調整左目用信号の信号レベルから、前記第1の視差調整部から出力された視差調整右目用信号の信号レベルを差し引く第1の減算部と、
    前記第1の減算部から出力された第1の減算信号に対して第1の係数を乗じる第1の乗算部と、
    前記視差調整左目用信号の信号レベルから前記第1の乗算部から出力された第1の乗算信号の信号レベルを差し引く第2の減算部と、
    前記視差調整右目用信号の信号レベルから前記視差調整左目用信号の信号レベルを差し引く第3の減算部と、
    前記第3の減算部から出力された第2の減算信号に対して第2の係数を乗じる第2の乗算部と、
    前記視差調整右目用信号の信号レベルから前記第2の乗算部から出力された第2の乗算信号の信号レベルを差し引く第4の減算部と、を備え、
    前記第2の視差調整部は、前記第2の減算部の出力と前記第4の減算部の出力を入力とすることを特徴とする立体画像処理装置。
  5. 前記第1の乗算部、第2の乗算部において掛け合わせる係数を、それぞれ前記視差調整左目用信号、前記視差調整右目用信号の空間方向または時間方向の相関性が大きい場合には小さな値に設定し、前記相関性が小さい場合には大きな値に設定することを特徴とする請求項4に記載の立体画像処理装置。
  6. 前記第1の乗算部、第2の乗算部において掛け合わせる係数を、前記第1の視差調整部により算出される前記右目用信号および前記左目信号の視差量が大きい場合には大きな値に設定し、前記視差量が小さい場合には小さな値に設定することを特徴とする請求項4に記載の立体画像処理装置。
  7. 立体映像信号の左目用信号および右目用信号の視差を調整し映像位置をずらす第1の視差調整ステップと、
    前記第1の視差調整ステップで得られた視差調整左目用信号および視差調整右目用信号を用いてノイズ低減量を設定するノイズ低減量設定ステップと、
    前記ノイズ低減量に基づいて、前記視差調整左目用信号および前記視差調整右目用信号のノイズを低減するノイズ低減ステップと、
    前記第1の視差調整ステップで得られた視差調整情報を受け取り、前記ノイズ低減ステップにおいてノイズ低減された前記視差調整左目用信号および前記視差調整右目用信号の視差を調整し映像位置をずらす第2の視差調整ステップと、を備え、
    前記ノイズ低減ステップは、前記第1の視差調整ステップで得られた視差をなくした前記視差調整左目用信号と前記視差調整右目用信号との信号レベルの差からノイズレベルを算出し、前記左目用信号と前記右目用信号の信号レベルからそれぞれ前記ノイズレベルを差し引いて立体映像信号中のノイズを低減させることを特徴とする立体画像処理装置のノイズ低減方法。
  8. 前記ノイズ低減量設定ステップは、前記視差調整左目用信号、前記視差調整右目用信号の空間方向または時間方向の相関性を算出し、前記相関性が大きい場合には、ノイズ低減量を小さく設定し、前記相関性が小さい場合にはノイズ低減量を大きく設定することを特徴とする請求項7に記載の立体画像処理装置のノイズ低減方法。
  9. 前記ノイズ低減量設定ステップは、前記第1の視差調整ステップで得られた前記左目用信号および前記右目用信号の視差量が大きい場合には、ノイズ低減量を大きく設定し、前記視差量が小さい場合には、ノイズ低減量を小さく設定することを特徴とする請求項7に記載の立体画像処理装置のノイズ低減方法。
PCT/JP2009/004918 2008-09-29 2009-09-28 立体画像処理装置および立体画像処理装置のノイズ低減方法 WO2010035492A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/119,971 US20110169824A1 (en) 2008-09-29 2009-09-28 3d image processing device and method for reducing noise in 3d image processing device
JP2010530739A JP5170249B2 (ja) 2008-09-29 2009-09-28 立体画像処理装置および立体画像処理装置のノイズ低減方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008250156 2008-09-29
JP2008-250156 2008-09-29

Publications (1)

Publication Number Publication Date
WO2010035492A1 true WO2010035492A1 (ja) 2010-04-01

Family

ID=42059504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004918 WO2010035492A1 (ja) 2008-09-29 2009-09-28 立体画像処理装置および立体画像処理装置のノイズ低減方法

Country Status (3)

Country Link
US (1) US20110169824A1 (ja)
JP (1) JP5170249B2 (ja)
WO (1) WO2010035492A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010150519A1 (ja) * 2009-06-24 2010-12-29 パナソニック株式会社 映像信号処理装置、映像表示装置及び、映像信号処理方法
JP2011217370A (ja) * 2011-03-24 2011-10-27 Toshiba Corp 映像表示装置及び映像表示方法
JP2012029235A (ja) * 2010-07-27 2012-02-09 Toshiba Corp 電子機器および画像処理方法
JP2012231406A (ja) * 2011-04-27 2012-11-22 Toshiba Corp 画像処理装置及び画像処理方法
JP5373222B2 (ja) * 2011-03-28 2013-12-18 パナソニック株式会社 再生装置、再生方法およびコンピュータプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307213B2 (ja) * 2012-05-14 2018-04-04 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置、画像処理方法およびプログラム
US20130321564A1 (en) 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US9767598B2 (en) 2012-05-31 2017-09-19 Microsoft Technology Licensing, Llc Smoothing and robust normal estimation for 3D point clouds
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US8976224B2 (en) 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint
JP2018207259A (ja) * 2017-06-01 2018-12-27 マクセル株式会社 ステレオ撮像装置
US10572761B1 (en) * 2017-06-05 2020-02-25 Google Llc Virtual reality system using super-resolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258052A (ja) * 2000-03-14 2001-09-21 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2002077945A (ja) * 2000-06-07 2002-03-15 Canon Inc 録画装置、撮像装置、撮像システム、信号処理方法、記録制御方法及び記憶媒体
JP2004118711A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3135862A (en) * 1953-09-29 1964-06-02 Bell Telephone Labor Inc Digital target information transmission system with parallax correction
DE2637284C3 (de) * 1976-08-19 1980-02-14 Ernst Leitz Wetzlar Gmbh, 6300 Lahn- Wetzlar Verfahren und Anordnungen zur automatischen Parallaxebestimmung
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
JPH1062154A (ja) * 1996-08-15 1998-03-06 Oki Electric Ind Co Ltd 測定値処理方法、形状の再構成方法および形状の再構成装置
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP2003018619A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 立体映像評価装置およびそれを用いた表示装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258052A (ja) * 2000-03-14 2001-09-21 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2002077945A (ja) * 2000-06-07 2002-03-15 Canon Inc 録画装置、撮像装置、撮像システム、信号処理方法、記録制御方法及び記憶媒体
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2004118711A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 画像処理装置、方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010150519A1 (ja) * 2009-06-24 2010-12-29 パナソニック株式会社 映像信号処理装置、映像表示装置及び、映像信号処理方法
US8582868B2 (en) 2009-06-24 2013-11-12 Panasonic Corporation Image signal processing device and image signal processing method
JP5577333B2 (ja) * 2009-06-24 2014-08-20 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP2012029235A (ja) * 2010-07-27 2012-02-09 Toshiba Corp 電子機器および画像処理方法
JP2011217370A (ja) * 2011-03-24 2011-10-27 Toshiba Corp 映像表示装置及び映像表示方法
JP5373222B2 (ja) * 2011-03-28 2013-12-18 パナソニック株式会社 再生装置、再生方法およびコンピュータプログラム
US9031377B2 (en) 2011-03-28 2015-05-12 Panasonic Intellectual Property Management Co., Ltd. Playback device, playback method, and computer program
JP2012231406A (ja) * 2011-04-27 2012-11-22 Toshiba Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US20110169824A1 (en) 2011-07-14
JPWO2010035492A1 (ja) 2012-02-16
JP5170249B2 (ja) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5170249B2 (ja) 立体画像処理装置および立体画像処理装置のノイズ低減方法
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
TWI493505B (zh) 影像處理方法以及影像處理裝置
EP1791371A2 (en) Apparatus and method for processing 3D video signal
JP5387781B2 (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
US8330799B2 (en) Image output apparatus and image output method
WO2010035443A1 (ja) 映像信号処理装置及び映像信号処理方法
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
US9761058B2 (en) Image processing apparatus and image processing method
TWI533663B (zh) 立體影像處理裝置及立體影像處理方法
JP2012084961A (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP5691966B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
JP2012213016A (ja) 立体画像生成装置及び立体画像生成方法
JP2013115606A (ja) 映像処理装置および立体映像生成装置
JPH1198530A (ja) 2次元映像を3次元映像に変換する装置
JP5627798B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法
JP2012142852A (ja) 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置
JP2013017052A (ja) 奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法
JP2013016040A (ja) 奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法
KR20130024504A (ko) 삼차원 카메라 시스템 및 주시각 조정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09815912

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010530739

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13119971

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09815912

Country of ref document: EP

Kind code of ref document: A1