WO2013125139A1 - 画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

画像処理装置及び画像処理方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
WO2013125139A1
WO2013125139A1 PCT/JP2012/082621 JP2012082621W WO2013125139A1 WO 2013125139 A1 WO2013125139 A1 WO 2013125139A1 JP 2012082621 W JP2012082621 W JP 2012082621W WO 2013125139 A1 WO2013125139 A1 WO 2013125139A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
frequency
preprocessing
amplitude
Prior art date
Application number
PCT/JP2012/082621
Other languages
English (en)
French (fr)
Inventor
原田　茂
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2013125139A1 publication Critical patent/WO2013125139A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Definitions

  • the technology disclosed in this specification relates to an image processing apparatus, an image processing method, and a computer program that convert a two-dimensional image into a binocular parallax image corresponding to stereo vision (stereoscopic vision).
  • a binocular parallax image can be generated from one two-dimensional image by horizontally shifting the image for the left eye and the image for the right eye in opposite directions based on the depth of each region in the image.
  • the near view is an image with a high sharpness
  • the distant view is an image with a low sharpness. Therefore, a binocular parallax image can be generated by adjusting the delay amount between the left and right image signals in accordance with the input frequency.
  • the high frequency component displays the signal delay between the left and right images in the foreground
  • the low frequency component increases the signal delay between the left and right images.
  • a binocular parallax image can be generated from a two-dimensional image by the frequency enhancement process of displaying in the back (see, for example, Patent Documents 1 and 2).
  • the right-eye image and the left-eye image generated in this manner change the retinal image difference according to the spatial frequency of the image, and the region having a higher spatial frequency has a smaller retinal image difference and a region having a lower spatial frequency.
  • the image is such that the retinal image difference increases.
  • the human perceives a region with a small retinal image difference in front and a region with a large retinal image difference in the back.
  • the principle is that there are many high-frequency components with high sharpness in the back, and there are few high-frequency components with low sharpness in the foreground. If there is a signal component contrary to the above, a sense of incongruity occurs in the stereoscopic image.
  • An object of the technology disclosed in this specification is to provide an excellent image processing apparatus and image processing method capable of suitably converting a two-dimensional image into a binocular parallax image corresponding to stereo vision (stereoscopic vision), and a computer To provide a program.
  • a further object of the technology disclosed in the present specification is to provide an excellent image processing apparatus and image processing method capable of appropriately estimating a depth amount of an input image and generating a binocular parallax image without a sense of incongruity, and To provide computer programs.
  • a preprocessing unit that performs preprocessing based on an amplitude level for a signal of a two-dimensional image
  • An image conversion unit that generates a stereoscopic image by performing perspective determination based on a frequency component from the signal after performing the preprocessing
  • the image conversion unit of the image processing apparatus takes the differential component of the luminance signal of the two-dimensional image, and the high frequency component is determined according to the frequency.
  • the signal delay between the left and right images is reduced and displayed in the foreground, and the low frequency component is displayed at the back with the signal delay increased between the left and right images.
  • the preprocessing unit of the image processing apparatus is configured to emphasize a signal that is determined to be a foreground based on an amplitude level and a frequency component. Yes.
  • the pre-processing unit of the image processing apparatus includes: a frequency filter that enhances a frequency component in a middle-high frequency range or higher in an input signal; and the frequency filter An amplitude-dependent filter that enhances a large amplitude component of the signal after passing through is provided.
  • the pre-processing unit of the image processing apparatus includes: a first frequency filter that enhances a frequency component in the middle or high frequency range of the input signal; Of the input signal, a second frequency filter that enhances a frequency component higher than the high frequency band, a signal that has passed through the first frequency filter, and a signal that has passed through the second frequency filter at a ratio corresponding to the amplitude. It has a mixing filter to mix.
  • a preprocessing step of performing preprocessing based on an amplitude level for a signal of a two-dimensional image An image conversion step of generating a stereoscopic image by performing perspective determination based on a frequency component from the signal after performing the preprocessing; Is an image processing method.
  • a preprocessing unit for performing preprocessing based on an amplitude level for a signal of a two-dimensional image An image conversion unit that generates a stereoscopic image by performing perspective determination based on a frequency component from the signal after performing the preprocessing;
  • An image conversion unit that generates a stereoscopic image by performing perspective determination based on a frequency component from the signal after performing the preprocessing
  • the computer program according to claim 7 of the present application defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer.
  • a cooperative operation is exhibited on the computer, and the same effect as the image processing apparatus according to claim 1 of the present application is obtained. be able to.
  • an excellent image processing apparatus, image processing method, and computer that can appropriately estimate the depth amount of an input image and appropriately generate a binocular parallax image without a sense of incongruity ⁇ Provide programs.
  • the technique disclosed in this specification by adding preprocessing having an amplitude-dependent characteristic, a defect of image conversion that performs perspective determination in a frequency domain is compensated, and a binocular parallax image that does not feel strange is suitably generated. be able to. Therefore, even if the gain of image conversion in the subsequent stage is kept weakly constant, the amount of parallax can be increased while reducing the error in conversion from a two-dimensional image to a binocular parallax image by increasing the gain of preprocessing. Can improve the sense of perspective.
  • FIG. 1 is a diagram schematically illustrating a configuration of an image processing apparatus 100 according to an embodiment of the technology disclosed in this specification.
  • FIG. 2 is a diagram illustrating an internal configuration example of the preprocessing unit 101.
  • FIG. 3 is a diagram illustrating another internal configuration example of the preprocessing unit 101.
  • FIG. 4 is a diagram schematically illustrating a configuration example of the image display system.
  • FIG. 5 is a diagram showing the control operation of the shutter lenses 308 and 309 in the shutter glasses 13 synchronized with the display period of the left eye image L of the display device 11.
  • FIG. 6 is a diagram illustrating a control operation of the shutter lenses 308 and 309 in the shutter glasses 13 synchronized with the display period of the right-eye image R on the display device 11.
  • FIG. 4 schematically shows a configuration example of the image display system.
  • the image display system includes a combination of a display device 11 compatible with three-dimensional display (three-dimensional view) and shutter glasses 13 each provided with a shutter mechanism in the left eye part and the right eye part.
  • a liquid crystal display LCD
  • the gist of the technology disclosed in this specification is not necessarily limited to the liquid crystal display.
  • the display device 11 alternately displays the left eye image L and the right eye image R in a frame sequential manner.
  • the shutter glasses 13 perform opening / closing switching of the left and right shutter lenses 308 and 309 in synchronization with the switching timing of the left eye image L and the right eye image R on the display device 11 side.
  • a wireless network such as Wi-Fi or IEEE802.15.4 using radio wave communication is used, and the shutter lenses 308 and 309 are transferred from the display device 11 to the shutter glasses 13.
  • a packet describing information necessary for controlling the opening / closing timing of the packet is transmitted.
  • infrared communication or other communication means can be applied instead of the wireless network.
  • the display device 11 includes a left and right image signal processing unit 120, a communication unit 124, a timing control unit 126, a gate driver 130, a data driver 132, and a liquid crystal display panel 134.
  • the liquid crystal display panel 134 is composed of a liquid crystal layer, transparent electrodes facing each other with the liquid crystal layer interposed therebetween, a color filter, and the like (none of which are shown).
  • a backlight (surface light source) 136 is disposed behind the liquid crystal display panel 134.
  • the backlight 136 is composed of an LED (Light Emitting Diode) having good afterglow characteristics.
  • the left and right image signal processing unit 120 the transmission of the image signal D L of the left and right to display the image L and the right eye image R for the left eye, respectively, the input signal D in consisting of D R, for example, a frame packing etc. Input in format.
  • image quality correction processing such as enhancement of image sharpness and contrast improvement is performed.
  • the left and right image signal processing unit 120 alternately outputs the left and right image signals D L and D R in order to display the left eye image L and the right eye image R on the liquid crystal display panel 134 by the frame sequential method. .
  • the timing controller 126 receives the left-eye image signal D L and the right-eye image signal D R converted by the left and right image signal processor 120.
  • the timing control unit 126 converts the input image signal D L for the left eye and the image signal D R for the right eye into signals to be input to the liquid crystal display panel 134, and from the gate driver 130 and the data driver 132.
  • a pulse signal used for the operation of the panel driving circuit is generated.
  • the gate driver 130 is a drive circuit that generates a signal for driving sequentially, and to the gate bus line connected to each pixel in the display panel 134 according to the signal transmitted from the timing control unit 126.
  • the drive voltage is output.
  • the data driver 132 is a drive circuit that outputs a drive voltage based on the video signal, and generates and outputs a signal to be applied to the data line based on the signal transmitted from the timing control unit 126.
  • Overdrive is appropriately performed to compensate for the response speed of the liquid crystal display panel 134.
  • Overdrive is a process for improving response characteristics by applying a drive voltage that is equal to or higher than the target voltage to the liquid crystal element in the panel drive circuit so as to quickly reach the target voltage.
  • the communication unit 124 operates as an access point in a wireless network such as Wi-Fi or IEEE 802.15.4, and has one or more shutter glasses 13 that operate as a terminal station in its basic service set (Basic Service Set: BSS). To house.
  • the communication unit 124 transmits a packet describing information necessary for controlling the opening / closing timing of the shutter lenses 308 and 309 on the shutter glasses 13 side.
  • FIG. 5 shows the control operation of the shutter lenses 308 and 309 in the shutter glasses 13 synchronized with the display period of the image L for the left eye on the display device 11.
  • the left-eye shutter lens 308 is opened and the right-eye shutter lens 309 is closed in accordance with a synchronization packet wirelessly transmitted from the display device 11 side.
  • the display light LL based on the left-eye image L reaches only the user's left eye.
  • FIG. 6 shows the control operation of the shutter lenses 308 and 309 in the shutter glasses 13 synchronized with the display period of the right-eye image R.
  • the right-eye shutter lens 309 is opened, the left-eye shutter lens 308 is closed, and the display light RR based on the right-eye image R is displayed. Only reaches the user's right eye.
  • the display device 11 alternately displays the left eye image L and the right eye image R on the liquid crystal display panel 134 for each field.
  • the left and right shutter lenses 308 and 309 alternately open and close in synchronization with image switching for each field of the display device 11.
  • the left eye image L and the right eye image R are fused, and the image displayed on the display device 11 is recognized three-dimensionally.
  • a binocular parallax image can be generated from one two-dimensional image by horizontally shifting the image for the left eye and the image for the right eye in opposite directions based on the depth of each region in the image. That is, the depth amount is estimated based on the frequency component of the input image, the high frequency component is displayed in the foreground with a small signal delay between the left and right images, and the low frequency component is displayed in the back with a large signal delay.
  • the conversion from a two-dimensional image to a binocular parallax image is a process in which a high-frequency signal with a high sharpness is made smaller and the left and right signal delays are reduced so that it can be seen in front.
  • the principle is that there are many high-frequency components with high sharpness in the back, and there are few high-frequency components with low sharpness in the foreground. If there is a signal component contrary to the above, a sense of incongruity occurs in the stereoscopic image.
  • the determination of the amplitude level is added in the preprocessing to compensate for the above-described drawbacks when the perspective determination is performed only in the frequency domain, and the conversion effect from the two-dimensional image to the stereoscopic image is improved. I try to improve.
  • FIG. 1 schematically shows a configuration of an image processing apparatus 100 according to an embodiment of the technology disclosed in this specification.
  • the illustrated image processing apparatus 100 includes a pre-processing unit 101 that performs pre-processing based on an amplitude level for a signal of a two-dimensional image, and performs perspective determination based on a frequency component from the signal that has been subjected to pre-processing.
  • An image conversion unit 102 that generates a visual image is provided.
  • the image conversion unit 102 takes the differential component of the luminance signal of the two-dimensional image, and displays the high frequency component in the foreground with a reduced signal delay between the left and right images, and the low frequency component as the left and right images. Conversion from a two-dimensional image to a binocular parallax image is performed by a process of increasing the signal delay between them and displaying them in the back.
  • the image conversion unit 102 can be configured with a filter that reduces the delay amount of the left-eye image and a filter that increases the delay amount of the right-eye image as the frequency is lower. The lower the value, the deeper the fusion. For example, the techniques described in Patent Documents 1 and 2 can be applied to this conversion process.
  • the pre-processing unit 101 performs pre-processing with amplitude-dependent characteristics in order to reduce errors in conversion from a two-dimensional image to a binocular parallax image by the image conversion unit 102.
  • the preprocessing unit 101 mainly emphasizes the characteristics of the signal component of the foreground among the signals of the two-dimensional image.
  • the preprocessing unit 101 uses the above-described features of the near view and the distant view to perform preprocessing that emphasizes the signal as widely as possible from the one with a large amplitude level to the middle range to the high range in terms of frequency.
  • the features of the foreground part of the two-dimensional image are emphasized.
  • the pre-processing unit 101 does not emphasize the low-frequency signal component. There are two main reasons for this. The first reason is that a signal with a large amplitude in the low range is present in the distant view, and if this is enhanced by preprocessing, the danger of being visible in front of the clues of pictorial stereoscopic (monocular) is avoided. It is. The second reason is that, in order to emphasize a low-frequency signal, a circuit with a wide number of taps is required, which increases the circuit scale.
  • FIG. 2 shows an example of the internal configuration of the preprocessing unit 101.
  • the preprocessing unit 101 enhances a frequency filter 201 that enhances frequency components in the middle and high frequencies in the input signal, and a large amplitude component in the signal that has passed through the frequency filter 201.
  • An amplitude-dependent filter 202 having an amplitude-dependent characteristic is provided, and a signal that is determined to be a foreground is emphasized based on the amplitude level and the frequency component.
  • FIG. 3 shows another internal configuration example of the preprocessing unit 101.
  • the pre-processing unit 101 includes a second frequency filter that enhances only the high frequency components in addition to the first frequency filter 301 that enhances frequency components in the middle and high frequencies of the input signal. 302 and a mixing filter 303 for mixing the signals that have passed through the first frequency filter 301 and the second frequency filter 302, respectively.
  • the first frequency filter 301 enhances the foreground portion of the two-dimensional image
  • the second frequency filter 302 enhances the far view portion.
  • the mixing filter 303 performs mixing at a ratio corresponding to the amplitude of the signal. Specifically, when the amplitude is large, the ratio of the signal that has passed through the near-field frequency filter 301 is increased, and when the amplitude is small, the ratio of the signal that has passed through the far-field second filter 302 is increased.
  • the mid-high frequency signal having a large amplitude level is fused closer to the front.
  • a conversion from a two-dimensional image to a binocular parallax image is realized by utilizing the feature that a near-field image has a large amplitude and a frequency of all frequencies.
  • a pre-processing unit that performs pre-processing based on an amplitude level for a signal of a two-dimensional image, and generates a stereoscopic image by performing perspective determination based on a frequency component from the signal after the pre-processing.
  • an image conversion unit takes a differential component of the luminance signal of the two-dimensional image, and according to the frequency, the high-frequency component is displayed in the foreground by reducing the signal delay between the left and right images, and the low-frequency component
  • the image processing apparatus according to (1), wherein a signal delay is increased between the left and right images and displayed in the back.
  • the image processing device wherein the preprocessing unit emphasizes a signal that is determined to be a close view based on an amplitude level and a frequency component.
  • the pre-processing unit includes a frequency filter that enhances a frequency component in a middle and high frequency range of an input signal, and an amplitude-dependent filter that enhances a large amplitude component of the signal after passing through the frequency filter.
  • the image processing apparatus comprising: (5) The preprocessing unit includes a first frequency filter that enhances frequency components in the middle and higher frequencies in the input signal, and a second frequency that enhances frequency components in the input signal in the high frequencies and higher.
  • the image processing apparatus further comprising a filter and a mixing filter that mixes the signal that has passed through the first frequency filter and the signal that has passed through the second frequency filter at a ratio according to amplitude.
  • an image conversion step (7)
  • a preprocessing unit that performs preprocessing based on an amplitude level for a signal of a two-dimensional image, and an image that generates a stereoscopic image by performing perspective determination based on a frequency component from the signal after performing the preprocessing.
  • the embodiment in which the shutter glasses are used and applied to the time-division image display system that displays the left and right images in a frame sequential manner has been described.
  • the present invention is applied to other stereoscopic image display systems such as the naked eye type.
  • the technology disclosed in this specification can be applied.
  • image processing in the embodiment described in this specification can be performed by either hardware or software.
  • processing is realized by software, a computer program in which processing procedures in the software are described in a computer-readable format may be installed and executed on a predetermined computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　２次元画像をステレオ視（立体視）に対応した両眼視差画像に好適に変換する。　近景にある可能性の高い、大振幅で中～高域の周波数領域のエンハンスを前処理で行なった後、２Ｄ－３Ｄ変換を行ない、鮮鋭度の高い高域の信号ほど手前に見えるようにすると、振幅の大きい高域の信号はより手前に、振幅の大きい中域の信号もそれなりに手前に表示される。また、前処理で中高域信号の振幅が強調されることから、立体視の絵画的（単眼による）奥行きの手掛かりである鮮鋭度及びコントラストが強調され、立体感がさらに強調される。

Description

画像処理装置及び画像処理方法、並びにコンピューター・プログラム
　本明細書で開示する技術は、２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。
　左右の眼に視差のある画像を表示することで、観察者に３次元的に見える３次元視画像を提示することができる。また、２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換するさまざまな技術が提案されている。
　画像内の各領域を奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトすることによって、１枚の２次元画像から両眼視差画像を生成することができる。一般には、近景は鮮鋭度が高い画像であり、遠景はボケた鮮鋭度の低い画像である。したがって、入力周波数に応じて左右の画像信号間の遅延量を調整することで、両眼視差画像を生成することができる。
　例えば、輝度信号の微分成分をとり、その周波数に応じて、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は左右の画像間で信号遅延を大きくして奥に表示する、という周波数エンハンス処理により、２次元画像から両眼視差画像を生成することができる（例えば、特許文献１、２を参照のこと）。このようにして生成された右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、及び左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。
　しかしながら、入力画像の周波数成分のみに基づいて奥行き量を推定する場合、鮮鋭度の高い高周波成分が多いものが奥にある、ボケた鮮鋭度の低い高周波成分の少ないものが手前にあるなど、原理に反する信号成分があると、立体視画像に違和感が発生する。
特開２０１０－６３０８３号公報 特開２０１１－１２０２１０号公報
　本明細書で開示する技術の目的は、２次元画像をステレオ視（立体視）に対応した両眼視差画像に好適に変換することができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
　本明細書で開示する技術のさらなる目的は、入力画像の奥行き量を正しく推定して、違和感のない両眼視差画像を好適に生成することができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。
　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部と、
　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部と、
を具備する画像処理装置である。
　本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置の画像変換部は、前記２次元画像の輝度信号の微分成分をとり、その周波数に応じて、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は左右の画像間で信号遅延を大きくして奥に表示するように構成されている。
　本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置の前処理部は、振幅レベル及び周波数成分に基づいて近景と判断される信号を強調するように構成されている。
　本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置の前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする周波数フィルターと、前記周波数フィルターを通過した後の信号のうち大振幅の成分をエンハンスする振幅依存フィルターを備えている。
　本願の請求項５に記載の技術によれば、請求項１に記載の画像処理装置の前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする第１の周波数フィルターと、入力される信号のうち高域以上の周波数成分をエンハンスする第２の周波数フィルターと、前記第１の周波数フィルターを通過した信号と前記第２の周波数フィルターを通過した信号を振幅に応じた比率で混合する混合フィルターを備えている。
　また、本願の請求項６に記載の技術は、
　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理ステップと、
　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換ステップと、
を有する画像処理方である。
　また、本願の請求項７に記載の技術は、
　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部、
　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
　本願の請求項７に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項７に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像処理装置と同様の作用効果を得ることができる。
　本明細書で開示する技術によれば、入力画像の奥行き量を正しく推定して、違和感のない両眼視差画像を好適に生成することができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。
　本明細書で開示する技術によれば、振幅依存特性を持った前処理を加えることにより、周波数領域により遠近判断を行なう画像変換の欠点を補い、違和感のない両眼視差画像を好適に生成することができる。したがって、後段の画像変換のゲインを弱一定にしておいても、前処理のゲインを上げることで、２次元画像から両眼視差画像への変換の間違いを少なくしたまま視差量を大きくすることができ、遠近感を向上することができる。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、本明細書で開示する技術の一実施形態に係る画像処理装置１００の構成を模式的に示した図である。 図２は、前処理部１０１の内部構成例を示した図である。 図３は、前処理部１０１の他の内部構成例を示した図である。 図４は、画像表示システムの構成例を模式的に示した図である。 図５は、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、３０９の制御動作を示した図である。 図６は、表示装置１１の右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、３０９の制御動作を示した図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図４には、画像表示システムの構成例を模式的に示している。画像表示システムは、３次元表示（３次元視）対応の表示装置１１と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡１３の組み合わせからなる。以下では、３次元画像表示に用いる表示装置１１として、液晶ディスプレイ（ＬＣＤ）を用いるものとする。但し、本明細書で開示する技術の要旨は、液晶ディスプレイに必ずしも限定されない。
　表示装置１１は、フレーム・シーケンシャル方式で左眼用画像Ｌ及び右眼用画像Ｒを交互に表示する。一方、シャッター眼鏡１３は、表示装置１１側での左眼用画像Ｌ及び右眼用画像Ｒの切り換えタイミングと同期をとって、左右のシャッター・レンズ３０８、３０９の開閉切り換えを行なう。表示装置１１とシャッター眼鏡１３間の通信には、Ｗｉ－ＦｉやＩＥＥＥ８０２．１５．４などの、電波通信によるワイヤレス・ネットワークが用いられ、表示装置１１からシャッター眼鏡１３へ、シャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。勿論、ワイヤレス・ネットワークではなく、赤外線通信やその他の通信手段を適用することもできる。
　表示装置１１は、左右画像信号処理部１２０と、通信部１２４と、タイミング制御部１２６と、ゲート・ドライバー１３０と、データ・ドライバー１３２と、液晶表示パネル１３４を備えている。
　液晶表示パネル１３４は、液晶層及び液晶層を挟んで対向する透明電極と、カラー・フィルターなど（いずれも図示しない）から構成されている。また、液晶表示パネル１３４の背後には、バックライト（面光源）１３６が配置されている。バックライト１３６は、残光特性の良好なＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などから構成されている。
　左右画像信号処理部１２０には、左眼用画像Ｌ及び右眼用画像Ｒをそれぞれ表示するための左右の画像信号ＤL、ＤRからなる入力信号Ｄinが、例えばフレーム・パッキングなどの伝送フォーマットで入力される。左右画像信号処理部１２０内では、画像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。そして、左右画像信号処理部１２０は、液晶表示パネル１３４でフレーム・シーケンシャル方式により左眼用画像Ｌと右眼用画像Ｒを表示させるため、左右の画像信号ＤL、ＤRを交互に出力する。
　タイミング制御部１２６には、左右画像信号処理部１２０で変換された左眼用画像信号ＤL及び右眼用画像信号ＤRが入力される。タイミング制御部１２６は、入力された左眼用画像信号ＤL及び右眼用画像信号ＤRを液晶表示パネル１３４へ入力するための信号に変換するとともに、ゲート・ドライバー１３０及びデータ・ドライバー１３２からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
　ゲート・ドライバー１３０は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１２６から伝送された信号に応じて、表示パネル１３４内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１３２は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１２６から伝送された信号に基づいてデータ線へ印加する信号を生成して出力する。
　また、液晶表示パネル１３４の応答速度を補うための、オーバードライブが適宜行なわれる。オーバードライブは、パネル駆動回路において目標到達電圧以上の駆動電圧を液晶素子に印加して、目標電圧に速やかに到達するようにして、応答特性の改善を行なう処理である。
　通信部１２４は、Ｗｉ－ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作し、端末局として動作する１以上のシャッター眼鏡１３を自分の基本サービスセット（Ｂａｓｉｃ　Ｓｅｒｖｉｃｅ　Ｓｅｔ：ＢＳＳ）に収容する。通信部１２４からは、シャッター眼鏡１３側でシャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。
　図５には、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、３０９の制御動作を示している。図示のように、左眼用画像Ｌの表示期間には、表示装置１１側から無線伝送される同期パケットに従って、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光ＬＬがユーザーの左眼にのみ到達する。
　また、図６には、右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、３０９の制御動作を示している。図示のように、右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光ＲＲがユーザーの右眼にのみ到達する。
　表示装置１１は、液晶表示パネル１３４に、フィールド毎に左眼用画像Ｌと右眼用画像Ｒを交互に表示する。シャッター眼鏡１３側では、左右のシャッター・レンズ３０８、３０９が表示装置１１のフィールド毎の画像切り換えに同期して交互に開閉動作を行なう。シャッター眼鏡１３越しに表示画像を観察するユーザーの脳内では、左眼用画像Ｌと右眼用画像Ｒが融像され、表示装置１１に表示される画像が３次元的に認識される。
　画像内の各領域を奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトすることによって、１枚の２次元画像から両眼視差画像を生成することができる。すなわち、入力画像の周波数成分に基づいて奥行き量を推定し、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は信号遅延を大きくして奥に表示する。すなわち、２次元画像から両眼視差画像への変換は、鮮鋭度の高い高域の信号ほど左右の信号遅延を小さくして手前に見えるようにする処理である。
　しかしながら、入力画像の周波数成分のみに基づいて奥行き量を推定する場合、鮮鋭度の高い高周波成分が多いものが奥にある、ボケた鮮鋭度の低い高周波成分の少ないものが手前にあるなど、原理に反する信号成分があると、立体視画像に違和感が発生する。
　そこで、本明細書で開示する技術では、振幅レベルの判断を前処理で加えることにより、周波数領域のみにより遠近判断を行なう場合の上記欠点を補い、２次元画像から立体視画像への変換効果の向上を図るようにしている。
　図１には、本明細書で開示する技術の一実施形態に係る画像処理装置１００の構成を模式的に示している。図示の画像処理装置１００は、２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部１０１と、前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部１０２を備えている。
　画像変換部１０２は、２次元画像の輝度信号の微分成分をとり、その周波数に応じて、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は左右の画像間で信号遅延を大きくして奥に表示するという処理により、２次元画像から両眼視差画像への変換を行なう。画像変換部１０２は、周波数が低いほど、左眼用画像の遅延量を少なくなるようにするフィルターと、右眼用画像の遅延量を大きくなるようにするフィルターで構成することができ、周波数が低いものほど奥に融像する。例えば、特許文献１、２に記載の技術をこの変換処理に適用することができる。
　前処理部１０１は、画像変換部１０２による２次元画像から両眼視差画像への変換の間違いを少なくするために、振幅依存特性を持った前処理を行なう。本実施形態では、前処理部１０１は、２次元画像の信号のうち、主に近景の信号成分の特徴を強調する。
　ここで、近景は、周波数的には低周波から高周波に至るまであらゆる信号が存在する。また、振幅レベルは比較的大きな信号が多い。これに対し、遠景は、小さい物が多いことから、周波数的には高域の信号が多く、振幅レベルは近景に比べ小さいものが多いという特徴がある。
　前処理部１０１は、近景及び遠景の上記のような特徴を利用して、振幅レベルの大きいものから、周波数的には中域から高域までできる限り幅広く信号を強調する前処理を行なうことで、２次元画像のうち近景部分の特徴を強調する。
　近景は周波数的には低周波から高周波に至るまであらゆる信号が存在するが、前処理部１０１では、低域の信号成分を強調させない。これには大きく２つの理由がある。１つ目の理由は、低域で大振幅の信号が遠景に存在していて、これを前処理でエンハンスしてしまうと、絵画的立体視（単眼）の手掛かりから手前に見える危険を避けるためである。２つ目の理由は、低域の信号を強調するには、幅広いタップ数の回路が必要になり、回路規模が大きくなるからである。
　図２には、前処理部１０１の内部構成例を示している。図示の例では、前処理部１０１は、入力される信号のうち中高域以上の周波数成分をエンハンスする周波数フィルター２０１と、この周波数フィルター２０１を通過した後の信号のうち大振幅の成分をエンハンスする振幅依存特性を持つ振幅依存フィルター２０２を備えており、振幅レベル及び周波数成分に基づいて近景と判断される信号を強調するようになっている。
　また、図３には、前処理部１０１の他の内部構成例を示している。図示の例では、前処理部１０１は、入力される信号のうち中高域以上の周波数成分をエンハンスする第１の周波数フィルター３０１の他に、高域の周波数成分のみをエンハンスする第２の周波数フィルター３０２と、第１の周波数フィルター３０１及び第２の周波数フィルター３０２をそれぞれ通過した信号を混合する混合フィルター３０３を備えている。
　第１の周波数フィルター３０１は２次元画像のうち近景部分をエンハンスし、第２の周波数フィルター３０２は遠景部分をエンハンスする。そして、混合フィルター３０３は、信号の振幅に応じた比率で混合する。具体的には、振幅が大きいときには、近景用の周波数フィルター３０１を通過した信号の比率を多くし、振幅が小さいときには、遠景用の第２のフィルター３０２を通過した信号の比率を多くする。
　図２並びに図３に示したように、振幅依存特性を持った前処理を加えることにより、周波数領域により遠近判断を行なう画像変換の欠点を補い、違和感のない両眼視差画像を好適に生成することができる。したがって、後段の画像変換のゲインを弱一定にしておいても、前処理部１０１のゲインを上げることで、画像変換部１０２の間違いを少なくしたまま視差量を大きくすることができ、遠近感を向上することができる。
　図１に示した画像処理装置によれば、振幅レベルの大きい中高域の信号はより手前に融像されることになる。確率的に近景のものは振幅が大きくあらゆる周波数のものが存在するという特徴を利用し、２次元画像から両眼視差画像への変換が実現される。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部と、前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部と、を具備する画像処理装置。
（２）前記画像変換部は、前記２次元画像の輝度信号の微分成分をとり、その周波数に応じて、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は左右の画像間で信号遅延を大きくして奥に表示する、上記（１）に記載の画像処理装置。
（３）前記前処理部は、振幅レベル及び周波数成分に基づいて近景と判断される信号を強調する、上記（１）に記載の画像処理装置。
（４）前記前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする周波数フィルターと、前記周波数フィルターを通過した後の信号のうち大振幅の成分をエンハンスする振幅依存フィルターを備える、上記（１）に記載の画像処理装置。
（５）前記前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする第１の周波数フィルターと、入力される信号のうち高域以上の周波数成分をエンハンスする第２の周波数フィルターと、前記第１の周波数フィルターを通過した信号と前記第２の周波数フィルターを通過した信号を振幅に応じた比率で混合する混合フィルターを備える、上記（１）に記載の画像処理装置。
（６）２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理ステップと、前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換ステップと、を有する画像処理方法。
（７）２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部、前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書では、シャッター眼鏡を用い、左右の画像をフレーム・シーケンシャル方式で表示する時分割画像表示システムに適用した実施形態について説明してきたが、勿論、裸眼式など他の立体視画像表示システムにも本明細書で開示する技術を適用することができる。
　また、本明細書では、液晶表示パネルからなる表示装置に適用した実施形態について説明してきたが、旧来のＣＲＴ（Ｃａｔｈｏｄ　Ｒａｙ　Ｔｕｂｅ）ディスプレイの他、プラズマ・ディスプレイ・パネル（ＰＤＰ）、エレクトロ・ルミネッセンス（ＥＬ）パネルを用いる場合であっても、同様に本明細書で開示する技術を適用することができる。
　また、本明細書で説明した実施形態における画像処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
　要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　１１…表示装置
　１３…シャッター眼鏡
　１００…画像処理装置
　１０１…前処理部、１０２…画像変換部
　１２０…左右画像信号処理部
　１２４…通信部
　１２６…タイミング制御部
　１３０…ゲート・ドライバー
　１３２…データ・ドライバー
　１３４…液晶表示パネル、１３６…バックライト
　２０１…周波数フィルター、２０２…振幅依存フィルター
　３０１…第１の周波数フィルター
　３０２…第２の周波数フィルター
　３０３…混合フィルター
　３０８…左眼用シャッター・レンズ、３０９…右眼用シャッター・レンズ
 

Claims (7)

  1. 　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部と、
    　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部と、
    を具備する画像処理装置。
  2. 　前記画像変換部は、前記２次元画像の輝度信号の微分成分をとり、その周波数に応じて、高周波成分は左右の画像間で信号遅延を小さくして手前に表示し、低周波数成分は左右の画像間で信号遅延を大きくして奥に表示する、
    請求項１に記載の画像処理装置。
  3. 　前記前処理部は、振幅レベル及び周波数成分に基づいて近景と判断される信号を強調する、
    請求項１に記載の画像処理装置。
  4. 　前記前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする周波数フィルターと、前記周波数フィルターを通過した後の信号のうち大振幅の成分をエンハンスする振幅依存フィルターを備える、
    請求項１に記載の画像処理装置。
  5. 　前記前処理部は、入力される信号のうち中高域以上の周波数成分をエンハンスする第１の周波数フィルターと、入力される信号のうち高域以上の周波数成分をエンハンスする第２の周波数フィルターと、前記第１の周波数フィルターを通過した信号と前記第２の周波数フィルターを通過した信号を振幅に応じた比率で混合する混合フィルターを備える、
    請求項１に記載の画像処理装置。
  6. 　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理ステップと、
    　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換ステップと、
    を有する画像処理方法。
  7. 　２次元画像の信号に対して振幅レベルに基づく前処理を行なう前処理部、
    　前記前処理を行なった後の信号から周波数成分に基づいて遠近判断を行なって立体視画像を生成する画像変換部、
    としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
     
PCT/JP2012/082621 2012-02-22 2012-12-17 画像処理装置及び画像処理方法、並びにコンピューター・プログラム WO2013125139A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012036408 2012-02-22
JP2012-036408 2012-02-22

Publications (1)

Publication Number Publication Date
WO2013125139A1 true WO2013125139A1 (ja) 2013-08-29

Family

ID=49005339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082621 WO2013125139A1 (ja) 2012-02-22 2012-12-17 画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Country Status (1)

Country Link
WO (1) WO2013125139A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038756A (zh) * 2014-06-05 2014-09-10 中国科学院软件研究所 基于立体图像特征的立体图像舒适度检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120210A (ja) * 2009-10-28 2011-06-16 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011124935A (ja) * 2009-12-14 2011-06-23 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011120210A (ja) * 2009-10-28 2011-06-16 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011124935A (ja) * 2009-12-14 2011-06-23 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038756A (zh) * 2014-06-05 2014-09-10 中国科学院软件研究所 基于立体图像特征的立体图像舒适度检测方法
CN104038756B (zh) * 2014-06-05 2016-01-13 中国科学院软件研究所 基于立体图像特征的立体图像舒适度检测方法

Similar Documents

Publication Publication Date Title
TWI520569B (zh) 深度資訊產生器、深度資訊產生方法及深度調整裝置
WO2011125368A1 (ja) 立体画像表示装置、表示システム、駆動方法、駆動装置、表示制御方法、表示制御装置、プログラム、およびコンピュータ読み取り可能な記録媒体
US20120038758A1 (en) Apparatus, method and article for generating a three dimensional effect using active glasses
WO2011096280A1 (ja) 画像表示装置、画像表示システム及び画像表示方法
US9167237B2 (en) Method and apparatus for providing 3-dimensional image
EP2387245A2 (en) Three dimensional (3D) image display apparatus, and driving method thereof
TWI432013B (zh) 立體影像顯示方法及影像時序控制器
US20170171534A1 (en) Method and apparatus to display stereoscopic image in 3d display system
US20140118340A1 (en) 2d/3d polarized display method and device
EP2595395A1 (en) Display apparatus and driving method thereof
WO2011086593A1 (ja) 立体映像表示装置
WO2012124418A1 (ja) 表示装置及び表示方法
WO2013125139A1 (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US20120098831A1 (en) 3d display apparatus and method for processing 3d image
WO2013082176A2 (en) Apparatus, method and article for generating a three dimensional effect including using inverted images and/or passive filters
US20110187831A1 (en) Apparatus and method for displaying three-dimensional images
JP2012019376A (ja) 立体映像観賞用メガネ
CN102340675B (zh) 2d/3d转换装置及其实现方法
JP2012109706A (ja) 立体映像表示装置及び立体映像表示システム
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
CN105741751A (zh) Led三维显示控制系统
CN105744250A (zh) 三维显示转换盒
JP2013187654A (ja) 映像処理装置および映像処理方法
US20150054915A1 (en) Multiple-view image displaying apparatus for improving picture quality and a method thereof
JP2012181455A (ja) 画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12869572

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12869572

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP