JP6017144B2 - Image processing apparatus and method, program, and recording medium - Google Patents
Image processing apparatus and method, program, and recording medium Download PDFInfo
- Publication number
- JP6017144B2 JP6017144B2 JP2012022727A JP2012022727A JP6017144B2 JP 6017144 B2 JP6017144 B2 JP 6017144B2 JP 2012022727 A JP2012022727 A JP 2012022727A JP 2012022727 A JP2012022727 A JP 2012022727A JP 6017144 B2 JP6017144 B2 JP 6017144B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- control signal
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、立体画像における違和感をより低減させることができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。 The present technology relates to an image processing device and method, a program, and a recording medium, and more particularly, to an image processing device and method, a program, and a recording medium that can further reduce discomfort in a stereoscopic image.
近年、立体画像を表示する立体画像表示機器などの開発が進められている。 In recent years, development of a stereoscopic image display device that displays a stereoscopic image has been promoted.
二つ以上の異なる視点画像を表示する平面ディスプレイを使用した立体画像表示機器において、例えば、表示される画像に注目する物体に視差が大きくついていて実世界での見え方と異なっていることがある。 In a stereoscopic image display device that uses a flat display that displays two or more different viewpoint images, for example, an object that focuses on the displayed image may have a large parallax, which may be different from the real world appearance. .
すなわち、本来、人間の目で何かを観察したときは、画像の中で注目している物体の視差がなくなるように両目の画像の視差が調整されるはずである。従って、平面ディスプレイを使用した立体画像表示機器において、画像の中で注目している物体は、本来、ディスプレイの表面に視差のない状態で表示されるべきものである。 That is, when something is observed with human eyes, the parallax between the images of both eyes should be adjusted so that the parallax of the object of interest in the image disappears. Therefore, in a stereoscopic image display device using a flat display, an object of interest in the image should be displayed on the display surface without parallax.
ところが、一般的な立体画像表示機器では、画像の中で注目している物体にも視差が付けられていることがある。人間の目でこのような立体画像表示機器の画像を観察する場合、例えば、本来ディスプレイの表面の位置で見えるべき物体がディスプレイから飛び出して見えてしまう。つまり、人間の目が捉える画像の焦点と、表示される画像の視差(輻輳角)とが矛盾することになる。 However, in a general stereoscopic image display device, there is a case where parallax is also given to an object of interest in an image. When observing an image of such a stereoscopic image display device with the human eye, for example, an object that should originally be visible at the position on the surface of the display appears to jump out of the display. That is, the focus of the image captured by human eyes and the parallax (convergence angle) of the displayed image contradict each other.
このように、一般的な立体画像表示機器により表示される立体画像は、焦点と輻輳角の矛盾を内包していた。このような焦点と輻輳角の矛盾によって、立体画像を観察する際の目の疲労が生じると考えられる。 Thus, a stereoscopic image displayed by a general stereoscopic image display device includes a contradiction between a focal point and a convergence angle. Such a contradiction between the focal point and the convergence angle may cause eye fatigue when observing a stereoscopic image.
このため、例えば、特定被写体の位置ずれが算出され、この位置ずれから視差補正データが生成され、視差を有する2つの画像が視差補正データにしたがって特定被写体の視差がゼロとなるように互いにずらして合成表示される技術が提案されている(例えば、特許文献1参照)。 For this reason, for example, the positional deviation of the specific subject is calculated, parallax correction data is generated from the positional deviation, and the two images having parallax are shifted from each other so that the parallax of the specific subject becomes zero according to the parallax correction data. A technique for combining and displaying has been proposed (see, for example, Patent Document 1).
このようにすることで、例えば、立体動画を違和感無く鑑賞することが可能となる。 By doing in this way, for example, it becomes possible to appreciate a stereoscopic video without a sense of incongruity.
しかしながら、従来の技術では、立体動画の違和感を完全に払しょくすることはできなかった。 However, with the conventional technology, it has not been possible to completely eliminate the sense of incongruity of stereoscopic video.
例えば、特定の物体の視差をゼロとするように画像の表示が変更される場合、その物体の奥行方向の見え方も異なったものとする必要がある。例えば、ある物体がディスプレイから飛び出して見えるように表示されていた場合と、ディスプレイの表面の位置で見えるように表示されたいた場合とでは、その物体の側面の見え方なども異なるはずである。 For example, when the display of an image is changed so that the parallax of a specific object is zero, the appearance of the object in the depth direction needs to be different. For example, the appearance of the side of the object should be different between the case where the object is displayed so as to appear to jump out of the display and the case where the object is displayed so as to be visible at the position of the surface of the display.
しかしながら、特許文献1のように、視差を有する2つの画像をずらして合成した場合、物体の側面の見え方などを変えることはできなかった。
However, as in
また、本来、人間の目で何かを観察したときは、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるはずである。 Originally, when something is observed with the human eye, an object present at a position close to the focal point should appear clear and clear, and an object present at a position away from the focal point should appear blurry and blurred.
しかしながら、立体画像表示機器により表示される立体画像は、上述のようには見えず、例えば、どの部分も鮮明に見えることが多かった。つまり、従来の技術では、実際に人間の目で観察したときの被写界深度と、立体画像表示機器により表示される立体画像の被写界深度が異なってしまう場合があった。 However, the stereoscopic image displayed by the stereoscopic image display device does not look as described above, and for example, every part often appears clear. In other words, in the conventional technology, the depth of field when actually observed with the human eye may differ from the depth of field of the stereoscopic image displayed by the stereoscopic image display device.
さらに、従来の技術では、異なる距離にいる複数の人物がそれぞれ平面に描かれた「書き割り」みたいに見えるなどといったことが起こる場合がある。このような現象は「書き割り効果」と呼ばれている。 Furthermore, in the conventional technique, there are cases where a plurality of persons at different distances look like “writing splits” drawn on a plane. Such a phenomenon is referred to as a “writing effect”.
通常、カメラで物体を撮影した場合、レンズの画角によって遠近感が表現されるが、両眼視差を用いた立体画像の場合、2つのカメラで物体を撮影した時の見え方のずれである視差によって、遠近感が表現される。カメラの画角で表現される遠近感、すなわち単眼での奥行き情報と、視差で表現される遠近感、すなわち両眼での奥行き情報とが一致していない場合に、「書き割り効果」が生じると考えられている。 Normally, when an object is photographed with a camera, the perspective is expressed by the angle of view of the lens, but in the case of a stereoscopic image using binocular parallax, this is a shift in appearance when an object is photographed with two cameras. Perspective is expressed by parallax. Perspective that is expressed by the angle of view of the camera, that is, depth information with a single eye, and perspective that is expressed by parallax, that is, depth information with both eyes does not match, the “writing effect” occurs. It is believed that.
このため、立体画像における「書き割り効果」を低減させる有効な方式が期待されていた。 For this reason, an effective system for reducing the “writing effect” in a stereoscopic image has been expected.
本技術はこのような状況に鑑みて開示するものであり、立体画像における違和感をより低減させることができるようにするものである。 The present technology is disclosed in view of such a situation, and is capable of further reducing a sense of incongruity in a stereoscopic image.
本技術の一側面は、2以上の異なる視点の画像に基づいてディスプレイに表示される立体画像を観察するユーザの視線と前記立体画像を表示する前記ディスプレイの相対的な位置関係に基づき、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と、前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部とを備え、前記視差制御信号生成部は、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、前記画像再生成部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する画像処理装置である。 According to an embodiment of the present technology, based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the image of the two or more different viewpoints, Each of the images of the different viewpoints is regenerated based on an attraction area specifying unit that specifies an attraction area estimated as an area of high attention of the user who observes the stereoscopic image, and information on the specified attraction area An image regenerator that generates a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints that form the stereoscopic image, and each unit area represented by the parallax map A parallax control signal generation unit that generates a control signal for changing the parallax amount of the unit, wherein the parallax control signal generation unit is configured to correspond to the unit corresponding to the attraction area. Generating a control signal for changing the parallax of each unit area represented by the parallax map so that the parallax amount around the area changes steeply and nonlinearly, and the image regeneration unit adds the control signal to the control signal. An image processing apparatus that regenerates each of the images of different viewpoints based on the image processing apparatus.
前記画像再生成部は、前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成するようにすることができる。 The image regeneration unit may regenerate each of the different viewpoint images by moving pixels of the different viewpoint images according to the level of the control signal.
前記視差マップにより表された各単位領域の視差量に基づいて、前記各単位領域の鮮鋭度、ボケ、解像度感、コントラスト、または彩度を変更するボケ制御信号を生成するボケ制御信号生成部をさらに備え、前記画像再生成部は、前記ボケ制御信号に基づいて前記異なる視点の画像のそれぞれを再生成するようにすることができる。 Based on the parallax amount of each unit area represented by the previous SL disparity map, the sharpness of each unit area, blur, perceived resolution, blur control signal generator for generating a blur control signal for changing the contrast or color saturation, further wherein the image reproduction generating unit may be configured to regenerate each of the different viewpoints of the image based on the blur control signal.
前記画像再生成部は、前記ボケ制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成するようにすることができる。 The image regeneration unit may regenerate each of the different viewpoint images by changing the luminance value of the pixel of the different viewpoint image according to the level of the blur control signal.
本技術の一側面は、2以上の異なる視点の画像に基づいてディスプレイに表示される立体画像を観察するユーザの視線と前記立体画像を表示する前記ディスプレイの相対的な位置関係に基づき、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定ステップと、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成ステップと、前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成ステップと、前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成ステップとを含み、前記視差制御信号生成ステップは、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、前記画像再生成ステップは、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する画像処理方法である。 According to an embodiment of the present technology, based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the image of the two or more different viewpoints, Each of the different viewpoint images is regenerated based on an attraction area specifying step for specifying an attraction area that is estimated as an area of high attention of the user who observes the stereoscopic image, and information on the specified attraction area. An image regenerating step, a disparity map generating step for generating a disparity map representing a disparity amount for each unit region in each of images of different viewpoints constituting the stereoscopic image, and each unit region represented by the disparity map A parallax control signal generating step for generating a control signal for changing the parallax amount of the parallax, and the parallax control signal generating step includes: Generating a control signal for changing the parallax of each unit area represented by the parallax map so that the parallax amount around the unit area corresponding to the memory area changes steeply and nonlinearly, and reproduces the image The creating step is an image processing method for regenerating each of the images of the different viewpoints based on the control signal .
本技術の一側面は、コンピュータを、2以上の異なる視点の画像に基づいてディスプレイに表示される立体画像を観察するユーザの視線と前記立体画像を表示する前記ディスプレイの相対的な位置関係に基づき、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と、前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部として機能させ、前記視差制御信号生成部は、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、前記画像再生成部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成するプログラムである。 According to an embodiment of the present technology, computer, two or more different viewpoint images the display relative positional relationship between the display line of sight with the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the Each of the images of the different viewpoints based on information relating to the specified attraction area, and an attraction area specifying unit that specifies an attraction area estimated as a high attention area of the user observing the stereoscopic image Represented by the parallax map, a parallax map generating unit for generating a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints constituting the stereoscopic image, and the parallax map The parallax control signal generation unit functions as a parallax control signal generation unit that generates a control signal for changing the parallax amount of each unit region, and the parallax control signal generation unit Generating a control signal for changing the parallax of each unit area represented by the parallax map so that the parallax amount around the unit area corresponding to the area changes steeply and nonlinearly, and the image regeneration unit Is a program for regenerating each of the images of the different viewpoints based on the control signal .
本技術の一側面においては、2以上の異なる視点の画像に基づいてディスプレイに表示される立体画像を観察するユーザの視線と前記立体画像を表示する前記ディスプレイの相対的な位置関係に基づき、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域が特定され、前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれが再生成され、前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップが生成され、前記視差マップにより表された各単位領域の視差量を変更するための制御信号が生成される。 In one aspect of the present technology, based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on two or more different viewpoints of the image the is conspicuous region estimated is identified as a region with high attention of the user to observe a stereoscopic image, on the basis of the information relating to the identified conspicuity regions, each image of the different viewpoints is regenerated, the stereoscopic A disparity map representing the amount of parallax for each unit region in each of the images of different viewpoints constituting the image is generated, and a control signal for changing the amount of parallax of each unit region represented by the disparity map is generated .
本技術によれば、立体画像における違和感をより低減させることができるようにすることができる。 According to the present technology, it is possible to further reduce discomfort in a stereoscopic image.
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。 Hereinafter, embodiments of the technology disclosed herein will be described with reference to the drawings.
図1は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置10には、例えば、立体画像を表示するための視差を有する2つの画像信号であって画像信号L1および画像信号R1が入力される。例えば、画像信号L1は、左目用の画像を表示するための画像信号とされ、画像信号R1は右目用の画像を表示するための画像信号とされる。
FIG. 1 is a block diagram illustrating a configuration example according to an embodiment of an image processing apparatus to which the present technology is applied. For example, two image signals having parallax for displaying a stereoscopic image, that is, an image signal L1 and an image signal R1 are input to the
画像処理装置10は、入力された画像信号L1および画像信号R1(まとめて入力画像信号と称する)を、入力画像信号に基づいて表示された画像を観察するユーザの目の焦点に係る領域である誘目領域に応じて補正、変更などするようになされている。
The
図1の例では、画像処理装置10が、視線検出部21、視差マップ生成部22、制御信号生成部23、および、画像再生成部24を有する構成とされている。
In the example of FIG. 1, the
視線検出部21は、入力画像のどの部分を注視しているかを表す信号E1を出力する。視線検出部21は、例えば、ユーザを撮影するカメラから出力される信号C1に基づいてユーザの視線を検出する。そして、視線検出部21は、検出された視線と図示せぬディスプレイとの相対的な位置関係から、画像の中での注目点を特定し、当該注目点に対応する領域を誘目領域として設定し、その領域を表す信号E1を生成して出力する。
The line-of-
ここで、誘目領域は、画像処理装置10によって表示された画像を観察するユーザのアテンションの高い(と推定される)領域を意味する。
Here, the attracting area means an area with a high (presumed) attention of the user who observes the image displayed by the
視差マップ生成部22は、入力画像信号に基づいて視差マップを生成する。視差マップは、例えば、画像信号L1および画像信号R1によって表示される画像における各画素の視差量を表示するものとされる。例えば、画像信号L1に対応する画像および画像信号R1に対応する画像間でブロックマッチングが行われることにより、各画素の視差量が求められる。同図の例では、視差マップ生成部22により視差マップの信号DL1および信号DR1が生成されている。
The parallax
なお、ここでは、視差マップが各画素の視差量を表示するものとして説明したが、必ずしも画素毎に視差量を表示する必要はない。例えば、視差マップが複数の画素により構成されるブロックの視差量を表示するものとしてもよい。 Here, the parallax map has been described as displaying the parallax amount of each pixel, but it is not always necessary to display the parallax amount for each pixel. For example, the parallax map may display a parallax amount of a block composed of a plurality of pixels.
制御信号生成部23は、視差検出部21から供給される信号E1に基づいて、誘目領域を特定する。制御信号生成部23は、誘目領域の画素の視差量がゼロとなるように視差マップの各画素の視差量を調節するための制御信号を生成する。同図の例では、制御信号生成部23により制御信号DL2および制御信号DR2が生成されている。
The control
画像再生成部24は、制御信号DL2および制御信号DR2にもとづいて左目用の画像と右目用の画像を再生成する。そして、再生成された左目用の画像に対応する画像信号L2、および、再生成された右目用の画像に対応する画像信号R2に対応する画像信号R2が出力される。なお、画像信号L2と画像信号R2を、適宜、まとめて出力画像信号と称する。
The
例えば、入力画像信号の画素を、制御信号DL2または制御信号DR2の値に応じた分だけ移動するなどして再生成した画像信号L2および画像信号R2を得る。なお、例えば、オクルージョン等、値が埋まらない箇所に関しては、画像内からの推定や、反対側の画像情報からの補間、時間軸の異なる画像情報からの補間等で穴埋めする。 For example, the regenerated image signal L2 and the image signal R2 are obtained by moving the pixels of the input image signal by an amount corresponding to the value of the control signal DL2 or the control signal DR2. Note that, for example, occlusion or the like where a value is not filled is filled by estimation from within the image, interpolation from image information on the opposite side, interpolation from image information having a different time axis, or the like.
図2は、入力画像信号に対応する画像の例を示している。同図の左側には、画像信号L1に対応する画像が示され、同図の右側には、画像信号R1に対応する画像が示されている。 FIG. 2 shows an example of an image corresponding to the input image signal. An image corresponding to the image signal L1 is shown on the left side of the figure, and an image corresponding to the image signal R1 is shown on the right side of the figure.
図3は、図2に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。上述したように、視差マップは、画像信号L1および画像信号R1によって表示される立体画像における各画素の視差量を表示するものとされ、この例では各画素の視差量が画素の輝度により表現されている。図3の左側は、画像信号L1に対応する画像の視差マップとされ、図3の右側は、画像信号R1に対応する画像の視差マップとされる。 FIG. 3 is a diagram showing an example of a parallax map obtained from an input image signal corresponding to the image shown in FIG. As described above, the parallax map displays the parallax amount of each pixel in the stereoscopic image displayed by the image signal L1 and the image signal R1, and in this example, the parallax amount of each pixel is expressed by the luminance of the pixel. ing. The left side of FIG. 3 is a parallax map of an image corresponding to the image signal L1, and the right side of FIG. 3 is a parallax map of an image corresponding to the image signal R1.
図3の例の場合、明るい画素ほど、画面から飛び出して見えるような視差を有しており、暗い画素ほど画面から遠く見えるような視差を有していることを表している。すなわち、図3の視差マップにおいて、灰色の画素は視差の無い画素とされ、白い画素、または明るい灰色の画素、および、黒い画素または暗い灰色の画素は、それぞれ視差を有する画素とされる。 In the case of the example in FIG. 3, the bright pixel has a parallax that appears to jump out of the screen, and the darker pixel has a parallax that looks far from the screen. That is, in the parallax map of FIG. 3, gray pixels are pixels without parallax, and white pixels, light gray pixels, and black pixels or dark gray pixels are pixels having parallax, respectively.
また、図3には、矢印51によりユーザの注目点が表されている。上述したように、視線検出部21は、例えば、ユーザを撮影するカメラから出力される信号C1に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印51で示される点の周囲の領域を誘目領域として設定し、信号E1を生成して出力する。
In FIG. 3, the user's attention point is represented by an
そして、上述したように、制御信号生成部23が、誘目領域の画素の視差量がゼロとなるように視差マップの各画素の視差量を調節するための制御信号を生成する。
Then, as described above, the control
図4は、制御信号生成部23による制御信号の生成、および、画像再生成部24による画像の再生成の例を説明する図である。同図では、横軸が入力画像信号に対応する画像の水平方向の座標値を表し、縦軸が視差量、または、制御信号のレベルを表している。
FIG. 4 is a diagram for explaining an example of control signal generation by the control
この例では、図4の最も上側に、便宜上、画像信号L1に対応する画像の輪郭71が表示されており、この画像の中で図中の水平方向の点線(一点鎖線)72で示される位置の画素の視差量の変化を表す信号DL1が実線81で表されている。すなわち、実線81によって、点線83における視差量をゼロとした場合の画像信号L1に対応する画像の中の所定位置(点線72)における各画素の視差量の変化が表されている。なお、ここでは、信号DL1の取り得る値(レベル)を、例えば、0乃至256とし、信号のレベル128(点線83)が視差量ゼロを表している。
In this example, for the sake of convenience, an
そして、制御信号生成部23によって、図3の矢印51で示される点に対応する誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号DL2が生成される。制御信号DL2を生成する場合、制御信号生成部23は、まず補正ゲインGを式(1)により算出する。
Then, the control
なお、式(1)において、TGTは、信号DL1において視差量がゼロとなる信号のレベル(例えば、128)を表し、LVLaは、信号DL1における誘目領域の視差量に対応する信号のレベルを表す。 In Expression (1), TGT represents a signal level (for example, 128) at which the parallax amount is zero in the signal DL1, and LVLa represents a signal level corresponding to the parallax amount of the attracting region in the signal DL1. .
制御信号生成部23は、上述したように算出された補正ゲインGを用いて、信号DL1における各画素の視差量|v|_xを変数とした関数として表される制御信号DL2_LVL(|v|_x)を式(2)によって求める。
The
式(2)により、図4の画像信号L1に対応する画像の中で、点線72で示される位置の各画素に対応する制御信号DL2のレベル(すなわち、図3の実線82)が得られる。
According to Expression (2), the level of the control signal DL2 corresponding to each pixel at the position indicated by the dotted
画像再生成部24は、実線82で示される制御信号DL2のレベルに基づいて、画像信号L1の各画素を移動させる。例えば、図4の点線72で示される位置の各画素に対応する制御信号DL2のレベルに応じて定まる距離だけ、各画素を水平方向左または右に移動させる。例えば、制御信号DL2のレベルがマイナスの値である場合、各画素を水平方向左に移動させ、制御信号DL2のレベルがプラスの値である場合、各画素を水平方向右に移動させる。
The
そして、画像信号L1に対して制御信号DL2に応じた視差量の補正が施された画像信号L2が生成され、画像信号L1に対応する画像が再生成れることになる。なお、ここで再生成された画像に対応する画像信号は、画像信号L2として出力される。 Then, the image signal L2 in which the parallax amount correction according to the control signal DL2 is performed on the image signal L1 is generated, and the image corresponding to the image signal L1 is regenerated. Note that the image signal corresponding to the regenerated image is output as the image signal L2.
図4の最も下側には、便宜上、画像信号L2に対応する画像の輪郭73が表示されており、図中の水平方向点線74において、画像信号L1の各画素が移動させられている。同図に示されるように、輪郭73は、輪郭71と比べて図中左方向にずれており、かつ、水平方向の長さが短くなっている。
For convenience, an
すなわち、輪郭71に対応する画素位置において、制御信号DL2のレベルはマイナスとなるので、輪郭73は、輪郭71と比べて図中左方向にずれる。また、図中右側において制御信号DL2のレベルの絶対値が大きくなっており、図中左側において制御信号DL2のレベルの絶対値が小さくなっているので、輪郭73を構成する画素のうち、右側の画素については左方向に大きく移動させられ、左側の画素については左方向に小さく移動させられる。このため、輪郭73は、輪郭71と比べて図中左方向にずれており、かつ、水平方向の長さが短くなっている。
That is, since the level of the control signal DL2 is negative at the pixel position corresponding to the
なお、このようにして画像を再生成した場合、例えば、移動先で画素が重なったり、または、移動元の画素が存在しない部分が生じたりする場合がある。このような場合、例えば、重なった画素の平均値等を求めることで画像信号を得るようにする。また、画像の中で画素値が定まらない箇所については、例えば、同じ画像の中からの推定、反対側(例えば、右目側)の画像の情報、時間軸の異なる画像の情報などを用いて補間する。 Note that when the image is regenerated in this way, for example, pixels may overlap at the movement destination, or a portion where the movement source pixel does not exist may occur. In such a case, for example, an image signal is obtained by obtaining an average value of overlapping pixels. In addition, with regard to a portion where the pixel value is not determined in the image, for example, interpolation is performed using estimation from the same image, information on the image on the opposite side (for example, the right eye side), information on an image with a different time axis, etc. To do.
ここでは、左目用の画像に係る制御信号生成部23による制御信号の生成、および、画像再生成部24による画像の再生成の例を説明したが、右目用の画像についても同様にして制御信号の生成、および、画像の再生成が行われる。なお、右目用の画像の場合、画像の再生成の際に画素を移動させる方向が逆になる。
Here, an example of the generation of the control signal by the control
このようにして画像再生成部24によって画像が再生成され、再生成された画像に対応する画像信号L2および画像信号R2が出力される。
In this way, the image is regenerated by the
なお、上述した方式は、画像再生成部24による画像の再生成の一例であって、他の方式により画像の再生成が行われるようにしてもよい。例えば、ここでは、左目用の画像については左目用の画像の画素のみを用いて画像の再生成が行われる例について説明したが、左目用の画像を再生成する際に右目用の画像の画素も用いられるようにしてもよい。すなわち、画像の再生成が行われる際に、都度、左目用の画像の画素および右目用の画像の画素のそれぞれが用いられるようにしてもよい。
Note that the above-described method is an example of image regeneration by the
画像の再生成が行われる際に、都度、左目用の画像の画素および右目用の画像の画素のそれぞれが用いられる方式については、例えば、特開2011−259045などに詳細に開示されている。 For example, Japanese Patent Application Laid-Open No. 2011-259045 discloses in detail a method in which each of the left-eye image pixel and the right-eye image pixel is used each time the image is regenerated.
勿論、上記以外のさらに別の方式により画像再生成部24による画像の再生成が行われるようにすることも可能である。
Of course, the image regeneration by the
図5は、出力画像信号に対応する画像の例を示している。同図の左側には、画像信号L2に対応する画像が示され、同図の右側には、画像信号R2に対応する画像が示されている。図5に示される画像に表示されたオブジェクトは、図4に示される輪郭73に対応する形状とされている。
FIG. 5 shows an example of an image corresponding to the output image signal. An image corresponding to the image signal L2 is shown on the left side of the figure, and an image corresponding to the image signal R2 is shown on the right side of the figure. The object displayed in the image shown in FIG. 5 has a shape corresponding to the
このようにすることで、立体画像における焦点と輻輳角の矛盾を解決することができる。一般的な立体画像表示機器では、画像の中で注目している物体にも視差が付けられていることがある。人間の目でこのような立体画像表示機器の画像を観察する場合、例えば、本来ディスプレイの表面の位置で見えるべき物体がディスプレイから飛び出して見えてしまう。つまり、人間の目が捉える画像の焦点と、表示される画像の視差(輻輳角)とが矛盾することになる。 By doing in this way, the contradiction between the focus and the convergence angle in the stereoscopic image can be solved. In a general stereoscopic image display device, parallax may be added to an object of interest in an image. When observing an image of such a stereoscopic image display device with the human eye, for example, an object that should originally be visible at the position on the surface of the display appears to jump out of the display. That is, the focus of the image captured by human eyes and the parallax (convergence angle) of the displayed image contradict each other.
例えば、図6に示されるように立体画像が表示されている場合を考える。図6は、ユーザ110がディスプレイ100に表示された立体画像を観察する場合の焦点と輻輳角の矛盾を説明する図である。同図の例では、立体画像においてオブジェクト101とオブジェクト102が表示されているものとし、図中においてオブジェクト101とオブジェクト102は立体画像を観察するユーザ110が感じる仮想的な位置に記載されている。
For example, consider a case where a stereoscopic image is displayed as shown in FIG. FIG. 6 is a diagram for explaining the contradiction between the focus and the convergence angle when the
図6Aは、焦点と輻輳角の矛盾が生じる場合の例を説明する図である。同図の例では、ユーザ110は、オブジェクト101に注目しており、立体画像においては、オブジェクト101がディスプレイ100から飛び出して見えるように表示され、オブジェクト102は、ディスプレイ100の奥に存在するように表示される。オブジェクト101を構成する画素が視差を有しているので、ユーザ110の右目と左目の視線の輻輳角によって、ユーザ110には、オブジェクト101がディスプレイ100から飛び出しているように感じられるのである。
FIG. 6A is a diagram illustrating an example in the case where a contradiction between the focal point and the convergence angle occurs. In the example shown in the figure, the
しかし、例えば、実世界においてユーザ110がオブジェクト101を注目する場合、ユーザ110の視線の焦点はオブジェクト101上にあることになるので、このような輻輳角は生じないはずである。このような焦点と輻輳角の矛盾によって、立体画像を観察する際の目の疲労が生じると考えられる。
However, for example, when the
図6Bは、本技術を適用した画像処理装置10による画像処理が施されたことにより焦点と輻輳角の矛盾が解決した場合の例を説明する図である。同図の例では、ユーザ110は、やはりオブジェクト101に注目している。しかし図6Bの場合、立体画像においては、オブジェクト101がディスプレイ100上に見えるように表示され、オブジェクト102は、ディスプレイ100のさらに奥に存在するように表示される。
FIG. 6B is a diagram illustrating an example in a case where the contradiction between the focus and the convergence angle is resolved by performing the image processing by the
すなわち、オブジェクト101を構成する画素の視差をゼロとするように各画素の視差がオフセットされたことにより、図6Bの場合、ユーザ110には、オブジェクト101がディスプレイ100上にあるように感じられるのである。このようにすることで、焦点と輻輳角の矛盾を解決することができ、立体画像におけるオブジェクト101とオブジェクト102の位置関係も維持することができる。さらに、本技術では、図4を参照して上述したように画像が再生成されるので、自然な立体画像を表示することができる。
That is, since the parallax of each pixel is offset so that the parallax of the pixels constituting the
例えば、特定の物体の視差をゼロとするように立体画像の表示が変更される場合、その物体の奥行方向の見え方も異なったものとする必要がある。例えば、ある物体がディスプレイから飛び出して見えるように表示されていた場合と、ディスプレイの表面の位置で見えるように表示されたいた場合とでは、その物体の側面の見え方なども異なるはずである。しかしながら、従来の技術のように、視差を有する2つの画像をずらして合成した場合、物体の側面の見え方などを変えることはできなかった。 For example, when the display of a stereoscopic image is changed so that the parallax of a specific object is zero, the appearance of the object in the depth direction needs to be different. For example, the appearance of the side of the object should be different between the case where the object is displayed so as to appear to jump out of the display and the case where the object is displayed so as to be visible at the position of the surface of the display. However, when two images having parallax are shifted and combined as in the prior art, it is not possible to change the appearance of the side surface of the object.
これに対して、本技術では、図4を参照して上述したように画像が再生成されるので、物体の側面の見え方なども適切に変更することができ、違和感のない自然な立体画像を表示することができる。 On the other hand, in the present technology, since the image is regenerated as described above with reference to FIG. 4, the appearance of the side surface of the object can be appropriately changed, and a natural stereoscopic image without a sense of incongruity Can be displayed.
ところで、図1を参照して上述した構成においては、視線検出部21がユーザの視線を検出し、検出された視線と図示せぬディスプレイとの相対的な位置関係から、画像の中での注目点を特定し、当該注目点に対応する領域を誘目領域として設定するものとして説明した。しかし、例えば、ユーザの視線を検出することなく、画像を解析することにより誘目領域が設定されるようにしてもよい。
By the way, in the configuration described above with reference to FIG. 1, the line-of-
図7は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図において、図1と対応する部分には同一の符号が付されている。 FIG. 7 is a block diagram illustrating a configuration example according to another embodiment of an image processing apparatus to which the present technology is applied. In the figure, parts corresponding to those in FIG.
図7に示される画像処理装置10には、図1の場合とは異なり、視線検出部21が設けられておらず、誘目領域検出部31が設けられている。
Unlike the case of FIG. 1, the
誘目領域検出部31は、例えば、入力された画像信号L1に対応する画像および画像信号R1に対応する画像の中から顔の画像を検出し、その検出された顔の領域を誘目領域として設定する。一般的に、画像の中における人物の顔はアテンションの高い領域と推定されるからである。そして、誘目領域検出部31は、画像信号L1に対応する画像の中の誘目領域を表す信号RL1、および、画像信号R1に対応する画像の中の誘目領域を表す信号RR1を出力するようになされている。 For example, the attraction area detection unit 31 detects a face image from the image corresponding to the input image signal L1 and the image corresponding to the image signal R1, and sets the detected face area as an attraction area. . This is because a human face in an image is generally estimated to be a high attention area. Then, the attraction area detection unit 31 outputs a signal RL1 representing the attraction area in the image corresponding to the image signal L1, and a signal RR1 representing the attraction area in the image corresponding to the image signal R1. ing.
図7の構成の場合、制御信号生成部23は、誘目領域検出部31から供給される信号RL1および信号RR1に基づいて、誘目領域を特定する。
In the case of the configuration of FIG. 7, the control
なお、誘目領域検出部31は、顔の画像を検出し、その顔に係る特徴量を図示せぬデータベースに記憶された情報と照合するなどし、所定の人物の顔であると判定された場合に、その検出された顔の領域を誘目領域として設定するようにしてもよい。 The attracting area detection unit 31 detects a face image, compares the feature amount of the face with information stored in a database (not shown), and determines that the face is a predetermined person's face. In addition, the detected face area may be set as the attracting area.
あるいはまた、画像の中のオブジェクトの中で人間の注目度の高い色や形状のオブジェクトが検出され、その検出されたオブジェクトの領域が誘目領域として設定されるようにしてもよい。 Alternatively, a color or shape object with a high human attention level may be detected among the objects in the image, and the area of the detected object may be set as the attracting area.
さらに、画像の撮像時のピント調整、大気遠近法によって生じる鮮鋭度、コントラスト、または彩度などの情報に基づいて誘目領域が設定されるようにしてもよいし、画像の動き検出を用いたカメラワーク推定から誘目領域が設定されるようにしてもよい。なお、このような誘目領域の検出の方式については、例えば、特開2008−53775などに詳細に開示されている。 Furthermore, the attraction area may be set based on information such as focus adjustment at the time of image capture, sharpness, contrast, or saturation generated by atmospheric perspective, or a camera using image motion detection. An attractive area may be set based on the work estimation. Note that such a method for detecting an attracting area is disclosed in detail in, for example, Japanese Patent Application Laid-Open No. 2008-53775.
あるいはまた、上述したような方式のそれぞれにより誘目領域を検出し、検出結果を重み付けするなどして最終的に誘目領域が特定されるようにしてもよい。 Alternatively, the attraction area may be finally specified by detecting the attraction area by each of the methods described above and weighting the detection result.
図7におけるそれ以外の部分については、図1の場合と同様なので詳細な説明は省略する。 Since the other portions in FIG. 7 are the same as those in FIG. 1, detailed description thereof is omitted.
ところで、立体画像における視差が変更された場合、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等が変更されるようにすると、より自然な立体画像を表示することが可能となる。 By the way, when the parallax in the stereoscopic image is changed, if the sharpness, blur, resolution, contrast, saturation, etc. are changed according to the changed parallax, a more natural stereoscopic image can be displayed. Is possible.
例えば、図1または図7に示される制御信号生成部23により生成される制御信号DL2および制御信号DR2において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれるようにしてもよい。
For example, the control signal DL2 and the control signal DR2 generated by the control
図8は、入力画像信号に対応する画像の別の例を示している。同図の左側には、画像信号L1に対応する画像が示され、同図の右側には、画像信号R1に対応する画像が示されている。この例では、画像信号L1に対応する画像および画像信号R1に対応する画像のそれぞれにオブジェクトが表示されており、それらのオブジェクトに模様(ここでは斜線や直線によって表されている)が付されている。 FIG. 8 shows another example of an image corresponding to the input image signal. An image corresponding to the image signal L1 is shown on the left side of the figure, and an image corresponding to the image signal R1 is shown on the right side of the figure. In this example, an object is displayed on each of the image corresponding to the image signal L1 and the image corresponding to the image signal R1, and these objects are provided with patterns (represented by diagonal lines or straight lines here). Yes.
図9は、図8に示される画像に対応する入力画像信号から得られた視差マップの例を示す図である。上述したように、視差マップは、画像信号L1および画像信号R1が合成されて表示される画像における各画素の視差量を表示するものとされ、この例では各画素の視差量が画素の輝度により表現されている。図9の左側は、画像信号L1に対応する画像の視差マップとされ、図9の右側は、画像信号R1に対応する画像の視差マップとされる。 FIG. 9 is a diagram showing an example of a parallax map obtained from an input image signal corresponding to the image shown in FIG. As described above, the parallax map displays the parallax amount of each pixel in the image displayed by combining the image signal L1 and the image signal R1, and in this example, the parallax amount of each pixel depends on the luminance of the pixel. It is expressed. The left side of FIG. 9 is a parallax map of an image corresponding to the image signal L1, and the right side of FIG. 9 is a parallax map of an image corresponding to the image signal R1.
図9の例の場合、明るい画素ほど、画面から飛び出して見えるような視差を有しており、暗い画素ほど画面から遠く見えるような視差を有していることを表している。すなわち、図9の視差マップにおいて、灰色の画素は視差の無い画素とされ、白い画素、または明るい灰色の画素、および、黒い画素または暗い灰色の画素は、それぞれ視差を有する画素とされる。 In the case of the example in FIG. 9, the brighter pixel has a parallax that appears to jump out of the screen, and the darker pixel has a parallax that looks farther from the screen. That is, in the parallax map of FIG. 9, gray pixels are pixels without parallax, and white pixels, light gray pixels, and black pixels or dark gray pixels are pixels having parallax, respectively.
また、図9には、矢印52によりユーザの注目点が表されている。上述したように、視線検出部21は、例えば、ユーザを撮影するカメラから出力される信号C1に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印51で示される点の周囲の領域を誘目領域として設定し、信号E1を生成して出力する。あるいはまた、誘目領域検出部31によって、矢印51で示される点の周囲の領域が誘目領域として設定されるようにしてもよい。
In FIG. 9, the user's attention point is represented by an
このとき上述したように、制御信号生成部23によって、図9の矢印52で示される点に対応する誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号が生成される。そして、制御信号生成部23によって、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号がさらに生成される。
At this time, as described above, the
図10は、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号の例を説明する図である。ここでは、視差に応じて画素の鮮鋭度とボケの度合が制御されるものとして説明する。図10は、画素毎の鮮鋭度とボケの度合を表す図とされ、各画素の鮮鋭度とボケの度合が画素の輝度により表現されている。同図において、明るい画素ほど、鮮鋭度が高く、暗い画素ほどボケの度合が高いことを表している。 FIG. 10 is a diagram illustrating an example of a control signal for changing the sharpness, blur, sense of resolution, contrast, saturation, and the like according to the changed parallax. Here, description will be made assuming that the sharpness and the degree of blur of a pixel are controlled according to the parallax. FIG. 10 is a diagram showing the sharpness and the degree of blur for each pixel, and the sharpness and the degree of blur of each pixel are expressed by the luminance of the pixel. In the figure, the brighter the pixel, the higher the sharpness, and the darker the pixel, the higher the degree of blur.
いまの場合、制御信号生成部23によって生成される制御信号DL2および制御信号DR2には、画素毎の視差を変更するための情報とともに、図10に示されるような画素毎の鮮鋭度とボケの度合を表す情報が含められる。
In this case, the control signal DL2 and the control signal DR2 generated by the
画像再生成部24は、制御信号のレベルに基づいて、画像信号L1および画像信号R1の鮮鋭度とボケの度合を変更する。この場合、画像再生成部24は、例えば、制御信号のレベルに応じて画像信号L1に対応する画像および画像信号R1に対応する画像の各画素の輝度値などを変更する。このようにして画像再生成部24によって画像が再生成され、再生成された画像に対応する画像信号L2および画像信号R2が出力される。
The
図11は、出力画像信号に対応する画像の例を示している。同図の左側には、画像信号L2に対応する画像が示され、同図の右側には、画像信号R2に対応する画像が示されている。図11に示される画像に表示されたオブジェクトは、図中中央付近の模様が鮮明に表示され、その周囲の模様は不鮮明に表示されている。すなわち、図9または図10において明るい色の画素で表示されている部分では模様が鮮明に表示され、暗い色の画素で表示されている部分では模様が不鮮明に表示されている。 FIG. 11 shows an example of an image corresponding to the output image signal. An image corresponding to the image signal L2 is shown on the left side of the figure, and an image corresponding to the image signal R2 is shown on the right side of the figure. In the object displayed in the image shown in FIG. 11, the pattern near the center in the drawing is clearly displayed, and the surrounding pattern is displayed unclearly. That is, in FIG. 9 or FIG. 10, the pattern is clearly displayed in the portion displayed with the bright color pixels, and the pattern is displayed unclear in the portion displayed with the dark color pixels.
本来、人間の目で何かを観察したときは、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるはずである。 Originally, when something is observed with the human eye, an object present at a position close to the focal point should appear clear and clear, and an object present at a position away from the focal point should appear blurry and blurred.
しかしながら、従来の立体画像は、上述のようには見えず、例えば、どの部分も鮮明に見えることが多かった。つまり、従来の技術では、実際に人間の目で観察したときの被写界深度と、立体画像表示機器などにより表示される立体画像の被写界深度が異なってしまう場合があった。 However, a conventional stereoscopic image does not look as described above, and for example, every part often looks clear. That is, in the conventional technique, the depth of field when actually observed with human eyes may differ from the depth of field of a stereoscopic image displayed by a stereoscopic image display device or the like.
これに対して、本技術では、図8乃至図11を参照して上述したように画像が再生成されるので、焦点に近い位置に存在する物体はくっきりと鮮明に見え、焦点から離れた位置に存在する物体はぼんやりと不鮮明に見えるように、立体画像を表示するこができる。従って、人間の目で観察したときの被写界深度と同様の被写界深度を再現することができ、違和感のない自然な立体画像を表示することができる。 On the other hand, in the present technology, since the image is regenerated as described above with reference to FIGS. 8 to 11, the object existing near the focus looks clear and clear, and the position away from the focus. It is possible to display a stereoscopic image so that an object existing in the image looks blurry and blurry. Therefore, it is possible to reproduce a depth of field similar to the depth of field when observed with human eyes, and to display a natural stereoscopic image without a sense of incongruity.
なお、上述した例では、制御信号生成部23によって、誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットするとともに、変更後の視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号が生成されるものとして説明した。しかし、例えば、各画素値の視差をオフセットすることなく、単に視差に応じて、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更する制御信号が生成されるようにしてもよい。
In the above-described example, the control
ところで、平面画像を合成して表示する立体画像においては、実世界と同様に視差を表現することはできず、ところによっては視差量が圧縮されることがある。このため、例えば、立体画像における視差が変更される場合、立体画像の中での仮想的な位置関係に応じて一律に視差を変更するだけでなく、例えば、誘目領域の周辺では急峻に視差量が変化するように設定されるようにしてもよい。 By the way, in the stereoscopic image that is displayed by combining the planar images, the parallax cannot be expressed as in the real world, and the amount of parallax may be compressed depending on the place. For this reason, for example, when the parallax in the stereoscopic image is changed, not only the parallax is uniformly changed according to the virtual positional relationship in the stereoscopic image, but also, for example, the amount of parallax steeply around the attracting area May be set to change.
例えば、制御信号生成部23が、視差量を適切に調整するフィルタ機能を有するようにしてもよい。この場合、例えば、誘目領域の視差量がゼロとなるように各画素値の視差をオフセットする制御信号を生成した後、オフセットされた後の各画素の視差量にフィルタ処理が施されることによって補正される。
For example, the control
図12は、上述した場合の制御信号生成部23によるフィルタ処理を説明する図である。同図は、横軸がフィルタ処理前の画素の視差量(In)とされ、縦軸がフィルタ処理後の画素の視差量(Out)とされ、フィルタ処理前後の視差量の変化が示されている。
FIG. 12 is a diagram for explaining the filter processing by the control
同図における点線151によって、実質的な補正が行われない場合のフィルタ処理前後の視差量の変化が示されている。また、同図の実線152によって、実質的な補正が行われた場合のフィルタ処理前後の視差量の変化が示されている。また、図12中の矢印Aで示される範囲の視差量が誘目領域の視差量を表している。
A dotted
図12に示されるように、実線152では、誘目領域の周辺において急峻に視差量が変化している。制御信号生成部23によるフィルタ処理によって、例えば、このように視差量の変化が非線形となるように、オフセットされた後の各画素の視差量をさらに補正するための制御信号が生成されるようにしてもよい。
As shown in FIG. 12, in the
例えば、図12に示されるように、視差量を補正することで、例えば、視差量が圧縮された立体画像において、視差量を大きくしすぎることなく、視覚的に重要な領域の立体感を向上させることができる。このようにすることで、例えば、異なる距離にいる複数の人物がそれぞれ平面に描かれた「書き割り」みたいに見えるなどといった「書き割り効果」を低減させることができる。 For example, as shown in FIG. 12, by correcting the amount of parallax, for example, in a stereoscopic image in which the amount of parallax is compressed, the stereoscopic effect of a visually important region is improved without increasing the amount of parallax. Can be made. By doing so, for example, it is possible to reduce the “writing effect” such that a plurality of persons at different distances look like “writing” drawn on the plane.
ここでは、制御信号生成部23によるフィルタ処理によって、もともと線形に変化していた視差量の変化が非線形となるように補正する例について説明したが、例えば、もともと非線形に変化していた視差量の変化が線形となるように補正することも可能である。
Here, an example has been described in which correction by the control
次に、図13のフローチャートを参照して、本技術を適用した画像処理装置10による画像処理の例について説明する。
Next, an example of image processing by the
ステップS21において、画像処理装置10は、入力画像信号を受け付ける。
In step S21, the
ステップS22において、視差マップ生成部22は、ステップS21で受け付けられた入力画像信号に基づいて視差マップを生成する。視差マップは、例えば、画像信号L1および画像信号R1が合成されて表示される画像における各画素の視差量を表示するものとされる。例えば、画像信号L1に対応する画像および画像信号R1に対応する画像間でブロックマッチングが行われることにより、各画素の視差量が求められる。これにより、例えば、図3または図9に示されるような視差マップが生成される。
In step S22, the parallax
ステップS23において、制御信号生成部23は、誘目領域を特定する。このとき、図1に示される視線検出部21から供給される信号E1、または、図7に示される誘目領域検出部31から供給される信号RL1および信号RR1に基づいて、誘目領域が特定される。
In step S <b> 23, the control
視線検出部21の場合、例えば、ユーザを撮影するカメラから出力される信号C1に基づいてユーザの視線を検出して画像の中での注目点を特定し、例えば、矢印51で示される点の周囲の領域を誘目領域として設定し、信号E1を生成して出力する。
In the case of the line-of-
また、誘目領域検出部31の場合、画像信号L1に対応する画像および画像信号R1に対応する画像の中から顔の画像を検出し、その検出された顔の領域を誘目領域とし、誘目領域を表す信号RL1、および、信号RR1を出力する。または、検出された顔に係る特徴量を図示せぬデータベースに記憶された情報と照合するなどし、所定の人物の顔であると判定された場合に、その検出された顔の領域が誘目領域として設定されるようにしてもよい。あるいはまた、画像の中のオブジェクトの中で人間の注目度の高い色や形状のオブジェクトが検出され、その検出されたオブジェクトの領域が誘目領域として設定されるようにしてもよい。さらに、画像の撮像時のピント調整、大気遠近法によって生じる鮮鋭度、コントラスト、または彩度などの情報に基づいて誘目領域が設定されるようにしてもよいし、画像の動き検出を用いたカメラワーク推定から誘目領域が設定されるようにしてもよい。 In the case of the attracting area detection unit 31, a face image is detected from the image corresponding to the image signal L1 and the image corresponding to the image signal R1, the detected face area is set as the attracting area, and the attracting area is defined as the attracting area. A signal RL1 and a signal RR1 are output. Alternatively, when the feature amount of the detected face is collated with information stored in a database (not shown) and the face is determined to be the face of a predetermined person, the detected face area is the attracting area. May be set. Alternatively, a color or shape object with a high human attention level may be detected among the objects in the image, and the area of the detected object may be set as the attracting area. Furthermore, the attraction area may be set based on information such as focus adjustment at the time of image capture, sharpness, contrast, or saturation generated by atmospheric perspective, or a camera using image motion detection. An attractive area may be set based on the work estimation.
あるいはまた、上述したような方式のそれぞれにより誘目領域を検出し、検出結果を重み付けするなどして最終的に誘目領域が特定されるようにしてもよい。 Alternatively, the attraction area may be finally specified by detecting the attraction area by each of the methods described above and weighting the detection result.
ステップS24において制御信号生成部23は、ステップS23で特定された誘目領域に基づいて制御信号DL2および制御信号DR2を生成する。
In step S24, the
このとき、例えば、図4を参照して上述したように、誘目領域の視差量がゼロとなるように、各画素値の視差をオフセットする制御信号が生成される。また、図8乃至図11を参照して上述したように、制御信号DL2および制御信号DR2において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれるようにしてもよい。 At this time, for example, as described above with reference to FIG. 4, the control signal for offsetting the parallax of each pixel value is generated so that the parallax amount of the attracting region becomes zero. Further, as described above with reference to FIGS. 8 to 11, the control signal DL2 and the control signal DR2 include information for changing the sharpness, blur, resolution, contrast, saturation, and the like. Also good.
さらに、図12を参照して上述したように、例えば、誘目領域の視差量がゼロとなるように各画素値の視差をオフセットする制御信号を生成した後、オフセットされた後の各画素の視差量にフィルタ処理が施されることによって補正されるようにしてもよい。 Furthermore, as described above with reference to FIG. 12, for example, after generating a control signal for offsetting the parallax of each pixel value so that the amount of parallax in the attracting region becomes zero, the parallax of each pixel after being offset The quantity may be corrected by filtering.
ステップS25において、画像再生成部24は、ステップS24の処理で生成された制御信号DL2および制御信号DR2に基づいて、右目用の画像および左目用の画像を再生成する。
In step S25, the
このとき、画像再生成部24は、例えば、図4を参照して上述したように、実線82で示される制御信号DL2のレベルに基づいて、画像信号L1の各画素を移動させる。例えば、図4の点線72で示される位置の各画素に対応する制御信号DL2のレベルに応じて定まる距離だけ、各画素を水平方向左または右に移動させる。例えば、制御信号DL2のレベルがマイナスの値である場合、各画素を水平方向左に移動させ、制御信号DL2のレベルがプラスの値である場合、各画素を水平方向右に移動させる。
At this time, the
また、例えば、移動先で画素が重なったり、または、移動元の画素が存在しない部分が生じた、重なった画素の平均値等を求めることで画像信号を得るようにする。また、画像の中で画素値が定まらない箇所については、例えば、同じ画像の中からの推定、反対側(例えば、右目側)の画像の情報、時間軸の異なる画像の情報などを用いて補間する。 Further, for example, an image signal is obtained by obtaining an average value or the like of overlapped pixels where pixels overlap at the movement destination or where a movement source pixel does not exist. In addition, with regard to a portion where the pixel value is not determined in the image, for example, interpolation is performed using estimation from the same image, information on the image on the opposite side (for example, the right eye side), information on an image with a different time axis, etc. To do.
そして、制御信号DL2に応じた視差量の補正が施され、画像信号L1に対応する画像が再生成され、制御信号DR2に応じた視差量の補正が施され、画像信号R1に対応する画像が再生成されることになる。 The parallax amount is corrected according to the control signal DL2, the image corresponding to the image signal L1 is regenerated, the parallax amount is corrected according to the control signal DR2, and the image corresponding to the image signal R1 is changed. It will be regenerated.
また、制御信号DL2および制御信号DR2において、鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更するための情報が含まれる場合、画像再生成部24は、制御信号DL2および制御信号DR2に基づいて鮮鋭度、ボケ、解像度感、コントラスト、彩度等を変更して画像を再生成する。
When the control signal DL2 and the control signal DR2 include information for changing the sharpness, blur, resolution, contrast, saturation, and the like, the
ステップS26において、画像再生成部24は、ステップS25の処理で再生成された画像に対応する出力画像信号を生成する。
In step S26, the
このようにして、画像処理が実行される。 In this way, image processing is executed.
以上においては、本技術を、2つの異なる視点の画像によって得られる立体画像を表示する場合に適用する例について説明したが、より多くの異なる視点の画像によって得られる立体画像を表示する場合にも本技術を適用することができる。 In the above, the example in which the present technology is applied to display a stereoscopic image obtained by images of two different viewpoints has been described. However, the present technology may be applied to a case of displaying stereoscopic images obtained by more different viewpoint images. The present technology can be applied.
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図14に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。
The series of processes described above can be executed by hardware, or can be executed by software. When the above-described series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, a general-purpose
図14において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 14, a CPU (Central Processing Unit) 701 executes various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a
CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。
The
入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。
A drive 710 is also connected to the input /
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。
When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as a
なお、この記録媒体は、図14に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。
The recording medium shown in FIG. 14 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body. Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 711 but also those configured by a
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Note that the series of processes described above in this specification includes processes that are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes that are performed in time series in the order described. Is also included.
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
なお、本技術は以下のような構成も取ることができる。 In addition, this technique can also take the following structures.
(1)
2以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と
を備える画像処理装置。
(2)
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部をさらに備え、
前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
(1)に記載の画像処理装置。
(3)
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の視差量がゼロとなるように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
(2)に記載の画像処理装置。
(4)
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の視差量のレベルと、前記視差マップにおける視差量ゼロのレベルとの比として得られるゲインを、前記単位領域の視差量に乗じて得られる値から前記単位領域の視差量を減じた値を、各単位領域の視差量とするように前記視差マップにより表された各単位領域の視差を変更する
(2)または(3)に記載の画像処理装置。
(5)
前記制御信号生成部は、
前記誘目領域に対応する前記単位領域の周辺の視差量が急峻に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成する
(2)に記載の画像処理装置。
(6)
前記画像再生成部は、
前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成する
(2)乃至(5)に記載の画像処理装置。
(7)
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量に基づいて、前記各単位領域の鮮鋭度、ボケ、解像度感、コントラスト、または彩度を変更する制御信号を生成するボケ制御信号生成部をさらに備え、
前記画像再生部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
(1)乃至(6)に記載の画像処理装置。
(8)
前記画像再生成部は、
前記制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成する
(7)に記載の画像処理装置。
(9)
2以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定し、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成するステップ
を含む画像処理方法。
(10)
コンピュータを、
2以上の異なる視点の画像に基づいて表示される立体画像において、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部とを備える画像処理装置として機能させる
プログラム。
(11)
(10)に記載のプログラムが記録されている記録媒体。
(1)
In a stereoscopic image displayed based on two or more different viewpoint images, an attraction area specifying unit that specifies an attractive area that is estimated as a high attention area of the user who observes the stereoscopic image;
An image processing apparatus comprising: an image regenerator that regenerates each of the images of different viewpoints based on information relating to the specified attracting area.
(2)
A parallax map generating unit that generates a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints constituting the stereoscopic image;
A parallax control signal generating unit that generates a control signal for changing the parallax amount of each unit region represented by the parallax map;
The image processing device according to (1), wherein the image reproduction unit regenerates each of the images of the different viewpoints based on the control signal.
(3)
The control signal generator is
The image processing device according to (2), wherein a control signal for changing the parallax of each unit area represented by the parallax map is generated so that the parallax amount of the unit area corresponding to the attracting area becomes zero. .
(4)
The control signal generator is
From the value obtained by multiplying the parallax amount of the unit area by a gain obtained as a ratio between the level of the parallax amount of the unit area corresponding to the attracting area and the level of zero parallax in the parallax map The image processing device according to (2) or (3), wherein the parallax of each unit region represented by the parallax map is changed so that a value obtained by subtracting the parallax amount of the unit region becomes a parallax amount of each unit region.
(5)
The control signal generator is
The control signal for changing the parallax of each unit area represented by the parallax map is generated so that the parallax amount around the unit area corresponding to the attracting area changes sharply. Image processing device.
(6)
The image regeneration unit
The image processing device according to any one of (2) to (5), wherein each of the images of the different viewpoints is regenerated by moving pixels of the images of the different viewpoints according to the level of the control signal.
(7)
A parallax map generating unit that generates a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints constituting the stereoscopic image;
A blur control signal generation unit that generates a control signal for changing the sharpness, blur, resolution, contrast, or saturation of each unit area based on the parallax amount of each unit area represented by the parallax map; Prepared,
The image processing device according to any one of (1) to (6), wherein the image reproduction unit regenerates each of the images of the different viewpoints based on the control signal.
(8)
The image regeneration unit
The image processing device according to (7), wherein each of the different viewpoint images is regenerated by changing a luminance value of a pixel of the different viewpoint image in accordance with a level of the control signal.
(9)
In a stereoscopic image displayed based on images of two or more different viewpoints, an attraction area estimated as a high attention area of a user who observes the stereoscopic image is specified,
An image processing method comprising: regenerating each of the images of different viewpoints based on the information related to the specified attracting area.
(10)
Computer
In a stereoscopic image displayed based on two or more different viewpoint images, an attraction area specifying unit that specifies an attractive area that is estimated as a high attention area of the user who observes the stereoscopic image;
A program that functions as an image processing device including an image regeneration unit that regenerates each of the images of different viewpoints based on the information related to the specified attracting area.
(11)
A recording medium on which the program according to (10) is recorded.
10 画像処理装置, 21 視線検出部, 22 視差マップ生成部, 23 制御信号生成部, 24 画像再生成部, 31 誘目領域検出部
DESCRIPTION OF
Claims (7)
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と、
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部と
を備え、
前記視差制御信号生成部は、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、
前記画像再生成部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
画像処理装置。 Based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the image of the two or more different viewpoints to observe the stereoscopic image user An attraction area specifying unit for specifying an attraction area estimated as a high attention area;
An image regenerator that regenerates each of the images of the different viewpoints based on the information related to the identified attracting area ;
A parallax map generating unit that generates a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints constituting the stereoscopic image;
A parallax control signal generation unit that generates a control signal for changing the parallax amount of each unit area represented by the parallax map;
With
The parallax control signal generation unit controls to change the parallax of each unit area represented by the parallax map so that the parallax amount around the unit area corresponding to the attracting area changes steeply and nonlinearly Generate a signal,
The image regenerating unit is an image processing device that regenerates each of the images of different viewpoints based on the control signal .
前記制御信号のレベルに応じて前記異なる視点の画像の画素を移動させることで、前記異なる視点の画像のそれぞれを再生成する
請求項1に記載の画像処理装置。 The image regeneration unit
Said control signal by moving the pixels of the image of the different viewpoints depending on the level of the image processing apparatus according to claim 1, to regenerate the respective images of the different viewpoints.
前記画像再生成部は、前記ボケ制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
請求項1に記載の画像処理装置。 Based on the parallax amount of each unit area represented by the previous SL disparity map, the sharpness of each unit area, blur, perceived resolution, blur control signal generator for generating a blur control signal for changing the contrast or color saturation, Further comprising
The image regenerate section, an image processing apparatus according to claim 1 for regenerating each of the different viewpoints of the image based on the blur control signal.
前記ボケ制御信号のレベルに応じて前記異なる視点の画像の画素の輝度値を変更することで、前記異なる視点の画像のそれぞれを再生成する
請求項3に記載の画像処理装置。 The image regeneration unit
The image processing apparatus according to claim 3 , wherein each image of the different viewpoint is regenerated by changing a luminance value of a pixel of the image of the different viewpoint according to a level of the blur control signal.
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成ステップと、
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成ステップと、
前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成ステップと
を含み、
前記視差制御信号生成ステップは、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、
前記画像再生成ステップは、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
画像処理方法。 Based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the image of the two or more different viewpoints to observe the stereoscopic image user An attraction area specifying step for specifying an attraction area estimated as an area of high attention;
An image regeneration step of regenerating each of the images of the different viewpoints based on the information related to the identified attracting area ;
A parallax map generating step for generating a parallax map representing a parallax amount for each unit region in each of images of different viewpoints constituting the stereoscopic image;
A parallax control signal generating step for generating a control signal for changing the parallax amount of each unit area represented by the parallax map;
Including
The parallax control signal generation step is a control for changing the parallax of each unit area represented by the parallax map so that the parallax amount around the unit area corresponding to the attracting area changes steeply and nonlinearly Generate a signal,
The image regenerating step is an image processing method for regenerating each of the images from different viewpoints based on the control signal .
2以上の異なる視点の画像に基づいてディスプレイに表示される立体画像を観察するユーザの視線と前記立体画像を表示する前記ディスプレイの相対的な位置関係に基づき、前記立体画像を観察するユーザのアテンションの高い領域として推定される誘目領域を特定する誘目領域特定部と、
前記特定された誘目領域に係る情報に基づいて、前記異なる視点の画像のそれぞれを再生成する画像再生成部と、
前記立体画像を構成する、異なる視点の画像のそれぞれにおける単位領域毎の視差量を表す視差マップを生成する視差マップ生成部と、
前記視差マップにより表された各単位領域の視差量を変更するための制御信号を生成する視差制御信号生成部と
して機能させ、
前記視差制御信号生成部は、前記誘目領域に対応する前記単位領域の周辺の視差量が急峻で非線形に変化するように、前記視差マップにより表された各単位領域の視差を変更するための制御信号を生成し、
前記画像再生成部は、前記制御信号に基づいて前記異なる視点の画像のそれぞれを再生成する
プログラム。 Computer
Based on the relative positional relationship of the display for displaying the sight line and the three-dimensional image of Yoo chromatography The observing the stereoscopic image displayed on the display based on the image of the two or more different viewpoints to observe the stereoscopic image user An attraction area specifying unit for specifying an attraction area estimated as a high attention area;
An image regenerator that regenerates each of the images of the different viewpoints based on the information related to the identified attracting area ;
A parallax map generating unit that generates a parallax map representing a parallax amount for each unit area in each of the images of different viewpoints constituting the stereoscopic image;
A parallax control signal generation unit that generates a control signal for changing the parallax amount of each unit area represented by the parallax map;
To function,
The parallax control signal generation unit controls to change the parallax of each unit area represented by the parallax map so that the parallax amount around the unit area corresponding to the attracting area changes steeply and nonlinearly Generate a signal,
The image regeneration unit is a program for regenerating each of the images of different viewpoints based on the control signal .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022727A JP6017144B2 (en) | 2012-02-06 | 2012-02-06 | Image processing apparatus and method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012022727A JP6017144B2 (en) | 2012-02-06 | 2012-02-06 | Image processing apparatus and method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013162330A JP2013162330A (en) | 2013-08-19 |
JP6017144B2 true JP6017144B2 (en) | 2016-10-26 |
Family
ID=49174244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012022727A Expired - Fee Related JP6017144B2 (en) | 2012-02-06 | 2012-02-06 | Image processing apparatus and method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6017144B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102132192B1 (en) * | 2019-02-14 | 2020-07-09 | 홍승환 | Device of keep warm for food |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017085803A1 (en) * | 2015-11-18 | 2017-05-26 | 株式会社日立製作所 | Video display device and video display method |
WO2022219877A1 (en) * | 2021-04-12 | 2022-10-20 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000013818A (en) * | 1998-06-23 | 2000-01-14 | Nec Corp | Stereoscopic display device and stereoscopic display method |
JP2003209858A (en) * | 2002-01-17 | 2003-07-25 | Canon Inc | Stereoscopic image generating method and recording medium |
JP2010181826A (en) * | 2009-02-09 | 2010-08-19 | Panasonic Corp | Three-dimensional image forming apparatus |
WO2011052389A1 (en) * | 2009-10-30 | 2011-05-05 | 富士フイルム株式会社 | Image processing device and image processing method |
JP5565001B2 (en) * | 2010-03-04 | 2014-08-06 | 株式会社Jvcケンウッド | Stereoscopic imaging device, stereoscopic video processing device, and stereoscopic video imaging method |
JP4875762B2 (en) * | 2010-05-26 | 2012-02-15 | シャープ株式会社 | Image processing apparatus, image display apparatus, and image pickup apparatus |
-
2012
- 2012-02-06 JP JP2012022727A patent/JP6017144B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102132192B1 (en) * | 2019-02-14 | 2020-07-09 | 홍승환 | Device of keep warm for food |
Also Published As
Publication number | Publication date |
---|---|
JP2013162330A (en) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI712918B (en) | Method, device and equipment for displaying images of augmented reality | |
EP3035681B1 (en) | Image processing method and apparatus | |
US9014414B2 (en) | Information processing apparatus and information processing method for processing image information at an arbitrary viewpoint in a physical space or virtual space | |
JP4707368B2 (en) | Stereoscopic image creation method and apparatus | |
CN107079079B (en) | For shaking the both-end metadata of visual control | |
EP3692410A1 (en) | Ipd correction and reprojection for accurate mixed reality object placement | |
JP2019079552A (en) | Improvements in and relating to image making | |
JP4903888B2 (en) | Image display device, image display method, and image correction method | |
EP3398004B1 (en) | Configuration for rendering virtual reality with an adaptive focal plane | |
JP2005295004A (en) | Stereoscopic image processing method and apparatus thereof | |
CN109191506B (en) | Depth map processing method, system and computer readable storage medium | |
JP2011176541A (en) | Three-dimensional video processing apparatus and method, and program thereof | |
JP6017144B2 (en) | Image processing apparatus and method, program, and recording medium | |
JP2006287813A (en) | Three-dimensional image display device | |
JP2010226391A (en) | Image processing unit, program, and method of processing image | |
JP6685241B2 (en) | Stereoscopic video generation | |
EP3903278B1 (en) | Device and method for enhancing images | |
JP5838775B2 (en) | Image processing method, image processing system, and image processing program | |
JP5222407B2 (en) | Image display device, image display method, and image correction method | |
KR101907127B1 (en) | Stereoscopic video zooming and foreground and background detection in a video | |
KR101939243B1 (en) | Stereoscopic depth adjustment and focus point adjustment | |
JP5539486B2 (en) | Information processing apparatus and information processing method | |
GB2602841A (en) | Image generation system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160317 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6017144 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |