JP5304714B2 - Pseudo 3D image generating apparatus and the camera - Google Patents

Pseudo 3D image generating apparatus and the camera Download PDF

Info

Publication number
JP5304714B2
JP5304714B2 JP2010089977A JP2010089977A JP5304714B2 JP 5304714 B2 JP5304714 B2 JP 5304714B2 JP 2010089977 A JP2010089977 A JP 2010089977A JP 2010089977 A JP2010089977 A JP 2010089977A JP 5304714 B2 JP5304714 B2 JP 5304714B2
Authority
JP
Japan
Prior art keywords
depth
means
3d image
image
non
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010089977A
Other languages
Japanese (ja)
Other versions
JP2011223284A (en
Inventor
康彦 寺西
洋 市村
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Priority to JP2010089977A priority Critical patent/JP5304714B2/en
Publication of JP2011223284A publication Critical patent/JP2011223284A/en
Application granted granted Critical
Publication of JP5304714B2 publication Critical patent/JP5304714B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide means for generating a pseudo-stereoscopic image signal which is free of a sense of incompatibility and close to a real image in any scene of a non-stereoscopic image when converting a non-stereoscopic image signal into a pseudo-stereoscopic image signal. <P>SOLUTION: A CPU 108 calculates control signals CTL1, CTL2 and CTL3 for each frame based upon various kinds of input data such as the position of a range-finding area within a photographic image, an estimated distance to a subject, an estimated depth of field, data on whether a subject is a face, and data on the size of the face if the subject is a face, and supplies the data as parameters for pseudo-stereoscopic image generation to a 2D3D conversion section 115 which generates a pseudo-stereoscopic image from a non-stereoscopic image. The control signal CTL1 is used for controlling a composition ratio of individual image of a plurality of basic depth model types. The control signal CTL2 is a control signal indicating a weighting factor for weighting only an R signal component in a decoded image signal "a". The control signal CTL3 is a control signal that includes a parameter representing a depth and a parameter representing convergence. <P>COPYRIGHT: (C)2012,JPO&amp;INPIT

Description

本発明は擬似立体画像生成装置及びカメラに係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない通常の動画像(非立体動画像)から擬似的な立体画像を生成する擬似立体動画像生成装置及びカメラに関する。 The present invention relates to a pseudo 3D image generating apparatus and a camera, pseudo stereoscopic particular normal moving image not given implicitly also as the depth information is expressed or or a stereo image from (non-stereoscopic video) image related pseudo 3D moving image generating apparatus and a camera to generate.

近年、立体画像を生成する立体画像生成装置が、数多く発表されている。 Recently, three-dimensional image generation apparatus for generating a stereoscopic image, are numerous published. この立体画像生成装置は大きく3種類に分類できる。 The stereoscopic image generation apparatus can be classified into three broad categories. 一つ目は、右目用と左目用の光学系をそれぞれ備えて、それぞれの光学系で撮影した画像を記録、再生するものである。 The first is provided with respective optical systems for the left eye right eye, recorded images captured by the respective optical system is configured to play. 二つ目は、主たる一つの光学系に加えて現実の奥行き情報を測定する構成を備えて、主たる一つの光学系で撮影した2次元の静止画像又は動画像(以下、非立体画像という)と、測定した奥行き情報とを合成して立体画像を構成するものである。 Secondly, it includes a configuration for measuring the depth information of reality, in addition to the principal one optical system, a two-dimensional still images or moving images in primary one optical system (hereinafter, referred to as non-stereoscopic image) and constitutes a three-dimensional image by combining the measured depth information.

特許文献1に開示された立体画像生成装置では、非立体画像である2次元画像の画面の各画素について距離を測定する。 In the stereoscopic image generating apparatus disclosed in Patent Document 1 measures the distance for each pixel of the two-dimensional image is a non-3D image screen. そして、2つのカメラ又はレーザー光を用いて、画面内の全ての被写体とカメラとの距離を測定し、2次元画像の画面の各画素についての距離情報を得る。 Then, by using two cameras or laser beam to measure the distance between any object and the camera in the screen, to obtain the distance information for each pixel of the two-dimensional image display. 続いて、この立体画像生成装置では、撮影者の撮影時の意図を反映させた奥行き画像及び奥行き精度画像を簡便に生成するために、個々の画素毎に、非線形な関数(マッピングテーブル)によって距離情報から奥行き値を算出する。 Then, in the stereoscopic image generating apparatus, a distance in order to easily generate the depth image and depth accuracy images that reflect the intention of at photographer's photographing, for each individual pixel, by a non-linear function (mapping table) to calculate the depth value from the information. このとき、複数のマッピングテーブルを撮影情報に応じて選択する。 At this time, selected according to a plurality of mapping tables to the photographing information. また、この立体画像生成装置では、奥行き情報の精度について、画面内で精度の高い部分と低い部分とを設けることができるようにしている。 Further, the stereoscopic image generating apparatus, the accuracy of the depth information, so that it is possible to provide a high portion and a lower portion of the precision in the screen.

三つ目は、非立体画像から推定して擬似的な奥行き情報を生成し、その擬似的な奥行き情報と非立体画像とを合成して立体画像を構成する立体画像生成装置である。 Third, generates a pseudo depth information is estimated from non-stereo image, a stereoscopic image generation apparatus that constitutes a three-dimensional image by combining its pseudo depth information and non-3D image. この立体画像生成装置は、推定によって擬似的な奥行き情報を生成するので、2次元画像の画面の各画素について距離を測定することはない構成である。 The stereoscopic image generation apparatus, because it generates a pseudo-depth information by estimating a no structure to measure the distance for each pixel of the two-dimensional image display.

また、本出願人による特許文献2には、擬似立体画像を生成する際に、自動的な処理方法で推定される奥行き情報を、非立体画像の1画面毎の場面(以下、シーンという)に応じて補正することを可能にする擬似立体画像生成装置が開示されている。 Further, in Patent Document 2 according to the applicant, when generating a pseudo 3D image, the depth information estimated by the automatic processing method, one screen for each scene of the non-3D image (hereinafter, referred to as a scene) to pseudo 3D image generating apparatus is disclosed that allows to correct accordingly.

この特許文献2に開示された擬似立体画像生成装置では、奥行き感を有する画像(以下、基本奥行きモデルタイプという)を複数用意し、非立体画像の1画面における輝度信号の高域成分を算出して、その算出値に基づいて複数の基本奥行きモデルタイプの合成比率を自動的に算出する。 In pseudo 3D image generating apparatus disclosed in Patent Document 2, an image having a sense of depth (hereinafter, referred to as basic depth model type) and preparing a plurality calculates the high frequency component of the luminance signal in one screen of the non-3D image Te, automatically calculating a plurality of basic depth model type of synthesis ratio based on the calculated value. そして、算出した合成比率から非立体画像の奥行き感を出すための奥行きデータを推定して、非立体画像と奥行きデータとにより擬似立体画像を生成する。 Then, to estimate the depth data for the calculated composite ratio gives the depth feeling of the non-stereo image to generate a pseudo 3D image by the non-3D image and depth data.

このとき、複数の基本奥行きモデルタイプの合成比率は、すべての非立体画像に対して予め定めた同一の方法により自動的に算出すると、シーンによっては、適切な奥行き情報が得られず、違和感のある擬似立体画像が生成されてしまう場合がある。 At this time, the plurality of basic depth model type synthesis ratio and automatically calculated by the same method as predetermined for all non-3D image, depending on the scene, not suitable depth information is obtained, the discomfort there are cases where there pseudo 3D image would be generated. しかし、非立体画像のシーンに応じて、その都度ユーザー自身が擬似立体画像のアルゴリズムやパラメータを調整することは現実的に困難である。 However, depending on the non-3D image scene, it is actually difficult each time the user himself adjusts the algorithm and parameters of the pseudo 3D image. そこで、上記の特許文献2記載の擬似立体画像生成装置では、違和感のない、現実のイメージにより近い擬似立体画像を生成するために、製作者側において奥行き情報を、シーンに応じて補正することを目的にしている。 Therefore, in a pseudo 3D image generating apparatus of the aforementioned Patent Document 2, no discomfort, to produce a near pseudo 3D image by the real image, the depth information in the fabrication side, that is corrected according to the scene It is for the purpose.

特開2008−141666号公報 JP 2008-141666 JP 特開2009−044722号公報 JP 2009-044722 JP

しかしながら、特許文献1記載の立体画像生成装置では、距離情報の取得のために2つのカメラあるいはレーザー光を用いた距離測定手段が必要であるため、装置が高価格のものになってしまう。 However, in the stereoscopic image generating apparatus described in Patent Document 1, the distance measuring means using two cameras or laser beam for acquisition of the distance information is required, resulting in what device is expensive. また、この立体画像生成装置では、撮影した情報を記録する場合には、2次元画像データと共に各画素毎の奥行き情報を記録する必要があり、記録画データが大きくなって、その保存や伝送にかかるコストも問題となる。 Further, in the stereoscopic image generating apparatus, in case of recording the captured information must be with two-dimensional image data records the depth information for each pixel, the recording image data increases, its storage and transmission such a cost is a problem.

一方、特許文献2には、奥行き情報の調整を行うための具体的な方法については開示されていない。 On the other hand, Patent Document 2 does not disclose a specific method for adjusting the depth information. 例えば、人が実際にシーンを視聴して、手作業で調整パラメータを決定してもよい。 For example, actually watching the scene people, it may determine the adjustment parameters manually. しかしながら、ユーザーがハンディビデオカメラで撮影した非立体画像を擬似立体画像に変換するような場合には、特許文献2記載の擬似立体画像生成装置では、ユーザーが製作者となって、手作業で調整パラメータを調整することとなるが、違和感のない、現実のイメージにより近い擬似立体画像を生成するための調整は非常に煩わしい。 However, if the user so as to convert the non-3D image photographed by the handheld video camera pseudo 3D image is a pseudo 3D image generating apparatus described in Patent Document 2, the user becomes producer, adjusted manually Although the adjusting the parameters, without discomfort, adjusted to produce a near pseudo 3D image by the real image is very troublesome.

本発明は、上記の点に鑑みなされたもので、ビデオカメラで撮影した得られた非立体画像信号を擬似立体画像信号に変換する場合に、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像信号を生成することができる擬似立体画像生成装置及びカメラを提供することを目的とする。 The present invention has been made in view of the above, to convert the non-3D image signal obtained captured by a video camera to the pseudo 3D image signal, even a scene of any non-stereo image, no discomfort, and to provide a pseudo 3D image generating apparatus and a camera capable of generating a near pseudo 3D image signal by the real image.

上記の目的を達成するため、本発明の擬似立体画像生成装置は、ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号 To achieve the above object, a pseudo 3D image generating apparatus of the present invention, a zoom lens, an optical image of a subject on the imaging surface of the imaging device through an optical system including a focus lens and a diaphragm, by photoelectric imaging device when the object from the non-3D image signal obtained after the conversion is a person, to generate a size information obtaining unit of the face for acquiring size information of the face of the person, the pseudo 3D image signal from the non-3D image signal a basic depth model generating means for generating images of a plurality of basic depth model type indicating the underlying scene for, based on a first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, basic depth a depth model synthesizing means for generating an image of the depth model a plurality of basic depth model type of image supplied from the model generating unit synthesizes and, non-3D image signal 重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1〜第3の制御信号をそれぞれ算出して出力する際に、顔の大きさ情報を用いて、算出する第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出 Based on the second control signal indicating a weighting coefficient for weighting, a weighting means for multiplying the weighting coefficient for a non-3D image signal indicating a second control signal, a non-stereo image is weighted by a weighting means a signal from an image in the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data, depth and congestion and is adjusted by the third control signal indicating a congestion and depth was based on the depth estimation data, and shifting the texture of the non-3D image signal, and the texture shifting means for generating a pseudo 3D image signal, when the first to third control signals, which are acquired from each face using size information of the variable control signal calculating a value of at least one of the control signals of the first to third control signals for calculating 段とを有することを特徴とする。 And having a stage.

また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、レンズ位置取得手段で取得されたズームレンズ位置及びフォーカスレンズの位置に基づいて、フォーカスレンズの位置から被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段か To achieve the above object, a pseudo 3D image generating apparatus of the present invention includes a lens position acquiring means for acquiring each of positions of the zoom lens and the focus lens constituting the optical system, it is obtained by the lens position acquiring means based on the position of the zoom lens position and the focus lens, and the object estimated distance calculating means for calculating an estimated distance from the position of the focus lens to the subject, an optical image of a subject on the imaging surface of the imaging device through the optical system and a basic depth model generating means for generating images of a plurality of basic depth model type indicating the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by photoelectric conversion by the imaging element, based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, or basic depth model generation means 供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1乃び第3の制御信号をそれぞれ算出して出力する Based on the second control signal indicating a depth model synthesizing means for generating an image of the depth model images of a plurality of basic depth model type supplied synthesized and, the weighting coefficient for weighting the non-3D image signal from the weighting means for multiplying a weighting factor showing the second control signal to the non-3D image signal, the non-3D image signal weighted by weighting means, an image of the depth model generated by the depth model synthesizing means , the depth estimation data generating means for generating a depth estimation data, based on the depth estimation data depth that congestion and is adjusted by the third control signal indicating a congestion and depth, and shifts the texture of the non-3D image signal Te, texture shifting means for generating a pseudo 3D image signal, and calculates and outputs a first 乃 beauty third control signal, respectively に、算出された被写体までの推定距離の情報を用いて、算出する第1及び第3の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする。 To, by using the information of the estimated distance to the calculated object, one of the first and third control signals for calculating that having a variable control signal calculating means a value of at least one of the control signals and features.

また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、光学系情報取得手段で取得された絞り値及びズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデル To achieve the above object, a pseudo 3D image generating apparatus of the present invention, the position of the zoom lens of the optical system, an optical system information acquisition means for respectively obtaining positions and the aperture of the aperture value of the focus lens, on the basis of the aperture value and the zoom lens position acquired by the optical system information acquisition means, estimates the depth of field calculation means for calculating the depth of field, of a subject formed on the imaging surface of the imaging device through the optical system an optical image, basic depth model generating means for generating images of a plurality of basic depth model type indicating the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by photoelectric conversion by the imaging device If, based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of the image, a plurality of basic depth model supplied from the basic depth model generation means イプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1〜第3の制御信号をそれぞれ算出して出力する際に、算出された推定被写界深度の情報 A depth model synthesizing means for generating an image of the depth model by combining the images of type based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, relative to the non-3D image signal and weighting means for multiplying the weighting factor indicated by the second control signal, from the non-3D image signal weighted by weighting means, an image of the depth model generated by the depth model synthesizing means, for generating a depth estimation data depth and estimating data generating means, based on the third depth estimation data depth that congestion and is adjusted by a control signal indicating the congestion and depth, and shifts the texture of the non-3D image signal, generating a pseudo 3D image signal texture shifting means and, when the first to third control signals, which are acquired from each information calculated estimated depth of field to 用いて、算出する第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。 Used, and having a variable control signal calculating means a value of at least one of the control signals of the first to third control signals to be calculated.

また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、光学系を通して撮像素子の撮像面に結像された被写体の光学像を、撮像素子により光電変換して得られた非立体画像信号のうち、撮像素子の撮像画面内の所定の小領域である測距エリア内の非立体画像信号の高域成分が最大となる合焦位置を求めるために、フォーカスレンズの位置を移動制御する自動焦点調節手段と、撮像画面内の測距エリアの位置データを取得する位置データ取得手段と、フォーカスレンズの合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段と、非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを To achieve the above object, a pseudo 3D image generating apparatus of the present invention includes a lens position acquiring means for respectively obtaining the positions of the zoom lens and the focus lens constituting the optical system, the imaging of the imaging device through the optical system an optical image of the object formed on the surface, of the non-3D image signal obtained by photoelectric conversion by the imaging device, non-3D image of the distance measurement area is a predetermined small region of the imaging screen of the imaging device for high-frequency components of the signal determine the focus position becomes maximum, and the automatic focus adjusting means for controlling the movement position of the focus lens, and the position data acquiring means for acquiring position data of the distance measuring area in the imaging screen, and the object estimated distance calculating means for calculating an estimated distance from the focus position of the focus lens to the subject, the underlying scene for generating a pseudo 3D image signal from the non-3D image signal す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳と A basic depth model generation means for generating an image of a to a plurality of basic depth model type, based on a first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, supplied from the basic depth model generation means based on the second control signal indicating a depth model synthesizing means for generating an image of the depth model, the weighting coefficient for weighting the non-3D image signal by combining images of a plurality of basic depth model type, non-stereoscopic from the weighting means for multiplying a weighting factor showing the second control signal to the image signal, and a non-3D image signal weighted by weighting means, an image of the depth model generated by the depth model synthesizing means, depth estimation and depth estimation data generating means for generating data, the depth by a third control signal indicating a congestion and depth congestion and 調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1〜第3の制御信号をそれぞれ算出して出力する際に、測距エリアの位置データと被写体までの推定距離とに応じて、算出する第1及び第3の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段とを有することを特徴とする。 Based on the adjusted depth estimation data, and shifting the texture of the non-3D image signal, and the texture shifting means for generating a pseudo 3D image signal, when the first to third control signals, which are acquired from each , characterized in that a control signal calculating means for varying at least one of the control signals of the first and third control signals in response to the estimated distance to the position data and the object of distance measurement area is calculated to.

また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするた To achieve the above object, a pseudo 3D image generating apparatus of the present invention, the image pickup device to obtain a non-3D image signal by photoelectrically converting an optical image of a subject on an imaging surface through an optical system of the swing scene to which the size information, panning, and vibration detection means for detecting a hand shake information comprising a tilting of size information, the basis for generating a pseudo 3D image signal from the non-3D image signal obtained by the image sensor a basic depth model generating means for generating images of a plurality of basic depth model type indicating, based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, is supplied from the basic depth model generation means a depth model synthesizing means for generating an image of a depth model more images of basic depth model type synthesized and that was the weighted non-3D image signal の重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1〜第3の制御信号をそれぞれ算出して出力する際に、手振れ情報を用いて、算出する第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特 Based on the second control signal indicating the weighting coefficients, and weighting means for multiplying a weighting factor showing the second control signal to the non-3D image signal, the non-3D image signal weighted by weighting means, the depth and a model synthesizing means image depth model generated by, the depth estimation data and depth estimation data generating means for generating a depth estimation data, congestion and a depth by the third control signal indicating a congestion and depth is adjusted based on, it shifts the texture of the non-3D image signal, and the texture shifting means for generating a pseudo 3D image signal, when the first to third control signals, which are acquired from each by hand shake information , especially that at least the value of one of the control signals of the first to third control signals for calculating having a variable control signal calculating means とする。 To.

また、上記の目的を達成するため、本発明の擬似立体画像生成装置は、光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、撮像素子により得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立 To achieve the above object, a pseudo 3D image generating apparatus of the present invention, the optical axis of the imaging device to obtain a non-3D image signal by photoelectrically converting an optical image of a subject on an imaging surface through an optical system generating a roll angle detecting means for detecting a roll angle around the basic plurality of basic depth model type of image showing a scene made for generating a pseudo 3D image signal from the non-3D image signal obtained by the image sensor a basic depth model generating means, based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, by combining the images of a plurality of basic depth model type supplied from the basic depth model generation means a depth model synthesizing means for generating an image of the depth model, based on a second control signal indicating a weighting coefficient for weighting the non-3D image signal, the non-standing 画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1〜第3の制御信号をそれぞれ算出して出力する際に、ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する第1及び第3の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段とを有することを特徴とする From the weighting means for multiplying a weighting factor showing the second control signal to the image signal, and a non-3D image signal weighted by weighting means, an image of the depth model generated by the depth model synthesizing means, depth estimation and depth estimation data generating means for generating data, based on the depth estimation data depth that congestion and is adjusted by the third control signal indicating a congestion and depth, and shifts the texture of the non-3D image signal, the pseudo texture shifting means for generating a 3D image signal, when the first to third control signals, which are acquired from the respective first and by a roll angle detection information detected by the roll angle detector, calculates and having a variable control signal calculating means a value of at least one of the control signals of the third control signal

更に、上記の目的を達成するため、本発明のカメラは、光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する2フレーム間の信号変化と推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、撮像素子から出力される非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基 Furthermore, in order to achieve the above object, a camera of the present invention, photoelectrically converts an optical image of a subject formed on the imaging surface through an optical system, a camera having an image pickup device to obtain a non-3D image signal, a camera and the object estimated distance calculating means for calculating an estimated distance to the subject from between two adjacent frames of the non-3D image signal output of the optical image of a subject on an imaging surface through an optical system from the image pickup element for photoelectrically converting based on the signal change of the estimated distance, showing a photographic scene information obtaining means for obtaining photographic scene information, the underlying scene for generating a pseudo 3D image signal from the non-3D image signal output from the image sensor a basic depth model generating means for generating images of a plurality of basic depth model type, based on a first control signal indicating the synthesis ratio of the plurality of basic depth model type of image いて、基本奥行きモデル発生手段から供給される複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、非立体画像信号に対して第2の制御信号が示す重み付け係数を乗算する重み付け手段と、重み付け手段により重み付けされた非立体画像信号と、奥行きモデル合成手段により生成された奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、奥行きと輻輳とを示す第3の制御信号により奥行きと輻輳とが調整された奥行き推定データに基づいて、非立体画像信号のテクスチャをシフトして、擬似立体画像信号を生成するテクスチャシフト手段と、第1乃至第3の There are, shows the depth model synthesizing means for generating an image of the depth model by combining images of a plurality of basic depth model type supplied from the basic depth model generating means, the weighting coefficient for weighting the non-3D image signal based on the second control signal, and a weighting means for multiplying a weighting factor showing the second control signal to the non-3D image signal, the non-3D image signal weighted by weighting means, produced by depth model synthesizing means and a depth model of images, the depth estimation data generating means for generating a depth estimation data, based on the depth estimation data depth that congestion and is adjusted by the third control signal indicating a congestion and depth, non and shifting the texture of the 3D image signal, and the texture shifting means for generating a pseudo 3D image signal, the first to third 御信号をそれぞれ算出して出力する際に、撮影シーン情報取得手段により取得された撮影シーン情報を用いて、算出する第1乃至第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段とを有することを特徴とする。 When calculating and outputting a control signal, respectively, using a photographic scene information obtained by the photographic scene information acquiring unit, at least the value of one of the control signals of the first to third control signals calculated and having a variable control signal calculating means.

本発明によれば、画面毎に得られる撮影時のパラメータから制御信号を補正することにより、撮影して得られた非立体画像信号に対して、最適な奥行きモデルの擬似立体画像信号を生成することができ、これにより擬似立体画像信号を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像信号を生成することができる。 According to the present invention, by correcting the control signals from the parameter at the time of shooting obtained for each screen, with respect to non-3D image signal obtained by photographing, to generate a pseudo 3D image signal of the optimum depth model it can be, thereby pseudo 3D image signal to suppress a sense of discomfort and fatigue of the user to view, it is possible to generate a pseudo 3D image signal further a powerful and realistic.

本発明の擬似立体画像生成装置を備えたビデオカメラの第1の実施形態のブロック図である。 It is a block diagram of a first embodiment of a video camera having a pseudo 3D image generating apparatus of the present invention. 図1中の2D3D変換部の一例のブロック図である。 Is a block diagram of an example of 2D3D converting unit in FIG. 図2中の奥行き推定データ生成部の一例のブロック図である。 It is a block diagram of an example of the depth estimation data generating unit in FIG. 図2中のステレオペア生成部の一例のブロック図である。 It is a block diagram of an example of a stereo pair generation unit in FIG. 基本奥行きモデルタイプAの画像の立体構造の一例である。 It is an example of a three-dimensional structure of the image of the basic depth model type A. 基本奥行きモデルタイプBの画像の立体構造の一例である。 It is an example of a three-dimensional structure of the image of the basic depth model type B. 基本奥行きモデルタイプCの画像の立体構造の一例である。 It is an example of a three-dimensional structure of the basic depth model type C of the image. 図3中の合成比率決定部における合成比率の決定条件の一例を示す図である。 Is a diagram illustrating an example of a determination condition of synthesis ratio in the synthesis ratio determining unit in FIG. 図3中の奥行きモデル合成部の一例のブロック図である。 It is a block diagram of an example of a depth model synthesis section in FIG. 本発明の擬似立体画像生成装置を備えたビデオカメラの第2の実施形態のブロック図である。 It is a block diagram of a second embodiment of a video camera having a pseudo 3D image generating apparatus of the present invention. 本発明の擬似立体画像生成装置を備えたビデオカメラの第3の実施形態のブロック図である。 It is a block diagram of a third embodiment of a video camera having a pseudo 3D image generating apparatus of the present invention.

次に、本発明の各実施形態について図面と共に説明する。 It will be described with reference to the accompanying drawings embodiments of the present invention.

<第1の実施形態> <First embodiment>
図1は、本発明になる擬似立体画像生成装置を備えたカメラの第1の実施形態のブロック図を示す。 Figure 1 shows a block diagram of a first embodiment of a camera having a pseudo 3D image generating apparatus according to the present invention. 以後の各実施形態の説明において、カメラはビデオカメラとして説明するが、ビデオカメラに限定するものではない。 In the description of subsequent embodiments, the camera is described as a video camera, not limited to video cameras. 本実施形態のビデオカメラ100は、ズームレンズ101、フォーカスレンズ102、絞り103及び撮像素子104からなる光学系を有するハンディビデオカメラである。 Video camera 100 of the present embodiment, the zoom lens 101, focus lens 102, a handy video camera having an optical system consisting of the diaphragm 103 and the imaging device 104.

ズームレンズ101はズームレンズ駆動部105により、またフォーカスレンズ102はフォーカスレンズ駆動部106により、それぞれ撮像素子104の撮像面に対して近付く方向又は遠ざかる方向に互いに独立して移動制御される。 The zoom lens 101 is a zoom lens driving unit 105, also the focus lens 102 by the focus lens driving section 106, are respectively controlled to move independently of one another in the direction or away from the direction close to the imaging surface of the imaging element 104. 絞り103は、絞り駆動部107により絞り値が制御される。 Diaphragm 103, the aperture value is controlled by the diaphragm driver 107. 撮像素子104は、CCD(Charge Coupled Devise;電荷結合素子)あるいはCMOS(Complementary Metal Oxide Semiconductor)センサからなり、行方向及び列方向に多数個の画素がマトリクス状に配列された撮像面を有する。 Imaging device 104, CCD; having (Charge Coupled Devise charge coupled device) or consists CMOS (Complementary Metal Oxide Semiconductor) sensor, imaging surface a large number of pixels in a row direction and a column direction are arranged in a matrix. 撮像素子104は、撮像面に結像された被写体の光学像を光電変換して撮像信号を出力する。 Imaging device 104 outputs the image pickup signal an optical image of a subject formed on the imaging surface by photoelectric conversion.

また、ズームレンズ駆動部105は、ズームレンズ101の移動位置を検出する機能を有する。 The zoom lens driving unit 105 has a function of detecting the movement position of the zoom lens 101. 同様に、フォーカスレンズ駆動部106は、フォーカスレンズ102の移動位置を検出する機能を有する。 Similarly, the focus lens driving section 106 has a function of detecting a moving position of the focusing lens 102. 絞り駆動部107は、絞り量(絞り値)を検出する機能を有する。 Diaphragm driver 107 has a function of detecting an aperture value (aperture value).

CPU(Central Processing Unit;中央処理装置)108は、本発明における被写体の顔の大きさ情報取得手段、ズームレンズ101及びフォーカスレンズ102の各位置をそれぞれ取得するレンズ位置取得手段、光学系を構成するズームレンズ101の位置、フォーカスレンズ102の位置及び絞り103の絞り値をそれぞれ取得する光学系情報取得手段、フォーカスレンズ102の合焦位置から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号CTL1〜CTL3を算出する制御信号算出手段を構成している。 CPU (Central Processing Unit; central processing unit) 108, size information obtaining unit of the face of the subject in the present invention, the lens position acquiring means for acquiring each of positions of the zoom lens 101 and the focus lens 102, constituting the optical system position of the zoom lens 101, optical system information obtaining means for obtaining respective aperture position and the aperture 103 of the focus lens 102, the object estimated distance calculating means for calculating an estimated distance to the subject from the focus position of the focus lens 102, the estimated depth of field calculation means for calculating the depth of field, the position data obtaining means for obtaining position data of the distance measuring area in the imaging screen, constitutes a control signal calculating means for calculating a control signal CTL1~CTL3. また、CPU108は、フォーカスレンズ駆動部106と共にフォーカスレンズ102を合焦位置に移動制御する自動焦点調節手段も構成している。 Further, CPU 108 constitutes also automatic focusing means for moving the control with the focus lens driving section 106 the focus lens 102 to the focus position.

すなわち、CPU108は、ズームレンズ駆動部105により検出されたズームレンズ101の移動位置、フォーカスレンズ駆動部106により検出されたフォーカスレンズ102の移動位置、及び絞り駆動部107により検出された絞り量(絞り値)が入力され、これらの入力情報をメモリ109に格納されたプログラム及びテーブルに従って演算処理する。 That, CPU 108 may move the position of the zoom lens 101 detected by the zoom lens driving unit 105, the movement position of the focus lens 102 detected by the focus lens drive unit 106, and the aperture amount detected by the diaphragm driving unit 107 (aperture value) is input, these input information processing according to a program stored and a table in the memory 109. また、CPU108は、撮像信号のシーン毎に得られる撮影情報から後述する制御信号CTL1、CTL2及びCTL3を生成する。 Further, CPU 108 generates a control signal CTL1, CTL2 and CTL3 to be described later from the photographing information obtained for each of the image pickup signal scene.

メモリ109は、ズームレンズ101の移動位置と合焦状態でのフォーカスレンズ102の移動位置との組み合わせから、フォーカスレンズ102の合焦位置から被写体までの距離を推定するための数値テーブル(以下、「被写体距離推定テーブル」と称する)を格納している。 Memory 109, a combination of a movement position of the focus lens 102 at the moving position and focus state of the zoom lens 101, numerical table for estimating the distance to the object from the focus position of the focus lens 102 (hereinafter, " stores referred to subject distance estimation table "). また、メモリ109は、絞り値とズームレンズ101の移動位置と被写体との距離との推定値から、いわゆる被写界深度を推定するための数値テーブル(以下、「被写界深度テーブル」と称する)を格納している。 The memory 109, the estimate of the distance between the moving position and the object of aperture value and a zoom lens 101, numerical table for estimating the so-called depth of field (hereinafter, referred to as "depth of field Table" ) stores.

また、ビデオカメラ100は、撮像信号をデジタル信号に変換するためのA/D変換器110、デジタル信号に対して所定の信号処理を行って画像データを出力する信号処理部111、信号処理された画像データを記憶する画像記憶部112、画像データに対して符号化等の画像処理を行う画像処理部113及び録再インタフェース(I/F;Interface)部114を有する。 The video camera 100 includes a signal processing unit 111 to output image data by performing predetermined signal processing image signals A / D converter 110 for converting the digital signal, the digital signal, which is signal processed image storage unit 112 for storing image data, the image processing unit 113 and the recording and reproducing interface for image processing such as encoding on the image data; having (I / F interface) unit 114.

更に、ビデオカメラ100は、擬似立体画像生成部(以下、「2D3D変換部」という)115及び表示I/F部116を有する。 Furthermore, the video camera 100, a pseudo 3D image generating unit (hereinafter, referred to as "2D3D converting unit") having a 115 and a display I / F section 116. 2D3D変換部115は、後に詳述するように、CPU108により生成された制御信号CTL1、CTL2及びCTL3に基づき、非立体画像である撮影画像から奥行き情報を推定して、各シーンで違和感の殆どない擬似立体画像を生成する。 2D3D converting unit 115, as described later, based on the control signal CTL1, CTL2 and CTL3 produced by CPU 108, to estimate the depth information from the captured image is a non-3D image, almost no discomfort at each scene generating a pseudo 3D image. 表示I/F部116は、擬似立体画像を表示する。 Display I / F section 116 displays the pseudo 3D images. 2D3D変換部115は、前述したCPU108に直接に接続される一方、画像記憶部112、画像処理部113、録再I/F部114と共に双方向の画像データバス117を介してCPU108に接続されている。 2D3D converting unit 115, while being connected directly to the CPU108 as described above, the image storage unit 112, the image processing unit 113 is connected with the recording and reproducing I / F unit 114 to the CPU108 through the bidirectional image data bus 117 there.

また、ビデオカメラ100は、操作部118を備えている。 The video camera 100 includes an operation unit 118. 操作部118は、タッチパネルを備えており、タッチパネルのある位置にユーザーが指をタッチすることで、撮影画面でその位置に対応する位置が測距エリアとして選択されるようにされる。 Operation unit 118 is provided with a touch panel, by touching the user finger in a position where they touch panel, the position corresponding to the position in the shooting screen is to be selected as a distance measurement area. ビデオカメラ100において、ズームレンズ101、フォーカスレンズ102、絞り103、撮像素子104、ズームレンズ駆動部105、フォーカスレンズ駆動部106、絞り駆動部107、CPU108、メモリ109、録再I/F部114、及び2D3D変換部115は、本実施形態の擬似立体画像生成装置を構成している。 In the video camera 100, the zoom lens 101, focus lens 102, aperture 103, the image pickup device 104, zoom lens driving unit 105, the focus lens driving section 106, the diaphragm driving unit 107, CPU 108, memory 109, recording and reproducing I / F section 114, and 2D3D converting unit 115 constitute a pseudo 3D image generating apparatus of the present embodiment.

上記の各構成要素からなるビデオカメラ100は、所望の撮影モードによる被写体の撮影、撮影した画像データの記録媒体への記録、記録媒体から再生した画像データに基づく擬似立体画像の生成、擬似立体画像の表示を適宜選択して行う。 The video camera 100 consisting of the components described above, formation of the desired imaging mode imaging of an object by recording on a recording medium of the photographed image data, a pseudo stereoscopic image based on the image data reproduced from the recording medium, a pseudo 3D image performing a display of appropriately selected and.

そこで、まず、ビデオカメラ100の撮影時と、撮影した画像データの記録媒体への記録時の動作について説明する。 Therefore, first, the time of photographing of the video camera 100, an operation at the time of recording to the recording medium of the photographed image data will be described. 撮影時には、ズームレンズ101、フォーカスレンズ102、絞り103を順次に通過した被写体からの入射光は、撮像素子104の撮像面に光学像として結像されて光電変換され、撮像信号として出力される。 At the time of shooting, the zoom lens 101, focus lens 102, the incident light from a subject sequentially passes through the aperture 103 is focused by photoelectric conversion as an optical image on the imaging surface of the imaging device 104 is outputted as an imaging signal.

A/D変換器110は、撮像素子104から出力された撮像信号をデジタル信号である画像データに変換し、信号処理部111に供給する。 A / D converter 110, an image signal output from the image sensor 104 into image data which is a digital signal, and supplies to the signal processing unit 111. 信号処理部111は、入力された画像データに対し、画素補間処理を含むカラープロセス処理を施し、デジタル値の輝度信号(Y)及び色差信号(Cb,Cr)を生成すると共に、それらの信号中のノイズ除去を行う。 The signal processing unit 111, the input image data is subjected to color processing including pixel interpolation processing, to generate a digital value of the luminance signal (Y) and color difference signals (Cb, Cr), in their signal perform the noise removal. 画像記憶部112は、信号処理部111で生成されたデジタル値の輝度信号(Y)及び色差信号(Cb,Cr)を順次格納する。 Image storage unit 112, the luminance signal of the digital values ​​generated by the signal processing unit 111 (Y) and color difference signals (Cb, Cr) sequentially stores. 画像記憶部112には、数フレーム分の信号が格納される。 The image storage unit 112, several frames of the signal are stored.

画像処理部113は、画像データバス117を介して画像記憶部112にアクセスし、画像記憶部112に格納された画像データを、公知のMPEG−2(Moving Picture Experts Group 2)方式やMPEG−4 AVC(Moving Picture Experts Group 4 Advanced Video Coding)方式によって符号化する。 The image processing unit 113 accesses the image storage unit 112 via the image data bus 117, the image data stored in the image storage unit 112, a known MPEG-2 (Moving Picture Experts Group 2) system or MPEG-4 encoding the AVC (Moving Picture Experts Group 4 Advanced Video coding) scheme.

このように撮影して得られた被写体の符号化画像データは記録媒体に記録される。 Coded image data of the object obtained in this way photographing is recorded on the recording medium. すなわち、録再I/F部114は、被写体の撮像画像を画像処理部113により符号化して得られた画像データを、画像データバス117を介して取り込み、その画像データを図示しない記録媒体に記録する。 That is, the recording and reproducing I / F unit 114, records the captured image of the subject image data obtained by encoding by the image processing unit 113 captures via the image data bus 117, a recording medium (not shown) the image data to. ただし、記録媒体には後述するように符号化された画像データだけでなく、所定のデータが符号化された画像データに多重されて記録される。 However, the recording medium not only the image data coded as described below, predetermined data is recorded in a multiplexed in the image data encoded. 記録媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等がある。 As the recording medium, a magnetic disk, an optical disk, a semiconductor storage medium, magnetic tape or the like. また、記憶媒体は、外部取り外しの可能な記憶媒体または内蔵の記憶媒体とすることができる。 The storage medium may be an external removable of storage medium or internal storage medium.

ここで、ビデオカメラ100は、自動焦点調節(AFともいう)撮影モードを備えている。 Here, the video camera 100 (also referred to as AF) autofocus and a photographing mode. AF方法には、いくつかの方式が公知となっているが、ここでは画面内の所定の小領域の輝度信号(Y)の高域成分が最大になるフォーカスレンズの位置を合焦位置とする方式(いわゆる山登り方式)を用いる。 The AF method, several methods have been known, where the position of the focus lens high-frequency component of the luminance signal in a predetermined small area of ​​the screen (Y) is maximum the focus position using method (a so-called hill-climbing method). この山登り方式は測距範囲の全域にわたりフォーカスレンズ102の位置を移動しながら撮像素子104から得られる輝度信号の高域成分(以下焦点評価値という)を記憶していき、記憶した値の最大値に相当するフォーカスレンズ位置を合焦位置とする方式を用いる。 The mountain climbing method is continue to store the high-frequency component of the luminance signal obtained from the imaging device 104 while moving the position of the focus lens 102 over the entire area of ​​the distance measuring range (hereinafter referred to as the focus evaluation value), the maximum value of the stored value the method of the focus position of the focus lens position corresponding to the use. 一旦、合焦位置が求まったら、以後の撮影は合焦位置の近傍でフォーカスレンズ102を駆動して輝度信号の高域成分の最大値を求めることで、動画像撮影に対応する。 Once Motoma'-focus position, the subsequent imaging by obtaining the maximum value of the high-frequency component of the luminance signal by driving the focus lens 102 in the vicinity of the focus position, corresponding to the moving image shooting.

このAF撮影モードでは、CPU108は、画像記憶部112に格納されている1フレーム分の輝度信号(Y)のうち、所定の小領域に属する画素のデータを画像データバス117を介して読み出す。 In the AF photographing mode, CPU 108, of one frame of the luminance signal stored in the image storage unit 112 (Y), read via the image data bus 117 the data of pixels belonging to a predetermined small area. そして、CPU108は、この画素データから高域成分をデジタルフィルタ演算によって算出することで、焦点評価値を得る。 Then, CPU 108 is by calculating the digital filter operation a high-frequency component from the pixel data to obtain the focus evaluation value. また、CPU108は、フォーカスレンズ駆動部106に指示を出してフォーカスレンズ102を移動させる。 Further, CPU 108 moves the focus lens 102 instructs the focus lens driving section 106.

上記の所定の小領域は、測距エリアと呼ばれる。 Predetermined small region described above is called a ranging area. この測距エリアを決定する方法にはいくつかの方法が知られている。 Some methods in methods of determining the distance measuring area is known. 第1の測距エリア決定方法は、測距エリアを撮影画面の中央部分に固定する方法である。 First ranging area determination method is a method of securing a distance measurement area in the central portion of the imaging screen. 第2の測距エリア決定方法は、測距エリアをユーザーが撮影画面の所望の位置に選択する方法である。 Second ranging area determination method is a method of a distance measuring area the user selects the desired position of the photographing screen. この方法では、操作部118が備えるタッチパネルをユーザーがタッチすることで、撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域が測距エリアとして選択される。 In this way, a touch panel included in the operation unit 118 that the user touches the small area of ​​a predetermined size around the position corresponding to the touched position of the photographing screen is selected as a distance measurement area.

また、第3の測距エリア決定方法は、ユーザーが上記タッチパネルにタッチした時点で撮影画面のタッチした位置に対応する位置を中心とする所定の大きさの小領域内に存在する被写体を追尾して、その追尾領域を測距エリアとする方法である。 The third distance measuring area determination method of a user to track the subject existing in the small area of ​​a predetermined size around the position corresponding to the position touched in the photographing screen at the time of touching on the touch panel Te is a method for the tracking area and distance measurement area. 例えば、草原を歩き回る犬を撮影するような場合、撮影画面内の犬の位置に対応する位置をタッチすることで、それ以降に犬が歩き回っても、犬の位置を自動で追尾して測距エリアとする。 For example, if such shooting a dog walking around the meadow, by touching a position corresponding to the position of the dog in the photographing screen, even dog walking around later, to track the position of the dog automatically ranging the area.

CPU108は、画像記憶部112に格納されている1フレーム分の輝度信号(Y)及び色差信号(Cb,Cr)を読み出し、それらの信号を用いてタッチパネルのタッチされた位置に対応する撮影画面内の位置を中心とする小領域の信号の特徴量を抽出する。 CPU108 reads out one frame of luminance signals stored in the image storage unit 112 (Y) and color difference signals (Cb, Cr), the photographic image plane corresponding to the touched position on the touch panel using the signals extracting a feature value of a small area of ​​the signal centered at the position. 特徴量としては、色の分布や輝度信号の高域成分の形状などを利用する。 As the feature amount, utilizing like shape of the high-frequency component of the color distribution and the luminance signal. 測距エリアを移動する被写体に追尾する方法では、被写体の移動中は、後続の各々のフレームの輝度信号(Y)及び色差信号(Cb,Cr)を用いて類似の特徴量を有する位置を探索することで、測距エリアを決定する。 In the method of tracking the subject to move the distance measuring area, during the movement of the object, the search positions having a feature amount similarity using the luminance signal (Y) and color difference signals of the subsequent respective frames (Cb, Cr) by, for determining the distance measurement area.

また、第4の測距エリア決定方法は、撮影画面内で被写体の人物の顔を自動で検出して、その顔の位置を中心とする所定の大きさの小領域を測距エリアとする方法である。 The fourth distance measuring area determination method is to automatically detect the face of the subject person in the photographing screen, a method for the small area of ​​a predetermined size centered at the position of the face and the distance measurement area it is. 人物の顔の検出手段自体は公知であるので、その説明は省略する。 Since the detector itself of a person's face is well known, a description thereof will be omitted. 複数の顔が検出された場合は、その内で主要被写体と判断される顔の位置を中心とする所定の大きさの小領域を測距エリアとする。 If a plurality of faces are detected, a small area of ​​a predetermined size around the position of the face is determined as a main subject among the distance measurement area.

この測距エリア決定方法としては、例えばユーザーが上記タッチパネルをタッチすることで、タッチした位置に相当する顔を主要被写体の顔と判断する方法がある。 As the distance measuring area determination method, for example, a user by touching the touch panel, there is a method of determining a face corresponding to the touched position and the face of the main subject. あるいは、個人認証機能により、予め登録した人物の特徴量がメモリ109に格納されている場合には、登録していない人物よりも登録した人物の顔を主要被写体の顔と判断し、登録した複数の人物の顔が検出された場合には、登録時にユーザーが設定した登録順位に従って主要被写体の顔と判断する方法がある。 Alternatively, a plurality by an individual authentication function, the feature amount of the person who registered in advance when it is stored in the memory 109, it is determined that the face of the main subject the face of the person who registered than persons not registered, the registered If the face of the person is detected, there is a method of determining the face of the main subject according to the registration order set by the user during registration.

なお、顔の位置を測距エリアとした場合には、その顔の大きさ情報も取得する。 Incidentally, in the case where the position of the face and the distance measurement area, also obtains the size information of the face. 顔の大きさ情報は、例えば、撮影画面内で検出された被写体の人物の顔の撮影画面面積(画素数)を、その撮影時点におけるズームレンズ101の位置(ズーム比)と対応させた情報である。 Size information of the face, for example, shooting screen area of ​​a person's face detected subject in the photographing screen (the number of pixels), the information that associates the position of the zoom lens 101 (zoom ratio) at the imaging time is there. 上記のAF撮影モードでは測距エリアの合焦位置は時々刻々変化し、また、上記の追尾方式や顔検出方式では測距エリアの位置は時々刻々変化する。 Focus position of the distance measuring area in the above AF photographing mode momentarily changes, also, in the above tracking method or a face detection method the position of the distance measuring area changes every moment.

また、撮影時には、操作部118に対するユーザーの操作に従いズームレンズ101を移動させて、撮影画面を拡大したり、縮小したりすることかできる。 Further, at the time of shooting, by moving the zoom lens 101 in accordance with user's operation on the operation unit 118, or to expand the shooting screen, may either be or reduced. この場合、CPU108は、操作部118から入力されるズームレンズ操作用信号に対応してズームレンズ駆動部105に指示を出してズームレンズ101を移動させる。 In this case, CPU 108 moves the zoom lens 101 instructs the zoom lens driving unit 105 to correspond to the zoom lens operating signal input from the operation unit 118.

また、撮影時には、操作部118に対するユーザーの操作に従い絞り量(絞り値)を変化させることができる。 Further, at the time of shooting, it is possible to change the aperture value (the aperture value) in accordance with user's operation on the operation unit 118. この場合、CPU108は、操作部118からの絞り制御信号に対応して絞り駆動部107に指示を出して絞り103の絞り量を変化させる。 In this case, CPU 108 changes the aperture value of the aperture control signal to the aperture instructs the driving unit 107 stop in response 103 from the operation unit 118. 絞り量は被写体の明るさに応じて、CPU108が自動で制御する場合もある。 Throttle amount depending on the brightness of the object, sometimes CPU108 controls automatically.

ズームレンズ101の移動位置、フォーカスレンズ102の移動位置及び絞り103の絞り量は、ズームレンズ駆動部105、フォーカスレンズ駆動部106及び絞り駆動部107でそれぞれ取得され、その取得情報がCPU108に送られる。 Movement position of the zoom lens 101, the aperture amount of the moving position and the aperture 103 of the focus lens 102, the zoom lens driving unit 105, is acquired respectively by the focus lens driving section 106 and the aperture driving unit 107, the acquired information is sent to CPU108 . CPU108は、これらの取得情報とメモリ109に格納されている被写体距離推定テーブルとを用いて、フォーカスレンズ102の合焦位置から被写体までの距離を推定する(すなわち、被写体までの推定距離を算出する)。 CPU108, using a subject distance estimation table stored in these acquired information and memory 109, estimates the distance to the subject from the focus position of the focus lens 102 (i.e., calculates the estimated distance to the subject ). また、CPU108は、これらの取得情報とメモリ109に格納されている被写界深度テーブルとを用いて被写界深度を推定する。 Further, CPU 108 estimates the depth of field by using the depth of field table stored in these acquired information and memory 109.

続いて、CPU108は、フレーム毎の測距エリアの撮影画面内での位置データ、被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを含めて、それらの各種データを録再I/F部114に出力する。 Subsequently, CPU 108, the position data of the shooting screen ranging areas of each frame, the data of the estimated distance to the object, estimation data and the object face whether data depth of field, further the case of the face including the size of the data of the face, and outputs these various data recording and reproducing I / F section 114. 録再I/F部114は、画像処理部113で符号化された画像データと、CPU108で生成された上記の各種データとを、対応させて多重化して図示しない記録媒体に記録する。 Recording and reproducing I / F unit 114, the image data encoded by the image processing unit 113, and the above-mentioned various kinds of data generated by the CPU 108, to correspond to the recording in a recording medium (not shown) and multiplexed. 上記の各種データを符号化画像データに多重化する方法は、特に限定されるものではないが、例えば、上記の各種データを符号化画像データの中に、ユーザデータとして公知の方法により埋め込むようにしてもよい。 Method for multiplexing the coded image data the above-mentioned various data, but are not particularly limited, for example, the above-mentioned various data into encoded image data, so as to fill a known manner as user data it may be.

なお、測距エリアの位置、被写体までの推定距離と推定被写界深度のデータの多重化は必ずしも毎フレームでなくてもよく、数フレーム置きでもよいし、所定の閾値よりも大きな変化があった場合に限定してもよい。 The position of the ranging areas, multiplexes the data of the estimated distance and the estimated depth of field to the subject may not necessarily each frame, may be the every several frames, there is a large change than a predetermined threshold value may be restricted to the case was.

また、被写体までの推定距離と推定被写界深度については、これらの替りにズームレンズ101の移動位置、フォーカスレンズ102の移動位置、及び絞り103の絞り量を符号化するようにしてもよい。 Further, the estimated distance and the estimated depth of field to the subject, the movement position of the zoom lens 101 to these instead, the movement position of the focus lens 102, and the aperture amount of the diaphragm 103 may be encoded. これらと共に被写体距離推定テーブル、被写界深度テーブルに相当するデータを多重化して記録すれば、再生側で被写体までの推定距離と推定被写界深度とが算出できる。 These together with the subject distance estimation table, if the data corresponding to the depth of field table recorded by multiplexing, can be calculated by the reproducing side and the estimated distance to the object and the estimated depth of field. また、自己記録再生に限定すれば、被写体距離推定テーブル、被写界深度テーブルは記録しなくてもよい。 Also, if limited to self-reproducing, subject distance estimation table, depth of field table may not be recorded.

また、本実施形態では、被写体までの推定距離を山登り法で求めたが、これに限定されるものではなく、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。 Further, in the present embodiment, to determine the estimated distance to the object in the hill-climbing method is not limited thereto, and method for observing the reflected wave by irradiation with infrared rays, using a so-called phase difference detection method it may be.

次に、本実施形態の記録媒体から再生した画像データに基づく擬似立体画像の生成時の動作について説明する。 Next, the operation of the time of generation of the pseudo 3D image based on the image data reproduced from the recording medium of the present embodiment.

再生時には、録再I/F部114は、図示しない記録媒体に記録されている多重化データを読み出し、その多重化データのうち符号化画像データは画像データバス117を介して画像処理部113に供給する。 During reproduction, the recording and reproducing I / F unit 114 reads multiplexed data recorded on the recording medium (not shown), encoded image data among the multiplexed data to the image processing unit 113 via the image data bus 117 supplies. また、録再I/F部114は、読み出した多重化データのうち、符号化画像データ以外の、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データは画像データバス117を介してCPU108に供給する。 Further, the recording and reproducing I / F unit 114 reads out the multiplexed data, other than the coded image data, the position of the distance measuring area, the estimated distance to the object, the estimated depth of field, whether the object is a face data, various data such as the size of the data of the face when the face is supplied to the CPU108 through the image data bus 117.

画像処理部113は、入力された符号化画像データを復号して、デジタル値の復号輝度信号(Y)及び復号色差信号(Cb,Cr)を得て、これらを画像記憶部112に格納する。 The image processing unit 113 decodes the input coded image data, the digital value of the decoded luminance signal (Y) and decoding the color difference signals (Cb, Cr) to give, and stores them in the image storage unit 112. 画像記憶部112は、格納した復号輝度信号(Y)及び復号色差信号(Cb,Cr)を、各フレームの時間順の並べ替えなどを行って読み出して、2D3D変換部115に供給する。 Image storage unit 112 stores the decoded luminance signal (Y) and the decoded chrominance signals (Cb, Cr), reads performed like chronological sort of each frame, and supplies the 2D3D converting unit 115.

一方、CPU108は、入力された、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに基づいて、後述するようにフレーム毎に制御信号CTL1、CTL2及びCTL3を算出して、2D3D変換部115に供給する。 Meanwhile, CPU 108 is inputted, the position of the ranging areas, estimated distance to the object, the estimated depth of field, the subject is a face or not of data, various data such as the size of the data of the face when the face based on, to calculate the control signals CTL1, CTL2 and CTL3 for each frame as described later, and supplies the 2D3D converting unit 115. このとき、CPU108は、上記の復号輝度信号(Y)及び復号色差信号(Cb,Cr)(以下、これらを復号画像信号aという)中のあるフレームが2D3D変換部115に入力するタイミングに合わせて、そのフレームに対応する前記の制御信号CTL1〜CTL3を2D3D変換部115に供給する。 In this case, CPU 108, the above decoded luminance signal (Y) and the decoded chrominance signals (Cb, Cr) (hereinafter, referred to decoded image signal a) of the middle frame in accordance with the timing of inputting the 2D3D converting unit 115 , it supplies the control signal CTL1~CTL3 corresponding to the frame to 2D3D converting unit 115.

ここで、上記の制御信号CTL1〜CTL3は、制御信号の無い場合に得られた擬似立体画像が不自然になる場合に、CPU108によって1フレーム毎に自動的に生成される信号である。 Here, the control signal CTL1~CTL3, when pseudo 3D image obtained in the absence of the control signal becomes unnatural, it is automatically signal generated for each frame by the CPU 108. なお、制御信号CTL1〜CTL3は1フィールド毎に生成してもよい。 The control signal CTL1~CTL3 may be generated for each field.

上記の制御信号CTL1は、後述する基本奥行きモデルタイプA、B及びCの各画像の合成比率を制御する信号であり、基本奥行きモデルタイプAの合成比率k1、基本奥行きモデルタイプBの合成比率k2、基本奥行きモデルタイプCの合成比率k3をそれぞれ示すパラメータを含む。 Said control signal CTL1 is a signal for controlling the mixing ratio of the basic depth model type A, the image B, and C described later, the synthesis ratio k1 of the basic depth model type A, mixing ratio of the basic depth model type B k2 includes parameters indicating the synthesis ratio k3 basic depth model type C, respectively. なお、上記の3つの合成比率k1〜k3の合計値は常に「1」であるので、制御信号CTL1は例えば3つの合成比率k1〜k3のうちの任意の2つの合成比率を伝送し、残りの1つの合成比率は2D3D変換部115内で、伝送される任意の2つの合成比率の和を「1」から減算することで生成させることも可能である。 Since the sum of the three synthesis ratio k1 to k3 of the is always "1", the control signal CTL1 may transmit any two synthesis ratio of the example, three synthesis ratio k1 to k3, the remaining one synthesis ratio at 2D3D within converter 115, it is also possible to the sum of any two combination ratio to be transmitted is generated by subtracting from "1".

また、上記の制御信号CTL2は、画像処理部113で復号して得られた、非立体画像信号である復号画像信号a中の赤色信号(R信号)成分のみを重み付けするための重み付け係数を示す制御信号である。 Further, the control signal CTL2 of the above shows the weighting factors for weighting the image processing section 113 obtained by decoding in, only red signal (R signal) component of the decoded image signal in a a non-3D image signal it is a control signal. この制御信号CTL2により、復号画像信号aの輝度差が強い場合であっても、不自然な擬似立体画像となることを抑制することができる。 The control signal CTL2, even when the luminance difference between the decoded image signal a is strong, can be prevented from becoming unnatural pseudo stereoscopic image.

更に、上記の制御信号CTL3は、奥行きを示すパラメータと輻輳を示すパラメータとを含む制御信号である。 Furthermore, the control signal CTL3 is a control signal that includes a parameter indicating the parameter and congestion indicating depth. 輻輳とは、遠景に対しては擬似立体画像のユーザーの両目の視線がほぼ平行となるようにし、近景に対しては両目の視線を内転させることができるようにすることをいう。 Congestion is as line of sight of the user's eyes of the pseudo 3D image is substantially parallel with respect to a distant view, it means to be able to adduction line of sight of both eyes for near distance.

図1において、2D3D変換部115は、画像記憶部112から供給される復号映像信号aと、CPU108から供給される制御信号CTL1〜CTL3とを入力信号として受け、後述するように、復号映像信号a又は制御信号CTL1及びCTL2に基づいて奥行き推定データdを生成してCPU108に出力すると共に、復号映像信号a及び制御信号CTL1〜CTL3に基づいて擬似立体画像信号を生成する。 In Figure 1, 2D3D converting unit 115, a decoded video signal a supplied from the image storage unit 112, receives as an input signal and a control signal CTL1~CTL3 supplied from CPU 108, as described later, the decoded video signal a or on the basis of a control signal CTL1 and CTL2 and outputs the CPU108 generates the depth estimation data d, to generate a pseudo 3D image signal based on the decoded video signal a and a control signal CTL1~CTL3.

次に、2D3D変換部115の構成及び動作について詳細に説明する。 Next is a detailed description of the construction and operation of the 2D3D converting unit 115.

図2は、2D3D変換部115の一例のブロック図、図3は、図2中の奥行き推定データ生成部の一例のブロック図、図4は、図2中のステレオペア生成部300の一例のブロック図を示す。 Figure 2 is a block diagram of an example of a 2D3D converting unit 115, FIG. 3 is a block diagram of an example of the depth estimation data generating unit in FIG. 2, FIG. 4 is an example of a block of the stereo pair generation unit 300 in FIG. 2 It shows a diagram.

図2に示すように、2D3D変換部115は、奥行き推定データ生成部200とステレオペア生成部300とから構成される。 As shown in FIG. 2, 2D3D converting unit 115 is composed of a depth estimation data generating unit 200 and the stereo pair generation unit 300.. 2D3D変換部115は、画像記憶部112から供給される非立体画像信号である復号画像信号aを、加工することなくそのまま例えば右目用映像信号e2として出力すると共に、奥行き推定データ生成部200及びステレオペア生成部300にそれぞれ供給する。 2D3D converting unit 115, the decoded image signal a is a non-3D image signal supplied from the image storage unit 112, processing outputs it as, for example, right-eye video signal e2 without, depth estimation data generating unit 200 and the stereo It supplies each pair generation unit 300.

奥行き推定データ生成部200は、CPU108から供給される制御信号CTL1及びCTL2と、画像記憶部112から供給される復号画像信号aとから奥行き推定データdを生成してCPU108及びステレオペア生成部300に供給する。 Depth estimation data generating unit 200 includes a control signal CTL1 and CTL2 supplied from CPU 108, from the decoded image signal a supplied from the image storage unit 112 to generate the depth estimation data d CPU 108 and the stereo pair generation unit 300 supplies. ステレオペア生成部300は、奥行き推定データdと、CPU108から供給される制御信号CTL3と、画像記憶部112から供給される復号画像信号aとから擬似立体画像信号の左目用映像信号e1を生成して出力する。 Stereo pair generation unit 300 generates a depth estimation data d, a control signal CTL3 supplied from CPU 108, the left-eye video signal e1 of the pseudo 3D image signal from the decoded image signal a supplied from the image storage unit 112 to output Te.

奥行き推定データ生成部200は、図3に示すように、画像入力部201と、画面上部の高域成分評価部202と、画面下部の高域成分評価部203と、合成比率決定部204と、スイッチ205と、奥行きモデル合成手段である奥行きモデル合成部206と、それぞれ基本奥行きモデル発生手段であるフレームメモリ207、208及び209と、制御信号判定部210と、重み付け手段である重み付け部211と、奥行き推定データを生成する奥行き推定データ生成手段である加算部212とから構成されている。 Depth estimation data generating unit 200, as shown in FIG. 3, an image input unit 201, a high-frequency component evaluation unit 202 at the top of the screen, a high-frequency component evaluation unit 203 at the bottom of the screen, a combining ratio determining unit 204, a switch 205, a depth model combining unit 206 is a depth model synthesizing means, a frame memory 207, 208 and 209 is a basic depth model generating means respectively, the control signal judging unit 210, a weighting unit 211 is a weighting means, and an addition unit 212 is a depth estimation data generating means for generating a depth estimation data.

画像入力部201は、フレームメモリを備えており、非立体画像信号である1フレーム分の復号画像信号aを一時記憶した後、その1フレーム分の復号画像信号aを画面上部の高域成分評価部202及び画面下部の高域成分評価部203にそれぞれ供給すると共に、復号画像信号a中の赤色信号(R信号)成分のみを重み付け手段である重み付け部211の一方の入力端子に供給する。 The image input unit 201 is provided with a frame memory, after temporarily storing the decoded image signal a of one frame is a non-3D image signal, the high frequency component evaluated at the top of the screen the decoded image signal a of one frame parts 202 and supplies each of the high-frequency component evaluation unit 203 at the bottom of the screen, and supplies only the red signal (R signal) component in the decoded image signal a to one input terminal of the weighting unit 211 is a weighting means. 重み付け部211の他方の入力端子には、制御信号判定手段である制御信号判定部210からの制御信号CTL2が供給される。 The other input terminal of the weighting unit 211, the control signal CTL2 from the control signal determining unit 210 a control signal determining means is supplied.

画面上部の高域成分評価部202は、1フレーム分の復号画像信号aにおける画面の上部約20%にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。 High-frequency component evaluation unit 202 at the top of the screen, seeking high-frequency components in the region corresponding to the upper 20% of the screen in the decoded image signal a of one frame is calculated as a high frequency component evaluation values ​​at the top of the screen. そして、画面上部の高域成分評価部202は、画面上部の高域成分評価値を合成比率決定部204に供給する。 Then, the high frequency component evaluation section 202 at the top of the screen, and supplies a high-frequency component evaluated values ​​at the top of the screen to synthesis ratio determining unit 204. 画面下部の高域成分評価部203は、1フレーム分の復号画像信号aにおける画面の下部約20%領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。 High-frequency component evaluation unit 203 at the bottom of the screen is determined high-frequency components in the region corresponding to the bottom of the screen about 20% in the region of the decoded image signal a of one frame, it calculates a high-frequency component evaluation values ​​at the bottom of the screen to. そして、画面下部の高域成分評価部203は、画面下部の高域成分評価値を合成比率決定部204に供給する。 Then, the high frequency component evaluation unit 203 of the bottom of the screen, and supplies a high-frequency component evaluated values ​​at the bottom of the screen to synthesis ratio determining unit 204.

一方、フレームメモリ207は基本奥行きモデルタイプA、フレームメモリ208は基本奥行きモデルタイプB、フレームメモリ209は基本奥行きモデルタイプCの画像を予め格納している。 On the other hand, the frame memory 207 stores basic depth model type A, the frame memory 208 is basic depth model type B, the frame memory 209 the image of the basic depth model type C beforehand. これらの基本奥行きモデルタイプA〜Cの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。 These basic depth model type A~C images show the underlying image of the scene to generate a pseudo 3D image signal to generate the depth estimation data based on the non-3D image signal, respectively.

すなわち、上記の基本奥行きモデルタイプAの画像は、球面状の凹面による奥行きモデルの画像で、図5に示すような立体構造の画像を示す。 That is, the image of the basic depth model type A described above, in the image of the depth model by spherical concave show images of the three-dimensional structure as shown in FIG. 多くの場合に、この基本奥行きモデルタイプAの画像が使用される。 In many cases, the image of the basic depth model type A is used. オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。 In the scene object does not exist, by setting the most far the center of the screen, because less stereoscopic effect and comfortable sense of depth discomfort can be obtained.

また、上記の基本奥行きモデルタイプBの画像は、基本奥行きモデルタイプAの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図6に立体構造を示すような、上部を円筒面(軸は垂直方向)で下部を凹面(球面)としたモデルの画像である。 The above-mentioned basic depth model type B images are not spherical the upper part of the image of the basic depth model type A, which was replaced by the cylindrical surface of the arched, such as showing the three-dimensional structure in Figure 6, the upper cylindrical surface (axis vertical) is an image of a model in which the bottom with a concave surface (spherical surface).

更に、上記の基本奥行きモデルタイプCの画像は、図7に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面(軸は水平方向)としたモデルの画像である。 Furthermore ones, above basic depth model type C of an image, such as showing the three-dimensional structure in Figure 7, which is a top planar, continuously lower from the plane, and the cylindrical surface toward the more front side go down in the upper plane, the lower part cylindrical surface (axis horizontal) is an image of the model with. 基本奥行きモデルタイプ発生手段を構成するフレームメモリ207〜209に格納されている、これら基本奥行きモデルタイプA〜Cの画像は、奥行きモデル合成部206へ供給される。 Stored in the frame memory 207 to 209 constituting the basic depth model type generating means, the image of these basic depth model type A~C is supplied to the depth model synthesizing unit 206.

合成比率決定部204は、画面上部の高域成分評価部202から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部203から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプAの合成比率k1、基本奥行きモデルタイプBの合成比率k2、基本奥行きモデルタイプCの合成比率k3を自動的に算出し、それらを合成比率信号COMとして制御信号判定手段であるスイッチ205に供給する。 Synthesis ratio determining unit 204, and high frequency component evaluated values ​​at the top of the screen supplied from the high frequency component evaluation section 202 at the top of the screen, high frequency component evaluated at the bottom of the screen supplied from the bottom of the screen high-frequency component evaluation unit 203 based on the values, without considering the scene image, the method predetermined synthesis ratio k1 of the basic depth model type a, mixing ratio of the basic depth model type B k2, mixing ratio of the basic depth model type C automatically calculates k3, supplies the switch 205 is a control signal determining means for them as synthesis ratio signal COM. なお、3つの合成比率k1〜k3の合計値は常に「1」である。 Incidentally, the sum of the three synthesis ratio k1~k3 is always "1".

図8は、合成比率の決定条件の一例を示す。 Figure 8 shows an example of determination conditions combining ratio. 図8は、横軸に示す画面上部の高域成分評価値(以下、上部の高域成分評価値と略す)と、縦軸に示す画面下部の高域成分評価値(以下、下部の高域成分評価値と略す)の各値と、予め指定された値tps、tpl、bms、bmlとの兼ね合いにより合成比率が決定されることを示す。 Figure 8 is a high-frequency component evaluated values ​​at the top of the screen shown on the horizontal axis (hereinafter, referred to as the high frequency component evaluated values ​​in the top) and the vertical axis in the high frequency component evaluated values ​​of the lower screen shown (hereinafter, the lower portion of the high-frequency shows the values ​​of abbreviated component evaluated values), pre-specified value tps, tpl, bms, that combining ratio is determined by consideration of the bml. この合成比率の決定条件は、本出願人が特許第4214976号公報にて開示した公知の決定条件であるが、これに限定されるものではない。 Determining conditions for the synthesis ratio is present applicant is a known decision conditions disclosed in Japanese Patent No. 4214976, but is not limited thereto.

図8において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。 8, for the region in which a plurality of types have been described, are combined linearly with the high-frequency component evaluated values. 例えば、図8において、「typeA/B」の領域では、下記のように(上部の高域成分評価値)と(下部の高域成分評価値)の比率で基本奥行きモデルタイプAの値であるtypeAと基本奥行きモデルタイプBの値であるtypeBの比率が決定され、基本奥行きモデルタイプCの値であるtypeCは比率の決定には用いられない。 For example, in FIG. 8, in the region of "typeA / B" is the value of the basic depth model type A at a ratio of as follows (the high-frequency component evaluated values ​​of the upper) (high frequency component evaluated values ​​lower) determines the ratio of typeB a value of typeA and basic depth model type B, typeC is not used for the determination of the ratio is the value of the basic depth model type C.

typeA:typeB:typeC typeA: typeB: typeC
=(上部の高域成分評価値−tps):(tp1−下部の高域成分評価値):0 = (High-frequency component evaluated values ​​of the upper -tps) :( tp1- high frequency component evaluated values ​​lower): 0
また、図8において、「typeA/B/C」の領域では、typeA/BとtypeA/Cとの平均を採用して、下記のようにtypeA/B/Cの値が決定される。 Further, in FIG. 8, in the region of "typeA / B / C" may employ an average of the typeA / B and typeA / C, the value of typeA / B / C are determined as follows.

typeA:typeB:typeC typeA: typeB: typeC
=(上部の高域成分評価値−tps)+(下部の高域成分評価値−bms):(tpl− = (High-frequency component evaluated values ​​-tps upper) + (high frequency component evaluated values ​​-bms lower) :( Tpl-
上部の高域成分評価値):(bml−下部の高域成分評価値) High-frequency component evaluated values ​​of the upper) :( BML high frequency component evaluated values ​​lower)
なお、合成比率k1、k2、k3は次式で算出される。 Incidentally, the synthesis ratio k1, k2, k3 is calculated by the following equation.

k1=type1/(typeA+typeB+typeC) k1 = type1 / (typeA + typeB + typeC)
k2=type2/(typeA+typeB+typeC) k2 = type2 / (typeA + typeB + typeC)
k3=type3/(typeA+typeB+typeC) k3 = type3 / (typeA + typeB + typeC)
図3に戻って説明する。 Referring back to FIG. スイッチ205は、CPU108から制御信号CTL1が供給される場合には制御信号CTL1を選択して奥行きモデル合成部206に供給し、制御信号CTL1が供給されない場合には合成比率決定部204より供給される合成比率信号COMを選択する。 Switch 205 is supplied from the combining ratio determining unit 204 when fed to depth model combining section 206 selects a control signal CTL1, the control signal CTL1 is not supplied when the control signal CTL1 is supplied from the CPU108 selecting the mixing ratio signal COM. スイッチ205は、選択した信号を合成手段である奥行きモデル合成部206に供給する。 Switch 205 supplies the selected signal to depth model synthesizing unit 206 is a synthesizing means.

奥行きモデル合成部206は、スイッチ205から供給された制御信号CTL1あるいは合成比率信号COMが示す合成比率k1〜k3が示す比率で、基本奥行きモデルタイプA〜Cの画像を合成して合成奥行きモデルとなる画像信号を生成する。 Depth model combining unit 206, in the proportions indicated by the synthesis ratio k1~k3 indicated supplied control signal CTL1 or combination ratio signal COM from the switch 205, and the synthesis depth model by combining the image of the basic depth model type A~C It generates an image signal composed.

図9は、奥行きモデル合成部206の一例のブロック図を示す。 Figure 9 is a block diagram showing an example of a depth model combining section 206. 同図に示すように、奥行きモデル合成部206は、スイッチ205により選択された制御信号CTL1又は合成比率信号COMが示す合成比率k1、k2、k3と、フレームメモリ207、208、209からの基本奥行きモデルタイプA、B、Cの各画像信号とを、乗算器2061、2062、2063において別々に乗算し、それら3つの乗算結果を加算器2064で加算して、得られた加算結果を奥行き推定データ生成手段である加算部212へ出力する構成である。 As shown in the figure, depth model combining unit 206, a synthesis ratio k1, k2, k3 indicated by the selected control signal CTL1 or combining ratio signal COM by the switch 205, the basic depth from the frame memory 207, 208 and 209 model type a, B, and the image signal and C, multiplied separately in multiplier 2061,2062,2063, by adding these three multiplication results in the adder 2064, the resulting sum the depth estimation data is configured to output to the addition section 212 is a generator.

図3において、制御信号判定部210は、CPU108より制御信号CTL2が供給されているか否かを判定する。 3, the control signal judging unit 210 determines whether the control signal CTL2 is supplied from the CPU 108. 制御信号判定部210は、制御信号CTL2が供給される場合は、その制御信号CTL2を重み付け部211に供給する。 Control signal determining unit 210, when the control signal CTL2 is supplied, supplies the control signal CTL2 to the weighting section 211. 一方、制御信号CTL2が供給されていない場合、予め制御信号判定部210内に設定されている重み付け係数に相当するパラメータを含む制御信号CTL2を重み付け部211に供給する。 On the other hand, if the control signal CTL2 is not supplied, and supplies a control signal CTL2, which includes parameters corresponding to the weighting coefficients set in advance the control signal judging unit 210 to the weighting section 211.

重み付け部211は、制御信号判定部210から供給される制御信号CTL2に含まれる最大値を「1」とする重み付け係数と、画像入力部201から供給される復号画像信号aのR信号成分とを乗算して、復号画像信号aのR信号成分に重み付けをする。 Weighting unit 211, a weighting factor the maximum value included in the control signal CTL2 supplied from the control signal judging unit 210 is "1", the decoded image signal a supplied from the image input unit 201 and a R signal component multiplied by, for weighting the R signal component of the decoded image signal a. R信号成分は、画像入力部201において、輝度信号(Y)及び色差信号Crとから、R=Y+Crといった演算で算出される。 R signal component, the image input unit 201, and a luminance signal (Y) and color difference signals Cr, is calculated by operations such R = Y + Cr.

なお、R信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い(明度)の変化が大きくない条件下で、R信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。 Incidentally, one reason for using R signal component, in an environment similar to the forward light and under a change in the degree of brightness of the texture (brightness) is not large, the size of the R signal component original image by the rule of thumb that there is a high probability that matches the concave-convex. テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。 The texture, an element constituting the image, consists of a single pixel or pixel group.

更に、R信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。 Further, as another reason to use R signal component, red and warm are advancing colors in color science, it is characterized in that the depth than cold color is recognized in front, placing the depth in front in is that it is possible to emphasize the three-dimensional effect.

なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。 Incidentally, while the red and warm is advanced color, blue is retracted color, there is a characteristic depth than warm colors is recognized in the back. よって、青色の部分を奥に配置することによっても立体感の強調は可能である。 Therefore, emphasis is capable of stereoscopic effect by placing the blue end first. 更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。 Furthermore a combination of both, it is also possible to emphasize the stereoscopic effect by placing the red part near the blue end first.

加算部212は、奥行きモデル合成部206より供給される合成奥行きモデルの画像信号と、重み付け部211から供給される重み付けされた復号画像信号aのR信号成分とから、奥行き推定データdを生成する。 Addition unit 212, an image signal of the synthesis depth model supplied from the depth model synthesizing unit 206, and a R signal component of the weighted decoded image signal a supplied from the weighting unit 211, generates the depth estimation data d . 例えば、奥行きモデル合成部206より供給される合成奥行きモデルの画像信号に、重み付け部211から供給される重み付けされた復号画像信号aのR信号成分を重畳して、奥行き推定データdを生成する。 For example, the image signal of the synthesis depth model supplied from the depth model synthesizing unit 206 superimposes the R signal component of the weighted decoded image signal a supplied from the weighting unit 211, generates the depth estimation data d. 重畳した値が奥行き推定データdに割り当てられる所定のビット数を超える場合は、所定のビット数に制限される。 If superimposing the value exceeds a predetermined number of bits allocated to the depth estimation data d is limited to a predetermined number of bits. 生成された奥行き推定データdは、ステレオペア生成部300に供給される。 The generated depth estimation data d is supplied to the stereo pair generation unit 300. また、CPU108にも供給される。 Moreover, it is also supplied to the CPU 108.

次に、ステレオペア生成部300の構成及び動作について説明する。 Next, the configuration and operation of a stereo pair generation unit 300. 図4は、ステレオペア生成部300の一例のブロック図を示す。 Figure 4 is a block diagram showing an example of a stereo pair generation unit 300. 制御信号判定手段である制御信号判定部301は、CPU108より制御信号CTL3が供給されているか否かを判定する。 Control signal determination unit 301 is a control signal determining means determines whether the control signal CTL3 is supplied from the CPU 108. 制御信号CTL3が供給されていない場合、予め制御信号判定部301内に設定されている輻輳及び奥行きを表す2つのパラメータをテクスチャシフト部302に供給する。 When the control signal CTL3 is not supplied, and supplies the two parameters representing the congestion and depth is preset to the control signal judging unit 301 to the texture shift unit 302. 制御信号CTL3が供給されている場合、その制御信号CTL3に含まれている輻輳及び奥行きを表す2つのパラメータをテクスチャシフト部302に供給する。 When the control signal CTL3 is supplied, it supplies the two parameters representing the congestion and depth are included in the control signal CTL3 to the texture shift unit 302.

テクスチャシフト手段であるテクスチャシフト部302は、供給される復号画像信号aと奥行き推定データdと制御信号判定部301からの輻輳及び奥行きを表す2つのパラメータとに基づいて、復号画像信号aとは別視点の画像信号を生成する。 Texture shift unit 302 is a texture shifting means, on the basis of the two parameters representing the congestion and the depth from the decoded image signal a and the depth estimation data d and the control signal judging unit 301 is supplied, the decoded image signal a It generates an image signal of a different perspective. 例えば、テクスチャシフト部302は、復号画像信号aを画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。 For example, the texture shift unit 302, based on the viewpoint in the case where is a screen displaying the decoded image signal a, and generates an image signal viewpoint moves to the left. その場合、テクスチャシフト部302は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側(鼻側)に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。 In that case, the texture shift unit 302 when displaying the texture as a close view to the user, since looks closer image Users inner (nose side), the image moves by an amount corresponding to the depth of the texture to the right of the screen to generate a signal. また、テクスチャシフト部302は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。 Further, the texture shift unit 302 when displaying the texture as a distant view to the user, since visible on the outside of the farther image user to generate an image signal that has moved by an amount corresponding to the depth of the texture to the left side of the screen.

ここでは、それぞれの画素に対する奥行き推定データdを8ビットの値Ddで表すものとする。 Here, it is assumed to represent the depth estimation data d for each pixel with 8-bit value Dd. テクスチャシフト部302は、Ddの小さい値(すなわち、画面奥に位置するもの)から順に、そのDdに対応する復号画像信号aのテクスチャをそれぞれの画素毎に(Dd−m)/n画素分右にシフトした画像信号を生成する。 Texture shift unit 302, small values ​​of Dd (ie, those located on the screen back) from the order, the texture of the decoded image signal a corresponding to the Dd for each pixel (Dd-m) / n pixels right It generates an image signal shifted. 上記のmは飛び出し感を表すパラメータ(輻輳値)であり、上記のnは奥行きを表すパラメータ(奥行き値)である。 Above the m is a parameter (convergence value) representing the sense of jumping out, above the n is a parameter indicating the depth (depth value).

なお、ユーザーには、奥行き推定データdを示す値Ddの小さいテクスチャは画面奥側に見え、奥行き推定データdを示す値Ddの大きいテクスチャは画面手前に見える。 Note that the user, small textures value Dd indicating the depth estimation data d is visible on the screen rear side, larger texture value Dd indicating the depth estimation data d looks forward screen. 奥行き推定データdを示す値Dd、輻輳値m、奥行き値nは0〜255の範囲の値であり、例えば、制御信号判定部301に予め設定されている値は、輻輳値m=200、奥行き値n=20である。 The value indicating the depth estimation data d Dd, convergence value m, the depth value n is a value in a range of 0 to 255, for example, preset value the control signal judging unit 301, the congestion value m = 200, the depth it is the value n = 20.

オクルージョン補償部303は、テクスチャシフト部302より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部304に供給する。 Occlusion compensation unit 303 performs compensation of the occlusion to the image signal of another viewpoint output from the texture shift unit 302 supplies the image signal occlusion compensated post-processing unit 304. オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。 Occlusion and, as a result of shifting the texture refers to a nonexistent part of the texture by the positional relationship changes in the image. オクルージョン補償部303は、テクスチャシフトされた画像信号に対応する元の復号画像信号aによりオクルージョンの箇所を充填する。 Occlusion compensation unit 303 fills a portion of the occlusion by the original decoded picture signal a corresponding to the image signal textured shifted. また、公知の文献(山田邦男、望月研二、相澤清晴、齊藤隆弘:"領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866(2002.5))に記載の手法でオクルージョンを補償してもよい。 Further, the known literature (Kunio Yamada, Kenji Mochizuki, Kiyoharu Aizawa, Takahiro Saito: "region competition method occlusion based on the statistics of the texture of an image divided by the compensation", video information Journal, Vol.56, No.5 it may compensate for occlusion in the manner described in pp.863~866 (2002.5)).

ポスト処理手段であるポスト処理部304は、オクルージョン補償部303によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号e1を出力する。 Post-processing unit 304 is a post-processing unit, to the occlusion compensated image signals by the occlusion compensation unit 303 performs as necessary post-processing, such as removal of the smoothing and noise in a known manner, the left-eye image and it outputs a signal e1. なお、2D3D変換部115は、録再I/F部114により記録媒体から再生された復号画像信号aを右目用画像信号e2とする。 Incidentally, 2D3D converting unit 115, the decoded image signal a reproduced from the recording medium by the recording and reproducing I / F unit 114 and the right-eye image signal e2.

図1において、表示I/F部116は、2D3D変換部115から出力される右目用画像信号e2とポスト処理された左目用画像信号e1とを入力信号として受け、その入力信号をステレオ画像表示に対応したモニタ(図示せず)に出力する。 In Figure 1, the display I / F unit 116 receives the right-eye image signal e2 and post-processed left-eye image signal e1 output from 2D3D converting unit 115 as an input signal, the input signal to the stereo image display and outputs to the corresponding monitor (not shown). これにより、ユーザーはステレオ画像を見ることができる。 As a result, the user can see the stereo image. 以上のようにして、記録媒体から再生した画像データに基づく擬似立体画像の生成と擬似立体画像の表示とが行われる。 As described above, the display and generation and pseudo 3D images pseudo 3D image based on the image data reproduced from the recording medium is performed.

次に、本実施形態の要部の動作について更に詳細に説明する。 Next, further detailed description will be given of the operation of the main part of this embodiment.

ユーザーがビデオカメラ100で撮影した非立体画像を擬似立体画像に変換する場合に、ユーザーが製作者となることなく、擬似立体画像生成用パラメータを自動的に調整するための制御信号CTL1〜CTL3の生成方法について具体的に説明する。 User to convert the non-stereo image captured by the video camera 100 to the pseudo 3D image, without the user is producer, the control signal CTL1~CTL3 for automatically adjusting the pseudo 3D image generating parameters It illustrates the formation method.

CPU108は、録再I/F部114が図示しない記録媒体から読み出した多重化データのうち、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データを取得する。 CPU108 is recorded among the multiplexed data re I / F unit 114 is read from the recording medium (not shown), the position of the ranging areas, estimated distance to the object, the estimated depth of field, the subject of whether the face data acquires various data such as the size of the data of the face when the face. そして、CPU108は、この取得データと2D3D変換部115から供給される奥行き推定データdとから、以下のように制御信号CTL1〜CTL3を算出する。 Then, CPU 108 from the depth estimation data d supplied from the acquired data and 2D3D converting unit 115, calculates a control signal CTL1~CTL3 as follows.

CPU108は、測距エリアの撮影画面内での位置が画面の水平方向の中央で、かつ、被写体までの推定距離が所定の閾値1よりも小さい場合には、そうでない場合よりも基本奥行きモデルタイプCの混合比率が高くなるように制御信号CTL1を生成する。 CPU108 is at the center position in the horizontal direction of the screen in the shooting screen ranging areas, and, when the estimated distance to the subject is smaller than the predetermined threshold value 1, the basic depth model type than would otherwise be the case the mixing ratio of C generates a control signal CTL1 so increases. その理由は、近距離にある被写体が主たる被写体であり、再生鑑賞する際に注視する部分であることが多い。 The reason is the main subject is a subject at a short distance, it is often a part for fixation at the time of viewing playback. 従って、基本奥行きモデルタイプAやBのように画面中央ほど遠方に配置されるモデルでは、注視部分が遠方になってしまい、違和感があるためである。 Thus, the model to be located far away as the center of the screen as basic depth model type A and B, and because the gaze portion becomes distant, there is a sense of incongruity.

また、CPU108は、被写体が顔であって、正規化した顔の大きさが所定の閾値2より大きい場合には、被写体の胸から上を含めた顔全体を捉えたショットであるバストショットの確率が高いので、そうでない場合よりも基本奥行きモデルタイプCの混合比率が高くなるように制御信号CTL1を生成する。 Further, CPU 108 is a subject face, when the size of the normalized face is larger than a predetermined threshold value 2, bust shot probability of a shot that captures the whole face including the upper chest of the subject because of the high, generates a control signal CTL1 as the mixing ratio of the basic depth model type C is higher than would otherwise be the case. これは、上記の理由と同じ理由に基づく。 This is based on the same reason as the above-mentioned reasons. 同様に、推定被写界深度が浅い値であるほど基本奥行きモデルタイプCの混合比率が高くなるように制御信号CTL1を生成する。 Similarly, the mixing ratio of the basic depth model type C as the estimated depth of field is shallow value to generate a control signal CTL1 to be higher. 焦点が合っていない部分の奥行きに変化があると違和感があるからである。 If there is a change in the depth of the portion where the focus is not correct because there is a sense of incongruity.

さらに、CPU108は、測距エリアの撮影画面内での位置が画面の水平方向の右端または左端で、かつ、被写体までの推定距離が所定の閾値3よりも小さい場合には、基本奥行きモデルタイプBの混合比率がそうでない場合よりも高くなるように制御信号CTL1を生成する。 Furthermore, CPU 108 is a right or left end position of the horizontal direction of the screen in the shooting screen ranging areas, and, when the estimated distance to the subject is smaller than the predetermined threshold value 3, the basic depth model type B mixing ratio to generate a control signal CTL1 to be higher than would otherwise be the case. その理由は、注視する部分が画面の水平方向の右端又は左端であると考えられるので、その部分を画面手前に、他の部分を画面奥側に配置するモデルにした方が違和感が少ないためである。 The reason is that the portion of gaze is considered to be horizontal right or left edge of the screen, that part of the screen before, in order that little discomfort better to model to place other parts of the screen back side is there.

また、CPU108は、被写体までの推定距離が所定の閾値4よりも大きい場合には、基本奥行きモデルタイプAの混合比率がそうでない場合よりも高くなるように制御信号CTL1を生成する。 Further, CPU 108, when the estimated distance to the subject is greater than a predetermined threshold value 4, the mixing ratio of the basic depth model type A generates a control signal CTL1 to be higher than would otherwise be the case. その理由は、画面に拡がり感を持たせることで擬似立体画像に迫力がでるからである。 This is because the punch comes into pseudo 3D image by giving the spaciousness on the screen.

これら以外の場合には制御信号CTL1を出力しない。 The other cases does not output the control signal CTL1. 従って、上記以外の場合は、スイッチ205は合成比率信号COMを出力する。 Therefore, in the case other than the above, the switch 205 outputs the mixing ratio signal COM. また、CPU108は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値5より大きい場合には、制御信号CTL2に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。 Further, CPU 108 is a main subject is a face, normalized when the size of the face is greater than a predetermined threshold value 5, the weighting coefficient included in the control signal CTL2, greater than otherwise to. その理由は、顔の肌色部分にはR信号成分が含まれるため、重み付け係数を大きくすることで顔が周囲よりも画面の手前に配置されるので、擬似立体画像としての印象が強くなるからである。 In that reason, since the skin color portion of the face includes R signal component, since the face by increasing the weighting coefficients is arranged in front of the screen than the surrounding, because the impression of a pseudo 3D image is strongly is there.

更に、CPU108は、推定被写界深度が深い値であるほど、制御信号CTL2に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。 Furthermore, CPU 108 is, the more the estimated depth of field is deep value, the weighting factor included in the control signal CTL2, and greater value than otherwise. これは、推定被写界深度が深い値である場合、画面内の多くの部分がぼけないで映っていることが多く、2次元画像(非立体画像)で見ると、奥行き感が失われている状態となるので、奥行き感を持たせるためである。 This is because when the estimated depth of field is deep value, often is reflected not blurred much of the screen, when viewed in a two-dimensional image (non-3D image), and sense of depth is lost since the state who are, in order to have a sense of depth.

また、CPU108は、奥行き推定データdのそれぞれの画素のうち、測距エリアの撮影画面内での位置に相当する複数の画素の奥行き推定データdを示す値Ddの平均値を求める。 Further, CPU 108, of the respective pixels of the depth estimation data d, the average value of the values ​​Dd indicating the depth estimation data d of a plurality of pixels corresponding to the position in the photographing screen of the ranging areas. この平均値をmとする。 And the average value is set as the m. すなわち、輻輳及び奥行きを制御する制御信号CTL3のうちの輻輳値mが算出される。 That is, the convergence value m of the control signal CTL3 for controlling congestion and depth is calculated. 従って、前述のシフト量(Dd−m)/n画素分の式から、測距エリアの撮影画面内での位置に相当する領域が、シフト量0の領域となる。 Therefore, the shift amount (Dd-m) / n pixels of the above equation, the region corresponding to the position in the photographing screen of the distance measuring area, the area of ​​the shift amount 0. 右目用と左目用の画像データでシフト量が0の領域は、立体表示ではモニタの実際の表示面に位置して見えるようにする。 Region of the right eye and the shift amount in the image data for the left eye is 0, the three-dimensional display to appear positioned actual display surface of the monitor. これは、測距エリアには、主たる被写体が存在し、再生鑑賞する際の注視部分であると考えられることから、その部分を常にモニタの実際の表示面に位置させることで、安定した印象を与えることが目的である。 This is the distance measurement area, there is a main subject, it is considered to be a fixation portion at the time of viewing reproduced, by positioning the actual display surface always monitor the part, a stable impression it is an object to provide.

更に、CPU108は、推定被写界深度が深い値であるほど、制御信号CTL3のうちの奥行き値nの値を小さくする。 Furthermore, CPU 108 is, as the estimated depth of field is deep value, decreasing the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを大きくする。 That is, increasing the depth of the stereoscopic image. 逆に、推定被写界深度が浅い値であるほど、CPU108は制御信号CTL3のうちの奥行き値nの値を小さくする。 Conversely, as the estimated depth of field is shallow value, CPU 108 will reduce the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを小さくする。 That is, to reduce the depth of the stereoscopic image.

これは次の理由による。 This is due to the following reasons. 推定被写界深度が深い値である場合、画面内の多くの画像部分がぼけないで映っていることが多い。 If the estimated depth of field is deep value, often it is reflected not blurred much of the image portion in the screen. この場合、2次元画像(非立体画像)で見ると、奥行き感が失われている状態となる。 In this case, when viewed in a two-dimensional image (non-3D image), a state where perceived depth is lost. これを2D3D変換で補うことで、奥行き感を得ることができる。 This by supplementing with 2D3D conversion, it is possible to obtain a sense of depth. 逆に、推定被写界深度が浅い値である場合には、焦点が合ったように見える画像部分が限定されていることが多く、2次元画像(非立体画像)で見ても、奥行き感が感じられる。 Conversely, when the estimated depth of field is shallow values ​​often is the visible image portion as focus is limited, even when viewed in two-dimensional images (non-3D image), depth feeling It is felt. この状態で2D3D変換により、更に奥行き感を加えると、ユーザーには目の焦点の位置まで強制されているように感じてしまい、不快な感じを抱くことがあるからである。 The 2D3D conversion in this state, it is further the addition sense of depth, the user would feel like being forced to a position of the focal point of the eye, because there may harbor unpleasant feeling.

また、CPU108は、主たる被写体が顔であって、正規化された顔の大きさが所定の閾値5より大きい場合には、制御信号CTL3のうちの奥行き値nの値をそれ以外の場合よりも小さくする。 Further, CPU 108 is a main subject is a face, when the size of the normalized face is greater than a predetermined threshold value 5, the value of the depth value n of the control signals CTL3 than otherwise smaller. すなわち、立体画像としての奥行きを小さくする。 That is, to reduce the depth of the stereoscopic image.

なお、以上の制御信号CTL1〜CTL3の値は、連続するフレームにおいて時間的な連続を考慮して生成する。 Note that the value of the control signal CTL1~CTL3 above is generated by taking into account the continuity in time in successive frames. すなわち、値の変更が時間的に緩やかであるようにする。 That is, value change is to be temporally gradual. 急激な変更には擬似立体画像を見るユーザーの視覚感覚がついていけないからである。 The rapid change is because I can not keep up with the visual sensation of the user to see the pseudo-three-dimensional image.

以上のように、本実施形態によれば、非立体画像である撮影画像から奥行き情報を推定して擬似立体画像を生成する場合に、第1乃至第3の制御信号によって複数の基本奥行きモデルタイプの画像の合成比率や非立体画像信号の重み付け係数やテクスチャシフトの際の奥行き値や輻輳値を制御する際に、画面毎に得られる撮影時のパラメータから第1乃至第3の制御信号の値を最適な奥行きモデルが得られるように自動的に可変するようにしたため、ユーザーが撮影シーンなどに応じて個々に設定しなくても、どのような非立体画像のシーンであっても、違和感のない、現実のイメージにより近い擬似立体画像を生成することができる。 As described above, according to this embodiment, when generating a pseudo 3D image from the captured image is a non-3D image and estimating depth information, the first to third plurality of basic depth model type by a control signal of in controlling the depth value and the congestion value when weighting factors and texture shift synthesis ratio and non-3D image signal of the image, from the parameter at the time of photographing obtained for each screen of the first to third control signals values since was to automatically variably optimal depth model is obtained, without setting individual users in accordance with the shooting conditions even scene of any non-stereo image, the discomfort no, it is possible to produce a near pseudo 3D image by the real image.

また、本実施形態によれば、被写体が顔である場合には人物撮影に適した奥行き感を与えることができる。 Further, according to this embodiment, when the subject is a face can be given a sense of depth that is suitable for portrait photography. 更に、合焦している領域である測距エリアがモニタの実際の表示面に位置して見えることで、安定した擬似立体画像を表示できる。 Furthermore, by the distance measuring area is an area that is focused appear to position the actual display surface of the monitor, can display stable pseudo 3D image. また、本実施形態では、制御信号CTL1〜CTL3の値の変更を時間的に緩やかにするようにしているため、ボケ量と奥行きの関係がユーザーにとって違和感のない自然なものにできる。 Further, in this embodiment, since the change of the value of the control signal CTL1~CTL3 it is to be in time slowly, the relationship between the blur amount and depth can be natural ones without discomfort to the user.

<第2の実施形態> <Second Embodiment>
次に、本発明の第2の実施形態について説明する。 Next, a description will be given of a second embodiment of the present invention. 図10は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第2の実施形態のブロック図を示す。 Figure 10 shows a block diagram of a second embodiment of a video camera having a pseudo 3D image generating apparatus according to the present invention. 同図中、図1と同一構成部分には同一符号を付し、その説明を省略する。 In the figure, the same reference numerals are given to the same components as FIG. 1, the description thereof is omitted. 図10に示す第2の実施形態のビデオカメラ150は、再生した画像データに対して2D3D変換を行うのではなく、撮影した画像信号に対して2D3D変換を行い、その結果を記録する点でビデオカメラ100と相違する。 Video camera 150 of the second embodiment shown in FIG. 10, instead of performing 2D3D converting the image data reproduced performs 2D3D conversion on captured image signals, video that records the result It differs from the camera 100.

このビデオカメラ150は、所望の撮影モードによる被写体の撮影、撮影した画像データに基づく擬似立体画像の生成と、その擬似立体画像の記録媒体への記録、記録媒体から再生した擬似立体画像の表示を適宜選択して行う。 The video camera 150 is desired imaging mode imaging of a subject by a generation of pseudo 3D image based on the captured image data, recorded on the recording medium of the pseudo 3D image, the display of the pseudo 3D image reproduced from a recording medium appropriately conducted.

撮影時において、ビデオカメラ150内の画像記憶部151は、信号処理部111から出力される被写体画像のデジタル値の輝度信号(Y)及び色差信号(Cb,Cr)を順次格納する点は画像記憶部112と同様であるが、格納した輝度信号(Y)及び色差信号(Cb,Cr)をCPU152と2D3D変換部115にそれぞれ出力する点で画像記憶部112と異なる。 During shooting, the image storage unit 151 of the video camera 150, the signal digital value of the luminance signal of an object image output from the processing unit 111 (Y) and color difference signals (Cb, Cr) points for sequentially storing the image storage is similar to section 112, it stores the luminance signal (Y) and color difference signals (Cb, Cr) an image storage unit 112 in that the outputs respectively CPU152 and 2D3D converting unit 115 differs.

CPU152は、画像記憶部151から読み出された1フレーム分の輝度信号(Y)及び色差信号(Cb,Cr)と、ズームレンズ101の移動位置、フォーカスレンズ102の移動位置及び絞り103の絞り量などの取得情報と、メモリ109に格納されている被写体距離推定テーブルや被写界深度テーブルなどを用いて、CPU108と同様にしてフレーム毎の測距エリアの撮影画面内での位置データ、フォーカスレンズ102の合焦位置から被写体までの推定距離のデータ、被写界深度の推定データ及び被写体が顔か否かのデータ、更に顔の場合には顔の大きさのデータを生成する。 CPU152 is one frame of luminance signals read out from the image storage unit 151 (Y) and color difference signals (Cb, Cr) and the movement position of the zoom lens 101, the aperture amount of the moving position and the aperture 103 of the focus lens 102 and obtaining information, such as, by using a subject distance estimation table and depth of field table stored in the memory 109, the position data in the photographing screen of the ranging area of ​​each frame in the same manner as CPU 108, the focus lens 102 estimates the distance data from the in-focus position to the subject, the estimated data and the object face whether data depth of field, further in the case of the face produces the size of the data of the face.

続いて、CPU152は、生成したそれら各種のデータと2D3D変換部115から供給される奥行き推定データdとから、第1の実施形態で説明したと同様の方法により制御信号CTL1〜CTL3を算出して2D3D変換部115に供給する。 Subsequently, CPU 152 from the depth estimation data d supplied from the generated and their various data 2D3D converting unit 115, calculates a control signal CTL1~CTL3 the same manner as described in the first embodiment 2D3D supplied to the converter 115.

2D3D変換部115は、画像記憶部151から読み出された、非立体画像信号である輝度信号(Y)及び色差信号(Cb,Cr)と、CPU152で算出された制御信号CTL1及びCTL2とに基づいて、第1の実施形態で説明したと同様の方法により奥行き推定データdを生成してCPU152に出力すると共に、非立体画像信号(Y,Cb,Cr)と制御信号CTL1〜CTL3とに基づいて、左目用画像信号e1及び右目用画像信号e2を生成する。 2D3D converting unit 115, is read from the image storage unit 151, a luminance signal is a non-3D image signal (Y) and color difference signals (Cb, Cr), based on a control signal CTL1 and CTL2 calculated in CPU152 Te, and outputs the CPU152 generates the depth estimation data d in the same manner as described in the first embodiment, the non-3D image signal (Y, Cb, Cr) on the basis of the control signal CTL1~CTL3 , it generates a left-eye image signal e1 and the right-eye image signal e2. そして、2D3D変換部115は、生成した左目用画像信号e1及び右目用画像信号e2を画像処理部153に供給する。 Then, 2D3D converting unit 115 supplies the generated left eye image signal e1 and the right-eye image signal e2 to the image processing unit 153.

画像処理部153は、2D3D変換部115から供給される左目用画像信号e1及び右目用画像信号e2を、それぞれ独立に公知のMPEG−2方式やMPEG−4 AVC方式によって符号化する。 The image processing unit 153, a left eye image signal e1 and the right-eye image signal e2 supplied from 2D3D converting unit 115, encodes the known MPEG-2 scheme and MPEG-4 AVC system independently. あるいは、画像処理部153は、2D3D変換部115から供給される左目用画像信号e1及び右目用画像信号e2を一組の擬似立体画像信号として、例えばMPEG−4MVC(Moving Picture Experts Group 4 Multiview Video Coding)方式に基づいて符号化する。 Alternatively, the image processor 153, a left eye image signal e1 and the right-eye image signal e2 supplied from 2D3D converting unit 115 as a set of pseudo 3D image signal, for example, MPEG-4MVC (Moving Picture Experts Group 4 Multiview Video Coding ) for encoding based on a scheme.

録再I/F部114は、画像処理部153において符号化された画像信号が画像データバス117を介して入力され、その入力された符号化画像信号を図示しない記録媒体に記録する。 Recording and reproducing I / F unit 114, coded image signals in the image processing unit 153 is input via the image data bus 117, and records on a recording medium (not shown) the input coded image signal.

本実施形態によれば、撮影した被写体画像の擬似立体画像信号を記録媒体に記録することができるので、このビデオカメラ150で記録媒体から擬似立体画像信号を再生する場合に限らず、他の装置でこのビデオカメラ150で記録した記録媒体から擬似立体画像信号を再生して表示させることができる。 According to this embodiment, it is possible to record a pseudo 3D image signal of the photographed object image on the recording medium is not limited to the case of reproducing a pseudo 3D image signal from the recording medium in the video camera 150, other device in can be displayed by reproducing the pseudo 3D image signal from a recording medium recording this video camera 150.

<第3の実施形態> <Third Embodiment>
次に、本発明の第3の実施形態について説明する。 Next, a description will be given of a third embodiment of the present invention. 図11は、本発明になる擬似立体画像生成装置を備えたビデオカメラの第3の実施形態のブロック図を示す。 Figure 11 shows a block diagram of a third embodiment of a video camera having a pseudo 3D image generating apparatus according to the present invention. 同図中、図1と同一構成部分には同一符号を付し、その説明を省略する。 In the figure, the same reference numerals are given to the same components as FIG. 1, the description thereof is omitted. 図11に示す第3の実施形態のビデオカメラ170は、ビデオカメラ100の構成に手振れセンサ171及び姿勢センサ172を追加した構成である。 Video camera 170 of the third embodiment shown in FIG. 11 is a configuration obtained by adding a camera shake sensor 171 and the orientation sensor 172 in the configuration of the video camera 100.

手振れセンサ171は、ジャイロセンサなどで構成され、カメラの搖動を測定して、その測定結果をCPU173に出力する。 Hand shake sensor 171 is constituted by a gyro sensor, the swinging of the camera is measured, and outputs the measurement result to CPU 173. また、手振れセンサ171は、カメラのパンニング、チルティング操作を測定する手段ともなっている。 Also, hand shake sensor 171, has also become means for measuring panning of the camera, the tilting manipulation. カメラの搖動をジャイロセンサなどで測定した場合、その角速度成分の周波数が3〜10Hzであれば、その搖動は手振れによるものであると考えられる。 When measuring oscillating camera such as gyro sensor, the frequency of the angular velocity component if 3~10Hz, the swing is believed to be due to camera shake. 一方、一定時間、一定方向にカメラを動かすパンニング、チルティング操作の場合、ほぼ直流成分の角速度となる。 On the other hand, a certain time, panning to move the camera in a certain direction, when the tilting operation, the angular speed of approximately DC component. すなわち、手振れセンサ171からの出力信号であるカメラの搖動の測定結果を用いて、CPU173で演算することで、その搖動が手振れによるものであるか、パンニング、チルティング操作によるものであるかを推定し、更にいずれの場合も揺れの大きさを算出する。 That is, using the output signal camera measurement result of swinging of which is from the hand shake sensor 171, by calculating in CPU 173, estimated that if swing is due to camera shake, panning, or is due to the tilting manipulation and further calculates the magnitude of the swing in either case.

なお、カメラの搖動は、ジャイロセンサなどによらない方法で算出してもよい。 Incidentally, swinging the camera may be calculated in a way that does not depend like a gyro sensor. 例えば、公知のように、撮影画面のあるフレームと次のフレームで画面内の全被写体の動きベクトルの平均値を算出し、その動きベクトルの画面毎の変動をカメラの搖動として測定してもよい。 For example, as is known, to calculate an average value of all the subject of the motion vector within the screen frame and the next frame with a shooting screen, it may be measured variations in each screen of the motion vector as a swing of the camera .

姿勢センサ172は、重力センサなどで構成され、ここでは撮像素子104の光軸周りのロール角度を測定して、その測定結果をCPU173に出力する。 Orientation sensor 172 is comprised of a gravity sensor, here measures the roll angle around the optical axis of the image sensor 104, and outputs the measurement result to CPU 173. 撮像素子104の光軸周りのロール角度は、水平線を撮影したときに、撮影画面で水平線が水平になる場合が0°であり、水平線が右下がりに撮影される場合が+a°(aは正数)、水平線が左下がりに撮影される場合が−a°(aは正数)である。 Roll angle around the optical axis of the imaging device 104, upon photographing a horizontal line, if the horizontal line in the photographing screen is horizontal is 0 °, when the horizontal line is taken downward-sloping + a ° (a positive number), if it is -a ° (a is a positive number) horizontal line is taken to the left edge.

CPU173は、本発明における被写体の顔の大きさ情報取得手段、ビデオカメラ170から被写体までの推定距離を算出する被写体推定距離算出手段、推定被写界深度を算出する被写界深度算出手段、撮像画面内の測距エリアの位置データを取得する位置データ取得手段、制御信号CTL1〜CTL3を算出する制御信号算出手段、手振れ検出手段、撮像素子の光軸周りのロール角度検出手段、及び撮影シーン情報取得手段を構成している。 CPU173, the size information obtaining unit of the face of the subject in the present invention, the subject estimated distance calculating means for calculating an estimated distance from the video camera 170 to the object, the depth of field calculation means for calculating the estimated depth of field, imaging position data acquiring means for acquiring position data of the distance measuring area in the screen, the control signal calculating means for calculating a control signal CTL1~CTL3, vibration detection unit, a roll angle detection means around the optical axis of the imaging device, and imaging scene information constitute the acquisition means. なお、手振れ検出手段が検出する手振れ情報には、前述した手振れによるカメラの搖動の大きさ情報だけでなく、パンニング及びチルティングの大きさ情報も含まれる。 Note that the camera shake information vibration detection means detects not only the size information of the swinging of the camera by camera shake described above, also includes size information of panning and tilting.

すなわち、CPU173は、第1の実施形態で前述した、測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータなど各種データに、更に手振れセンサ171により得られたカメラの搖動の大きさ情報と、パンニング、チルティングの大きさ情報と、姿勢センサ172により得られた撮像素子104の光軸周りのロール角度情報とを多重化する。 That, CPU 173 is previously described in the first embodiment, the position of the distance measuring area, the estimated distance to the object, the estimated depth of field, the subject is a face whether data of the face when the face size of the such as various data data, further the size information of the rocking of the camera obtained by the camera shake sensor 171, panning, roll angle around the optical axis of the tilting of the size information, the image pickup device 104 obtained by the orientation sensor 172 and the information to multiplexing.

なお、被写体までの推定距離は、第1の実施形態と同様に山登り法で求めてもよいし、赤外線を照射してその反射波を観測する方式や、いわゆる位相差検出方式を用いてもよい。 Incidentally, the estimated distance to the object may be determined by hill-climbing method as in the first embodiment, a method and to observe the reflected waves by irradiating infrared rays, it may be used a so-called phase difference detection method . また、被写体までの推定距離は、フォーカスレンズと被写体までの距離であってもよいし、カメラの他の部分と被写体までの距離であってもよい。 Further, the estimated distance to the object may be a distance to the focusing lens and the object may be the distance to the other parts and the subject of the camera.

また、CPU173は、画像記憶部112に格納されている1フレーム分の輝度信号(Y)及び色差信号(Cb,Cr)を読み出し、色相(H)、彩度(S)、明度(V)に変換する。 Further, CPU 173 reads out one frame of luminance signals stored in the image storage unit 112 (Y) and color difference signals (Cb, Cr), hue (H), saturation (S), the lightness (V) Convert. 更に、CPU173は、1フレーム分の画面を、例えば横30、縦20に分割した各ブロックのそれぞれで、ブロック内の信号の色相(H)、彩度(S)、明度(V)の平均値を算出して、その算出結果をメモリ174に格納する。 Furthermore, CPU 173 is a screen for one frame, for example the horizontal 30, in each of the blocks divided in a vertical 20, the hue of the signal in the block (H), saturation (S), the average value of the brightness (V) It is calculated, and stores the calculation result in the memory 174. メモリ174には、現在の1フレームの算出結果と、一つ前のフレームの算出結果とが格納される。 The memory 174, the calculation result of the current frame, and the calculation result of the previous frame is stored. なお、メモリ174には、CPU173の動作用プログラムの他に、メモリ109と同様に、被写体距離推定テーブル及び被写界深度テーブルが格納されている。 Incidentally, the memory 174, in addition to the operation program of the CPU 173, like the memory 109, the subject distance estimation table and depth of field table is stored.

CPU173は、これらの算出結果と前述の被写体までの推定距離とから撮影シーンを判定する。 CPU173 determines shooting scene from these calculation results and estimated distance to the preceding object. 例えば、画面上部の多くのブロックの明度(V)が明るく、色相(H)が青で、推定距離が所定の閾値より大きい場合は、昼間の風景撮影シーンと判定する。 For example, bright lightness (V) is a number of blocks at the top of the screen, the hue (H) is in blue, if the estimated distance is larger than a predetermined threshold value, determines that the daytime landscape shooting scene. また、CPU173は、一画面全体において、一つ前のフレームの明度(V)と現在のフレームの明度(V)とを、画面内の同じ位置に相当するブロック同士で比較して、変化の大きさが第1の閾値よりも大きいブロックの数が第2の閾値よりも多い場合には、被写体の動きが多いと判断してスポーツ撮影シーンと判定する。 Further, CPU 173, in one whole screen, the one brightness of the previous frame (V) and brightness of the current frame (V), compared with between blocks corresponding to the same position in the screen, the size of the change Saga number of larger blocks than the first threshold when more than a second threshold value, it is determined that determination to sports shooting scene and the motion of the subject is large. また、CPU173は、画面中央のブロックの色相(H)が赤や青で、彩度(S)が第3の閾値より大きく、被写体までの推定距離が第4の閾値より小さい場合は、花のマクロ撮影シーンと判定する。 Further, CPU 173 is a hue of the screen center of the block (H) is red or blue, the saturation (S) is greater than the third threshold value, the estimated distance to the subject is smaller than the fourth threshold, flower determines that the macro shooting scene.

CPU173は、これらの撮影シーン情報についても、上記の手振れによる振動の大きさ情報及び光軸周りのロール角度情報と、第1の実施形態で説明した各種データと共に多重化して、録再I/F部114に供給する。 CPU173, for even these photographic scene information, and multiplexed with the roll angle information about the size information and the optical axis of the vibration by the hand shake, together with various data described in the first embodiment, the recording and reproducing I / F supplied to the part 114. 録再I/F部114は、供給された多重化データと、対応するフレームの符号化画像データと共に図示しない記録媒体に対応付けて記録する。 Recording and reproducing I / F section 114, and multiplexed data supplied, in association with the recording medium (not shown) together with the coded image data of the corresponding frame is recorded.

次に、このビデオカメラ170の再生信号に基づく擬似立体画像信号生成動作について説明する。 Next, a description will be given pseudo 3D image signal generation operation based on the reproduction signal of the video camera 170. 録再I/F部114は、図示しない記録媒体から読み出したデータのうち、符号化画像データは画像データバス117を介して画像処理部113に供給する一方、符号化画像データ以外の測距エリアの位置、被写体までの推定距離、推定被写界深度、被写体が顔か否かのデータ、顔の場合の顔の大きさのデータ、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報、及び撮影シーン情報を画像データバス117を介してCPU173に供給する。 Recording and reproducing I / F unit 114, among the data read from the recording medium (not shown), while the encoded image data to be supplied to the image processing unit 113 via the image data bus 117, the distance measurement area other than the coded image data position, the estimated distance to the object, the estimated depth of field, the subject is a face or not of data, the size of the data of the face when the face size information of the camera of swinging by camera shake, panning, tilting roll angle information about the optical axis of the size information and the imaging device, and supplies the photographed scene information via the image data bus 117 to the CPU 173.

CPU173は、この録再I/F部114から供給されるデータと、2D3D変換部115から供給される奥行き推定データdとから、以下のように制御信号CTL1〜CTL3を算出する。 CPU173 calculates the data supplied from the recording and reproducing I / F unit 114, and a depth estimation data d supplied from 2D3D converting unit 115, a control signal CTL1~CTL3 as follows. なお、CPU173による制御信号CTL1〜CTL3の算出動作は、CPU108による制御信号CTL1〜CTL3の算出動作と同じ算出動作も含むが、その説明は既に説明したので省略し、本実施形態特有の制御信号CTL1〜CTL3の算出動作について以下説明する。 The calculation operation of the control signal CTL1~CTL3 by CPU173 include but same calculating operation as the operation of calculating the control signal CTL1~CTL3 by CPU 108, is omitted because the description has already been described, unique to this embodiment of the control signal CTL1 the operation of calculating ~CTL3 be described below.

CPU173は、撮影シーン情報がスポーツ撮影シーンを示しているときには、基本奥行きモデルタイプCの混合比率が、そうでない場合よりも高くなるように制御信号CTL1を生成する。 CPU173, when the photographic scene information indicates a sports shooting scene, the mixing ratio of the basic depth model type C generates a control signal CTL1 to be higher than would otherwise be the case. その理由は、スポーツ撮影シーンの場合、撮影対象の動きが激しいことが多く、画面の中央だけでなく画面の端の方にも撮影対象が動きまわるため、基本奥行きモデルタイプAやBのように、画面中央ほど画面奥側に配置されるモデルでは距離感の変化が大きく、擬似立体画像を視聴するユーザーの違和感につながることがあり、それを防止するためである。 The reason is that in the case of sport shooting scene, it is often the movement of the object to be photographed intense, for around even motion imaging target towards the end of the screen not only the center of the screen, as in the basic depth model type A and B , large changes in the sense of distance in the model to be placed on the screen far side as the center of the screen, may lead to user discomfort view pseudo 3D image, in order to prevent it.

また、CPU173は、パンニング、チルティングの大きさ情報の値が所定の閾値よりも大きい場合には、基本奥行きモデルタイプCの混合比率が、そうでない場合よりも高くなるように制御信号CTL1を生成する。 Further, CPU 173 is panning, if the value of the tilting of the size information is greater than a predetermined threshold, the mixing ratio of the basic depth model type C is, generates a control signal CTL1 to be higher than would otherwise be the case to. その理由は、パンニングを行う場合、それまでは画面の左右の端にあった被写体が画面中央に移動することになる。 This is because, when performing panning, will be subject that was in the right and left edge of the screen to move to the center of the screen before. その場合、その被写体の奥行き感が画面の左右の端にあった時と画面の中央にある時とで異なることになるのは不自然なので、そのような事態を防止するためである。 In that case, since the the sense of depth of the object will be different between when the middle when the picture was in the right and left edges of the screen unnatural, in order to prevent such a situation.

また、CPU173は、撮影シーン情報が昼間の風景撮影シーンを示しているときには、基本奥行きモデルタイプAの混合比率が、そうでない場合よりも高くなるように制御信号CTL1を生成する。 Further, CPU 173, when the photographic scene information indicates the daylight landscape shooting scene, the mixing ratio of the basic depth model type A generates a control signal CTL1 to be higher than would otherwise be the case. その理由は、画面の拡がり感を持たせることで、擬似立体画像に迫力がでるからである。 This is because, by providing a spread feeling of a screen, because powerful comes into pseudo 3D image.

また、CPU173は、撮影シーン情報が花のマクロ撮影シーンを示しているときには、制御信号CTL2に含まれる重み付け係数を、それ以外の場合よりも大きな値とする。 Further, CPU 173, when the photographic scene information indicates macro shooting scene flowers, the weighting factor included in the control signal CTL2, and greater value than otherwise. これは、重み付け係数を大きくすることで、R信号成分を含む花の画像が画面手前に配置され、擬似立体画像としての印象が強くなるためである。 This, by increasing the weighting coefficients, an image of the flower including the R signal component is arranged before the screen, because the impression of a pseudo 3D image increases.

一方、CPU173は、光軸周りのロール角度情報が0°から離れているほど、制御信号CTL2に含まれる重み付け係数を小さくする。 Meanwhile, CPU 173 is, as the roll angle information about the optical axis is away from the 0 °, to reduce the weighting coefficient included in the control signal CTL2. その理由は、光軸周りのロール角度情報が0°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、再生視聴時に立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるため、これを防止するためである。 The reason is that as the roll angle information about the optical axis is away from the 0 °, photographic screen has been performed is captured in a state inclined with respect to a horizontal line, when emphasizing the stereoscopic effect during playback viewing, the user of the image because there is a sense of incongruity to the attitude of being watched is not tilted, in order to prevent this. 同様に、手振れによる振動の大きさが大きいほど、制御信号CTL2に含まれる重み付け係数を小さくする。 Similarly, as the magnitude of vibration due to camera shake, to reduce the weighting coefficient included in the control signal CTL2. 画面が揺れている状態で立体感を強調すると、ユーザーの画像視聴中の姿勢は傾いていないために違和感があるからである。 When emphasizing the stereoscopic effect in the state in which the screen is shaking, there is a sense of incongruity to the posture of the image viewing users not inclined.

また、CPU173は、手振れによる振動の大きさが大きいほど、制御信号CTL3のうちの奥行き値nの値を大きくする。 Further, CPU 173 may, as the magnitude of vibration due to camera shake, increasing the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを小さくする。 That is, to reduce the depth of the stereoscopic image. 手振れによる振動が大きい場合には、再生視聴時に画面の揺れが画像を見るユーザーに感知されるので、2次元画像(非立体画像)で見ても乗り物に酔ったような感じがする。 When vibration caused by hand shake is large, the shaking of the screen is perceived to the user to see the image during playback viewing, it feels like even drunk the vehicle as viewed in a two-dimensional image (non-3D image) is. この状態で2D3D変換して得た擬似立体画像を見ると、更に酔ったような感じが強くなる。 Looking at the pseudo 3D image obtained by 2D3D conversion in this state, the stronger feeling as further drunk. これを防止するために、手振れによる振動の大きさが大きいほど、立体画像としての奥行き感を減らすのである。 To prevent this, the larger the magnitude of vibration due to camera shake, reduce the depth feeling of the stereo image.

また、CPU173は、光軸周りのロール角度情報が0°から離れているほど、制御信号CTL3のうちの奥行き値nの値を大きくする。 Further, CPU 173 is, as the roll angle information about the optical axis is away from the 0 °, increasing the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを小さくする。 That is, to reduce the depth of the stereoscopic image. その理由は、光軸周りのロール角度情報が0°から離れているほど、撮影画面が水平線に対して傾いた状態で撮影が行われており、表示される画像が画面の水平線に対して傾いているのに対し、表示画像を見るユーザーの両目の高さは表示画像の傾きに追従していないことが多いので、この状態で2D3D変換して得た擬似立体画像を奥行き感が大きな状態で表示すると、ユーザーの違和感が大きくなる、ということを防止するためである。 The reason is that as the roll angle information about the optical axis is away from the 0 °, photographic screen has been performed is captured in a state inclined with respect to a horizontal line, the image to be displayed inclined relative to the horizontal line of the screen and whereas the height of the user's eyes to see the display image so often does not follow the inclination of the displayed image, the pseudo 3D image obtained by 2D3D conversion in this state sense of depth in a large state When viewing, discomfort users increases, in order to prevent that.

また、CPU173は、撮影シーン情報がスポーツ撮影シーンを示しているときには、制御信号CTL3のうちの奥行き値nの値を大きくする。 Further, CPU 173, when the photographic scene information indicates a sports shooting scene, increasing the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを小さくする。 That is, to reduce the depth of the stereoscopic image. この場合は、撮影対象の動きが激しいので、右目用画像と左目用画像との視差の時間的な変動も大きく、奥行き感の大きな擬似立体画像をユーザーが視聴した場合、ユーザーの疲労感につながるおそれがあるので、それを防止するためである。 In this case, since the movement of the imaging target is intense, greater temporal variations of the parallax between the right eye image and the left eye image, when a large pseudo 3D image perceived depth users watched, leading to fatigue of the user because fear is, in order to prevent it.

更に、CPU173は、撮影シーン情報が昼間の風景撮影シーンを示しており、手振れによる振動の大きさが第1の所定値よりも小さく、光軸周りのロール角度が0°に近く、被写体までの推定距離が第2の所定値よりも大きいという条件を満たしている場合は、制御信号CTL3のうちの奥行き値nの値を小さくする。 Furthermore, CPU 173 shows a photographic scene information daytime landscape shooting scene, the magnitude of vibration due to camera shake is less than a first predetermined value, close to the roll angle around the optical axis to 0 °, to the subject If the estimated distance satisfies a condition that is greater than the second predetermined value, to reduce the value of the depth value n of the control signal CTL3. すなわち、立体画像としての奥行きを大きくする。 That is, increasing the depth of the stereoscopic image. その理由は、この場合の画像に対しては、生成される擬似立体画像の奥行き感を強く持たせることで、臨場感を高めることができるためである。 The reason is that this for the image of the case, by giving a strong sense of depth pseudo 3D image generated is because it is possible to enhance the sense of realism.

このように、本実施形態によれば、撮影時のパラメータを用いて2D3D変換部115に供給する制御信号CTL1〜CTL3を自動的に制御するようにしたので、ユーザーが撮影シーンなどに応じて個々に設定しなくても最適な奥行きモデルが自動的に生成される。 Thus, according to this embodiment, since to automatically control the control signal CTL1~CTL3 supplied to 2D3D converting unit 115 by using the parameters at the time of photographing, the user depending on the shooting scene individually optimum depth model is automatically generated without setting the. 特に本実施形態では、制御信号CTL1〜CTL3を自動的に制御する撮影時のパラメータとして、手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報、光軸周りのロール角度情報及び撮影シーン情報を含んでいるため、スポーツ撮影シーン、昼間の風景撮影シーン、花のマクロ撮影シーンなどの撮影シーンに応じて、また画面の水平線に対して傾いている非立体画像や、画面内での揺れが大きな非立体画像に対して、最適な奥行きモデルの擬似立体画像を生成して、擬似立体画像を視聴するユーザーの違和感や疲労感を抑制し、更に迫力や臨場感のある擬似立体画像を生成して表示することができる。 Particularly in this embodiment, as parameters at the time of shooting for automatically controlling the control signal CTL1~CTL3, size information of the camera swinging by camera shake, panning, tilting of size information, and the roll angle information about the optical axis because it contains the photographic scene information, sports shooting scene, daytime landscape shooting scene, depending on the shooting scene, such as flower macro shooting scene, also or non-stereo image is tilted with respect to the horizontal line of the screen, the screen relative vibration of a large non-3D image, generates a pseudo three-dimensional image of the optimal depth model, view pseudo 3D image suppresses discomfort or fatigue of the user, a pseudo 3D image further a powerful and realistic it is possible to generate and display.

なお、本発明は以上の実施形態に限定されるものではなく、例えば、以上の各実施形態の擬似立体画像生成動作をCPU108、152、又は173により実行させる擬似立体画像生成プログラムも本発明に含まれる。 The present invention is not limited to the above embodiments, for example, also included in the present invention pseudo 3D image generating program to be executed more than a pseudo stereoscopic image generation operation in the embodiments CPU108,152, or by 173 It is. この場合、擬似立体画像生成プログラムは、記録媒体からCPUに取り込まれてもよいし、通信ネットワークを通して配信されてCPUに取り込まれてもよい。 In this case, pseudo 3D image generating program may be taken from the recording medium to the CPU, may be incorporated into CPU is distributed through a communications network.

また、本発明は第2の実施形態のビデオカメラ150に、手振れセンサや姿勢センサを追加して、これらにより得られた手振れによるカメラの搖動の大きさ情報、パンニング、チルティングの大きさ情報及び撮像素子の光軸周りのロール角度情報を用いて第3の実施形態と同様にして最適な奥行きモデルの擬似立体画像信号を生成し、その擬似立体画像信号を記録媒体に記録する構成も含む。 Further, the present invention in the video camera 150 of the second embodiment, in addition hand shake sensor and the orientation sensor, swinging of the size information of the camera by camera shake obtained by these, panning, tilting size information and in the same manner as in the third embodiment by using a roll angle information about the optical axis of the imaging device to generate a pseudo 3D image signal of the optimum depth model also includes structure for recording the pseudo 3D image signal on a recording medium. さらに、基本奥行きモデルタイプの画像は前述したA、B、Cの立体構造に限定されるものではなく、また3種類以外の複数種類であってもよい。 Furthermore, the basic depth model type of image A as described above, B, not limited to the three-dimensional structure and C, or may be a plurality of types other than three.

100、150、170 ビデオカメラ101 ズームレンズ102 フォーカスレンズ103 絞り104 撮像素子105 ズームレンズ駆動部106 フォーカスレンズ駆動部107 絞り駆動部108、152、173 中央処理装置(CPU) 100,150,170 video camera 101 zoom lens 102 focus lens 103 aperture 104 imaging element 105 zoom lens driving unit 106 focus lens driving section 107 diaphragm driver 108,152,173 central processing unit (CPU)
109、174 メモリ112、151 画像記憶部113、153 画像処理部114 録再I/F部115 2D3D変換部118 操作部171 手振れセンサ172 姿勢センサ200 奥行き推定データ生成部202 画面上部の高域成分評価部203 画面下部の高域成分評価部204 合成比率決定部205 スイッチ206 奥行きモデル合成部207〜209 フレームメモリ210、301 制御信号判定部211 重み付け部212 加算部300 ステレオペア生成部302 テクスチャシフト部303 オクルージョン補償部304 ポスト処理部 109,174 memory 112,151 image storage unit 113,153 the image processing unit 114 recording and reproducing I / F unit 115 2D3D converting unit 118 operation unit 171 hand shake sensor 172 and orientation sensor 200 depth estimation data generating unit 202 screen high-frequency component evaluation of upper part 203 the bottom of the screen high-frequency component evaluation unit 204 combining ratio determining unit 205 switch 206 depth model synthesizing unit 207 to 209 frame memory 210,301 control signal determining unit 211 weighting unit 212 adding unit 300 stereo pair generation unit 302 texture shift unit 303 occlusion compensation unit 304 post processing unit

Claims (7)

  1. ズームレンズ、フォーカスレンズ及び絞りを含む光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から前記被写体が人物であるとき、その人物の顔の大きさ情報を取得する顔の大きさ情報取得手段と、 Has been an optical image of a subject, said subject from non-3D image signal obtained by photoelectric conversion is a person by the image pickup device formed on the imaging surface of the image sensor through an optical system including a zoom lens, a focus lens and a diaphragm when the size information acquiring means face for acquiring size information of the face of the person,
    前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 A basic depth model generation means for generating a plurality of basic depth model type of image representing the underlying scene for generating a pseudo 3D image signal from the non-3D image signal,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1〜第3の制御信号をそれぞれ算出して出力する際に、前記顔の大きさ情報を用いて、算出する前記第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting said first to third control signals, respectively, by using the size information of the face, at least one of the control signals of said first to third control signals for calculating pseudo 3D image generating apparatus characterized by a control signal calculating means for varying the value.
  2. 光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、 A lens position acquiring means for acquiring each of positions of the zoom lens and the focus lens constituting the optical system,
    前記レンズ位置取得手段で取得された前記ズームレンズ位置及び前記フォーカスレンズの位置に基づいて、前記フォーカスレンズの位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、 Based on the position of the zoom lens position and the focus lens obtained by the lens position acquiring means, and the object estimated distance calculating means for calculating an estimated distance to the object from the position of the focus lens,
    前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 The optical image of the subject on the imaging surface of the imaging device through the optical system, the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by photoelectric conversion by the image sensor a basic depth model generation means for generating a plurality of basic depth model type of the image shown,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1乃び第3の制御信号をそれぞれ算出して出力する際に、算出された前記被写体までの推定距離の情報を用いて、算出する前記第1及び第3の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting the first 乃 Beauty third control signal, respectively, by using the information of the estimated distance to the object is calculated, at least one of said first and third control signal is calculated pseudo 3D image generating apparatus characterized by a control signal calculating means for varying the value of one of the control signals.
  3. 光学系を構成するズームレンズの位置、フォーカスレンズの位置及び絞りの絞り値をそれぞれ取得する光学系情報取得手段と、 Position of the zoom lens of the optical system, an optical system information acquisition means for respectively obtaining positions and the aperture of the aperture value of the focus lens,
    前記光学系情報取得手段で取得された前記絞り値及び前記ズームレンズ位置に基づいて、推定被写界深度を算出する被写界深度算出手段と、 On the basis of the said aperture and the zoom lens position acquired by the optical system information obtaining unit, a depth of field calculation means for calculating the estimated depth of field,
    前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 The optical image of the subject on the imaging surface of the imaging device through the optical system, the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by photoelectric conversion by the image sensor a basic depth model generation means for generating a plurality of basic depth model type of the image shown,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1〜第3の制御信号をそれぞれ算出して出力する際に、算出された前記推定被写界深度の情報を用いて、算出する前記第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting said first to third control signals, respectively, by using the information of the calculated the estimated depth of field, one at least of said first to third control signals for calculating pseudo 3D image generating apparatus characterized by a control signal calculating means for varying the value of one control signal or.
  4. 光学系を構成するズームレンズ及びフォーカスレンズの各位置をそれぞれ取得するレンズ位置取得手段と、 A lens position acquiring means for acquiring each of positions of the zoom lens and the focus lens constituting the optical system,
    前記光学系を通して撮像素子の撮像面に結像された被写体の光学像を、前記撮像素子により光電変換して得られた非立体画像信号のうち、前記撮像素子の撮像画面内の所定の小領域である測距エリア内の前記非立体画像信号の高域成分が最大となる合焦位置を求めるために、前記フォーカスレンズの位置を移動制御する自動焦点調節手段と、 Wherein an optical image of a subject on the imaging surface of the imaging device through the optical system, among the non-3D image signal obtained by photoelectric conversion by the image sensor, a predetermined small region of the imaging screen of the imaging device an automatic focus adjustment means high frequency components of the non-3D image signal of the distance measuring area in order to determine the focus position becomes maximum, to control the movement of the position of the focus lens is,
    前記撮像画面内の前記測距エリアの位置データを取得する位置データ取得手段と、 A position data acquiring means for acquiring position data of the distance measuring area of ​​the imaging screen,
    前記フォーカスレンズの合焦位置から前記被写体までの推定距離を算出する被写体推定距離算出手段と、 And the object estimated distance calculating means for calculating an estimated distance to the object from the in-focus position of the focus lens,
    前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 A basic depth model generation means for generating a plurality of basic depth model type of image representing the underlying scene for generating a pseudo 3D image signal from the non-3D image signal,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1〜第3の制御信号をそれぞれ算出して出力する際に、前記測距エリアの位置データと前記被写体までの推定距離とに応じて、算出する前記第1及び第3の制御信号のうち少なくともいずれか一方の制御信号を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting said first to third control signals, respectively, depending on the estimated distance between the position data of the distance measuring area to the subject, of the first and third control signal is calculated among pseudo 3D image generating apparatus characterized by having a variable control signal calculating means at least one of the control signals.
  5. 光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の搖動の大きさ情報と、パンニング、チルティングの大きさ情報とからなる手振れ情報を検出する手振れ検出手段と、 And size information of the swinging of the image pickup device to obtain a non-3D image signal by photoelectrically converting an optical image of a subject formed on the imaging surface through an optical system, panning, detecting a hand shake information comprising a tilting size information and the hand shake detection means,
    前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 A basic depth model generating means for generating images of a plurality of basic depth model type indicating the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by the image pickup device,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1〜第3の制御信号をそれぞれ算出して出力する際に、前記手振れ情報を用いて、算出する前記第1〜第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting said first to third control signals, respectively, by using the camera shake information, at least the value of one of the control signals of said first to third control signals for calculating pseudo 3D image generating apparatus characterized by having a variable control signal calculating means.
  6. 光学系を通して撮像面に結像された被写体の光学像を光電変換して非立体画像信号を得る撮像素子の光軸周りのロール角度を検出するロール角度検出手段と、 A roll angle detecting means for detecting a roll angle around the optical axis of the imaging device to obtain a non-3D image signal by photoelectrically converting an optical image of a subject formed on the imaging surface through an optical system,
    前記撮像素子により得られた前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 A basic depth model generating means for generating images of a plurality of basic depth model type indicating the underlying scene for generating a pseudo 3D image signal from the non-3D image signal obtained by the image pickup device,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1〜第3の制御信号をそれぞれ算出して出力する際に、前記ロール角度検出手段により検出されたロール角度検出情報を用いて、算出する前記第1及び第3の制御信号のうちの少なくともいずれか一方の制御信号の値を可変する制御信号算出手段と を有することを特徴とする擬似立体画像生成装置。 When calculating and outputting said first to third control signals, respectively, using said roll angle detection information detected by the roll angle detection means, of the first and third control signal is calculated pseudo 3D image generating apparatus characterized by a control signal calculating means for varying the value of at least one of the control signals.
  7. 光学系を通して撮像面に結像された被写体の光学像を光電変換して、非立体画像信号を得る撮像素子を有するカメラにおいて、 Photoelectrically converts an optical image of a subject formed on the imaging surface through an optical system, a camera having an image pickup device to obtain a non-3D image signal,
    前記カメラから被写体までの推定距離を算出する被写体推定距離算出手段と、 And the object estimated distance calculating means for calculating an estimated distance to the object from said camera,
    前記光学系を通して撮像面に結像された被写体の光学像を光電変換する撮像素子から出力される非立体画像信号の隣接する2フレーム間の信号変化と前記推定距離とに基づいて、撮影シーン情報を取得する撮影シーン情報取得手段と、 On the basis of the signal change and the estimated distance between two adjacent frames of the non-3D image signal output of the optical image of the subject formed on the imaging surface from image pickup element for photoelectrically converting through the optical system, the imaging scene information and the shooting scene information acquisition means for acquiring,
    前記撮像素子から出力される前記非立体画像信号から擬似立体画像信号を生成するための基本となるシーンを示す複数の基本奥行きモデルタイプの画像を発生する基本奥行きモデル発生手段と、 A basic depth model generation means for generating a plurality of basic depth model type of image representing the underlying scene for generating a pseudo 3D image signal from the non-3D image signal output from the imaging element,
    前記複数の基本奥行きモデルタイプの画像の合成比率を示す第1の制御信号に基づいて、前記基本奥行きモデル発生手段から供給される前記複数の基本奥行きモデルタイプの画像を合成して奥行きモデルの画像を生成する奥行きモデル合成手段と、 Based on the first control signal indicating the synthesis ratio of the plurality of basic depth model type of image, the basic depth model image of the plurality of basic depth model type image depth model by combining the supplied from the generating means a depth model synthesizing means for generating a,
    前記非立体画像信号の重み付けをするための重み付け係数を示す第2の制御信号に基づいて、前記非立体画像信号に対して前記第2の制御信号が示す前記重み付け係数を乗算する重み付け手段と、 Based on the second control signal indicating a weighting coefficient for weighting the non-3D image signal, and a weighting means for multiplying said weighting factor showing the second control signal to the non-3D image signal,
    前記重み付け手段により重み付けされた前記非立体画像信号と、前記奥行きモデル合成手段により生成された前記奥行きモデルの画像とから、奥行き推定データを生成する奥行き推定データ生成手段と、 Wherein the non-3D image signal weighted by the weighting means, from an image of the depth model generated by the depth model synthesizing means, the depth estimation data generating means for generating a depth estimation data,
    奥行きと輻輳とを示す第3の制御信号により前記奥行きと輻輳とが調整された前記奥行き推定データに基づいて、前記非立体画像信号のテクスチャをシフトして、前記擬似立体画像信号を生成するテクスチャシフト手段と、 Texture based on the depth estimation data and the depth congestion and is the third control signal has been adjusted to show the depth and congestion and, by shifting the texture of the non-3D image signal, to generate the pseudo 3D image signal and a shift means,
    前記第1乃至第3の制御信号をそれぞれ算出して出力する際に、前記撮影シーン情報取得手段により取得された前記撮影シーン情報を用いて、算出する前記第1乃至第3の制御信号のうちの少なくともいずれか一つの制御信号の値を可変する制御信号算出手段と を有することを特徴とするカメラ。 When outputting the first to calculate the third control signal, respectively, using the photographic scene information obtained by the photographic scene information acquiring means, among the first to third control signals calculated camera and having a variable control signal calculating means a value of at least one of the control signals.
JP2010089977A 2010-04-09 2010-04-09 Pseudo 3D image generating apparatus and the camera Active JP5304714B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010089977A JP5304714B2 (en) 2010-04-09 2010-04-09 Pseudo 3D image generating apparatus and the camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010089977A JP5304714B2 (en) 2010-04-09 2010-04-09 Pseudo 3D image generating apparatus and the camera

Publications (2)

Publication Number Publication Date
JP2011223284A JP2011223284A (en) 2011-11-04
JP5304714B2 true JP5304714B2 (en) 2013-10-02

Family

ID=45039685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010089977A Active JP5304714B2 (en) 2010-04-09 2010-04-09 Pseudo 3D image generating apparatus and the camera

Country Status (1)

Country Link
JP (1) JP5304714B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8038363B2 (en) 1999-06-30 2011-10-18 Akzenta Paneele+Profile GmbH Panel and panel fastening system
US9255414B2 (en) 2000-03-31 2016-02-09 Pergo (Europe) Ab Building panels
US9464443B2 (en) 1998-10-06 2016-10-11 Pergo (Europe) Ab Flooring material comprising flooring elements which are assembled by means of separate flooring elements
US9464444B2 (en) 2010-01-15 2016-10-11 Pergo (Europe) Ab Set of panels comprising retaining profiles with a separate clip and method for inserting the clip
US9593491B2 (en) 2010-05-10 2017-03-14 Pergo (Europe) Ab Set of panels

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911291B2 (en) * 2011-12-19 2016-04-27 キヤノン株式会社 Imaging apparatus and control method thereof
JP6024110B2 (en) 2012-01-26 2016-11-09 ソニー株式会社 Image processing apparatus, image processing method, a program, a terminal apparatus and an image processing system
WO2013186882A1 (en) * 2012-06-13 2013-12-19 株式会社エム・ソフト 3d-image generation method, and 3d-image generation system
WO2013186881A1 (en) * 2012-06-13 2013-12-19 株式会社エム・ソフト 3d-image generation method and 3d-image generation system
JP6056459B2 (en) * 2012-12-26 2017-01-11 株式会社Jvcケンウッド Depth estimation data generating device, a pseudo 3D image generating apparatus, the depth estimation data generation method and depth estimation data generating program
JP2017005380A (en) * 2015-06-05 2017-01-05 キヤノン株式会社 Control device, imaging device, control method, program and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (en) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd Device for converting two-dimensional image into there dimensional image and its method
JP4214976B2 (en) * 2003-09-24 2009-01-28 日本ビクター株式会社 Pseudo 3D image generating apparatus and the pseudo 3D image generating method and a pseudo three-dimensional image display system
JP2008141666A (en) * 2006-12-05 2008-06-19 Fujifilm Corp Stereoscopic image creating device, stereoscopic image output device, and stereoscopic image creating method
JP4952657B2 (en) * 2007-07-19 2012-06-13 株式会社Jvcケンウッド Pseudo 3D image generating apparatus, image coding apparatus, image coding method, image transmission method, image decoding apparatus and image decoding method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9464443B2 (en) 1998-10-06 2016-10-11 Pergo (Europe) Ab Flooring material comprising flooring elements which are assembled by means of separate flooring elements
US8038363B2 (en) 1999-06-30 2011-10-18 Akzenta Paneele+Profile GmbH Panel and panel fastening system
US9255414B2 (en) 2000-03-31 2016-02-09 Pergo (Europe) Ab Building panels
US9260869B2 (en) 2000-03-31 2016-02-16 Pergo (Europe) Ab Building panels
US9316006B2 (en) 2000-03-31 2016-04-19 Pergo (Europe) Ab Building panels
US10233653B2 (en) 2000-03-31 2019-03-19 Pergo (Europe) Ab Flooring material
US9534397B2 (en) 2000-03-31 2017-01-03 Pergo (Europe) Ab Flooring material
US9611656B2 (en) 2000-03-31 2017-04-04 Pergo (Europe) Ab Building panels
US9677285B2 (en) 2000-03-31 2017-06-13 Pergo (Europe) Ab Building panels
US10156078B2 (en) 2000-03-31 2018-12-18 Pergo (Europe) Ab Building panels
US9464444B2 (en) 2010-01-15 2016-10-11 Pergo (Europe) Ab Set of panels comprising retaining profiles with a separate clip and method for inserting the clip
US9593491B2 (en) 2010-05-10 2017-03-14 Pergo (Europe) Ab Set of panels

Also Published As

Publication number Publication date
JP2011223284A (en) 2011-11-04

Similar Documents

Publication Publication Date Title
JP4072674B2 (en) An image processing apparatus and method, recording medium, and program
JP5350241B2 (en) Real-time acquisition and generation of stereo images and videos in a plan view a low-power mobile device
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
US20040090523A1 (en) Image processing apparatus and method and image pickup apparatus
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
CN102308590B (en) Three-dimensional image output device and three-dimensional image output method
JP4214976B2 (en) Pseudo 3D image generating apparatus and the pseudo 3D image generating method and a pseudo three-dimensional image display system
WO2013042440A1 (en) Image processing device, method, program and recording medium, stereoscopic image capture device, portable electronic apparatus, printer, and stereoscopic image player device
US8441520B2 (en) Primary and auxiliary image capture devcies for image processing and related methods
US9456128B2 (en) Portrait image synthesis from multiple images captured on a handheld device
CN102597693B (en) Distance measuring device, distance measuring method, distance measuring program, distance measuring system, and image capturing device
CN101884222B (en) Image processing for stereoscopic presentation support
US8885922B2 (en) Image processing apparatus, image processing method, and program
KR20090102705A (en) Method, apparatus, and program for processing stereoscopic videos
JP2005295004A (en) Stereoscopic image processing method and apparatus thereof
JP2009210840A (en) Stereoscopic image display device and method, and program
US20110228051A1 (en) Stereoscopic Viewing Comfort Through Gaze Estimation
US20110012995A1 (en) Stereoscopic image recording apparatus and method, stereoscopic image outputting apparatus and method, and stereoscopic image recording outputting system
JP2009053748A (en) Image processing apparatus, image processing program, and camera
JP5565001B2 (en) Stereoscopic image capturing device, the three-dimensional image processor and stereoscopic image capturing method
JP2011064894A (en) Stereoscopic image display apparatus
JP5509487B2 (en) Blur strengthening of the stereoscopic image
JP5887267B2 (en) 3-dimensional image interpolation device, three-dimensional imaging device and a three-dimensional image interpolation method
US20110304706A1 (en) Video camera providing videos with perceived depth
JP6029380B2 (en) Imaging device, an image processing method comprising an image processing apparatus, an image processing apparatus, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150