JP6086666B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6086666B2 JP6086666B2 JP2012164565A JP2012164565A JP6086666B2 JP 6086666 B2 JP6086666 B2 JP 6086666B2 JP 2012164565 A JP2012164565 A JP 2012164565A JP 2012164565 A JP2012164565 A JP 2012164565A JP 6086666 B2 JP6086666 B2 JP 6086666B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- subject
- parallax
- recommended
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関するものである。 The present invention relates to an imaging apparatus.
一般にステレオ撮影された立体像の見え方は、観察条件(画面サイズと視距離)と左右画像の視差量の大きさで決まり、視差量の大きさは撮影条件で決まる。視差量が大きすぎると立体像は見づらくなるため、撮影するときには注意が必要とされる。 In general, the appearance of a stereoscopic image taken in stereo is determined by the viewing conditions (screen size and viewing distance) and the amount of parallax between the left and right images, and the amount of parallax is determined by the shooting conditions. If the amount of parallax is too large, it is difficult to see the stereoscopic image, so care must be taken when shooting.
また、立体像が不自然に歪んで見える立体歪という現象が知られている。被写体の大きさが狂って見えたり、被写体がひどくつぶれて見えたりするが、これも撮影条件が不適切なときに起こりやすい。 In addition, a phenomenon called stereoscopic distortion in which a stereoscopic image appears unnaturally distorted is known. The size of the subject looks out of place, or the subject looks very crushed. This is also likely to occur when the shooting conditions are inappropriate.
そのため、撮影者は全体の視差量の大きさとともに、不自然な歪が発生しないように、被写体の配置や撮影条件などを工夫しなければならない。しかし、熟練者でなければ、撮影条件をどうすれば良いのかを撮影現場で臨機応変に判断するのは難しい。 For this reason, the photographer must devise the arrangement of the subject, shooting conditions, and the like so that unnatural distortion does not occur along with the overall amount of parallax. However, it is difficult for non-experts to flexibly determine what to do with shooting conditions at the shooting site.
特に、歪については、完全な無歪状態は特定の撮影条件でしか成り立たないので、実際には少し歪がでても許容することになるが、どこまでずらしても良しとするかを判断するのは容易でない。 In particular, as for distortion, a completely undistorted state can only be realized under specific shooting conditions, so in practice it is acceptable even if a little distortion occurs, but it is judged how far it can be shifted. Is not easy.
表示画面が立体表示対応になっているカメラもあるが、立体像の見え方は観察条件に依存するため、想定する観察条件がカメラの表示画面の観察条件とは大きく異なる場合、例えば大型TVなどで観察する場合には、歪の出方を予想するのは難しい。 Some cameras have a display screen that supports stereoscopic display. However, since the appearance of a stereoscopic image depends on the observation conditions, if the assumed observation conditions differ significantly from the observation conditions on the camera display screen, for example, a large TV When observing with, it is difficult to predict the distortion.
前述のように、従来は適切な撮影条件を判断するのが難しく、立体画像の撮影を面倒なものにしていた。又は視差量の大きさや歪を考慮せず、非常に不自然な立体画像を撮影していた。
このような問題を解決するために、特許文献1の立体画像再現歪み出力装置では、立体歪情報を出力する装置を提案している。これは、撮影現場で撮影条件・空間条件・観察条件を入力して、空間歪パラメータとそれによる不自然さ量を計算するものである。この提案ではメッシュを設定し、メッシュの各点に於いて空間歪パラメータと不自然さ量を計算し、メッシュの変形や色・テクスチャの違いによって画面に図示している。
As described above, conventionally, it has been difficult to determine appropriate shooting conditions, and it has been difficult to shoot stereoscopic images. Alternatively, a very unnatural stereoscopic image was taken without considering the magnitude and distortion of the parallax amount.
In order to solve such a problem, the stereoscopic image reproduction distortion output apparatus disclosed in
しかしながら、特許文献1に記載の立体画像再現歪み出力装置では、メッシュの各点で空間歪パラメータとそれによる不自然さ量を計算するだけで、全体としての歪評価値を出しているわけではない。このため、例えば複数の撮影条件の歪を比較したり、歪の許容範囲を決めたり、といったことが簡単ではない。また特許文献1に記載の表示は、小さな民生用デジタルカメラの背面ディスプレイでは見やすいとはいえない。
However, the stereoscopic image reproduction distortion output device described in
本発明は、上記に鑑みてなされたものであって、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示可能であって、これにより、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる撮像装置を提供することを目的としている。 The present invention has been made in view of the above, and can display a distortion evaluation value representing distortion of the entire subject within a set subject distance range, thereby enabling comparison between shooting conditions and setting of an allowable range. An object of the present invention is to provide an imaging apparatus that facilitates examination of imaging conditions.
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、複数の撮影条件の各々に応じた歪評価値の情報を表示する表示部と、を備えることを特徴としている。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that acquires parallax images under a plurality of imaging conditions, each of the plurality of imaging conditions, a predetermined observation condition, and a subject distance. A stereoscopic image distortion evaluation value deriving unit for deriving a distortion evaluation value representative of the entire subject within the subject distance range for distortion of the stereoscopic image observed from the parallax image under a predetermined viewing condition, and a plurality of shooting conditions And a display unit that displays information on distortion evaluation values corresponding to each of the above.
本発明に係る撮像装置において、歪評価値は、圧縮率及び線形率の少なくとも一方を含み、撮影条件の各々に応じて変化することが好ましい。 In the imaging apparatus according to the present invention, distortion evaluation value is seen contains at least one of the compression rate and linear rate, it is preferable that changes in accordance with the respective imaging conditions.
本発明に係る撮像装置は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部を備え、表示部は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示することが好ましい。 The imaging apparatus according to the present invention includes a distance-recommended recommended distance and a parallax limit range, which are the farthest subject distance that is a parallax amount within the parallax limit range from each of a plurality of shooting conditions, a predetermined viewing condition, and a parallax limit range. The recommended subject range deriving unit for deriving the recommended near-distance limitation distance that is the latest subject distance that becomes the amount of parallax within, and the display unit recommends the far-restricted recommended distance and the near limit recommendation derived by the recommended subject range deriving unit It is preferable to display the distance.
本発明に係る撮像装置において、線形率は、被写体距離範囲内の最遠の距離について導出した立体像の大きさと、最近の距離について導出した立体像の大きさと、その中間の距離について導出した立体像の大きさと、を用いて表されることが好ましい。 In the image pickup apparatus according to the present invention, the linear rate is calculated based on the size of the stereoscopic image derived for the farthest distance within the subject distance range, the size of the stereoscopic image derived for the latest distance, and the stereoscopic image derived for the intermediate distance. The size of the image is preferably used to express the image.
本発明に係る撮像装置において、圧縮率は、被写体の奥行き方向の大きさと横方向の大きさの比と、被写体距離範囲内の所定の距離について導出した立体像の奥行き方向の大きさと横方向の大きさの比と、の関係で表されることが好ましい。 In the imaging apparatus according to the present invention, the compression rate is determined by the ratio of the size in the depth direction and the size in the horizontal direction of the subject, and the size in the depth direction and the horizontal direction of the stereoscopic image derived for a predetermined distance within the subject distance range. It is preferable to be expressed by the relationship between the size ratios.
本発明に係る撮像装置において、線形率は次式(11)で表され、圧縮率は次式(15)で表されることが好ましい。 In the imaging apparatus according to the present invention, it is preferable that the linear rate is expressed by the following formula (11) and the compression rate is expressed by the following formula (15).
遠方制限推奨距離を、視差制限範囲内の視差量になる最遠の被写体距離、 The distance limit recommended distance is set to the farthest subject distance that makes the amount of parallax within the parallax limit range,
近方制限推奨距離を、視差制限範囲内の視差量になる最近の被写体距離、 The recommended distance to the near limit is the distance to the latest subject that has a parallax amount within the parallax limit range.
とそれぞれしたとき、And each
Xvc1は、近方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、 Xvc1 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the near limit recommended distance,
Xvc2は、遠方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、 Xvc2 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the distance limitation recommended distance,
Xv0は、合焦距離について、所定の被写体サイズに対する立体像のサイズ、 Xv0 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the in-focus distance,
である。It is.
Xoは、被写体サイズ、 Xo is the subject size,
Xv0は、合焦距離について、所定の被写体サイズに対する立体像のサイズ、 Xv0 is the size of the stereoscopic image with respect to a predetermined subject size with respect to the in-focus distance,
ΔZoは、被写体距離の差であり、所定の微小距離、 ΔZo is a difference in subject distance, which is a predetermined minute distance,
ΔZv0は、立体像の奥行き方向の大きさの差であり、合焦距離Zo0と、合焦距離Zo0と所定の微小距離ΔZoだけ離れた距離Zo1に対応する立体像の再現奥行きをそれぞれZv0とZv1としたとき、Zv1−Zv0で示される。 ΔZv0 is the difference in size of the stereoscopic image in the depth direction, and the reproduction depth of the stereoscopic image corresponding to the in-focus distance Zo0 and the distance Zo1 away from the in-focus distance Zo0 by a predetermined minute distance ΔZo is respectively Zv0 and Zv1. Is expressed as Zv1-Zv0.
本発明に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出し、被写体距離範囲を遠方制限推奨距離と近方制限推奨距離の間に設定することが好ましい。 In the imaging apparatus according to the present invention, the stereoscopic image distortion evaluation value deriving unit is a farthest subject distance that becomes a parallax amount within the parallax limit range from each of the plurality of shooting conditions, a predetermined observation condition, and the parallax limit range. Deriving a certain distance limit recommended distance and the near limit recommended distance, which is the latest subject distance that is the amount of parallax within the parallax limit range, and set the subject distance range between the distance limit recommended distance and the distance limit recommended distance It is preferable.
本発明に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部をさらに備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離と歪評価値を変更することが好ましい。
本発明に係る撮像装置において、歪評価値は、被写体距離範囲内の被写体全体を代表する1つの値であり、撮影条件間の比較または撮影条件の設定のための値であることが好ましい。
In the imaging apparatus according to the present invention, the stereoscopic image distortion evaluation value deriving unit further includes a correction processing setting unit that specifies a correction process for the parallax image according to each of a plurality of shooting conditions and sets an image correction parameter. The subject range deriving unit preferably changes the recommended distance restriction recommended distance, the recommended distance restriction near distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions.
In the imaging apparatus according to the present invention, the distortion evaluation value is one value representing the entire subject within the subject distance range, and is preferably a value for comparison between photographing conditions or setting of photographing conditions.
本発明に係る撮像装置は、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示可能であって、これにより、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる、という効果を奏する。 The imaging apparatus according to the present invention can display a distortion evaluation value that represents distortion of the entire subject within a set subject distance range, thereby facilitating comparison between shooting conditions and setting an allowable range. There is an effect that it becomes easy to study.
以下に、本発明に係る撮像装置の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。
まず、本発明の実施形態に係る撮像装置の構成及び作用効果について説明する。
Hereinafter, embodiments of an imaging apparatus according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by the following embodiment.
First, the configuration and operational effects of the imaging apparatus according to the embodiment of the present invention will be described.
本発明の実施形態に係る撮像装置は、複数の撮影条件で視差画像を取得する撮像部と、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、複数の撮影条件の各々に応じた歪評価値の情報を表示する表示部と、を備えることを特徴としている。 An imaging apparatus according to an embodiment of the present invention includes an imaging unit that acquires parallax images under a plurality of shooting conditions, a parallax under a predetermined observation condition, each of the plurality of shooting conditions, a predetermined observation condition, and a subject distance range. A stereoscopic image distortion evaluation value deriving unit for deriving a distortion evaluation value representative of the entire subject within the object distance range for distortion of the stereoscopic image observed from the image, and information on the distortion evaluation value according to each of a plurality of shooting conditions And a display unit for displaying.
この構成により、設定した被写体距離範囲の被写体全体の歪を表す歪評価値を表示することができるため、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる。また、ステレオ撮影時に、現在の撮影条件で撮影され想定する観察条件下で観察される立体映像について、立体歪の程度を表す歪評価値を導出し、カメラの背面表示画面に表示することにより、撮影者は立体歪を改善させるように撮影条件を調整することができ、自然な立体映像の撮影が容易になる。 With this configuration, it is possible to display a distortion evaluation value that represents the distortion of the entire subject within the set subject distance range, making it easy to compare between shooting conditions and set an allowable range, and to easily examine shooting conditions. . In addition, by obtaining a distortion evaluation value representing the degree of stereoscopic distortion and displaying it on the rear display screen of the camera for a stereoscopic image that is shot under the current shooting conditions and observed under the assumed observation conditions during stereo shooting, The photographer can adjust the shooting conditions so as to improve the stereoscopic distortion, and it is easy to shoot a natural stereoscopic video.
本発明の実施形態に係る撮像装置において、歪評価値は、圧縮率及び線形率の少なくとも一方を含むことが好ましい。
本発明の実施形態に係る撮像装置は、さらに、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する推奨被写体範囲導出部を備え、表示部は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示することが好ましい。
これにより、あらかじめ設定した視差範囲制限を満たすような被写体範囲も同時に表示できるため、撮影者は歪具合と視差範囲のバランスを考慮して撮影条件や被写体配置を調整できる。特にマクロ撮影のように被写体距離が短いときは、推奨被写体範囲が狭くなりやすいため、このような表示が効果的である。
In the imaging apparatus according to the embodiment of the present invention, the distortion evaluation value preferably includes at least one of a compression rate and a linear rate.
The imaging apparatus according to the embodiment of the present invention further recommends far-distance limitation, which is the farthest subject distance that becomes the parallax amount within the parallax restriction range from each of the plurality of shooting conditions, the predetermined observation condition, and the parallax restriction range. A recommended subject range deriving unit for deriving a distance and a recommended near limit recommended distance that is a recent subject distance that is a parallax amount within the parallax limit range is provided, and the display unit is a recommended far limit recommended distance derived by the recommended subject range deriving unit It is preferable to display the recommended distance for near limit.
Accordingly, since a subject range that satisfies a preset parallax range limit can be displayed at the same time, the photographer can adjust shooting conditions and subject placement in consideration of the balance between the degree of distortion and the parallax range. In particular, when the subject distance is short as in macro photography, the recommended subject range tends to be narrow, and thus such a display is effective.
本発明の実施形態に係る撮像装置において、線形率は次式(11)で表され、圧縮率は次式(15)で表されることが好ましい。 In the imaging device according to the embodiment of the present invention, it is preferable that the linear rate is expressed by the following equation (11) and the compression rate is expressed by the following equation (15).
本発明の実施形態に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出し、被写体距離範囲を遠方制限推奨距離と近方制限推奨距離の間に設定することが好ましい。
これにより、あらかじめ設定した視差範囲制限を満たすような距離範囲内の被写体について、全体を代表する歪評価値を導出するため、撮影条件間の比較や許容範囲の設定が容易になり、撮影条件の検討がしやすくなる。
In the imaging apparatus according to the embodiment of the present invention, the stereoscopic image distortion evaluation value deriving unit is the farthest disparity amount within the parallax limit range from each of the plurality of shooting conditions, the predetermined observation condition, and the parallax limit range. Deriving the distance limit recommended distance that is the subject distance and the near limit recommended distance that is the latest subject distance that is the amount of parallax within the parallax limit range, and the subject distance range is between the distance limit recommended distance and the distance limit recommended distance It is preferable to set to.
As a result, a distortion evaluation value representative of the entire object is derived for a subject within a distance range that satisfies a preset parallax range restriction, so that comparison between shooting conditions and setting of an allowable range are facilitated. It becomes easy to consider.
本発明の実施形態に係る撮像装置において、立体像歪評価値導出部は、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部をさらに備え、推奨被写体範囲導出部は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離と歪評価値を変更することが好ましい。
これにより、画像シフトや画像の拡縮により視差量を調整する機能をもったカメラの場合も、調整によってどのように歪が変わるのかが示されるため、撮影時に適切な調整が可能になる。
In the imaging device according to the embodiment of the present invention, the stereoscopic image distortion evaluation value deriving unit further includes a correction processing setting unit that specifies correction processing for a parallax image corresponding to each of a plurality of shooting conditions and sets an image correction parameter. The recommended subject range deriving unit preferably changes the recommended distance limit recommended distance, the recommended distance limit near distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions.
Accordingly, even in the case of a camera having a function of adjusting the parallax amount by image shift or image enlargement / reduction, it is shown how the distortion changes due to the adjustment, so that appropriate adjustment can be performed at the time of shooting.
(第1実施形態)
図1は、本発明の第1実施形態に係る撮像装置100の構成を示すブロック図である。
図1に示すように、撮像装置100は、第1条件設定部110、第2条件設定部120、撮影条件取得部130、第1導出部140、表示制御部150、表示部160、第2導出部170、及び撮像光学系180を備える。
(First embodiment)
FIG. 1 is a block diagram showing a configuration of an
As illustrated in FIG. 1, the
撮像装置100において、第1条件設定部110(視差範囲制限条件設定部)、第2条件設定部120(観察条件設定部)、及び撮影条件取得部130の出力は、第1導出部140(推奨被写体範囲導出部)に入力される。第1導出部140は、歪評価値を導出する被写体範囲を設定する。第1導出部140は、設定した被写体範囲と観察条件と撮影条件のデータを出力し、それらは第2導出部170(立体像歪評価値導出部)に入力される。第2導出部170では、入力された被写体範囲について歪評価値を計算し、その結果と撮影条件の一部が表示制御部150に出力され、表示制御部150で重畳された映像信号(図示は省略)は表示部160で表示される。
In the
以下、撮像装置100を構成する各部の構成・作用について説明する。
第1条件設定部110は、観察時視差角の最大値Δφc1と最小値Δφc2を設定する。第1実施形態では、後で説明する快適視差範囲の考え方に基づいて、最大値Δφc1と最小値Δφc2にはあらかじめ初期値が設定されているが、ユーザー入力により変更可能にしてもよい。
Hereinafter, the configuration and operation of each unit constituting the
The first
観察条件設定部としての第2条件設定部120は、想定する表示画面の横幅Wd、観察距離Dv、及び観察者(ユーザー)の瞳孔間距離IPDを設定する。いずれもあらかじめ初期値が設定されているが、ユーザー入力により変更可能である。変更方法は、いくつかある候補の中から観察者が選択するようにしても良いし、任意の数値を入力してもよい。
The second
撮影条件取得部130は、レンズ情報取得部131と基線長導出部132を備える。レンズ情報取得部131では、定期的に又は撮像光学系180に変化があったときに、撮像光学系180からレンズの焦点距離f、絞り大きさF、合焦距離Zo0の値を取得する。基線長導出部132は、焦点距離fと絞りの大きさFに基づいて瞳分割撮影の基線長SB(図2)を導出する。そして、撮影条件取得部130は、焦点距離fと合焦距離Zo0と基線長SBを第1導出部140へ出力する。
The imaging
推奨被写体範囲導出部としての第1導出部140は、複数の撮影条件の各々と所定の観察条件と視差制限範囲とから、視差制限範囲内の視差量になる最遠の被写体距離である遠方制限推奨距離と視差制限範囲内の視差量になる最近の被写体距離である近方制限推奨距離とを導出する。
より具体的には、第1導出部140は、
(1)快適視差範囲の視差角の最大値Δφc1と最小値Δφc2、
(2)想定する表示装置の横幅Wd、
(3)観察距離Dv、
(4)観察者の瞳孔間距離IPD、並びに、
(5)焦点距離f、合焦距離Zo0、及び基線長SB
の値から、想定する観察条件(所定の観察条件)下で、
(a)観察時視差角が最大値Δφc1になるような被写体距離Zoc1、及び
(b)観察時視差角が最小値Δφc2になるような被写体距離Zoc2、
を導出する。
The
More specifically, the
(1) The maximum value Δφc1 and the minimum value Δφc2 of the parallax angle in the comfortable parallax range,
(2) The assumed width Wd of the display device,
(3) Observation distance Dv,
(4) Observer pupillary distance IPD, and
(5) Focal length f, focusing distance Zo0, and baseline length SB
From the assumed observation conditions (predetermined observation conditions)
(A) Subject distance Zoc1 so that the observation parallax angle becomes the maximum value Δφc1, and (b) Subject distance Zoc2 so that the observation parallax angle becomes the minimum value Δφc2.
Is derived.
被写体距離Zoc1(近方制限推奨距離)の位置にある被写体が快適に観察できる最も近方の被写体であり、被写体距離Zoc2(遠方制限推奨距離)の距離にある被写体が快適に観察できる最も遠方の被写体である。撮影においては、近方制限推奨距離から遠方制限推奨距離までの範囲を超える被写体があまり写りこまないように、又は目立たないようにすることが望ましい。 The subject at the subject distance Zoc1 (recommended distance for near limit) is the closest subject that can be comfortably observed, and the farthest object that can be comfortably observed at the distance of the subject distance Zoc2 (recommended distance for far limit) The subject. In photographing, it is desirable that an object exceeding the range from the recommended distance for the near limit to the recommended distance for the far limit is not captured so much or is not noticeable.
立体像歪評価値導出部としての第2導出部170は、複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、所定の観察条件下で視差画像から観察される立体像の歪について被写体距離範囲内の被写体全体を代表する歪評価値を導出する。第2導出部170は、前段で導出された被写体距離Zoc1、Zoc2と、想定する表示画面の幅Wd、観察距離Dv、及び瞳孔間距離IPDと、撮影レンズの焦点距離f、合焦距離Zo0、及び基線長SBの値から、線形率Linと圧縮率Expaを導出し、表示制御部へ線形率Linと圧縮率Expaと基線長SBを出力する。
線形率Linは、被写体空間と観察者が感じる再現立体空間の線形性を現す評価値であり、圧縮率Expaは、被写体空間の奥行きに対して再現立体空間の奥行きが過小に見えたり過大に見えたりする程度を表す評価値である。
The
The linear rate Lin is an evaluation value that represents the linearity of the subject space and the reproduced three-dimensional space felt by the observer, and the compression rate Expa is the depth of the reproduced three-dimensional space that appears to be too small or too large relative to the depth of the subject space. It is an evaluation value representing the degree of
表示制御部150は、第2導出部170から線形率Linと圧縮率Expaと基線長SBを受け取り、これらの値を、センサ183から受けた映像信号に重畳して表示部160へ出力する。
The
表示部160は、複数の撮影条件の各々に応じた歪評価値の情報を表示する。また、表示部160は、推奨被写体範囲導出部が導出した遠方制限推奨距離及び近方制限推奨距離を表示する。
The
次に、撮像光学系180による視差画像取得について説明する。
撮像部としての撮像光学系180は、複数の撮影条件で視差画像を取得する。ここでは、撮像光学系180は、瞳分割方式の光学系を想定する。撮像光学系180は、レンズ181、絞り182(図2)、センサ183、及び、駆動回路184を備える。駆動回路184はレンズ181をその光軸Axに沿った方向に移動させ、その移動に関する情報をレンズ情報取得部131へ出力する。
Next, parallax image acquisition by the imaging
The imaging
立体映像を撮影するときは、2系統の光学系を用いる2眼式(平行法・交差法)が一般的だが、瞳分割方式は、1系統の光学系の入射瞳の一部を通過した光束と別の一部を通過した光束を2系統の光学系を通過した光束のように扱い、視差量のある左右画像を得るものである。詳細は後で説明するが、2眼式と異なり、フォーカスの合ったところの視差量が0になり、ボケたところほど視差量の絶対値が大きくなるという特徴がある。また2眼式撮影では、左右の光軸がどれだけ離れているかを示す基線長は通常固定されているが、瞳分割方式ではレンズの焦点距離や絞りの大きさによって基線長が変化するという特徴もある。なお、左右の光軸が離れているほど視差量が大きくなりやすい。 When shooting stereoscopic images, the binocular method (parallel method / intersection method) that uses two optical systems is common, but the pupil division method uses a light beam that has passed through part of the entrance pupil of one optical system. A light beam that has passed through another part is treated like a light beam that has passed through two optical systems, and a right and left image with a parallax amount is obtained. Although details will be described later, unlike the twin-lens system, the parallax amount at the point of focus becomes 0, and the absolute value of the parallax amount increases as the blur occurs. In binocular photography, the base length indicating how far the left and right optical axes are apart is usually fixed, but in the pupil division method, the base length changes depending on the focal length of the lens and the size of the stop. There is also. Note that the amount of parallax tends to increase as the left and right optical axes become farther apart.
図2は、瞳分割方式光学系を概念的に説明する図であって、前側焦点位置に絞り182を置いたテレセントリック光学系を用いて瞳分割方式の撮影を行う場合の説明図である。図2において、レンズ181の中心からセンサ183のセンサ面183aまでの距離はb0、被写体Tからの光が交差する点からレンズ181の中心までの距離はbである。
FIG. 2 is a diagram conceptually illustrating the pupil division type optical system, and is an explanatory diagram in the case of performing pupil division type photographing using a telecentric optical system in which a
図2は、レンズ181の中心からの距離Zoの位置に被写体Tがあり、レンズ181の中心からの距離Zo0の位置に被写体T0があり、被写体T0にフォーカスを合わせたときの様子を示している。図2では、焦点距離fの位置にある絞り182を左右2つの領域に分けて考え、左側領域の中心ALcと右側領域の中心ARc(図2)を通る光線を表している。
FIG. 2 shows a state where the subject T is located at a distance Zo from the center of the
センサ183のセンサ面183aでは、合焦被写体T0上の点から出た光は1点に収束するが、それより遠方の被写体T上の点から出た光ははセンサ面より手前で1点に収束する。図2に示すように、被写体Tから出て絞り182の左右領域の中心ALc、ARcをそれぞれ通った光はセンサ面183a上で重ならず異なる位置にずれる。この位置のずれは被写体と撮像光学系180との距離に応じて変わる。したがって、絞り182の左側領域を通った光と右側領域を通った光を別々に取り出すことができれば、一般的な2眼式の立体撮像と同様に、被写体距離に応じた左右画像のズレすなわち視差量のある2枚の画像が得られる。ただし、瞳分割方式光学系においては、合焦被写体の視差量は常に0になるという特徴がある。
On the
ここで、絞り182の左右領域を通った光を分離するには、例えばレンズ181の入射瞳の右半分と左半分を交互に遮蔽して、時間的に左右を分離したり、光路上にプリズムなどをいれて別々のセンサに導いたり、画素ごとに左右を振り分けたりといった方法がある。
Here, in order to separate the light that has passed through the left and right regions of the
以上により、最終的に、図3のような2つの画像が保存される。図3は撮像光学系からの出力画像を示す図である。図3(a)は、絞り182の左側領域を通った光による、被写体Tの画像IT_Lと被写体T0の画像IT0_Lを示し、(b)は、絞り182の右側領域を通った光による、被写体Tの画像IT_Rと被写体T0の画像IT0_Rを示している。
As a result, two images as shown in FIG. 3 are finally stored. FIG. 3 is a diagram illustrating an output image from the imaging optical system. 3A shows the image IT_L of the subject T and the image IT0_L of the subject T0 by the light passing through the left region of the
センサ183上での視差量の計算は次のように考える。
入射瞳の右半分の重心と左半分の重心との間の距離を基線長SBとする。基線長SBは、レンズ181の焦点距離fと、絞り182の大きさを表すF値と、の比に係数をかけたものとして計算できる。さらに、被写体Tから絞り182の左側領域の中心ALcを通った光線がセンサ183上に達した点と、右側領域の中心ARcを通った光線がセンサ183上に達した点と、のセンサ面183a上での距離を、被写体Tのセンサ183上での視差量Δxsとする。この視差量Δxsと被写体距離Zoの関係は、収差などの影響を無視すれば、次式(1)のようになる。
The calculation of the amount of parallax on the
A distance between the center of gravity of the right half and the center of gravity of the left half of the entrance pupil is defined as a base line length SB. The baseline length SB can be calculated by multiplying the ratio of the focal length f of the
また、レンズ181の光軸Axに垂直な面内において、被写体Tの大きさ(横サイズ)をXoとすると、センサ183上での被写体像の大きさXsは次式(2)のようになる。
If the size of the subject T (lateral size) is Xo in the plane perpendicular to the optical axis Ax of the
次に撮影された視差画像を想定する立体表示対応TVなどで表示して観察する場合の視差量と立体像の再現位置について説明する。図4は、立体表示対応テレビにL画像(左眼用画像)及びR画像(右眼用画像)を表示した状態を示す図である。図5は、観察者Vが感じる立体像の再現位置と大きさを示す図である。 Next, the amount of parallax and the reproduction position of a stereoscopic image in the case of displaying and observing a captured parallax image on a stereoscopic display compatible TV or the like will be described. FIG. 4 is a diagram illustrating a state in which an L image (left eye image) and an R image (right eye image) are displayed on a stereoscopic display-compatible television. FIG. 5 is a diagram showing the reproduction position and size of the stereoscopic image that the observer V feels.
図4では、画面161に、被写体TのL画像IT_LとR画像IT_Rの両方が表示されているが、専用メガネVGをかけた観察者Vには、左眼EL(図5)ではL画像、右眼ER(図5)ではR画像のみが見える。撮像された被写体TのL画像IT_LとR画像IT_Rは、画面161において視差量Δxdだけずれて表示されている。これに対して、被写体T0のL画像IT0_LとR画像IT0_Rは丁度重なって表示されている。
In FIG. 4, both the L image IT_L and the R image IT_R of the subject T are displayed on the
図5に示すように、観察者Vには画面161上の視差量に応じた奥行き位置に被写体があるように見えている。再現される立体像VTの奥行き位置(観察者Vからの距離Zvの位置)は、画面161に対する観察距離Dv、観察者Vの瞳孔間距離IPD、及び画面161上の視差量Δxdで決まる。被写体Tの立体像VTの再現奥行きを定める距離Zvは、次式(3)のようになる。
As shown in FIG. 5, the viewer V appears to have a subject at a depth position corresponding to the amount of parallax on the
一方、被写体T0の立体像VT0については、視差量が0となるため、L画像IT0_L及びR画像IT0_Rと丁度重なって画面161上に再現される。
また、再現される立体像VTの大きさ(横サイズ)Xvは、画面161上の被写体像の大きさXd、観察距離Dv(観察者Vから画面161までの距離)、及び、立体像VTの再現奥行き距離Zvで決まる。再現奥行き距離Zvは、上式(3)で決まるため、立体像VTの大きさXvは、画面161上の被写体像の大きさXd、観察者Vの瞳孔間距離IPD、及び、画面上視差量Δxd(L画像IT_Lの中心とR画像IT_Rの中心の距離)で決まることになり、次式(4)のように表せる。
なお、「横サイズ」とは、図2、図4、図5における被写体やセンサ面上の被写体像や表示画面に表示される被写体像および再現される立体像の左右方向の大きさである。
On the other hand, the stereoscopic image VT0 of the subject T0 has a parallax amount of 0, and thus is reproduced on the
The size (horizontal size) Xv of the reproduced stereoscopic image VT is the size Xd of the subject image on the
The “horizontal size” is the horizontal size of the subject in FIG. 2, FIG. 4, FIG. 5, the subject image on the sensor surface, the subject image displayed on the display screen, and the reproduced stereoscopic image.
なお、画面161上における、視差量Δxd及び被写体像の大きさXd(図5)は、それぞれセンサ183上における、視差量Δxs及び被写体像の大きさXs(図2)に比例する。表示装置(表示部160)の画面161の横サイズをWd、センサ183の横サイズをWsとすると、画面161上の視差量Δxdは、センサ183上の視差量Δxsに画面サイズWdとセンササイズWsの比Msd=Wd/Wsを掛けたものになり、次式(5)のように表せる。式(5)において、符号はセンサ183上と画面161上で逆になり、式(5)では立体像を観察したときに画面161の奥に見える場合の視差量の符号が正、画面161より飛び出して見える場合の視差量の符号が負になる。
The parallax amount Δxd and the subject image size Xd (FIG. 5) on the
視差量ΔXdと同様に、画面161上の被写体サイズXdは、センサ183上の被写体像の大きさXsに画面サイズWdとセンササイズWsの比Msdを掛けたものになり、次式(6)のように表せる。
Similar to the parallax amount ΔXd, the subject size Xd on the
次に快適視差範囲(コンフォートゾーン)について説明する。図6は、快適視差範囲を説明する概念図である。
両眼視差を利用した立体表示を観察する場合、画面上視差量の絶対値が大きすぎると立体像は見づらくなり、極端な場合は融像できなくなる。そこで視差量がどれくらいで融像困難になるか、どの範囲(快適視差範囲)なら快適に見られるか、を調査する研究がこれまでに数多くなされ、おおよその目安となる値も発表されている(参考:3Dコンソーシアム「3DC安全ガイドライン」)。
Next, the comfortable parallax range (comfort zone) will be described. FIG. 6 is a conceptual diagram illustrating a comfortable parallax range.
When observing stereoscopic display using binocular parallax, if the absolute value of the amount of parallax on the screen is too large, it is difficult to see the stereoscopic image, and in an extreme case, fusion cannot be performed. So, many studies have been conducted to find out how much parallax is difficult to fuse and what range (comfortable parallax range) can be seen comfortably, and approximate values have been announced ( Reference: 3D Consortium “3DC Safety Guidelines”).
立体像が快適に見られる画面上視差量は、画面161に対する視距離に応じて変わってしまうため、快適視差範囲は立体像に対する視差角で示されることが多い。視差角とは、立体像を見るときの観察者の視線の為す角度(輻輳角)と画面161に対する輻輳角の差である。
The amount of parallax on the screen where a stereoscopic image can be comfortably viewed varies depending on the viewing distance with respect to the
例えば図6に示すように、快適に見られる最も近方の立体像c1を見るときの視線の為す角度(輻輳角)をφc1、快適に見られる最も遠方の立体像c2を見るときの輻輳角をφc2、及び、画面161に対する輻輳角をθvとする。このとき、快適に見られる最も近方の立体像c1を見るときの輻輳角φc1と画面161に対する輻輳角θvの差Δφc1が快適に見られる最も近方の立体像c1に対する視差角であり、快適に見られる最も遠方の立体像c2を見るときの輻輳角φc2と画面161に対する輻輳角θvの差Δφc2が快適に見られる最も遠方の立体像c2に対する視差角である。これら2つの視差角Δφc1、Δφc2の間の範囲が快適視差範囲となる。これらの視差角Δφc1、Δφc2の具体的な数値としては、例えば「3DC安全ガイドライン」にΔφc1=1度、Δφc2=−1度が示されている。
For example, as shown in FIG. 6, the angle (convergence angle) of the line of sight when viewing the nearest stereoscopic image c1 that can be seen comfortably is φc1, and the convergence angle when viewing the farthest stereoscopic image c2 that can be seen comfortably Is φc2 and the convergence angle with respect to the
次に、第1導出部140で、観察時視差角が最大値Δφc1になるような被写体距離(近方制限推奨距離)Zoc1と、観察時視差角が最小値Δφc2になるような被写体距離(遠方制限推奨距離)Zoc2と、を導出する方法について説明する。
Next, in the
<被写体距離の導出>
視差角Δφ(Δφc1、Δφc2)は、上述のように、再現された立体像に対する輻輳角と画面161に対する輻輳角の差であり、画面161を観察するときの観察距離Dvと観察者Vの瞳孔間距離IPDに依存し、画面161上の視差量Δxdを用いて次式(7)で表せる。
<Derivation of subject distance>
As described above, the parallax angle Δφ (Δφc1, Δφc2) is a difference between the convergence angle with respect to the reproduced stereoscopic image and the convergence angle with respect to the
上式(7)で算出した視差角Δφを用いて、視差角Δφとなるような画面161上の視差量Δxdが次式(8)で決められる。
Using the parallax angle Δφ calculated by the above equation (7), the parallax amount Δxd on the
この式(8)のΔφに、視差角Δφc1、Δφc2を代入すれば、視差角Δxdをそれぞれ算出でき、これらにより画面上視差量Δxdc1、Δxdc2が決まる。さらに、上式(5)から逆算していけば画面上視差量Δxdc1、Δxdc2にそれぞれ対応する被写体距離Zoc1、Zoc2が計算できる。このため、最終的には、視差角が最大値Δφc1になるような被写体距離Zoc1は次式(9)のような形で表すことができる。 By substituting the parallax angles Δφc1 and Δφc2 into Δφ in equation (8), the parallax angles Δxd can be calculated, respectively, and the on-screen parallax amounts Δxdc1 and Δxdc2 are determined. Furthermore, subject distances Zoc1 and Zoc2 corresponding respectively to the on-screen parallax amounts Δxdc1 and Δxdc2 can be calculated by calculating backward from the above equation (5). Therefore, in the end, the subject distance Zoc1 at which the parallax angle becomes the maximum value Δφc1 can be expressed by the following equation (9).
また、視差角が最小値Δφc2になるような被写体距離Zoc2は上式(9)のΔφc1をΔφc2に置き換えた次式(10)で表せる。 The subject distance Zoc2 at which the parallax angle becomes the minimum value Δφc2 can be expressed by the following equation (10) in which Δφc1 in the above equation (9) is replaced with Δφc2.
ここで、例外判定(例外処理)について説明する。
画面上視差量Δxdc2は画面161より奥に立体像が再生されるような視差量だが、画面上視差量Δxdcが観察者Vの瞳孔間距離IPDを超えてしまうと視線が開散状態になり、快適に見ることはできなくなる。そこで、IPD未満でIPDに近い値XDMXについて
Δxdc2>XDMX
が成り立つとき、別言すると上式(10)において
B/C>XDMX
が成り立つときは、例外処理としてB/C=XDMXとする。
XDMXは例えばXDMX=IPD×0.95とする。
Here, exception determination (exception processing) will be described.
The on-screen parallax amount Δxdc2 is a parallax amount such that a stereoscopic image is reproduced in the back of the
In other words, in the above equation (10), B / C> XDMX
Is satisfied, B / C = XDMX is set as exception processing.
For example, XDMX is set to XDMX = IPD × 0.95.
また、条件によっては
Zoc2<0
となることがある。これは後で説明する立体歪により遠方被写体に対する視差量が小さくなって、視差角が最小値Δφc2になるような被写体距離Zoc2が存在しない状態を示す。このような場合は、遠方制限推奨距離Zoc2を無限大とする。
Depending on the conditions, Zoc2 <0
It may become. This shows a state in which there is no subject distance Zoc2 such that the amount of parallax with respect to a distant subject is reduced due to stereoscopic distortion described later, and the parallax angle becomes the minimum value Δφc2. In such a case, the recommended distance restriction distance Zoc2 is set to infinity.
次に、第2導出部170における、線形率Linと圧縮率Expaの導出について説明する。
まず、立体像の歪について説明する。
一般に立体映像を撮影するとき、撮影条件と観察条件の幾何学的な関係によって再現される立体像が歪み、不自然な見え方になることがある。ここでは歪の出方を大別して2つに分けて扱う。
Next, the derivation of the linear rate Lin and the compression rate Expa in the
First, the distortion of a stereoscopic image will be described.
In general, when a stereoscopic image is captured, a stereoscopic image reproduced due to the geometric relationship between the imaging condition and the observation condition may be distorted and look unnatural. Here, the method of distortion is roughly divided into two parts.
1つ目の歪みとしての非線形歪は、被写体空間と再現立体像空間が非線形になることにより、ある程度遠方の被写体がひとつの面に張り付いて見えたり、奥行きによって被写体の大きさが狂って見えたりするものである。 Non-linear distortion as the first distortion is that the subject space and the reconstructed stereoscopic image space become nonlinear, so that a subject far away to some extent appears to stick to one surface, or the subject size appears to be distorted due to depth. It is something to do.
図7、図8、図9は非線形歪を説明する図であって、図7は被写体空間と再現立体像空間が線形の場合、図8、図9は非線形歪が発生している場合を示す。また、図7〜図9において、(a)は被写体奥行きに対する再現立体像の奥行きを示したグラフ、(b)は被写体奥行きに応じて再現立体像の大きさが変わることを示したグラフ、(c)は被写体奥行きに応じて変わる再現立体像の見え方を示したものである。図8(a)、(b)、図9(a)、(b)において、破線は、被写体空間と再現立体像空間が線形の場合を示しており、実線は、非線形歪が発生している場合を示している。図8と図9は、非線形歪の現れ方が逆になっている。 7, 8, and 9 are diagrams for explaining nonlinear distortion. FIG. 7 shows a case where the subject space and the reproduced stereoscopic image space are linear, and FIGS. 8 and 9 show a case where nonlinear distortion occurs. . 7 to 9, (a) is a graph showing the depth of the reproduced stereoscopic image with respect to the subject depth, (b) is a graph showing that the size of the reproduced stereoscopic image changes according to the subject depth, c) shows how the reproduced stereoscopic image changes according to the subject depth. 8A, 8B, 9A, and 9B, the broken line indicates a case where the subject space and the reproduced stereoscopic image space are linear, and the solid line indicates that nonlinear distortion occurs. Shows the case. In FIGS. 8 and 9, the appearance of nonlinear distortion is reversed.
図7に示す場合では、被写体奥行きと再現奥行きは線形関係にあり、観察者が感じる再現立体像の大きさは奥行きによって変わらない。したがって、奥行きの異なる同じ大きさの2つの被写体を撮影したときに、再現立体像でも2つは同じ大きさに感じられる。
これに対して図8に示す場合では、被写体奥行きが大きいほど、すなわち遠くにあるものほど、再現奥行きも大きさも強調されるため、手前にあるものが小さくなったような見え方になる(図8(c))。
また、図9に示す場合は、図8に示す場合と逆であって、遠くにあるものほど奥行きと大きさが圧縮されるため、ある程度遠くのものが全て平面に張り付いたように見える(図9(c))。
In the case shown in FIG. 7, the subject depth and the reproduction depth are in a linear relationship, and the size of the reproduced stereoscopic image felt by the observer does not change with the depth. Therefore, when two subjects having the same depth and different sizes are photographed, the two reproduced stereoscopic images are felt to be the same size.
On the other hand, in the case shown in FIG. 8, the larger the subject depth, that is, the farther the subject, the more the reproduction depth and size are emphasized, so that the one in front is smaller (see FIG. 8). 8 (c)).
The case shown in FIG. 9 is the reverse of the case shown in FIG. 8, and the depth and size of the object farther away is compressed, so that it seems that everything far away is stuck to a plane ( FIG. 9 (c)).
この現象は、例えば被写体距離に対して基線長や焦点距離が大きすぎると図8のようになり、観察画面が小さすぎると図9のようになる傾向があるが、関与するパラメータは基線長、焦点距離、合焦距離、観察画面サイズ、観察者の瞳孔間距離などがあり、歪とパラメータが1対1対応しているわけではない。 For example, this phenomenon tends to be as shown in FIG. 8 if the baseline length or focal length is too large relative to the subject distance, and tends to be as shown in FIG. 9 if the observation screen is too small, but the parameters involved are the baseline length, There are a focal distance, a focusing distance, an observation screen size, a distance between pupils of an observer, and the like, and distortion and parameters do not have a one-to-one correspondence.
2つ目の歪を圧縮歪と呼ぶ。図10は、第1実施形態において被写体奥行きと被写体サイズの比率に対する再現奥行きと再現立体像サイズの比率の関係を示すグラフである。図11は、第1実施形態において発生した圧縮歪の例を示す図である。
図10において、破線L0は被写体空間と再現立体像空間が相似形の場合、実線L1はサイズに比較して奥行きが強調された場合、実線L2はサイズに比較して奥行きが圧縮された場合をそれぞれ示している。図11において、再現立体像S1は、そのサイズと奥行きの比率が、被写体S0のサイズと奥行きの比率と同じ場合、再現立体像S2は奥行きが強調された場合、再現立体像S3は奥行きが圧縮された場合をそれぞれ示している。
The second distortion is called compression distortion. FIG. 10 is a graph showing the relationship between the ratio of the reproduction depth and the reproduction stereoscopic image size to the ratio of the object depth and the object size in the first embodiment. FIG. 11 is a diagram illustrating an example of compression distortion generated in the first embodiment.
In FIG. 10, a broken line L0 indicates a case where the subject space and the reproduced stereoscopic image space are similar, a solid line L1 indicates that the depth is emphasized compared to the size, and a solid line L2 indicates a case where the depth is compressed compared to the size. Each is shown. In FIG. 11, the reproduced stereoscopic image S1 has the same size / depth ratio as that of the subject S0, the reproduced stereoscopic image S2 has the depth enhanced, and the reproduced stereoscopic image S3 has the compressed depth. Each case is shown.
被写体空間と再現空間が線形であっても、図10のようにサイズと奥行きの比率が被写体空間と再現空間で大きく異なることがあり、その結果、図11の再現立体像S3のように全体が圧縮されてレリーフのように見えたり、逆に、再現立体像S2のように奥行きが強調されすぎて奇妙な見え方になることがある。この現象は、主に撮影画角と観察画角が大きく異なることが原因で、例えば撮影レンズの焦点距離が長すぎる、すなわち撮影画角が狭い場合、奥行きが圧縮された見えになりやすい。ただし線形でないときは合焦距離などの他のパラメータも影響してくる。 Even if the subject space and the reproduction space are linear, the ratio of the size and the depth may be greatly different between the subject space and the reproduction space as shown in FIG. 10, and as a result, the whole is reproduced like the reproduced stereoscopic image S3 in FIG. In some cases, the image may be compressed and look like a relief, or conversely, the depth may be overemphasized and look strange as in the reproduced stereoscopic image S2. This phenomenon is mainly caused by a large difference between the shooting angle of view and the observation angle of view. For example, when the focal length of the shooting lens is too long, that is, when the shooting angle of view is narrow, the depth tends to appear compressed. However, when it is not linear, other parameters such as the in-focus distance also affect.
このような歪の両方を完全になくすような理想的な条件の実現は多くの場合困難である。実際には、用途にもよるが、歪具合が小さければ観察者は気にしないため、歪が大きくなりすぎない程度に撮影条件を理想からずらして撮影することになる。そのためには、撮影者が、現在の撮影条件ではどのような歪の状態になるかを簡単にモニターできると都合が良い。
そこで、第1実施形態の撮像装置では、歪の状態を表す評価値D1として、線形性を表す数値としての線形率Linと、奥行き強調・圧縮の程度を表す数値としての圧縮率ex(Expa)と、をカメラの表示画面161に表示する(図12)。図12は、第1実施形態における表示例を示す図である。
In many cases, it is difficult to realize an ideal condition that completely eliminates both such distortions. Actually, although depending on the application, since the observer does not care if the degree of distortion is small, the photographing conditions are shifted from ideal so that the distortion does not become too large. For this purpose, it is convenient if the photographer can easily monitor the distortion state under the current photographing conditions.
Therefore, in the imaging apparatus according to the first embodiment, as the evaluation value D1 representing the state of distortion, the linear rate Lin as a numerical value representing linearity and the compression rate ex (Expa) as a numerical value representing the degree of depth enhancement / compression. Are displayed on the
非線形歪みの程度は、被写体の奥行き範囲をどう設定するかで変わるが、ここでは前述の第1導出部140で導出した近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2を用いる。
Although the degree of nonlinear distortion varies depending on how the depth range of the subject is set, here, the recommended near limit recommended distance Zoc1 and the recommended far limit restricted distance Zoc2 derived by the
以下、歪評価値D1の導出の具体的な計算方法について説明する。
<1.線形率 Lin>
線形率は、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び、合焦距離Zo0の3点のデータから導出する。なお、遠方制限推奨距離Zoc2が無限大の場合は、視差量に関してはほとんど無限大とみなせるような大きな有限の距離で置き換えて計算する。
線形性が崩れると、図8(b)や図9(b)のグラフに示すように、再現される立体像のサイズが奥行きによって大きく変わる。そこで、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び、合焦距離Zo0について、所定の被写体サイズXoに対する立体像のサイズXvc1、Xvc2、Xv0を求め、設定した範囲内で最も近い立体像のサイズXvc1と最も遠い立体像のサイズXvc2の差を合焦位置の立体像(画面161上の像)のサイズXv0で割って1を加えたものを線形率Linとする。ここで、線形率Linは、次式(11)のようになる。
Hereinafter, a specific calculation method for deriving the strain evaluation value D1 will be described.
<1. Linear rate Lin>
The linear rate is derived from data of three points, that is, a recommended near limit recommended distance Zoc1, a recommended far limit recommended distance Zoc2, and a focusing distance Zo0. When the distance restriction recommended distance Zoc2 is infinite, the parallax amount is calculated by replacing with a large finite distance that can be regarded as almost infinite.
When the linearity is lost, as shown in the graphs of FIGS. 8B and 9B, the size of the three-dimensional image to be reproduced greatly varies depending on the depth. Therefore, for the near limit recommended distance Zoc1, the far limit recommended distance Zoc2, and the focusing distance Zo0, the stereoscopic image sizes Xvc1, Xvc2, and Xv0 for the predetermined subject size Xo are obtained, and the closest stereoscopic image within the set range is obtained. The linear ratio Lin is obtained by dividing the difference between the size Xvc1 and the size Xvc2 of the farthest stereoscopic image by the size Xv0 of the in-focus stereoscopic image (image on the screen 161) and adding 1. Here, the linear rate Lin is expressed by the following equation (11).
立体像のサイズXvc1、Xvc2、Xv0は、上式(4)のように画面161上の被写体像の大きさと観察者の瞳孔間距離と画面上視差量で決まり、次式(12)、(13)、(14)のように表される。
The three-dimensional image sizes Xvc1, Xvc2, and Xv0 are determined by the size of the subject image on the
ここで、画面上被写体像の大きさXdc1、Xdc2、画面上視差量Δxdc1、Δxdc2などは、上式(5)、(6)のZoにZoc1やZoc2を代入して計算する。
線形率Linは、その値が1のとき線形性が成り立っており、1<Linのときは図8のような歪が発生しており、Lin<1のときは図9のような歪が発生しており、値が1から離れるほど歪の程度が大きい。
Here, on-screen subject image sizes Xdc1, Xdc2, on-screen parallax amounts Δxdc1, Δxdc2, etc. are calculated by substituting Zoc1 and Zoc2 for Zo in the above equations (5) and (6).
The linearity Lin is linear when the value is 1, and distortion as shown in FIG. 8 occurs when 1 <Lin, and distortion as shown in FIG. 9 occurs when Lin <1. The degree of distortion increases as the value deviates from 1.
<2.圧縮率 Expa>
線形率が1でないとき、被写体距離によって圧縮率は異なってくるが、第1実施形態では合焦距離Zo0の被写体について導出した圧縮率を全体の圧縮率の代表値とする。
<2. Compression rate Expa>
When the linear rate is not 1, the compression rate varies depending on the subject distance. In the first embodiment, the compression rate derived for the subject at the focusing distance Zo0 is used as a representative value of the overall compression rate.
大きさ(横サイズ)Xoの被写体が、合焦距離Zo0と所定の微小距離ΔZoだけ離れた距離Zo1にある場合を考える。ここで、合焦距離Zo0と距離Zo1に対応する立体像の再現奥行きZv0とZv1、及び、奥行きZv0に再現される立体像の横サイズXv0を求め、立体像の奥行き差Zv1−Zv0とサイズXv0の比を被写体距離の差ΔZoとサイズXoの比で割ったものを圧縮率Expaとする。所定の微小距離ΔZoを被写体の奥行き方向の大きさ、立体像の奥行き差Zv1−Zv0を立体像の奥行き方向の大きさΔZv0と言い換えても良い。圧縮率Expaを式で表すと次式(15)のようになる。 Consider a case where a subject of size (horizontal size) Xo is at a distance Zo1 that is a predetermined minute distance ΔZo away from the focusing distance Zo0. Here, the stereoscopic image reproduction depths Zv0 and Zv1 corresponding to the in-focus distance Zo0 and the distance Zo1 and the lateral size Xv0 of the stereoscopic image reproduced at the depth Zv0 are obtained, and the stereoscopic image depth difference Zv1-Zv0 and the size Xv0 are obtained. Is divided by the ratio of the subject distance difference ΔZo and the size Xo as the compression ratio Expa. The predetermined minute distance ΔZo may be paraphrased as the size of the subject in the depth direction, and the depth difference Zv1-Zv0 of the stereoscopic image may be paraphrased as the size ΔZv0 of the stereoscopic image in the depth direction. The compression rate Expa is expressed by the following equation (15).
圧縮率Expaは、その値が100%のとき、再現された立体像はもとの被写体と相似形であり、Expa<100%のときは奥行きが圧縮された状態を示し、100%<Expaのときは奥行きが強調された状態を示し、圧縮率Expaが100%から離れるほど、歪の程度が大きいことを示す。 When the compression rate Expa is 100%, the reproduced stereoscopic image is similar to the original subject. When Expa <100%, the depth is compressed, and 100% <Expa. In some cases, the depth is emphasized, and the degree of distortion increases as the compression ratio Expa departs from 100%.
上式(11)、(15)の計算では、観察条件のパラメータとして、想定する表示画面の幅Wd、観察距離Dv、及び、瞳孔間距離IPDを用い、撮影条件のパラメータとして、撮影レンズの焦点距離f、合焦距離Zo0、及び基線長SB、を用いる。そのため、第2導出部170には、第1導出部140で導出した被写体距離Zoc1と被写体距離Zoc2のほかに、想定する表示画面の幅Wd、観察距離Dv、瞳孔間距離IPD、撮影レンズの焦点距離f、合焦距離Zo0、及び、基線長SBの値が入力される。第2導出部170は、線形率Linと圧縮率Expaを導出し、表示制御部150に対して、線形率Lin、圧縮率Expa、及び基線長SBを出力する。
In the calculations of the above equations (11) and (15), the assumed display screen width Wd, observation distance Dv, and inter-pupil distance IPD are used as observation condition parameters, and the focus of the photographing lens is used as imaging condition parameters. The distance f, the focusing distance Zo0, and the baseline length SB are used. Therefore, in addition to the subject distance Zoc1 and the subject distance Zoc2 derived by the
次に図12を用いて、表示部160における歪評価値の表示について説明する。図12(a)は、カメラの背面液晶などの表示部160の画面161に、ライブビュー画像LVに重畳して、歪評価値DE(線形率Linと圧縮率Expa)と基線長SBの値を表示した様子を示したものである。画面161にはAF(オートフォーカス)などで使用したフォーカスエリアFAも同時に表示している。図12(b)、(c)、(d)は、撮影者による何らかのカメラ操作によって撮影条件が変わったことにより、歪評価値が変化したときの表示の様子を示す。
Next, display of distortion evaluation values on the
撮影者は、図12(a)の表示を見て現在の歪評価値を把握できる。その後、例えばレンズの絞りを操作して基線長SBを変化させると、表示は図12(b)のように基線長SBと歪評価値DEの値が更新される。一方、被写体にフォーカスしたまま被写体に近づいた場合は図12(c)のように、被写体にフォーカスしたまま被写体から遠ざかった場合は図12(d)のように、それぞれ基線長SBの表示は変わらず歪評価値が更新される。 The photographer can grasp the current distortion evaluation value by looking at the display of FIG. Thereafter, for example, when the base length SB is changed by operating the lens aperture, the display updates the values of the base length SB and the distortion evaluation value DE as shown in FIG. On the other hand, the display of the base line length SB changes as shown in FIG. 12C when the subject approaches the subject while focusing on the subject, and as shown in FIG. 12D when the subject moves away from the subject while focusing on the subject. First, the distortion evaluation value is updated.
このような表示により、撮影者は現在の撮影条件でどのような歪(歪評価値)になるかを簡単に知ることができ、また歪が改善するように撮影条件を工夫することが容易になる。また、歪評価値が変化したときは強調表示になるようにすると、よりわかりやすくて良い。さらに、歪評価値が改善したときと劣化したときで表示の色や強調の仕方を変えるとさらにわかりやすいため好ましい。 With such a display, the photographer can easily know what distortion (distortion evaluation value) the current shooting condition will be, and can easily devise the shooting condition to improve the distortion. Become. Further, when the distortion evaluation value changes, it may be easier to understand if it is highlighted. Furthermore, it is preferable to change the display color and the method of emphasis when the distortion evaluation value is improved and when it is deteriorated because it is easier to understand.
(第2実施形態)
第1実施形態に係る撮像装置では、撮影された画像に特に補正処理を加えない場合を想定していたが、第2実施形態に係る撮像装置では、撮影後のL画像及びR画像にシフト処理やズーム処理その他の補正処理を施してから画像を保存、又は補正処理を指定する情報を画像に付加して保存する場合を想定している。
(Second Embodiment)
In the imaging apparatus according to the first embodiment, it is assumed that correction processing is not particularly applied to the captured image. However, in the imaging apparatus according to the second embodiment, shift processing is performed on the L image and the R image after shooting. It is assumed that the image is stored after performing correction processing such as zooming or other processing, or information specifying correction processing is added to the image and stored.
第2実施形態に係る撮像装置は、第1実施形態に係る撮像装置の構成に加えて、複数の撮影条件の各々に応じた視差画像に対する補正処理を指定し、画像補正パラメータを設定する補正処理設定部290をさらに備える。推奨被写体範囲導出部としての第1導出部240は、複数の撮影条件の各々に応じた画像補正パラメータに応じて、遠方制限推奨距離と近方制限推奨距離を変更する。
In addition to the configuration of the imaging apparatus according to the first embodiment, the imaging apparatus according to the second embodiment specifies a correction process for a parallax image corresponding to each of a plurality of shooting conditions, and sets an image correction parameter. A
図13は、第2実施形態に係る撮像装置200の構成を示すブロック図である。図14は、第2実施形態における表示例を示す図である。
撮像装置200における、第1条件設定部210、第2条件設定部220、撮影条件取得部230、レンズ情報取得部231、基線長導出部232、第1導出部240、表示制御部250、表示部260、撮像光学系280、レンズ281、撮像光学系280の絞り(不図示)、センサ283、及び駆動回路284は、第1実施形態の撮像装置100の第1条件設定部110、第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、第1導出部140、表示制御部150、表示部160、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
FIG. 13 is a block diagram illustrating a configuration of the
In the
補正処理設定部290による補正処理は、撮影条件が制限されているときでも線形性や圧縮率を改善する効果がある。例えば、第1実施形態のような瞳分割方式の撮像光学系において、広角レンズを使用して基線長のわりに撮影距離を短くできないような場合、線形率は1より小さくなり圧縮も目立ってしまう。このような場合、L画像及びR画像をそれぞれ外側へ、すなわちL画像は左へ、R画像は右へそれぞれシフトすることで、線形率も圧縮率も改善することができる。また、画像を拡大することでも、線形率や圧縮率を改善可能である。なお、実際のシフト処理や拡大処理は、画像自体を処理してもよいし、センサ283から信号を読み出す際に読み出し位置や読み出す範囲を変更する方法で実現しても良い。
The correction processing by the correction
観察者が補正処理を設定する場合、例えばカメラの表示部の画面261(図14)にL画像及びR画像を重畳表示して、画像シフトの様子を確認しながら補正処理設定操作に割り当てられたボタンを操作する。画面261には、画像と同時に立体像歪評価値DE(線形率、圧縮率)が表示され、観察者は歪評価値を確認しながら、適切な補正値を設定する。
When the observer sets the correction process, for example, the L image and the R image are superimposed on the screen 261 (FIG. 14) of the display unit of the camera and assigned to the correction process setting operation while checking the state of the image shift. Operate the button. The
補正処理設定部290は、図示しないインターフェースを介した観察者の操作に基づいて、シフト設定値Shiftとズーム設定値Zoomを設定する。このシフト設定値Shiftとズーム設定値Zoomは第1導出部240へ入力される。
第1導出部240では、
(1)快適視差範囲の視差角の最大値Δφc1と最小値Δφc2、
(2)想定する表示装置の横幅Wd、
(3)観察距離Dv、
(4)観察者の瞳孔間距離IPD、
(5)焦点距離f、合焦距離Zo0、及び基線長SB、並びに
(6)シフト設定値Shift、及びズーム設定値Zoom
から、想定する観察条件下で、
(a)観察時視差角が最大値Δφc1になるような近方制限推奨距離Zoc1、及び
(b)観察時視差角が最小値Δφc2になるような遠方制限推奨距離Zoc2
を導出する。ただし、最小値Δφc2に対する画面上での視差量が瞳孔間距離IPDによって決まる値XDMXを超えるときは、画面261上での視差量=XDMXとなるような被写体距離を遠方制限推奨距離Zoc2とする。XDMXはIPDより小さい値で例えばIPDの95%となるような値とする。
The correction
In the
(1) The maximum value Δφc1 and the minimum value Δφc2 of the parallax angle in the comfortable parallax range,
(2) The assumed width Wd of the display device,
(3) Observation distance Dv,
(4) observer's interpupillary distance IPD,
(5) Focal length f, in-focus distance Zo0, and base line length SB, and (6) shift set value Shift and zoom set value Zoom.
From the assumed observation conditions,
(A) Recommended near limit distance Zoc1 so that the observation parallax angle becomes the maximum value Δφc1, and (b) Recommended far limit restriction distance Zoc2 so that the observation parallax angle becomes the minimum value Δφc2.
Is derived. However, when the amount of parallax on the screen with respect to the minimum value Δφc2 exceeds the value XDMX determined by the interpupillary distance IPD, the subject distance such that the amount of parallax on the
第2導出部270では、距離Zoc1、Zoc2、想定する表示画面の幅Wd、観察距離Dv、瞳孔間距離IPD、撮影レンズの焦点距離f、合焦距離Zo0、基線長SBの値、シフト設定値Shift、及びズーム設定値Zoomから、線形率Linと圧縮率Expaを導出し、表示制御部150へ、線形率Lin、圧縮率Expa、シフト設定値Shift、及びズーム設定値Zoomの値を出力する。表示制御部150は、これらの情報を、センサ283から受けた映像信号に重畳して表示部260へ出力し、表示部260はこれらを表示する(図14)。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
In the
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
(第3実施形態)
第3実施形態に係る撮像装置は、画面361(図16)に、歪評価値DEに加えて先に導出した推奨被写体範囲の情報(近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2)も表示する点が第1実施形態に係る撮像装置と異なる。
(Third embodiment)
The imaging apparatus according to the third embodiment also displays information about the recommended subject range derived earlier (recommended near limit restricted Zoc1 and recommended far limit restricted distance Zoc2) in addition to the distortion evaluation value DE on the screen 361 (FIG. 16). This is different from the imaging apparatus according to the first embodiment.
図15は、第3実施形態に係る撮像装置300の構成を示すブロック図である。図16は、第3実施形態における表示例を示す図である。
撮像装置300における、第1条件設定部310、第2条件設定部320、撮影条件取得部330、レンズ情報取得部331、基線長導出部332、第1導出部340、表示制御部350、表示部360、第2導出部370、撮像光学系380、レンズ381、撮像光学系380の絞り(不図示)、センサ383、及び駆動回路384は、第1実施形態の撮像装置100の第1条件設定部110、第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、第1導出部140、表示制御部150、表示部160、第2導出部170、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
FIG. 15 is a block diagram illustrating a configuration of an
In the
第1導出部340の動作は第1実施形態の第1導出部140の動作と同様である。第2導出部370は、第1実施形態の第2導出部170と同様に線形率Linと圧縮率Expaを導出し、線形率Lin、圧縮率Expa、基線長SBに加えて、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、及び合焦距離Zo0の情報を表示制御部250へ出力する。表示制御部250ではこれらの情報を、センサ283から受けた映像信号に重畳して表示部260へ出力し、表示部260はこれらを表示する。
The operation of the
立体歪を改善するために基線長や焦点距離を長くすると、全体に視差量が大きくなるため推奨被写体範囲が狭くなり、撮影したい被写体が推奨被写体範囲を超えてしまうこともある。そのような場合、歪と被写体範囲のバランスを考えて撮影する必要がある。
第3実施形態の撮像装置では、歪評価値とともに推奨被写体範囲も表示されるため、立体歪の改善だけでなく全体の見易さも同時に考慮しながら撮影条件を調整できる。特にマクロ撮影のように被写体距離が短いときは、推奨被写体範囲が狭くなりやすいため、このような表示が効果的である。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
If the base line length or focal length is increased in order to improve the stereoscopic distortion, the amount of parallax increases as a whole, so that the recommended subject range becomes narrow, and the subject to be photographed may exceed the recommended subject range. In such a case, it is necessary to shoot in consideration of the balance between distortion and the subject range.
In the image pickup apparatus according to the third embodiment, the recommended subject range is displayed together with the distortion evaluation value, so that it is possible to adjust the shooting conditions while considering not only the improvement of the stereoscopic distortion but also the overall visibility. In particular, when the subject distance is short as in macro photography, the recommended subject range tends to be narrow, and thus such a display is effective.
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
(第4実施形態)
図17は第4実施形態に係る撮像装置400の構成を示すブロック図である。図18は、第4実施形態における表示例を示す図である。
第4実施形態の撮像装置400は、第2実施形態と同様に補正処理設定部490を備え、表示部460で表示される情報として推奨被写体範囲の情報を加えている。
(Fourth embodiment)
FIG. 17 is a block diagram illustrating a configuration of an
The
撮像装置400における、第1条件設定部410、第2条件設定部420、撮影条件取得部430、レンズ情報取得部431、基線長導出部432、第1導出部440、表示制御部450、表示部460、撮像光学系480、レンズ481、撮像光学系480の絞り(不図示)、センサ483、及び駆動回路484は、第1実施形態の撮像装置100の第1条件設定部110、第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、第1導出部140、表示制御部150、表示部160、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
In the
瞳分割方式では補正処理がなければ「合焦距離=視差ゼロ距離」になるが、シフト処理を行うと、合焦距離と視差ゼロ距離がずれる。例えば、L画像及びR画像を外側へそれぞれシフトさせると、合焦被写体の視差量は0より大きくなり、立体像の再現位置は表示画面より奥側に移動し、手前の別の被写体が画面上に再現される。しかし、第3実施形態の図16のような表示では、そのことがわかりにくい。 In the pupil division method, “in-focus distance = zero-parallax distance” is obtained when there is no correction process. For example, when the L image and the R image are shifted outward, the parallax amount of the focused subject becomes larger than 0, the reproduction position of the stereoscopic image moves to the back side of the display screen, and another subject in front is moved on the screen. Is reproduced. However, in the display as shown in FIG. 16 of the third embodiment, this is difficult to understand.
そこで、第4実施形態では、図18に示すように、合焦距離Zo0とは別に、補正処理を加えたときに視差量が0になる距離Zo0’(視差ゼロ距離)を表示するようにしている。
これにより、第2実施形態の撮像装置とは異なり、第1導出部440では、近方制限推奨距離Zoc1と遠方制限推奨距離Zoc2に加え、視差ゼロ距離Zo0’を導出する。第2導出部470の動作は第2実施形態の第2導出部270と同様だが、視差ゼロ距離Zo0’の情報が追加で入力され、そのまま表示制御部250へ出力される。表示部460では、図18に示すように、歪評価値DEとしての立体歪評価値の線形率Lin及び圧縮率Expaと、補正処理設定CSとしてのシフト設定値Shift及びズーム設定値Zoomと、近方制限推奨距離Zoc1、遠方制限推奨距離Zoc2、合焦距離Zo0、及び視差ゼロ距離Zo0’と、を表示する。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
Therefore, in the fourth embodiment, as shown in FIG. 18, in addition to the focusing distance Zo0, a distance Zo0 ′ (zero parallax distance) at which the parallax amount becomes 0 when correction processing is applied is displayed. Yes.
Thus, unlike the imaging device of the second embodiment, the
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
(第5実施形態)
図19は第5実施形態に係る撮像装置500の構成を示すブロック図である。
第5実施形態に係る撮像装置では、第1実施形態の第1条件設定部110と第1導出部140の代わりに被写体範囲設定部510を備え、この被写体範囲設定部510は被写体サイズ設定部511と被写体距離範囲導出部512を含む。
(Fifth embodiment)
FIG. 19 is a block diagram illustrating a configuration of an
The imaging apparatus according to the fifth embodiment includes a subject
撮像装置500における、第2条件設定部520、撮影条件取得部530、レンズ情報取得部531、基線長導出部532、表示制御部550、表示部560、撮像光学系580、レンズ581、撮像光学系580の絞り(不図示)、センサ583、及び駆動回路584は、第1実施形態の撮像装置100の第2条件設定部120、撮影条件取得部130、レンズ情報取得部131、基線長導出部132、表示制御部150、表示部160、撮像光学系180、レンズ181、絞り182、センサ183、及び駆動回路184にそれぞれ対応する。
In the
第5実施形態の撮像装置500は、例えば特定のオブジェクトを撮影したいようなときに向いている。観察者は、図示しないインターフェース部を介して、被写体のサイズを、焦点を合わせる位置より手前にObr1、奥にObr2という形で設定する。被写体距離範囲導出部512では、撮影条件取得部530より合焦距離Zo0の値を受け取り、これと被写体サイズ設定部511で設定されたサイズObr1、Obr2から、近方設定距離Zor1と遠方設定距離Zor2を導出する。ここで、
Zor1=Zo0+Obr1
Zor2=Zo0+Obr2
となる。
The
Zor1 = Zo0 + Obr1
Zor2 = Zo0 + Obr2
It becomes.
第2導出部570では、まず例外処理を行う。Zor2から計算される画面上視差量Δxdc2がIPDによって決まる値XDMX(例えばXDMX=IPD×0.95)より大きいときは、Δxdc2=XDMXとし、遠方設定距離Zor2の値をΔxdc2に応じた値に更新する。その後、距離Zor1、Zor2と、想定する表示画面の幅Wd、観察距離Dv、及び瞳孔間距離IPDと、撮影レンズの焦点距離f、合焦距離Zo0、及び基線長SBの値と、から、線形率Linと圧縮率Expaを導出し、表示制御部550へ、線形率Lin、圧縮率Expa、及び基線長SBを出力する。
なお、被写体範囲設定部510は、観察者が近方設定距離Zor1と遠方設定距離Zor2を直接設定するようにしてもよい。
なお、その他の構成、作用、効果については、第1実施形態と同様である。
The
Note that the subject
In addition, about another structure, an effect | action, and an effect, it is the same as that of 1st Embodiment.
(変形例)
上述の第1実施形態では瞳分割方式の撮像光学系180を想定し、基線長は焦点距離と絞り182の大きさから計算する場合を挙げた。第2〜第5実施形態の撮像光学系についても同様である。これに対して、撮像光学系のレンズに、図20に示すような、2つの開口部192a、192bをもつ第2の絞り192を挿入するタイプを用いることもできる。その場合、基線長SBは、基線長SBは第2の絞り192の2つの開口部192a、192bの間隔と焦点距離から導出する。
(Modification)
In the first embodiment described above, the pupil division imaging
また、瞳分割方式の光学系に限る必要は無く、一般的な2系統の光学系を用いることもできる。その場合の基線長は焦点距離や絞りの大きさには依存しないため、固定の値を用いる、又は、2系統の光学系を制御する機構から基線長情報を取得して用いる。 Further, the optical system is not limited to the pupil division type optical system, and two general optical systems can be used. In this case, since the base line length does not depend on the focal length or the size of the stop, a fixed value is used, or base line length information is acquired from a mechanism that controls two optical systems.
さらにまた、第1〜第5実施形態の撮像装置では、第1条件設定部110、210、310、410で設置する値については、一般的な快適視差範囲を例にとって説明したが、これに限られるものではない。例えば、一部の裸眼立体表示装置は、視差量が大きくなると急激に解像度が落ちる性質をもっているため、解像度が落ちない視差範囲を制限条件として設定しても良い。
Furthermore, in the imaging devices of the first to fifth embodiments, the values set by the first
さらに、推奨被写体範囲を表示する場合、第1導出部140、240、340、440、および第2導出部570で例外処理を行ったとき、すなわち遠方限界推奨距離Zoc2が開散限界の距離の場合は、その情報も表示制御部150、250、350、450、550へ送り、遠方制限推奨距離Zoc2の表示にマークをつけるなど通常とは違う表示にして開散限界であることを明示すると、これより遠方の被写体を入れてはいけないことを認識しやすくなるのでなお良い。
また、歪評価値として線形率と圧縮率の2つの値を表示しているが、これらを統合してひとつの歪評価値を算出して表示するようにすると、両方の値を見なくてもすむので特に不慣れな撮影者にとってはわかりやすくなって良い。
Furthermore, when the recommended subject range is displayed, when the
In addition, although two values of linear rate and compression rate are displayed as strain evaluation values, if these are integrated and one strain evaluation value is calculated and displayed, both values need not be viewed. It can be easy to understand for photographers who are not used to it.
以上のように、本発明に係る撮像装置は、撮影条件間の比較や許容範囲の設定に有用である。 As described above, the imaging apparatus according to the present invention is useful for comparison between imaging conditions and for setting an allowable range.
100 撮像装置
110 第1条件設定部(視差範囲制限条件設定部)
120 第2条件設定部(観察条件設定部)
130 撮影条件取得部
131 レンズ情報取得部
132 基線長取得部
140 第1導出部(推奨被写体範囲導出部)
150 表示制御部
160 表示部
161 画面
170 第2導出部(立体像歪評価値導出部)
180 撮像光学系
181 レンズ
182 絞り
183 センサ
183a センサ面
184 駆動回路
192 第2の絞り
192a、192b 開口部
200 撮像装置
210 第1条件設定部(視差範囲制限条件設定部)
220 第2条件設定部(観察条件設定部)
230 撮影条件取得部
240 第1導出部(推奨被写体範囲導出部)
250 表示制御部
260 表示部
261 画面
270 第2導出部
280 撮像光学系
290 補正処理設定部
300 撮像装置
310 第1条件設定部(視差範囲制限条件設定部)
320 第2条件設定部(観察条件設定部)
330 撮影条件取得部
340 第1導出部(推奨被写体範囲導出部)
350 表示制御部
360 表示部
361 画面
370 第2導出部
380 撮像光学系
400 撮像装置
410 第1条件設定部(視差範囲制限条件設定部)
420 第2条件設定部(観察条件設定部)
430 撮影条件取得部
440 第1導出部(推奨被写体範囲導出部)
450 表示制御部
460 表示部
461 画面
470 第2導出部
480 撮像光学系
490 補正処理設定部
500 撮像装置
510 被写体範囲設定部
511 被写体サイズ設定部
512 被写体距離範囲導出部
520 第2条件設定部(観察条件設定部)
530 撮影条件取得部
550 表示制御部
560 表示部
561 画面
570 第2導出部
580 撮像光学系
ALc 左側領域の中心
ARc 右側領域の中心
Ax 光軸
DE 歪評価値
Dv 観察距離
Expa 圧縮率
f 焦点距離
F 絞りの大きさ
FA フォーカスエリア
IPD 瞳孔間距離
IT_L、IT_R 被写体Tの画像
IT0_L、IT0_R 被写体T0の画像
LV ライブビュー画像
Lin 線形率
S0 被写体
S1、S2、S3 再現立体像
SB 基線長
T、T0 被写体
V 観察者
Wd 画面サイズ
Ws センササイズ
φvc1 近方視差制限値
φvc2 遠方視差制限値
φvc3 近方限界視差角
φvc4 遠方限界視差角
Zo0 合焦距離
Zoc1 近方制限推奨距離
Zoc2 遠方制限推奨距離
Zo0’ 視差ゼロ距離
100
120 Second condition setting unit (observation condition setting unit)
130 imaging
150
180
220 Second condition setting unit (observation condition setting unit)
230 Shooting
250
320 Second condition setting unit (observation condition setting unit)
330 shooting
350
420 Second condition setting unit (observation condition setting unit)
430 Imaging
450
530 Shooting condition acquisition unit
550
Claims (9)
前記複数の撮影条件の各々と所定の観察条件と被写体距離範囲とから、前記所定の観察条件下で前記視差画像から観察される立体像の歪について前記被写体距離範囲内の被写体全体を代表する歪評価値を導出する立体像歪評価値導出部と、
前記複数の撮影条件の各々に応じた前記歪評価値の情報を表示する表示部と、
を備えることを特徴とする撮像装置。 An imaging unit that acquires parallax images under a plurality of shooting conditions;
From each of the plurality of shooting conditions, a predetermined viewing condition, and a subject distance range, distortion representative of the entire subject within the subject distance range with respect to the distortion of the stereoscopic image observed from the parallax image under the predetermined viewing condition A stereoscopic image distortion evaluation value deriving unit for deriving an evaluation value;
A display unit that displays information on the distortion evaluation value corresponding to each of the plurality of imaging conditions;
An imaging apparatus comprising:
前記表示部は、前記推奨被写体範囲導出部が導出した前記遠方制限推奨距離及び前記近方制限推奨距離を表示することを特徴とする請求項1又は請求項2に記載の撮像装置。 From each of the plurality of shooting conditions, the predetermined viewing condition, and the parallax limit range, a recommended distance limit that is the farthest subject distance that is a parallax amount within the parallax limit range and a parallax amount within the parallax limit range A recommended subject range deriving unit for deriving a near limit recommended distance which is a recent subject distance
The imaging apparatus according to claim 1, wherein the display unit displays the recommended distance limit recommended distance and the recommended distance limit recommended by the recommended subject range deriving unit.
遠方制限推奨距離を、視差制限範囲内の視差量になる最遠の被写体距離、
近方制限推奨距離を、視差制限範囲内の視差量になる最近の被写体距離、
とそれぞれしたとき、
Xvc1は、前記近方制限推奨距離について、所定の被写体サイズに対する立体像のサイズ、
Xvc2は、前記遠方制限推奨距離について、所定の前記被写体サイズに対する立体像のサイズ、
Xv0は、合焦距離について、所定の前記被写体サイズに対する立体像のサイズ、
Xoは、前記被写体サイズ、
ΔZoは、被写体距離の差であり、所定の微小距離、
ΔZv0は、立体像の奥行き方向の大きさの差であり、合焦距離Zo0と、前記合焦距離Zo0と所定の前記微小距離ΔZoだけ離れた距離Zo1に対応する立体像の再現奥行きをそれぞれZv0とZv1としたとき、Zv1−Zv0で示される。 The imaging apparatus according to claim 2, wherein the linear rate is expressed by the following equation (11), and the compression rate is expressed by the following equation (15).
The distance limit recommended distance is set to the farthest subject distance that makes the amount of parallax within the parallax limit range,
The recommended distance to the near limit is the distance to the latest subject that has a parallax amount within the parallax limit range.
And each
Xvc1 is a size of a stereoscopic image with respect to a predetermined subject size with respect to the near limit recommended distance,
Xvc2 is a stereoscopic image size with respect to a predetermined subject size with respect to the distance limitation recommended distance,
Xv0 is the size of the stereoscopic image with respect to the predetermined subject size with respect to the in-focus distance,
Xo is the subject size,
ΔZo is a difference in subject distance, which is a predetermined minute distance,
ΔZv0 is a difference in size in the depth direction of the stereoscopic image, and the reproduction depth of the stereoscopic image corresponding to the in-focus distance Zo0 and the distance Zo1 separated from the in-focus distance Zo0 by the predetermined minute distance ΔZo is Zv0. And Zv1 are indicated by Zv1-Zv0.
前記推奨被写体範囲導出部は、前記複数の撮影条件の各々に応じた前記画像補正パラメータに応じて、前記遠方制限推奨距離と前記近方制限推奨距離と前記歪評価値を変更することを特徴とする請求項3に記載の撮像装置。 The stereoscopic image distortion evaluation value derivation unit further includes a correction processing setting unit that specifies correction processing for the parallax image according to each of the plurality of shooting conditions and sets an image correction parameter,
The recommended subject range derivation unit changes the recommended distance limit recommended distance, the recommended distance limit recommended distance, and the distortion evaluation value according to the image correction parameter corresponding to each of the plurality of shooting conditions. The imaging device according to claim 3 .
2. The distortion evaluation value is a value representative of the entire subject within the subject distance range, and is a value for comparison between the photographing conditions or setting of the photographing conditions. The imaging device described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164565A JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012164565A JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014027391A JP2014027391A (en) | 2014-02-06 |
JP2014027391A5 JP2014027391A5 (en) | 2015-10-08 |
JP6086666B2 true JP6086666B2 (en) | 2017-03-01 |
Family
ID=50200690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012164565A Expired - Fee Related JP6086666B2 (en) | 2012-07-25 | 2012-07-25 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6086666B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7517339B2 (en) | 2019-08-08 | 2024-07-17 | ソニーグループ株式会社 | Surgery image display system, image processing device, and image processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4436080B2 (en) * | 2003-06-30 | 2010-03-24 | 日本放送協会 | Stereoscopic image reproduction distortion output device, stereoscopic image reproduction distortion output method, and stereoscopic image reproduction distortion output program |
EP2608553A4 (en) * | 2010-08-19 | 2014-04-16 | Panasonic Corp | Stereoscopic image capturing device, and stereoscopic image capturing method |
-
2012
- 2012-07-25 JP JP2012164565A patent/JP6086666B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014027391A (en) | 2014-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5963422B2 (en) | Imaging apparatus, display apparatus, computer program, and stereoscopic image display system | |
JP5346266B2 (en) | Image processing apparatus, camera, and image processing method | |
JP5355208B2 (en) | Three-dimensional display device and digital zoom correction method | |
KR100770019B1 (en) | Apparatus and Method for correction of the image distortion of stereo-camera | |
KR101824439B1 (en) | Mobile Stereoscopic Camera Apparatus and Method of Shooting thereof | |
JP5368350B2 (en) | Stereo imaging device | |
JP2006208407A (en) | Microscopic system for observing stereoscopic picture | |
WO2012001970A1 (en) | Image processing device, method, and program | |
WO2013065543A1 (en) | Disparity adjustment device and method, photography device, and play display device | |
JP2012085030A (en) | Stereoscopic imaging device and stereoscopic imaging method | |
JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
JP5484577B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2017134399A (en) | Glasses-free 3d display device without requiring interpupillary distance adjustment | |
US9154771B2 (en) | Apparatus for capturing stereoscopic image | |
JP4988971B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP6170725B2 (en) | Image processing apparatus and program | |
JP6086666B2 (en) | Imaging device | |
JP6063662B2 (en) | Imaging apparatus and imaging method | |
JP5918982B2 (en) | IMAGING DEVICE, REPRODUCTION DEVICE, ITS CONTROL METHOD, IMAGING SYSTEM, AND PROGRAM | |
US20160065941A1 (en) | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program | |
JP2012015620A (en) | Solid imaging device | |
WO2012001958A1 (en) | Image processing device, method and program | |
JP2015094831A (en) | Stereoscopic imaging device, control method thereof, and control program | |
JP2012075079A (en) | Shading correction device, shading correction method, shading correction program, and photographing apparatus | |
JP5222718B2 (en) | Stereoscopic image reproduction apparatus, stereoscopic image reproduction program, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170131 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6086666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |