JP5311526B1 - ３ｄ立体視画像作成方法、３ｄ立体視画像作成システム及び３ｄ立体視画像作成プログラム - Google Patents

Abstract

【課題】 視聴者に合わせた立体像を得るための左右目画像を作成する方法を提供することを目的とする。
【解決手段】 画像作成方法は、入力された視聴距離に基づいて撮影距離を決定し、入力された視聴視差に基づいて撮影視差を決定し、Ｌ版換算値、焦点距離、所望のズーム倍率、及び決定された撮影距離に基づいて撮影サイズを決定し、決定された撮影サイズから決定された撮影視差を減算して重複部分に対応する画像のサイズを決定し、所望のズーム倍率、決定された撮影距離及び決定された撮影視差に基づいて被写体に対する２つの撮影装置の位置を調整し、２つの撮影装置それぞれで撮影して得られた被写体の画像を決定された画像のサイズに基づいて編集して左右目画像を作成する。
【選択図】 図１

Description

本発明の実施形態は、被写体の立体像を得るための左右目画像を作成する画像作成方法に関する。

近年、映画やＴＶ番組等のコンテンツとして３Ｄ映像（以下、「立体像」という場合がある）が普及してきている。

映画館のスクリーンやテレビ画面等の２次元ディスプレイ上に立体像を再現するためには、一般に両眼視差が利用される。両眼視差を利用した技術としては、二眼式立体表示と呼ばれるものがよく知られている。この二眼式立体表示の基本原理は、右目用の映像を右目だけに、左目用の映像を左目だけに入力することにある（以下、右目用の映像を「右目画像」といい、左目用の映像を「左目画像」といい、それらを合わせて「左右目画像」という場合がある）。

また、このような左右目画像を撮影するための装置としては、ステレオカメラがある。ステレオカメラは、水平方向に離間するとともに、その撮影光軸が平行となる左右１対の対物光学系を備え、左右それぞれの対物光学系からの画像（左目画像、右目画像）を個別に記録する。記録された左右目画像は、表示装置等の表示画面上に表示させることが可能である。そして、表示画面に表示された視差のある左右目画像を視聴者の左右の目に選択的に入力させることにより、視聴者は立体像を視聴することができる。或いは、表示画面に左目画像と右目画像とを並列して表示させ、平行法や交差法などの方法を用いて視認することにより、視聴者は立体像を視聴することができる。たとえば、特許文献１には、被写体までの距離に対応して、高精度な立体像を効率よく撮影できると共に、この立体像の再生時に必要な視差情報を自動的に記録することができるステレオカメラの構成が開示されている。

特開平６−０９５２７６号公報

ところで、近年の視聴スタイルの変化により、パーソナルコンピュータ（以下、「ＰＣ」という場合がある）やスマートフォンで個々の視聴者が立体像を視聴する場合もありうる。しかし、従来の立体像は、不特定（不特定多数）の視聴者が見ることを前提に作成されている。すなわち、一般には、左右目画像が表示される表示部（表示画面。映画館のスクリーンやＰＣのディスプレイ等）と視聴者との距離や表示画面のサイズは、視聴環境によって異なる。一方、従来の立体像は、そのような視聴環境を考慮して作成されていない。したがって、ある立体像を視聴した場合に、視聴者によっては立体感が感じられない場合や、疲れ易いといった問題が生じる可能性がある。

本発明は、前述の問題点を解決するためになされたものであり、視聴者に合わせた立体像（たとえば、立体感を感じることができ、且つ疲れにくい映像）を得るための左右目画像を作成する方法を提供することを目的とする。

上記課題を解決するために、請求項１記載の画像作成方法は、撮影サイズの一部が重複するように配置された２つの撮影装置で被写体を撮影して得られる２枚の画像を編集し、被写体の立体像を得るための左右目画像を作成する。この画像作成方法は、立体像を視聴する視聴者から左右目画像が表示される表示部までの距離に対応する視聴距離、視聴者の瞳孔間距離に対応する視聴視差、及び前記表示部のサイズに対応する視聴サイズを入力するステップを有する。また、この画像作成方法は、入力された視聴距離に基づいて、被写体と撮影装置との距離に対応する撮影距離を決定するステップを有する。また、この画像作成方法は、入力された視聴視差に基づいて、２つの撮影装置の光軸間距離に対応する撮影視差を決定するステップを有する。また、この画像作成方法は、撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、撮影装置の焦点距離、撮影装置における所望のズーム倍率、及び決定された撮影距離に基づいて、撮影サイズを決定するステップを有する。また、この画像作成方法は、決定された撮影サイズから決定された撮影視差を減算することにより、重複部分に対応する画像のサイズを決定するステップを有する。また、この画像作成方法は、所望のズーム倍率、決定された撮影距離及び決定された撮影視差に基づいて、被写体に対する２つの撮影装置の位置を調整し、被写体の撮影を行うステップを有する。また、この画像作成方法は、２つの撮影装置それぞれで撮影して得られた被写体の画像を、決定された画像のサイズに基づいて編集し、左右目画像を作成するステップを有する。

また、上記課題を解決するために、請求項２記載の画像作成方法は、請求項１記載の方法であって、撮影視差は、入力された視聴視差と同じ値に決定される。
また、上記課題を解決するために、請求項３記載の画像作成方法は、請求項１記載の方法であって、撮影視差は、入力された視聴視差、撮影装置における基準ズーム倍率及び所望のズーム倍率に基づいて決定される。
また、上記課題を解決するために、請求項４記載の画像作成方法は、請求項３記載の方法であって、撮影視差は、視聴視差÷（所望のズーム倍率÷基準ズーム倍率）の式により決定される。
また、上記課題を解決するために、請求項５記載の画像作成方法は、請求項３記載の方法であって、撮影視差は、視聴視差×（所望のズーム倍率÷基準ズーム倍率）の式により決定される。
また、上記課題を解決するために、請求項６記載の画像作成方法は、請求項１〜５のいずれか一つに記載の方法であって、所定サイズは、Ｌ版サイズである。
また、上記課題を解決するために、請求項７記載の画像作成方法は、請求項１〜６のいずれか一つに記載の方法であって、撮影距離、撮影サイズ及び撮影視差は、視聴距離及び視聴視差に対して正比例の範囲で調整可能である。
また、上記課題を解決するために、請求項８記載の画像作成方法は、請求項１〜７のいずれか一つに記載の方法であって、視聴距離及び視聴サイズは、視聴者の視聴視差と正比例の関係にある。
また、上記課題を解決するために、請求項９記載の画像作成システムは、撮影サイズの一部が重複するように配置され、被写体を撮影する２つの撮影装置と、被写体を撮影して得られる２枚の画像を編集し、被写体の立体像を得るための左右目画像を作成する処理装置とを含む。処理装置は、入力部と、演算部と、駆動部と、画像処理部とを含む。入力部は、立体像を視聴する視聴者から左右目画像が表示される表示部までの距離に対応する視聴距離、視聴者の瞳孔間距離に対応する視聴視差、及び表示部のサイズに対応する視聴サイズを入力する。演算部は、入力された視聴距離に基づいて、被写体と前記撮影装置との距離に対応する撮影距離を決定し、入力された視聴視差に基づいて、２つの撮影装置の光軸間距離に対応する撮影視差を決定し、撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、撮影装置の焦点距離、撮影装置における所望のズーム倍率、及び決定された撮影距離に基づいて、撮影サイズを決定し、決定された撮影サイズから決定された撮影視差を減算することにより、重複部分に対応する画像のサイズを決定する。駆動部は、所望のズーム倍率、決定された撮影距離及び決定された撮影視差に基づいて、被写体に対する２つの撮影装置の位置を調整する。画像処理部は、駆動部により位置が調整された後の２つの撮影装置それぞれで撮影して得られた被写体の画像を、決定された画像のサイズに基づいて編集し、左右目画像を作成する。
また、上記課題を解決するために、請求項１０記載の画像作成プログラムは、撮影サイズの一部が重複するように配置された２つの撮影装置で被写体を撮影して得られる２枚の画像を編集し、被写体の立体像を得るための左右目画像を作成するためのプログラムである。画像作成プログラムは、コンピュータに、入力部により入力された、立体像を視聴する視聴者から左右目画像が表示される表示部までの距離に対応する視聴距離に基づいて、被写体と撮影装置との距離に対応する撮影距離を決定する処理を実行させる。また、画像作成プログラムは、コンピュータに、入力部により入力された、視聴者の瞳孔間距離に対応する視聴視差に基づいて、２つの撮影装置の光軸間距離に対応する撮影視差を決定する処理を実行させる。また、画像作成プログラムは、コンピュータに、撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、撮影装置の焦点距離、撮影装置における所望のズーム倍率、及び決定された撮影距離に基づいて、撮影サイズを決定する処理を実行させる。また、画像作成プログラムは、コンピュータに、決定された撮影サイズから決定された撮影視差を減算することにより、重複部分に対応する画像のサイズを決定する処理を実行させる。また、画像作成プログラムは、コンピュータに、所望のズーム倍率、決定された撮影距離及び決定された撮影視差に基づいて、被写体に対する２つの撮影装置の位置を調整する処理を実行させる。また、２つの撮影装置の位置が調整された後に撮影して得られた被写体の画像を、決定された画像のサイズに基づいて編集し、左右目画像を作成する処理を実行させる。

本発明の画像作成方法によれば、視聴者の視聴条件（後述）に基づいて撮影装置の撮影条件（後述）を決定する。そして、撮影装置は、決定された撮影条件に基づいて撮影を行い、左右目画像を得る。従って、視聴者に合わせた立体像を得るための左右目画像を提供することが可能となる。

第１〜第３実施形態に共通の左右目画像作成システムの全体図である。 左右目画像作成システムの説明を補足する図面である。 左右目画像作成システムの動作を示すフローチャートである。 第１実施形態に係る撮影側、視聴側を示す図である。 第２実施形態に係る撮影側、視聴側を示す図である。 第３実施形態に係る撮影側、視聴側を示す図である。

＜視聴者側の制約条件、撮影装置側の制約条件に付いて＞
視聴者にとって立体感のある、且つ疲れにくい立体像を提供するためには、視聴者側の制約条件及び撮影装置側の制約条件を正しく認識したうえで、適切な対応が必要となる。

視聴者側の制約条件としては、視聴距離、視聴視差、視聴サイズがある。視聴距離は、立体像を視聴する視聴者から左右目画像が表示される表示画面（たとえば、後述の表示部３４）までの距離に対応する。視聴視差は、視聴者の瞳孔間距離に対応する。視聴サイズは、左右目画像が表示される表示画面（表示部）のサイズである。以下、視聴距離、視聴視差、視聴サイズの一部または全部を「視聴条件」という場合がある。

一般に、視聴距離が短い（視聴者から表示画面までの距離が近い）場合、立体像の立体感は薄くなり（２Ｄ像に近くなる）、視聴距離が長い（視聴者から表示画面までの距離が遠い）場合、立体像の立体感は厚くなる（立体感が強調される）。また、視聴視差が狭い場合、立体像の立体感は表示画面の奥行き方向で拡大（立体像が広がりを持つ）し、視聴視差が広い場合、立体像の立体感は表示画面の奥行き方向で縮小する（２Ｄ像に近くなる）。更に、立体感が拡大しすぎた結果、脳が立体視（融像）することのできる許容範囲を超過する場合もある。この場合、立体像は破綻する。また、視聴サイズが撮影サイズ（後述）に対して大きい場合や小さい場合、立体像の立体感は強調される。

撮影装置側の制約条件としては、撮影距離、撮影視差、撮影サイズがある。撮影距離は、被写体と撮影装置との距離に対応する。撮影視差は、２つの撮影装置の光軸間距離に対応する。撮影サイズは、撮影装置によって被写体を撮影できる実測範囲である。以下、撮影距離、撮影視差、撮影サイズの一部または全部を「撮影条件」という場合がある。

一般に、撮影距離が短い（撮影装置から被写体までの距離が近い）場合、立体像の立体感は強調され、撮影距離が長い（撮影装置から被写体までの距離が遠い）場合、立体像の立体感は薄くなる。また、撮影視差は狭い場合、立体像の立体感は表示画面の奥行き方向で縮小し、撮影視差が広い場合、立体像の立体感は表示画面の奥行き方向で拡大する。また、撮影サイズが視聴サイズに対して広い場合や狭い場合、立体像の立体感は強調される。

＜左右目画像作成システム＞
図１及び図２を参照して、実施形態に共通のシステムについて説明を行う。図１は、本実施形態に係る左右目画像作成システム１の概略を示すブロック図である。左右目画像作成システム１は、２つの撮影装置（カメラ２Ａ、カメラ２Ｂ）及び処理装置３を含んで構成されている。

カメラ２Ａ及びカメラ２Ｂは、被写体Ｏを撮影し、被写体Ｏの画像（画像データ）を得るための装置である。カメラ２Ａ及びカメラ２Ｂは、撮影サイズの一部が重複するように、所定の間隔で平行に配置される。カメラ２Ａ及びカメラ２Ｂは、同じ性能（焦点距離、ズーム範囲、撮影サイズ等）を有している。カメラ２Ａ及びカメラ２Ｂの撮影サイズ及びズーム倍率は変更可能となっている。なお、一方のカメラの撮影サイズ及びズーム倍率を変更した場合には他方も同じ条件に変更される。カメラ２Ａ及びカメラ２Ｂで撮影して得られた画像データ（左右目画像に対応する画像データ）は、処理装置３に送られる。

処理装置３は、入力された視聴条件に基づいて、カメラ２Ａ及びカメラ２Ｂによる撮影条件を決定する。また、処理装置３は、カメラ２Ａ及びカメラ２Ｂで撮影された画像データを処理して左右目画像を作成する。

処理装置３は、一般的なＰＣを用いることができる。処理装置３は、たとえば、入力部３１、演算部３２、画像処理部３３、表示部３４を含んで構成されている。演算部３２及び画像処理部３３は、図示しないＣＰＵと、ＲＡＭ、ＲＯＭなどの記憶装置とによって構成されている。記憶装置には、演算部３２における処理を実行する演算プログラム及び画像処理部３３における処理を実行する画像処理プログラムが記憶されている。ＣＰＵがプログラムを実行することにより、演算部３２または画像処理部３３としての機能を実現させる。

入力部３１は、処理装置３に対して各種入力を行うためのインターフェースである。入力部３１は、たとえばキーボードやマウス等により構成される。撮影者（撮影装置により被写体を撮影する者）は、入力部３１を介して視聴者の視聴距離、視聴視差及び視聴サイズを入力する。

演算部３２は、入力部３１を介して入力された視聴条件に基づいて、カメラ２Ａ及びカメラ２Ｂによって被写体Ｏを撮影するための撮影条件を決定する。

具体的に、演算部３２は、入力された視聴距離に基づいて、被写体Ｏとカメラ２Ａ及びカメラ２Ｂとの距離（撮影距離）を決定する。また、演算部３２は、入力された視聴視差に基づいて、カメラ２Ａ及びカメラ２Ｂの撮影視差を決定する。撮影距離及び撮影視差の決定の詳細に関しては、後述する第１実施形態〜第３実施形態において示す。

また、演算部３２は、換算値、カメラ２Ａ（カメラ２Ｂ）の焦点距離、所望のズーム倍率及び決定された撮影距離に基づいて、撮影サイズを決定する。なお、換算値とは、撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した値である。以下の説明では、所定サイズとしてＬ版サイズを用いて説明を行う。本明細書中において、この場合の換算値を「Ｌ版換算値」という。具体的に、撮影サイズは以下の式（１）により決定される。
撮影サイズ＝Ｌ版換算値÷（焦点距離×所望のズーム倍率）×撮影距離・・・（１）

更に、演算部３２は、決定された撮影サイズから決定された撮影視差を減算することにより、カメラの撮影サイズの重複部分に対応する画像のサイズ（以下、「編集サイズ」という場合がある）を決定する。具体的に、編集サイズは、以下の式（２）により決定される。
編集サイズ＝撮影サイズ−撮影視差・・・・（２）

演算部３２は、演算した結果をたとえば表示部３４に数値として表示する。撮影者はその数値を見ながら被写体Ｏに対するカメラ２Ａ及びカメラ２Ｂの位置を調整する。その後、撮影者は、カメラ２Ａ及びカメラ２Ｂを同期させて被写体Ｏの撮影を行う。

なお、左右目画像作成システム１において、撮影装置の位置調整を自動で行うように構成することも可能である。たとえば、処理装置３に撮影装置を駆動させる駆動部を設ける。処理装置３は、演算部３２の演算した結果に基づいて駆動部を駆動させることにより撮影装置の位置を調整する。撮影装置の駆動に関しては公知の手法を適宜用いることが可能である。

画像処理部３３は、処理装置３のバス（図示なし）を介して送られてきたカメラ２Ａ及びカメラ２Ｂの画像データを同期させ、画像処理を実行して左右目画像を作成する。

具体的には、画像処理部３３は、カメラ２Ａ及びカメラ２Ｂで撮影して得られた被写体Ｏの画像（同期させた画像）を決定された画像のサイズ（編集サイズ）に基づいて編集し、左右目画像を作成する。編集には、ＨＩＴ（Ｈｏｒｉｚｏｎｔａｌ Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ）の手法を用いることが可能である。図２は、カメラ２Ａ及びカメラ２Ｂにより得られた画像データ（画像）を模式的に示した図である。図２（Ａ）に示すように、画像処理部３３は、カメラ２Ａで得られた画像Ａとカメラ２Ｂで得られた画像Ｂの重複部分（すなわち、編集サイズ。図２（Ａ）の斜線部分）を切り出す。更に、画像処理部３３は、切り出された画像（画像Ａ´、画像Ｂ´。図２（Ｂ）参照）に対してトリミング（図２（Ｂ）の斜線部分）を行う。このようにして、画像処理部３３は、左右目画像（右目画像Ｒ、左目画像Ｌ。図２（Ｃ）参照）を作成する。

表示部３４は、任意の表示デバイスによって構成される。たとえば、表示部３４には、演算部３２による演算結果や、画像処理部３３で作成された左右目画像が表示される。視聴者は、この左右目画像を視認することによって立体像を視聴することができる。

なお、上記処理装置３の形態は一例である。たとえば、画像処理部３３及び表示部３４を処理装置３と別に設けること（すなわち、撮影条件を決定する演算処理と、左右目画像を作成する画像処理とを別々のＰＣで行うこと）も可能である。

次に、図３を参照して左右目画像作成システム１の動作を説明する。
まず、撮影者は、入力部３１を介して視聴距離、視聴視差及び視聴サイズを入力する（Ｓ１０）。

演算部３２は、Ｓ１０で入力された視聴距離に基づいて、被写体Ｏとカメラ２Ａ及びカメラ２Ｂとの距離（撮影距離）を決定する（Ｓ１１）。演算部３２は、Ｓ１０で入力された視聴視差に基づいて、カメラ２Ａ及びカメラ２Ｂの撮影視差を決定する（Ｓ１２）。なお、撮影視差の決定は、後述する第１実施形態から第３実施形態に示すように、求める立体像の状態や撮影環境によりいくつかの方法がある。演算部３２は、Ｌ版換算値、カメラ２Ａ（カメラ２Ｂ）の焦点距離、所望のズーム倍率、及びＳ１１で決定された撮影距離に基づいて、撮影サイズを決定する（Ｓ１３）。演算部３２は、Ｓ１３で決定された撮影サイズからＳ１２で決定された撮影視差を減算することにより、編集サイズを決定する（Ｓ１４）。

撮影者は、所望のズーム倍率、Ｓ１１で決定された撮影距離及びＳ１２で決定された撮影視差に基づいて、被写体Ｏに対するカメラ２Ａ及びカメラ２Ｂの位置を調整する。その後、撮影者は、カメラ２Ａ及びカメラ２Ｂを同期させて被写体Ｏの撮影を行う（Ｓ１５）。

画像処理部３３は、カメラ２Ａ及びカメラ２Ｂで撮影して得られた被写体Ｏの画像（画像Ａ及び画像Ｂ）を、Ｓ１４で決定された編集サイズに基づいて編集し、左右目画像（左目画像Ｌ、右目画像Ｒ）を作成する（Ｓ１６）。

処理装置３は、Ｓ１４で作成された左右目画像を表示部３４に表示させる（Ｓ１７）。この左右目画像を視聴者が視聴することにより、その視聴者に合った立体像を視聴することができる。なお、Ｓ１４で決定された編集サイズとＳ１０で入力された視聴サイズとの関係により、視聴者が視聴する立体像の状態は異なる（詳細は第１実施形態〜第３実施形態で述べる）。

＜第１実施形態＞
第１実施形態は、通常、人間の目で見ている三次元空間（実際の三次元空間）と同じ立体感を持った立体像を提供する例について説明を行う。なお、本明細書中では、実際の三次元空間に適合するモデルを「標準空間モデル」と呼ぶ。標準空間モデルにおいて、立体像は、左右目画像を表示する表示部３４（表示画面）までの距離に反比例して累進的に小さくなる。所謂、「遠近法」を図で明示したものである。

本実施形態では、Ｌ版換算値は３６ｃｍ、カメラの焦点距離は３５ｃｍであるとする。
また、入力される視聴条件は、視聴視差７．０ｃｍ、視聴距離７０ｃｍ、視聴サイズ３５ｃｍとなっている。ズーム倍率（所望のズーム倍率）は、１．７１倍に設定される。

図４は、本実施形態に係る撮影側（Ａ）と視聴側（Ｂ）を示す図である。図４において、上方向は奥行き方向を示し、下方向は手前方向を示す。図４（Ａ）はカメラ２Ａ及びカメラ２Ｂにより、被写体Ｏを撮影した場合の模式図である。図４（Ａ）に示す数値は、奥行き方向における距離を示す値である（たとえば、奥行き方向が２倍になると撮影距離は１４０ｃｍとなる）。図４（Ｂ）は図４（Ａ）の状態で撮影された左右目画像に基づく立体像を視聴者Ｘが視聴した場合の模式図である。図４における曲線Ｓは、標準空間モデルに適合した立体像の形状（すなわち、実際の三次元空間における被写体Ｏの立体形状）を示す。

本実施形態において、演算部３２は、入力された視聴距離と同じ７０ｃｍを撮影距離として決定する。また、演算部３２は、視聴視差と同じ値７．０ｃｍを撮影視差として決定する。また、演算部３２は、式（１）に基づいて、撮影サイズを４２ｃｍと決定する。更に、演算部３２は、式（２）に基づいて、編集サイズを３５ｃｍと決定する。すなわち、本実施形態では、視聴サイズと編集サイズが同じ値となっている。

撮影者は、これらの条件に基づいて、カメラ２Ａ及びカメラ２Ｂの撮影視差を７．０ｃｍに調整し、カメラ２Ａ及びカメラ２Ｂと被写体Ｏとの距離を７０ｃｍに設定する。なお、カメラ２Ａ及びカメラ２Ｂは平行に配置されている。

この状態で撮影された画像は、図４（Ａ）の下図のようになる。すなわち、カメラ２Ａで得られた画像Ａとカメラ２Ｂで得られた画像Ｂとが一部重複している（図４（Ａ）のハッチング部分は重複部分を示す）。画像処理部３３は、この重複部分を切り出し、各画像に対してトリミングを行うことで左右目画像を作成する。

処理装置３は、このようにして作成された左右目画像を表示部３４に表示させる。このようにして表示された左右目画像を視聴者Ｘが視聴した場合、曲線Ｓで示される立体像を得ることができる（図４（Ｂ）参照）。

また、図４（Ｂ）に示す数値は、表示画面上の立体像のサイズを１００％とした場合に、ある奥行き方向における立体像のサイズの割合を示す値である。この割合は、以下の式（３）により求めることができる。
奥行き方向における立体像のサイズ＝視聴距離÷撮影距離・・・（３）

たとえば、視聴距離の２倍の奥行き方向における立体像のサイズは、式（３）から５０％となる（図４（Ｂ）参照）。このように標準空間モデルに適合した立体像は、奥行き方向（手前方向）において累進的な階層構造となっている。

また、図４（Ｂ）の下図は、曲線Ｓ上の点ａ、点ｂ、点ｃ及び点ｄが左右目画像でどのように表示されるかを示した図である。この図から明らかなように、点ａｂを結ぶ線分及び点ｃｄを結ぶ線分は、それぞれ左目画像Ｌと右目画像Ｒとで長さが異なる。

このように、視聴距離及び撮影距離、視聴視差及び撮影視差、視聴サイズ及び編集サイズをそれぞれ同じ値に決定することにより、左右目画像作成システム１は、標準空間モデルに適合する左右目画像を作成することができる。従って、この左右目画像に基づく立体像は、視聴者Ｘが実際の三次元空間と同等の立体感を感じることができる。また、視聴条件を考慮せずに作成した左右目画像に基づく立体像と比べ、疲れにくい立体像を提供することができる。

＜第２実施形態＞
第２実施形態は、ズームを重視する例について説明を行う。たとえば、被写体Ｏが撮影装置の遠方にある場合には、ズーム倍率を高めて撮影を行う必要がある。本実施形態では、このような場合の左右目画像の作成方法について説明を行う。第１実施形態と同様の部分については、詳細な説明を省略する場合がある。

本実施形態においては第１実施形態と同様、Ｌ版換算値は３６ｃｍ、カメラの焦点距離は３５ｃｍであるとする。また、入力される視聴条件も同様に、視聴視差７．０ｃｍ、視聴距離７０ｃｍ、視聴サイズ３５ｃｍとなっている。一方、ズーム倍率（所望のズーム倍率）は、３．４２倍に設定される。

図５は、本実施形態に係る撮影側（Ａ）と視聴側（Ｂ）を示す図である。図５において上方向は奥行き方向を示し、下方向は手前方向を示す。図５（Ａ）は、カメラ２Ａ及びカメラ２Ｂにより、被写体Ｏを撮影した場合の模式図である。図５（Ｂ）は、図５（Ａ）の状態で撮影された左右目画像に基づく立体像を視聴者Ｘが視聴した場合の模式図である。図５における曲線Ｓ´は、本実施形態の方法により得られる被写体Ｏの立体形状を示す。

本実施形態において、演算部３２は、入力された視聴距離と同じ７０ｃｍを撮影距離として決定する。また、演算部３２は、入力された視聴視差、カメラ２Ａ（カメラ２Ｂ）における基準ズーム倍率及び所望のズーム倍率に基づく式（４）により得られた値３．５０ｃｍを撮影視差として決定する。
撮影視差＝視聴視差÷（所望のズーム倍率÷基準ズーム倍率）・・・（４）

なお、基準ズーム倍率とは、標準空間モデルに適合する立体像を得るために適した倍率であって、本実施形態では第１実施形態で設定した１．７１倍であるとする。基準ズーム倍率は、撮影装置の焦点距離やレンズ径により決定される値である。すなわち、撮影装置によって、基準ズーム倍率は異なる。

また、演算部３２は、式（１）に基づいて、撮影サイズを２１ｃｍと決定する。更に、演算部３２は、式（２）に基づいて、編集サイズを１７．５ｃｍと決定する。すなわち、本実施形態では、視聴サイズが編集サイズより大きくなっている。この場合には、立体像の奥行きは全体的に強調される。

撮影者は、これらの条件に基づいて、カメラ２Ａ及びカメラ２Ｂの撮影視差を３．５ｃｍに調整し、カメラ２Ａ及びカメラ２Ｂと被写体Ｏとの距離を７０ｃｍに設定する。このように視聴視差に対して撮影視差を狭くすることにより、強調された奥行きを予め相殺した状態で撮影を行うことが可能となる。

この状態で撮影された画像は、図５（Ａ）の下図のようになる。すなわち、カメラ２Ａで得られた画像Ａとカメラ２Ｂで得られた画像Ｂとが一部重複している（図５（Ａ）のハッチング部分は重複部分を示す）。画像処理部３３は、この重複部分を切り出し、各画像に対してトリミングを行うことで左右目画像を作成する。

処理装置３は、このようにして作成された左右目画像を視聴サイズに合わせて拡大し、表示部３４に表示させる（本実施形態では、処理装置３は、作成された左右目画像を２倍に拡大して表示させる）。このようにして表示された左右目画像を視聴者Ｘが視聴した場合、曲線Ｓ´で示される立体像を得ることができる（図５（Ｂ）参照）。この場合、たとえば、標準空間モデルにおける奥行き方向における立体像のサイズの割合が５０％の階層において、本実施形態の立体像は６６．７％の割合となり、３３。３％の階層において、本実施形態の立体像は５０％の割合となる。すなわち、奥行き方向において、立体像が広がりを持っている。

また、図５（Ｂ）の下図は、曲線Ｓ´上の点ａ´、点ｂ´、点ｃ´及び点ｄ´が左右目画像でどのように表示されるかを示した図である。この図から明らかなように、点ａ´ｂ´を結ぶ線分及び点ｃ´ｄ´を結ぶ線分は、それぞれ左目画像Ｌと右目画像Ｒとで長さが異なる。

このように、本実施形態に係る左右目画像作成システム１は、視聴距離及び撮影距離を同じ値に決定し、式（４）に基づいて撮影視差を決定し、式（１）及び式（２）に基づいて編集サイズを決定する。つまり、本実施形態に係る左右目画像作成システム１は、ズームを重視する場合であっても遠近法の差異を予め解消することができる。従って、得られた左右目画像に基づく立体像は、視聴者Ｘが実際の三次元空間と同等の立体感を感じることができる。また、視聴条件を考慮せずに作成した左右目画像に基づく立体像と比べ、疲れにくい立体像を提供することができる。

＜第３実施形態＞
たとえば、第１実施形態の場合、立体像の立体感は現実のものに近くになる。しかし、視聴者の目の焦点は左右目画像が表示される表示部３４（表示画面）にあるところ、実際の立体像は表示画面より手前方向或いは奥行き方向に表示される。よって、視聴者によっては、疲れやすい立体像になっている場合もある。そこで、第３実施形態は、立体感を重視しつつ、疲れにくい立体像を得るための左右目画像の作成方法について説明を行う。なお、第１実施形態及び第２実施形態と同様の部分については詳細な説明を省略する場合がある。

本実施形態においては第１実施形態及び第２実施形態と同様、Ｌ版換算値は３６ｃｍ、カメラの焦点距離は３５ｃｍであるとする。また、入力される視聴条件も同様に、視聴視差７．０ｃｍ、視聴距離７０ｃｍ、視聴サイズ３５ｃｍとなっている。一方、ズーム倍率（所望のズーム倍率）は、１倍に設定される。

図６は、本実施形態に係る撮影側（Ａ）と視聴側（Ｂ）を示す図である。図６において上方向は奥行き方向を示し、下方向は手前方向を示す。図６（Ａ）は、カメラ２Ａ及びカメラ２Ｂにより、被写体Ｏを撮影した場合の模式図である。図６（Ｂ）は、図６（Ａ）の状態で撮影された左右目画像に基づく立体像を視聴者Ｘが視聴した場合の模式図である。図６における曲線Ｓ´´は、本実施形態の方法により得られる被写体Ｏの立体形状を示す。

本実施形態において、演算部３２は、入力された視聴距離と同じ７０ｃｍを撮影距離として決定する。また、演算部３２は、入力された視聴視差、カメラ２Ａ（カメラ２Ｂ）における基準ズーム倍率及び所望のズーム倍率に基づく式（５）により得られた値４．０９ｃｍを撮影視差として決定する。なお、基準ズーム倍率は、第２実施形態と同様、１．７１倍であるとする。
撮影視差＝視聴距離×（所望のズーム倍率÷基準ズーム倍率）・・・（５）

また、演算部３２は、式（１）に基づいて、撮影サイズを７２ｃｍと決定する。更に、演算部３２は、式（２）に基づいて、編集サイズを６７．９１ｃｍと決定する。すなわち、本実施形態では、視聴サイズが編集サイズより小さくなっている。この場合には、立体像の奥行きは前方（手前方向）が強調される。

撮影者は、これらの条件に基づいて、カメラ２Ａ及びカメラ２Ｂの撮影視差を４．０９ｃｍに調整し、カメラ２Ａ及びカメラ２Ｂと被写体Ｏとの距離を７０ｃｍに設定する。このように視聴視差に対して撮影視差を狭くすることにより、強調された手前方向の奥行きを予め相殺した状態で撮影を行うことが可能となる。

この状態で撮影された画像は、図６（Ａ）の下図のようになる。すなわち、カメラ２Ａで得られた画像Ａとカメラ２Ｂで得られた画像Ｂとが一部重複している（図６（Ａ）のハッチング部分は重複部分を示す）。画像処理部３３は、この重複部分を切り出し、各画像に対してトリミングを行うことで左右目画像を作成する。

処理装置３は、このようにして作成された左右目画像を視聴サイズに合わせて縮小し、表示部３４に表示させる（本実施形態では、処理装置３は、作成された左右目画像を約１／２倍に縮小して表示させる）。このようにして表示された左右目画像を視聴者Ｘが視聴した場合、曲線Ｓ´´で示される立体像を得ることができる（図６（Ｂ）参照）。この場合、たとえば、標準空間モデルにおける奥行き方向における立体像のサイズの割合が約６５％の階層において、本実施形態の立体像は５０％の割合となり、約８０％の階層において、本実施形態の立体像は６６．７％の割合となる。すなわち、標準空間モデルに沿った立体像に比べ、本実施形態における立体像は手前側が強調され、奥行き方向では立体感が喪失している。しかし、実際に視聴する視聴者Ｘには、疲れにくく違和感のない立体像として認識される。

また、図６（Ｂ）の下図は、曲線Ｓ´´上の点ａ´´、点ｂ´´、点ｃ´´及び点ｄ´´が左右目画像でどのように表示されるかを示した図である。この図から明らかなように、点ａ´´ｂ´´を結ぶ線分及び点ｃ´´ｄ´´を結ぶ線分は、それぞれ左目画像Ｌと右目画像Ｒとで長さが異なる。

このように、本実施形態に係る左右目画像作成システム１は、視聴距離及び撮影距離を同じ値に決定し、式（５）に基づいて撮影視差を決定し、式（１）及び式（２）に基づいて編集サイズを決定する。つまり、本実施形態に係る左右目画像作成システム１は、編集サイズよりも視聴サイズを小さくすることにより、左右目画像のずれ幅を減少させる。更に、本実施形態に係る左右目画像作成システム１は、撮影視差を狭めることにより、強調された前方の奥行きを相殺することで、更に左右目画像のずれ幅を減少させる。このように、左右目画像のずれ幅を２段階で減少させることにより、得られる立体像は、視聴者Ｘが実際の三次元空間と同等の立体感を感じることができる。また、第１実施形態及び第２実施形態と比較した場合に、より疲れにくい画像を提供することができる。

＜その他＞
上記実施形態では、たとえば、撮影距離と視聴距離を同じ値に決定しているが、撮影条件の決定はこれに限られない。すなわち、撮影距離、撮影サイズ及び撮影視差は、視聴距離及び視聴視差に対して正比例の関係にある。たとえば、入力された視聴距離７０ｃｍに対し、演算部３２は、撮影距離を３５ｃｍや１４０ｃｍに決定することも可能である。この場合、演算部３２は、撮影サイズや撮影視差も正比例の関係となるように決定する。すなわち、演算部３２は、撮影条件を視聴条件に対して正比例の関係となる範囲で調整可能である。

また、視聴距離及び左右目画像が表示される表示部３４のサイズ（視聴サイズ）は、視聴者の視聴視差と正比例の関係にある。つまり、たとえば、視聴視差７．０ｃｍ、視聴サイズ３５ｃｍ、視聴距離７０ｃｍという視聴者Ｘに合った視聴条件に基づいて作成された左右目画像を視聴視差５．５ｃｍの視聴者Ｙが見る場合、視聴距離５５ｃｍ、視聴サイズ２７．５ｃｍの視聴条件で視聴することにより、視聴者Ｘと同様の立体像を視聴することができる。すなわち、上記実施形態においてある視聴条件に基づいて作成された左右目画像は、視聴者側で視聴条件を再調整することにより、汎用性のある画像（汎用性のある立体像）としても機能する。

また、入力された視聴サイズに基づいて、編集サイズを調整することも可能である。たとえば、第３実施形態のように、立体像の奥行きを前方（手前方向）で強調したい場合、編集サイズは、視聴サイズより大きくする必要がある。よって、撮影者は、編集サイズが視聴サイズよりも大きくなるように、たとえば、式（２）における撮影サイズや撮影視差を設定する。演算部３２は、設定された値に基づいて演算処理を実行し、編集サイズを決定する。この場合、所望の立体像を得ることが可能となる。

１ 左右目画像作成システム
２Ａ、２Ｂ カメラ
３ 処理装置
３１ 入力部
３２ 演算部
３３ 画像処理部
３４ 表示部

Claims (10)

1. 撮影サイズの一部が重複するように配置された２つの撮影装置で被写体を撮影して得られる２枚の画像を編集し、被写体の立体像を得るための左右目画像を作成する画像作成方法であって、
   前記立体像を視聴する視聴者から前記左右目画像が表示される表示部までの距離に対応する視聴距離、前記視聴者の瞳孔間距離に対応する視聴視差、及び前記表示部のサイズに対応する視聴サイズを入力するステップと、
   入力された前記視聴距離に基づいて、前記被写体と前記撮影装置との距離に対応する撮影距離を決定するステップと、
   入力された前記視聴視差に基づいて、前記２つの撮影装置の光軸間距離に対応する撮影視差を決定するステップと、
   前記撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、前記撮影装置の焦点距離、前記撮影装置における所望のズーム倍率、及び決定された前記撮影距離に基づいて、前記撮影サイズを決定するステップと、
   決定された前記撮影サイズから決定された前記撮影視差を減算することにより、前記重複部分に対応する画像のサイズを決定するステップと、
   前記所望のズーム倍率、決定された前記撮影距離及び決定された前記撮影視差に基づいて、前記被写体に対する前記２つの撮影装置の位置を調整し、前記被写体の撮影を行うステップと、
   前記２つの撮影装置それぞれで撮影して得られた前記被写体の画像を、決定された前記画像のサイズに基づいて編集し、前記左右目画像を作成するステップと、
   を有することを特徴とする画像作成方法。
2. 前記撮影視差は、入力された前記視聴視差と同じ値に決定されることを特徴とする請求項１記載の画像作成方法。
3. 前記撮影視差は、入力された前記視聴視差、前記撮影装置における基準ズーム倍率及び前記所望のズーム倍率に基づいて決定されることを特徴とする請求項１記載の画像作成方法。
4. 前記撮影視差は、以下の式により決定されることを特徴とする請求項３記載の画像作成方法。
   視聴視差÷（所望のズーム倍率÷基準ズーム倍率）
5. 前記撮影視差は、以下の式により決定されることを特徴とする請求項３記載の画像作成方法。
   視聴視差×（所望のズーム倍率÷基準ズーム倍率）
6. 前記所定サイズは、Ｌ版サイズであることを特徴とする請求項１〜５のいずれか一つに記載の画像作成方法。
7. 前記撮影距離、前記撮影サイズ及び前記撮影視差は、前記視聴距離及び前記視聴視差に対して正比例の範囲で調整可能であることを特徴とする請求項１〜６のいずれか一つに記載の画像作成方法。
8. 前記視聴距離及び前記視聴サイズは、前記視聴者の視聴視差と正比例の関係にあることを特徴とする請求項１〜７のいずれか一つに記載の画像作成方法。
9. 撮影サイズの一部が重複するように配置され、被写体を撮影する２つの撮影装置と、前記被写体を撮影して得られる２枚の画像を編集し、前記被写体の立体像を得るための左右目画像を作成する処理装置とを含む画像作成システムであって、
   前記処理装置は、
   前記立体像を視聴する視聴者から前記左右目画像が表示される表示部までの距離に対応する視聴距離、前記視聴者の瞳孔間距離に対応する視聴視差、及び前記表示部のサイズに対応する視聴サイズを入力する入力部と、
   入力された前記視聴距離に基づいて、前記被写体と前記撮影装置との距離に対応する撮影距離を決定し、入力された前記視聴視差に基づいて、前記２つの撮影装置の光軸間距離に対応する撮影視差を決定し、前記撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、前記撮影装置の焦点距離、前記撮影装置における所望のズーム倍率、及び決定された前記撮影距離に基づいて、前記撮影サイズを決定し、決定された前記撮影サイズから決定された前記撮影視差を減算することにより、前記重複部分に対応する画像のサイズを決定する演算部と、
   前記所望のズーム倍率、決定された前記撮影距離及び決定された前記撮影視差に基づいて、前記被写体に対する前記２つの撮影装置の位置を調整する駆動部と、
   前記駆動部により位置が調整された後の前記２つの撮影装置それぞれで撮影して得られた前記被写体の画像を、決定された前記画像のサイズに基づいて編集し、前記左右目画像を作成する画像処理部と、
   を有することを特徴とする画像作成システム。
10. 撮影サイズの一部が重複するように配置された２つの撮影装置で被写体を撮影して得られる２枚の画像を編集し、被写体の立体像を得るための左右目画像を作成する画像作成プログラムであって、
    コンピュータに、
    前記立体像を視聴する視聴者から前記左右目画像が表示される表示部までの距離に対応する視聴距離、前記視聴者の瞳孔間距離に対応する視聴視差、及び前記表示部のサイズに対応する視聴サイズを入力するステップと、
    入力部により入力された、前記立体像を視聴する視聴者から前記左右目画像が表示される表示部までの距離に対応する視聴距離に基づいて、前記被写体と前記撮影装置との距離に対応する撮影距離を決定する処理を実行させ、
    入力部により入力された、前記視聴者の瞳孔間距離に対応する視聴視差に基づいて、前記２つの撮影装置の光軸間距離に対応する撮影視差を決定する処理を実行させ、
    前記撮影装置のズーム倍率が１倍の場合における撮影サイズを所定サイズに換算した換算値、前記撮影装置の焦点距離、前記撮影装置における所望のズーム倍率、及び決定された前記撮影距離に基づいて、前記撮影サイズを決定する処理を実行させ、
    決定された前記撮影サイズから決定された前記撮影視差を減算することにより、前記重複部分に対応する画像のサイズを決定する処理を実行させ、
    前記所望のズーム倍率、決定された前記撮影距離及び決定された前記撮影視差に基づいて、前記被写体に対する前記２つの撮影装置の位置を調整する処理を実行させ、
    前記２つの撮影装置の位置が調整された後に撮影して得られた前記被写体の画像を、決定された前記画像のサイズに基づいて編集し、前記左右目画像を作成する処理を実行させることを特徴とする画像作成プログラム。

Images