JPH06339155A

JPH06339155A - ３次元画像撮影システム

Info

Publication number: JPH06339155A
Application number: JP12699093A
Authority: JP
Inventors: Masayuki Katagiri; 眞行片桐; Toshio Nomura; 敏男野村; Nobutoshi Gako; 宣捷賀好
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-05-28
Filing date: 1993-05-28
Publication date: 1994-12-06

Abstract

(57)【要約】【目的】操作性に優れており正確な奥行き情報を再現
して常時再生立体像を確認しながら３次元画像が撮影で
きる３次元画像撮影システムを提供することにある。【構成】撮影した被写体に対応する画像信号を出力す
るビデオカメラ（１，２）と、ビデオカメラ（１，２）
に接続されておりビデオカメラ（１，２）の輻輳角を可
変する回転台（１８，１９）と、ビデオカメラ（１，
２）に接続されておりビデオカメラ（１，２）から出力
された画像信号を特定の方法により変換してビデオカメ
ラ（１，２）の輻輳角に応じて画像信号のフレームを水
平方向に移動する画像信号処理部（２１）と、画像信号
処理部（２１）に接続されており画像信号処理処理部
（２１）で処理された画像信号に基づいて立体像を再生
する立体ディスプレイ（６）と、画像信号処理部（２
１）に接続されておりフレームの移動量を制御する制御
器（２０）とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元画像再生・記録
のために対象物の異なる方向からの複数の視差像を撮影
する３次元画像撮影装置に関する。

【０００２】

【従来の技術】従来の３次元画像撮影装置としては、
（１）ディスプレイ上に左目用、右目用の画像を合成表
示しレンチキュラレンズを通して立体像を再生するレン
チキュラ方式、（２）ディスプレイ上に左目用、右目用
の画像を交互にあるいは同時に表示して観察者が偏光メ
ガネをかけて立体像を観察する偏光メガネ方式、（３）
シャッターメガネ方式、（４）観察者の目の前にレンズ
及び小形のディスプレイを置き、それぞれに左目用、右
目用の画像を表示するヘッド・マウンティッド・ディス
プレイ（ＨＭＤ）方式の３次元ディスプレイに対応し
た、複数のビデオカメラを用い、異なる方向の複数の視
差像を撮影する３次元画像撮影装置がある。

【０００３】次に、図８を参照して、従来の３次元画像
撮影装置の動作を説明する。

【０００４】従来の３次元画像撮影装置は、通常、複数
台のビデオカメラを組み合わせて構成される。図８では
２台のカメラを用いた例である。ビデオカメラ１０２
は、撮像素子１００とレンズ１０１で構成される。ビデ
オカメラ１０５は、撮像素子１０３とレンズ１０４で構
成される。レンズ１０１と１０４の光軸１０６及び１０
７を含む平面をｘｚ平面にとり、原点をレンズ１０１の
中心にとる。

【０００５】レンズ１０４の中心はｘ軸上にとり、その
座標を（ｘ，ｚ）＝（ａ，０）とする。

【０００６】通常、それぞれのビデオカメラの光軸１０
６と１０７は若干内側を向くように設定される。そのと
きの交点ＰはＺ軸方向に適当な距離を置いて、設定され
る。また、この交点は固定されることが多い。図８では
仮に交点Ｐを（ｘ，ｚ）＝（ａ／２，ｚ₀）にとる。こ
のとき、ビデオカメラ１０２及び１０５のフォーカスは
点Ｐに合わせる。

【０００７】今、円盤状の対象物体Ａ、Ｂ、ＣがＺ軸方
向に距離の異なるところに置かれる。仮に、対象物体
Ａ、Ｂ、Ｃの中心の（ｘ，ｚ）座標を（ａ／２，
ｚ₀）、（ａ／２，ｚ₁）、（ａ／２，ｚ₂）とし、レン
ズ１０１と１０４のそれぞれの中心の中点を通り、ｚ軸
に平行な直線上に並んでいるとする（ｚ₁＞ｚ₂）。

【０００８】図９（ａ）に撮像素子１００によって撮像
される画像を示す。図９（ｂ）に撮像素子１０３によっ
て撮像される画像を示す。図９（ａ）及び（ｂ）の撮像
画像の中心Ｏ及びＯ′とし、図８の点Ｐの撮像点に対応
する。ビデオカメラを１０２及び１０５で撮像された対
象物体Ａの撮像画像には両眼視差がない。即ち、ビデオ
カメラ１０２及び１０５の光軸の交点Ｐを含み、かつ２
つの光軸を含む平面に垂直な平面にある物体には両眼に
よる視差は生じない。この平面より前後に位置する物体
はビデオカメラ１０２、１０５で両眼視差をもって撮像
される。この平面より離れるほど両眼視差量は大きくな
る。

【０００９】図９では、｜ｚ₀−ｚ₁｜＜｜ｚ₀−ｚ₂｜の
条件により、対象物体Ｂ、Ｃに対応する撮像画像の視差
量（撮像面の中心ＯあるいはＯ′からのずれ量）は｜ｂ
｜＜｜ｃ｜、及び｜ｂ′｜＜｜ｃ′｜となる。また、ｂ
とｂ′、あるいはｃとｃ′の符号は逆になる。

【００１０】次に、従来の表示の一例を直視型レンチキ
ュラ方式で説明する。

【００１１】２台のビデオカメラで撮像された画像（図
９（ａ）、（ｂ））を細く短冊状に切り刻んで、交互に
織り込んで、図１０のような画像を作成する。このと
き、各撮像画像の中心Ｏ、Ｏ′をほぼ同一点に重ねて作
成する。また、各撮像画像の水平解像度は半分になる。

【００１２】この画像を液晶パネルなどのディスプレイ
に表示する。このディスプレイの前面にはレンチキュラ
レンズが置かれている。２つの画像から作られる１組の
２本の短冊に対して、レンチキャラレンズを構成する１
本のシリンドリカルレンズが対応する。

【００１３】上記設定の３次元ディスプレイでは点Ｐを
含み、ｘｚ平面に垂直な面を基準として、相対的位置に
基づく空間が再現される。点Ｐを含み、ｘｚ平面に垂直
な面はディスプレイ面に再現される。即ち、ディスプレ
イ面上に対象物体Ａがディスプレイ面より（ｚ₀−ｚ₁）
の距離手前に対象物体Ｂが、同面より（ｚ₀−ｚ₂）の距
離手前に対象物体Ｃがそれぞれ再現される。

【００１４】図１０の画像が表示されたディスプレイ
は、ある空間に置かれて、観察者はある距離はなれてそ
のディスプレイを見る。ビデオカメラとカメラの光軸の
交点までの距離と、ディスプレイと観察者までの距離は
必ずしも一致しない。

【００１５】

【発明が解決しようとする課題】しかしながら、上述し
た従来の３次元画像撮影装置では、撮影者の意図通り
に、３次元画像を撮影することができない。また、従来
の３次元画像撮影装置では、予め設定された特定の限ら
れた空間しか撮影できない。更に、３次元画像撮影装置
の設定条件を変えて、少し自由度が大きくなるようにし
ても、ディスプレイ側にその情報を与えて、表示画像を
制御しなければ、正確な３次元画像は再現されない。

【００１６】従来の３次元画像撮影装置を構成する複数
のビデオカメラの光軸は、予めある交点で交わるように
設定され固定されている。従来の３次元画像撮影装置で
捕らえられる空間は、この交点を中心とする空間に制限
される。即ち、ビデオカメラの光軸を変えない限り、撮
影可能な空間は限定される。水平方向に対しては従来の
３次元画像撮影装置全体を回転させることによって、そ
の空間を移動させることができるが、奥行き方向に対し
ては、容易に移動させることはできない。

【００１７】また、従来の立体表示装置では、従来の３
次元画像撮影装置で撮られた画像フレームを重ねて表示
していので、光軸の交点を含み、各光軸に垂直な平面
は、立体ディスプレイの表示面に再現されるが、観察者
がディスプレイを見る距離は変わらない。従って、特別
にビデオカメラの光軸の内輳角を可変できるようにし、
光軸の交点を変えると、再現される立体像は前後に動く
ように映る。即ち、カメラの視点（光軸の交点）を動か
しただけで、対象物体が近づいたり、遠ざかったりする
ように感じて非常に違和感がある。

【００１８】従来の３次元画像撮影装置は、複数台のビ
デオカメラを備えているが、それぞれのカメラのフォー
カスや輻輳角やズームアップ・ズームバックを調節する
ことは容易ではない。

【００１９】従来の３次元画像撮影装置は、１台あるい
は２台のファインダーを備えて、撮影画像を確認する。
１台の場合は立体像ではなく、平面像で確認する。何が
映っているかを見ることはできるが、どのような立体像
が撮像されているかは認識できない。２台の場合は立体
像を見ることができるが、その場合はヘッド・マウンテ
ィッド・ディスプレイ方式の立体像である。立体像の再
生方式の違いによって、再生された立体像の見え方が異
なる。レンチキュラ方式の表示のための、撮像装置とす
れば、ファインダーによる確認は最適でない。また、フ
ァインダーに接眼しなければならず、３次元画像撮影シ
ステム装置を持って構える姿勢には制限がある。

【００２０】２次元画像の撮影装置は、かなりの自由度
をもって取り扱うことができ、ほぼ撮影者の意図通りの
像を撮影することができる。それに比べ、従来の３次元
画像撮影装置の取り扱いの自由度は極めて乏しく、意図
通りの撮影とはほど遠い。また、操作性も非常に悪い。

【００２１】本発明の目的は、上述した従来の３次元撮
影装置における問題点に鑑み、操作性に優れており正確
な奥行き情報を再現して常時再生立体像を確認しながら
３次元画像が撮影できる３次元画像撮影システムを提供
することにある。

【００２２】

【課題を解決するための手段】本発明の目的は、撮影し
た被写体に対応する画像信号を出力する撮影手段と、撮
影手段に接続されており撮影手段の輻輳角を可変する可
変手段と、撮影手段に接続されており撮影手段から出力
された画像信号を特定の方法により変換して撮影手段の
輻輳角に応じて画像信号のフレームを所定の方向に移動
する処理手段と、処理手段に接続されており処理手段で
処理された画像信号に基づいて立体像を再生する表示手
段と、処理手段に接続されておりフレームの移動量を制
御する制御手段とを備えている３次元画像撮影システム
によって達成される。

【００２３】また、本発明の目的は、撮影した被写体に
対応する画像信号を出力する撮影手段と、撮影手段に接
続されており撮影手段の輻輳角を可変する可変手段と、
撮影手段に接続されており撮影手段より出力される画像
信号に基づいて立体像を再生する表示手段と、撮影者が
表示手段上の撮影者の注視点の位置を検出する視点検出
手段と、視点検出手段に接続されておりその検出された
位置に基づく表示手段上のフォーカス状態を検知しその
状態信号を出力するフォーカス検出手段と、フォーカス
検出手段に接続されており状態信号に基づいて該撮影手
段のフォーカス状態を調整するフォーカス調整手段と、
視点検出手段に接続されておりその検出された位置に基
づく撮影手段の輻輳角を調整する輻輳角制御手段とを備
えた３次元画像撮影システムによっても達成される。

【００２４】更に、本発明の目的は、撮影した被写体に
対応する画像信号を出力する撮影手段と、撮影手段より
出力される画像信号に基づいて立体像を再生する表示手
段と、表示手段と撮影者までの距離を検出し距離信号を
出力する撮影者位置検出手段と、撮影者位置検出手段に
接続されており撮影者位置検出手段より出力される距離
信号に基づいて撮影手段の輻輳角を調整可変する輻輳角
調整可変手段と、撮影者位置検出手段に接続されており
撮影者位置検出手段より出力される距離信号に基づいて
撮影手段の間隔を調整可変する間隔調整可変手段と、撮
影者位置検出手段に接続されており撮影者位置検出手段
より出力される距離信号に基づいて撮影手段の像拡大率
を調整する拡大率調整手段とを備えた３次元画像撮影シ
ステムによっても達成される。

【００２５】

【作用】本発明の３次元画像撮影システムでは、撮影手
段は撮影した被写体に対応する画像信号を出力し、可変
手段は撮影手段に接続されており撮影手段の輻輳角を可
変し、処理手段は撮影手段に接続されており撮影手段か
ら出力された画像信号を特定の方法により変換して撮影
手段の輻輳角に応じて画像信号のフレームを所定の方向
に移動し、制御手段は処理手段に接続されており処理手
段で処理された画像信号に基づいて立体像を再生する表
示手段と、処理手段に接続されておりフレームの移動量
を制御する。

【００２６】また、本発明の３次元画像撮影システムで
は、撮影手段は撮影した被写体に対応する画像信号を出
力し、可変手段は撮影手段に接続されており撮影手段の
輻輳角を可変し、表示手段は撮影手段に接続されており
撮影手段より出力される画像信号に基づいて立体像を再
生し、視点検出手段は撮影者が表示手段上の撮影者の注
視点の位置を検出し、フォーカス検出手段は視点検出手
段に接続されておりその検出された位置に基づく表示手
段上のフォーカス状態を検知しその状態信号を出力し、
フォーカス調整手段はフォーカス検出手段に接続されて
おり状態信号に基づいて該撮影手段のフォーカス状態を
調整し、輻輳角制御手段は視点検出手段に接続されてお
りその検出された位置に基づく撮影手段の輻輳角を調整
する。

【００２７】更に、本発明の３次元画像撮影システムで
は、撮影手段は撮影した被写体に対応する画像信号を出
力し、表示手段は撮影手段より出力される画像信号に基
づいて立体像を再生し、撮影者位置検出手段は表示手段
と撮影者までの距離を検出し距離信号を出力し、輻輳角
調整可変手段は撮影者位置検出手段に接続されており撮
影者位置検出手段より出力される距離信号に基づいて撮
影手段の輻輳角を調整可変し、間隔調整可変手段は撮影
者位置検出手段に接続されており撮影者位置検出手段よ
り出力される距離信号に基づいて撮影手段の間隔を調整
可変し、拡大率調整手段は撮影者位置検出手段に接続さ
れており撮影者位置検出手段より出力される距離信号に
基づいて撮影手段の像拡大率を調整する。

【００２８】

【実施例】以下、図面を参照して、本発明の３次元撮影
システムスの実施例を詳細に説明する。

【００２９】図１は、本発明の３次元撮影システムの一
実施例の構成を示すブロック図である。

【００３０】図１の３次元撮影システムは、視差像撮影
のための撮影手段であるビデオカメラ１，２、ビデオカ
メラ１及びビデオカメラ２で撮像された立体像を表示す
る表示手段である立体ディスプレイ６、撮影者の視線検
知のための視線検知用カメラ７、ビデオカメラ１，２の
レンズの光軸の方向を制御する可変手段である回転台１
８，１９、回転台１８，１９を介してビデオカメラ１，
２を固定するカメラ移動台８、カメラ１，２、回転台１
８，１９、カメラ移動台８、後述する処理手段である画
像信号処理部２１、フォーカス検出部２２、ビデオテー
プレコーダ２６を制御する制御手段である制御器２０、
カメラ１，２で撮像された画像信号を立体ディスプレイ
６の表示に適するような信号に変換する画像信号処理部
２１、カメラ１，２からの画像信号及び後述する視点検
出部２４で得られた視点の位置情報を入力し視点の位置
に対応する対象点付近の画像信号のフォーカシング状態
を検出してその情報を制御器２０に送るフォーカス検出
部２２、カメラ１，２から画像信号及び後述する視点検
出部２４で得られた視点の位置情報を入力して視点の位
置に対応する画像信号上の対象物体を把握し撮像画像上
のどの領域に位置するかを検知してその位置情報を制御
器２０に送る対象点検出部２３、視線検知用カメラ７か
ら得られる画像信号に基づき撮影者の視点を割り出して
その情報を制御器２０に送る視点検出部２４、視線検知
用カメラ７で捕らえた画像から撮影者の顔の輪郭を抽出
し撮影者、視線検知用カメラ７間の距離を判断してその
情報を制御器２０に送る撮影者位置検出部２５、カメラ
１，２で得られた画像信号及び輻輳角の信号を記録する
と共に立体ディスプレイ６の立体像を再生してその再生
信号を画像信号処理部２１に送り輻輳角の情報を制御器
２０に送るビデオテープレコーダ２６を備えている。

【００３１】上記ビデオカメラ１，２は、それぞれ、レ
ンズ１４，１５、光学像を光電変換する撮像素子１６，
１７、レンズ１４，１５のフォーカシングを制御するフ
ォーカシング制御器１０，１１、撮像素子に結像される
光学像の大きさを制御するズーム制御器１２，１３を内
蔵する。

【００３２】ビデオカメラ１，２は、レンズの光軸の方
向を制御する回転台１８，１９を介してカメラ移動台８
に固定されており、ビデオカメラ１とビデオカメラ２の
間隔が可変できるように構成されている。

【００３３】図２は、図１の３次元画像撮影システムの
外観を示す概略説明図である。

【００３４】次に、図１及び図２を参照して上記各構成
部分の動作を説明する。

【００３５】図１の３次元画像撮影システムは、視差像
撮影のための複数台（この実施例で果て２台）のビデオ
カメラ１，２を備えており、異なる方向の視差像を捕ら
えるように構成されている。

【００３６】ビデオカメラ１，２で捕らえられた視差像
は、図１の３次元画像撮影システムに内蔵された立体デ
ィスプレイ６にリアルタイムで表示される。また、外部
にその画像信号とビデオカメラ１，２の輻輳角の信号を
出力する。

【００３７】ビデオカメラ１，２で撮像された立体像を
表示する立体ディスプレイ６は、液晶パネル５とレンチ
キュラレンズ４を組み合わせて構成されている。撮影者
はこの立体ディスプレイ６を見て、現在の撮影されてい
る画像を確認しながら、所望の撮影画像が得られるよう
にビデオカメラ１，２を制御する。

【００３８】立体ディスプレイ６は、レンチキュラ方式
に限定されず、偏光メガネ方式、シャッターメガネ方式
であってもよい。また、液晶パネル５は、他のフラット
パネルディスプレイ、エレクトロ・ルミネッセンス（Ｅ
Ｌ）、プラズマディスプレイ、発光ダイオードアレイで
置き換えることもできる。

【００３９】撮影者の視線検知のための視線検知用カメ
ラ７は、撮影者が立体ディスプレイ６に再生されている
立体像のどこを見ているかを検出すると共に、撮影者と
立体ディスプレイ６の間の距離を概略、検知するときに
も用いる。

【００４０】以下、図１の構成部分を詳細に説明する。

【００４１】ビデオカメラ１は、光学像を撮像素子１６
に結像させるレンズ１４、結像された光学像を光電変換
する撮像素子１６、制御器２０から送られてきた信号に
基づいてレンズ１４のフォーカシングを変化させるフォ
ーカシング制御器１０、制御器２０から送られてきた信
号に基づいて撮像素子に結像される光学像の大きさを変
化させるズーム制御器１２から構成されている。

【００４２】ビデオカメラ２は、光学像を撮像素子１７
に結像させるレンズ１５、結像された光学像を光電変換
する撮像素子１７、制御器２０から送られてきた信号に
基づいてレンズ１５のフォーカシングを変化させるフォ
ーカシング制御器１１、制御器２０から送られてきた信
号に基づいて撮像素子に結像される光学像の大きさを変
化させるズーム制御器１３から構成されている。

【００４３】撮像素子１６，１７で撮像された画像信号
は、画像信号処理部２１に送られ、レンチキュラ方式の
立体ディスプレイ６の表示に適するような信号に変換さ
れる。立体ディスプレイ６は、ビデオカメラ１及び２
で撮像された視差像に基づく立体像を表示する。

【００４４】視線検知用カメラ７は、立体ディスプレイ
６の立体観察領域にある撮影者の顔の部分を捕えて、得
られた画像信号を視点検出部２４に送る。

【００４５】視点検出部２４は、撮影者の顔の特徴から
顔の向き及び視線方向を求めて、撮影者が立体ディスプ
レイ６のどこを見ているか（視点）を割り出し、その情
報を制御器２０に送る。

【００４６】フォーカス検出部２２は、撮像素子１６，
１７から出力された画像信号を入力すると共に、制御器
２０から視点検出部２４で得られた視点の位置情報を入
力する。フォーカス検出部２２は、視点の位置に対応す
る対象点付近の画像信号のフォーカシング状態を検出
し、その情報を制御器２０に送る。制御器２０は、その
情報に基づいてフォーカシング制御器１０，１１にフォ
ーカシング制御信号を送り、立体ディスプレイ６上の視
点に対応する対象物体にフォーカシングを合わす。対
象点検出部２３は、撮像素子１６，１７から画像信号、
制御器２０から視点検出部２４で得られた視点の位置情
報をそれぞれ入力し、視点の位置に対応する画像信号上
の対象物体を把握し、撮像画像上のどの領域に位置する
かを検知して、その位置情報を制御器２０に送る。制御
器２０は、対象物体が撮像画像上の中央の位置にくるよ
うに回転台１８，１９に信号を送る。

【００４７】撮影者位置検出部２５は、ある基準の距離
で見ている撮影者の顔の大きさを予め記憶し、視線検知
用カメラ７で捕らえられる顔の大きさを逐次比較して、
撮影者と視線検知用カメラ７の間の距離を概略、検知す
る。それにより、撮影者が基準の距離より近づいている
かまたは遠ざかっているかを検出する。制御器２０は、
この動作を認識してズーム制御器１２，１３に信号を送
り、カメラ移動台８にも信号を送る。

【００４８】ズーム制御器１２，１３は、制御器２０か
ら送られてきた信号に応じて結像された光学像の大きさ
を変化させる。

【００４９】カメラ移動台８は、制御器２０から送られ
てきた信号に応じて、ビデオカメラ１，２（レンズ１
４，１５の主点）の間隔を制御する。

【００５０】ビデオテープレコーダ２６は、撮像素子１
６，１７で取られた画像信号及びビデオカメラ１，２の
輻輳角の信号を記録する。ビデオテープレコーダ２６
は、書き込み可能な光ディスク記録装置に置き換えても
よい。また、ビデオテープレコーダ２６で立体用画像が
記録されているテープを再生して、立体ディスプレイ６
の立体像を再生することもできる。そのとき、ビデオテ
ープレコーダ２６から再生信号を画像信号処理部２１
に、輻輳角の情報を制御器２０にそれぞれ送る。制御器
２０は、画像フレームの水平方向の移動量を算出してそ
の信号を画像信号処理部２１に送り、画像信号処理部２
１は、画像フレームの水平移動の処理をして立体ディス
プレイ６の画像信号を送り立体像を再生する。

【００５１】次に、図３のフローチャートを参照して、
図１及び図２の３次元画像撮影システムの動作を説明す
る。

【００５２】ビデオカメラ１，２に含まれるレンズ１
４，１５、撮像素子１６，１７で被写体を撮影する（ス
テップＳ１）。画像信号処理部２１で各撮像素子１６，
１７で得られた画像信号を立体表示のために変換して立
体ディスプレイ６に立体像を表示する（ステップＳ
２）。

【００５３】撮影者は、この再生された立体像を見て撮
影したい被写体の再生像を注視して、その様子を視線検
知用カメラ７で捕え、視点検出部２４の画像処理によっ
て立体ディスプレイ６上の注視点を見つける（ステップ
Ｓ３）。制御器２０は、注視点の位置情報を知る。

【００５４】フォーカス検出部２２は、制御器２０から
注視点の位置情報を得て、撮像素子１６，１７から得ら
れる画像信号のフレームの中でその近辺のフォーカシン
グ状態を検出して（ステップＳ４）、その情報を制御器
２０に送る（ステップＳ５）。

【００５５】制御器２０は、その情報に応じてフォーカ
シング制御器１０，１１に信号を送り、フォーカシング
状態を変化させる（ステップＳ６）。フォーカス検出部
２２、制御器２０、及びフォーカシング制御器１０，１
１の間でフィードバックループを構成し、注視点近辺の
画像のフォーカスが合うまで繰り返し各操作を行う（ス
テップＳ７）。

【００５６】次に、撮影したい被写体にビデオカメラ
１，２の光軸を合わす操作を示す。

【００５７】対象点検出部２３は、制御器２０から注視
点の位置情報を得て、撮像素子１６，１７で撮影された
各画像フレームの中で撮影したい被写体が水平方向でど
の位置に映っているかを検出し（ステップＳ８）、その
位置と水平方向の中点との差分をとってその値を制御器
２０に送る。制御器２０は、その値を小さくする方向
に、回転台１８，１９を移動するように信号を送り（ス
テップＳ９）、回転台１８，１９に信号を送り、回転台
１８，１９は、その信号に基づいて回転する（ステップ
Ｓ１０）。このようにして、撮影したい被写体は、ビデ
オカメラ１，２で撮像されるフレームの中で水平方向で
常に中央位置し、各ビデオカメラ１，２の光軸が被写体
に合わせられる（ステップＳ１１）。制御器２０は、そ
のときの各ビデオカメラ１，２の内輳角の情報を把握し
ている。

【００５８】各ビデオカメラ１，２の内輳角と各ビデオ
カメラ１，２の間隔から、各ビデオカメラ１，２のレン
ズ１４，１５から光軸の交点までの距離を計算し（ステ
ップＳ１２）、ビデオカメラ１，２で捕らえた奥行き情
報を、正確に立体ディスプレイ６に表示するために、各
撮像素子１６，１７で撮られた画像フレームを水平方向
にずらして（ステップＳ１３）、立体ディスプレイ６に
表示する（ステップＳ１４）。画像フレームのずれ量
は、幾何学的に計算することができる。制御器２０でそ
のずれ量を計算して、それを画像信号処理部２１に送
り、輻輳角を調節した立体像を立体ディスプレイ６に表
示する。

【００５９】撮影者位置検出部２５は、視線検知用カメ
ラ７で捕らえた画像から撮影者の顔の輪郭を抽出し、予
め、視線検知用カメラ７と撮影者が基準の距離にあると
きの撮影者の顔の大きさを記憶しておいて、逐次入力さ
れる顔の大きさを比較して、撮影者が視線検知用カメラ
７に対して基準の距離より近い所にいるのか遠い所にい
るのかを判断して、その情報を制御器２０に送る（ステ
ップＳ１５）。

【００６０】制御器２０は、撮影者位置検出部２５から
「近い」という情報がくればズーム制御器１２，１３に
ズームアップ（望遠）の信号を送り、「遠い」という情
報がくればズーム制御器１２，１３にズムーダウン（広
角）の信号を送り、並行して、制御器２０は、ビデオカ
メラ１，２の適切な間隔を計算してカメラ移動台８に信
号を送り適切な間隔に調節する（ステップＳ１６，Ｓ１
７，Ｓ１８）。各撮像素子１６，１７で撮られた画像信
号及びそのときの各ビデオカメラ１，２の輻輳角の情報
を外部に出力する（ステップＳ１９）。または、各撮像
素子１６，１７で撮られた画像信号及びそのときの各ビ
デオカメラ１，２の輻輳角の情報をビデオテープレコー
ダ２６に記録する（ステップＳ２０）。

【００６１】一連の処理が終われば、スタートに戻り、
再び一連の処理を繰り返す。

【００６２】図３で示されるフローは一例であって、処
理の順番が入れ替わること、または省力されることはあ
り得る。

【００６３】次に、上記各処理を詳細に説明する。

【００６４】視線検知用カメラ７は、立体ディスプレイ
６で再生される立体像が観察できる領域内にある撮影者
（立体ディスプレイ６の観察者）の頭部すべてを捕らえ
るような、位置、光学系をもって固定される。視線検知
用カメラ７と撮影者頭部の相対的な位置を知るために、
視線検知用カメラ７は固定されなければならない。

【００６５】視点検出部２４は、視点検出部カメラ７か
ら得られた画像信号から、まず顔の輪郭を抽出する。そ
して、立体ディスプレイ面に対する顔の向きを求める。
次に、両方の目を抽出して、瞳の位置から視線方向を求
める。また、視線検知用カメラ７に映った撮影者の大き
さから、視線検知用カメラ７と撮影者頭部の間の概略の
距離を求める。顔の向きと、視線方向と、撮影者頭部ま
での距離から、撮影者が注視している立体ディスプレイ
６上の視点の位置を割り出すことができる。厳密には、
立体ディスプレイ６には両眼視差を含んだ画像が表示さ
れているわけであるから、右目、左目で視点は異なるは
ずである。しかし、一般的には被写体を眼前で見ること
はなく、また被写体もある程度の大きさをもっているの
で、右目、左目の視点を同一とみなしても差し支えな
い。

【００６６】フォーカス検出部２２は、撮像素子１６，
１７で撮られたそれぞれの画像フレームに対して、視点
の位置に対応する点を中心とするある領域を抜き出し、
その領域に含まれる画像信号の高周波成分の大きさを測
る。画像信号の高周波成分の大きさはフォーカシング状
態を反映する。これにより、フォーカシング状態を検出
する。この処理は撮像素子１６，１７で撮られた各々の
画像フレームについて行う。

【００６７】次に、図４ａ、図４ｂ及び図４ｃを参照し
て、カメラの輻輳角と撮像画像の関係について説明す
る。

【００６８】図４ａは、カメラと被写体の位置関係を示
す。

【００６９】ビデオカメラ１のレンズ１４の主点とビデ
オカメラ２のレンズ１５の主点を通る直線をｘ軸とし、
レンズ１４の主点を原点とする。ビデオカメラ１，２の
光軸３０，３１を含む平面内にｘ軸に直交するｚ軸をと
る。

【００７０】ｘｚ平面内に小形の被写体Ｃ（△）、Ａ
（○）、Ｂ（□）があるものとする。レンズ１４の視野
角をφ１、レンズ１５の視野角をφ２とする。それぞれ
の視野角φ１，φ２で切り取られる円錐状の空間の重な
った空間が立体視再生可能な空間である。ｘｚ平面にお
いては、図４ａで斜線の部分（実際はｚ軸方向にもっと
伸びている）で表す。

【００７１】レンズ１４の光軸３０とレンズ１５の光軸
３１は、被写体Ａが置かれている位置（距離Ｚ１のとこ
ろ）で交差するとする。光軸３０、光軸３１がそれぞれ
ｚ軸となす角度（輻輳角）をθ１、θ２とする。輻輳角
θ１，θ２は必ずしも常に同じ値とは限らないが、大き
く異なると各レンズから被写体までの距離が異なるの
で、撮影した像の大きさが一致しなくなり、立体視が困
難になる。また、撮影した像の大きさを一致させる意味
で、視野角φ１、φ２は常に同じ角度（ズーム倍率）に
合わす必要がある。

【００７２】撮像素子１６、撮像素子１７で捕らえられ
た撮影画像を図４ｂ、図４ｃに示す。光軸３０上にある
物体は、画像フレームの中心点３４に映し出され、同様
に、光軸３１上にある物体は、画像フレームの中心点３
５に映し出される。

【００７３】図４ｂ、図４ｃでは中心点３４、３５には
被写体Ａが映る。それぞれの画像フレームの中で被写体
Ｂ、Ｃの映る位置が水平方向で異なる。これが、両眼視
差である。被写体Ａには両眼視差はない。即ち、光軸の
交点を含み、ｘｚ平面（２本の光軸を含む平面）に垂直
な平面に存在する物体には両眼視差が付かない。

【００７４】光軸３０，３１の輻輳角は、回転台１８，
１９に内蔵されるロータリーエンコーダなどで正確に測
定される。レンズ１４とレンズ１５の主点の間隔は人の
目の平均的な間隔に合わされて、約６５ｍｍに設定され
る。

【００７５】撮影したい被写体をそれぞれの画像フレー
ムの中で中心にもってくるだけで、撮影したい被写体に
それぞれの光軸を合わすことができる。但し、画像フレ
ームの中の垂直方向の位置は各光軸のあおりに依存し
て、撮像装置を手で持って支えることから、あまり精度
が出ない。そこで、撮影したい被写体をそれぞれの画像
フレームの水平方向の中心線３２，３３にくるようにす
ればよい。各画像フレームの中で撮影したい被写体の位
置は対象点検出部２３で検出される。

【００７６】次に、立体像再生について図５を用いて説
明する。図４ａ、図４ｂ，及び図４ｃと同様に、レンズ
１４、１５の位置に左目、右目を置いて、ｘ軸、ｚ軸を
とる。距離Ｚｄの位置にｘｚ平面に垂直な面に立体ディ
スプレイ６があるものとする。

【００７７】立体ディスプレイ６がレンチキュラ方式で
あれば、立体表示のために各撮像画像を細長い短冊状に
切り取って、それを１本１本織り込んだ画像を作成す
る。それをレンチキュラを通して見れば、２つの画像に
分離されて立体像が見られる。

【００７８】図４ｂ、図４ｃで示される画像フレームを
中心点３４、３５を合わして合成し、立体ディスプレイ
６の中心に表示すると、立体再生時には立体ディスプレ
イ６の面を基準に立体像が再生される。即ち、距離Ｚ１
（光軸３０と光軸３１の交点）に存在する物体は距離Ｚ
ｄに再生される。距離Ｚ１は種々の値を取り得るが、距
離Ｚｄはほとんど変わらない。光軸３０と光軸３１の交
点の位置を変える度に奥行き情報が変わる。

【００７９】そこで、輻輳角の変化に伴う輻輳視差を設
けて補正する。画像フレームの中心３４，３５を立体デ
ィスプレイ６の中心Ｄに重ねるのではなく、ずらして表
示する。眼と立体ディスプレイ６までの距離Ｚｄは固定
する。立体ディスプレイ６の中心を点Ｄとする。両眼が
点Ｄを見たときの視線とｚ軸のなす角度をθｄとする。
画像フレームの中心３４と立体ディスプレイ６の中心Ｄ
の輻輳角視差量ｄ１はｄ１＝Ｚｄ（ｔａｎθ１−ｔａｎθｄ）………（１）で与えられ、画像フレームの中心３４と立体ディスプレ
イ６の中心Ｄの輻輳視差量ｄ２はｄ２＝Ｚｄ｛ｔａｎ（−θ２）−ｔａｎ（−θｄ）｝………（２）で与えられる。

【００８０】このようにすれば、カメラの光軸の輻輳角
が変化しても、撮影時カメラが捕らえた奥行き感が正確
に再現される。

【００８１】外部の立体ディスプレイで再生するときに
はそれぞれのカメラで撮られた画像信号とそれぞれのカ
メラの輻輳角の情報が必要である。距離Ｚｄ及び角度θ
ｄは、立体ディスプレイ６と観察者の位置関係で決まる
値である。

【００８２】次に、ズーム時の処理について説明する。
ズームはカメラの位置を移動させずに、被写体の拡大図
（望遠）、縮小図（広角）が簡単に得られる。図６に単
眼の場合のズームにおける被写体とレンズの関係につい
て示す。

【００８３】ズームレンズは、通常、複数枚のレンズか
ら構成されるが、図６では省略して図示してある。撮像
素子４１はズームレンズ４０の結像位置にある。

【００８４】ズームレンズ４０が標準レンズの状態にあ
って、視野角がφ１で、距離Ｚ離れた視野（被写体）の
大きさをａとする。標準レンズとは、基準の距離はなれ
た基準の大きさのディスプレイに表示したときに実物を
見たときと同じ大きさに見える像が撮れるレンズであ
る。ズームアップして、視野の大きさがｂになったとす
る。そのとき、視野角はφ２に小さくなっている。撮像
素子４１の大きさは不変であるから、ａ／ｂ倍に像は大
きくなったことになる。

【００８５】別の見方をすると、視野角をφ１に保った
まま、光軸４２上を被写体の方へ近づくと、視野がｂの
大きさになる地点がある。そのときの被写体とレンズの
間隔をＺ′とする。距離Ｚ離れてズームアップして撮っ
た画像は距離Ｚ′まで近づいて、標準レンズで撮った画
像とほぼ同等である。距離Ｚ′は次の（３）式で求めら
れる。

【００８６】Ｚ′＝（ｂ／ａ）・Ｚ………（３）図７にズームレンズ２眼の場合を示す。ズームレンズ５
０、５１が間隔ｃ隔てて設置されている。ズームレンズ
５０、５１が標準レンズのとき、間隔ｃは通常、人間の
眼の平均的な間隔、約６５ｍｍに合わせる。それぞれの
結像位置には撮像素子５２、５３が置かれている。

【００８７】距離Ｚ離れて、標準レンズで望んだときの
視野の大きさをａとする。それぞれのレンズがズームア
ップして、視野の大きさがそれぞれｂになったとする。
図６の説明のように、レンズが距離Ｚ′まで近づいて撮
った画像と同等である。しかし、レンズの間隔（光軸５
４と光軸５５の間隔）はｄに縮まったことになる。

【００８８】レンズの間隔は立体像を再生したときに、
観察者と被写体の相対的な大きさに関係する。レンズの
間隔が小さくなれば、観察者が小人になった感覚にな
る。ズームアップによってあくまでも、通常の大きさの
人間が近づいたときに見られる立体感を再現するには、
レンズの感覚を広げなければならない。

【００８９】被写体から距離Ｚ′離れた位置で、光軸５
６と光軸５７の間隔をｃ（約６５ｍｍ）にすればよい。
そのときの距離Ｚ離れたときのレンズの間隔（光軸５６
と光軸５７の間隔）ｅは（４）式で表される。

【００９０】ｅ＝（Ｚ／Ｚ′）ｃ………（４）（４）式は（３）式より、ｅ＝（ａ／ｂ）ｃ………（５）となる。

【００９１】即ち、３次元画像撮影システムでズームレ
ンズを用いて、像の倍率を変えたときに、観察者と被写
体の相対的な大きさの関係が崩れないようにするには、
像の倍率に合わせて、カメラの間隔を変えなければなら
ない。

【００９２】撮像素子１６，１７で捕らえられた各画像
信号及びビデオカメラ１，２の輻輳角の信号は外部に出
力される。また、３次元画像撮影システムにビデオテー
プレコーダを内蔵させて、各画像信号及び各輻輳角の信
号を記録することもできる。そうすることにより、３次
元映像の撮影、表示、記録を１つの装置のみで包括して
行うことができる。

【００９３】

【発明の効果】本発明の３次元画像撮影システムは、撮
影した被写体に対応する画像信号を出力する撮影手段
と、撮影手段に接続されており撮影手段の輻輳角を可変
する可変手段と、撮影手段に接続されており撮影手段か
ら出力された画像信号を特定の方法により変換して撮影
手段の輻輳角に応じて画像信号のフレームを所定の方向
に移動する処理手段と、処理手段に接続されており処理
手段で処理された画像信号に基づいて立体像を再生する
表示手段と、処理手段に接続されておりフレームの移動
量を制御する制御手段とを備えているので、撮影手段の
輻輳角に応じて、立体再生のときの画像合成に輻輳視差
を設けることにより、撮影手段の輻輳角を変えても、常
に正確な奥行き感を再生する立体像を表示手段に表示す
ることができる。その結果、操作性に優れており正確な
奥行き情報を再現して常時再生立体像を確認しながら３
次元画像が撮影できる。

【００９４】また、本発明の３次元画像撮影システム
は、撮影した被写体に対応する画像信号を出力する撮影
手段と、撮影手段に接続されており撮影手段の輻輳角を
可変する可変手段と、撮影手段に接続されており撮影手
段より出力される画像信号に基づいて立体像を再生する
表示手段と、撮影者が表示手段上の撮影者の注視点の位
置を検出する視点検出手段と、視点検出手段に接続され
ておりその検出された位置に基づく表示手段上のフォー
カス状態を検知しその状態信号を出力するフォーカス検
出手段と、フォーカス検出手段に接続されており状態信
号に基づいて該撮影手段のフォーカス状態を調整するフ
ォーカス調整手段と、視点検出手段に接続されておりそ
の検出された位置に基づく撮影手段の輻輳角を調整する
輻輳角制御手段とを備えているので、撮影手段の輻輳角
を自由に可変できるようにしたことにより、撮影領域を
広げかつ撮影したい被写体を常にも鮮明に捕らえること
ができる。また、表示手段により撮影中の立体画像を確
認しながら撮影することができる。そして、撮影者が表
示手段に再生された画像を注視することで、撮影したい
被写体を認識して、撮影手段の輻輳角及びフォーカス状
態をできる。その結果、３次装置の操作性を格段に向上
させることができる。

【００９５】更に、本発明の３次元画像撮影システム
は、撮影した被写体に対応する画像信号を出力する撮影
手段と、撮影手段より出力される画像信号に基づいて立
体像を再生する表示手段と、表示手段と撮影者までの距
離を検出し距離信号を出力する撮影者位置検出手段と、
撮影者位置検出手段に接続されており撮影者位置検出手
段より出力される距離信号に基づいて撮影手段の輻輳角
を調整可変する輻輳角調整可変手段と、撮影者位置検出
手段に接続されており撮影者位置検出手段より出力され
る距離信号に基づいて撮影手段の間隔を調整可変する間
隔調整可変手段と、撮影者位置検出手段に接続されてお
り撮影者位置検出手段より出力される距離信号に基づい
て撮影手段の像拡大率を調整する拡大率調整手段とを備
えているので、撮影手段と撮影者の間隔を概略検知し
て、ズームアップ／ダウンの制御を行い、かつ撮影手段
の間隔をズームの倍率に合わせて調整することにより、
被写体と撮影者との相対的な大きさを維持し、かつ撮影
手段の位置はそのままで被写体に近づいたり、遠ざかっ
たりした画像を撮影手段の倍率を変えるだけで撮影する
ことができる。その結果、撮影条件が緩和されて、撮影
可能な画像が増大する。

【図面の簡単な説明】

【図１】本発明の３次元画像撮影システムの一実施例の
構成を示すブロック図である。

【図２】図１の３次元画像撮影システムの外観の概略を
示す外観斜視図である。

【図３ａ】図１の３次元画像撮影システムの一連の処理
を説明するためのフローチャートの前半部分である。

【図３ｂ】図１の３次元画像撮影システムの一連の処理
を説明するためのフローチャートの後半部分である。

【図４】図１の３次元画像撮影システムにおけるカメラ
の輻輳角と撮像画像の関係の説明図である。

【図５】図１の３次元画像撮影システムにおける表示画
像と立体再生の関係の説明図である。

【図６】図１の３次元画像撮影システムにおける単眼ズ
ームカメラと撮影距離の関係の説明図である。

【図７】図１の３次元画像撮影システムにおける２眼ズ
ームカメラとレンズ間隔の関係の説明図である。

【図８】従来の３次元画像撮影装置の動作の説明図であ
る。

【図９】図８に示される３次元画像撮影装置で撮影され
た画像の説明図である。

【図１０】従来の表示用画像の説明図である。

【図１１】従来の立体再生の説明図である。

【符号の説明】

１，２ビデオカメラ４レンチキュラレンズ５液晶パネル６立体ディスプレイ７視線検知用カメラ８カメラ移動台１０，１１フォーカシング制御器１２，１３ズーム制御器１４，１５レンズ１６，１７撮像素子１８，１９回転台２０制御器２１画像信号処理部２２フォーカス検出部２３対象点検出部２４視点検出部２５撮影者位置検出部２６ビデオテープレコーダ

Claims

【特許請求の範囲】

【請求項１】撮影した被写体に対応する画像信号を出
力する撮影手段と、該撮影手段に接続されており当該撮
影手段の輻輳角を可変する可変手段と、該撮影手段に接
続されており当該撮影手段から出力された該画像信号を
特定の方法により変換して該撮影手段の輻輳角に応じて
該画像信号のフレームを所定の方向に移動する処理手段
と、該処理手段に接続されており当該処理手段で処理さ
れた該画像信号に基づいて立体像を再生する表示手段
と、該処理手段に接続されており該フレームの移動量を
制御する制御手段とを備えていることを特徴とする３次
元画像撮影システム。
【請求項２】撮影した被写体に対応する画像信号を出
力する撮影手段と、該撮影手段に接続されており当該撮
影手段の輻輳角を可変する可変手段と、該撮影手段に接
続されており当該撮影手段より出力される画像信号に基
づいて立体像を再生する表示手段と、撮影者が該表示手
段上の撮影者の注視点の位置を検出する視点検出手段
と、該視点検出手段に接続されておりその検出された位
置に基づく該表示手段上のフォーカス状態を検知しその
状態信号を出力するフォーカス検出手段と、該フォーカ
ス検出手段に接続されており該状態信号に基づいて該撮
影手段のフォーカス状態を調整するフォーカス調整手段
と、該視点検出手段に接続されておりその検出された位
置に基づく該撮影手段の輻輳角を調整する輻輳角制御手
段とを備えたことを特徴とする３次元画像撮影システ
ム。
【請求項３】撮影した被写体に対応する画像信号を出
力する撮影手段と、当該撮影手段より出力される画像信
号に基づいて立体像を再生する表示手段と、該表示手段
と撮影者までの距離を検出し距離信号を出力する撮影者
位置検出手段と、該撮影者位置検出手段に接続されてお
り当該撮影者位置検出手段より出力される距離信号に基
づいて該撮影手段の輻輳角を調整可変する輻輳角調整可
変手段と、該撮影者位置検出手段に接続されており当該
撮影者位置検出手段より出力される距離信号に基づいて
該撮影手段の間隔を調整可変する間隔調整可変手段と、
該撮影者位置検出手段に接続されており当該撮影者位置
検出手段より出力される距離信号に基づいて該撮影手段
の像拡大率を調整する拡大率調整手段とを備えたことを
特徴とする３次元画像撮影システム。