JP5258722B2 - 複眼カメラ及びその制御方法 - Google Patents

Description

本発明は、複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得する複眼カメラ、及びその制御方法に関するものである。

複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラが知られている。こうした複眼カメラにおいて、立体視し易い良好な立体画像を得るためには、各撮像光学系の画像間に適正な視差以外の位置ズレがないことが望まれる。しかしながら、実際には、部品の寸法誤差や組立誤差によって各撮像光学系の光軸にズレが生じ、こうした光軸ズレにともなって適正な視差以外の位置ズレも必ず生じてしまう。このため、複眼カメラでは、各撮像光学系の光軸ズレにともなう各画像の位置ズレを防止する方法が、従来より種々提案されている。

例えば、特許文献１には、撮像素子の撮像中心位置と光学系の光軸中心位置とのズレ量に応じて各画像の読み出し位置を調整し、各画像の対応する位置のみを読み出すことによって、各画像の位置ズレを防止することが記載されている。特許文献２には、光学系の光軸方向を、仰角方向、方位角方向、水平並進方向に調整することができる光軸駆動手段を設け、この光軸駆動手段によって各光学系の光軸を揃えることで、各画像の位置ズレを防止することが記載されている。特許文献３には、十字キーを操作することによって各画像の位置及び角度を微調整する方向及び変位量を入力し、この方向及び変位量に応じて各画像から所定の領域を切り出すことによって、各画像の位置ズレを防止することが記載されている。

特開２００３−５２０５８号公報 特開平６−５４３４９号公報 特開平１１−３５５６２４号公報

各撮像光学系がズーム機能を有している場合、各画像の位置ズレの調整量は、各撮像光学系のズーム位置（焦点距離）によって異なる。このため、ズーム機能付きの撮像光学系を用いた複眼カメラである場合には、各撮像光学系のズーム位置毎に調整作業を行わなければならず、非常に手間が掛かる。

このため、メーカでは、各画像の位置ズレの調整作業を製造段階で予め行っている。複眼カメラを一般消費者のユーザに向けて販売する場合、こうしたユーザの中には機械操作に不慣れなものもおり、上述のような手間の掛かる調整作業は、敬遠される傾向にあるが、メーカ側で予め調整作業を行っておけば、複眼カメラを購入したユーザは、各画像の位置ズレを気にすることなく、良好な立体画像を楽しむことができる。

しかしながら、メーカで予め調整を行ったとしても、ユーザが使用している中で落としたり何かにぶつけたりした場合に、複眼カメラに過度な衝撃が加わり、各撮像光学系の光軸が調整時からずれて各画像に再び位置ズレが生じてしまうことがある。複眼カメラでは、旅先に出ている場合など、メーカなどに修理を依頼するのが難しく、かつすぐに使用したい場合があるため、各画像に位置ズレが生じた際には、ユーザ自身が各画像の位置ズレを再調整できることが好ましい。とはいえ、手間の掛かる調整作業では敬遠されてしまい、調整作業自体が行われない可能性がある。また、調整作業が複雑であると、その作業が適切に行われず、再調整後にも各画像の位置ズレが残ってしまうことも懸念される。このため、機械操作に不慣れなユーザであっても簡単に各画像の位置ズレを再調整できるようにすることが望まれていた。

本発明は、上記課題を鑑みてなされたものであり、ズーム機能を有する撮像光学系が用いられた複眼カメラにおいて、機械操作に不慣れなユーザであっても簡単に各画像の位置ズレを再調整できるようにすることを目的とする。

上記目的を達成するため、本発明は、所定の範囲で変倍可能なズーム機能を有する複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラにおいて、前記各画像を重ねたときに生じる前記各画像の相対的な位置ズレのズレ量と方向とを示すズレベクトルを前記各撮像光学系のズーム位置毎に予め取得した初期補正データを記憶する初期補正データ記憶手段と、前記初期補正データを再調整するキャリブレーションモードを設定するためのキャリブレーションモード設定手段と、前記キャリブレーションモードが設定された際に、任意のズーム位置での前記ズレベクトルを調整用ズレベクトルとして取得するためのズレベクトル取得手段と、前記調整用ズレベクトルと前記初期補正データとを基に、前記初期補正データを再調整した調整後補正データを生成する調整後補正データ生成手段と、生成された前記調整後補正データを記憶する調整後補正データ記憶手段と、前記立体画像を生成する際に、前記調整後補正データ記憶手段に前記調整後補正データが記憶されていない場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記初期補正データから取得し、記憶されている場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記調整後補正データから取得し、取得した前記ズレベクトルに基づいて前記各画像の位置ズレを補正する補正手段とを備え、
前記調整後補正データ生成手段は、前記調整用ズレベクトルを取得した時のズーム位置に対応する前記ズレベクトルを初期ズレベクトルとして前記初期補正データから取得し、前記初期ズレベクトルに対する前記調整用ズレベクトルの第１の変化量を算出し、前記第１の変化量と、前記調整用ズレベクトルを取得した時のズーム位置の焦点距離と任意のズーム位置の焦点距離との比とから前記任意のズーム位置における前記初期ズレベクトルに対する前記ズレベクトルの第２の変化量を算出し、前記任意のズーム位置に対応する前記初期ズレベクトルを前記初期補正データから取得し、前記任意のズーム位置における前記第２の変化量と、当該ズーム位置における前記初期ズレベクトルとの和を、当該ズーム位置の前記調整後補正データとして生成するものである。

前記キャリブレーションモードが設定されたことに応答して前記各撮像光学系のズーム位置をテレ端にするズーム制御手段を設けると、より好適である。

前記補正手段は、取得した前記ズレベクトルを基に、前記各画像から互いに重なり合う重複エリアを特定し、前記各重複エリアを前記各画像から切り出すことによって前記各画像の位置ズレを補正することが好ましい。

前記各画像を重ねて表示可能な表示手段を設け、前記ズレベクトル取得手段を、前記各画像のいずれかを任意の方向に移動させる指示を入力するための操作部材とし、前記表示手段の画面上で前記各画像に写った同一被写体を重ね合わせることにより、移動させた前記画像の初期位置からの移動量及び方向を前記調整用ズレベクトルとして取得することが好ましい。

前記各撮像光学系は、ワイド端とテレ端との間に予め複数のズーム位置が設定され、前記初期補正データと前記調整後補正データとは、各ズーム位置と、これに対応する前記ズレベクトルとを対応付けたテーブルデータであることが好ましい。

調整後補正データ記憶手段は、前記キャリブレーションモードが実行される毎に、新たに取得された前記調整後補正データに書き換えることが好ましい。

また、本発明は、所定の範囲で変倍可能なズーム機能を有する複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラの制御方法において、前記各画像を重ねたときに生じる前記各画像の相対的な位置ズレのズレ量と方向とを示すズレベクトルを前記各撮像光学系のズーム位置毎に予め取得し、初期補正データとして記憶手段に記憶させる初期補正データ取得ステップと、前記初期補正データを再調整するキャリブレーションモードが設定された際に、任意のズーム位置での前記ズレベクトルを調整用ズレベクトルとして取得するズレベクトル取得ステップと、前記調整用ズレベクトルと前記初期補正データとを基に、前記初期補正データを再調整した調整後補正データを生成する調整後補正データ生成ステップと、生成した前記調整後補正データを調整後補正データ記憶手段に記憶させる調整後補正データ記憶ステップと、前記立体画像を生成する際に、前記調整後補正データ記憶手段に前記調整後補正データが記憶されていない場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記初期補正データから取得し、記憶されている場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記調整後補正データから取得し、取得した前記ズレベクトルに基づいて前記各画像の位置ズレを補正する補正ステップとを有し、
前記調整後補正データ生成ステップは、前記調整用ズレベクトルを取得した時のズーム位置に対応する前記ズレベクトルを初期ズレベクトルとして前記初期補正データから取得するステップと、前記初期ズレベクトルに対する前記調整用ズレベクトルの第１の変化量を算出するステップと、前記第１の変化量と、前記調整用ズレベクトルを取得した時のズーム位置の焦点距離と任意のズーム位置の焦点距離との比とから前記任意のズーム位置における前記初期ズレベクトルに対する前記ズレベクトルの第２の変化量を算出するステップと、前記任意のズーム位置に対応する前記初期ズレベクトルを前記初期補正データから取得するステップと、前記任意のズーム位置における前記第２の変化量と、当該ズーム位置における前記初期ズレベクトルとの和を、当該ズーム位置の前記調整後補正データとして生成するステップとからなるものである。

前記キャリブレーションモードが設定されたことに応答して前記各撮像光学系のズーム位置をテレ端にするステップを設けると、より好適である。

前記補正ステップは、取得した前記ズレベクトルを基に、前記各画像から互いに重なり合う重複エリアを特定するステップと、前記各重複エリアを前記各画像から切り出すことによって前記各画像の位置ズレを補正するステップとからなることが好ましい。

前記初期補正データ取得ステップは、前記各撮像光学系のズーム位置をテレ端にしたとき、及びワイド端にしたときの前記各ズレベクトルを取得するステップと、取得したテレ端及びワイド端の前記各ズレベクトル、及び前記各撮像光学系のテレ端とワイド端と任意のズーム位置との焦点距離の比から前記任意のズーム位置における前記ズレベクトルを算出するステップとからなることが好ましい。

本発明では、キャリブレーションモードを設定した後、任意のズーム位置での調整用ズレベクトルを取得し、この調整用ズレベクトルと初期補正データとを基に、初期補正データを再調整した調整後補正データを生成するようにした。これにより、一箇所のズーム位置で調整作業を行うだけで、各撮像光学系のズーム位置毎にズレベクトルを予め取得した初期補正データを再調整することができるので、各撮像光学系に含まれる複数のズーム位置毎に調整作業を行う必要がなく、機械操作に不慣れなユーザであっても、ズーム機能を有する撮像光学系が用いられた複眼カメラの各画像の位置ズレを簡単に再調整することができる。

ステレオカメラの外観構成を示す斜視図である。 ステレオカメラの外観構成を示す背面図である。 ステレオカメラの内部構成を概略的に示すブロック図である。 ズレベクトルの一例を示す説明図である。 補正データの構成例を示す説明図である。 立体画像の生成手順を示すフローチャートである。 左右画像の位置ズレを補正した例を示す説明図である。 初期補正データの取得手順を示すフローチャートである。 調整後補正データの取得手順を示すフローチャートである。 調整後補正データ取得時の各ベクトルの状態を示す説明図である。 キャリブレーションモードの設定に応答して各ズームレンズをテレ端に移動させる場合の手順を示すフローチャートである。

図１に示すように、ステレオカメラ（複眼カメラ）２は、略矩形に形成されたカメラ本体２ａを備えている。カメラ本体２ａには、第１及び第２の２つの撮像部（撮像光学系）３、４が設けられている。各撮像部３、４は、カメラ本体２ａの前面からその一部を露呈させ、それぞれの光軸が略平行になるように並べて配置されている。ステレオカメラ２は、各撮像部３、４のそれぞれで撮影を行うことによって両眼視差の生じる一対の画像を取得する。そして、取得した各画像を合成することにより、立体視可能な画像（以下、立体画像と称す）を生成する。

第１撮像部３は、第１撮像レンズ５が組み込まれた第１レンズ鏡筒６を有している。同様に、第２撮像部４は、第２撮像レンズ７が組み込まれた第２レンズ鏡筒８を有している。各レンズ鏡筒６、８は、電源オフ時及び取得した画像の再生時には図中二点鎖線で示すようにカメラ本体２ａの内部に収納された収納位置に沈胴し、撮影時には図中実線で示すようにカメラ本体２ａの前面側に突出した撮影位置に繰り出す。また、カメラ本体２ａの前面には、被写体にフラッシュ光を照射して被写体を照明するためのフラッシュ発光部１０が設けられている。

カメラ本体２ａの上面には、撮影の実行を指示するためのシャッタボタン１１と、電源のＯＮ／ＯＦＦを切り替えるための電源スイッチ１２と、ステレオカメラ２に設けられた各種のモードを切り替えるためのモード切替ダイヤル（キャリブレーションモード設定手段）１３とが設けられている。ステレオカメラ２は、静止画の立体画像を取得するための静止画撮影モードと、動画の立体画像を取得するための動画撮影モードと、取得した立体画像を再生表示するための再生モードと、各撮像部３、４によって取得される各画像の位置ズレを画像処理で補正するための補正データを取得するキャリブレーションモードとを有している。これらの各モードは、モード切替ダイヤル１３を回転操作することで切り替えられる。

静止画撮影モードでは、シャッタボタン１１を押下操作することで撮影の実行が指示され、その時の被写体像が静止画の立体画像として取得される。動画撮影モードでは、シャッタボタン１１を押下操作することで記録が開始されるとともに、この状態で再びシャッタボタン１１を押下操作することで記録が停止され、この間の被写体像が動画の立体画像として取得される。

図２に示すように、カメラ本体２ａの背面には、各撮像レンズ５、７をワイド側もしくはテレ側に変倍するズーム操作を行うためのズームボタン１４と、取得した立体画像や撮影待機時のいわゆるスルー画及び各種のメニュー画面などを表示するための液晶ディスプレイ（表示手段）１５と、メニュー画面の表示を指示するためのメニューボタン１６と、メニュー画面上の各種のメニューの選択などに用いる十字キー（ズレベクトル取得手段）１７とが設けられている。また、十字キー１７の中央には、選択した項目や入力した項目などの決定を指示するための決定ボタン１８が設けられている。

液晶ディスプレイ１５は、表面にレンチキュラレンズが設けられた、いわゆる三次元ディスプレイになっている。これにより、ステレオカメラ２では、液晶ディスプレイ１５に表示された立体画像を裸眼で立体視することができる。

図３に示すように、第１撮像部３は、第１レンズ鏡筒６、第１繰出しモータ３１、第１フォーカスモータ３２、第１モータドライバ３３、第１ＣＣＤ３５、第１タイミングジェネレータ（以下、ＴＧと称す）３６、第１ＣＤＳ３７、第１ＡＭＰ３８、第１Ａ／Ｄ変換器３９で構成されている。

第１レンズ鏡筒６には、第１撮像レンズ５としてズームレンズ５ａ、フォーカスレンズ５ｂ、絞り５ｃが組み込まれている。第１レンズ鏡筒６の撮影位置への繰り出しと、収納位置への沈胴は、第１繰出しモータ３１の駆動によって行われる。ズームレンズ５ａ及びフォーカスレンズ５ｂの光軸方向への進退移動は、第１フォーカスモータ３２の駆動によって行われる。各モータ３１、３２は、第１モータドライバ３３に接続されている。第１モータドライバ３３は、ステレオカメラ２を統括的に制御するＣＰＵ（調整後補正データ生成手段、ズーム制御手段）７０に接続されており、ＣＰＵ７０からの制御信号に応じて各モータ３１、３２を駆動させる。

第１撮像レンズ５の背後には、第１ＣＣＤ３５が配置されている。第１撮像レンズ５は、この第１ＣＣＤ３５の受光面に被写体像を結像させる。第１ＣＣＤ３５は、第１ＴＧ３６に接続されている。第１ＴＧ３６は、ＣＰＵ７０に接続されており、ＣＰＵ７０の制御の下、タイミング信号（クロックパルス）を第１ＣＣＤ３５に入力する。第１ＣＣＤ３５は、このタイミング信号に応じて受光面に結像された被写体像の撮像を行い、被写体像に対応した撮像信号を出力する。

第１ＣＣＤ３５から出力された撮像信号は、相関二重サンプリング回路である第１ＣＤＳ３７に入力される。第１ＣＤＳ３７は、入力された撮像信号を第１ＣＣＤ３５の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして出力する。第１ＣＤＳ３７から出力された画像データは、第１ＡＭＰ３８で増幅され、さらに第１Ａ／Ｄ変換器３９でデジタルデータに変換される。このデジタル化された画像データは、第１Ａ／Ｄ変換器３９から右眼画像データとして画像入力コントローラ７１に出力される。

第２撮像部４は、第１撮像部３と同様に、第２レンズ鏡筒８、第２繰出しモータ５１、第２フォーカスモータ５２、第２モータドライバ５３、第２ＣＣＤ５５、第２ＴＧ５６、第２ＣＤＳ５７、第２ＡＭＰ５８、第２Ａ／Ｄ変換器５９で構成されている。これらの各部は、第１撮像部３のものと同様であるので、詳細な説明は省略する。第２ＣＣＤ５５によって撮像され、第２ＣＤＳ５７、第２ＡＭＰ５８を経由した後、第２Ａ／Ｄ変換器５９によってデジタルデータに変換され画像データは、第２Ａ／Ｄ変換器５９から左眼画像データとして画像入力コントローラ７１に出力される。

画像入力コントローラ７１は、データバス７２を介してＣＰＵ７０に接続されている。画像入力コントローラ７１は、ＣＰＵ７０の制御の下、各撮像部３、４から入力された各画像データをＳＤＲＡＭ７３に記憶させる。画像信号処理回路７４は、ＳＤＲＡＭ７３から各画像データを読み出し、階調変換、ホワイトバランス補正、γ補正などの各種の画像処理を各画像データに施す。そして、処理後の各画像データを再びＳＤＲＡＭ７３に記憶させる。

立体画像生成回路（補正手段）７５は、画像信号処理回路７４で各種の処理が施された各画像データをＳＤＲＡＭ７３から読み出す。そして、各画像データを上下方向に長い短冊状の画像になるように分割した後、それらを交互に並べて合成することにより、液晶ディスプレイ１５に対応したレンチキュラレンズ方式の立体画像データを生成し、その立体画像データをＳＤＲＡＭ７３に記憶させる。

液晶ドライバ７６は、ＳＤＲＡＭ７３から立体画像データを読み出し、アナログのコンポジット信号に変換して液晶ディスプレイ１５に出力する。これにより、裸眼で立体視可能な立体画像がスルー画として液晶ディスプレイ１５に表示される。

圧縮伸張処理回路７７は、立体画像データをＴＩＦＦやＪＰＥＧなどの所定の圧縮形式で圧縮する。メディアコントローラ７８は、メディアスロットに着脱自在に装着された記録メディア８０にアクセスし、圧縮された立体画像データを記録メディア８０に読み書きする。

ＣＰＵ７０には、ＥＥＰＲＯＭ８１が接続されている。ＥＥＰＲＯＭ８１には、ステレオカメラ２を制御するための各種のプログラムやデータが記憶されている。ＣＰＵ７０は、各種のプログラムなどをＥＥＰＲＯＭ８１から適宜読み出し、これらに基づいて処理を実行することにより、ステレオカメラ２の各部を制御する。ＥＥＰＲＯＭ８１には、プログラムなどの他に、各ズームレンズ５ａ、７ａのズーム位置と、これに対応する焦点距離とを関連付けて記憶したテーブルデータである焦点距離情報８１ａが記憶されている。ＣＰＵ７０は、各ズームレンズ５ａ、７ａを所定のズーム位置に配置した際に、この焦点距離情報８１ａを参照することにより、そのズーム位置に対応した焦点距離を把握することができる。

また、ＣＰＵ７０には、シャッタボタン１１、電源スイッチ１２、モード切替ダイヤル１３、ズームボタン１４、メニューボタン１６、十字キー１７、決定ボタン１８の各操作部材が接続されている。これらの各操作部材は、ユーザによる操作を検出し、その検出結果をＣＰＵ７０に入力する。シャッタボタン１１は、２段階押しのスイッチになっている。シャッタボタン１１を軽く押圧（半押し）すると、各撮像レンズ５、７の焦点調整や露光調整などの各種撮影準備処理が施される。この状態でシャッタボタン１１をもう一度強く押圧（全押し）すると、各撮像部３、４の１画面分の撮像信号が画像データに変換される。

電源スイッチ１２は、スライド式のスイッチになっている（図１参照）。電源スイッチ１２をＯＮ位置に移動させると、図示を省略したバッテリの電力が各部に供給され、ステレオカメラ２が起動する。そして、電源スイッチ１２をＯＦＦ位置に移動させると、電力の供給が停止され、ステレオカメラ２が停止状態になる。ＣＰＵ７０は、電源スイッチ１２及びモード切替ダイヤル１３の操作が検出されると、これらの操作に応じて各繰出しモータ３１、５１を駆動し、各レンズ鏡筒６、８を沈胴／繰り出しさせる。

ＣＰＵ７０は、ズームボタン１４の操作が検出されると、これに応じて各フォーカスモータ３２、５２を駆動し、各ズームレンズ５ａ、７ａを光軸方向に進退移動させる。そして、ワイド端とテレ端との間に所定の間隔で複数設定されたズーム位置に各ズームレンズ５ａ、７ａを配置することにより、各撮像部３、４のズーム倍率を変化させる。また、この際、ＣＰＵ７０は、各フォーカスモータ３２、５２を連動させて駆動し、各ズームレンズ５ａ、７ａを同じズーム位置に配置する。

データバス７２には、上記の他に、各撮像部３、４によって取得される各画像の位置ズレを画像処理で補正するための補正データを記憶する補正データ記憶部（初期補正データ記憶手段、調整後補正データ記憶手段）８２が接続されている。補正データ記憶部８２は、製造時の検査で取得される初期補正データ８３と、ユーザがキャリブレーションモードを実行することによって取得される調整後補正データ８４とを記憶する。この補正データ記憶部８２には、例えば、ＥＥＰＲＯＭやフラッシュメモリなどの書き換え可能な不揮発性メモリが用いられる。

図３では、便宜的に初期補正データ８３と調整後補正データ８４との双方を補正データ記憶部８２に記載しているが、工場から出荷され、一度もキャリブレーションモードが実行されていない段階では、補正データ記憶部８２には初期補正データ８３のみが記憶されている。また、キャリブレーションモードでは、初期補正データ８３を利用し、初期補正データ８３を再調整することによって調整後補正データ８４を取得する。このため、初期補正データ８３は、キャリブレーションモードが実行されて調整後補正データ８４が取得された後にも、そのまま補正データ記憶部８２に残される。一方、調整後補正データ８４は、キャリブレーションモードが実行される毎に、新たに取得されたデータに書き換えられる。

立体画像生成回路７５は、左右の各画像データから立体画像データを生成する際、補正データ記憶部８２から初期補正データ８３又は調整後補正データ８４を読み出し、これらのデータを用いて画像処理を行うことにより、各撮像部３、４の光軸ズレに起因する各画像の位置ズレを補正する。立体画像生成回路７５は、補正データ記憶部８２に初期補正データ８３のみが記憶されている場合、補正データ記憶部８２から初期補正データ８３を読み出して補正を行う。これにより、部品の寸法誤差や組立誤差などによって製造段階で生じた各撮像部３、４の光軸ズレにともなう各画像の位置ズレが補正される。

ユーザは、例えば、ステレオカメラ２に衝撃が加わって各撮像部３、４の光軸に狂いが生じた場合などに、キャリブレーションモードを実行して調整後補正データ８４を取得する。立体画像生成回路７５は、補正データ記憶部８２に初期補正データ８３と調整後補正データ８４との双方が記憶されている場合、補正データ記憶部８２から調整後補正データ８４を読み出して補正を行う。これにより、ステレオカメラ２では、衝撃などによって製造後に生じた各撮像部３、４の光軸ズレにともなう各画像の位置ズレも補正することができる。

各補正データ８３、８４は、図４に示すように、右眼画像データによって表される右眼画像９０Ｒと、左眼画像データによって表される左眼画像９０Ｌとを重ねたときの、各画像９０Ｒ、９０Ｌのズレ量と方向とを示すベクトルＭ（以下、ズレベクトルＭと称す）として表される。すなわち、各画像９０Ｒ、９０Ｌを相対的にズレベクトルＭ分だけ移動させた際に、各画像９０Ｒ、９０Ｌに写り込んだ同一被写体９１Ｒ、９１Ｌが重なり（図７参照）、各撮像部３、４の光軸ズレにともなう各画像９０Ｒ、９０Ｌの位置ズレが補正される。

各画像９０Ｒ、９０Ｌのズレ量及び方向は、各ズームレンズ５ａ、７ａのズーム位置毎（焦点距離毎）に異なる。このため、ズレベクトルＭは、各ズームレンズ５ａ、７ａのズーム位置毎に取得される。従って、各補正データ８３、８４は、図５に示すように、各ズームレンズ５ａ、７ａのズーム位置と、これに対応するズレベクトルＭとを関連付けたテーブルデータとして構成される。

次に、図６に示すフローチャートを参照しながら、立体画像生成回路７５による立体画像データの生成手順について説明する。立体画像生成回路７５は、ＣＰＵ７０から立体画像データの生成が指示されると、まずＳＤＲＡＭ７３から右眼画像データと左眼画像データとを読み出す。この後、立体画像生成回路７５は、ＣＰＵ７０から各モータドライバ３３、５３の制御情報を取得し、この制御情報を基に、各画像データを取得した時の各ズームレンズ５ａ、７ａのズーム位置を特定する。

立体画像生成回路７５は、ズーム位置を特定したら、補正データ記憶部８２にアクセスし、補正データ記憶部８２に調整後補正データ８４が記憶されているか否かを確認する。立体画像生成回路７５は、調整後補正データ８４が記憶されていない場合、特定したズーム位置に対応するズレベクトルＭを初期補正データ８３から取得する。一方、立体画像生成回路７５は、調整後補正データ８４が記憶されている場合、特定したズーム位置に対応するズレベクトルＭを調整後補正データ８４から取得する。

立体画像生成回路７５は、ズレベクトルＭを取得したら、そのズレベクトルＭを基に、右眼画像データと左眼画像データとの重複エリアの特定を行う。立体画像生成回路７５は、図７に示すように、右眼画像９０Ｒと左眼画像９０Ｌとの一方をＭ／２分移動させるとともに、他方を反対側にＭ／２分移動させる。図４、及び図７に示す例では、左眼画像９０Ｌ側を基準にズレベクトルＭを構成しているから、左眼画像９０ＬをＭ／２、右眼画像９０Ｒを−Ｍ／２移動させている。そして、立体画像生成回路７５は、移動後の各画像９０Ｒ、９０Ｌの互いに重なり合う部分を、それぞれの重複エリア９２Ｒ、９２Ｌとして特定する。

立体画像生成回路７５は、各重複エリア９２Ｒ、９２Ｌを特定したら、右眼画像データから重複エリア９２Ｒに対応する部分を切り出すとともに、左眼画像データから重複エリア９２Ｌに対応する部分を切り出す。この後、立体画像生成回路７５は、切り出した各重複エリア９２Ｒ、９２Ｌを基に、液晶ディスプレイ１５に対応したレンチキュラレンズ方式の立体画像データを生成する。これにより、各画像９０Ｒ、９０Ｌの位置ズレが補正された良好な立体画像データが得られるようになる。

次に、図８に示すフローチャートを参照しながら、初期補正データ８３の取得手順について説明する。初期補正データ８３は、前述のように、製造時の検査において取得される。検査者は、初期補正データ８３を取得する場合、先ず、三脚や専用の治具にステレオカメラ２を固定するとともに、各撮像部３、４のテレ端に対応した所定の距離に補正時の目印となる指標（チャートなど）を配置し、セットアップを行う。この後、検査者は、電源スイッチ１２を操作してステレオカメラ２に電源を投入する。

ステレオカメラ２のＣＰＵ７０は、補正データ記憶部８２に初期補正データ８３が記憶されていない状態で電源が投入された場合、初期補正データ８３を取得するための初期補正データ取得モードで起動する。初期補正データ取得モードで起動したＣＰＵ７０は、まず各モータドライバ３３、５３に制御信号を送信して各フォーカスモータ３２、５２を駆動し、各ズームレンズ５ａ、７ａをテレ端に移動させる。

ＣＰＵ７０は、各ズームレンズ５ａ、７ａをテレ端に移動させた後、右眼画像データ及び左眼画像データを取得し、これらの各画像データを重ねて液晶ディスプレイ１５に表示させる（図４参照）。この際、ＣＰＵ７０は、各画像９０Ｒ、９０Ｌを半透明化させる画像処理を画像信号処理回路７４に行わせることにより、重なった状態でも各画像９０Ｒ、９０Ｌの双方が確認できるようにする。なお、液晶ディスプレイ１５に表示させる各画像９０Ｒ、９０Ｌは、スルー画でもよいし、静止画として取得されたものでもよい。

ＣＰＵ７０は、上記のように各画像９０Ｒ、９０Ｌを重ねて表示した状態で十字キー１７が操作されると、その操作に応じた方向に左眼画像９０Ｌを所定量移動させる。検査者は、各画像９０Ｒ、９０Ｌが表示された後、十字キー１７を操作して左眼画像９０Ｌを移動させ、各画像９０Ｒ、９０Ｌに写った指標を重ね合わせることにより、テレ端における各画像９０Ｒ、９０Ｌの位置ズレを補正する。

検査者は、指標が重なるように左眼画像９０Ｌを移動させたら、決定ボタン１８を押下する。ＣＰＵ７０は、決定ボタン１８の押下に応答してテレ端における処理（各画像９０Ｒ、９０Ｌの位置合わせ）が完了したと判断し、その時点における左眼画像９０Ｌの初期位置からの移動量及び方向をテレ端のズレベクトルＭｔとして取得する。

ズレベクトルＭｔを取得したＣＰＵ７０は、各モータドライバ３３、５３に制御信号を送信して各フォーカスモータ３２、５２を駆動し、各ズームレンズ５ａ、７ａをワイド端に移動させる。そして、テレ端の場合と同様の手順でワイド端のズレベクトルＭｗを取得する。この際、検査者は、必要に応じて各撮像部３、４のワイド端に対応した距離に指標を移動させる。

テレ端のズレベクトルＭｔ、及びワイド端のズレベクトルＭｗが取得できた場合、これらの間に位置する各ズーム位置ｎのズレベクトルＭｎは、下記（１）式で示すように、取得したテレ端及びワイド端の各ズレベクトルＭｔ、Ｍｗ、及びテレ端の焦点距離Ｆｔ、ワイド端の焦点距離Ｆｗ、任意のズーム位置ｎの焦点距離Ｆｎの比から求めることができる。
Ｍｎ＝Ｍｔ＋｛（Ｆｔ−Ｆｎ）／（Ｆｔ−Ｆｗ）｝×（Ｍｗ−Ｍｔ） ・・・ （１）

ＣＰＵ７０は、ズレベクトルＭｗを取得した後、焦点距離情報８１ａから各焦点距離Ｆｔ、Ｆｗ、Ｆｎを読み出し、（１）式を用いて各ズーム位置ｎのズレベクトルＭｎを算出する。そして、取得したテレ端のズレベクトルＭｔ、ワイド端のズレベクトルＭｗ、及び算出した各ズーム位置ｎのズレベクトルＭｎを、初期補正データ８３として補正データ記憶部８２に保存する。

以上により、初期補正データ８３が取得される。上記のように、初期補正データ８３は、製造段階において検査者が実際に位置ズレの調整作業を行うものである。従って、この初期補正データ８３を用いて補正を行うことにより、製造段階で生じた各撮像部３、４の光軸ズレにともなう各画像の位置ズレを補正することができる。また、上記のように、テレ端及びワイド端の調整作業のみを行い、その間の各ズーム位置ｎのズレベクトルＭｎを計算で算出するようにすれば、初期補正データ８３の取得に掛かる手間を大幅に軽減させることができる。

次に、図９に示すフローチャートを参照しながら、キャリブレーションモードの動作手順について説明する。ユーザは、ステレオカメラ２に衝撃が加わって各撮像部３、４の光軸に狂いが生じた場合などに、モード切替ダイヤル１３を操作し、ステレオカメラ２をキャリブレーションモードに設定して調整後補正データ８４の取得を行う。

ステレオカメラ２のＣＰＵ７０は、キャリブレーションモードが設定されると、初期補正データ取得モードの場合と同様に、半透明化させた各画像９０Ｒ、９０Ｌを重ねて液晶ディスプレイ１５に表示させる。そして、十字キー１７の操作に応答して、その操作に応じた方向に左眼画像９０Ｌを所定量移動させる。

ユーザは、各画像９０Ｒ、９０Ｌが表示された後、十字キー１７を操作して左眼画像９０Ｌを移動させ、各画像９０Ｒ、９０Ｌに写った同一被写体を重ね合わせることにより、各画像９０Ｒ、９０Ｌの位置ズレを補正する。この際、ユーザは、各画像９０Ｒ、９０Ｌの位置を合わせ易いよう、ズームボタン１４を操作し、目標とする被写体がある程度の大きさで表示されるように各ズームレンズ５ａ、７ａのズーム位置を調節する。なお、位置合わせを行う各画像９０Ｒ、９０Ｌに静止画を用いる場合には、静止画を取得する前（シャッタレリーズの前）にズーム位置の調節を行えばよい。

ユーザは、同一被写体が重なるように左眼画像９０Ｌを移動させたら、決定ボタン１８を押下する。ＣＰＵ７０は、決定ボタン１８が押下されると、これに応答し、各モータドライバ３３、５３の制御情報を基に、決定ボタン１８が押下された時の各ズームレンズ５ａ、７ａのズーム位置Ｃを特定する。この後、ＣＰＵ７０は、決定ボタン１８が押下された時点における左眼画像９０Ｌの初期位置からの移動量及び方向をズーム位置Ｃにおけるキャリブレーション後のズレベクトルＭｃ’（請求項記載の調整用ズレベクトルに相当）として取得する。

ＣＰＵ７０は、ズレベクトルＭｃ’を取得したら、補正データ記憶部８２にアクセスし、初期補正データ８３からズーム位置Ｃの初期段階のズレベクトルＭｃ（請求項記載の初期ズレベクトルに相当）を読み出す。ＣＰＵ７０は、ズレベクトルＭｃを読み出したら、この初期段階のズレベクトルＭｃとキャリブレーション後のズレベクトルＭｃ’との変化量を示す変化ベクトルｄＭｃ（図１０参照）を、下式（２）により算出する。
ｄＭｃ＝Ｍｃ’−Ｍｃ ・・・ （２）

ＣＰＵ７０は、ズーム位置Ｃでの変化ベクトルｄＭｃを算出したら、この変化ベクトルｄＭｃを基に、下記（３）式に示すように、ズーム位置Ｃの焦点距離Ｆｃと、任意のズーム位置ｎの焦点距離Ｆｎとの比から、任意のズーム位置ｎでの変化ベクトルｄＭｎを算出する。
ｄＭｎ＝Ｆｎ／Ｆｃ×ｄＭｃ ・・・ （３）

ＣＰＵ７０は、任意のズーム位置ｎでの変化ベクトルｄＭｎを算出したら、続いて下記（４）式に示すように、初期補正データ８３から読み出した任意のズーム位置ｎのズレベクトルＭｎと、算出した変化ベクトルｄＭｎとの和から、任意のズーム位置ｎでのキャリブレーション後のズレベクトルＭｎ’を算出する。なお、（４）式において、Ｍｎは（１）式で表され、ｄＭｎは（３）式で表されるから、任意のズーム位置ｎでのキャリブレーション後のズレベクトルＭｎ’は、（１）式及び（３）式を（４）式に代入した下記（５）式としても求めることができる。
Ｍｎ’＝Ｍｎ＋ｄＭｎ ・・・ （４）
Ｍｎ’＝Ｍｔ＋｛（Ｆｔ−Ｆｎ）／（Ｆｔ−Ｆｗ）｝×（Ｍｗ−Ｍｔ）
＋Ｆｎ／Ｆｃ×ｄＭｃ ・・・ （５）

ＣＰＵ７０は、ズーム位置の値を変えながらズレベクトルＭｎ’を算出する処理を繰り返し行い、テレ端、ワイド端を含む全てのズーム位置でのキャリブレーション後のズレベクトルＭｎ’を算出する。そして、ＣＰＵ７０は、最初に取得したズレベクトルＭｃ’、及びこれを基に算出した各ズレベクトルＭｎ’を、調整後補正データ８４として補正データ記憶部８２に保存する。この際、ＣＰＵ７０は、前回取得した調整後補正データ８４が補正データ記憶部８２に記憶されている場合には、その古い調整後補正データ８４を消去し、今回新たに取得した調整後補正データ８４に書き換える。

以上により、調整後補正データ８４が取得される。上記のように、調整後補正データ８４は、ユーザが初期補正データ８３を再調整することによって取得されるものである。従って、この調整後補正データ８４を用いて補正を行うことにより、製造後に生じた各撮像部３、４の光軸ズレにともなう各画像の位置ズレも補正することができる。また、一箇所のズーム位置Ｃで調整作業を行うだけで、初期補正データ８３を再調整することができるので、各撮像部３、４に設定された複数のズーム位置毎に調整作業を行う必要がなく、機械操作に不慣れなユーザであっても、初期補正データ８３を簡単に再調整することができる。

上記実施形態では、キャリブレーションモードが設定された後、ユーザに手動で各ズームレンズ５ａ、７ａのズーム位置を調節させるようにしたが、これに限ることなく、図１１のフローチャートに示すように、キャリブレーションモードが設定されたことに応答して各フォーカスモータ３２、５２を駆動し、各ズームレンズ５ａ、７ａを自動的にテレ端に移動させるようにしてもよい。

各撮像部３、４の光軸ズレにともなう各画像９０Ｒ、９０Ｌの位置ズレは、各ズームレンズ５ａ、７ａがテレ端にあるときに、最も影響が大きくなる。従って、上記のように、各ズームレンズ５ａ、７ａを自動的にテレ端に移動させた状態で各画像９０Ｒ、９０Ｌの位置合わせを行わせるようにすれば、各画像９０Ｒ、９０Ｌの位置ズレ、及びこれにともなうズレベクトルＭｎ’などの計算誤差が抑えられ、より精度の高い調整後補正データ８４を得ることができる。

上記実施形態では、各画像９０Ｒ、９０Ｌの位置ズレを補正する際に、各画像９０Ｒ、９０Ｌの双方をＭ／２ずつ移動させるようにしたが、これに限ることなく、各画像９０Ｒ、９０Ｌの一方を他方に向けてズレベクトルＭ分移動させるようにしてもよい。
ところで、各画像９０Ｒ、９０Ｌの水平方向の位置ズレは、立体画像の立体視のし易さに対して、さほど影響が大きくない。そこで、上記実施形態では、各画像９０Ｒ、９０Ｌの垂直方向及び水平方向の位置ズレを補正するようにしたが、ズレベクトルＭの垂直成分のみを用いることにより、垂直方向の位置ズレのみを補正するようにしてもよい。

上記実施形態では、各補正データ８３、８４を取得する際に、十字キー１７の操作に応答して左眼画像９０Ｌを移動させるようにしたが、これとは反対に、右眼画像９０Ｒを移動させるようにしてもよい。また、上記実施形態では、検査者やユーザが十字キー１７を操作することによって各画像９０Ｒ、９０Ｌの位置合わせを行うようにしたが、これに限ることなく、周知のパターン認識技術を用いて各画像９０Ｒ、９０Ｌのそれぞれから所定の被写体（指標）を抽出することにより、画像処理で各画像９０Ｒ、９０Ｌの位置合わせを自動的に行ってもよい。

上記実施形態では、初期補正データ記憶手段と調整後補正データ記憶手段とを、同じ補正データ記憶部８２として示したが、初期補正データ記憶手段と調整後補正データ記憶手段とは、もちろん別々の記憶媒体としてもよい。

上記各実施形態では、液晶ディスプレイ１５を表面にレンチキュラレンズが設けられた三次元ディスプレイとし、レンチキュラレンズ方式の立体画像データを生成するようにしたが、これに限ることなく、液晶ディスプレイ１５を表面にパララックスバリアが設けられた三次元ディスプレイとし、パララックスバリア方式の立体画像データを生成してもよい。さらには、偏光フィルタメガネを用いて観察する偏光表示方式の立体画像データなどでもよい。

上記各実施形態では、第１及び第２の２つの撮像部３、４を備えたステレオカメラ２に本発明を適用した例を示したが、本発明は、これに限ることなく、３つ以上の撮像部を有するカメラに適用してもよい。

２ ステレオカメラ（複眼カメラ）
３ 第１撮像部（撮像光学系）
４ 第２撮像部（撮像光学系）
１３ モード切替ダイヤル（キャリブレーションモード設定手段）
１５ 液晶ディスプレイ（表示手段）
１７ 十字キー（ズレベクトル取得手段）
７０ ＣＰＵ（調整後補正データ生成手段、ズーム制御手段）
７５ 立体画像生成回路（補正手段）
８２ 補正データ記憶部（初期補正データ記憶手段、調整後補正データ記憶手段）
８３ 初期補正データ
８４ 調整後補正データ

Claims (9)

1. 所定の範囲で変倍可能なズーム機能を有する複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラにおいて、
   前記各画像を重ねたときに生じる前記各画像の相対的な位置ズレのズレ量と方向とを示すズレベクトルを前記各撮像光学系のズーム位置毎に予め取得した初期補正データを記憶する初期補正データ記憶手段と、
   前記初期補正データを再調整するキャリブレーションモードを設定するためのキャリブレーションモード設定手段と、
   前記キャリブレーションモードが設定された際に、任意のズーム位置での前記ズレベクトルを調整用ズレベクトルとして取得するためのズレベクトル取得手段と、
   前記調整用ズレベクトルと前記初期補正データとを基に、前記初期補正データを再調整した調整後補正データを生成する調整後補正データ生成手段と、
   生成された前記調整後補正データを記憶する調整後補正データ記憶手段と、
   前記立体画像を生成する際に、前記調整後補正データ記憶手段に前記調整後補正データが記憶されていない場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記初期補正データから取得し、記憶されている場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記調整後補正データから取得し、取得した前記ズレベクトルに基づいて前記各画像の位置ズレを補正する補正手段とを備え、
   前記調整後補正データ生成手段は、前記調整用ズレベクトルを取得した時のズーム位置に対応する前記ズレベクトルを初期ズレベクトルとして前記初期補正データから取得し、前記初期ズレベクトルに対する前記調整用ズレベクトルの第１の変化量を算出し、前記第１の変化量と、前記調整用ズレベクトルを取得した時のズーム位置の焦点距離と任意のズーム位置の焦点距離との比とから前記任意のズーム位置における前記初期ズレベクトルに対する前記ズレベクトルの第２の変化量を算出し、前記任意のズーム位置に対応する前記初期ズレベクトルを前記初期補正データから取得し、前記任意のズーム位置における前記第２の変化量と、当該ズーム位置における前記初期ズレベクトルとの和を、当該ズーム位置の前記調整後補正データとして生成することを特徴とする複眼カメラ。
2. 前記キャリブレーションモードが設定されたことに応答して前記各撮像光学系のズーム位置をテレ端にするズーム制御手段を備えたことを特徴とする請求項１記載の複眼カメラ。
3. 前記補正手段は、取得した前記ズレベクトルを基に、前記各画像から互いに重なり合う重複エリアを特定し、前記各重複エリアを前記各画像から切り出すことによって前記各画像の位置ズレを補正することを特徴とする請求項１または２のいずれか１項に記載の複眼カメラ。
4. 前記各画像を重ねて表示可能な表示手段を有し、
   前記ズレベクトル取得手段は、前記各画像のいずれかを任意の方向に移動させる指示を入力するための操作部材であり、
   前記表示手段の画面上で前記各画像に写った同一被写体を重ね合わせることにより、移動させた前記画像の初期位置からの移動量及び方向を前記調整用ズレベクトルとして取得することを特徴とする請求項１ないし３のいずれか１項に記載の複眼カメラ。
5. 前記調整後補正データ記憶手段は、前記キャリブレーションモードが実行される毎に、新たに取得された前記調整後補正データに書き換えることを特徴とする請求項１ないし４のいずれか１項に記載の複眼カメラ。
6. 所定の範囲で変倍可能なズーム機能を有する複数の撮像光学系を用いて両眼視差の生じる複数の画像を取得し、各画像を合成することによって立体視が可能な立体画像を生成する複眼カメラの制御方法において、
   前記各画像を重ねたときに生じる前記各画像の相対的な位置ズレのズレ量と方向とを示すズレベクトルを前記各撮像光学系のズーム位置毎に予め取得し、初期補正データとして記憶手段に記憶させる初期補正データ取得ステップと、
   前記初期補正データを再調整するキャリブレーションモードが設定された際に、任意のズーム位置での前記ズレベクトルを調整用ズレベクトルとして取得するズレベクトル取得ステップと、
   前記調整用ズレベクトルと前記初期補正データとを基に、前記初期補正データを再調整した調整後補正データを生成する調整後補正データ生成ステップと、
   生成した前記調整後補正データを調整後補正データ記憶手段に記憶させる調整後補正データ記憶ステップと、
   前記立体画像を生成する際に、前記調整後補正データ記憶手段に前記調整後補正データが記憶されていない場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記初期補正データから取得し、記憶されている場合には、前記各画像を取得した時の前記各撮像光学系のズーム位置に応じた前記ズレベクトルを前記調整後補正データから取得し、取得した前記ズレベクトルに基づいて前記各画像の位置ズレを補正する補正ステップとを有し、
   前記調整後補正データ生成ステップは、
   前記調整用ズレベクトルを取得した時のズーム位置に対応する前記ズレベクトルを初期ズレベクトルとして前記初期補正データから取得するステップと、
   前記初期ズレベクトルに対する前記調整用ズレベクトルの第１の変化量を算出するステップと、
   前記第１の変化量と、前記調整用ズレベクトルを取得した時のズーム位置の焦点距離と任意のズーム位置の焦点距離との比とから前記任意のズーム位置における前記初期ズレベクトルに対する前記ズレベクトルの第２の変化量を算出するステップと、
   前記任意のズーム位置に対応する前記初期ズレベクトルを前記初期補正データから取得するステップと、
   前記任意のズーム位置における前記第２の変化量と、当該ズーム位置における前記初期ズレベクトルとの和を、当該ズーム位置の前記調整後補正データとして生成するステップとからなることを特徴とする複眼カメラの制御方法。
7. 前記キャリブレーションモードが設定されたことに応答して前記各撮像光学系のズーム位置をテレ端にするステップを有することを特徴とする請求項６記載の複眼カメラの制御方法。
8. 前記補正ステップは、取得した前記ズレベクトルを基に、前記各画像から互いに重なり合う重複エリアを特定するステップと、前記各重複エリアを前記各画像から切り出すことによって前記各画像の位置ズレを補正するステップとからなることを特徴とする請求項６または７記載の複眼カメラの制御方法。
9. 前記初期補正データ取得ステップは、
   前記各撮像光学系のズーム位置をテレ端にしたとき、及びワイド端にしたときの前記各ズレベクトルを取得するステップと、
   取得したテレ端及びワイド端の前記各ズレベクトル、及び前記各撮像光学系のテレ端とワイド端と任意のズーム位置との焦点距離の比から前記任意のズーム位置における前記ズレベクトルを算出するステップとからなることを特徴とする請求項６ないし８のいずれか１項に記載の複眼カメラの制御方法。

Images