JP3595634B2

JP3595634B2 - Compound eye camera and image processing method

Info

Publication number: JP3595634B2
Application number: JP26120796A
Authority: JP
Inventors: 基博石川; 直倉橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-11
Filing date: 1996-09-11
Publication date: 2004-12-02
Anticipated expiration: 2016-09-11
Also published as: JPH1090814A

Description

【０００１】
【発明の属する技術分野】
本発明は、複眼カメラ及び画像処理方法、特に立体映像又は２次元映像の撮像及び表示が可能な複眼カメラ及び画像処理方法に関する。
【０００２】
【従来の技術】
立体映像を撮像及び表示する場合、これまでに考えられた立体映像撮像用のカメラでは、基本的に複数のカメラから視差を持った一組の映像を得て、これをそのカメラ専用の立体映像表示装置により操作者に立体映像を提供していた（特開昭６２−２１３９６号公報）。
【０００３】
また、この立体映像撮像用のカメラでは、現在の映像の主流である２次元映像との互換性については考慮されておらず、立体映像撮像用のカメラと２次元映像撮像用のカメラとは分離されてそれぞれ独立していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、この立体映像撮像用のカメラでは、撮像を行うカメラと、立体映像を表示する立体ディスプレイとが分離しているため、映像が立体的に表示できない場合があり、映像を見ながらカメラの調整を行うことが難しかった。
【０００５】
また、この立体映像撮像用のカメラでは、現在の映像の主流である２次元映像との互換性がないため、個人が立体映像を撮像しようとした場合、改めて立体映像用カメラを購入する必要があり負担が大きかった。
【０００６】
よって、本発明の目的は、撮像中に常に立体映像が表示でき、これにより撮像しながら映像の立体感の調整ができ、また２次元映像と互換性を持つ複眼カメラ及び画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、被写体光を集光して被写体を撮像する複数の撮像手段と、前記複数の撮像手段により撮像された前記被写体の複数の映像信号を表示する表示手段とを備える複眼カメラにおいて、前記複数の撮像手段によって撮像された前記被写体の複数の映像信号を立体映像信号として視認できるように合成する立体映像信号合成手段と、前記立体映像信号合成手段により合成された立体映像信号を表示する合成映像信号表示手段と、前記複数の撮像手段中の１つの撮像手段を選択する撮像選択手段と、前記撮像選択手段によって選択された前記１つの撮像手段で前記被写体を撮像する手段とを備えることを特徴とする。
【０００８】
請求項２の発明は、請求項１記載の複眼カメラにおいて、前記複数の撮像手段によって撮像された前記被写体の複数の映像信号を２次元映像信号として視認できるようにする２次元映像信号表示手段を備えることを特徴とする。
【０００９】
請求項３の発明は、請求項２記載の複眼カメラにおいて、前記立体映像信号合成手段と前記２次元映像信号表示手段とを択一的に選択する表示選択手段を備えることを特徴とする。
【００１０】
請求項４の発明は、請求項２又は３記載の複眼カメラにおいて、前記合成映像信号表示手段での前記立体映像信号の表示周期が前記２次元映像信号の表示周期に比べ２倍にすることを特徴とする。
【００１１】
請求項５の発明は、請求項１乃至４のいずれか１項記載の複眼カメラにおいて、前記合成映像信号表示手段がレンチキュラーレンズを備えることを特徴とする。
【００１２】
請求項６の発明は、請求項１乃至４のいずれか１項記載の複眼カメラにおいて、前記合成映像信号表示手段がパララックスバリヤを備えることを特徴する。
【００１３】
請求項７の発明は、請求項２乃至４のいずれか１項記載の複眼カメラにおいて、前記合成映像信号表示手段での前記２次元映像信号の表示周期に同期して動作するシャッター付き眼鏡を備えることを特徴とする。
【００１５】
請求項８の発明は、請求項１乃至７のいずれか１項記載の複眼カメラにおいて、前記複数の撮像手段が前記合成映像信号表示手段に対してそれぞれ回動できるように保持され、前記複数の撮像手段の前記合成映像信号表示手段に対するそれぞれの回動角を検知する回動角検知手段を備えることを特徴とする。
【００１６】
請求項９の発明は、請求項８に記載の複眼カメラにおいて、前記回動角検知手段により検知された回動角に基づいて前記２次元映像信号表示手段と前記立体映像信号合成手段とを択一的に選択する第２表示選択手段を備えることを特徴とする。
【００１７】
請求項１０の発明は、被写体光を集光し被写体を撮像する複数の撮像工程と、前記複数の撮像工程により撮像された前記被写体の複数の映像信号を表示する表示工程とを含む画像処理方法において、前記複数の撮像工程によって撮像された前記被写体の複数の映像信号を立体映像信号として視認できるように合成する立体映像信号合成工程と、前記立体映像信号合成工程により合成された立体映像信号を表示する合成映像信号表示工程と、前記複数の撮像工程中の１つの撮像工程を選択する撮像選択工程と、前記撮像選択工程によって選択された前記１つの撮像工程で前記被写体を撮像する工程とを含むことを特徴とする。
【００１８】
請求項１１の発明は、請求項１０記載の画像処理方法において、前記複数の撮像工程によって撮像された前記被写体の複数の映像信号を２次元映像信号として視認できるように表示する２次元映像信号表示工程を含むことを特徴とする。
【００１９】
請求項１２の発明は、請求項１１記載の画像処理方法において、前記立体映像信号合成工程と前記２次元映像信号表示工程とを択一的に選択する表示選択工程を含むことを特徴とする。
【００２０】
請求項１３の発明は、請求項１１又は１２記載の画像処理方法において、前記合成映像信号表示工程での前記立体映像信号の表示周期が前記２次元映像信号の表示周期に比べ２倍にすることを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態に係る複眼カメラを図面を参照して説明する。
【００２２】
（第１の実施の形態）
以下、図１（Ａ）、図１（Ｂ）及び図２を参照しながら本発明の第１の実施の形態に係る複眼カメラの構成を説明する。ここで、図１（Ａ）は本発明の第１の実施の形態に係る複眼カメラの正面図であり、図１（Ｂ）は本発明の第１の実施の形態に係る複眼カメラの背面図であり、図２は本発明の第１の実施の形態に係る複眼カメラの斜視図である。
【００２３】
まず、図１（Ａ）及び図１（Ｂ）に示すように、本複眼カメラは、カメラ本体１と、カメラ本体１の左右に取り付けられ、表側に２つのレンズ３ａ，３ｂをそれぞれ有する２つのカメラヘッド２ａ，２ｂと、カメラ本体１の裏側に設けられた立体ディスプレイ４とを備える。ここで、カメラヘッド２ａ，２ｂは撮像手段を構成し、立体ディスプレイ４は表示手段を構成する。
【００２４】
カメラヘッド２ａ，２ｂは映像の立体感を出すためにカメラ本体１の左右にそれぞれ配置され、基線長を長く取る構成になっている。また、立体ディスプレイ４は左右のカメラヘッド２ａ，２ｂに含まれるレンズ３ａ，３ｂのそれぞれから得られた映像を立体的に表示する。立体ディスプレイ４の方式は多くの方式が考えられるが、ここではシャッター付き眼鏡等の特殊な器具を必要としないレンチキュラー方式とする。
【００２５】
図２に示すように、撮影時は、操作者はレンズ３ａ，３ｂにより撮像された立体映像を立体ディスプレイ４によって立体的に観察することができる。このとき、レンズ３ａ，３ｂは立体ディスプレイ４に対して、被写体にあわせて回転させることができる。また、レンズ３ａ，３ｂの位置を被写体にあわせて固定し、立体ディスプレイ４を操作者にあわせるように回転してもよい。
【００２６】
次に、図３を参照しながら、本発明の第１の実施の形態に係る複眼カメラの構成を説明する。ここで、図３は本発明の第１の実施の形態に係る複眼カメラの構成のブロック図である。
【００２７】
本複眼カメラは、レンズ３１ａ，３１ｂ、２つの撮像素子３２ａ，３２ｂ、２つのＡ／Ｄ変換器３３ａ，３３ｂ、２つのＦＩＦ０３４ａ，３４ｂ、タイミングジェネレータ３５、信号変換器３６、メモリを内部に含むＣＰＵ３７、表示制御部３８、立体ディスプレイ３９、記録制御部４０、記録媒体４１、及びカメラ制御部４２からなる。ここで、信号変換器３６は、立体映像信号合成手段、２次元映像信号合成手段、及び第１選択手段を構成し、立体ディスプレイ３９は合成映像信号表示手段を構成し、カメラ制御部４２は第２選択手段を構成する。
【００２８】
撮像素子３２ａ，３２ｂ、Ａ／Ｄ変換器３３ａ，３３ｂ、ＦＩＦ０３４ａ，３４ｂはそれぞれ直列的に接続されており、さらに信号変換器３６が接続されている。立体ディスプレイ３９は表示制御部３８を介して信号変換器３６に接続されており、また、記録媒体４１は記録制御部４０を介して信号変換器３６に接続されている。Ａ／Ｄ変換器３３ａ，３３ｂは直接ＣＰＵ３７に接続されており、ＦＩＦ０３４ａ，３４ｂはタイミングジェネレータ３５を介してＣＰＵ３７に接続されている。表示制御部３８、記録制御部４０、及びカメラ制御部４２はＣＰＵ３７にそれぞれ接続されている。
【００２９】
撮像素子３２ａ，３２ｂは、ＣＣＤ等からなり、レンズ３１ａ，３１ｂにより撮像された映像を光電効果により電気信号に変換し、Ａ／Ｄ変換器３３ａ，３３ｂはこの電気信号をデジタル信号に変換する。このデジタル信号は２次元の映像信号である。ＦＩＦ０３４ａ，３４ｂは、当該２次元映像信号を後述する立体映像信号生成のため一時保存する。タイミングジェネレータ３５は書き込み用制御信号をＦＩＦＯ３４ａ，３４ｂに供給する。ＣＰＵ３７はＡ／Ｄ変換器３３ａ，３３ｂ、ＦＩＦＯ３４ａ，３４ｂ、タイミングジェネレータ３５、信号変換器３６、表示制御部３８、記録制御部４０、及びカメラ制御部４２を制御する。信号変換器３６はＦＩＦ０３４ａ，３４ｂに書き込まれた２次元映像信号を立体映像信号に変換し、表示制御部３８は信号変換器３６で生成された立体映像信号を立体ディスプレイ３９に表示する。記録制御部４０はカメラで使用する記録媒体４１へ立体映像信号の書き込みを行い、カメラ制御部４２は操作者からの入力された内容の入力信号をＣＰＵ３７に送信する。
【００３０】
まず、操作者が映像の記録又は再生等の操作をカメラ制御部４２に対して入力すると、この入力に対する信号がカメラ制御部４２からＣＰＵ３７へ送られ、ＣＰＵ３７により各部の制御が行われる。本実施の形態ではカメラ制御部４２で立体映像撮像モードが選択されたとする。操作者がレンズ３１ａ，３１ｂより撮像した映像は、撮像素子３２ａ，３２ｂ上に結像される。さらに、撮像素子３２ａ，３２ｂ上に結像された映像は光電変換により電気信号に変換され、続けてＡ／Ｄ変換器３３ａ，３３ｂによりデジタル信号に変換される。このデジタル信号は、２次元の映像信号である。このとき左右の２次元映像信号はＣＰＵ３７の制御により互いに同期して駆動されるので、常に左右同じ位置の信号が処理される。２次元映像信号は後述する立体映像信号生成のため、一時的にＦＩＦ０３４ａ，３４ｂへ書き込まれる。このＦＩＦ０３４ａ，３４ｂは立体ディスプレイ３９の２画面分の映像に該当する２次元映像信号を記憶する領域を持っており、ＦＩＦＯ３４ａ，３４ｂの先頭に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号が書き込まれた後、続けてＦＩＦＯ３４ａ，３４ｂの後部に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号が書き込まれる。立体ディスプレイ３９の２画面分の映像に該当する２次元映像信号がＦＩＦＯ３４ａ，３４ｂに書き込まれると、再びＦＩＦＯ３４ａ，３４ｂの先頭に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号が上書きされていく。書き込み用制御信号は、ＣＰＵ７によって制御されるタイミングジェネレータ３５によって供給される。
【００３１】
ＦＩＦ０３４ａ，３４ｂに書き込まれた２次元映像信号は、信号変換器３６で立体映像信号に変換される。２次元映像信号の立体映像信号への変換とは、図４に示すように、ＦＩＦ０３４ａ，３４ｂに書き込まれた２次元映像信号である右側映像信号（図４（Ａ））及び左側映像信号（図４（Ｂ））を縦１ラインごとに交互に配置し（図４（Ｃ））、１つの立体映像信号を生成することである。ここで、図４は２次元映像信号の立体映像信号への変換の説明図であり、（Ａ）は右側映像信号を示し、（Ｂ）は左側映像信号を示し、（Ｃ）は立体映像信号を示す。
【００３２】
信号変換器３６で単純に右側映像信号及び左側映像信号の全ての領域を変換した場合、生成される立体映像信号は元の右側映像信号又は左側映像信号に比べて横幅が２倍になってしまうため、生成される立体映像信号を横方向に半分に間引くか、若しくは右側映像信号又は左側映像信号の一部を用いて立体映像信号を生成する必要がある。ここでは生成される立体映像信号の中央部分のみを表示のために使用して実質的な映像信号のアスペクト比が変化しないようにしている。
【００３３】
この信号変換器３６はＣＰＵ３７の制御により、ＦＩＦＯ３４ａ，３４ｂの先頭に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号が書き込まれた後、かかる２次元映像信号を読み出すのと同時にＦＩＦＯ３４ａ，３４ｂの後部に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号が書き込まれるので、ＣＰＵ３７から送信される書き込み用制御信号と読み出し用制御信号とは常に立体ディスプレイ３９の１画面分の映像に該当する２次元映像信号の１周期分だけずれることになる。この様子は図５の制御信号の説明図に示している。また、信号変換器３６では、読み出し用制御信号がＦＩＦ０３４ａ，３４ｂに同時に与えられることから、上記２次元映像信号が書き込まれる速度の２倍の速度でＦＩＦ０３４ａ，３４ｂ中の右側映像信号又は左側映像信号を交互に読み込み、撮像時のフレーム落ちを発生させずに順次処理を行う。この処理により、信号変換器３６は、右側映像信号又は左側映像信号のどちらか一方の映像信号の大きさに等しいサイズの立体映像信号を生成する。
【００３４】
信号変換器３６で生成された立体映像信号は、ＣＰＵ３７の制御により表示制御部３８を介して記録制御部４０へ送られ記録される。表示制御部３８では生成された立体映像信号を立体ディスプレイ３９に表示する。
【００３５】
図６（Ａ）及び図６（Ｂ）は立体映像信号を表示した立体ディスプレイ３９を上部から見た状態の説明図であり、右側映像信号及び左側映像信号を縦１ラインごとに交互に配置した立体映像信号をそのまま表示している。立体ディスプレイ３９の前面には立体映像信号を操作者の左右の目に別々に入射するように立体映像用アダプタがあらかじめ付けられている。この立体映像用アダプタには数種類のものが考えられるが、図６（Ａ）は立体映像用アダプタとしてレンチキュラーレンズ６１を配置したもの示し、図６（Ｂ）は立体映像用アダプタとしてパララックスバリヤ６２を配置したものを示している。尚、レンチキュラーレンズ６１及びパララックスバリヤ６２のピッチは、立体ディスプレイ３９の画素ピッチ及び操作者の観察位置から計算されるピッチに予め合わせてある。また、２次元映像信号との互換性を考え、このアダプタを取りはずすこともできる。
【００３６】
記録制御部４０は、本複眼カメラで使用する記録媒体４１への立体映像信号の書き込みを行う。記録媒体４１の種類は磁気テープ、磁気ディスク、光ディスク、半導体メモリ等であり、この記録媒体４１を用い、記録制御部４０は記録媒体４１の空き領域に立体映像信号をデジタル形式のままファイルとして保存する。
【００３７】
記録媒体４１への記録の開始又は終了は、操作者がカメラ制御部４２へ希望の操作を入力することにより行われる。尚、操作者は記録動作を行わずに、立体ディスプレイ３９で立体映像信号の観察のみを行うこともできる。
【００３８】
次に、記録媒体４１に記録された立体映像信号の再生時の複眼カメラでの処理について説明する。記録媒体４１には複数のファイルがあり、その中に立体映像信号が記録されているため、まず記録制御部４０は記録媒体４１内の領域を調べ、記録されている複数のファイルをＣＰＵ３７に送る。ＣＰＵ３７では立体映像信号として再生可能なファイルを選択し、選択されたファイル名の一覧を任意の表示フォーマットに整え、表示制御部３８へ送り、立体ディスプレイ３９で表示する。操作者は表示されたファイル名の一覧から再生したいファイルを選択し、カメラ制御部４２へ入力する。カメラ制御部４２は操作者に選択されたファイル名をＣＰＵ３７に送信する。選択されたファイルはＣＰＵ３７により記録制御部４０を介して記録媒体４１から読み出され、表示制御部３８により立体映像信号として立体ディスプレイ３９に表示される。このように、特別な機器を必要とせずに、撮像された立体映像信号を簡単に再生することができる。
【００３９】
また、図１０の本発明の第１の実施の形態に係る複眼カメラの外観図に示すように、カメラヘッド２ａ，２ｂの正面にマイク５ａ，５ｂを配置することで、映像と共に音声に対しても、より立体的な効果が得られる。
【００４０】
次に、２次元映像信号生成までの複眼カメラでの処理及び２次元映像信号の再生時の複眼カメラでの処理について説明する。この場合の２次元映像信号の記録又は表示はレンズ３１ａ，３１ｂのうち片側のみの映像信号を処理することになる。このレンズの選択は、操作者がカメラ制御部４２へ入力を行うことで選択できる。
【００４１】
２次元映像信号生成までの複眼カメラでの処理が、立体映像信号生成までの複眼カメラでの処理と異なるのは、信号変換器３６がＦＩＦ０３４ａ，３４ｂに書き込まれた２次元映像信号を立体映像信号に変換せずに処理なしで表示制御部３８又は記録制御部４０へ送るセレクタとして動作する点である。それ以外の処理は、上述した処理と同様である。
【００４２】
尚、２次元映像信号の記録中に、操作者がカメラ制御部４２へ撮像するレンズを切り替える入力を行った場合、記録する２次元映像信号がレンズ３１ａ，３１ｂの切り替えによって一時的に乱れるというような影響を避けるため、ＣＰＵ３７ではレンズ３１ａ，３１ｂの切り替えを２次元映像信号の取り込みに同期して行う。
【００４３】
２次元映像信号の再生時の複眼カメラでの処理は、立体映像信号の再生時の複眼カメラでの処理と同様であり、この場合は２次元映像信号のファイル名を操作者に対して表示し、選択されたファイルを立体ディスプレイ３９へ表示する。
【００４４】
上述したように、第１の実施の形態によれば、操作者は複眼カメラにより撮像された立体映像信号をリアルタイムで立体的に観察できる。また、立体ディスプレイ３９が両眼で見られることから、撮像時の姿勢の自由度が大きく、撮像中複眼カメラを持って移動する場合でも立体感を確認することができる。このときの被写体の立体感調整は、例えば、図４で示される右側映像信号及び左側映像信号の変換に使用する部分を左右にずらすことでもできるが、撮像時の被写体と複眼カメラとの間の距離の変更又はレンズ３１ａ，３１ｂのズーム操作等の簡単な操作で調整を行うことができる。また、従来の単眼による撮像との切り替えも容易に行うことができる。
【００４５】
尚、第１の実施の形態に係る複眼カメラは、動画像及び静止画像のいずれの画像の撮像にも使用することができる。
【００４６】
（第２の実施の形態）
以下、図７及び図８を参照しながら本発明の第２の実施の形態に係る複眼カメラの構成を説明する。ここで、図７（Ａ）は本発明の第２の実施の形態に係る複眼カメラの正面図であり、図７（Ｂ）は本発明の第２の実施の形態に係る複眼カメラの背面図であり、図８は本発明の第２の実施の形態に係る複眼カメラの斜視図である。
【００４７】
まず、図７（Ａ）及び図７（Ｂ）に示すように、本複眼カメラはカメラ本体７０と、カメラ本体７０の上に取り付けられ、表側にレンズ７５ａ，７５ｂを有する１つのカメラヘッド７１と、立体映像観察のためのシャッター付き眼鏡７４をカメラ本体７０に接続すべくカメラ本体７０の裏側に設けられたコネクタ７２と、カメラ本体７０の裏側に設けられた立体ディスプレイ７３とを備える。
【００４８】
カメラヘッド７１は、図８に示すように撮像時に垂直軸のまわりに回転できるように構成されている。また、シャッター付き眼鏡７４は、立体ディスプレイ７３での映像信号表示に同期して左右のシャッターが開閉し、右側映像信号と左側映像信号とを操作者の左右の目に別々に表示することができる。このため、立体映像信号撮像時では映像信号の表示周期が２次元映像信号表示時の２倍となる。
【００４９】
以下、図９を参照しながら、本発明の第２の実施の形態に係る複眼カメラの構成を説明する。ここで、図９は本発明の第２の実施の形態に係る複眼カメラの構成のブロック図である。
【００５０】
本複眼カメラは、２つのレンズ９１ａ，９１ｂ、２つの撮像素子９２ａ，９２ｂ、２つのＡ／Ｄ変換器９３ａ，９３ｂ、スイッチ９４、ユニット９５、ＦＩＦ０９６、表示制御部９７、立体ディスプレイ９８、記録制御部９９、記録媒体１００、カメラ制御部１０１、シャッター制御部１０２、絞り１０３ａ，１０３ｂ、絞り制御部１０４ａ，１０４ｂ、フォーカス制御部１０５ａ，１０５ｂ、及びメモリを内部に含むＣＰＵ１０６からなる。
【００５１】
撮像素子９２ａ，９２ｂは、Ａ／Ｄ変換器９３ａ，９３ｂ及びスイッチ９４を介してユニット９５に接続されている。ユニット９５はＦＩＦＯ９６及び記録制御部９９にそれぞれ接続されている。ＦＩＦ０９６、表示制御部９７、及び立体ディスプレイ９８は直列的に接続されており、記録制御部９９は記録媒体１００に接続されている。ＦＩＦ０９６、表示制御部９７、記録制御部９９、カメラ制御部１０１、シャッター制御部１０２、絞り制御部１０４ａ，１０４ｂ、及びフォーカス制御部１０５ａ，１０５ｂはＣＰＵ１０６にそれぞれ接続されている。
【００５２】
撮像素子９２ａ，９２ｂは、ＣＣＤ等からなり、レンズ９１ａ，９１ｂにより撮像された映像を光電効果により電気信号に変換し、Ａ／Ｄ変換器９３ａ，９３ｂはこの電気信号をデジタル信号に変換する。このデジタル信号は２次元の映像信号である。スイッチ９４は左右のＡ／Ｄ変換器９３ａ，９３ｂより入力された２次元映像信号をユニット９５に左右交互に送信するのに使用する。ユニット９５は、ＡＦ（オートフォーカス）、ＡＥ（オートイクスポージャー）のための演算及びホワイトバランス調整を行う。ＦＩＦ０９６は立体ディスプレイ９８で表示する２次元映像信号を一時保存し、表示制御部９７はＦＩＦＯ９６に記憶された２次元映像信号を立体ディスプレイ９８で表示する。記録制御部９９は２次元映像信号を記録媒体１００へ書き込む。カメラ制御部１０１は操作者からの入力された内容の入力信号をＣＰＵ３７に送信し、シャッター制御部１０２はシャッター付き眼鏡７４の駆動を制御する。絞り制御部１０４ａ，１０４ｂは絞り１０３ａ，１０３ｂを制御し、フォーカス制御部１０５ａ，１０５ｂはレンズ９１ａ，９１ｂの位置を制御する。ＣＰＵ１０６はＦＩＦ０９６、表示制御部９７、記録制御部９９、カメラ制御部１０１、シャッター制御部１０２、絞り制御部１０４ａ，１０４ｂ、及びフォーカス制御部１０５ａ，１０５ｂをそれぞれ制御する。
【００５３】
まず、操作者は立体映像モード又は通常映像モードのモード選択を行い、所望の映像モードをカメラ制御部１０１へ入力する。ここでは立体映像モードが選択されたものとする。モード選択の結果はカメラ制御部１０１からＣＰＵ１０６へ伝えられ、ＣＰＵ１０６により各部の制御が行われる。操作者がレンズ９１ａ，９１ｂより撮像した映像は、撮像素子９２ａ，９２ｂ上に結像される。さらに、撮像素子９２ａ，９２ｂ上に結像された映像は光電変換により電気信号に変換され、続けてＡ／Ｄ変換器９３ａ，９３ｂによりデジタル信号に変換される。このデジタル信号は、２次元の映像信号である。スイッチ９４は、左右の２次元映像信号を別々にユニット９５に送るので、立体映像信号表示時では映像信号の表示周期が２次元映像信号表示時の２倍となる。従って、立体映像信号撮像時のＡ／Ｄ変換器９３ａ，９３ｂによる撮像素子９２ａ，９２ｂからの電気信号の読み出し速度は、２次元映像撮像時のＡ／Ｄ変換器９３ａ，９３ｂによる撮像素子９２ａ，９２ｂからの電気信号の読み出し速度に比ベて２倍の速さであり、また電気信号の読み出しは、まず左右の撮像素子９２ａ，９２ｂのどちらか一方の電気信号をすべて読み出し、その後他方の電気信号を読み出す。これら各部の制御はＣＰＵ１０６により行われる。
【００５４】
ユニット９５に送られた左右の２次元映像信号は、ＡＦ（オートフォーカス）、ＡＥ（オートイクスポージャー）のための演算及びホワイトバランス調整が行われる。ＡＦ（オートフォーカス）、ＡＥ（オートイクスポージャー）を行うための演算は、画像中の一定領域の映像信号輝度値を用いて行われ、その結果はＣＰＵ１０６へ送られる。
【００５５】
ＣＰＵ１０６ではユニット９５からの演算結果と、保持している現在の絞り１０３ａ，１０３ｂの状態及びレンズ９１ａ，９１ｂの位置より、適当な制御量を決定し、絞り制御部１０４ａ，１０４ｂ及びフォーカス制御部１０５ａ，１０５ｂへこの制御量を送る。絞り制御部１０４ａ，１０４ｂでは、この制御量に基づき絞り１０３ａ，１０３ｂを調整し、フォーカス制御部１０５ａ，１０５ｂでは、この制御量に基づきレンズ９１ａ，９１ｂの位置を調整する。
【００５６】
ユニット９５へは左右の２次元映像信号が交互に入力されるので、絞り制御部１０４ａ，１０４ｂ及びフォーカス制御部１０５ａ，１０５ｂの制御もこれにあわせて交互に行われる。
【００５７】
ユニット９５からホワイトバランス調整を受けた２次元映像信号は、立体ディスプレイ９８での表示及び記録媒体１００への記録に用いられる。
【００５８】
カメラ制御部１０１では立体ディスプレイ９８で立体映像信号の表示、右側映像信号の表示、又は左側映像信号の表示のいずれの表示をするかの選択がなされ、選択された結果がＣＰＵ１０６に送られる。
【００５９】
カメラ制御部１０１で立体映像信号の表示が選択された場合は、左右の２次元映像信号はＦＩＦ０９６を介して表示制御部９７へ順次送られ、立体ディスプレイ９８上に左右の２次元映像信号が左右交互に表示される。この２次元映像信号の左右切り替えのタイミングにあわせてＣＰＵ１０６からは同期信号がシャッター制御部１０２に送られ、当該シャッター制御部１０２でシャッター付き眼鏡７４を駆動するための信号が生成され、外部端子７２を介してシャッター付き眼鏡７４に送られる。シャッター付き眼鏡７４は駆動信号により、立体ディスプレイ９８での２次元映像信号の表示に同期して左右のシャッターの開閉を交互に切り替える。これにより操作者に対して立体映像信号を表示する。
【００６０】
カメラ制御部１０１で右側映像信号の表示が選択された場合は、ＣＰＵ１０６は右側映像信号のみを立体ディスプレイ９８上に表示するようにＦＩＦ０９６の制御を行う。ＣＰＵ１０６はＦＩＦ０９６に対して読み出し用制御信号を送る。ユニット９５からＦＩＦＯ９６に送られられてくる２次元映像信号が右側映像信号の場合には、ＣＰＵ１０６はＦＩＦ０９６に対して書き込み用制御信号を送り、ＦＩＦＯ９６は右側映像信号を記録し、その後に記録された右側映像信号を順次表示制御部９７に出力する。ＦＩＦ０９６から出力された右側映像信号は、表示制御部９７を介して立体ディスプレイ９８に表示される。一方、ユニット９５からＦＩＦＯ９６に送られられてくる２次元映像信号が左側映像信号の場合には、ＣＰＵ１０６はＦＩＦ０９６に読み出し用制御信号のみを送る。ＦＩＦ０９６には左側映像信号が記録されず直前に送られてきた右側映像信号が記録されているので、ＦＩＦ０９６は再び直前の右側映像信号を表示制御部９７に出力する。ＦＩＦ０９６から出力された右側映像信号は、表示制御部９７を介して立体ディスプレイ９８に表示される。
【００６１】
カメラ制御部１０１で左側映像信号の表示が選択された場合は、右側映像信号の表示が選択された場合と同様にＣＰＵ１０６は左側映像信号のみをディスプレイ９８上に表示するようにＦＩＦ０９６の制御を行う。
【００６２】
このように、ＦＩＦ０９６の制御により、立体映像表示と２次元映像表示との切り替えが簡単に行える。また、操作者は、立体映像信号を立体ディスプレイ９８に一端表示させた後に、表示を切り換えて２次元映像信号を立体ディスプレイ９８に表示させることもできる。従って、立体映像信号で立体感を調整した後に、２次元映像信号でフレーミングの調整を行うこともできる。
【００６３】
尚、２次元映像信号表示時の表示周期は実質的に立体映像信号表示時の表示周期の半分である。
【００６４】
立体映像信号の再生は、第１の実施の形態と同様である。また、左右片側のレンズからの２次元映像信号を表示し記録する場合は、スイッチ９４が切り替わることで片側レンズのみの２次元映像信号を表示し記録することができる。また、この場合は、２次元映像信号の処理周期が立体映像信号の処理周期の半分になるようにＣＰＵ１０６は各部を制御する。尚、シャッター制御部１０２へはＣＰＵ１０６より駆動信号が送られず、シャッター付き眼鏡７４の駆動は止められる。
【００６５】
上述したように、第２の実施の形態によれば、立体映像信号又は２次元映像信号の表示又は記録を行うことができる。また、２次元映像信号を記録している場合でも、立体映像信号として観察する必要がない場合には２次元映像信号を表示できるため、立体ディスプレイ９８に表示中、シャッター付き眼鏡７４をはずしても、ちらつきのない２次元映像信号を観察することができる。
【００６６】
尚、第２の実施の形態に係るカメラは、動画像及び静止画像のいずれの画像の撮像にも使用することができる。
【００６７】
（第３の実施の形態）
以下、図１１を参照しながら、本発明の第３の実施の形態に係る複眼カメラの構成を説明する。ここで、図１１は本発明の第３の実施の形態に係る複眼カメラの構成のブロック図である。
【００６８】
第３の実施の形態に係る複眼カメラは、カメラヘッド１１３ａ，１１３ｂ、及び複眼カメラ本体１２０からなる。カメラヘッド１１３ａ，１１３ｂはレンズ１１１ａ，１１１ｂ、及び撮像素子１１２ａ，１１２ｂを備えており、複眼カメラ本体１２０は、第３選択手段としての信号合成手段１１４、回動角検知手段としての角度検知手段１１５ａ，１１５ｂ、表示手段１１６、記録手段１１７、システムコントローラ１１８、及びレリーズボタン１１９を備える。
【００６９】
撮像素子１１２ａ，１１２ｂ、表示手段１１６、記録手段１１７、及びシステムコントローラ１１８は信号合成手段１１４にそれぞれ接続されている。カメラヘッド１１３ａ，１１３ｂは角度検知手段１１５ａ，１１５ｂにそれぞれ接続されており、角度検知手段１１５ａ，１１５ｂ、及びレリーズボタン１１９はシステムコントローラ１１８に接続されている。
【００７０】
複眼カメラの構成を詳述すると、レンズ１１１ａ，１１１ｂは、図示しないピント調整手段、絞り調整機構を有している。撮像素子１１２ａ，１１２ｂは、それぞれ前記レンズ１１１ａ，１１１ｂで結像された光学像を電気的な映像信号に変換する。カメラヘッド１１３ａ，１１３ｂは、複眼カメラ本体１２０に対して回動可能に支持されている。図１２は本発明の第３の実施の形態に係る複眼カメラの外観図で、同図からわかるように本実施の形態ではカメラヘッド１１３ａ，１１３ｂは複眼カメラ本体１２０に対して水平軸のまわりに回転可能になっている。
【００７１】
信号合成手段１１４は、撮像素子１１２ａ，１１２ｂで得られた映像信号から２次元映像信号又は立体映像信号を生成する。角度検知手段１１５ａ，１１５ｂは、それぞれカメラヘッド１１３ａ，１１３ｂの回動角を検知する。尚、本実施の形態では、角度検知手段１１５ａ，１１５ｂとしてロータリーエンコーダを用いている。
【００７２】
表示手段１１６は、信号合成手段１１４により得られた２次元映像信号又は立体映像信号を表示する。ここで、図１３は表示手段１１６の構成を示した図であり、同図において液晶パネル１３１は多数の表示画素を有しており、レンチキュラレンズ１３２は液晶パネル１３１の前面側に配置され、かまぼこ状のレンズ群を有しており、バックライト１３３は液晶パネル１３１の背面側に配置されている。表示手段１１６はこのような構成になっているので、図１４の２次元映像信号の合成図に示すように所定の視差を有する２次元映像信号１４１，１４２をレンチキュラレンズ１３２のピッチに応じて交互に配列させ合成した立体映像信号１４３を液晶パネル１３１に表示することが可能である。
【００７３】
尚、このようなレンチキュラレンズ１３２を用いた立体映像表示装置は特開平３−６５９４３号公報等に示されているように公知なので、詳しい説明は省略する。また、ステレオ立体視が可能な方式にはレンチキュラレンズ１３２の代りにパララックスバリアを用いるものや、左目用の映像信号と右目用の映像信号とを交互に時分割的に表示し、それに同期したシャッター機能つき眼鏡を視聴者がかけることにより左目用の映像信号は左目だけに、右目用の映像信号は右目だけに見えるようにして立体視ができるようにしたものがあるが、既に公知なので詳しい説明は省略する。
【００７４】
再び図１１に戻って、記録手段１１７は信号合成手段１１４により得られた映像信号を記録する。システムコントローラ１１８は本複眼カメラ全体の制御を行う。レリーズボタン１１９は操作者に操作されることにより映像信号の記録開始のための信号を発する。
【００７５】
以下、図１５を参照しながら、本発明の第３の実施の形態に係る複眼カメラの撮像動作を説明する。ここで、図１５は本発明の第３の実施の形態に係る複眼カメラの撮像動作を示すフローチャートである。尚、特に断らない場合は、第３の実施の形態に係る複眼カメラの動作は全てシステムコントローラ１１８が行うものとする。
【００７６】
まず、図示しない複眼カメラの電源スイッチが投入されると（ステップＳ１００）、被写体に対してピント調整及び絞り調整が行われる（ステップＳ１０１）。
【００７７】
次に、角度検知手段１１５ａ，１１５ｂによりカメラヘッド１１３ａ，１１３ｂのそれぞれの回動角を検知する（ステップＳ１０２）。
【００７８】
そして、ステップＳ１０３において、カメラヘッド１１３ａ，１１３ｂのそれぞれの回動角の相対的なずれ量が所定の範囲内であるか否かを判別する。
【００７９】
ステップＳ１０３において、カメラヘッド１１３ａ，１１３ｂのそれぞれの回動角の相対的なずれ量が所定の範囲内である場合には、図１４に示すように撮像素子１１２ａ，１１２ｂで得られた２次元映像信号１４１，１４２を信号合成手段１１４によって櫛歯状に交互に並んだ１つの立体映像信号１４３に合成し（ステップＳ１０４）、そして合成された立体映像信号１４３は表示手段１１６によって表示され、操作者は被写体を立体的に視認することができる（ステップＳ１０５）。
【００８０】
次に、ステップＳ１０６でレリーズボタン１１９が操作者によってオンにされているか否かを判別する。ステップＳ１０６でレリーズボタン１１９が操作者によってオンにされている場合には、信号合成手段１１４によって合成された立体映像信号１４３を記録手段１１７に記録し（ステップＳ１０７）、その後、ステップＳ１０８において、本複眼カメラの撮像動作を終了するか否かを判別し、撮像動作を終了する場合には複眼カメラの電源スイッチが切断され、撮像動作を終了しない場合にはステップＳ１０１に戻る。
【００８１】
尚、ステップＳ１０３において、カメラヘッド１１３ａ，１１３ｂのそれぞれの回動角の相対的なずれの量が所定の範囲内でない場合には、図１６（Ａ）の２次元映像信号の合成図に示すように撮像素子１１２ａ，１１２ｂで得られた２次元映像信号１６１、１６２を、信号合成手段１１４によってそれぞれ独立した映像のまま１つの２次元映像信号１６３として合成し（ステップＳ１０９）、ステップＳ１０５に進む。
【００８２】
また、ステップＳ１０６でレリーズボタン１１９が操作者によってオンにされていない場合には、ステップＳ１０１に戻る。
【００８３】
以上で、第３の実施の形態に係る複眼カメラの撮像動作１回を終了する。
【００８４】
上述したように第３の実施の形態では、表示手段１１６にレンチキュラレンズ１３２を用いているので、立体映像信号を表示する場合でも操作者に偏光眼鏡等の特殊な眼鏡が必要ないといったメリットがある。
【００８５】
（第４の実施の形態）
以下、図１７を参照しながら、本発明の第４の実施の形態に係る複眼カメラの外観を説明する。ここで、図１７は本発明の第４の実施の形態に係る複眼カメラの外観図である。
【００８６】
同図において、上述した第３の実施の形態の図１２に示した複眼カメラの外観図と異なるのは、カメラヘッド１１３ａ，１１３ｂを複眼カメラ本体１２０の左右それぞれに配置するのに代えて、カメラヘッド１１３ａ，１１３ｂを複眼カメラ本体１２０の上部にそれぞれ配置するように構成した点である。これにより、カメラヘッド１１３ａ，１１３ｂは垂直軸のまわりに回転する。尚、複眼カメラの構成は、上記図１１と同様である。
【００８７】
以下、図１８を参照しながら、本発明の第４の実施の形態に係る複眼カメラの撮像動作を説明する。ここで、図１８は本発明の第４の実施の形態に係る複眼カメラの撮像動作を示すフローチャートである。尚、特に断らない場合は、第４の実施の形態に係る複眼カメラの動作は全てシステムコントローラ１１８が行うものとする。
【００８８】
まず、図示しない複眼カメラの電源スイッチが投入されると（ステップＳ２００）、被写体に対してピント調整及び絞り調整を行う（ステップＳ２０１）。
【００８９】
次に、角度検知手段１１５ａ，１１５ｂによりカメラヘッド１１３ａ，１１３ｂのそれぞれの回動角を検知する（ステップＳ２０２）。
【００９０】
そして、ステップＳ２０３において、カメラヘッド１１３ａ，１１３ｂのそれぞれの回動角とレンズ１１１ａ，１１１ｂの焦点距離、合焦距離、及び撮像光軸間距離等からカメラヘッド１１３ａ，１１３ｂで得られる２次元映像信号のオーバーラップ量を求め、そのオーバーラップ量が所定の範囲よりも大きいか否かを判別する。
【００９１】
ステップＳ２０３において、オーバーラップ量が所定の範囲よりも大きい場合には、図１４に示すように撮像素子１１２ａ，１１２ｂで得られた２次元映像信号１４１，１４２を信号合成手段１１４によって櫛歯状に交互に並んだ１つの立体映像信号１４３に合成し（ステップＳ２０４）、そして合成された立体映像信号１４３を表示手段１１６によって表示し、操作者はよりワイドなパノラマ映像又は異なる２方向の映像を視認することができる（ステップＳ２０５）。
【００９２】
次に、ステップＳ２０６でレリーズボタン１１９が操作者によってオンにされているか否かを判別する。ステップＳ２０６でレリーズボタン１１９が操作者によってオンにされている場合には、信号合成手段１１４によって合成された立体映像信号１４３は記録手段１１７に記録される（ステップＳ２０７）。
【００９３】
その後、ステップＳ２０８において、本複眼カメラの撮像動作を終了するか否かを判別し、撮像動作を終了する場合には複眼カメラの電源スイッチが切断され、撮像動作を終了しない場合にはステップＳ１０１に戻る。
【００９４】
上記ステップ２０３において、オーパーラップ量が所定の範囲よりも小さい場合には、ステップＳ２０９に進み、オーバーラップ量の有無を判別する。
【００９５】
ステップＳ２０９において、オーバーラップ量がある場合には、図１６（Ｂ）の２次元映像信号の合成図に示すように撮像素子１１２ａ，１１２ｂで得られた２次元映像信号１６４，１６５を、信号合成手段１１４によって連続した１つの２次元映像信号１６６に合成し（ステップＳ２１０）、ステップＳ２０５に進む。
【００９６】
ステップＳ２０９において、オーバーラップ量がない場合には、図１６（Ａ）に示すように撮像素子１１２ａ，１１２ｂで得られた２次元映像信号１６１，１６２を、信号合成手段１１４によってそれぞれ独立した映像のまま１つの２次元映像信号１６３として合成し（ステップＳ２１１）、ステップＳ２０５に進む。
【００９７】
また、ステップＳ２０６でレリーズボタン１１９が操作者によってオンにされていない場合には、ステップＳ２０１に戻る。
【００９８】
以上で、第４の実施の形態に係る複眼カメラの撮像動作１回を終了する。
【００９９】
上述したように第４の実施の形態では、カメラヘッド１１３ａ，１１３ｂの回動方向を垂直軸まわりにすることによってパノラマ映像も撮像可能になるといったメリットがある。
【０１００】
尚、第３の実施の形態、第４の実施の形態、共に静止画像の撮像について述べられているが、動画像についても本発明は有効である。また、第３の実施の形態、第４の実施の形態、共に信号合成手段１１４によって合成された映像信号を記録しているが、合成前の映像信号を記録するようにしてもよい。
【０１０１】
【発明の効果】
以上詳細に説明したように、請求項１の発明によれば、複数の撮像手段によって撮像された被写体の複数の映像信号を立体映像信号として視認できるように合成する立体映像信号合成手段と、立体映像信号合成手段により合成された立体映像信号を表示する合成映像信号表示手段とを備えるので、複数の撮像手段によって撮像された被写体の複数の映像信号を立体映像信号に合成でき、また、撮像中に常に立体映像信号が表示でき、これにより撮像しながら映像の立体感の調整をすることができる。
【図面の簡単な説明】
【図１】（Ａ）は本発明の第１の実施の形態に係る複眼カメラの正面図であり、（Ｂ）は本発明の第１の実施の形態に係る複眼カメラの背面図である。
【図２】本発明の第１の実施の形態に係る複眼カメラの斜視図である。
【図３】本発明の第１の実施の形態に係る複眼カメラの構成のブロック図である。
【図４】２次元映像信号の立体映像信号への変換の説明図であり、（Ａ）は右側映像信号を示し、（Ｂ）は左側映像信号を示し、（Ｃ）は立体映像信号を示す。
【図５】制御信号の説明図である。
【図６】（Ａ）は立体映像用アダプタとしてレンチキュラーレンズ６１を配置した説明図であり、（Ｂ）は立体映像用アダプタとしてパララックスバリヤ６２を配置した説明図である。
【図７】（Ａ）は本発明の第２の実施の形態に係る複眼カメラの正面図であり、（Ｂ）は本発明の第２の実施の形態に係る複眼カメラの背面図である。
【図８】本発明の第２の実施の形態に係る複眼カメラの斜視図である。
【図９】本発明の第２の実施の形態に係る複眼カメラの構成を示すブロック図である。
【図１０】本発明の第１の実施の形態に係る複眼カメラの外観図である。
【図１１】本発明の第３の実施の形態に係る複眼カメラの構成のブロック図である。
【図１２】本発明の第３の実施の形態に係る複眼カメラの外観図である。
【図１３】表示手段１１６の構成を示した図である。
【図１４】２次元映像信号の合成図である。
【図１５】本発明の第３の実施の形態に係る複眼カメラの撮像動作を示すフローチャートである。
【図１６】（Ａ）は２次元映像信号の合成図であり、（Ｂ）も２次元映像信号の合成図である。
【図１７】本発明の第４の実施の形態に係る複眼カメラの外観図である。
【図１８】本発明の第４の実施の形態に係る複眼カメラの撮像動作を示すフローチャートである。
【符号の説明】
３１ａ，３１ｂ，１１１ａ，１１１ｂレンズ
３２ａ，３２ｂ，１１２ａ，１１２ｂ撮像素子
３３ａ，３３ｂＡ／Ｄ変換器
３４ａ，３４ｂＦＩＦ０
３５タイミングジェネレータ
３６信号変換器
３７ＣＰＵ
３８表示制御部
３９立体ディスプレイ
４０記録制御部
４１記録媒体
４２カメラ制御部
１１３ａ，１１３ｂカメラヘッド
１１４信号合成手段
１１５ａ，１１５ｂ角度検知手段
１１６表示手段１１６
１１７記録手段
１１８システムコントローラ
１１９レリーズボタン
１２０複眼カメラ本体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a compound eye camera and an image processing method, and more particularly to a compound eye camera and an image processing method capable of capturing and displaying a stereoscopic image or a two-dimensional image.
[0002]
[Prior art]
When capturing and displaying a stereoscopic video, a camera for capturing a stereoscopic video that has been considered up to now basically obtains a set of videos with parallax from a plurality of cameras, and then obtains a stereoscopic video dedicated to the camera. A stereoscopic image has been provided to the operator by a display device (Japanese Patent Laid-Open No. 62-21396).
[0003]
In addition, in this stereoscopic video imaging camera, compatibility with a two-dimensional video, which is the mainstream of the current video, is not considered, and the stereoscopic video imaging camera and the two-dimensional video imaging camera are separated. Each has been independent.
[0004]
[Problems to be solved by the invention]
However, in this camera for capturing a three-dimensional image, since the camera that captures the image and the three-dimensional display that displays the three-dimensional image are separated, the image may not be displayed three-dimensionally. Was difficult to do.
[0005]
In addition, since the stereoscopic video imaging camera is not compatible with the current mainstream of two-dimensional video, it is necessary to purchase a stereoscopic video camera again when an individual attempts to capture a stereoscopic video. There was a heavy burden.
[0006]
Therefore, an object of the present invention is to provide a compound-eye camera and an image processing method that can always display a stereoscopic image during imaging, adjust the stereoscopic effect of the image while capturing the image, and are compatible with 2D images. It is in.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 displays a plurality of image pickup means for collecting an image of a subject by condensing a subject light, and displaying a plurality of video signals of the subject imaged by the plurality of image pickup means. Stereoscopic video signal synthesizing means for synthesizing a plurality of video signals of the subject imaged by the plurality of imaging means so as to be visually recognized as stereoscopic video signals, and the stereoscopic video signal synthesizing means. A composite video signal display means for displaying a stereoscopic video signal synthesized by An imaging selection unit that selects one of the plurality of imaging units; and a unit that images the subject with the one imaging unit selected by the imaging selection unit. It is characterized by having.
[0008]
According to a second aspect of the present invention, in the compound eye camera according to the first aspect, a plurality of video signals of the subject imaged by the plurality of imaging units can be visually recognized as two-dimensional video signals. 2D video signal display means It is characterized by.
[0009]
According to a third aspect of the present invention, in the compound eye camera according to the second aspect, the stereoscopic video signal synthesizing unit and the two-dimensional video signal are combined. display Choose alternatives Display selection means It is characterized by having.
[0010]
According to a fourth aspect of the present invention, in the compound eye camera according to the second or third aspect, the display cycle of the stereoscopic video signal on the composite video signal display means is twice as long as the display cycle of the two-dimensional video signal. Features.
[0011]
According to a fifth aspect of the present invention, in the compound eye camera according to any one of the first to fourth aspects, the composite video signal display means includes a lenticular lens.
[0012]
According to a sixth aspect of the present invention, in the compound eye camera according to any one of the first to fourth aspects, the composite video signal display means includes a parallax barrier.
[0013]
According to a seventh aspect of the present invention, in the compound eye camera according to any one of the second to fourth aspects, the compound eye camera includes eyeglasses with shutters that operate in synchronization with a display cycle of the two-dimensional video signal on the composite video signal display unit. It is characterized by the following.
[0015]
Claim 8 The invention of claim 1 to 7 In the compound eye camera according to any one of the above, the plurality of imaging units are held so as to be rotatable with respect to the composite video signal display unit, respectively, and each of the plurality of imaging units with respect to the composite video signal display unit is It is characterized by comprising a rotation angle detecting means for detecting the rotation angle.
[0016]
Claim 9 The invention of claim 8 2. The compound eye camera according to claim 1, wherein the two-dimensional video signal is based on a rotation angle detected by the rotation angle detection means. display Means and the stereoscopic video signal synthesizing means. Second display selection means It is characterized by having.
[0017]
Claim 10 The invention of the present invention is an image processing method comprising: a plurality of imaging steps of converging subject light to image a subject; and a displaying step of displaying a plurality of video signals of the subject imaged in the plurality of imaging steps. A stereoscopic video signal synthesizing step of synthesizing a plurality of video signals of the subject imaged in a plurality of imaging steps so as to be visually recognized as a stereoscopic video signal; and a synthesizing step of displaying the stereoscopic video signal synthesized by the stereoscopic video signal synthesizing step. Video signal display process and An imaging selection step of selecting one imaging step of the plurality of imaging steps, and a step of imaging the subject in the one imaging step selected by the imaging selection step. It is characterized by including.
[0018]
Claim 11 The invention of Claim 10 In the image processing method, a plurality of video signals of the subject imaged in the plurality of imaging steps can be visually recognized as two-dimensional video signals. 2D video signal display process for displaying It is characterized by including.
[0019]
Claim 12 The invention of claim 11 The image processing method according to claim 1, wherein the stereoscopic video signal synthesizing step and the two-dimensional video signal are performed. display Select process and alternative Display selection process It is characterized by including.
[0020]
Claim Thirteen The invention of claim 11 or 12 In the image processing method described above, a display cycle of the stereoscopic video signal in the composite video signal display step is twice as long as a display cycle of the two-dimensional video signal.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a compound eye camera according to an embodiment of the present invention will be described with reference to the drawings.
[0022]
(First Embodiment)
Hereinafter, the configuration of the compound eye camera according to the first embodiment of the present invention will be described with reference to FIGS. 1 (A), 1 (B) and 2. Here, FIG. 1A is a front view of the compound eye camera according to the first embodiment of the present invention, and FIG. 1B is a rear view of the compound eye camera according to the first embodiment of the present invention. FIG. 2 is a perspective view of the compound eye camera according to the first embodiment of the present invention.
[0023]
First, as shown in FIGS. 1 (A) and 1 (B), the compound-eye camera has two camera bodies 1 and two lenses 3a and 3b attached to the left and right sides of the camera body 1 and having two lenses 3a and 3b on the front side, respectively. The camera includes camera heads 2 a and 2 b and a three-dimensional display 4 provided on the back side of the camera body 1. Here, the camera heads 2a and 2b constitute an imaging unit, and the three-dimensional display 4 constitutes a display unit.
[0024]
The camera heads 2a and 2b are arranged on the left and right sides of the camera body 1 in order to give a three-dimensional effect to the image, and have a configuration in which the base line length is long. The stereoscopic display 4 stereoscopically displays images obtained from the lenses 3a and 3b included in the left and right camera heads 2a and 2b. Although many types of the three-dimensional display 4 are conceivable, a lenticular type that does not require special equipment such as glasses with shutters is used here.
[0025]
As shown in FIG. 2, at the time of shooting, the operator can stereoscopically view a stereoscopic image captured by the lenses 3 a and 3 b on the stereoscopic display 4. At this time, the lenses 3a and 3b can be rotated with respect to the stereoscopic display 4 according to the subject. Alternatively, the positions of the lenses 3a and 3b may be fixed according to the subject, and the stereoscopic display 4 may be rotated so as to match the operator.
[0026]
Next, the configuration of the compound eye camera according to the first embodiment of the present invention will be described with reference to FIG. Here, FIG. 3 is a block diagram of a configuration of the compound eye camera according to the first embodiment of the present invention.
[0027]
This compound eye camera has lenses 37a, 31b, two image sensors 32a, 32b, two A / D converters 33a, 33b, two FIFs 34a, 34b, a timing generator 35, a signal converter 36, and a CPU 37 including a memory therein. , A display control unit 38, a stereoscopic display 39, a recording control unit 40, a recording medium 41, and a camera control unit 42. Here, the signal converter 36 constitutes a stereoscopic video signal synthesizing unit, a two-dimensional video signal synthesizing unit, and a first selecting unit, the stereoscopic display 39 constitutes a synthetic video signal displaying unit, and the camera control unit 42 Two selection means are constituted.
[0028]
The imaging devices 32a and 32b, the A / D converters 33a and 33b, and the FIFs 34a and 34b are connected in series, and a signal converter 36 is further connected. The stereoscopic display 39 is connected to the signal converter 36 via the display control unit 38, and the recording medium 41 is connected to the signal converter 36 via the recording control unit 40. The A / D converters 33a and 33b are directly connected to the CPU 37, and the FIFs 34a and 34b are connected to the CPU 37 via the timing generator 35. The display control unit 38, the recording control unit 40, and the camera control unit 42 are connected to the CPU 37, respectively.
[0029]
The imaging devices 32a and 32b are composed of a CCD or the like, and convert images captured by the lenses 31a and 31b into electric signals by a photoelectric effect, and the A / D converters 33a and 33b convert the electric signals into digital signals. This digital signal is a two-dimensional video signal. The FIFs 34a and 34b temporarily store the two-dimensional video signal for generating a stereoscopic video signal described later. The timing generator 35 supplies a write control signal to the FIFOs 34a and 34b. The CPU 37 controls A / D converters 33a and 33b, FIFOs 34a and 34b, a timing generator 35, a signal converter 36, a display control unit 38, a recording control unit 40, and a camera control unit 42. The signal converter 36 converts the two-dimensional video signal written in the FIFs 34a and 34b into a three-dimensional video signal, and the display controller 38 displays the three-dimensional video signal generated by the signal converter 36 on a three-dimensional display 39. The recording control unit 40 writes a stereoscopic video signal on a recording medium 41 used by the camera, and the camera control unit 42 transmits an input signal of the content input from the operator to the CPU 37.
[0030]
First, when the operator inputs an operation such as recording or reproduction of an image to the camera control unit 42, a signal corresponding to this input is sent from the camera control unit 42 to the CPU 37, and the CPU 37 controls each unit. In the present embodiment, it is assumed that the stereoscopic video imaging mode is selected by the camera control unit 42. The images captured by the operator through the lenses 31a and 31b are formed on the imaging devices 32a and 32b. Further, the images formed on the imaging devices 32a and 32b are converted into electric signals by photoelectric conversion, and subsequently converted into digital signals by A / D converters 33a and 33b. This digital signal is a two-dimensional video signal. At this time, the left and right two-dimensional video signals are driven in synchronization with each other under the control of the CPU 37, so that signals at the same position on the left and right are always processed. The two-dimensional video signal is temporarily written to the FIFs 34a and 34b to generate a stereoscopic video signal described later. Each of the FIFOs 34a and 34b has an area for storing a two-dimensional video signal corresponding to two screen images of the three-dimensional display 39, and a two-dimensional image corresponding to one screen image of the three-dimensional display 39 at the beginning of the FIFOs 34a and 34b. After the video signal is written, a two-dimensional video signal corresponding to the video of one screen of the stereoscopic display 39 is written to the rear of the FIFOs 34a and 34b. When a two-dimensional video signal corresponding to two screens of the three-dimensional display 39 is written to the FIFOs 34a and 34b, the two-dimensional video signal corresponding to one screen of the three-dimensional display 39 is overwritten again at the beginning of the FIFOs 34a and 34b. Will be done. The write control signal is supplied by a timing generator 35 controlled by the CPU 7.
[0031]
The two-dimensional video signal written in the FIFs 34a and 34b is converted by the signal converter 36 into a stereoscopic video signal. The conversion of a two-dimensional video signal into a three-dimensional video signal refers to a right video signal (FIG. 4A) and a left video signal (FIG. 4A), which are two-dimensional video signals written in FIFs 34a and 34b, as shown in FIG. 4 (B)) are alternately arranged for each vertical line (FIG. 4 (C)) to generate one stereoscopic video signal. Here, FIG. 4 is an explanatory diagram of conversion of a two-dimensional video signal into a stereoscopic video signal, where (A) shows a right video signal, (B) shows a left video signal, and (C) shows a stereoscopic video signal. Is shown.
[0032]
When the signal converter 36 simply converts all the regions of the right video signal and the left video signal, the generated stereoscopic video signal is twice as wide as the original right video signal or left video signal. Therefore, it is necessary to thin out the generated three-dimensional video signal by half in the horizontal direction, or to generate a three-dimensional video signal using a part of the right video signal or the left video signal. Here, only the central portion of the generated stereoscopic video signal is used for display so that the substantial aspect ratio of the video signal does not change.
[0033]
Under the control of the CPU 37, the signal converter 36 writes a two-dimensional video signal corresponding to an image of one screen of the stereoscopic display 39 at the head of the FIFOs 34a and 34b, and then reads out the two-dimensional video signal and simultaneously reads the two-dimensional video signal. , 34b, a two-dimensional video signal corresponding to an image of one screen of the three-dimensional display 39 is written. Therefore, the write control signal and the read control signal transmitted from the CPU 37 always correspond to one screen of the three-dimensional display 39. Will be shifted by one period of the two-dimensional video signal corresponding to the video of FIG. This situation is shown in the explanatory diagram of the control signal in FIG. In the signal converter 36, since the read control signal is simultaneously supplied to the FIFs 34a and 34b, the right video signal or the left video signal in the FIFs 34a and 34b is twice as fast as the speed at which the two-dimensional video signal is written. Are read alternately, and processing is sequentially performed without causing a frame drop during imaging. By this processing, the signal converter 36 generates a stereoscopic video signal having a size equal to the size of one of the right video signal and the left video signal.
[0034]
The stereoscopic video signal generated by the signal converter 36 is sent to the recording control unit 40 via the display control unit 38 under the control of the CPU 37, and is recorded. The display controller 38 displays the generated stereoscopic video signal on the stereoscopic display 39.
[0035]
FIGS. 6A and 6B are explanatory views of a stereoscopic display 39 displaying a stereoscopic video signal as viewed from above, in which a right video signal and a left video signal are alternately arranged every vertical line. The stereoscopic video signal is displayed as it is. On the front surface of the stereoscopic display 39, stereoscopic video adapters are attached in advance so that stereoscopic video signals are separately incident on the left and right eyes of the operator. There are several types of three-dimensional image adapters. FIG. 6A shows a lenticular lens 61 arranged as a three-dimensional image adapter, and FIG. 6B shows a parallax barrier 62 as a three-dimensional image adapter. Are shown. Note that the pitch of the lenticular lens 61 and the parallax barrier 62 is adjusted in advance to the pixel pitch of the stereoscopic display 39 and the pitch calculated from the observation position of the operator. This adapter can be removed in consideration of compatibility with two-dimensional video signals.
[0036]
The recording control unit 40 writes a stereoscopic video signal on a recording medium 41 used in the compound eye camera. The type of the recording medium 41 is a magnetic tape, a magnetic disk, an optical disk, a semiconductor memory, or the like. Using this recording medium 41, the recording control unit 40 saves a stereoscopic video signal as a file in a free space of the recording medium 41 in a digital format. I do.
[0037]
The start or end of recording on the recording medium 41 is performed by the operator inputting a desired operation to the camera control unit 42. Incidentally, the operator can also observe only the stereoscopic video signal on the stereoscopic display 39 without performing the recording operation.
[0038]
Next, a process performed by the compound-eye camera when a stereoscopic video signal recorded on the recording medium 41 is reproduced will be described. Since the recording medium 41 has a plurality of files in which a stereoscopic video signal is recorded, the recording control unit 40 first checks the area in the recording medium 41 and sends the recorded files to the CPU 37. . The CPU 37 selects a file that can be reproduced as a stereoscopic video signal, arranges a list of the selected file names into an arbitrary display format, sends it to the display control unit 38, and displays it on the stereoscopic display 39. The operator selects a file to be reproduced from the displayed list of file names and inputs the file to the camera control unit 42. The camera control unit 42 transmits the file name selected by the operator to the CPU 37. The selected file is read from the recording medium 41 by the CPU 37 via the recording control unit 40, and displayed on the stereoscopic display 39 as a stereoscopic video signal by the display control unit 38. As described above, the captured stereoscopic video signal can be easily reproduced without requiring any special device.
[0039]
In addition, as shown in the external view of the compound eye camera according to the first embodiment of the present invention in FIG. 10, microphones 5a and 5b are arranged in front of camera heads 2a and 2b, so that audio as well as video can be obtained. Also, a more three-dimensional effect can be obtained.
[0040]
Next, processing by the compound-eye camera up to the generation of the two-dimensional video signal and processing by the compound-eye camera at the time of reproducing the two-dimensional video signal will be described. In this case, recording or display of a two-dimensional video signal involves processing a video signal of only one of the lenses 31a and 31b. The selection of the lens can be made by the operator inputting to the camera control unit 42.
[0041]
The processing by the compound-eye camera up to the generation of the two-dimensional video signal is different from the processing by the compound-eye camera until the generation of the three-dimensional video signal. The signal converter 36 converts the two-dimensional video signal written in the FIFs 34a and 34b into the three-dimensional video signal. That is, it operates as a selector that sends the data to the display control unit 38 or the recording control unit 40 without processing without converting the data. Other processing is the same as the processing described above.
[0042]
When the operator performs an input for switching the imaging lens to the camera control unit 42 during the recording of the two-dimensional video signal, the two-dimensional video signal to be recorded is temporarily disturbed by the switching of the lenses 31a and 31b. In order to avoid an adverse effect, the CPU 37 switches the lenses 31a and 31b in synchronization with the capture of the two-dimensional video signal.
[0043]
The processing by the compound-eye camera at the time of reproducing the two-dimensional video signal is the same as the processing by the compound-eye camera at the time of reproducing the stereoscopic video signal. In this case, the file name of the two-dimensional video signal is displayed to the operator. Then, the selected file is displayed on the stereoscopic display 39.
[0044]
As described above, according to the first embodiment, the operator can stereoscopically observe a stereoscopic video signal captured by the compound-eye camera in real time. In addition, since the stereoscopic display 39 can be viewed with both eyes, the degree of freedom of the posture at the time of imaging is large, and the stereoscopic effect can be confirmed even when the user moves with the compound eye camera during imaging. At this time, the stereoscopic effect of the subject can be adjusted by, for example, shifting the portion used for conversion of the right and left video signals shown in FIG. 4 to the left and right. The adjustment can be performed by a simple operation such as changing the distance or zooming the lenses 31a and 31b. Further, it is also possible to easily switch to the conventional single-eye imaging.
[0045]
Note that the compound eye camera according to the first embodiment can be used for capturing any of a moving image and a still image.
[0046]
(Second embodiment)
Hereinafter, the configuration of the compound eye camera according to the second embodiment of the present invention will be described with reference to FIGS. Here, FIG. 7A is a front view of the compound-eye camera according to the second embodiment of the present invention, and FIG. 7B is a rear view of the compound-eye camera according to the second embodiment of the present invention. FIG. 8 is a perspective view of a compound eye camera according to the second embodiment of the present invention.
[0047]
First, as shown in FIGS. 7A and 7B, the compound-eye camera has a camera body 70 and one camera head 71 mounted on the camera body 70 and having lenses 75a and 75b on the front side. A connector 72 provided on the back side of the camera body 70 for connecting the glasses with shutters 74 for stereoscopic image observation to the camera body 70, and a stereoscopic display 73 provided on the back side of the camera body 70.
[0048]
The camera head 71 is configured to be rotatable around a vertical axis during imaging as shown in FIG. Further, in the glasses with shutters 74, the left and right shutters open and close in synchronization with the video signal display on the stereoscopic display 73, and the right and left video signals can be displayed separately on the left and right eyes of the operator. . Therefore, at the time of capturing a stereoscopic video signal, the display cycle of the video signal is twice as long as that of displaying a two-dimensional video signal.
[0049]
Hereinafter, the configuration of the compound eye camera according to the second embodiment of the present invention will be described with reference to FIG. Here, FIG. 9 is a block diagram of a configuration of a compound eye camera according to the second embodiment of the present invention.
[0050]
This compound eye camera includes two lenses 91a and 91b, two image sensors 92a and 92b, two A / D converters 93a and 93b, a switch 94, a unit 95, a FIF096, a display control unit 97, a stereoscopic display 98, and a recording control. The storage unit 99 includes a recording medium 100, a camera control unit 101, a shutter control unit 102, apertures 103a and 103b, aperture control units 104a and 104b, focus control units 105a and 105b, and a CPU 106 including a memory therein.
[0051]
The imaging devices 92a and 92b are connected to a unit 95 via A / D converters 93a and 93b and a switch 94. The unit 95 is connected to the FIFO 96 and the recording control unit 99, respectively. The FIF096, the display control unit 97, and the stereoscopic display 98 are connected in series, and the recording control unit 99 is connected to the recording medium 100. The FIF096, the display control unit 97, the recording control unit 99, the camera control unit 101, the shutter control unit 102, the aperture control units 104a and 104b, and the focus control units 105a and 105b are connected to the CPU 106, respectively.
[0052]
The imaging devices 92a and 92b are composed of a CCD or the like, and convert images picked up by the lenses 91a and 91b into electric signals by a photoelectric effect, and the A / D converters 93a and 93b convert the electric signals into digital signals. This digital signal is a two-dimensional video signal. The switch 94 is used to alternately transmit the two-dimensional video signals input from the left and right A / D converters 93a and 93b to the unit 95. The unit 95 performs calculations and white balance adjustment for AF (auto focus) and AE (auto exposure). The FIFO096 temporarily stores the two-dimensional video signal displayed on the three-dimensional display 98, and the display control unit 97 displays the two-dimensional video signal stored in the FIFO96 on the three-dimensional display 98. The recording control unit 99 writes the two-dimensional video signal on the recording medium 100. The camera control unit 101 transmits an input signal of the content input from the operator to the CPU 37, and the shutter control unit 102 controls driving of the glasses 74 with shutters. The aperture control units 104a and 104b control the apertures 103a and 103b, and the focus control units 105a and 105b control the positions of the lenses 91a and 91b. The CPU 106 controls the FIF 96, the display control unit 97, the recording control unit 99, the camera control unit 101, the shutter control unit 102, the aperture control units 104a and 104b, and the focus control units 105a and 105b.
[0053]
First, the operator selects a stereoscopic video mode or a normal video mode, and inputs a desired video mode to the camera control unit 101. Here, it is assumed that the stereoscopic video mode is selected. The result of the mode selection is transmitted from the camera control unit 101 to the CPU 106, and the CPU 106 controls each unit. The images captured by the operator through the lenses 91a and 91b are formed on the image sensors 92a and 92b. Further, the images formed on the image sensors 92a and 92b are converted into electric signals by photoelectric conversion, and subsequently converted into digital signals by A / D converters 93a and 93b. This digital signal is a two-dimensional video signal. Since the switch 94 sends the left and right two-dimensional video signals separately to the unit 95, the display cycle of the video signal when displaying a stereoscopic video signal is twice as long as when displaying a two-dimensional video signal. Therefore, the reading speed of the electric signals from the imaging devices 92a and 92b by the A / D converters 93a and 93b at the time of capturing a stereoscopic video signal is determined by the imaging devices 92a and 93b at the time of capturing two-dimensional video images. The read speed of the electric signal is twice as fast as the read speed of the electric signal from the second image sensor 92b. First, all the electric signals of one of the left and right image sensors 92a and 92b are read, and then the other electric signal is read. Read the signal. Control of these units is performed by the CPU 106.
[0054]
The left and right two-dimensional video signals sent to the unit 95 are subjected to calculations for AF (auto focus) and AE (auto exposure) and white balance adjustment. Calculations for performing AF (auto focus) and AE (auto exposure) are performed using a video signal luminance value of a certain area in an image, and the result is sent to the CPU 106.
[0055]
The CPU 106 determines an appropriate control amount based on the calculation result from the unit 95, the current state of the apertures 103a and 103b and the positions of the lenses 91a and 91b, and controls the aperture control units 104a and 104b and the focus control unit 105a. , 105b. The aperture control units 104a and 104b adjust the apertures 103a and 103b based on the control amount, and the focus control units 105a and 105b adjust the positions of the lenses 91a and 91b based on the control amount.
[0056]
Since the left and right two-dimensional video signals are alternately input to the unit 95, the controls of the aperture control units 104a and 104b and the focus control units 105a and 105b are alternately performed accordingly.
[0057]
The two-dimensional video signal subjected to the white balance adjustment from the unit 95 is used for display on the stereoscopic display 98 and recording on the recording medium 100.
[0058]
In the camera control unit 101, a selection is made on the stereoscopic display 98 to display a stereoscopic video signal, a right video signal, or a left video signal, and the selected result is sent to the CPU 106.
[0059]
When the display of the stereoscopic video signal is selected by the camera control unit 101, the left and right two-dimensional video signals are sequentially transmitted to the display control unit 97 via the FIF096, and the left and right two-dimensional video signals are displayed on the stereoscopic display 98. Displayed alternately. A synchronizing signal is sent from the CPU 106 to the shutter control unit 102 in accordance with the timing of the left and right switching of the two-dimensional video signal, and a signal for driving the glasses 74 with shutters is generated by the shutter control unit 102. Is sent to the glasses with shutters 74 through. The glasses with shutters 74 alternately open and close the left and right shutters in synchronization with the display of the two-dimensional video signal on the stereoscopic display 98 by the drive signal. Thereby, a stereoscopic video signal is displayed to the operator.
[0060]
When the display of the right video signal is selected by the camera control unit 101, the CPU 106 controls the FIF096 so that only the right video signal is displayed on the stereoscopic display 98. The CPU 106 sends a read control signal to the FIF096. When the two-dimensional video signal sent from the unit 95 to the FIFO 96 is a right video signal, the CPU 106 sends a write control signal to the FIFO 96, the FIFO 96 records the right video signal, and then the recorded video signal is recorded. The right side video signal is sequentially output to the display control unit 97. The right video signal output from the FIF096 is displayed on the stereoscopic display 98 via the display control unit 97. On the other hand, when the two-dimensional video signal sent from the unit 95 to the FIFO 96 is the left video signal, the CPU 106 sends only the read control signal to the FIFO 96. The FIF096 outputs the immediately preceding right image signal to the display control unit 97 again because the right image signal sent immediately before is not recorded in the FIF096 without recording the left image signal. The right video signal output from the FIF096 is displayed on the stereoscopic display 98 via the display control unit 97.
[0061]
When the display of the left video signal is selected by the camera control unit 101, the CPU 106 controls the FIF 096 so that only the left video signal is displayed on the display 98 as in the case where the display of the right video signal is selected. .
[0062]
In this way, switching between stereoscopic video display and two-dimensional video display can be easily performed by controlling the FIF096. Further, the operator can display the stereoscopic video signal on the stereoscopic display 98 once, and then switch the display to display the two-dimensional video signal on the stereoscopic display 98. Therefore, after adjusting the stereoscopic effect with the stereoscopic video signal, the framing can be adjusted with the two-dimensional video signal.
[0063]
The display cycle when displaying a two-dimensional video signal is substantially half the display cycle when displaying a stereoscopic video signal.
[0064]
The reproduction of the stereoscopic video signal is the same as in the first embodiment. When displaying and recording a two-dimensional video signal from one of the left and right lenses, the switch 94 is switched to display and record a two-dimensional video signal of only one lens. In this case, the CPU 106 controls each unit so that the processing cycle of the two-dimensional video signal is half the processing cycle of the stereoscopic video signal. Note that no drive signal is sent from the CPU 106 to the shutter control unit 102, and the driving of the glasses with shutters 74 is stopped.
[0065]
As described above, according to the second embodiment, it is possible to display or record a stereoscopic video signal or a two-dimensional video signal. Even when the two-dimensional video signal is recorded, the two-dimensional video signal can be displayed when it is not necessary to observe the three-dimensional video signal. Thus, a two-dimensional video signal without flicker can be observed.
[0066]
Note that the camera according to the second embodiment can be used for capturing any of a moving image and a still image.
[0067]
(Third embodiment)
Hereinafter, the configuration of the compound eye camera according to the third embodiment of the present invention will be described with reference to FIG. Here, FIG. 11 is a block diagram of a configuration of a compound eye camera according to the third embodiment of the present invention.
[0068]
The compound eye camera according to the third embodiment includes camera heads 113a and 113b and a compound eye camera main body 120. The camera heads 113a and 113b include lenses 111a and 111b and image sensors 112a and 112b. The compound-eye camera body 120 includes a signal combining unit 114 as a third selection unit and an angle detection unit 115a as a rotation angle detection unit. , 115b, display means 116, recording means 117, system controller 118, and release button 119.
[0069]
The imaging devices 112a and 112b, the display unit 116, the recording unit 117, and the system controller 118 are connected to the signal synthesizing unit 114, respectively. The camera heads 113a and 113b are connected to angle detecting means 115a and 115b, respectively, and the angle detecting means 115a and 115b and the release button 119 are connected to a system controller 118.
[0070]
Describing in detail the configuration of the compound eye camera, the lenses 111a and 111b have focus adjustment means and an aperture adjustment mechanism (not shown). The imaging devices 112a and 112b convert the optical images formed by the lenses 111a and 111b, respectively, into electrical video signals. The camera heads 113a and 113b are rotatably supported with respect to the compound-eye camera body 120. FIG. 12 is an external view of a compound-eye camera according to the third embodiment of the present invention. As can be seen from FIG. 12, in this embodiment, the camera heads 113a and 113b are arranged around the horizontal axis with respect to the compound-eye camera body 120. It is rotatable.
[0071]
The signal synthesizing unit 114 generates a two-dimensional video signal or a stereoscopic video signal from the video signals obtained by the imaging devices 112a and 112b. Angle detection means 115a and 115b detect the rotation angles of camera heads 113a and 113b, respectively. In this embodiment, a rotary encoder is used as the angle detecting means 115a, 115b.
[0072]
The display means 116 displays the two-dimensional video signal or the stereoscopic video signal obtained by the signal combining means 114. Here, FIG. 13 is a diagram showing the configuration of the display means 116. In FIG. 13, the liquid crystal panel 131 has a large number of display pixels, and the lenticular lens 132 is disposed on the front side of the liquid crystal panel 131. The backlight 133 is disposed on the back side of the liquid crystal panel 131. Since the display means 116 has such a configuration, the two-dimensional video signals 141 and 142 having a predetermined parallax are alternately provided according to the pitch of the lenticular lens 132 as shown in the composite diagram of the two-dimensional video signals in FIG. It is possible to display on the liquid crystal panel 131 the stereoscopic video signal 143 that is arranged and combined.
[0073]
It should be noted that a three-dimensional image display device using such a lenticular lens 132 is known as disclosed in Japanese Patent Application Laid-Open No. 3-65543, and will not be described in detail. In addition, a system capable of stereoscopic stereoscopic viewing uses a parallax barrier instead of the lenticular lens 132, and alternately displays a video signal for the left eye and a video signal for the right eye in a time-division manner and synchronizes with it. The viewer wears glasses with a shutter function so that the video signal for the left eye can be seen only by the left eye and the video signal for the right eye can be seen only by the right eye so that stereoscopic viewing is possible. Description is omitted.
[0074]
Returning to FIG. 11 again, the recording unit 117 records the video signal obtained by the signal synthesizing unit 114. A system controller 118 controls the entire compound-eye camera. The release button 119 emits a signal for starting recording of a video signal when operated by an operator.
[0075]
Hereinafter, the imaging operation of the compound eye camera according to the third embodiment of the present invention will be described with reference to FIG. Here, FIG. 15 is a flowchart showing the imaging operation of the compound-eye camera according to the third embodiment of the present invention. Unless otherwise specified, all operations of the compound-eye camera according to the third embodiment are performed by the system controller 118.
[0076]
First, when a power switch of a compound-eye camera (not shown) is turned on (step S100), focus adjustment and aperture adjustment are performed on a subject (step S101).
[0077]
Next, the rotation angles of the camera heads 113a and 113b are detected by the angle detection means 115a and 115b (step S102).
[0078]
Then, in step S103, it is determined whether or not the relative shift amounts of the respective rotation angles of the camera heads 113a and 113b are within a predetermined range.
[0079]
In step S103, when the relative shift amounts of the respective rotation angles of the camera heads 113a and 113b are within a predetermined range, the two-dimensional images obtained by the imaging devices 112a and 112b as shown in FIG. The signals 141 and 142 are combined by the signal combining means 114 into one three-dimensional video signal 143 alternately arranged in a comb shape (step S104), and the combined three-dimensional video signal 143 is displayed by the display means 116, and the operator Can visually recognize the subject three-dimensionally (step S105).
[0080]
Next, in step S106, it is determined whether or not the release button 119 has been turned on by the operator. If the release button 119 has been turned on by the operator in step S106, the stereoscopic video signal 143 synthesized by the signal synthesizing unit 114 is recorded in the recording unit 117 (step S107). It is determined whether or not to end the imaging operation of the compound-eye camera. If the imaging operation is to be ended, the power switch of the compound-eye camera is turned off. If the imaging operation is not to be ended, the process returns to step S101.
[0081]
In step S103, if the relative shift amounts of the respective rotation angles of the camera heads 113a and 113b are not within the predetermined range, as shown in the composite diagram of the two-dimensional video signal in FIG. The two-dimensional video signals 161 and 162 obtained by the image sensors 112a and 112b are combined as one two-dimensional video signal 163 by the signal combining means 114 while maintaining independent images (step S109), and the process proceeds to step S105.
[0082]
If the release button 119 has not been turned on by the operator in step S106, the process returns to step S101.
[0083]
This completes one imaging operation of the compound-eye camera according to the third embodiment.
[0084]
As described above, in the third embodiment, since the lenticular lens 132 is used for the display means 116, there is an advantage that the operator does not need special glasses such as polarized glasses even when displaying a stereoscopic video signal. .
[0085]
(Fourth embodiment)
Hereinafter, the appearance of the compound eye camera according to the fourth embodiment of the present invention will be described with reference to FIG. Here, FIG. 17 is an external view of a compound-eye camera according to the fourth embodiment of the present invention.
[0086]
In this figure, the difference from the external view of the compound eye camera shown in FIG. 12 of the third embodiment described above is that the camera heads 113a and 113b are arranged on the left and right sides of the compound eye camera body 120, respectively. The point is that the heads 113a and 113b are arranged above the compound-eye camera body 120, respectively. Thereby, the camera heads 113a and 113b rotate around the vertical axis. The configuration of the compound-eye camera is the same as that in FIG.
[0087]
Hereinafter, the imaging operation of the compound eye camera according to the fourth embodiment of the present invention will be described with reference to FIG. Here, FIG. 18 is a flowchart showing the imaging operation of the compound eye camera according to the fourth embodiment of the present invention. Unless otherwise specified, all operations of the compound eye camera according to the fourth embodiment are performed by the system controller 118.
[0088]
First, when a power switch of a compound-eye camera (not shown) is turned on (step S200), focus adjustment and aperture adjustment are performed on a subject (step S201).
[0089]
Next, the rotation angles of the camera heads 113a and 113b are detected by the angle detection means 115a and 115b (step S202).
[0090]
Then, in step S203, a two-dimensional video signal obtained by the camera heads 113a and 113b from the rotation angles of the camera heads 113a and 113b and the focal lengths, focusing distances, and distances between the imaging optical axes of the lenses 111a and 111b. Is determined, and it is determined whether or not the overlap amount is larger than a predetermined range.
[0091]
In step S203, when the overlap amount is larger than the predetermined range, the two-dimensional video signals 141 and 142 obtained by the image pickup devices 112a and 112b are formed into a comb shape by the signal combining unit 114 as shown in FIG. The stereoscopic video signals 143 are alternately combined into one stereoscopic video signal 143 (step S204), and the synthesized stereoscopic video signal 143 is displayed by the display unit 116, and the operator visually recognizes a wider panoramic video or video in two different directions. Can be performed (step S205).
[0092]
Next, in step S206, it is determined whether or not the release button 119 has been turned on by the operator. If the release button 119 has been turned on by the operator in step S206, the stereoscopic video signal 143 synthesized by the signal synthesizing unit 114 is recorded in the recording unit 117 (step S207).
[0093]
Thereafter, in step S208, it is determined whether or not to end the imaging operation of the compound-eye camera. If the imaging operation is to be ended, the power switch of the compound-eye camera is turned off. If the imaging operation is not to be ended, the process proceeds to step S101. Return.
[0094]
If it is determined in step 203 that the overlap amount is smaller than the predetermined range, the process advances to step S209 to determine whether the overlap amount exists.
[0095]
In step S209, if there is an overlap amount, the two-dimensional video signals 164 and 165 obtained by the imaging elements 112a and 112b are combined as shown in the composite diagram of the two-dimensional video signal in FIG. The two signals are combined into one continuous two-dimensional video signal 166 by the means 114 (step S210), and the process proceeds to step S205.
[0096]
In step S209, if there is no overlap amount, the two-dimensional video signals 161 and 162 obtained by the imaging elements 112a and 112b are converted into independent video signals by the signal synthesizing unit 114 as shown in FIG. The two signals are combined as one two-dimensional video signal 163 (step S211), and the process proceeds to step S205.
[0097]
If the release button 119 has not been turned on by the operator in step S206, the process returns to step S201.
[0098]
This completes one imaging operation of the compound-eye camera according to the fourth embodiment.
[0099]
As described above, in the fourth embodiment, there is an advantage that a panoramic image can be captured by setting the rotation direction of the camera heads 113a and 113b to be around the vertical axis.
[0100]
Although the third embodiment and the fourth embodiment both describe the capture of a still image, the present invention is also effective for a moving image. Further, in both the third and fourth embodiments, the video signal synthesized by the signal synthesizing unit 114 is recorded, but the video signal before synthesis may be recorded.
[0101]
【The invention's effect】
As described above in detail, according to the first aspect of the present invention, a stereoscopic video signal synthesizing unit that synthesizes a plurality of video signals of a subject imaged by a plurality of imaging units so as to be visually recognized as a stereoscopic video signal, Since there is provided a composite video signal display unit for displaying a stereoscopic video signal synthesized by the video signal synthesizing unit, a plurality of video signals of a subject imaged by the plurality of imaging units can be synthesized into a stereoscopic video signal. The stereoscopic video signal can always be displayed on the screen, so that the stereoscopic effect of the video can be adjusted while capturing the image.
[Brief description of the drawings]
FIG. 1A is a front view of a compound-eye camera according to a first embodiment of the present invention, and FIG. 1B is a rear view of the compound-eye camera according to the first embodiment of the present invention.
FIG. 2 is a perspective view of the compound eye camera according to the first embodiment of the present invention.
FIG. 3 is a block diagram of a configuration of a compound eye camera according to the first embodiment of the present invention.
4A and 4B are explanatory diagrams of conversion of a two-dimensional video signal into a stereoscopic video signal, wherein FIG. 4A shows a right video signal, FIG. 4B shows a left video signal, and FIG. 4C shows a stereoscopic video signal. .
FIG. 5 is an explanatory diagram of a control signal.
FIG. 6A is an explanatory diagram in which a lenticular lens 61 is arranged as a stereoscopic image adapter, and FIG. 6B is an explanatory diagram in which a parallax barrier 62 is arranged as a stereoscopic image adapter.
FIG. 7A is a front view of a compound-eye camera according to a second embodiment of the present invention, and FIG. 7B is a rear view of the compound-eye camera according to the second embodiment of the present invention.
FIG. 8 is a perspective view of a compound eye camera according to a second embodiment of the present invention.
FIG. 9 is a block diagram showing a configuration of a compound eye camera according to a second embodiment of the present invention.
FIG. 10 is an external view of the compound eye camera according to the first embodiment of the present invention.
FIG. 11 is a block diagram of a configuration of a compound eye camera according to a third embodiment of the present invention.
FIG. 12 is an external view of a compound-eye camera according to a third embodiment of the present invention.
FIG. 13 is a diagram showing a configuration of a display means 116.
FIG. 14 is a composite diagram of a two-dimensional video signal.
FIG. 15 is a flowchart illustrating an imaging operation of the compound-eye camera according to the third embodiment of the present invention.
16A is a composite diagram of a two-dimensional video signal, and FIG. 16B is a composite diagram of a two-dimensional video signal.
FIG. 17 is an external view of a compound-eye camera according to a fourth embodiment of the present invention.
FIG. 18 is a flowchart illustrating an imaging operation of the compound eye camera according to the fourth embodiment of the present invention.
[Explanation of symbols]
31a, 31b, 111a, 111b lenses
32a, 32b, 112a, 112b Image sensor
33a, 33b A / D converter
34a, 34b FIF0
35 Timing Generator
36 signal converter
37 CPU
38 Display control unit
39 3D display
40 Recording control unit
41 Recording medium
42 Camera control unit
113a, 113b Camera head
114 signal synthesis means
115a, 115b Angle detecting means
116 display means 116
117 Recording means
118 System controller
119 Release button
120 compound eye camera body

Claims

In a compound eye camera including a plurality of imaging means for converging the subject light and imaging the subject, and a display means for displaying a plurality of video signals of the subject imaged by the plurality of imaging means,
Stereoscopic video signal synthesizing means for synthesizing a plurality of video signals of the subject imaged by the plurality of imaging means so as to be visually recognized as a stereoscopic video signal;
Composite video signal display means for displaying a stereoscopic video signal synthesized by the stereoscopic video signal synthesis means ,
Imaging selection means for selecting one of the plurality of imaging means;
A compound-eye camera , comprising: means for imaging the subject with the one imaging means selected by the imaging selection means .

2. The compound eye camera according to claim 1 , further comprising a two-dimensional video signal display unit that allows a plurality of video signals of the subject imaged by the plurality of imaging units to be visually recognized as two-dimensional video signals . 3.

3. The compound eye camera according to claim 2, further comprising a display selection unit that selects one of the stereoscopic video signal synthesizing unit and the two-dimensional video signal display unit.

4. The compound eye camera according to claim 2, wherein a display cycle of the stereoscopic video signal on the composite video signal display unit is twice as long as a display cycle of the two-dimensional video signal.

5. The compound eye camera according to claim 1, wherein said composite video signal display means includes a lenticular lens.

The compound eye camera according to any one of claims 1 to 4, wherein the composite video signal display unit includes a parallax barrier.

The compound eye camera according to any one of claims 2 to 4, further comprising: glasses with shutters that operate in synchronization with a display cycle of the two-dimensional video signal on the composite video signal display unit.

A rotation angle detection unit that holds the plurality of imaging units so as to be rotatable with respect to the composite video signal display unit, and detects a rotation angle of each of the plurality of imaging units with respect to the composite video signal display unit; The compound eye camera according to any one of claims 1 to 7 , further comprising:

And a second display selection unit that selects one of the two- dimensional video signal display unit and the stereoscopic video signal synthesis unit based on the rotation angle detected by the rotation angle detection unit. The compound eye camera according to claim 8 .

A plurality of imaging steps of converging the subject light and imaging the subject, and an image processing method including a display step of displaying a plurality of video signals of the subject imaged by the plurality of imaging steps,
A stereoscopic video signal synthesizing step of synthesizing the plurality of video signals of the subject imaged by the plurality of imaging steps so as to be visually recognized as a stereoscopic video signal;
A combined video signal displaying step of displaying the three-dimensional video signal combined by the three-dimensional video signal combining step ;
An imaging selection step of selecting one imaging step among the plurality of imaging steps;
Imaging the subject in the one imaging step selected by the imaging selection step .

11. The image processing method according to claim 10 , further comprising a two-dimensional video signal display step of displaying a plurality of video signals of the subject imaged in the plurality of imaging steps so as to be visually recognized as a two-dimensional video signal .

12. The image processing method according to claim 11 , further comprising a display selecting step of alternatively selecting the stereoscopic video signal synthesizing step and the two-dimensional video signal displaying step.

13. The image processing method according to claim 11, wherein a display cycle of the stereoscopic video signal in the composite video signal display step is twice as long as a display cycle of the two-dimensional video signal.